CN114708413A - 基于等高对齐的心脏3d模型对应点匹配方法 - Google Patents
基于等高对齐的心脏3d模型对应点匹配方法 Download PDFInfo
- Publication number
- CN114708413A CN114708413A CN202210344324.1A CN202210344324A CN114708413A CN 114708413 A CN114708413 A CN 114708413A CN 202210344324 A CN202210344324 A CN 202210344324A CN 114708413 A CN114708413 A CN 114708413A
- Authority
- CN
- China
- Prior art keywords
- model
- heart
- point
- point cloud
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000009466 transformation Effects 0.000 claims abstract description 11
- 238000002372 labelling Methods 0.000 claims abstract description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 9
- 238000005481 NMR spectroscopy Methods 0.000 claims abstract description 6
- 230000000747 cardiac effect Effects 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 210000005241 right ventricle Anatomy 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 claims description 2
- 238000012800 visualization Methods 0.000 claims description 2
- 210000005240 left ventricle Anatomy 0.000 claims 2
- 239000012528 membrane Substances 0.000 claims 2
- 238000004364 calculation method Methods 0.000 abstract description 5
- 230000002861 ventricular Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000002808 connective tissue Anatomy 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001915 proofreading effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002107 myocardial effect Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种基于等高对齐的心脏3D模型对应点匹配方法，包括：步骤1，根据心脏的核磁共振图像的2D标注数据生成3D模型；步骤2，从心脏的3D模型中提取点云数据；步骤3，通过第一次配准将不同心脏的点云模型进行仿射变换到同一坐标系；步骤4，通过等高对齐心脏点云模型，并通过寻找最近邻点的方法来找到不同心脏的对应点。所述方法从心脏的核磁共振图像的2D标注数据中生成3D模型，再从3D模型中提取心脏点云，然后通过第一次配准将不同心脏的点云模型进行仿射变换到同一坐标系，最后通过等高对齐心脏点云模型并通过寻找最近邻点的方法来寻找不同的心脏点云的对应点，计算速快，查找对应点准确率高，更适合大规模数据集的应用。
Description
技术领域
本发明涉及医学图像处理技术领域，具体涉及一种基于等高对齐的心脏3D模型对应点匹配方法。
背景技术
心脏磁共振图像已成为心脏疾病诊断的重要手段，基于计算机辅助的病理诊断有助于心脏疾病的早期预防和诊断。心脏分割和重建作为心脏病理分析诊断的首要步骤，是获取如射血分数、心室容积、每搏量和心肌质量等常规图像特征的关键，传统的一些心脏诊断方法几乎都是通过心脏二维切片数据来获取各种特征，这些分类特征缺少三维几何邻接信息，难以确保心脏解剖结构的整体一致性，故心脏3D分析对于心脏整体和局部结构功能评估至关重要。
心脏3D分析涉及到心脏的三维配准和对应点匹配，现有的一些对应点匹配的方法主要涉及到通过最邻近查找对应点，以及非刚性配准后查找对应点，这些方法均存在一定的不足，如计算耗时长、对应点不准确、容易丢失部分形状信息、鲁棒性不强等。
基于现有技术存在的如上述问题，本发明提供一种基于等高对齐的心脏3D模型对应点匹配方法。
发明内容
本发明提出了一种基于等高对齐的心脏3D模型对应点匹配方法，从心脏的核磁共振图像的2D标注数据中生成3D模型，之后从3D模型中提取心脏点云，然后通过第一次配准将不同心脏的点云模型进行仿射变换到同一坐标系，最后通过等高对齐心脏点云模型并通过寻找最近邻点的方法来寻找不同的心脏点云的对应点。
本发明采用以下技术方案：
一种基于等高对齐的心脏3D模型对应点匹配方法，包括：
步骤1，根据心脏的核磁共振图像的2D标注数据生成3D模型；
步骤2，从心脏的3D模型中提取点云数据；
步骤3，通过第一次配准将不同心脏的点云模型进行仿射变换到同一坐标系；
步骤4，通过等高对齐心脏点云模型，并通过寻找最近邻点的方法来找到不同心脏的对应点。
进一步地，步骤1包括：
步骤1.1，对心脏的2D进行分割，并标注数据；
步骤1.2，通过三维建模将2D切片生成3D模型；
步骤1.3，对3D模型进行高斯平滑滤波，去除因切片数量过少而在心脏模型表面出现的阶梯状波纹，生成OBJ文件格式的心脏3D模型。
进一步地，步骤2包括：
步骤2.1，提取心脏3D模型OBJ文件中的顶点信息；
步骤2.2，保存心脏模型的顶点信息并生成PCD格式的点云文件。
进一步地，步骤3包括：
面对两个初始位姿未知以及相对位置不同的3D模型，使用快速全局配准算法完成第一次配准，将目标模型向模板模型靠齐，构建旋转矩阵，进行仿射变换，将不同的心脏模型转换到同一坐标系的同一位置中。
进一步地，步骤3还包括二次配准调整的步骤，采用迭代最近点ICP刚性配准，基于最小二乘法的最优配准方法，重复进行选择对应关系点对，计算最优刚体变换，直至满足正确配准的收敛精度要求。
进一步地，步骤4包括：
步骤4.1，将所有的心脏点云模型等高化：
其中，Hi为每个3D模型中的高度，Haver为所有3D模型高度的平均高度；
步骤4.2，将所有的三维模型的高度都变换为平均高度：
其中，zj为某个3D模型中每个点的高度，zj'为等高化后每个点的高度；
步骤4.3，统一高度之后，对齐所有3D模型的底部，zbase为每个模型最低点与水平面的距离，zj″＝zj'-zbase为3D模型经过统一高度并且对齐底面之后点的高度；
步骤4.4，在等高对齐后的模型上通过K近邻算法寻找最近邻点作为对应点；
步骤4.5，将每个模型的高度还原成原有的高度，并取消对齐还原其位置信息。
进一步地，步骤1.1中，采用手动或者深度学习算法对心脏的2D进行分割。
进一步地，步骤1.1中，对心脏的2D分割为心脏的左心室内膜、左心室外膜及右心室。
进一步地，步骤2中，点云数据能够通过医学影像分析和可视化平台软件3DSlicer进行点云数据导出。
与现有技术相比，本发明的优越效果在于：
1，本发明所述的基于等高对齐的心脏3D模型对应点匹配方法，计算速快，查找对应点准确率高，更适合大规模数据集的应用，适合批量化处理心脏3D数据；
2，本发明所述的基于等高对齐的心脏3D模型对应点匹配方法，采用抛弃了网格模型中的材质信息，只保存的顶点信息的方式，减少了存储体积，且更方便计算；
3，本发明所述的基于等高对齐的心脏3D模型对应点匹配方法，采用二次配准调整的方式，能够对一些倾斜或者快速配准效果较差的模型进行迭代校对。
附图说明
图1是本发明实施例中基于等高对齐的心脏3D模型对应点匹配方法的流程示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
实施例
基于等高对齐的心脏3D模型对应点匹配方法，包括：
步骤1，根据心脏的核磁共振图像的2D标注数据生成3D模型；
步骤2，从心脏的3D模型中提取点云数据；
步骤3，通过第一次配准将不同心脏的点云模型进行仿射变换到同一坐标系；
步骤4，通过等高对齐心脏点云模型，并通过寻找最近邻点的方法来找到不同心脏的对应点。
上述实施例的步骤1具体包括：
首先对心脏的磁共振图像进行分割，对于小规模(数十个)的数据集可以使用手工标注的方法来获取心脏2D切片，而大规模(数百上千)的数据可以使用深度学习算法，如U型对称神经网络等在医学图像处理上效果较好的算法来对心脏图片进行分割；心脏的不同部位能反映出不同的病理情况，将分割后的心脏数据分为三个部分：心脏的左心室内膜，左心室外膜以及右心室；然后使用3D Slicer对上述三个部分的分割结果的心脏2D切片分别进行三维重建生成；最后对生成心脏的3D模型进行高斯平滑滤波，去除因切片数量过少而在心脏模型表面出现的阶梯状波纹，最终生成OBJ文件格式的心脏3D模型。
上述实施例的步骤2具体包括：
通过python软件库trimesh提取心脏3D模型OBJ文件中的顶点信息，然后使用open3D库保存心脏模型的顶点信息并生成PCD格式的点云文件，用来做后续的点云配准和点云计算等工作；
在上述实施例中，生成的心脏模型往往是网格模型，网格模型在计算心脏体积上容积上有优势，但是网格模型存储体积大，计算需要的资源多，不适合大批量的心脏数据进行计算，而点云模型抛弃了网格模型中的材质信息，只保存顶点信息，这样存储体积减少了很多，且更方便计算，所以本实施例采用了心脏模型的点云数据格式。
上述实施例的步骤3具体包括：
面对两个初始位姿未知以及相对位置不同的3D模型，首先使用快速全局配准算法完成第一次配准，将目标模型向模板模型靠齐，构建旋转矩阵，进行仿射变换，将不同的心脏模型转换到同一坐标系的同一位置中；快速全局配准的目的是为了调整模型的初始位置，只是一个平移操作，而不同的心脏模型在磁共振成像的采集过程中因为人体的姿态不同会导致生成的心脏模型倾斜程度有所差异；
为了消除这种差异使模型的位姿更加匹配，故需要进行二次配准调整，二次配准使用了迭代最近点ICP(Iterative Closest Point)刚性配准，ICP算法本质上是基于最小二乘法的最优配准方法，该算法重复进行选择对应关系点对，计算最优刚体变换，直到满足正确配准的收敛精度要求，通过ICP算法对一些倾斜或者快速配准效果较差的模型进行迭代校对，完成最终的配准，此时不同的心脏3D模型已位于同一坐标系下，并且符合心脏的物理结构对应关系。
上述实施例的步骤4具体包括：
将所有的心脏模型对齐以后，为计算不同心脏的对应特征，需要将不同的心脏模型的对应点进行匹配，一方面是要将不同部位的点对应起来，另一方面要保持点的顺序的一致。在计算心脏统计形状模型的时候还需要将不同心脏模型的点数保持一致；一些传统方法是采用手动标注点的方法来进行对应点匹配，这种方法耗时巨大，且还需要进行非刚性配准查找对应点，不适合大批量数据；还有一些方法是直接通过最近邻的方法来匹配对应点，这种方法虽然不需要手工标注，但是因为不同人的心脏体积高度和形状存在一定的差异性，仅仅通过最近邻点进行匹配，会导致失去一些高度信息和形状信息，在上述实施例中，结合了上述方法的共同优点，采用了一种利用等高对齐模型的方法来匹配对应点，首先将所有的心脏点云模型等高化：
其中Hi为每个3D模型中的高度，Haver为所有3D模型高度的平均高度；然后将所有的三维模型的高度都变换为平均高度：
其中zj为某个3D模型中每个点的高度，zj'为等高化后每个点的高度，高度统一之后，对齐所有3D模型的底部，zbase为每个模型最低点与水平面的距离，zj″＝zj'-zbase为3D模型经过统一高度并且对齐底面之后点的高度，其次在等高对齐后的模型上通过K近邻算法寻找最近邻点作为对应点；最后将每个模型的高度还原成原有的高度，并取消对齐还原其位置信息，以保证找到对应点后的模型仍具备原有的真实高度信息和位置信息。
本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书界定。
Claims (9)
1.一种基于等高对齐的心脏3D模型对应点匹配方法，其特征在于，包括：
步骤1，根据心脏的核磁共振图像的2D标注数据生成3D模型；
步骤2，从心脏的3D模型中提取点云数据；
步骤3，通过第一次配准将不同心脏的点云模型进行仿射变换到同一坐标系；
步骤4，通过等高对齐心脏点云模型，并通过寻找最近邻点的方法来找到不同心脏的对应点。
2.根据权利要求1所述的基于等高对齐的心脏3D模型对应点匹配方法，其特征在于，步骤1包括：
步骤1.1，对心脏的2D进行分割，并标注数据；
步骤1.2，通过三维建模将2D切片生成3D模型；
步骤1.3，对3D模型进行高斯平滑滤波，去除因切片数量过少而在心脏模型表面出现的阶梯状波纹，生成OBJ文件格式的心脏3D模型。
3.根据权利要求1所述的基于等高对齐的心脏3D模型对应点匹配方法，其特征在于，步骤2包括：
步骤2.1，提取心脏3D模型OBJ文件中的顶点信息；
步骤2.2，保存心脏模型的顶点信息并生成PCD格式的点云文件。
4.根据权利要求1所述的基于等高对齐的心脏3D模型对应点匹配方法，其特征在于，步骤3包括：
面对两个初始位姿未知以及相对位置不同的3D模型，使用快速全局配准算法完成第一次配准，将目标模型向模板模型靠齐，构建旋转矩阵，进行仿射变换，将不同的心脏模型转换到同一坐标系的同一位置中。
5.根据权利要求1或4所述的基于等高对齐的心脏3D模型对应点匹配方法，其特征在于，步骤3还包括二次配准调整的步骤，采用ICP刚性配准，基于最小二乘法的最优配准方法，重复进行选择对应关系点对，计算最优刚体变换，直至满足正确配准的收敛精度要求。
6.根据权利要求1所述的基于等高对齐的心脏3D模型对应点匹配方法，其特征在于，步骤4包括：
步骤4.1，将所有的心脏点云模型等高化：
其中，Hi为每个3D模型中的高度，Haver为所有3D模型高度的平均高度；
步骤4.2，将所有的三维模型的高度都变换为平均高度：
其中，zj为某个3D模型中每个点的高度，zj'为等高化后每个点的高度；
步骤4.3，高度统一之后，对齐所有3D模型的底部，zbase为每个模型最低点与水平面的距离，zj”＝zj'-zbase为3D模型经过统一高度并且对齐底面之后点的高度；
步骤4.4，在等高对齐后的模型上通过K近邻算法寻找最近邻点作为对应点；
步骤4.5，将每个模型的高度还原成原有的高度，并取消对齐还原其位置信息。
7.根据权利要求2所述的基于等高对齐的心脏3D模型对应点匹配方法，其特征在于，步骤1.1中，采用手动或者深度学习算法对心脏的2D进行分割。
8.根据权利要求2所述的基于等高对齐的心脏3D模型对应点匹配方法，其特征在于，步骤1.1中，对心脏的2D分割为心脏的左心室内膜、左心室外膜及右心室。
9.根据权利要求1所述的基于等高对齐的心脏3D模型对应点匹配方法，其特征在于，步骤2中，点云数据能够通过医学影像分析和可视化平台软件3D Slicer进行点云导出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210344324.1A CN114708413A (zh) | 2022-03-31 | 2022-03-31 | 基于等高对齐的心脏3d模型对应点匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210344324.1A CN114708413A (zh) | 2022-03-31 | 2022-03-31 | 基于等高对齐的心脏3d模型对应点匹配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114708413A true CN114708413A (zh) | 2022-07-05 |
Family
ID=82172760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210344324.1A Pending CN114708413A (zh) | 2022-03-31 | 2022-03-31 | 基于等高对齐的心脏3d模型对应点匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114708413A (zh) |
-
2022
- 2022-03-31 CN CN202210344324.1A patent/CN114708413A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109408653B (zh) | 基于多特征检索和形变的人体发型生成方法 | |
| CN107369160B (zh) | 一种oct图像中脉络膜新生血管分割算法 | |
| CN112686935B (zh) | 基于特征融合的机载测深雷达与多光谱卫星影像配准方法 | |
| CN112200843A (zh) | 一种基于超体素的cbct与激光扫描点云数据牙齿配准方法 | |
| CN109509193B (zh) | 一种基于高精度配准的肝脏ct图谱分割方法及系统 | |
| CN111179321B (zh) | 一种基于模板匹配的点云配准方法 | |
| Sinko et al. | 3D registration of the point cloud data using ICP algorithm in medical image analysis | |
| JP2003510730A (ja) | 画像処理方法及び画像列における移動対象を追跡するシステム | |
| CN116580068B (zh) | 一种基于点云配准的多模态医学配准方法 | |
| CN110910433A (zh) | 一种基于深度学习的点云匹配方法 | |
| CN114066953A (zh) | 一种针对刚性目标的三维多模态图像可变形配准方法 | |
| CN115578320A (zh) | 一种骨科手术机器人全自动空间注册方法及系统 | |
| CN110009745B (zh) | 根据平面基元和模型驱动对点云提取平面的方法 | |
| CN115035089A (zh) | 适用于二维脑图像数据的脑解剖结构定位方法 | |
| Heitz et al. | Statistical shape model generation using nonrigid deformation of a template mesh | |
| CN112802073A (zh) | 一种基于图像数据和点云数据的融合配准方法 | |
| CN110009726B (zh) | 一种根据平面基元间的结构关系对点云提取平面的方法 | |
| CN116883590A (zh) | 一种三维人脸点云优化方法、介质及系统 | |
| CN109859255B (zh) | 大动作运动物体的多视角非同时采集与重建方法 | |
| Oktay et al. | Probabilistic edge map (PEM) for 3D ultrasound image registration and multi-atlas left ventricle segmentation | |
| Chen et al. | Learning shape priors for single view reconstruction | |
| CN114708413A (zh) | 基于等高对齐的心脏3d模型对应点匹配方法 | |
| Alvén et al. | Shape-aware label fusion for multi-atlas frameworks | |
| CN114399547B (zh) | 一种基于多帧的单目slam鲁棒初始化方法 | |
| CN112508844B (zh) | 一种基于弱监督的大脑磁共振图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |