CN116128942A - 基于深度学习的三维多模块医学影像的配准方法和系统 - Google Patents
基于深度学习的三维多模块医学影像的配准方法和系统 Download PDFInfo
- Publication number
- CN116128942A CN116128942A CN202310111112.3A CN202310111112A CN116128942A CN 116128942 A CN116128942 A CN 116128942A CN 202310111112 A CN202310111112 A CN 202310111112A CN 116128942 A CN116128942 A CN 116128942A
- Authority
- CN
- China
- Prior art keywords
- registration
- point cloud
- medical images
- deep learning
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000013135 deep learning Methods 0.000 title claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 25
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 41
- 230000009466 transformation Effects 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000009826 distribution Methods 0.000 claims description 2
- 230000014509 gene expression Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 230000036544 posture Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000002059 diagnostic imaging Methods 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 6
- 238000003384 imaging method Methods 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 238000012937 correction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明提供一种基于深度学习的三维多模块医学影像的配准方法和系统，包括：获取点云数据并进行处理；通过深度学习网络从处理过的点云数据中提取不同模态医学影像的特征点；对所述特征点进行预配准，确定所述不同模态医学影像的输出位置；通过阈值点云配准和点云分割配准对所述预配准的结果进行配准优化。本发明针对不同模态的医学影像成像效果和成像区域有所差别，初始的三维空间位置相距甚远的情况做出改善，可以结合不同模态的医学影像并进行三维配准，并显示到同一块区域中以辅助医护人员更好地进行诊断参考；其设计的方法块均为可以根据不同场景和需求进行动态调整的，能够更好地应用于不同的医学分支领域。
Description
技术领域
本发明涉及三维医学影像的深度学习领域，具体地，涉及一种基于深度学习的三维多模块医学影像的配准方法和系统。
背景技术
深度学习是机器学习的一个子研究领域，是人工智能领域经常采用的方法。深度学习源自人工神经网络的研究，通过组合底层特征构建更加抽象的高层特征来学习大规模数据的内在规律和表示层次，最终的目的是让机器可以具有像人一样的分析学习能力，能够识别处理文字、图像、声音等数据。深度学习通过建立适量的神经元计算节点和多运算的层次结构，选择合适的输入输出，通过深度学习网络优化，建立合适的学习目标和效果。
目前，随着医疗水平的不断提高和大数据时代的来临，除了诊断传统的文字和图片信息以外，医学影像数据的分析及应用已经成为了临床医学诊断的核心环节之一，医护人员需要对这些数据进行人工识别以辅助对病患进行诊断。并且随着互联网技术的发展，越来越多的技术开始向三维领域过渡，多模态医学影像可以同时将不同的数据显示同一个三维空间中为医护人员的进一步诊断提供了更加有效的参考数据。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于深度学习的三维多模块医学影像的配准方法和系统。
根据本发明的一个方面，提供一种基于深度学习的三维多模块医学影像的配准方法，包括：
获取不同模态医学影像的点云数据并进行预处理；
通过深度学习网络从预处理过的点云数据中提取不同模态医学影像的特征点；
对所述特征点进行预配准，确定所述不同模态医学影像的输出位置；
通过阈值点云配准和点云分割配准对所述预配准的结果进行配准优化。
优选地，所述预处理，包括：
通过预先设置的先验信息，从所述点云数据提取并重建出人体不同组织的三维网格数据；
对所述三维网格数据进行平滑、居中和离散点去除；
对所述点云数据进行降采样。
优选地，所述预处理，还包括：
对所述点云数据和对应的特征点标签进行同步随机三维旋转，批量生成多个扩增数据。
优选地，所述深度学习网络，对降采样的点云数据进行机器学习，提取每种模态的三维医学影像的指定的特征点的三维空间坐标。
优选地，所述指定的特征点是不同模态医学影像的公共区域的特征点，通过医学分析选取，具有在不同表情、姿态下相对位置不变的特点。
优选地，所述预配准包括：
确定不同模态下的相同特征点；
根据所述相同特征点调用矩阵分解方法学习到初步的非刚性仿射变换；
其中，所述非刚性仿射变换包括旋转矩阵和平移矩阵，其各自获取的过程，包括：
对于两组初始的特征点集A和B进行定义，B＝R*A+t，其中R为旋转矩阵，t为平移矩阵：
对两组点集进行去中心化，即每个点减去对应点集的均值，得到新的点集A’和B’；
计算协方差矩阵H：
N为点云数据集A或B内的点云总数目，
代表A点集的第i个点，同理
代表B点集的第i个点；μA和μB分别为点集A和B的数据均值；A’和B’分别为两个原始点云数据去中心化后的结果，即原始数据减去均值，这一步操作可以更好地分析点云之间的相对坐标关系而不是仅仅分析点云数据的绝对大小；
通过奇异值分解SVD求正交矩阵U、非负实对角矩阵S、正交矩阵V：
[U,S,V]＝SVD(H)
计算旋转矩阵及平移矩阵：
R＝VUT
t＝-R×μA+μB。
优选地，所述配准优化包点云分割配准和区域分割配准；
其中，所述点云分割配准通过修改点云配准方法中的距离阈值，筛选小于所述距离阈值的特征点；
其中，所述区域分割配准对所述深度学习网络提取的特征点，进行特征区域分割，得到特征区域的点云分布，调整特征区域的配准权重。
根据本发明的第二个方面，提供一种基于深度学习的三维多模块医学影像的配准系统，包括：
数据采样生成块，所述数据采样生成块获取不同模态医学影像的点云数据并进行预处理；
特征点学习块，所述特征点学习块通过深度学习网络从预处理过的点云数据中提取不同模态医学影像的特征点；
预配准块，所述预配准块对所述特征点进行预配准，确定所述不同模态医学影像的输出位置；
校准块，所述校准块通过阈值点云配准和点云分割配准对所述预配准的结果进行配准优化。
根据本发明的第三个方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的方法，或，运行上述的系统。
根据本发明的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述的方法，或，运行上述的系统。
与现有技术相比，本发明具有如下的有益效果：
本发明实施例中的基于深度学习的三维多模块医学影像的配准方法和系统，结合不同模态的医学影像并进行三维配准及优化，能将不同模态的医学影像显示到同一块区域中以辅助医护人员更好的进行参考。
本发明实施例中的基于深度学习的三维多模块医学影像的配准方法和系统，其涉及到的三维多模态医学影像可以适用于不同模态医学影像组合的配准；特征点学习可以根据不同场景和需求进行动态调整，在不同医学领域可以设定具有解剖学意义的特征点。相应的，点云分割部分亦可以根据不同场景的需求进行动态调整，达到更好的诊断参考效果。
本发明实施例中的基于深度学习的三维多模块医学影像的配准方法和系统，得到的多模态配准结果可以在交互软件上辅助医护人员进行更好的参考；其中，以三维网格形式存储的多模态医学影像配准结果可以通过人为旋转和放缩支持不同角度和深度的操作和观察；多模态医学影像的融合数据可以更好地反馈患者的面部轮廓、结构和纹理等整体信息，在此基础上医护人员可以在显示有配准结果的系统中通过简单的放缩、切割、去除遮挡等操作实现对目标区域的丰富细节信息进行观察，即可以在宏观上辅助医护人员观察目标部位整体的信息，也可以在细节上对目标部位进行诊断参考。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明一实施例中的基于深度学习的三维多模块医学影像的配准方法的流程图；
图2是本发明另一实施例中的基于深度学习的三维多模块医学影像的配准方法的框架图；
图3是本发明一实施例中的基于深度学习的三维多模块医学影像的配准系统的结构图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1所示，为本发明的一种基于深度学习的三维多模态医学影像配准方法的流程示意图，包括：
S100，获取不同模态医学影像的点云数据并进行预处理；
S200，通过深度学习网络对从S100预处理过的点云数据中提取不同模态医学影像的特征点；
S300，对S200提取的特征点进行预配准，确定不同模态医学影像的输出位置；
S400，通过阈值点云配准和点云分割配准对S400预配准的结果进行配准优化。
不同模态的医学影像成像效果和成像区域有所差别，初始的三维空间位置也相距甚远，本实施例结合不同模态的医学影像并进行三维配准，并显示到同一块区域中以辅助医护人员更好的进行参考。
由于原始数据点太多，对特征点学习的算力要求过高，因此需要对原始数据进行处理。因此，本发明提供一个优选实施例中，实施S100，对采集的点云数据进行预处理。具体的，通过预先设置的先验信息，提取并重建出人体不同组织(如皮肤、骨骼)的三维网格数据，并对三维网格数据进行降采样处理，包括进行平滑、居中和离散点去除。
在具体实施时，不同类型的数据具有不同的先验信息，以常见的CT为例，先验信息包括但不限于CT的HU值分界，通过阈值分割出人体的不同组织。通过降采样处理，减少了数据点的个数，以减少对特征点学习的算力要求。
由于直接重建出的结果会有离散点、特殊突起等情况，通过采用平滑、居中和离散点去除等操作，对重建后的三维网格数据进行“精修”，使重建的三维网格结果更符合实际。
在本发明的另一个实施例中，实施S200，在获取到S100中降采样的数据后，将原始数据的降采样数据和特征点信息放入到深度神经网络中进行学习，得到的深度神经网络可以在获取到一张新的降采样数据后自动生成对应的特征关键点。
进一步的，上述深度神经学习网络，在原始医学影像数据匮乏的时候，可以使用随机三维空间刚性旋转变换对原始数据进行增强得到更多的数据。
本实施例在特征点学习部分，送入深度神经网络学习的初始降采样数据点个数可以根据实际算力水平和对模型的要求动态调整，即深度神经学习网络是具有泛化性和可移植性，针对不同组织的配准时(如面部、肺部等)，可以动态调设置的特征点，通过对应的数据进行训练。即特征点学习可以根据不同场景和需求进行动态调整，在不同医学领域可以设定具有解剖学意义的特征点。
在本发明的一个优选实施例中，通过深度学习网络提取特征点之后，将不同模态下的对应的特征点进预配准。在本实施例中，预配准根据特征点调用矩阵分解方法学习到初步的非刚性仿射变换。
具体的，根据所述相同特征点调用矩阵分解方法学习到初步的非刚性仿射变换；
其中，所述非刚性仿射变换包括旋转矩阵和平移矩阵，其各自获取的过程，包括：
对于两组初始的特征点集A和B进行定义，B＝R*A+t，其中R为旋转矩阵，t为平移矩阵：
对两组点集进行去中心化，即每个点减去对应点集的均值，得到新的点集A’和B’；
计算协方差矩阵H：
N为点云数据集A或B内的点云总数目，
代表A点集的第i个点，同理
代表B点集的第i个点；μA和μB分别为点集A和B的数据均值；A’和B’分别为两个原始点云数据去中心化后的结果，即原始数据减去均值，这一步操作可以更好地分析点云之间的相对坐标关系而不是仅仅分析点云数据的绝对大小；
通过奇异值分解SVD求正交矩阵U、非负实对角矩阵S、正交矩阵V：
[U,S,V]＝SVD(H)
计算旋转矩阵及平移矩阵：
R＝VUT
t＝-R×μA+μB。
SVD(Singular Value Decomposition,奇异值分解)是一种线性代数方法，可以将大的原始矩阵分解为若干个子矩阵，以获取矩阵的变换关系。在这里运用SVD方法可以获取两个点云数据之间的旋转矩阵。U,S,V分别为使用SVD分解后的三个子矩阵，其中U和V为正交矩阵，S为非负实对角矩阵，最后获得的旋转矩阵即为R＝VUT。
经过预配准后的不同模态医学影像之间还存在轻微的偏差，需要进一步修正。在本发明的一个优选实施例中，实施S400，进行进一步修正。采用阈值点云配准和点云分割配准。其修正的过程为：预配准后的结果首先通过点云分割方法分割出共同的信息区域(因为不同模态数据包含的信息并不是完全相同的，如：面扫会包含头发信息而CT则不会)；在此基础上通过阈值点云配准进行配准，限制阈值配准可以使配方法关注于相似度较高的有效配准区域。二者的目的均为降低无效区域对配准精度的影像。
其中，阈值点云配准通过修改点云配准方法中的距离阈值来筛选一定距离的初始数据点从而减小偏差大的点影响。点云分割配准具体过程是使用ICP(Iterative ClosetPoint,迭代最近点)方法对预先分割好的点云进行精细化地配准，由于在ICP方法中设定的收敛阈值会影响方法的迭代过程，因此一开始时设定较大的阈值保证方法可以搜寻到周围更多具有信息的点，后续减小阈值以保证方法更加关注紧邻的周围点。ICP方法是一种基于最近点搜索的数据配准方法，方法中的阈值表示某一个点只关注阈值半径范围内的特征点。
其中，点云分割方法是将三维数据根据不同场景和需求进行切割，从而提高重要区域的配准权重。特征区域分割的具体过程为通过点云分割获取到候选的特征区域，然后分别将不同的特征区域使用上述的点云分割配准进行计算。最后对配准结果进行误差分析，增大误差小的特征区域在配准中的权重比例，同时相应地减小误差大的特征区域的权重比例。
本实施例中的点云分割方法包括但不限于ICP。
上述实施例，根据不同模态的三维医学影像以及不同的组合配准方式，可以根据解剖学意义动态调整特征点的数目和位置以达到更好的配准效果。完成配准后，可以直接观察不同模态下的配准效果，同时本发明实施例也可以在后续的综合显示系统中展示。以三维网格形式存储的多模态医学影像配准结果可以通过人为旋转和放缩支持不同角度和深度的操作和观察，同时，多模态医学影像的融合数据可以更好地反馈患者的面部轮廓、结构和纹理等整体信息，在此基础上医护人员可以在显示有配准结果的系统中通过简单的放缩、切割、去除遮挡等操作实现对目标区域的丰富细节信息进行观察，可以在宏观上辅助医护人员观察目标部位整体的信息，也可以在细节上对目标部位进行诊断参考。
如图2所示，是本发明的另一个实施例，配准方法流程现将不同的模态的医学影像划分为训练部分和测试集部分。训练集部分的数据进行人工特征点的标准(特征点的数目和位置自行确定)，并且将特征点信息和降采样信息之后的点云数据一起送入到深度神经网络中进行学习优化。测试集数据可以作为新的数据来验证深度学习网络学习特征点的能力，对新数据不同模态下的特征点进行结合计算，调用矩阵分解的方法求得初步的仿射变换矩阵以调整不同模态三维数据的位置。后续的预置点云配准块和点云分割配准块是对初步的配准进行更加细化地调整，以达到更好的配准结果。
基于相同的发明构思，在本发明的其他实施例中，提供一种基于深度学习的三维多模块医学影像的配准系统，参见图3，包括数据采样生成块、特征点学习块、预配准块和校准块；数据采样生成块获取不同模态医学影像的点云数据并进行预处理；特征点学习块通过深度学习网络从预处理过的点云数据中提取不同模态医学影像的特征点；预配准块对所述特征点进行预配准，确定所述不同模态医学影像的输出位置；校准块通过阈值点云配准和点云分割配准对所述预配准的结果进行配准优化。
基于相同的发明构思，在本发明的其他实施例中，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的方法，或，运行上述的系统。
基于相同的发明构思，在本发明的其他实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述的方法，或，运行上述的系统。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。
Claims (10)
1.一种基于深度学习的三维多模块医学影像的配准方法，其特征在于，包括：
获取不同模态医学影像的点云数据并进行预处理；
通过深度学习网络从预处理过的点云数据中提取不同模态医学影像的特征点；
对所述特征点进行预配准，确定所述不同模态医学影像的输出位置；
通过阈值点云配准和点云分割配准对所述预配准的结果进行配准优化。
2.根据权利要求1所述的一种基于深度学习的三维多模块医学影像的配准方法，其特征在于，所述预处理，包括：
通过预先设置的先验信息，从所述点云数据提取并重建出人体不同组织的三维网格数据；
对所述三维网格数据进行平滑、居中和离散点去除；
对所述点云数据进行降采样。
3.根据权利要求2所述的一种基于深度学习的三维多模块医学影像的配准方法，其特征在于，所述预处理，还包括：
对所述点云数据和对应的特征点标签进行同步随机三维旋转，批量生成多个扩增数据。
4.根据权利要求1所述的一种基于深度学习的三维多模块医学影像的配准方法，其特征在于，所述深度学习网络，对降采样的点云数据进行机器学习，提取每种模态的三维医学影像的指定的特征点的三维空间坐标。
5.根据权利要求4所述的一种基于深度学习的三维多模块医学影像的配准方法，其特征在于，所述指定的特征点是不同模态医学影像的公共区域的特征点，通过医学分析选取，具有在不同表情、姿态下相对位置不变的特点。
6.根据权利要求3所述的一种基于深度学习的三维多模块医学影像的配准方法，其特征在于，所述预配准包括：
确定不同模态下的相同特征点；
根据所述相同特征点调用矩阵分解方法学习到初步的非刚性仿射变换；
其中，所述非刚性仿射变换包括旋转矩阵和平移矩阵，其各自获取的过程，包括：
对于两组初始的特征点集A和B进行定义，B＝R*A+t，其中R为旋转矩阵，t为平移矩阵：
对两组点集进行去中心化，即每个点减去对应点集的均值，得到新的点集A’和B’；
计算协方差矩阵H：
N为点云数据集A或B内的点云总数目，
代表A点集的第i个点，同理
代表B点集的第i个点；μA和μB分别为点集A和B的数据均值；A’和B’分别为两个原始点云数据去中心化后的结果，即原始数据减去均值；
通过奇异值分解SVD求正交矩阵U、非负实对角矩阵S、正交矩阵V：
[U,S,V]＝SVD(H)
计算旋转矩阵及平移矩阵：
R＝VUT
t＝-R×μA+μB。
7.根据权利要求1所述的一种基于深度学习的三维多模块医学影像的配准方法，其特征在于，所述配准优化包括点云分割配准和区域分割配准；
其中，所述点云分割配准通过由大到小地修改点云配准方法中的距离阈值，筛选小于所述距离阈值的特征点；
其中，所述区域分割配准对所述深度学习网络提取的特征点，进行特征区域分割，得到特征区域的点云分布，调整特征区域的配准权重。
8.一种基于深度学习的三维多模块医学影像的配准系统，其特征在于，包括：
数据采样生成块，所述数据采样生成块获取不同模态医学影像的点云数据并进行预处理；
特征点学习块，所述特征点学习块通过深度学习网络从预处理过的点云数据中提取不同模态医学影像的特征点；
预配准块，所述预配准块对所述特征点进行预配准，确定所述不同模态医学影像的输出位置；
校准块，所述校准块通过阈值点云配准和点云分割配准对所述预配准的结果进行配准优化。
9.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8中所述的系统。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8中所述的系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310111112.3A CN116128942A (zh) | 2023-02-14 | 2023-02-14 | 基于深度学习的三维多模块医学影像的配准方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310111112.3A CN116128942A (zh) | 2023-02-14 | 2023-02-14 | 基于深度学习的三维多模块医学影像的配准方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116128942A true CN116128942A (zh) | 2023-05-16 |
Family
ID=86298967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310111112.3A Pending CN116128942A (zh) | 2023-02-14 | 2023-02-14 | 基于深度学习的三维多模块医学影像的配准方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116128942A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118015053A (zh) * | 2024-04-08 | 2024-05-10 | 重庆医科大学绍兴柯桥医学检验技术研究中心 | 一种多模态医学影像配准处理方法及系统 |
-
2023
- 2023-02-14 CN CN202310111112.3A patent/CN116128942A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118015053A (zh) * | 2024-04-08 | 2024-05-10 | 重庆医科大学绍兴柯桥医学检验技术研究中心 | 一种多模态医学影像配准处理方法及系统 |
| CN118015053B (zh) * | 2024-04-08 | 2024-06-11 | 重庆医科大学绍兴柯桥医学检验技术研究中心 | 一种多模态医学影像配准处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6947759B2 (ja) | 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法 | |
| US20210192758A1 (en) | Image processing method and apparatus, electronic device, and computer readable storage medium | |
| CN107909622B (zh) | 模型生成方法、医学成像的扫描规划方法及医学成像系统 | |
| WO2022088581A1 (zh) | 图像检测模型的训练方法及相关装置、设备、存储介质 | |
| Zhang et al. | Deepgi: An automated approach for gastrointestinal tract segmentation in mri scans | |
| CN109509193B (zh) | 一种基于高精度配准的肝脏ct图谱分割方法及系统 | |
| CN114119549A (zh) | 一种多模态医学图像三维点云配准优化方法 | |
| US20230419499A1 (en) | Systems and methods for brain identifier localization | |
| CN116863221A (zh) | 一种基于cnn与注意力机制的阿尔兹海默症分类方法 | |
| CN116128942A (zh) | 基于深度学习的三维多模块医学影像的配准方法和系统 | |
| Groza et al. | Pneumothorax segmentation with effective conditioned post-processing in chest X-ray | |
| CN115830016A (zh) | 医学图像配准模型训练方法及设备 | |
| CN113538209A (zh) | 一种多模态医学影像配准方法、配准系统、计算设备和存储介质 | |
| CN114359309A (zh) | 基于标定点检测和形状灰度模型匹配的医学图像分割方法 | |
| CN117809122A (zh) | 一种颅内大血管图像的处理方法、系统、电子设备及介质 | |
| CN113962957A (zh) | 医学图像处理方法、骨骼图像处理方法、装置、设备 | |
| WO2020173054A1 (zh) | Vrds 4d医学影像处理方法及产品 | |
| WO2023178972A1 (zh) | 智能医疗阅片方法、装置、设备及存储介质 | |
| TSAI | Automatic segmentation of liver structure in CT images using a neural network | |
| CN114565623B (zh) | 肺血管分割方法、装置、存储介质及电子设备 | |
| CN116363332A (zh) | 基于医学图像分割和特征匹配的前列腺超声矫正方法 | |
| CN114419309A (zh) | 一种基于大脑T1-w磁共振影像的高维特征自动提取方法 | |
| CN116012526B (zh) | 一种基于二维影像的三维ct影像病灶重建方法 | |
| CN117726822B (zh) | 基于双分支特征融合的三维医学图像分类分割系统及方法 | |
| CN112950582B (zh) | 一种基于深度学习的3d肺部病灶分割方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |