CN117372487A - 图像配准方法、装置、计算机设备和存储介质 - Google Patents
图像配准方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117372487A CN117372487A CN202311398493.4A CN202311398493A CN117372487A CN 117372487 A CN117372487 A CN 117372487A CN 202311398493 A CN202311398493 A CN 202311398493A CN 117372487 A CN117372487 A CN 117372487A
- Authority
- CN
- China
- Prior art keywords
- registration
- image
- point cloud
- point
- registered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000033001 locomotion Effects 0.000 claims description 81
- 238000004590 computer program Methods 0.000 claims description 17
- 238000003702 image correction Methods 0.000 claims description 12
- 230000014509 gene expression Effects 0.000 description 61
- 238000012545 processing Methods 0.000 description 27
- 238000001914 filtration Methods 0.000 description 15
- 210000003128 head Anatomy 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000012216 screening Methods 0.000 description 6
- 230000004397 blinking Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像配准方法、装置、计算机设备和存储介质。该方法包括：获取参考图像和待配准图像，并基于参考图像对待配准图像进行预配准，得到预配准图像；对预配准图像进行非刚性点云识别；在预配准图像存在非刚性点云的情况下，剔除预配准图像中包含的非刚性点云，得到修正后的预配准图像；基于参考图像以及修正后的预配准图像进行配准，得到配准后的目标配准图像。采用本方法能够提高配准图像的准确性。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像配准方法、装置、计算机设备和存储介质。
背景技术
点云配准技术广泛应用于机器人、影像和计算机图形学。点云配准是通过计算得到最优的坐标变换，将处于不同视角下的点云数据经过旋转平移等刚性变换统一整合到指定坐标系之下的过程。典型应用包括密集定位与制图(SLAM)、影像中的头部运动追踪、多模态影像设备与摄像头的校准等。
点云配准首先要知道两组点云的匹配关系，对于视觉三维点来说，可以通过视觉特征匹配来获取。知道点云的匹配关系后，通过粗配准(Coarse Registration)和精配准(Fine Registration)两步来计算变换矩阵。
目前从点云刚性配准中处理点云图像中局部非刚性变形主要有两种方法。第一种从二维图像上识别表情以及处理表情像素。第二种则是使用点云的非刚性ICP配准(non-rigid ICP)。
然而，申请人是应用过程中发现，在点云配准的优化算法中，通过二维图像识别表情后进行图像配准或者使用非刚性ICP配准方法对点云进行非刚性配准，都缺乏图像配准准确性。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高图像配准准确性的图像配准方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种图像配准方法，方法包括：
获取参考图像和待配准图像，并基于参考图像对待配准图像进行预配准，得到预配准图像；
对预配准图像进行非刚性点云识别；
在预配准图像存在非刚性点云的情况下，剔除预配准图像中包含的非刚性点云，得到修正后的预配准图像；
基于参考图像以及修正后的预配准图像进行配准，得到配准后的目标配准图像。
在其中一个实施例中，对预配准图像进行非刚性点云识别，包括：
确定预配准图像中包含的多个点云子区域；各点云子区域中包含有多个预配准点，各预配准点分别对应有参考图像中的参考点；
获取各点云子区域中各个预配准点、与各个预配准点对应的参考点之间的法向距离；法向距离为预配准点在法向量方向上的距离；
根据各个预配准点对应的法向距离，从多个点云子区域中确定目标点云子区域；
在目标点云子区域中包含的预配准点的数量大于预设的数量阈值情况下，将目标点云子区域中对应的点云确认为非刚性点云。
在其中一个实施例中，根据各个预配准点对应的法向距离，从多个点云子区域中确定目标点云子区域，包括：
根据各个预配准点对应的法向距离，从多个点云子区域中确定候选点云子区域；
根据各个候选点云子区域之间的相关程度，确定目标点云子区域。
在其中一个实施例中，根据各个候选点云子区域之间的相关程度，确定目标点云子区域，包括：
获取各个候选点云子区域的像素值，并基于各个候选点云子区域的像素值，确定各个候选点云子区域之间的相关程度；
基于各个候选点云子区域之间的相关程度，确定多个连通域；
将最大的连通域作为目标点云子区域。
在其中一个实施例中，确定预配准图像中包含的多个点云子区域，包括：
获取参考图像的点云区域边界，并基于点云区域边界确定目标点云区域；
确定目标点云区域中包含的各个参考点；并基于目标点云区域中的各个参考点，获取各个参考点对应的预配准点；
剔除预配准图像中不存在对应的参考点的预配准点，得到预配准图像的预配准点云区域；
对预配准点云区域进行划分，得到多个点云子区域。
在其中一个实施例中，根据各个预配准点对应的法向距离，从多个点云子区域中确定候选点云子区域，包括：
从多个预配准点中确定当前预配准点；
获取预先设置的法向距离阈值；
若当前预配准点的法向距离大于法向距离阈值，则将当前预配准点对应的点云子区域确定为候选点云子区域。
在其中一个实施例中，对预配准图像进行非刚性点云识别，包括：
获取预配准图像中包含的多个预配准点，并获取多个预配准点对应的配准差异度；
基于多个预配准点对应的配准差异度，确定针对配准差异度的对称程度；
在配准差异度的对称程度大于预设的对称程度阈值的情况下，将预配准图像确认为存在非刚性点云的图像。
在其中一个实施例中，基于多个预配准点对应的配准差异度，确定针对配准差异度的对称程度，包括：
获取配准差异度对应的概率密度；
基于配准差异度对应的概率密度，确定配准差异度的对称程度。
在其中一个实施例中，基于参考图像对待配准图像进行预配准，得到预配准图像，包括：
获取参考图像中的各个参考点，并确定各个参考点对应的参考平面；
对各个参考平面与待配准图像中的各个待配准点进行刚性配准，得到预配准图像以及预配准图像包含的预配准点。
在其中一个实施例中，获取多个预配准点对应的配准差异度，包括：
确定各预配准点在参考图像中对应的参考平面；
基于各预配准点，与各预配准点对应的参考平面之间的距离，确定各预配准点对应的配准差异度。
在其中一个实施例中，获取多个预配准点对应的配准差异度之前，包括：
对预配准图像中的各个预配准点进行点云滤波处理，得到点云滤波处理后的预配准点；
对点云滤波处理后的预配准点进行聚类处理，得到预配准图像的目标配准点；目标配准点为存在对应参考点的配准点；
获取多个预配准点对应的配准差异度，包括：
获取多个目标配准点对应的配准差异度。
在其中一个实施例中，在预配准图像存在非刚性点云的情况下，剔除预配准图像中包含的非刚性点云，得到修正后的预配准图像，包括：
在配准差异度的对称程度大于预设的对称程度阈值的情况下，识别预配准图像对应的非刚性点云图像类别；
基于与非刚性点云图像类别对应获取的非刚性点云图像修正模式，对预配准图像进行修正处理，得到修正后的预配准图像。
在其中一个实施例中，该方法还包括：
通过配准后的目标配准图像，消除磁共振图像的运动伪影。
第二方面，本申请还提供了一种图像配准装置，包括：
预配准模块，用于获取参考图像和待配准图像，并基于参考图像对待配准图像进行预配准，得到预配准图像；
点云识别模块，用于对预配准图像进行非刚性点云识别；
图像修正模块，用于在预配准图像存在非刚性点云的情况下，剔除预配准图像中包含的非刚性点云，得到修正后的预配准图像；
目标配准模块，用于基于参考图像以及修正后的预配准图像进行配准，得到配准后的目标配准图像。
第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述的方法实施例中的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
上述图像配准方法、装置、计算机设备和存储介质，通过获取参考图像和待配准图像，并基于参考图像对待配准图像进行预配准，得到预配准图像；对预配准图像进行非刚性点云识别；在预配准图像存在非刚性点云的情况下，剔除预配准图像中包含的非刚性点云，得到修正后的预配准图像；能够基于参考图像以及修正后的预配准图像进行配准，得到配准后的目标配准图像。与传统技术相比，本申请通过对预配准后的图像进行非刚性点云识别，能够在预配准图像存在非刚性点云的情况下，剔除非刚性点云，如此能够去除非刚性运动造成的假运动，并且能够保留正确的刚性运动，从而能够消除图像中的运动伪影，进而能够提高目标配准图像的准确性。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像配准方法的流程示意图；
图2为一个实施例中对预配准图像进行非刚性点云识别步骤的流程示意图；
图3为一个实施例中确定目标点云子区域步骤的流程示意图；
图4为另一个实施例中对预配准图像进行非刚性点云识别步骤的流程示意图；
图5为一个实施例中处理待配准图像中非刚性运动前后的对比示意图；
图6为一个实施例中剔除参考图像中没有对应点云前的点云对比示意图；
图7为一个实施例中去除眼部表情点前后图像的示意图；
图8为一个实施例中图像配准装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如上述记载，申请人在应用过程中发现，在点云配准的优化算法中，通过二维图像识别表情后进行图像配准或者非刚性ICP配准方法对于点云进行非刚性配准，都无法准确地对点云图像进行配准，这是由于在图像配准过程中，扫描对象存在皱眉眨眼等表情造成的非刚性运动，导致配准后的图像存在运动伪影。
在一个示例性的实施例中，如图1所示，提供了一种图像配准方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：S102至S108，其中：
S102，获取参考图像和待配准图像，并基于参考图像对待配准图像进行预配准，得到预配准图像。
其中，参考图像可以是用于参考的标准图像，可以是图像特征丰富且清晰的图像帧，参考图像可以是通过摄像头获取的参考帧。待配准图像可以是待进行图像配准的图像，可以是与参考图像实时进行配准的图像，进行图像配准可以是刚性运动配准。参考图像和待配准图像均可以是点云图像，均可以是用于辅助消除磁共振扫描图像的运动伪影的图像；例如，参考图像和待配准图像可以是通过深度相机拍摄磁共振的检测对象的头部得到的深度图像，通过配准后的两个深度图像(配准后的参考图像以及待配准图像)的配准结果，辅助消除磁共振扫描图像的运动伪影。参考图像和待配准图像均可以是磁共振扫描对象的头部图像。预配准图像可以是初步进行配准的图像，预配准图像可以是待配准图像经过配准变换后的图像。
示例性地，可以获取待检测对象的参考图像和待配准图像，可以根据待检测对象的参考图像，对待检测对象的待配准图像进行图像配准，图像配准过程中，为保证图像配准的准确性，在检测对象的待配准图像存在非刚性运动的情况下，需要对检测对象的待配准图像中的非刚性运动去除，避免非刚性运动导致的假运动，去除磁共振图像的运动伪影。作为一个示例，可以通过使用深度相机作为辅助，经过将参考图像和待配准图像进行图像配准，可以实时将待检测对象的头部运动信息传输给磁共振系统，磁共振系统根据得到的待检测对象的头部运动信息实时调整信号梯度，达到去除磁共振图像运动伪影的目的。
可以利用参考图像，对待配准图像进行初步配准，得到经过初步配准变换后的预配准图像。进一步，可以对预配准图像进行点云识别处理，确定预配准图像中是否中包含有非刚性点云。例如，可以直接通过图像之间的刚性配准的方式，对参考图像和待配准图像进行图像配准，也可以利用参考图像的参考点与待配准图像的面进行刚性配准，以完成预配准。
S104，对预配准图像进行非刚性点云识别。
其中，非刚性点云可以是摄像头拍摄到扫描对象的非刚性运动生成的点云，例如，非刚性点云可以是有眨眼、皱眉等表情时，生成表情对应的点云。
示例性地，可以对预配准图像进行点云识别，确定预配准图像是否包含有非刚性点云。例如，可以通过识别预配准图像中的各个点云和参考图像中的各个点云的配准关系，确定预配准图像中，与参考图像各个点云分别对应的点云。进一步可以通过预配准图像与参考图像中对应点的距离，确定预配准图像是否存在非刚性电源。又例如，可以通过表情识别的算法，对预配准图像进行表情识别，识别到预配准图像存在表情的情况下，可以确定预配准图像存在非刚性点云。识别是否存在表情可以通过参考图像的点云到预配准图像的面之间的距离确定。
S106，在预配准图像存在非刚性点云的情况下，剔除预配准图像中包含的非刚性点云，得到修正后的预配准图像。
其中，修正后的预配准图像可以是不包含有非刚性点云的图像。
示例性地，对预配准图像进行点云识别，如果预配准图像存在非刚性点云，则可以对预配准图像中包含的非刚性点云进行去除，剔除非刚性点云后得到不包含有非刚性点云的预配准图像。
可选地，可以直接在预配准图像中，去除识别出来的非刚性点云，得到修正后的预配准图像。还可以对预配准图像包含的非刚性点云进行分类，识别得到预配准图像中包含的表情类型，利用该表情类型对应的表情去除方式，去除预配准图像中包含的表情点，得到修正后的预配准图像。
S108，基于参考图像以及修正后的预配准图像进行配准，得到配准后的目标配准图像。
其中，目标配准图像可以是去除扫描对象存在的非刚性运动后得到的图像。非刚性运动可以是扫描对象眨眼、皱眉等表情所导致的运动。
示例性地，可以利用参考图像，对修正后的预配准图像进行再次配准，得到与参考图像配准后的目标配准图像。例如，在修正后的预配准图像不存在非刚性点云的情况下，可以通过对参考图像以及修正后的预配准图像进行刚性配准，修正预配准中由于局部非刚性运动导致的假运动。
本实施例中，通过获取参考图像和待配准图像，并基于参考图像对待配准图像进行预配准，得到预配准图像；对预配准图像进行非刚性点云识别；在预配准图像存在非刚性点云的情况下，剔除预配准图像中包含的非刚性点云，得到修正后的预配准图像；能够基于参考图像以及修正后的预配准图像进行配准，得到配准后的目标配准图像。与传统技术相比，本申请通过对预配准后的图像进行非刚性点云识别，能够在预配准图像存在非刚性点云的情况下，剔除非刚性点云，如此能够去除非刚性运动造成的假运动，并且能够保留正确的刚性运动，可以通过使用深度相机作为辅助，并通过获取参考图像和待配准图像的图像配准结果，可以实时将待检测对象的头部运动信息传输给磁共振系统，磁共振系统根据得到的待检测对象的头部运动信息实时调整信号梯度，达到去除磁共振图像运动伪影的目的，从而能够消除磁共振图像中的运动伪影，进而能够提高目标配准图像的准确性。
在一个示例性的实施例中，如图2所示，对预配准图像进行非刚性点云识别，包括S202至S208，其中：
S202，确定预配准图像中包含的多个点云子区域；各点云子区域中包含有多个预配准点，各预配准点分别对应有参考图像中的参考点；
S204，获取各点云子区域中各个预配准点、与各个预配准点对应的参考点之间的法向距离；法向距离为预配准点在法向量方向上的距离；
S206，根据各个预配准点对应的法向距离，从多个点云子区域中确定目标点云子区域；
S208，在目标点云子区域中包含的预配准点的数量大于预设的数量阈值情况下，将目标点云子区域中对应的点云确认为非刚性点云。
其中，点云子区域可以是对预配准的点云图像进行划分得到的子区域，划分可以是根据预设条件进行的划分。预配准点可以是预配准图像中包含的点云。参考点可以是参考点包含的点云。法向距离可以是预配准点与参考点在法向量上的距离。候选点云子区域可以是从多个点云子区域筛选出满足筛选条件的点云子区域，这里的筛选条件可以是根据法向距离确定的条件。目标点云子区域可以是从候选点云子区域中根据相关程度筛选确定的点云子区域。数量阈值可以针对预配准点的数量预先设置的阈值，可以是用于确定点云是否为非刚性点元的阈值，如果预配准图像和参考图像的对应点之间存在过大的法向运动分量，则认为出现了局部的非刚性运动，过大的法向运动分量可以根据法向距离确定，认为出现了局部的非刚性运动可以根据预配准点的数量以及预设的数量阈值确定。
示例性地，可以对预配准图像进行区域划分，得到多个点云子区域，确定各点云子区域中包含有的各个预配准点，并且可以确定各预配准点分别对应参考图像中的参考点。对于每个点云子区域，可以确定该点云子区域中，各个预配准点与其对应的参考点之间的法向距离，根据该点云子区域中，各个预配准点对应的法向距离，确定该点云子区域是否作为候选点云子区域。如此，能够从多个点云子区域中筛选确定出候选点云子区域。其中，候选点云子区域可以是从多个点云子区域筛选出满足筛选条件的点云子区域，这里的筛选条件可以是根据法向距离确定的条件。
可以根据各个候选点云子区域之间的相关程度，确定预配准图像的目标点云子区域。例如，可以根据多个候选点云子区域之间的连通域，得到预配准图像的目标点云子区域。可以获取目标点云子区域中包含的预配准点的数量，并确定针对预配准点的数量预先设置的数量阈值，如果目标点云子区域中包含的预配准点的数量大于预设的数量阈值，则可以将目标点云子区域作为非刚性点云的区域，并且可以将目标点云子区域中对应的点云确认为非刚性点云。其中，目标点云子区域可以是从候选点云子区域中根据相关程度筛选确定的点云子区域。
可选地，可以确定参考图像中的多个点云子区域，根据预配准图像和参考图像之间的预配准关系，确定预配准图像中包含的多个点云子区域，对于预配准图像在点云子区域内的点云中所有点在栅格形式的采样，若该点与参考图像中对应点之间的法向运动大于距离阈值，那么在该点所在的栅格内计数，直到遍历完栅格内的所有点。对栅格内进行采样的结果做寻找连通域的操作，找到点云栅格的最大连通域，并统计最大连通域内，所有栅格计数的总和，即为疑似表情点的数量总和。若表情点的数量总和大于表情点阈值，则认为有表情出现，在预配准图像中去掉这些表情点。
本实施例中，通过确定预配准图像中包含的多个点云子区域，获取各点云子区域中各个预配准点、与各个预配准点对应的参考点之间的法向距离；并且根据各个预配准点对应的法向距离，从多个点云子区域中确定候选点云子区域，并根据各个候选点云子区域之间的相关程度，确定目标点云子区域；能够在目标点云子区域中包含的预配准点的数量大于预设的数量阈值情况下，将目标点云子区域中对应的点云确认为非刚性点云。如此，能够准确地找到并且确定预配准图像中是否存在非刚性点云，可以进一步去除非刚性点云，从而可以提高预配准图像再次进行配准，去除预配准过程中非刚性运动造成的假运动，进而可以提高图像配准的准确性，进一步可以通过图像配准的结果，去除磁共振图像的运功伪影，提高磁共振图像质量。
在一个示例性的实施例中，根据各个预配准点对应的法向距离，从多个点云子区域中确定目标点云子区域，包括：
根据各个预配准点对应的法向距离，从多个点云子区域中确定候选点云子区域；
根据各个候选点云子区域之间的相关程度，确定目标点云子区域。
示例性地，对于每个点云子区域，可以确定该点云子区域中，各个预配准点与其对应的参考点之间的法向距离，根据该点云子区域中，各个预配准点对应的法向距离，确定该点云子区域是否作为候选点云子区域。如此，能够从多个点云子区域中筛选确定出候选点云子区域。可以根据各个候选点云子区域之间的相关程度，确定预配准图像的目标点云子区域。例如，可以根据多个候选点云子区域之间的连通域，得到预配准图像的目标点云子区域。
在一个示例性的实施例中，如图3所示，根据各个候选点云子区域之间的相关程度，确定目标点云子区域，包括：S302至S306，其中：
S302，获取各个候选点云子区域的像素值，并基于各个候选点云子区域的像素值，确定各个候选点云子区域之间的相关程度；
S304，基于各个候选点云子区域之间的相关程度，确定多个连通域；
S306，将最大的连通域作为目标点云子区域。
其中，区域的像素值可以各个点云对应的像素确定的数值。连通域可以是根据像素值确定的多个候选点云子区域，例如，可以是多个候选点云子区域的像素值相同或者相邻，则可以将这多个候选点云子区域座位连通域。像素值相邻可以是根据预设的像素值范围确定的。
示例性地，可以获取各个候选点云子区域的像素值，并根据各个候选点云子区域的像素值，确定两两候选点云子区域的相似程度，进一步可以根据各个候选点云子区域之间的相似程度，确定至少一个连通域。例如，可以根据像素值与预设的像素阈值范围，确定候选点云子区域之间的相似程度，进一步可以根据相似程度以及预设的相似程度阈值范围，确定候选点云子区域形成的连通域。例如，候选点云子区域A分别与候选点云子区域B、C的相似程度均为1，候选点云子区域D与候选点云子区域E的相似程度为0.8，则可以根据候选点云子区域A、B、C得到连通域M，根据候选点云子区域D、E得到连通域N。可以将最大的连通域作为目标点云子区域。例如，上述连通域M包含3个点云子区域，连通域N包含2个点云子区域，则可以将连通域M作为最大的连通域，将连通域M作为目标点云子区域。可以理解的是，上述连通域M、N只是本实施例的举例说明，连通域的数量不限于两个。
本实施例中，通过获取各个候选点云子区域的像素值，并基于各个候选点云子区域的像素值，能够确定各个候选点云子区域之间的相关程度；并且通过基于各个候选点云子区域之间的相关程度，确定多个连通域，能够将最大的连通域作为目标点云子区域。如此，能够准确地确定目标点云子区域，从而可以提高确定非刚性点云的准确性，进而能够提高图像配准的准确性。
在一个示例性的实施例中，确定预配准图像中包含的多个点云子区域，包括：
获取参考图像的点云区域边界，并基于点云区域边界确定目标点云区域；
确定目标点云区域中包含的各个参考点；并基于目标点云区域中的各个参考点，获取各个参考点对应的预配准点；
剔除预配准图像中不存在对应的参考点的预配准点，得到预配准图像的预配准点云区域；
对预配准点云区域进行划分，得到多个点云子区域。
其中，点云区域边界可以是预先设置的边界，可以是根据参考图像中的点云确定的边界，例如，可以将参考图像中图像边缘的点云确定点云区域边界。目标点云区域可以是以点云区域边界为边界的区域。目标点云区域可以包含有多个参考点。
其中，参考点可以是参考图像中的点云，参考点可以是预设的可操作点云区域中包含的点云。预配准点可以是预配准图像中包含的点云。预配准点云区域可以是预配准点所在的点云区域。
示例性地，可以确定参考图像中包含的点云区域边界，例如，可以求出参考图像中点云的边界坐标，基于边界坐标确定点云区域边界。可以基于点云区域边界确定目标点云区域，并获取目标点云区域中包含的多个参考点。可以基于目标点云区域中的各个参考点，确定各个参考点分别对应的预配准点。如果参考图像中的各个参考点不存在对应的预配准点，则可以剔除预配准图像中不存在对应的参考点的预配准点，得到预配准图像的预配准点云区域，可以基于未剔除的预配准点，得到预配准图像的预配准点云区域。如此，能够避免预配准图像中引入参考图像中没有对应点的点云。
可以获取各个参考点分别对应的预配准点，例如，可以通过kd-tree(k维树)算法进行最近邻搜索，获取与每个参考点对应的预配准点。可以各个预配准点，在预配准图像中确定预配准点云区域，例如，可以将所有预配准点对应的区域作为预配准点云区域。进一步可以对预配准点云区域进行划分，得到预配准图像的多个点云子区域。如此，能够有效准确性地划分得到多个点云子区域，并且保证参考图像中的参考点均能够对应点云子区域中的点云。
本实施例中，通过获取参考图像的点云区域边界，并基于点云区域边界确定目标点云区域；确定目标点云区域中包含的各个参考点；并基于目标点云区域中的各个参考点，获取各个参考点对应的预配准点；剔除预配准图像中不存在对应的参考点的预配准点，得到预配准图像的预配准点云区域；如此能够保证各个参考点均能够对应有预配准图像的点云；通过对预配准点云区域进行划分，能够得到多个点云子区域，从而能够准确得到预配准图像的点云子区域，从而能够提高确定非刚性点云的准确性，进而去除配准后的图像的假运动，保留正确的运动，能够提高图像配准的准确性，从而准确去除磁共振图像的运动伪影。
在一个示例性的实施例中，根据各个预配准点对应的法向距离，从多个点云子区域中确定候选点云子区域，包括：
从多个预配准点中确定当前预配准点；
获取预先设置的法向距离阈值；
若当前预配准点的法向距离大于法向距离阈值，则将当前预配准点对应的点云子区域确定为候选点云子区域。
其中，当前预配准点可以是任意一个多个预配准点中的任意一个。法向距离阈值可以是针对法向距离预先设置的阈值。
示例性地，可以获取针对法向距离预先设置的法向距离阈值，可以基于法向距离阈值判断法向距离为过大的运动分量。从多个预配准点中确定任意一个预配准点作为当前预配准点；对于每一个预配准点可以利用本实施例提供的方式进行处理，以确定候选点云子区域。
对于每一个预配准点，如果该预配准点对应的法向距离大于法向距离阈值，则可以将该预配准点对应的点云子区域确定为候选点云子区域。例如，点云子区域X中包含有预配准点A、B、C。如果预配准点A对应的法向距离大于法向距离阈值，则可以将点云子区域X
确定为候选点云子区域。
本实施例中，通过获取预先设置的法向距离阈值；若当前预配准点的法向距离大于法向距离阈值，则将当前预配准点对应的点云子区域确定为候选点云子区域。如此，能够通过预先设置的法向距离阈值，判断参考图像和预配准图像之间是否存在过大的法向距离，从而能够提高确定候选点云子区域的准确性，进一步能够提高确定非刚性点云的准确性，进而能够提高图像匹配的准确性。
在一个示例性的实施例中，如图4所示，对预配准图像进行非刚性点云识别，包括：S402至S406，其中：
S402，获取预配准图像中包含的多个预配准点，并获取多个预配准点对应的配准差异度；
S404，基于多个预配准点对应的配准差异度，确定针对配准差异度的对称程度；
S406，在配准差异度的对称程度大于预设的对称程度阈值的情况下，将预配准图像确认为存在非刚性点云的图像。
其中，配准差异度可以用于表征预配准点的配准程度。预配准点的配准程度可以是预配准点与参考图像的平面之间的配准程度。例如，配准差异度可以是配准残差、方差等。对称程度可以是根据各个预配准点的配准差异度得到的，例如，对称程度可以是偏度。对称程度阈值可以是针对对称程度预先设置的阈值，对称程度阈值可以用于判断对称程度是否过大。例如，如果配准差异度的对称程度小于或等于预设的对称程度阈值，则可以认为配准差异度的对称程度没有过大，进一步可以认为该配准差异度对应的预配准图像没有扫描对象的表情造成的非刚性运动出现，即可以认为不存在非刚性点云。
示例性地，可以确定预配准图像中包含的与参考图像中的参考点对应的各个预配准点，并确定各个预配准点对应的配准差异度。例如，可以获取各个预配准点到参考图像中的对应平面的距离，作为预配准图像的各个预配准点的点云刚性配准残差，点云刚性配准残差可以作为预配准点的配准差异度。
可以根据预配准图像的多个预配准点对应的配准差异度，得到该预配准图像针对配准差异度的对称程度。可以获取预先设置的对称程度阈值，如果该预配准图像针对配准差异度的对称程度大于预设的对称程度阈值的情况下，则可以将该预配准图像确认为存在非刚性点云的图像。如此，能够有效并且准确地判断预配准图像是否存在有磁共振扫描对象的非刚性运动。例如，可以根据预配准图像的多个预配准点对应的点云刚性配准残差，得到预配准图像的点云刚性配准残差的概率密度直方图；可以计算整个概率密度直方图的三阶概率矩，即偏度，可以将三阶概率矩与三阶概率矩阈值作比较，若三阶概率矩大于三阶概率矩阈值，则说明预配准图像有表情出现。
本实施例中，通过获取预配准图像中包含的多个预配准点，并获取多个预配准点对应的配准差异度，可以基于多个预配准点对应的配准差异度，确定针对配准差异度的对称程度；在配准差异度的对称程度大于预设的对称程度阈值的情况下，能够将预配准图像确认为存在非刚性点云的图像。如此，能够通过配准差异度的对称程度判断是否存在有较大的配准差异度且偏差明显，以此进一步判断预配准图像的点云配准是否符合预期或者存在表情，从而能够准确地判断预配准图像是否存在有表情造成的非刚性运动，进而能够提高图像配准的准确性。
在一个示例性的实施例中，基于多个预配准点对应的配准差异度，确定针对配准差异度的对称程度，包括：
获取配准差异度对应的概率密度；
基于配准差异度对应的概率密度，确定配准差异度的对称程度。
其中，配准差异度可以是点云刚性配准残差，点云刚性配准残差可以是预配准点的刚性配准的残差，可以用预配准点到参考图像的对应平面的距离来表征点云刚性配准残差，即可以用预配准点到参考图像的对应平面的距离来表征配准差异度。概率密度可以是多个残差的概率密度。参考图像的对应平面可以预配准点在参考图像中对应的平面，例如，预配准点可以与参考图像的平面进行刚性配准，得到各个预配准点在参考图像中对应的平面。
示例性地，可以获取预配准图像的多个预配准点对应的点云刚性配准残差，并根据预配准图像的多个预配准点对应的点云刚性配准残差，得到预配准图像的点云刚性配准残差的概率密度直方图；可以计算整个概率密度直方图的三阶概率矩(偏度)，可以将三阶概率矩作为预配准图像的配准差异度的对称程度。
本实施例中，通过获取配准差异度对应的概率密度，并基于配准差异度对应的概率密度，能够确定配准差异度的对称程度，从而可以提高对称程度的准确性，进而可以提高确定预配准图像是否存在非刚性运动的准确性。
在一个示例性的实施例中，基于参考图像对待配准图像进行预配准，得到预配准图像，包括：
获取参考图像中的各个参考点，并确定各个参考点对应的参考平面；
对各个参考平面与待配准图像中的各个待配准点进行刚性配准，得到预配准图像以及预配准图像包含的预配准点。
其中，参考点可以是参考图像中的点云。参考平面可以是基于参考点形成的平面。待配准点可以是待配准图像中待配准的点云，对待配准点与参考图像进行配准后，可以确定待配准点与参考图像的配准关系，待配准点成为预配准点。
示例性地，可以获取参考图像中的各个参考点，并且对于每一个参考点，可以确定该参考点对应的参考平面，可以确定各个参考点分别对应的参考平面。可以将各个参考平面与待配准图像中的各个待配准点进行刚性配准，使得各个待配准点与参考平面的参考平面存在刚性配准关系，得到预配准图像，并且能够确定预配准图像中的各个预配准点与其对应的参考平面的刚性配准关系。例如，可以对参图像和待配准图像进行点到面的icp(Iterative Closest Point)刚性配准，得到预配准图像。
本实施例中，通过获取参考图像中的各个参考点，并确定各个参考点对应的参考平面；对各个参考平面与待配准图像中的各个待配准点进行刚性配准，能够得到预配准图像以及预配准图像包含的预配准点，从而可以有效确定预配准图像以及预配准点，进一步可以准确确定预配准点是否存在非刚性点云，进而能够提高图像配准的准确性。
在一个示例性的实施例中，获取多个预配准点对应的配准差异度，包括：
确定各预配准点在参考图像中对应的参考平面；
基于各预配准点，与各预配准点对应的参考平面之间的距离，确定各预配准点对应的配准差异度。
示例性地，可以确定各个预配准点与参考平面的配准关系，可以确定各个预配准点在参考图像中所对应的参考平面。对于每一个预配准点，可以根据该预配准点与其对应的参考平面之间的距离，确定该预配准点的点云刚性配准残差，可以根据点云刚性配准残差，得到该预配准点的配准差异度，例如，可以将残差该预配准点到期其对应的参考平面的距离，作为该预配准点的配准差异度。如此，能够得到各个预配准点的配准差异度。
本实施例中，通过确定各预配准点在参考图像中对应的参考平面；并基于各预配准点，与各预配准点对应的参考平面之间的距离，能够确定各预配准点对应的配准差异度，从而能够准确有效地确定预配准点的配准差异度，进而能够提高确定预配准图像是否存在非刚性运动的准确性。
在一个示例性的实施例中，确定各个参考点对应的参考平面，包括：
从多个参考点中获取当前参考点，当前参考点为多个参考点中的任意一个；
获取与当前参考点关联的多个关联参考点；
基于当前参考点以及与多个关联参考点，确定当前参考点对应的参考平面。
其中，当前参考点可以是多个参考点中的任意一个参考点。关联参考点可以是与当前参考点关联的参考点，例如，关联参考点可以是当前参考点周围的参考点。
示例性地，可以多个参考点中将任意一个参考点作为当前参考点。对于任意一个参考点，确定与该参考点关联的多个关联参考点，并且可以根据该参考点以及与该参考点对应的多个关联参考点，确定当前参考点对应的参考平面。例如，可以使用每个参考点周围16个参考点，拟合出该参考点所在的参考平面，并求出该参考平面的法向量作为该参考点的法向量。
本实施例中，通过获取与当前参考点关联的多个关联参考点；基于当前参考点以及与多个关联参考点，能够确定当前参考点对应的参考平面，从而能够提高每个参考点对应的参考平面的准确性。
在一个示例性的实施例中，获取多个预配准点对应的配准差异度之前，包括：
对预配准图像中的各个预配准点进行点云滤波处理，得到点云滤波处理后的预配准点；
对点云滤波处理后的预配准点进行聚类处理，得到预配准图像的目标配准点；目标配准点为存在对应参考点的配准点；
获取多个预配准点对应的配准差异度，包括：
获取多个目标配准点对应的配准差异度。
其中，目标配准点可以是在参考图像中存在对应的参考点的预配准点。
示例性地，可以对预配准图像中的各个预配准点进行点云滤波，去除预配准图像中的离群点。例如，可以通过RadiusOutlierRemoval(半径异常值移除)算法，去掉预配准图像中的离群点。可以对去除离群点后的预配准点进行聚类处理，得到预配准图像的存在对应参考点的目标配准点。例如，可以使用欧式聚类分割方法去掉在参考图像中没有对应点的预配准点，以保证预配准图像的目标配准点在参考图像中均存在对应的参考点。获取多个预配准点对应的配准差异度的步骤中，可以是获取多个目标配准点对应的配准差异度。
本实施例中，通过对预配准图像中的各个预配准点进行点云滤波处理，得到点云滤波处理后的预配准点；并对点云滤波处理后的预配准点进行聚类处理，能够得到预配准图像的目标配准点；通过获取多个目标配准点对应的配准差异度，从而能够保证预配准后的预配准点的准确性，并且能够保证配准差异度的准确性，进而能够提高识别表情的准确性。
在一个示例性的实施例中，在预配准图像存在非刚性点云的情况下，剔除预配准图像中包含的非刚性点云，得到修正后的预配准图像，包括：
在配准差异度的对称程度大于预设的对称程度阈值的情况下，识别预配准图像对应的非刚性点云图像类别；
基于与非刚性点云图像类别对应获取的非刚性点云图像修正模式，对预配准图像进行修正处理，得到修正后的预配准图像。
其中，对称程度阈值可以是针对对称程度预先设置的阈值。非刚性点云图像类别可以用于表征预配准图像所存在的表情的类型。非刚性点云图像修正模式可以是用于针对非刚性点云图像类别的图像进行去除表情的模式，例如，可以是去除皱眉表情的模修正式，可以是去除眨眼表情的修正模式。
示例性地，如果配准差异度的对称程度大于预设的对称程度阈值，则可以对预配准图像进行非刚性点云图像类别的识别，确定预配准图像对应的非刚性点云图像类别。可以获取与非刚性点云图像类别对应获取的非刚性点云图像修正模式，并基于该非刚性点云图像修正模式，去除预配准图像中包含的表情对应的点云，得到修正后的预配准图像。
例如，可以在识别出预配准图像存在有表情的情况下，使用通过深度学习得到的表情识别模型将表情分类，不同的表情类别可以使用不同的处理方式，做到差别处理，以去除预配准图像中的表情，减少图像配准的运动伪影。
本实施例中，通过在配准差异度的对称程度大于预设的对称程度阈值的情况下，识别预配准图像对应的非刚性点云图像类别；基于与非刚性点云图像类别对应获取的非刚性点云图像修正模式，对预配准图像进行修正处理，能够得到修正后的预配准图像，从而可以提高图像配准的准确性。
在一个具体实施例中，如图5所示，本申请提供的图像配准方法能够处理扫描对象的待配准图像中存在的皱眉和眨眼，曲线510为原始运动曲线，曲线520为利用本申请提供的图像配准方法处理后的运动曲线。结果显示，本申请提出的图像配准方法能够成功将假运动去除，使运动曲线保持在运动基线上，且没有丢失正确的运动。假运动的原因在于局部非刚性运动会干扰整幅点云刚性配准优化迭代的方向，是点云刚性配准过程陷入局部最优解，导致假运动的出现，而本申请提供的图像配准方法可以处理这些情况。
在一个示例性的实施例中，该方法还包括：
通过配准后的目标配准图像，消除磁共振图像的运动伪影。
示例性地，可以通过使用深度相机作为辅助，并通过获取参考图像和待配准图像的图像配准结果，可以实时将待检测对象的头部运动信息传输给磁共振系统，磁共振系统根据得到的待检测对象的头部运动信息实时调整信号梯度，达到去除磁共振图像运动伪影的目的，从而能够消除磁共振图像中的运动伪影，进而能够提高目标配准图像的准确性。
在一个具体实施例中，提供了一种图像配准方法，用于磁共振的头部图像，包括：
计算点云刚性配准后参考图像和预配准图像的对应点之间的距离，并使用kd-tree(k维树)算法进行最近邻搜索，获取与每个参考点对应的预配准点。
为了避免预配准图像引入参考图像中没有对应点的点云，求出参考图像的点云的边界坐标，找到参考图像的目标点云区域，确定后续操作点云区域。在参考图像中没有对应点的点云，需将这部分点云排除在外，避免误判为表情点，如图6所示，灰度颜色较浅的点云为参考图像的点云，灰度颜色较深的点云为预配准完移动过来的预配准图像的预配准点云。右侧非重叠部分的灰度颜色较深部分的点云即为在参考图像中没有对应点的点云，需将这部分点云排除在外，避免误判为表情点。
对于预配准图像在点云子区域内的点云中所有点在栅格形式的采样，若该点与参考图像中对应点之间的法向运动大于距离阈值，那么在该点所在的栅格内计数，直到遍历完栅格内的所有点。对栅格内进行采样的结果做寻找连通域的操作，找到点云栅格的最大连通域，并统计最大连通域内，所有栅格计数的总和，即为疑似表情点的数量总和。若表情点的数量总和大于表情点阈值，则认为有表情出现，在预配准图像中去掉这些表情点。再将新的预配准图像与参考图像做点云刚性配准，修正第一次点云刚性配准中由于局部非刚性运动导致的假运动。如图7所示，(a)为去除眼部表情点前的图像，(b)为去除眼部表情点后的图像。
本实施例中，能够基于提取面部点云表情点，识别绝大部分表情，并且处理由于表情导致的假运动，保留正确的头部运动，达到提升磁共振图像的质量和减少运动伪影的目标。
在一个具体实施例中，提供了一种图像配准方法，用于辅助磁共振的头部图像消除运动伪影，包括：在参考图像中，使用每个点周围16个点，拟合出该点所在参考平面，并求出该参考平面的法向量作为该参考点的法向量。
对参考图像和待配准图像进行点到面的icp刚性配准，得到预配准图像。
通过RadiusOutlierRemoval方法去掉预配准图像中的离群点，使用欧式聚类分割方法去掉在参考帧中没有对应点的点。
计算预配准图像中所有点的点云刚性配准残差，即预配准点到对应的参考平面之间的距离。
统计所有预配准点的残差值，并画出预配准点的点云残差的概率密度直方图。
计算整个概率密度直方图的方差的三阶概率矩，即偏度。并与三阶矩阈值作比较，若大于阈值，则说明有表情出现。维持上次配准的刚性运动，避免假运动的出现。为了提升算法鲁棒性，可以同时考虑二阶矩。
识别出有表情的预配准图像之后，使用通过深度学习得到的表情识别模型将表情分类，不同的表情类别使用不同的处理方式，做到差别处理，如下图中的皱眉，眨眼。
在统计学中，矩表征随机量的分布，如一个“二阶矩”在一维上可测量其“宽度”，在更高阶的维度上由于其使用于橢球的空间分布，还可以对点的云结构进行测量和描述。其他矩用来描述诸如与均值的偏差分布情况(如，偏态)，或峰值的分布情况(如，峰态)。本实施例提供用三阶矩识别表情，是统计直方图偏斜度的度量。直方图对称，则偏斜度为0，直方图右偏斜，则偏斜度为正，直方图左偏斜，则偏斜度为负。本实施例中，统计量为残差的绝对值，因此偏度越大，表示点云刚性配准结果中，有大量残差较大的对应点且偏差明显，与点云刚性配准的预期不符，极有可能是有表情出现。
本实施例中，通过统计点云配准残差分布和概率的方法，识别绝大部分表情，并且处理由于表情导致的假运动，保留正确的头部运动。达到提升磁共振图像质量和减少运动伪影的目标。
在一个具体实施例中，结合提取面部点云表情点的方法以及统计点云配准残差分布和概率的方法，能够更有效准确地识别绝大部分表情，并且处理由于表情导致的假运动，保留正确的头部运动。达到提升磁共振图像质量和减少运动伪影的目标。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像配准方法的图像配准装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像配准装置实施例中的具体限定可以参见上文中对于图像配准方法的限定，在此不再赘述。
在一个示例性的实施例中，如图8所示，提供了一种图像配准装置，包括：预配准模块810、点云识别模块820、图像修正模块830和目标配准模块840，其中：
预配准模块810，用于获取参考图像和待配准图像，并基于参考图像对待配准图像进行预配准，得到预配准图像；
点云识别模块820，用于对预配准图像进行非刚性点云识别；
图像修正模块830，用于在预配准图像存在非刚性点云的情况下，剔除预配准图像中包含的非刚性点云，得到修正后的预配准图像；
目标配准模块840，用于基于参考图像以及修正后的预配准图像进行配准，得到配准后的目标配准图像。
在一个示例性的实施例中，点云识别模块包括子区域确定单元、法向距离获取单元、目标子区域确定单元和非刚性点云确认单元。
子区域确定单元用于确定预配准图像中包含的多个点云子区域；各点云子区域中包含有多个预配准点，各预配准点分别对应有参考图像中的参考点。法向距离获取单元用于获取各点云子区域中各个预配准点、与各个预配准点对应的参考点之间的法向距离；法向距离为预配准点在法向量方向上的距离。目标子区域确定单元用于根据各个预配准点对应的法向距离，从多个点云子区域中确定目标点云子区域。非刚性点云确认单元用于在目标点云子区域中包含的预配准点的数量大于预设的数量阈值情况下，将目标点云子区域中对应的点云确认为非刚性点云。
在一个示例性的实施例中，目标子区域确定单元包括候选子区域确定单元和目标点云子区域单元。
候选子区域确定单元用于根据各个预配准点对应的法向距离，从多个点云子区域中确定候选点云子区域。目标点云子区域单元用于根据各个候选点云子区域之间的相关程度，确定目标点云子区域。
在一个示例性的实施例中，目标点云子区域单元包括相关程度确定单元、连通域确定单元和目标子区域获取单元。
相关程度确定单元用于获取各个候选点云子区域的像素值，并基于各个候选点云子区域的像素值，确定各个候选点云子区域之间的相关程度。连通域确定单元用于基于各个候选点云子区域之间的相关程度，确定多个连通域。目标子区域获取单元用于将最大的连通域作为目标点云子区域。
在一个示例性的实施例中，子区域确定单元包括目标参考区域确定单元、参考点确定单元、预配准区域确定单元和预配准区域划分单元。
目标参考区域确定单元用于获取参考图像的点云区域边界，并基于点云区域边界确定目标点云区域。参考点确定单元用于确定目标点云区域中包含的各个参考点；并基于目标点云区域中的各个参考点，获取各个参考点对应的预配准点。预配准区域确定单元用于剔除预配准图像中不存在对应的参考点的预配准点，得到预配准图像的预配准点云区域。预配准区域划分单元用于对预配准点云区域进行划分，得到多个点云子区域。
在一个示例性的实施例中，目标子区域确定单元包括当前预配准点确定单元、法向距离阈值获取单元和候选子区域确定单元。
当前预配准点确定单元用于从多个预配准点中确定当前预配准点。法向距离阈值获取单元用于获取预先设置的法向距离阈值。候选子区域确定单元用于若当前预配准点的法向距离大于法向距离阈值，则将当前预配准点对应的点云子区域确定为候选点云子区域。
在一个示例性的实施例中，点云识别模块包括配准差异度获取单元、对称程度获取单元和对称程度比对单元。
配准差异度获取单元用于获取预配准图像中包含的多个预配准点，并获取多个预配准点对应的配准差异度。对称程度获取单元用于基于多个预配准点对应的配准差异度，确定针对配准差异度的对称程度。对称程度比对单元用于在配准差异度的对称程度大于预设的对称程度阈值的情况下，将预配准图像确认为存在非刚性点云的图像。
在一个示例性的实施例中，对称程度获取单元包括概率密度获取单元和对称程度确定单元。
概率密度获取单元用于获取配准差异度对应的概率密度。对称程度确定单元用于基于配准差异度对应的概率密度，确定配准差异度的对称程度。
在一个示例性的实施例中，预配准模块包括参考平面获取单元和预配准图像确定单元。
参考平面获取单元用于获取参考图像中的各个参考点，并确定各个参考点对应的参考平面。预配准图像确定单元用于对各个参考平面与待配准图像中的各个待配准点进行刚性配准，得到预配准图像以及预配准图像包含的预配准点。
在一个示例性的实施例中，配准差异度获取单元包括参考平面确定单元和配准差异度确定单元。
参考平面确定单元用于确定各预配准点在参考图像中对应的参考平面。配准差异度确定单元用于基于各预配准点，与各预配准点对应的参考平面之间的距离，确定各预配准点对应的配准差异度。
在一个示例性的实施例中，参考平面获取单元包括当前参考点获取单元、关联参考点获取单元和参考点对应平面单元。
当前参考点获取单元用于从多个参考点中获取当前参考点，当前参考点为多个参考点中的任意一个。关联参考点获取单元用于获取与当前参考点关联的多个关联参考点。参考点对应平面单元用于基于当前参考点以及与多个关联参考点，确定当前参考点对应的参考平面。
在一个示例性的实施例中，点云识别模块包括点云滤波单元和聚类处理单元。
点云滤波单元用于对预配准图像中的各个预配准点进行点云滤波处理，得到点云滤波处理后的预配准点。聚类处理单元用于对点云滤波处理后的预配准点进行聚类处理，得到预配准图像的目标配准点；目标配准点为存在对应参考点的配准点。配准差异度获取单元用于获取多个目标配准点对应的配准差异度。
在一个示例性的实施例中，图像修正模块包括图像类别识别单元和修正处理单元。
图像类别识别单元用于在配准差异度的对称程度大于预设的对称程度阈值的情况下，识别预配准图像对应的非刚性点云图像类别。修正处理单元用于基于与非刚性点云图像类别对应获取的非刚性点云图像修正模式，对预配准图像进行修正处理，得到修正后的预配准图像。
在一个示例性的实施例中，该装置还包括运动伪影消除模块。
运动伪影消除模块用于通过配准后的目标配准图像，消除磁共振图像的运动伪影。
上述图像配准装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储参考图像和待配准图像。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像配准方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像配准方法，其特征在于，所述方法包括：
获取参考图像和待配准图像，并基于所述参考图像对所述待配准图像进行预配准，得到预配准图像；
对所述预配准图像进行非刚性点云识别；
在所述预配准图像存在非刚性点云的情况下，剔除所述预配准图像中包含的非刚性点云，得到修正后的预配准图像；
基于所述参考图像以及所述修正后的预配准图像进行配准，得到配准后的目标配准图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述预配准图像进行非刚性点云识别，包括：
确定所述预配准图像中包含的多个点云子区域；各所述点云子区域中包含有多个预配准点，各所述预配准点分别对应有所述参考图像中的参考点；
获取各所述点云子区域中各个预配准点、与所述各个预配准点对应的参考点之间的法向距离；所述法向距离为预配准点在法向量方向上的距离；
根据所述各个预配准点对应的法向距离，从所述多个点云子区域中确定目标点云子区域；
在所述目标点云子区域中包含的预配准点的数量大于预设的数量阈值情况下，将所述目标点云子区域中对应的点云确认为非刚性点云。
3.根据权利要求2所述的方法，其特征在于，所述确定所述预配准图像中包含的多个点云子区域，包括：
获取所述参考图像的点云区域边界，并基于所述点云区域边界确定目标点云区域；
确定所述目标点云区域中包含的各个参考点；并基于所述目标点云区域中的各个参考点，获取所述各个参考点对应的预配准点；
剔除所述预配准图像中不存在对应的参考点的预配准点，得到所述预配准图像的预配准点云区域；
对所述预配准点云区域进行划分，得到所述多个点云子区域。
4.根据权利要求1所述的方法，其特征在于，所述对所述预配准图像进行非刚性点云识别，包括：
获取所述预配准图像中包含的多个预配准点，并获取所述多个预配准点对应的配准差异度；
基于所述多个预配准点对应的配准差异度，确定针对配准差异度的对称程度；
在所述配准差异度的对称程度大于预设的对称程度阈值的情况下，将所述预配准图像确认为存在非刚性点云的图像。
5.根据权利要求4所述的方法，其特征在于，所述基于所述多个预配准点对应的配准差异度，确定针对配准差异度的对称程度，包括：
获取配准差异度对应的概率密度；
基于配准差异度对应的概率密度，确定配准差异度的对称程度。
6.根据权利要求4所述的方法，其特征在于，所述获取所述多个预配准点对应的配准差异度，包括：
确定各预配准点在所述参考图像中对应的参考平面；
基于所述各预配准点，与所述各预配准点对应的参考平面之间的距离，确定所述各预配准点对应的配准差异度。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过所述配准后的目标配准图像，消除磁共振图像的运动伪影。
8.一种图像配准装置，其特征在于，所述装置包括：
预配准模块，用于获取参考图像和待配准图像，并基于所述参考图像对所述待配准图像进行预配准，得到预配准图像；
点云识别模块，用于对所述预配准图像进行非刚性点云识别；
图像修正模块，用于在所述预配准图像存在非刚性点云的情况下，剔除所述预配准图像中包含的非刚性点云，得到修正后的预配准图像；
目标配准模块，用于基于所述参考图像以及所述修正后的预配准图像进行配准，得到配准后的目标配准图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311398493.4A CN117372487A (zh) | 2023-10-26 | 2023-10-26 | 图像配准方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311398493.4A CN117372487A (zh) | 2023-10-26 | 2023-10-26 | 图像配准方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117372487A true CN117372487A (zh) | 2024-01-09 |
Family
ID=89402012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311398493.4A Pending CN117372487A (zh) | 2023-10-26 | 2023-10-26 | 图像配准方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117372487A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117765047A (zh) * | 2024-02-22 | 2024-03-26 | 法奥意威(苏州)机器人系统有限公司 | 一种工件配准方法、装置、计算机设备及存储介质 |
-
2023
- 2023-10-26 CN CN202311398493.4A patent/CN117372487A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117765047A (zh) * | 2024-02-22 | 2024-03-26 | 法奥意威(苏州)机器人系统有限公司 | 一种工件配准方法、装置、计算机设备及存储介质 |
| CN117765047B (zh) * | 2024-02-22 | 2024-04-30 | 法奥意威(苏州)机器人系统有限公司 | 一种工件配准方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108388896B (zh) | 一种基于动态时序卷积神经网络的车牌识别方法 | |
| Jiang et al. | Robust feature matching for remote sensing image registration via linear adaptive filtering | |
| CN109325412B (zh) | 行人识别方法、装置、计算机设备及存储介质 | |
| CN111860670A (zh) | 域自适应模型训练、图像检测方法、装置、设备及介质 | |
| CN108229475B (zh) | 车辆跟踪方法、系统、计算机设备及可读存储介质 | |
| Kamencay et al. | Improved Depth Map Estimation from Stereo Images Based on Hybrid Method. | |
| Yoo et al. | Image matching using peak signal-to-noise ratio-based occlusion detection | |
| CN112837303A (zh) | 一种用于模具监视的缺陷检测方法、装置、设备及介质 | |
| CN111667464A (zh) | 危险品三维图像检测方法、装置、计算机设备及存储介质 | |
| CN108986152B (zh) | 一种基于差分图像的异物检测方法及装置 | |
| CN111524168B (zh) | 点云数据的配准方法、系统、装置及计算机存储介质 | |
| CN106709500B (zh) | 一种图像特征匹配的方法 | |
| CN107749071B (zh) | 大畸变棋盘格图像角点检测方法及装置 | |
| CN112200056B (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
| CN117372487A (zh) | 图像配准方法、装置、计算机设备和存储介质 | |
| WO2023185234A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113723399A (zh) | 一种车牌图像矫正方法、车牌图像矫正装置和存储介质 | |
| CN112767358A (zh) | 基于图像特征配准的铁路电力机车故障检测方法 | |
| CN110288040B (zh) | 一种基于拓扑验证的图像相似评判方法及设备 | |
| CN108182700B (zh) | 一种基于两次特征检测的图像配准方法 | |
| CN112204957A (zh) | 白平衡处理方法和设备、可移动平台、相机 | |
| CN116091998A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN113643290B (zh) | 一种基于图像处理的吸管计数方法、装置及存储介质 | |
| Phogat et al. | Different image registration methods—an overview | |
| CN114004839A (zh) | 全景图像的图像分割方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |