CN105809681A - 基于单相机的人体rgb-d数据恢复与三维重建方法 - Google Patents

Abstract

本发明提出一种基于单相机的人体RGB‑D数据恢复与三维重建方法，包括以下步骤：获取三维重建对象的关键帧对应的RGB‑D数据；通过平滑约束对RGB‑D数据进行优化处理；获取优化处理后的关键帧对应的RGB‑D数据之间的匹配关系；根据目标约束函数对所有优化处理后的关键帧对应的RGB‑D数据和相机的外参进行整体优化。本发明的方法在获取RGB‑D深度数据的基础上，引入了匹配约束和形变约束，对获取的点云数据和相机标定结果进行进一步优化，能够克服拍摄过程中由于物体姿态变化和微小运动对三维重建的影响，从而得到精准的三维模型。

Description

基于单相机的人体RGB-D数据恢复与三维重建方法

技术领域

本发明涉及计算机图形学和计算机视觉技术领域，特别涉及一种基于单相机的人体RGB-D数据恢复与三维重建方法。

背景技术

物体三维重建是计算机图形学、计算机动画、计算机视觉、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术。

目前相关的三维重建技术可分为多相机和单相机两种，经过图像提取、相机标定、特征提取、立体匹配可恢复对象稀疏的点云模型；也可用Kinect等深度传感器直接获取物体的深度数据。在三维重建过程中，由于建模对象的微小形变和运动，导致恢复的三维模型精度降低，而目前的三维重建技术恢复的稀疏点云数据无法满足对细节要求较高的场合。

发明内容

本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。

为此，本发明的目的在于提出一种基于单相机的人体RGB-D数据恢复与三维重建方法，该方法在获取RGB-D深度数据的基础上，引入了匹配约束和形变约束，对获取的点云数据和相机标定结果进行进一步优化，能够克服拍摄过程中由于物体姿态变化和微小运动对三维重建的影响，从而得到精准的三维模型。

为了实现上述目的，本发明的实施例提出了一种基于单相机的人体RGB-D数据恢复与三维重建方法，包括以下步骤：S1：获取三维重建对象的关键帧对应的RGB-D数据；S2：通过平滑约束对所述RGB-D数据进行优化处理；S3：获取优化处理后的关键帧对应的RGB-D数据之间的匹配关系；以及S4：根据目标约束函数对所有优化处理后的关键帧对应的RGB-D数据和相机的外参进行整体优化。

根据本发明实施例基于单相机的人体RGB-D数据恢复与三维重建方法，在获取RGB-D深度数据的基础上，引入了匹配约束和形变约束，对获取的点云数据和相机标定结果进行进一步优化，能够克服拍摄过程中由于物体姿态变化和微小运动对三维重建的影响，从而得到精准的三维模型。

另外，根据本发明上述实施例的基于单相机的人体RGB-D数据恢复与三维重建方法还可以具有如下附加的技术特征：

在一些示例中，所述S1进一步包括：

S11：通过所述相机对所述重建对象进行拍摄，以获取所述重建对象的视屏数据；

S12：利用Structure From Motion获取稀疏的点云数据，对所述视屏数据的每一帧进行标定，标定参数包括所述相机的内参矩阵K_i和外参矩阵P_i＝[R_i|T_i]，其中，K_i包括所述相机的焦距f_x和f_y，基准点p_x和p_y，P_i包括当前所述相机相对于世界坐标系旋转矩阵R_i和平移变换T_i；

S13：选定初始关键帧，并间隔预设帧数均匀选取预设数量的关键帧，并根据图像分割技术获得建模目标对象点集，具体包括：

S131：定义深度代价函数：

$C(u,v,d)=\frac{1}{m}{\mathrm{\Σ}}_{i\∈m}\left|\right|I_{key}(u,v)-I_i\left(P_i\right({\mathrm{invP}}_{key}\left(u,v,d\right)\left|\right|,$

其中，I_key(u,v)是当前像素坐标位置对应的RGB值，invP_key(u,v,d)将像素坐标I(u,v)和其对应的深度值d转换到世界坐标系，得到对应的空间坐标(x,y,z)，P_i(x,y,z)将世界坐标(x,y,z)投影到各个参与关键帧深度数据重建的图像中，得到对应的像素坐标I_i(x,y)，m为参与重建关键帧深度数据的图像总数；

S132：选定步长，并逐步改变候选深度值，将待选深度投影到各个图像序列，并通过最小化深度代价函数求取关键帧每个像素点对应的RGB-D数据。

在一些示例中，所述S2进一步包括：

根据迭代公式d'＝(w_pd_p+w_sd_s)/(w_p+w_s)对初始深度数据进行平滑优化，其中，

$w_p=\left\{\begin{array}{cc}{c}_0-c_{-1}& (c_{-1}<c_0,c_{+1})\\ 0.5(c_{-1}+c_{+1}-2c_0)& (c_0<c_{-1},c_{+1})\\ c_0-c_{+1}& (c_0<c_{-1},c_{+1})\end{array}\right.,$

$d_s=\frac{w_x(d_{x-1,y}+d_{x+1,y})+w_y(d_{x,y-1}+d_{x,y+1})}{2(w_x+w_y)},$

$d_p=\frac{(d_1-d_0)\left|\right|c_1-c_0|{|}_1+(d_{-1}-d_0\left)\right||c_{-1}-c_0|{|}_1}{\left|\right|c_1-c_0\left|\right|+\left|\right|c_{-1}-c_0\left|\right|}+d_0,$

c0为当前深度对应代价函数的值，c_-1和c₊₁分别为当前深度对应的前向、后向深度对应代价函数的值。

在一些示例中，所述S3进一步包括：

S31：根据所述步骤S12中对所述视屏数据的标定结果计算关键帧序列对(P_i,P_j)对应的转移矩阵P_i,j；

S32：以所述转移矩阵P_i,j作为初始转移矩阵对所述关键帧序列对(P_i,P_j)进行ICP匹配，并在ICP迭代终止时，如果所述关键帧序列对点云数据的匹配数占原点云数据的百分比大于预设百分比时，则保留该匹配对。

在一些示例中，在所述S31中，如果所述关键帧序列对之间的旋转、平移在预设范围内，则保留所述关键帧序列对。

在一些示例中，所述关键帧对应的点云数据之间的匹配关系以text格式保存。

在一些示例中，在所述S4中，所述目标约束函数为：

E(T)＝E_a(T,C)+λE_r(C)，

其中，T为待优化相机转移矩阵，C为映射函数(P³->P³)，用以实现相机坐标系点云数据的变换，E_a(T)表示匹配约束，E_r(T)表示平滑约束。

在一些示例中，所述S4进一步包括：

S41：计算所述匹配约束，具体为：

$E_a\left(T\right)=\underset{i,j}{\mathrm{\&Sigma;}}\underset{(p,q)\&Element;k_{i,j}}{\mathrm{\&Sigma;}}\left|\right|(p^{\&prime;}-q^{\&prime;}).{N^{\&prime;}}_p|{|}^2,$

其中，p'、q'为点p、q从相机坐标系转换到世界坐标系对应的空间位置，p'＝T_iC(p)，q'＝T_jC(q)，

采用晶格V将C参数化，以使任何点P都满足：

$C\left(p\right)=\underset{l}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_l\left(p\right)C\left(v_l\right),$

其中，γ_l为对应点在晶格中的三线性插值系数，且在整个算法优化过程中γ_l保持不变；

S42：计算所述E_r(C)，具体为：

$E_r\left(C\right)=\underset{v\&Element;V}{\mathrm{\&Sigma;}}\underset{u\&Element;N\left(v\right)}{\mathrm{\&Sigma;}}\left|\right|C\left(u\right)-{R_v}_{c\left(v\right)}u|{|}^2,$

其中，N(v)为晶格V中晶体v附近的点，^vR_c(v)∈SE(3)为所述映射函数C在晶体v处的局部线性化的结果。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个实施例的基于单相机的人体RGB-D数据恢复与三维重建方法的流程图；

图2是本发明一个具体实施例的基于单相机的人体RGB-D数据恢复与三维重建方法的总体流程示意图；

图3是本发明一个实施例的利用Structure From Motion得到的稀疏的点云数据及相机标定结果示意图；

图4是本发明一个实施例的目标图像分割结果示意图；

图5是本发明一个实施例的关键帧对应的RGB-D数据示意图；以及

图6是本发明一个实施例的经过优化后生成的三维模型的多视图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

以下结合附图描述根据本发明实施例的基于单相机的人体RGB-D数据恢复与三维重建方法。

图1是根据本发明一个实施例的基于单相机的人体RGB-D数据恢复与三维重建方法的流程图。图2是根据本发明一个具体实施例的基于单相机的人体RGB-D数据恢复与三维重建方法的总体流程示意图。结合图1和图2所示，该方法包括以下步骤：

步骤S1：获取三维重建对象的关键帧对应的RGB-D数据。即获取三维重建对象的视屏数据，利用Structure From Motion获取稀疏点云并对相机内外参进行标定。选取若干关键帧，利用图像分割技术获取mask(目标对象点集)，初步重建关键帧中目标对象对应的RGB-D数据。

具体地说，步骤S1具体包括以下步骤：

S11：通过相机对重建对象进行拍摄(如手持相机围绕重建对象拍摄一周)，以获取重建对象的视屏数据。

S12：利用Structure From Motion获取稀疏的点云数据，对视屏数据的每一帧进行标定，标定参数包括相机的内参矩阵K_i和外参矩阵P_i＝[R_i|T_i]，其中，K_i包括相机的焦距f_x和f_y，基准点p_x和p_y，P_i包括当前相机相对于世界坐标系旋转矩阵R_i和平移变换T_i。例如，图3(a)所示为利用structure From Motion获取的稀疏点云数据，图3(b)所示为参与重建的相机的标定结果。

S13：选定初始关键帧，并间隔预设帧数均匀选取预设数量的关键帧，并根据图像分割技术获得建模目标对象点集。结合图4所示，根据图像分割技术获得建模目标对象点集，具体包括：

S131：定义深度代价函数：

$C(u,v,d)=\frac{1}{m}{\mathrm{\&Sigma;}}_{i\&Element;m}\left|\right|I_{key}(u,v)-I_i\left(P_i\right({\mathrm{invP}}_{key}(u,v,d)\left|\right|,$

其中，I_key(u,v)是当前像素坐标位置对应的RGB值，invP_key(u,v,d)将像素坐标I(u,v)和其对应的深度值d转换到世界坐标系，得到对应的空间坐标(x,y,z)，P_i(x,y,z)将世界坐标(x,y,z)投影到各个参与关键帧深度数据重建的图像中，得到对应的像素坐标I_i(x,y)，m为参与重建关键帧深度数据的图像总数。

其中，在图4中，图4(a)展示了第15帧分割结果，图4(b)展示了第30帧分割结果，图4(c)展示了第60帧分割结果。

S132：选定步长，并逐步改变候选深度值，将待选深度投影到各个图像序列，并通过最小化深度代价函数求取关键帧每个像素点对应的RGB-D数据。如图5所示，图5(a)展示了第15帧对应点云数据，图5(b)展示了第30帧对应点云数据，图5(c)展示了第60帧对应点云数据。

步骤S2：通过平滑约束对RGB-D数据进行优化处理。

具体地，步骤S2进一步包括：根据迭代公式d'＝(w_pd_p+w_sd_s)/(w_p+w_s)对初始深度数据进行平滑优化，其中，

$w_p=\left\{\begin{array}{cc}{c}_0-c_{-1}& (c_{-1}<c_0,c_{+1})\\ 0.5(c_{-1}+c_{+1}-2c_0)& (c_0<c_{-1},c_{+1})\\ c_0-c_{+1}& (c_0<c_{-1},c_{+1}),\end{array}\right.$

$d_s=\frac{w_x(d_{x-1,y}+d_{x+1,y})+w_y(d_{x,y-1}+d_{x,y+1})}{2(w_x+w_y)},$

$d_p=\frac{(d_1-d_0)\left|\right|c_1-c_0|{|}_1+(d_{-1}-d_0\left)\right||c_{-1}-c_0|{|}_1}{\left|\right|c_1-c_0\left|\right|+\left|\right|c_{-1}-c_0\left|\right|}+d_0,$

c0为当前深度对应代价函数的值，c_-1和c₊₁分别为当前深度对应的前向、后向深度对应代价函数的值。

步骤S3：获取优化处理后的关键帧对应的RGB-D数据之间的匹配关系。即结合相机标定的结果，利用ICP，寻找每对关键帧对应点云数据之间的匹配关系，保留点云匹配数大于设定阈值的匹配对。

具体地说，步骤S3进一步包括：

S31：根据所述步骤S12中对视屏数据的标定结果计算关键帧序列对(P_i,P_j)对应的转移矩阵P_i,j。进一步地，如果关键帧序列对之间的旋转、平移在预设范围内，则保留该关键帧序列对。

S32：以转移矩阵P_i,j作为初始转移矩阵对关键帧序列对(P_i,P_j)进行ICP匹配，并在ICP迭代终止时，如果关键帧序列对点云数据的匹配数占原点云数据的百分比大于预设百分比时，则保留该匹配对，k_i,j表征序列对(P_i,P_j)对应点云数据形成匹配关系的点云。其中，关键帧对应的点云数据之间的匹配关系保存为txt格式。例如：若关键帧0和1匹配点云数目满足设定阈值(预设百分比)，则生成corres_0_1.txt文件作为下一步的输入。txt文件中的序列对表征关键帧0和关键帧1形成匹配对的点云对应的索引值。

步骤S4：根据目标约束函数对所有优化处理后的关键帧对应的RGB-D数据和相机的外参进行整体优化，以消除物体姿态变化和微小运动对三维重建结果的影响。作为具体的示例，图6(a)至图6(d)展示了经过优化后生成三维模型的多视图。

在本发明的一个实施例中，目标函数例如为：

E(T)＝E_a(T,C)+λE_r(C)，

其中，T为待优化相机转移矩阵，C为映射函数(P³->P³)，用以实现相机坐标系点云数据的变换，E_a(T)表示匹配约束，E_r(T)表示平滑约束。

基于此，步骤S4进一步包括：

S41：计算匹配约束E_a(T)，具体为：

$E_a\left(T\right)=\underset{i,j}{\mathrm{\&Sigma;}}\underset{(p,q)\&Element;k_{i,j}}{\mathrm{\&Sigma;}}\left|\right|(p^{\&prime;}-q^{\&prime;}).{N^{\&prime;}}_p|{|}^2,$

其中，p'、q'为点p、q从相机坐标系转换到世界坐标系对应的空间位置，p'＝T_iC(p)，q'＝T_jC(q)，

进一步地，采用晶格V将C参数化，以使任何点P都满足：

$C\left(p\right)=\underset{l}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_l\left(p\right)C\left(v_l\right),$

其中，γ_l为对应点在晶格中的三线性插值系数，且在整个算法优化过程中γ_l保持不变。

S42：计算E_r(C)，具体为：

$E_r\left(C\right)=\underset{v\&Element;V}{\mathrm{\&Sigma;}}\underset{u\&Element;N\left(v\right)}{\mathrm{\&Sigma;}}\left|\right|C\left(u\right)-{R_v}_{c\left(v\right)}u|{|}^2,$

其中，N(v)为晶格V中晶体v附近的点，^vR_c(v)∈SE(3)为所述映射函数C在晶体v处的局部线性化的结果。

综上，根据本发明实施例基于单相机的人体RGB-D数据恢复与三维重建方法，在获取RGB-D深度数据的基础上，引入了匹配约束和形变约束，对获取的点云数据和相机标定结果进行进一步优化，能够克服拍摄过程中由于物体姿态变化和微小运动对三维重建的影响，从而得到精准的三维模型。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于单相机的人体RGB-D数据恢复与三维重建方法，其特征在于，包括以下步骤：

S1：获取三维重建对象的关键帧对应的RGB-D数据；

S2：通过平滑约束对所述RGB-D数据进行优化处理；

S3：获取优化处理后的关键帧对应的RGB-D数据之间的匹配关系；以及

S4：根据目标约束函数对所有优化处理后的关键帧对应的RGB-D数据和相机的外参进行整体优化。

2.根据权利要求1所述的基于单相机的人体RGB-D数据恢复与三维重建方法，其特征在于，所述S1进一步包括：

S11：通过所述相机对所述重建对象进行拍摄，以获取所述重建对象的视屏数据；

S12：利用Structure From Motion获取稀疏的点云数据，对所述视屏数据的每一帧进行标定，标定参数包括所述相机的内参矩阵K_i和外参矩阵P_i＝[R_i|T_i]，其中，K_i包括所述相机的焦距f_x和f_y，基准点p_x和p_y，P_i包括当前所述相机相对于世界坐标系旋转矩阵R_i和平移变换T_i；

S13：选定初始关键帧，并间隔预设帧数均匀选取预设数量的关键帧，并根据图像分割技术获得建模目标对象点集，具体包括：

S131：定义深度代价函数：

$C(u,v,d)=\frac{1}{m}{\mathrm{\&Sigma;}}_{i\&Element;m}\left|\right|I_{key}(u,v)-I_i\left(P_i\right({\mathrm{invP}}_{key}(u,v,d)\left|\right|,$

其中，I_key(u,v)是当前像素坐标位置对应的RGB值，invP_key(u,v,d)将像素坐标I(u,v)和其对应的深度值d转换到世界坐标系，得到对应的空间坐标(x,y,z)，P_i(x,y,z)将世界坐标(x,y,z)投影到各个参与关键帧深度数据重建的图像中，得到对应的像素坐标I_i(x,y)，m为参与重建关键帧深度数据的图像总数；

S132：选定步长，并逐步改变候选深度值，将待选深度投影到各个图像序列，并通过最小化深度代价函数求取关键帧每个像素点对应的RGB-D数据。

3.根据权利要求1所述的基于单相机的人体RGB-D数据恢复与三维重建方法，其特征在于，所述S2进一步包括：

根据迭代公式d'＝(w_pd_p+w_sd_s)/(w_p+w_s)对初始深度数据进行平滑优化，其中，

$w_p=\left\{\begin{array}{cc}{c}_0-c_{-1}& (c_{-1}<c_0,c_{+1})\\ 0.5(c_{-1}+c_{+1}-2c_0)& (c_0<c_{-1},c_{+1})\\ c_0-c_{+1}& (c_0<c_{-1},c_{+1})\end{array}\right.,$

$d_s=\frac{w_x(d_{x-1,y}+d_{x+1,y})+w_y(d_{x,y-1}+d_{x,y+1})}{2(w_x+w_y)},$

$d_p=\frac{(d_1-d_0)\left|\right|c_1-c_0|{|}_1+(d_{-1}-d_0\left)\right||c_{-1}-c_0|{|}_1}{\left|\right|c_1-c_0\left|\right|+\left|\right|c_{-1}-c_0\left|\right|}+d_0,$

c₀为当前深度对应代价函数的值，c_-1和c₊₁分别为当前深度对应的前向、后向深度对应代价函数的值。

4.根据权利要求2所述的基于单相机的人体RGB-D数据恢复与三维重建方法，其特征在于，所述S3进一步包括：

S31：根据所述步骤S12中对所述视屏数据的标定结果计算关键帧序列对(P_i,P_j)对应的转移矩阵P_i,j；

S32：以所述转移矩阵P_i,j作为初始转移矩阵对所述关键帧序列对(P_i,P_j)进行ICP匹配，并在ICP迭代终止时，如果所述关键帧序列对点云数据的匹配数占原点云数据的百分比大于预设百分比时，则保留该匹配对。

5.根据权利要求4所述的基于单相机的人体RGB-D数据恢复与三维重建方法，其特征在于，在所述S31中，如果所述关键帧序列对之间的旋转、平移在预设范围内，则保留所述关键帧序列对。

6.根据权利要求4所述的基于单相机的人体RGB-D数据恢复与三维重建方法，其特征在于，所述关键帧对应的点云数据之间的匹配关系以text格式保存。

7.根据权利要求1所述的基于单相机的人体RGB-D数据恢复与三维重建方法，其特征在于，在所述S4中，所述目标约束函数为：

E(T)＝E_a(T,C)+λE_r(C)，

其中，T为待优化相机转移矩阵，C为映射函数(P³->P³)，用以实现相机坐标系点云数据的变换，E_a(T)表示匹配约束，E_r(T)表示平滑约束。

8.根据权利要求7所述的基于单相机的人体RGB-D数据恢复与三维重建方法，其特征在于，所述S4进一步包括：

S41：计算所述匹配约束，具体为：

$E_a\left(T\right)=\underset{i,j}{\&Sigma;}\underset{(p,q)\&Element;k_{i,j}}{\&Sigma;}\left|\right|(p^{\&prime;}-q^{\&prime;}).{N^{\&prime;}}_p|{|}^2,$

其中，p'、q'为点p、q从相机坐标系转换到世界坐标系对应的空间位置，p'＝T_iC(p)，q'＝T_jC(q)，

采用晶格V将C参数化，以使任何点P都满足：

$C\left(p\right)=\underset{l}{\&Sigma;}{\mathrm{\&gamma;}}_l\left(p\right)C\left(v_l\right),$

其中，γ_l为对应点在晶格中的三线性插值系数，且在整个算法优化过程中γ_l保持不变；

S42：计算所述E_r(C)，具体为：

$E_r\left(C\right)=\underset{v\&Element;V}{\&Sigma;}\underset{u\&Element;N\left(v\right)}{\&Sigma;}\left|\right|C\left(u\right)-{R_v}_{c\left(v\right)}u|{|}^2,$

其中，N(v)为晶格V中晶体v附近的点，^vR_c(v)∈SE(3)为所述映射函数C在晶体v处的局部线性化的结果。