CN111415407A - 一种采用多模板系统提升三维重建图像性能的方法 - Google Patents

Abstract

本发明提出一种采用多模板系统提升三维重建图像性能的方法，1)通过不同方式组合4个3×3模板来表征多种尺寸模式；2)重建G₀网格：G₀层是将训练图像不断进行下采样，直至图像中不再包含属于同一相3×3区域；3)网格层重建过程中的匹配模式直接复制；4)G₃及其以上网格层的非边缘区域直接扩展；5)利用对三维图像中三个相正交切面相互组合作用得到三维图像；6)将9×9模式的非边缘区域直接复制到三维图像匹配模式相对应上下相邻层的位置；7)三维交换点的像素值相冲突的点作为未知点，连同未布置的点作为最终迭代过程中的交换点。本发明极大地提升了对重建图像形态特征精度的描述能力，也有效地提高了重建速度。

Description

一种采用多模板系统提升三维重建图像性能的方法

技术领域

本发明属于图像处理领域，涉及利用计算机数学建模从二维图像重建三维 图像的方法。

背景技术

在石油工业、地质勘探、材料科学等研究领域，常常需要借助三维数字图 像来分析研究介质的三维空间结构及物理特性。以石油勘探中岩心为例，利用 三维数字岩心可以有效掌握岩心的渗流、电、声、弹性、放射性等特性。通过 物理成像和计算机数学建模两种方式可以获得三维数字岩心结构。前者借助物 理器件设备进行成像，主要有共焦激光扫描、连续切片成像、X射线计算机断 层扫描和核磁共振成像等方式。后者是利用计算机数学建模方法从一幅或者多 幅二维训练图像重建出具有相似数学统计特征或者是形态特征的三维数字模 型。虽然物理成像方式获得的三维结构更为真实可靠，但是存在成像费用较高、耗时较长、成像条件受限等局限。基于此背景，计算机数学建模方法成为 获取研究介质三维结构不可或缺的一种主要途径，也受到越来越多学者的青 睐。

近年来众多学者围绕计算机数学建模方法做了大量研究工作，产生了众多 原理不同的三维重建方法。主要的重建方式有：基于过程重建的方式、基于数 学统计特征约束的重建方式、基于形态特征约束的重建方法、基于机器学习思 想的重建方式、混合重建方式。但殊途同归，这些不同的重建方法的出发点都 是要提高三维重建的性能。一个三维重建方法的性能主要包括精度和速度两个 方面。精度是指针对不同的实验素材，三维重建结构能够更为准确和全面反映 二维训练图像所蕴含的信息。速度是指在相同实验条件下，重建实验时耗尽可 能少。如何在提升速度的同时兼顾精度是一种三维重建算法的不断追求的目 标，也是挑战。

发明内容

本发明目的是提出一种速度快、精度较高的三维图像重建方法，采用多模 板系统提升三维重建图像性能。

本发明的技术方案：一种采用多模板系统提升三维重建图像性能的方法，

1)通过不同方式组合4个3×3模板来表征多种尺寸模式；根据在重建各级网 格图像尺寸大小，通过不同组合方式实现用4个3×3模板分别表征不同尺寸 的模板；G₀层直接采用尺寸大小为3×3的模板，G₁网格层采用4个3×3模板 组合表示1个5×5模板，在G₂网格层采用4个3×3模板组合表示1个7×7 模板，在G₃及其以上网格层采用4个3×3模板组合表示1个9×9模板，同 时在计算目标函数时仍采用3×3模板；

2)G₀网格的重建：G₀层是指将训练图像不断进行下采样，直至图像中不再包 含属于同一相3×3区域，该层所有初始像素点均是根据训练图像像素比例随 机初始化，然后通过迭代运算确定像素值，在迭代过程中，这些随机初始化的 点都需要参与运算；

3)其余网格层重建过程中的匹配模式直接复制：除G₀层网格，在其余网格层 重建过程中，首先根据1)所描述的方法确定对应尺寸的模板，然后通过多级 网格系统中相邻网格之间关系在训练图像和重建图像的上级网格中查找相匹配 的模式，再将训练图像当前网格中相匹配模式对应位置的模式直接拷贝到重建 图像当前网格对应的位置；

4)G₃及其以上网格层的非边缘区域直接扩展：先求解上级重建网格图像的边 缘图像，对于图像中的非边缘区域在下一级网格中对3×3区域采用同像素直 接扩展；

5)在利用二维图像进行三维图像重建过程中，三维图像中的一个点由三个正 交切面共同决定，采用上述方法对三维图像的三个正交切面的二维图像分别进 行单独处理，三个方向处理后相同像素值的点作为三维图像的确定点，而像素 值不同的点作为未知像素点，连同未经过处理的点一同设置为交换点，最后再 通过迭代运算来确定，通过这种方式重建出三维图像；

6)三维图像相邻层扩充：利用二维训练图像对三维图像匹配模式对应层的上 下相邻层进行布点，将9×9模式的非边缘区域直接复制到三维图像匹配模式 相对应上下相邻层的位置；

步骤3)中匹配模式直接复制具体为：在G₁网格层中，将重建图像和训练 图像G₀层网格中模式作为条件数据，将训练图像G₁网格中相匹配的5×5模式 直接拷贝到重建图像G₁网格的对应位置；在G₂网格层中，将重建图像和训练 图像G₁层网格中模式作为条件数据，将训练图像G₂网格中相匹配的7×7模式 直接拷贝到重建图像G₂网格的对应位置；在G₃及其以上网格中，将重建图像 和训练图像G₂层网格中模式作为条件数据，将训练图像G₃网格中相匹配的9 ×9模式直接拷贝到重建图像G₃网格的对应位置。

本发明的有益效果：本发明借助多网格系统，根据重建图像网格尺寸，该 多模板系统将表征图像形态模板的尺寸从3×3逐渐提升至9×9。对于小尺寸 网格图像采用较小尺寸模板，大尺寸网格图像采用较大尺寸模板。但在计算迭 代过程的目标函数时，仍采用3×3大小的模板，从而巧妙地避免了因模板尺 寸增加而导致在计算目标函数时的耗时。该措施一方面可以极大地提升对图像 形态特征的描述能力。另一方面，通过将训练图像中与条件数据相匹配模式直 接拷贝到重建图像的方式，极大降低后续迭代运算过程中交换点的数量，进而 提高重建速度。

附图说明

图1、多级网格系统示图；

图2、利用多级网格系统将表征模式的尺寸从3×3提升至5×5示图；(a)上层3 ×3模式，(b)本层5×5模式；

图3、重建G₁网格图像时，与G₀层图像之间的模式匹配关系示图；(a)G₀层重建 图像，(b)G₀层训练图像，(c)G₁层训练图像，(d)G₁层重建图像；

图4、利用4个3×3模式表征1个4×4模式示图；(a)-(d)四个3×3模式，(e)1个 4×4模式；

图5、利用多级网格系统将表征模式的尺寸从3×3提升至7×7示图；(a)G₁层中 4×4模式，(b)G₂层中7×7模式；

图6、重建G₂网格图像时，与G₁层图像之间的模式匹配关系示图；

层重建 图像，

层训练图像，

层训练图像，

层重建图像；

图7、利用4个3×3模式表征1个5×5模式示图；(a)-(d)四个3×3模式，(e)1个 5×5模式；

图8、利用多级网格系统将表征模式的尺寸从3×3提升至9×9示图；(a)G₂层中 7×7模式，(b)G₃层中9×9模式；

图9、重建G₃网格图像时，与G₂层图像之间的模式匹配关系示图；(a)G₂层重建 图像，(b)G₂层训练图像，(c)G₃层训练图像，(d)G₃层重建图像；

图10、随着网格级数增加，图像形态结构趋于稳定示图；(a)训练图像4级网格 图像；(b)重建前4级网格图像；(c)重建后4级网格图像；

图11、非边缘区域扩展示图；(a)G₃层重建图像；(b)G₃层重建图像提取的边缘 图像；(c)为对非边缘区域直接扩展后的图像，(d)为(a)图中所标记的一个局部特 征；(e)为(b)图中所标记的一个局部特征；(f)为(c)图中所标记的一个局部特征。 图中灰色像素点表示边缘区域；

图12、在三维多网格系统中相邻网格之间关系示图；(a)三维图像的上层网格，(b)三维图像的当前网格。其中黑色点和白色点表示所安置的上层网格图像像 素，灰色点表示本层待确定的像素；

图13、利用9×9模式的非边缘区域对重建图像相邻层进行填充示图；(a)当前 网格层训练图像。(b)将训练图像中相匹配9×9模式直接拷贝到重建图像对应位 置，同时利用该模式的非边缘区域对重建图像相邻层进行填充。其中黑色点和 白色点表示所安置的上层网格图像像素，灰色点表示本层待确定的像素。(c)当 前网格层训练图像所对应的边缘图像。这里灰色点表示边缘像素；

图14、二维重建对比结果示图；(a)原始训练图像，(b)未采用多模板系统，(c) 采用多模板系统；

图15、三维重建对比结果示图；(a)原始二维训练图像，(b)未采用多模板系统 三维重建结果，(c)采用多模板系统三维重建结果。

具体实施方式

1.重建G₀网格

附图1表示一个四级网格系统。在基于多级网格系统的图像重建中，从尺 寸最小网格G₀开始重建。G₀是指将训练图像不断进行下采样，直至图像中不再 包含属于同一相3×3区域。G₀层的重建过程与其余层不同，该层所有初始像素 点均是根据训练图像像素比例随机初始化。在迭代过程中，这些随机初始化的 点都需要参与运算。在该层直接采用尺寸大小为3×3的模板。通过迭代运算可 以得到最终的G₀层对应的重建图像。

2.重建G₁网格

完成G₀层后将开始重建G₁层网格图像。根据附图1可知在重建G₁层网格图 像时，部分像素来自于上一级网格G₀图像所确定的像素，其余像素为未知像 素。式①同时给出了多级网格系统中相邻网格之间的尺寸关系。由式①可知在 重建G₁层网格图像时，图像的尺寸增加了。为了能够有效描述图像形态，此时 需要相应增加描述图像形态的模板尺寸。根据1式可知，G₀层中尺寸为3×3模 板在G₁层网格中对应尺寸为5×5，如附图2所示。

S^j＝2×S^j-1-1 ①

附图3所示在重建G₁层网格图像时，如何借助多级网格系统利用3×3模板 表征尺寸为5×5模板。首先以一条随机路径对G₀层重建图像(附图3.a)进行 遍历。对于G₀层重建图像中每个3×3模式，以随机路径在G₀层训练图像(附图 3.b)中查询与之相匹配的模式。当找到相匹配模式时，记录这两个模式的位置 (T_x＝11，T_y＝4)和(R_x＝12，R_y＝12)。然后将训练图像G₁(附图3.c)中 (T_x×2＝22，T_y×2＝8)位置的5×5区域直接拷贝到重建图像G₁(附图3.d)的 (R_x×2＝24，R_y×2＝24)位置，同时这些点将被固定下来不再参与迭代运 算。之后对G₁网格中未匹配的像素点按照训练图像像素比例进行随机初始化。 最后对随机初始化和像素值相冲突的像素点进行迭代运算，并通过迭代运算得 到重建网格图像G₁。采用这种模式匹配措施，巧妙地将重建G₁网格图像的模 板尺寸提升为5×5大小板。同时由于大量相匹配5×5区域中未知点被固定下 来，而只有少数未找到匹配模式中的未知点参与迭代运算，从而有效提高了迭 代速度。

3.重建G₂网格

随着网格图像尺寸的增加，模板的尺寸也需要相应增加。在重建G₂网格 时，将G₁层使用的模板尺寸增加至4×4，如附图4所示，通过组合4个尺寸为 3×3模式来表征1个尺寸为4×4模式。附图4(a-d)中所标记的4个矩形框 (线条加粗所示)为G₁层中相关联的4个尺寸为3×3模式，附图4(e)中所标记 的矩形框(线条加粗所示)为1个尺寸为4×4模式，该模式由4个尺寸3×3 模式所组成。根据式①可知G₁网格中4×4模板在G₂中所对应的模板尺寸为 7×7，附图5所示。与重建G₁网格相类似，当重建图像与训练图像的G₁网格 中出现相匹配的4×4模式时，将训练图像G₂网格中对应7×7模式直接拷贝 到重建图像相对应的位置，如附图6所示。该重建过程，等价于在重建G₂网 格时直接采用尺寸大小为7×7模板。之后对G₂网格中未匹配的像素点按照训 练图像像素比例进行随机初始化。最后对随机初始化和像素值相冲突的像素点 进行迭代运算，并通过迭代运算得到重建网格图像G₂。

4.重建G₃网格

重建G₃网格时，继续通过组合3×3模板的方式来增大模板尺寸。此时4个 3×3模板的组合方式如附图7所示，图7(a-d)中矩形框(线条加粗所示)所标 记的为G₂层中4个3×3模式，图7(e)中矩形框(线条加粗所示)所标记为G₂层 由4个3×3模板所确定1个5×5模板。由式①可知，此时在G₃层能够表征的尺 寸大小为9×9，如附图8所示。类似地当G₂重建图像出现与G₂训练图像中相匹 配的5×5模式时，此时直接将G₃训练图像中对应9×9模式直接拷贝到G₃重建图 像相对应的位置，如附图9所示。该重建过程，等价于在重建G₃网格时直接采 用尺寸大小为9×9模板。之后对G₃网格中未匹配的像素点按照训练图像像素比 例进行随机初始化。最后对随机初始化和像素值相冲突的像素点进行迭代运 算，并通过迭代运算得到重建网格图像G₃。

5.重建其它层

在多级网格系统中级数较低的网格表征图像形态的框架，级数较高的网格 表征图像形态的细节。当网格的级数较高时，图像形态的结构趋于稳定，此时 改变仅为图像形态的细节，如附图10所示。从图可见，当增加到第3级网格 时，图像孔隙相形态结构已趋于稳定。对于图像形态细节的构建，无需再采用 更大尺寸的模板。因此当重建G₃以上网格图像时，采用与G₃网格图像相同的模 板策略。

考虑到从G₃网格开始仅为图像的边缘细节在改变，而非边缘区域不再改 变，因此为了进一步提高重建速度，对非边缘区域采用同像素直接扩充，如附 图11所示。首先对图11(a)所示的上级重建图像提取边缘，如图11(b)。然后对 当前网格中非边缘区域的3×3邻域直接填充相同像素，如图11(c)。最后对于边 缘区域采取前述的多模板方法进行设置。

在三维重建中，上层网格图像将作为条件数据配置到当前重建网格中一些 固定点上，而其余网格点均为未知点。如附图12所示，在将上层网格图像扩 充到本层网格后，当前网格的第0层和第2层仅部分数据已知，而第1层和第 3层均为未知数据。这样在采用上述多模板系统进行重建时，只是利用匹配模 式对第0层和第2层未知数据进行设置，而第1层和第3层仍为未知数据。以 重建G₄层网格为例，考虑到三维图像空间结构中的连续性和变化性，首先采用 前面描述过的模式复制方法对G₄重建网格中对应的9×9区域进行填充。然后将 该9×9模式的非边缘区域直接填充到与该层相邻的上下两层对应位置，如附图 13所示。而该9×9区域的边缘仍看作是未知数据。

在利用二维图像进行三维重建时，需要对三维结构的三个正交切面同时进 行处理。考虑到重建过程中众多随机性因素，不可避免对同一待模拟点却出现 多次不同匹配结果的情况。此时需要将这些冲突点重新设置为待模拟点，其需 要通过迭代过程来确定具体像素值。

附图14给出的采用本发明提出多模板系统前后的二维重建结果。该图明 显地显示出采用多模板系统所重建图像的精度得到了明显的提升，重建图像与 训练图像的形态更为相似。在使用Intel(R)Xeon(R)W-2123，3.60GHzCPU条件 下，未采用多模板系统用时为147S，而采用多模板系统后重建用时仅为4S， 重建速度提升30余倍。附图15给出采用多模板系统前后的三维重建结果。该 图也能较为明显地显示出采用多模板系统后重建图像的精度得到了提升，同时 本实验中重建速度也提升了20余倍。利用普遍采用的统计特征函数进行分析 也说明采用本发明提出的多模板系统能够有效提升三维重建图像的性能。

Claims (2)

1.一种采用多模板系统提升三维重建图像性能的方法，其特征是：1)通过不同方式组合4个3×3模板来表征多种尺寸模式；根据在重建各级网格图像尺寸大小，通过不同组合方式实现用4个3×3模板分别表征不同尺寸的模板；G₀层直接采用尺寸大小为3×3的模板，G₁网格层采用4个3×3模板组合表示1个5×5模板，在G₂网格层采用4个3×3模板组合表示1个7×7模板，在G₃及其以上网格层采用4个3×3模板组合表示1个9×9模板，同时在计算目标函数时仍采用3×3模板；

2)G₀网格的重建：G₀层是指将训练图像不断进行下采样，直至图像中不再包含属于同一相3×3区域，该层所有初始像素点均是根据训练图像像素比例随机初始化，然后通过迭代运算确定像素值，在迭代过程中，这些随机初始化的点都需要参与运算；

3)其余网格层重建过程中的匹配模式直接复制：除G₀层网格，在其余网格层重建过程中，首先根据1)所描述的方法确定对应尺寸的模板，然后通过多级网格系统中相邻网格之间关系在训练图像和重建图像的上级网格中查找相匹配的模式，再将训练图像当前网格中相匹配模式对应位置的模式直接拷贝到重建图像当前网格对应的位置；

4)G₃及其以上网格层的非边缘区域直接扩展：先求解上级重建网格图像的边缘图像，对于图像中的非边缘区域在下一级网格中对3×3区域采用同像素直接扩展；

5)在利用二维图像进行三维图像重建过程中，三维图像中的一个点由三个正交切面共同决定，采用上述方法对三维图像的三个正交切面的二维图像分别进行单独处理，三个方向处理后相同像素值的点作为三维图像的确定点，而像素值不同的点作为未知像素点，连同未经过处理的点一同设置为交换点，最后再通过迭代运算来确定，通过这种方式重建出三维图像；

6)三维图像相邻层扩充：利用二维训练图像对三维图像匹配模式对应层的上下相邻层进行布点，将9×9模式的非边缘区域直接复制到三维图像匹配模式相对应上下相邻层的位置。

2.如权利要求1所述的一种采用多模板系统提升三维重建图像性能的方法，其特征是：3)中匹配模式直接复制具体为：在G₁网格层中，将重建图像和训练图像G₀层网格中模式作为条件数据，将训练图像G₁网格中相匹配的5×5模式直接拷贝到重建图像G₁网格的对应位置；在G₂网格层中，将重建图像和训练图像G₁层网格中模式作为条件数据，将训练图像G₂网格中相匹配的7×7模式直接拷贝到重建图像G₂网格的对应位置；在G₃及其以上网格中，将重建图像和训练图像G₂层网格中模式作为条件数据，将训练图像G₃网格中相匹配的9×9模式直接拷贝到重建图像G₃网格的对应位置。

Images