CN107301674A - 一种基于窗口插值的三维重建纹理恢复方法 - Google Patents
一种基于窗口插值的三维重建纹理恢复方法 Download PDFInfo
- Publication number
- CN107301674A CN107301674A CN201710366246.4A CN201710366246A CN107301674A CN 107301674 A CN107301674 A CN 107301674A CN 201710366246 A CN201710366246 A CN 201710366246A CN 107301674 A CN107301674 A CN 107301674A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- picture
- pixel
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000000007 visual effect Effects 0.000 claims abstract description 19
- 230000007547 defect Effects 0.000 claims abstract description 15
- 230000004888 barrier function Effects 0.000 claims abstract description 8
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000002156 mixing Methods 0.000 claims description 4
- 241000094396 Bolitoglossa carri Species 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims 1
- 238000012913 prioritisation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于窗口插值的三维重建纹理恢复方法，针对基于序列图像的背景三维重建过程中，由于前景障碍物遮挡无法重建背景的完整点云、无法获取完整贴图纹理的问题，本发明方法通过序列图像对比，有效恢复任意一张缺损的背景图片，从而达到重建完整点云的目的。本发明的方法主要流程包括：首先对不同视角下的缺损背景图片进行图片分组，对于每个图片对，使用图像变换将它们统一在同一视角下，然后分别进行图像重叠区域求取、待修补缺失像素点定位、缺失像素点填充、边界线消除等操作完成图片修补。本发明对于不同视角下的序列图像，可快速高效地进行图像缺损修补。
Description
技术领域
本发明涉及一种基于窗口插值的三维重建纹理恢复方法，属于图像处理领域。
背景技术
在基于序列图像的背景三维重建过程中，由于前景障碍物的遮挡，会导致如下三个问题：(1)无法重建出完整的背景点云；(2)重建出的点云不纯净，并不是单纯的背景点云，还会包含障碍物的点云；(3)无法获得完整的背景纹理贴图。为了解决这些问题，一种直接有效的方法是将序列图像中的前景障碍物与背景分离开来，然后对每一张因障碍物造成缺损的图片使用图像恢复方法恢复完整，再利用这些完整的序列背景图片进行背景三维重建。因此，缺损图像恢复算法是这类解决方案的关键。
单幅图像的像素、纹理信息是有限的，利用单幅图像信息很难修复缺损区域较大或结构较复杂的缺损图像，而序列图像则可以利用周围相邻图片上的像素信息综合修补待修复图像。
现有的多张相片修补待修复图片的方法常常用于视频图像的修补，利用视频图像的帧间信息实现像素修复，但现有的适用于近景摄影三维重建的图片缺损像素修补算法却寥寥无几。近景摄影与视频图像修复之间的不同在于，视频图像的每一帧之间不存在视角的变化，而近景摄影拍摄的序列图像之间存在视角的变化。目前传统图像修补算法、视频图像修补算法无法适用于不同视角下的序列图片的缺损修补问题。
发明内容
针对目前传统图像修补算法、视频图像修补算法无法适用于用于背景三维重建的不同视角下的序列图片的缺损修补问题，本发明提供一种基于窗口插值的三维重建纹理恢复方法，实现不同视角下的序列图片的缺损修补。
本发明为解决上述技术问题采用以下技术方案：
本发明提供一种基于窗口插值的三维重建纹理恢复方法，包括如下步骤：
步骤a.对不同视角下的N张剔除前景障碍物后的背景序列图片(包含完整和缺损的图片)，选择其中一张待修补的缺损图片作为基准图片，其它图片均作为参考图片，基准图片分别与每一张参考图片形成一组图片对，将照片对按照参考图片与基准图片的距离升序排列，按顺序对每个图片对依次进行步骤b到f的操作；
步骤b.对于每一组图片对，进行特征点检测与匹配，利用匹配结果求取每一组图片对中两张图片之间的单应性矩阵；
步骤c.对于每一组图片对，使用基于图像变换的图像重叠区域获取算法求取每一组图片对中两张图片的重叠区域；
步骤d.对于每一组图片对，在步骤c中求取的重叠区域中，使用基于色彩空间约束的待修补像素点定位算法定位所有待修补的缺失像素点；
步骤e.对于每一组图片对，使用基于窗口插值的缺失像素点填充算法对步骤d中已定位的缺失像素进行修补填充；
步骤f.对于每一组图片对，使用基于加权平均融合的边界线融合算法消除步骤e中像素修补后留下的边界线，从而完成该组图片对所能提供的图片修补。
作为本发明的进一步优化方案，所述步骤c包括如下步骤：
c1.对于基准图片A和参考图片B，利用步骤b中求得的A和B之间的单应性矩阵将参考图片B变换至基准图片A的视角，记为图片B′；
c2.计算图片B′的四个顶点的在基准图片A视角下的坐标值，并将图片B′四个顶点的横、纵坐标值分别进行排序得到横、纵坐标值的最大和最小值，记作其中，为横坐标值的最小值，为横坐标值的最大值，为纵坐标值的最小值，为纵坐标值的最大值；
c3.分别计算基准图片A和图片B′重叠区域的长xoverlap和宽yoverlap：
当时：
当时：
其中，分别表示基准图片A的四个顶点的横、纵坐标值中的最大值和最小值。
作为本发明的进一步优化方案，所述步骤d中使用基于色彩空间约束的待修补像素点定位算法定位所有待修补的缺失像素点，具体为：遍历每一组图片对中两张图片的重叠区域的像素点，根据判定法则分别判定每个像素点是否需要修补，定位所有待修补的缺失像素点，之后保存记录所有已定位的待修补像素点所形成的区域的边界像素点，供步骤f消除边界线时使用。其中，所述判定法则如下：
若基准图片中的像素点P(x，y)的RGB三通道分量的值相加小于设定阈值，而参考图片中的对应的像素点P′(x′，y′)的RGB三通道分量的值相加大于该设定阈值，则基准图片中的像素点P(x，y)为待修补的缺失像素点，即：
RP+GP+BP≤M (5)
RP′+GP′+BP′＞M (6)
其中，RP、GP、BP分别为像素点P(x，y)的R、G、B三通道分量的值，RP′、GP′、BP′分别为像素点P′(x′，y′)的R、G、B三通道分量的值，M为设定阈值。
作为本发明的进一步优化方案，所述步骤e包括如下步骤：
e1.对于基准图片上待修补的缺失像素点P0(x，y)，其在参考图片上对应的像素点为P′0(x′，y′)，根据RGB值求得P′0(x′，y′)的方向矢量记为
e2.在参考图片上，以点P′0(x′，y′)为中心点，建立一个大小为W×H的矩形窗口，该矩形窗口的长边与方向矢量的方向相同，其中，W为矩形窗口的长，H为矩形窗口的宽；
e3.利用步骤e2中矩形窗口所包含的点P′0(x′，y′)的周围像素点，对P′0(x′，y′)进行插值，即可得到待修补的缺失像素点P0(x，y)修补后的RGB值；
其中，插值公式为：
其中，R(x，y)、G(x，y)、B(x，y)分别表示P0(x，y)修补后的R、G、B值，k为矩形窗口内包含的所有像素点总个数，R(x′i，y′i)、G(x′i，y′i)、B(x′i，y′i)分别表示矩形窗口内第i个像素点P′i(x′i，y′i)的R、G、B值，wi为矩形窗口内第i个像素点的权重，dist表示点P′0(x′，y′)与点P′i(x′i，y′i)之间的欧式距离，θ表示点P′0(x′，y′)与点P′i(x′i，y′i)的方向矢量之间的夹角。
作为本发明的进一步优化方案，所述步骤f中使用基于加权平均融合的边界线融合算法消除步骤e中像素修补后留下的边界线，包括如下步骤：
f1.读取步骤d中保存的边界像素点，对于其中任一个边界像素点PB(xB，yB)，在其周围选取四个邻域像素点，四个邻域像素点平均分布在边界线梯度方向的两侧，对于边界线梯度方向同一侧的两个邻域像素点P1(x1，y1)、P2(x2，y2)，计算P1(x1，y1)、P2(x2，y2)的权值w1、w2：
其中，d1、d2分别为点P1(x1，y1)、点P2(x2，y2)与边界像素点PB(xB，yB)之间的欧式距离；同理，边界线梯度方向另一侧的2个邻域内的像素点的权值计算与式(11)、式(12)相同；
f2.计算步骤f1中四个邻域像素点的加权平均颜色值，即为边界像素点PB(xB，yB)的颜色值。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、在基于序列图像的背景三维重建过程中，本发明仅利用一台相机所拍摄的序列照片，即可恢复任何一张由于前景遮挡造成缺损的背景图片，从而获得待重建背景的完整纹理信息，重建出完整的背景点云，背景图片恢复效果良好，操作方便，自动化程度高；
2、不同于一般的视频图像修补方法，本发明的方法能更好地适用于近景摄影测量中的图像缺损问题，利用特征匹配和图像变换等技术，将不同视角下的图像统一在同一视角下，有效地实现了不同视角下序列照片的缺损图像信息修补。
附图说明
图1为本发明的方法流程图。
图2为本发明求取图像重叠区域的示意图，其中，(a)为时，(b)为时。
图3为本发明基于窗口插值的缺失像素点填充算法中确定矩形窗口的示意图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
如图1所示，本发明提供一种基于窗口插值的三维重建纹理恢复方法，适用于不同视角下的序列图片快速高效的图像缺损修补，包括以下步骤：
步骤a.对不同视角下的N张剔除前景障碍物后的背景序列图片(包含完整和缺损的图片)，选择其中一张待修补的缺损图片作为基准图片，其它图片均作为参考图片，基准图片分别与每一张参考图片形成一组图片对，将照片对按照参考图片与基准图片的距离升序排列，按顺序对每个照片对依次进行步骤b到f的操作；
步骤b.对于每一组图片对，进行特征点检测与匹配，利用匹配结果求取每一组图片对中两张图片之间的单应性矩阵；
步骤c.对于每一组图片对，使用基于图像变换的图像重叠区域获取算法求取每一组图片对中两张图片的重叠区域，其具体步骤如下：
c1.对于基准图片A和参考图片B，利用步骤b中求得的A和B之间的单应性矩阵将参考图片B变换至基准图片A的视角，记为图片B′；
c2.计算图片B′的四个顶点的在基准图片A视角下的坐标值，并将图片B′四个顶点的横、纵坐标值分别进行排序得到横、纵坐标值的最大和最小值，记作其中，为横坐标值的最小值，为横坐标值的最大值，为纵坐标值的最小值，为纵坐标值的最大值；
c3.分别计算基准图片A和图片B′重叠区域的长xoverlap和宽yoverlap：
当时(如图2中(a)所示)：
当时(如图2中(b)所示)：
其中，分别表示基准图片A的四个顶点的横、纵坐标值中的最大值和最小值。所确定的重叠区域为以为左上方定点，长为xoverlap，宽为yoverlap的矩形。
d.对于每一组图片对，在步骤c中求取的重叠区域中，使用基于色彩空间约束的待修补像素点定位算法定位所有待修补的缺失像素点，具体步骤为：
遍历每一组图片对中两张图片的重叠区域的像素点，根据判定法则分别判定每个像素点是否需要修补，定位所有待修补的缺失像素点，之后保存记录所有已定位的待修补像素点所形成的区域的边界像素点，供步骤f消除边界线时使用。其中，所述判定法则如下：
若基准图片中的像素点P(x，y)的RGB三通道分量的值相加小于设定阈值，而参考图片中的对应的像素点P′(x′，y′)的RGB三通道分量的值相加大于该设定阈值，则基准图片中的像素点P(x，y)为待修补的缺失像素点，即：
RP+GP+BP≤M (5)
RP′+GP′+BP′＞M (6)
其中，RP、GP、BP分别为像素点P(x，y)的R、G、B三通道分量的值，RP′、GP′、BP′分别为像素点P′(x′，y′)的R、G、B三通道分量的值，M为设定阈值。
e.对于每一组图片对，使用基于窗口插值的缺失像素点填充算法对步骤d中已定位的缺失像素进行修补填充，其具体步骤如下：
e1.对于基准图片上待修补的缺失像素点P0(x，y)，其在参考图片上对应的像素点为P′0(x′，y′)，根据RGB值求得P′0(x′，y′)的方向矢量记为ep′0；
e2.在参考图片上，以点P′0(x′，y′)为中心点，建立一个大小为W×H的矩形窗口，如图3所示，该矩形窗口的长边与方向矢量的方向相同，其中，W为矩形窗口的长，H为矩形窗口的宽；
e3.利用步骤e2中矩形窗口所包含的点P′0(x′，y′)的周围像素点，对P′0(x′，y′)进行插值，即可得到待修补的缺失像素点P0(x，y)修补后的RGB值；
其中，插值公式为：
其中，R(x，y)、G(x，y)、B(x，y)分别表示P0(x，y)修补后的R、G、B值，k为矩形窗口内包含的所有像素点总个数，R(x′i，y′i)、G(x′i，y′i)、B(x′i，y′i)分别表示矩形窗口内第i个像素点P′i(x′i，y′i)的R、G、B值，wi为矩形窗口内第i个像素点的权重，dist表示点P′0(x′，y′)与点P′i(x′i，y′i)之间的欧式距离，θ表示点P′0(x′，y′)与点P′i(x′i，y′i)的方向矢量之间的夹角。
f.对于每一组图片对，使用基于加权平均融合的边界线融合算法消除步骤e中像素修补后留下的边界线，其具体步骤如下：
f1.读取步骤d中保存的边界像素点，对于其中任一个边界像素点PB(xB，yB)，在其周围选取四个邻域像素点，四个邻域像素点平均分布在边界线梯度方向的两侧，对于边界线梯度方向同一侧的两个邻域像素点P1(x1，y1)、P2(x2，y2)，计算P1(x1，y1)、P2(x2，y2)的权值w1、w2：
其中，d1、d2分别为点P1(x1，y1)、点P2(x2，y2)与边界像素点PB(xB，yB)之间的欧式距离；同理，边界线梯度方向另一侧的2个邻域内的像素点的权值计算与式(11)、式(12)相同；
f2.计算步骤f1中四个邻域像素点的加权平均颜色值，即为边界像素点PB(xB，yB)的颜色值。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (5)
1.一种基于窗口插值的三维重建纹理恢复方法，其特征在于，包括如下步骤：
步骤a.对不同视角下的N张剔除前景障碍物后的背景序列图片，选择其中一张待修补的缺损图片作为基准图片，其它图片均作为参考图片，基准图片分别与每一张参考图片形成一组图片对；将N-1组图片对按照参考图片与基准图片的距离升序排列，并按排列顺序分别按照步骤b到步骤f对每组图片对进行处理，从而完成对基准图片的修补恢复；
步骤b.对于每一组图片对，进行特征点检测与匹配，利用匹配结果求取每一组图片对中两张图片之间的单应性矩阵；
步骤c.对于每一组图片对，使用基于图像变换的图像重叠区域获取算法求取每一组图片对中两张图片的重叠区域；
步骤d.对于每一组图片对，在步骤c中求取的重叠区域中，使用基于色彩空间约束的待修补像素点定位算法定位所有待修补的缺失像素点；
步骤e.对于每一组图片对，使用基于窗口插值的缺失像素点填充算法对步骤d中已定位的缺失像素进行修补填充；
步骤f.对于每一组图片对，使用基于加权平均融合的边界线融合算法消除步骤e中像素修补后留下的边界线。
2.根据权利要求1所述的一种基于窗口插值的三维重建纹理恢复方法，其特征在于，所述步骤c包括如下步骤：
c1.对于基准图片A和参考图片B，利用步骤b中求得的A和B之间的单应性矩阵将参考图片B变换至基准图片A的视角，记为图片B′；
c2.计算图片B′的四个顶点的在基准图片A视角下的坐标值，并将图片B′四个顶点的横、纵坐标值分别进行排序得到横、纵坐标值的最大和最小值，记作其中，为横坐标值的最小值，为横坐标值的最大值，为纵坐标值的最小值，为纵坐标值的最大值；
c3.分别计算基准图片A和图片B′重叠区域的长xoverlap和宽yoverlap：
当时：
<mrow>
<msub>
<mi>x</mi>
<mrow>
<mi>o</mi>
<mi>v</mi>
<mi>e</mi>
<mi>r</mi>
<mi>l</mi>
<mi>a</mi>
<mi>p</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>x</mi>
<msub>
<mi>A</mi>
<mi>max</mi>
</msub>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mrow>
<msub>
<msup>
<mi>B</mi>
<mo>&prime;</mo>
</msup>
<mi>min</mi>
</msub>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>y</mi>
<mrow>
<mi>o</mi>
<mi>v</mi>
<mi>e</mi>
<mi>r</mi>
<mi>l</mi>
<mi>a</mi>
<mi>p</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>y</mi>
<msub>
<mi>A</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
</msub>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<msub>
<mi>A</mi>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
当时：
<mrow>
<msub>
<mi>x</mi>
<mrow>
<mi>o</mi>
<mi>v</mi>
<mi>e</mi>
<mi>r</mi>
<mi>l</mi>
<mi>a</mi>
<mi>p</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>x</mi>
<msub>
<mi>A</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
</msub>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<msub>
<mi>A</mi>
<mi>min</mi>
</msub>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>y</mi>
<mrow>
<mi>o</mi>
<mi>v</mi>
<mi>e</mi>
<mi>r</mi>
<mi>l</mi>
<mi>a</mi>
<mi>p</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>y</mi>
<msub>
<mi>A</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
</msub>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<msub>
<mi>A</mi>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，分别表示基准图片A的四个顶点的横、纵坐标值中的最大值和最小值。
3.根据权利要求1所述的一种基于窗口插值的三维重建纹理恢复方法，其特征在于，所述步骤d中使用基于色彩空间约束的待修补像素点定位算法定位所有待修补的缺失像素点，具体为：遍历每一组图片对中两张图片的重叠区域的像素点，根据判定法则分别判定每个像素点是否需要修补，定位所有待修补的缺失像素点，并保存所有已定位的待修补缺失像素点所形成的区域的边界像素点，其中，所述判定法则如下：
若基准图片中的像素点P(x，y)的RGB三通道分量的值相加小于设定阈值，而参考图片中的对应的像素点P′(x′，y′)的RGB三通道分量的值相加大于该设定阈值，则基准图片中的像素点P(x，y)为待修补的缺失像素点，即：
RP+GP+BP≤M (5)
RP′+GP′+BP′＞M (6)
其中，RP、GP、BP分别为像素点P(x，y)的R、G、B三通道分量的值，RP′、GP′、BP′分别为像素点P′(x′，y′)的R、G、B三通道分量的值，M为设定阈值。
4.根据权利要求1所述的一种基于窗口插值的三维重建纹理恢复方法，其特征在于，所述步骤e包括如下步骤：
e1.对于基准图片上待修补的缺失像素点P0(x，y)，其在参考图片上对应的像素点为P′0(x′，y′)，根据RGB值求得P′0(x′，y′)的方向矢量记为
e2.在参考图片上，以点P′0(x′，y′)为中心点，建立一个大小为W×H的矩形窗口，该矩形窗口的长边与方向矢量的方向相同，其中，W为矩形窗口的长，H为矩形窗口的宽；
e3.利用步骤e2中矩形窗口所包含的点P′0(x′，y′)的周围像素点，对P′0(x′，y′)进行插值，即可得到待修补的缺失像素点P0(x，y)修补后的RGB值；
其中，插值公式为：
<mrow>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</msubsup>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<mi>R</mi>
<mrow>
<mo>(</mo>
<msub>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</msubsup>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</msubsup>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<mi>G</mi>
<mrow>
<mo>(</mo>
<msub>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</msubsup>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>B</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</msubsup>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<mi>B</mi>
<mrow>
<mo>(</mo>
<msub>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</msubsup>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&theta;</mi>
<mo>|</mo>
</mrow>
<mrow>
<mn>1</mn>
<mo>+</mo>
<msqrt>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mi>t</mi>
</mrow>
</msqrt>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，R(x，y)、G(x，y)、B(x，y)分别表示P0(x，y)修补后的R、G、B值，k为矩形窗口内包含的所有像素点总个数，R(x′i，y′i)、G(x′i，y′i)、B(x′i，y′i)分别表示矩形窗口内第i个像素点P′i(x′i，y′i)的R、G、B值，wi为矩形窗口内第i个像素点的权重，dist表示点P′0(x′，y′)与点P′i(x′i，y′i)之间的欧式距离，θ表示点P′0(x′，y′)与点P′i(x′i，y′i)的方向矢量之间的夹角。
5.根据权利要求1所述的一种基于窗口插值的三维重建纹理恢复方法，其特征在于，所述步骤f中使用基于加权平均融合的边界线融合算法消除步骤e中像素修补后留下的边界线，包括如下步骤：
f1.读取步骤d中保存的边界像素点，对于其中任一个边界像素点PB(xB，yB)，在其周围选取四个邻域像素点，四个邻域像素点平均分布在边界线梯度方向的两侧，对于边界线梯度方向同一侧的两个邻域像素点P1(x1，y1)、P2(x2，y2)，计算P1(x1，y1)、P2(x2，y2)的权值w1、w2：
<mrow>
<msub>
<mi>w</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mfrac>
<msub>
<mi>d</mi>
<mn>2</mn>
</msub>
<mrow>
<msub>
<mi>d</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>d</mi>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>w</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<mfrac>
<msub>
<mi>d</mi>
<mn>1</mn>
</msub>
<mrow>
<msub>
<mi>d</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>d</mi>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>12</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，d1、d2分别为点P1(x1，y1)、点P2(x2，y2)与边界像素点PB(xB，yB)之间的欧式距离；同理，边界线梯度方向另一侧的2个邻域内的像素点的权值计算与式(11)、式(12)相同；
f2.计算步骤f1中四个邻域像素点的加权平均颜色值，即为边界像素点PB(xB，yB)的颜色值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710366246.4A CN107301674B (zh) | 2017-05-22 | 2017-05-22 | 一种基于窗口插值的三维重建纹理恢复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710366246.4A CN107301674B (zh) | 2017-05-22 | 2017-05-22 | 一种基于窗口插值的三维重建纹理恢复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107301674A true CN107301674A (zh) | 2017-10-27 |
| CN107301674B CN107301674B (zh) | 2020-09-15 |
Family
ID=60137861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710366246.4A Expired - Fee Related CN107301674B (zh) | 2017-05-22 | 2017-05-22 | 一种基于窗口插值的三维重建纹理恢复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107301674B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961183A (zh) * | 2018-06-27 | 2018-12-07 | Oppo广东移动通信有限公司 | 图像处理方法、终端设备及计算机可读存储介质 |
| CN109212792A (zh) * | 2018-07-26 | 2019-01-15 | 深圳同兴达科技股份有限公司 | 一种全贴合二合一模组防止贴合偏位检测方法 |
| CN109345557A (zh) * | 2018-09-19 | 2019-02-15 | 东南大学 | 一种基于三维重建成果的前背景分离方法 |
| WO2020119509A1 (zh) * | 2018-12-13 | 2020-06-18 | 华为技术有限公司 | 点云编解码方法和编解码器 |
| CN116596922A (zh) * | 2023-07-17 | 2023-08-15 | 山东龙普太阳能股份有限公司 | 一种太阳能热水器生产质量检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101534413A (zh) * | 2009-04-14 | 2009-09-16 | 深圳华为通信技术有限公司 | 一种远程呈现的系统、装置和方法 |
| US20140307045A1 (en) * | 2013-04-16 | 2014-10-16 | Disney Enterprises, Inc. | Stereoscopic panoramas |
| CN104574339A (zh) * | 2015-02-09 | 2015-04-29 | 上海安威士科技股份有限公司 | 一种用于视频监控的多尺度柱面投影全景图像生成方法 |
| CN104899923A (zh) * | 2015-06-15 | 2015-09-09 | 扬州大学 | 基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法 |
| CN105608671A (zh) * | 2015-12-30 | 2016-05-25 | 哈尔滨工业大学 | 一种基于surf算法的图像拼接方法 |
-
2017
- 2017-05-22 CN CN201710366246.4A patent/CN107301674B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101534413A (zh) * | 2009-04-14 | 2009-09-16 | 深圳华为通信技术有限公司 | 一种远程呈现的系统、装置和方法 |
| US20140307045A1 (en) * | 2013-04-16 | 2014-10-16 | Disney Enterprises, Inc. | Stereoscopic panoramas |
| CN104574339A (zh) * | 2015-02-09 | 2015-04-29 | 上海安威士科技股份有限公司 | 一种用于视频监控的多尺度柱面投影全景图像生成方法 |
| CN104899923A (zh) * | 2015-06-15 | 2015-09-09 | 扬州大学 | 基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法 |
| CN105608671A (zh) * | 2015-12-30 | 2016-05-25 | 哈尔滨工业大学 | 一种基于surf算法的图像拼接方法 |
Non-Patent Citations (1)
| Title |
|---|
| DAVID G. LOWE 等: "Distinctive image features from scale-invariant keypoints", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961183A (zh) * | 2018-06-27 | 2018-12-07 | Oppo广东移动通信有限公司 | 图像处理方法、终端设备及计算机可读存储介质 |
| CN108961183B (zh) * | 2018-06-27 | 2020-10-23 | Oppo广东移动通信有限公司 | 图像处理方法、终端设备及计算机可读存储介质 |
| CN109212792A (zh) * | 2018-07-26 | 2019-01-15 | 深圳同兴达科技股份有限公司 | 一种全贴合二合一模组防止贴合偏位检测方法 |
| CN109212792B (zh) * | 2018-07-26 | 2021-04-06 | 深圳同兴达科技股份有限公司 | 一种全贴合二合一模组防止贴合偏位检测方法 |
| CN109345557A (zh) * | 2018-09-19 | 2019-02-15 | 东南大学 | 一种基于三维重建成果的前背景分离方法 |
| CN109345557B (zh) * | 2018-09-19 | 2021-07-09 | 东南大学 | 一种基于三维重建成果的前背景分离方法 |
| WO2020119509A1 (zh) * | 2018-12-13 | 2020-06-18 | 华为技术有限公司 | 点云编解码方法和编解码器 |
| CN116596922A (zh) * | 2023-07-17 | 2023-08-15 | 山东龙普太阳能股份有限公司 | 一种太阳能热水器生产质量检测方法 |
| CN116596922B (zh) * | 2023-07-17 | 2023-09-12 | 山东龙普太阳能股份有限公司 | 一种太阳能热水器生产质量检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107301674B (zh) | 2020-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107301674A (zh) | 一种基于窗口插值的三维重建纹理恢复方法 | |
| CN111127318B (zh) | 一种机场环境下的全景图像拼接方法 | |
| CN105046657B (zh) | 一种图像拉伸畸变自适应校正方法 | |
| CN104732482B (zh) | 一种基于控制点的多分辨率图像拼接方法 | |
| CN102881014B (zh) | 一种基于图割的快速立体匹配方法 | |
| CN102509294B (zh) | 一种基于单幅图像的全局深度估计方法 | |
| TWI491849B (zh) | 應用複數攝影裝置之物件定位方法 | |
| CN104537625A (zh) | 一种基于方向标志位的Bayer彩色图像插值方法 | |
| CN106910222A (zh) | 基于双目立体视觉的人脸三维重建方法 | |
| CN103761765B (zh) | 基于映射边界优化的三维物体模型纹理映射方法 | |
| CN105678813A (zh) | 一种肤色检测方法及装置 | |
| CN105761233A (zh) | 一种基于fpga的实时全景图像拼接方法 | |
| CN107578392A (zh) | 一种基于残余插值的卷积神经网络去马赛克算法 | |
| CN103914820B (zh) | 一种基于图像分层增强的图像去雾方法及系统 | |
| CN106504294B (zh) | 基于扩散曲线的rgbd图像矢量化方法 | |
| CN106780374A (zh) | 一种基于鱼眼成像模型的鱼眼图像畸变矫正方法 | |
| CN104735360B (zh) | 光场图像处理方法和装置 | |
| CN107580186A (zh) | 一种基于缝合线时空优化的双摄像机全景视频拼接方法 | |
| CN107833186A (zh) | 一种基于Encoder‑Decoder深度学习模型的单透镜空间变化图像复原方法 | |
| CN106997579A (zh) | 图像拼接的方法和装置 | |
| CN108009985A (zh) | 一种基于图割的视频拼接方法 | |
| CN107369204A (zh) | 一种基于深度学习从单幅照片恢复出场景基本三维结构的方法 | |
| CN106530266A (zh) | 一种基于区域稀疏表示的红外与可见光图像融合方法 | |
| JP2023502793A (ja) | 深度情報付きのパノラマ画像を生成する方法、装置及び記憶媒体 | |
| CN107689050A (zh) | 一种基于彩色图像边缘引导的深度图像上采样方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200915 |