CN107545541A - 一种面向vr场景的图像拼接方法 - Google Patents
一种面向vr场景的图像拼接方法 Download PDFInfo
- Publication number
- CN107545541A CN107545541A CN201710721917.4A CN201710721917A CN107545541A CN 107545541 A CN107545541 A CN 107545541A CN 201710721917 A CN201710721917 A CN 201710721917A CN 107545541 A CN107545541 A CN 107545541A
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- msub
- mtr
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000002939 conjugate gradient method Methods 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 230000007547 defect Effects 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种面向VR场景的图像拼接方法，属于虚拟现实领域。通常采用六幅图像拼接成一个立方体的六个面来构造VR全景图，若直接拼接，面与面之间的拼接处常出现明显的不自然接缝。即使采用Poisson编辑等方法拼接也会有明显的拼接痕迹。本发明在光滑了接缝处的梯度的基础上，通过求解一个广义Laplacian方程得到平滑自然的拼接结果。
Description
技术领域
本发明属于图像处理、虚拟现实领域，给出了一种VR(Virtual Reality:虚拟现实)全景图中的图像拼接方法，使得图像拼接处平滑自然，不着痕迹。
背景技术
虚拟现实领域，通常采用六幅图像拼接成一个立方体的六个面来构造VR全景图，面与面之间的拼接处常出现明显的不自然接缝，如图1所示。为消除图像拼接中恼人的拼接痕迹问题，本发明一种面向VR场景的图像拼接方法。
发明内容
本发明的目的在于解决VR全景图拼接中恼人的拼接痕迹问题，提供一种图像拼接方法。
本发明方法的输入输出是：
输入：两幅图像，分别为左图和右图，分别记为L和R，它们在VR场景中按左右方式无重叠拼接。实际应用中，L和R都是三通道的彩色图像，但在本发明中三个通道独立计算，互不干涉；因此为了表述方便，下文中的L和R都设定为单通道的灰度图像，在数学上就是二维矩阵，两个矩阵的行数相同。不失一般性，仍然为了表述方便，假定两个矩阵的列数和行数都为M。
输出：两幅图像L和R分别修改自L和R，但它们的无重叠拼接平滑自然，轻易看不出拼接痕迹。
本发明方法的具体步骤是：
步骤(1)计算L和R的梯度：
▽L＝(DxL,DyL)＝(Lx,Ly)
Lx(i,j)＝L(i,j+1)-L(i,j)
Ly(i,j)＝L(i+1,j)-L(i,j)
同样的方法计算R的梯度。
步骤(2)修正L和R在拼接处的梯度：设矩阵P＝[L,R]为L和R拼接而成的矩阵，修正L和R在拼接处的梯度就是修正P在M和M+1列处的梯度。先由L和R的梯度拼接得到P的梯度的初始值：
Px＝[Lx,Rx],Py＝[Ly,Ry]
接着采用一个3*3的模板T作为光滑响应函数对P在M和M+1列处的梯度进行光滑：
其中a＝0.176765,b＝0.073235。
步骤(3)设定权重矩阵：先设定ω1、ω2和ω3，这三个矩阵的维度与P一致：
再由下式定义权重矩阵W1、W2和W3：
WkX＝X.*ωk k＝1,2,3
其中X为任意的M*2M的矩阵，.*表示矩阵对应元素相乘。
步骤(4)求解一个广义Laplacian方程：
其中U为待求的未知数。该方程是一个广义的Laplacian方程，可以用共轭梯度方法求解。
步骤(5)输出：将步骤(4)中求得的U左半边矩阵赋给L，右半边矩阵赋给R,输出。
本发明的有益效果：本发明在光滑了接缝处的梯度的基础上，通过求解一个广义Laplacian方程得到平滑自然的拼接结果。
附图说明
图1.直接拼接结果图；
图2.是利用本发明方法处理后的图1。
具体实施方式
本发明的目的在于解决VR全景图拼接中恼人的拼接痕迹问题，提供一种图像拼接算法。
本发明方法的输入输出是：
输入：两幅图像，分别为左图和右图，分别记为L和R，它们在VR场景中按左右方式无重叠拼接。实际应用中，L和R都是三通道的彩色图像，但在本发明中三个通道独立计算，互不干涉；因此为了表述方便，下文中的L和R都设定为单通道的灰度图像，在数学上就是二维矩阵，两个矩阵的行数相同。不失一般性，仍然为了表述方便，假定两个矩阵的列数和行数都为M。
输出：两幅图像和分别修改自L和R，但它们的无重叠拼接平滑自然，轻易看不出拼接痕迹。
本发明方法的具体步骤是：
步骤(1)计算L和R的梯度：
▽L＝(DxL,DyL)＝(Lx,Ly)
Lx(i,j)＝L(i,j+1)-L(i,j)
Ly(i,j)＝L(i+1,j)-L(i,j)
其中Dx和Dy分别表示x和y方向的一阶差分算子，Lx的含义是L在x方向一阶差分后的结果，Ly类似。同样的方法计算R的梯度(Rx,Ry)。
步骤(2)修正L和R在拼接处的梯度：设矩阵P＝[L,R]为L和R拼接而成的矩阵，修正L和R在拼接处的梯度就是修正P在M和M+1列处的梯度。先由L和R的梯度拼接得到P的梯度的初始值：
Px＝[Lx,Rx],Py＝[Ly,Ry]
接着采用一个3*3的模板T作为光滑响应函数对P在M和M+1列处的梯度进行光滑：
其中a＝0.176765,b＝0.073235。
步骤(3)设定权重矩阵：先设定ω1、ω2和ω3,这三个矩阵的维度与P一致：
再由下式定义权重矩阵W1、W2和W3：
WkX＝X.*ωk k＝1,2,3
其中X为任意的M*2M的矩阵，.*表示矩阵对应元素相乘。
步骤(4)求解一个广义Laplacian方程：
其中U为待求的未知数，上标T表示转置。该方程是一个广义的Laplacian方程，可以用共轭梯度方法求解。
步骤(5)输出：将步骤(4)中求得的U左半边矩阵赋给右半边矩阵赋给输出。
利用上述方法对图1作处理后的结果见图2。
Claims (1)
1.一种面向VR场景的图像拼接方法，特征在于：
该方法的输入和输出分别是：
输入：两幅图像，分别为左图和右图，分别记为L和R，它们在VR场景中按左右方式无重叠拼接；L和R都设定为单通道的灰度图像，在数学上就是二维矩阵，两个矩阵的行数相同，并假定两个矩阵的列数和行数都为M；
输出：两幅图像和分别修改自L和R，但它们的无重叠拼接平滑自然，轻易看不出拼接痕迹；
该方法的具体步骤是：
步骤(1)计算L和R的梯度：
▽L＝(DxL,DyL)＝(Lx,Ly)
Lx(i,j)＝L(i,j+1)-L(i,j)
Ly(i,j)＝L(i+1,j)-L(i,j)
其中，其中Dx和Dy分别表示x和y方向的一阶差分算子，Lx表示L在x方向一阶差分后的结果，Ly表示L在y方向一阶差分后的结果；
同样的方法计算R的梯度；
步骤(2)修正L和R在拼接处的梯度：设矩阵P＝[L,R]为L和R拼接而成的矩阵，修正L和R在拼接处的梯度就是修正P在M和M+1列处的梯度；先由L和R的梯度拼接得到P的梯度的初始值：
Px＝[Lx,Rx],Py＝[Ly,Ry]
接着采用一个3*3的模板T作为光滑响应函数对P在M和M+1列处的梯度进行光滑：
<mrow>
<msub>
<mi>P</mi>
<mi>x</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>3</mn>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>3</mn>
</munderover>
<msub>
<mi>P</mi>
<mi>x</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>-</mo>
<mn>2</mn>
<mo>+</mo>
<mi>k</mi>
<mo>,</mo>
<mi>j</mi>
<mo>-</mo>
<mn>2</mn>
<mo>+</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mi>T</mi>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>;</mo>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<mi>M</mi>
<mo>;</mo>
<mi>j</mi>
<mo>=</mo>
<mi>M</mi>
<mo>,</mo>
<mi>M</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mrow>
<msub>
<mi>P</mi>
<mi>y</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>3</mn>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>3</mn>
</munderover>
<msub>
<mi>P</mi>
<mi>y</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>-</mo>
<mn>2</mn>
<mo>+</mo>
<mi>k</mi>
<mo>,</mo>
<mi>j</mi>
<mo>-</mo>
<mn>2</mn>
<mo>+</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mi>T</mi>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>;</mo>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<mi>M</mi>
<mo>;</mo>
<mi>j</mi>
<mo>=</mo>
<mi>M</mi>
<mo>,</mo>
<mi>M</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>T</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>b</mi>
</mtd>
<mtd>
<mi>a</mi>
</mtd>
<mtd>
<mi>b</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>a</mi>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mi>a</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>b</mi>
</mtd>
<mtd>
<mi>a</mi>
</mtd>
<mtd>
<mi>b</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中a＝0.176765,b＝0.073235；
步骤(3)设定权重矩阵：先设定ω1、ω2和ω3，这三个矩阵的维度与矩阵P一致：
<mrow>
<msub>
<mi>&omega;</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>&omega;</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>0.5</mn>
</mtd>
<mtd>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mi>M</mi>
<mo>,</mo>
<mi>M</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mi>e</mi>
<mi>l</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
<mrow>
<msub>
<mi>&omega;</mi>
<mn>3</mn>
</msub>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mi>M</mi>
<mo>,</mo>
<mi>M</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mi>e</mi>
<mi>l</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
再由下式定义权重矩阵W1、W2和W3：
WkX＝X.*ωk k＝1,2,3
其中X为任意的M*2M的矩阵，.*表示矩阵对应元素相乘；
步骤(4)用共轭梯度方法求解一个广义Laplacian方程：
<mrow>
<mo>(</mo>
<msubsup>
<mi>D</mi>
<mi>x</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>W</mi>
<mn>1</mn>
</msub>
<msub>
<mi>D</mi>
<mi>x</mi>
</msub>
<mo>+</mo>
<msubsup>
<mi>D</mi>
<mi>y</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>W</mi>
<mn>2</mn>
</msub>
<msub>
<mi>D</mi>
<mi>y</mi>
</msub>
<mo>+</mo>
<msub>
<mi>W</mi>
<mn>3</mn>
</msub>
<mo>)</mo>
<mi>U</mi>
<mo>=</mo>
<msubsup>
<mi>D</mi>
<mi>x</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>P</mi>
<mi>x</mi>
</msub>
<mo>+</mo>
<msubsup>
<mi>D</mi>
<mi>y</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>P</mi>
<mi>y</mi>
</msub>
<mo>+</mo>
<msub>
<mi>W</mi>
<mn>3</mn>
</msub>
<mi>P</mi>
</mrow>
其中U为待求的未知数，上标T表示转置；
步骤(5)输出：将步骤(4)中求得的U左半边矩阵赋给右半边矩阵赋给输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710721917.4A CN107545541B (zh) | 2017-08-22 | 2017-08-22 | 一种面向vr场景的图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710721917.4A CN107545541B (zh) | 2017-08-22 | 2017-08-22 | 一种面向vr场景的图像拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107545541A true CN107545541A (zh) | 2018-01-05 |
| CN107545541B CN107545541B (zh) | 2020-05-19 |
Family
ID=60958481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710721917.4A Active CN107545541B (zh) | 2017-08-22 | 2017-08-22 | 一种面向vr场景的图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107545541B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793281A (zh) * | 2021-09-15 | 2021-12-14 | 江西格灵如科科技有限公司 | 一种基于gpu实现的全景图缝隙实时缝合方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6018349A (en) * | 1997-08-01 | 2000-01-25 | Microsoft Corporation | Patch-based alignment method and apparatus for construction of image mosaics |
| CN101110122A (zh) * | 2007-08-31 | 2008-01-23 | 北京工业大学 | 基于特征的大幅面文化遗产图像拼接方法 |
| CN103279939A (zh) * | 2013-04-27 | 2013-09-04 | 北京工业大学 | 一种图像拼接处理系统 |
| CN105678721A (zh) * | 2014-11-20 | 2016-06-15 | 深圳英飞拓科技股份有限公司 | 一种全景拼接图像接缝处平滑的方法及装置 |
-
2017
- 2017-08-22 CN CN201710721917.4A patent/CN107545541B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6018349A (en) * | 1997-08-01 | 2000-01-25 | Microsoft Corporation | Patch-based alignment method and apparatus for construction of image mosaics |
| CN101110122A (zh) * | 2007-08-31 | 2008-01-23 | 北京工业大学 | 基于特征的大幅面文化遗产图像拼接方法 |
| CN103279939A (zh) * | 2013-04-27 | 2013-09-04 | 北京工业大学 | 一种图像拼接处理系统 |
| CN105678721A (zh) * | 2014-11-20 | 2016-06-15 | 深圳英飞拓科技股份有限公司 | 一种全景拼接图像接缝处平滑的方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793281A (zh) * | 2021-09-15 | 2021-12-14 | 江西格灵如科科技有限公司 | 一种基于gpu实现的全景图缝隙实时缝合方法及系统 |
| CN113793281B (zh) * | 2021-09-15 | 2023-09-08 | 江西格灵如科科技有限公司 | 一种基于gpu实现的全景图缝隙实时缝合方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107545541B (zh) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107729994B (zh) | 执行卷积神经网络中的卷积层的运算的方法和装置 | |
| DE102017113733B4 (de) | Faltendes neuronales Netzwerk auf programmierbarem zweidimensionalem Bildprozessor | |
| Masbaum | Skein-theoretical derivation of some formulas of Habiro | |
| CN107832842B (zh) | 针对折叠特征数据执行卷积运算的方法和装置 | |
| Witten | Khovanov homology and gauge theory | |
| CN105678687A (zh) | 基于图像内容的立体图像拼接方法 | |
| CA3018965A1 (en) | Efficient determination of optical flow between images | |
| CN101843483B (zh) | 一种水脂分离实现方法和装置 | |
| CN108055477B (zh) | 一种实现拖影特效的方法和装置 | |
| CN102665029A (zh) | 一种基于梯度学习的超分辨率图像放大方法 | |
| CN102402785B (zh) | 一种基于二次曲线的摄像机自标定方法 | |
| CN103793888B (zh) | 一种基于参照图像的主要颜色的图像增强方法 | |
| JP2011523323A (ja) | 映像変換方法及び装置 | |
| CN107545541A (zh) | 一种面向vr场景的图像拼接方法 | |
| Cooper et al. | An exceptional collection for Khovanov homology | |
| CN100541534C (zh) | 一种图片的特效处理方法及系统 | |
| CN104092530B (zh) | 基于量子细胞神经网络超混沌系统光学图像加密方法 | |
| CN106504294A (zh) | 基于扩散曲线的rgbd图像矢量化方法 | |
| Rozansky | Khovanov homology of a unicolored B-adequate link has a tail | |
| JP2017005689A5 (zh) | ||
| CN106504236B (zh) | 基于稀疏表示的无参考立体图像质量客观评价方法 | |
| Nelson et al. | Trace diagrams and biquandle brackets | |
| Bright | Brauer groups of singular del Pezzo surfaces | |
| CN103955890B (zh) | 一种立体图像修复方法 | |
| Liu et al. | Hybrid first-order system least squares finite element methods with application to Stokes equations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240313 Address after: Room 1902, Qingshang Building, No. 806, Wanchang Middle Road, Chengdong Street, Wenling City, Taizhou City, Zhejiang Province, 317500 Patentee after: Zhejiang Jimu Digital Technology Co.,Ltd. Country or region after: China Patentee after: Wang Jian Address before: 310018, No. 18 Jiao Tong Street, Xiasha Higher Education Park, Hangzhou, Zhejiang Patentee before: ZHEJIANG GONGSHANG University Country or region before: China |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20240522 Address after: Room 1902, Qingshang Building, No. 806, Wanchang Middle Road, Chengdong Street, Wenling City, Taizhou City, Zhejiang Province, 317500 Patentee after: Zhejiang Jimu Digital Technology Co.,Ltd. Country or region after: China Address before: Room 1902, Qingshang Building, No. 806, Wanchang Middle Road, Chengdong Street, Wenling City, Taizhou City, Zhejiang Province, 317500 Patentee before: Zhejiang Jimu Digital Technology Co.,Ltd. Country or region before: China Patentee before: Wang Jian |