CN107507228A - 一种基于光流的3d视觉生成方法 - Google Patents

一种基于光流的3d视觉生成方法 Download PDF

Info

Publication number
CN107507228A
CN107507228A CN201710453444.4A CN201710453444A CN107507228A CN 107507228 A CN107507228 A CN 107507228A CN 201710453444 A CN201710453444 A CN 201710453444A CN 107507228 A CN107507228 A CN 107507228A
Authority
CN
China
Prior art keywords
mrow
mfrac
msub
camera
light stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710453444.4A
Other languages
English (en)
Inventor
谷嘉文
陈馨瑶
夏江月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201710453444.4A priority Critical patent/CN107507228A/zh
Publication of CN107507228A publication Critical patent/CN107507228A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Generation (AREA)

Abstract

一种基于光流的3D视觉生成方法，涉及一种基于光流的全景拼接中的3D视觉生成方法。为了解决现有全景拼接系统中无法生成3D效果或3D效果不佳的问题；本发明首先需要采集视频的相机均匀的摆放在同一圆上，并且需要相邻相机拍摄到内容有50％以上的重叠区域；然后将所有相机采集到的内容作为输入；在拼接过程中，对相邻两个相机采集到的图片运用光流法拼接，并将每个像素的光流值保存下来；然后利用光流值的大小估计物体景深；最后模拟人眼瞳距生成3D视觉效果。本发明适用于基于光流的全景拼接的3D视觉生成。

Description

一种基于光流的3D视觉生成方法
技术领域
本发明涉及一种基于光流的全景拼接中的3D视觉生成方法。
背景技术
全景3D视频是虚拟现实(VR)中最重要的部分之一。它给用户带来了非常好的沉浸式体验。而现阶段全景3D视频的制作和传统视频的制作方式不同，其制作成本非常高。首先对于全景视频的制作往往需要一套拍摄设备，这套拍摄设备通常是将多个相机均匀的排列在一个圆上。其次，全景的制作需要将多个相机的内容拼接成一张完整的图片。现在的拼接方法分为两种，一种是基于特征点匹配的拼接方法。该方法会从需要拼接的两张图片中寻找对应的特征点，并根据对应特征点的位置关系大致两幅图的位置关系，从而拼接。由于只需要考虑特征点之间的位置关系，而特征点的个数有限，所以其拼接速度相对较快。但是这种拼接方法只计算了图中的很少一部分点的对应关系，所以无法估计出物体的深度信息，进而无法通过这种拼接算法获得3D的视觉效果。另一种是基于光流的拼接方法。光流的概念是Gibson 在1950年首先提出来的。它描述了空间运动物体在观察成像平面上的像素运动的瞬间速度。简而言之，光流计算了每个像素点的移动，即对于需要拼接的两张图片，光流会计算两张图之间每个像素点的对应关系。而在物体速度恒定的情况下，距离越远，成像中点的运动越小。因此我们可以通过这个来估计物体的景深。获取景深的信息之后，根据人眼瞳距模拟人眼的视角，就能在VR设备上看到3D的视觉效果。
发明内容：
本发明的目的是为了解决现有全景拼接系统中无法生成3D效果或3D效果不佳的问题，而提出一种基于光流的3D视觉生成方法。
一种基于光流的3D视觉生成方法，包括以下步骤：
步骤1、采集视频的相机需要均匀的摆放在圆心为O的同一圆上，即假设相机在圆上的位置顺时针排序为1、2、……、n，其中n为相机数目，每个相邻相机与圆心的夹角均为：
与此同时，需要相邻相机拍摄到内容有50％以上的重叠区域。
步骤2、计算光流：
步骤2.1、假设采集的图片的大小为W×H，首先将每张图片平分为大小的，并令第i个相机的左边的半张图为Li，右半张图为Ri。
步骤2.2、分别计算Ri和Li+1的光流值，若i＝n,则计算Rn和L1的光流值。其计算光流的方法可以采用卢卡斯-卡奈德(Lucas–Kanade)光流算法。
步骤3、3D效果生成：
在进行3D效果生成的时候，利用步骤2中得到的光流信息，按照如下方式处理：
设在步骤2中，Ri中点P的光流大小为对于任意一点P，假设其在Ri中的位置为(x,y)，则P与相机i正对方向的夹角为：
假定圆心O与P的距离为D，相机所在圆的圆心为R，相机i与P在圆心O处的夹角为θ1，相机i+1与P所在圆心O处的夹角为θ2，根据正弦定理可得：
而：
θ1+θ2＝η
我们可算出θ1的大小：
由此，我们同时也可计算出D：
另一方面，我们假定人眼的瞳距为d＝64mm，模拟左眼的位置在O与相机i的连线上，记为L，模拟右眼的位置在O与相机i+1的连线上，记为R，由于OL与OR的长度相同，我们可以计算出OL和OR的长度均为：
PL与O和相机i连线的夹角为α1，PR与O和相机i+1连线的夹角为β1，根据已经计算出的θ1、D以及OL和OR的长度，可得：
因此，P在虚拟左眼视角中的坐标为：P在虚拟右眼的中的坐标为：通过此点对点的对应方式，能够模拟虚拟左眼和右眼的视图，从而生成3D视觉。
本发明具有以下效果：
本发明通过拼接过程中光流的值生成了双目的3D视觉，最终实现了能在头戴式VR眼镜或红蓝眼镜上观看的3D效果。
附图说明
图1为从相机视角转换为虚拟视角示意图；
图2为利用光流生成最终3D的效果；
图3为将图2中利用红蓝通道混合的3D效果，可以使用红蓝眼镜观看。
具体实施方式
具体实施方式一：
一种基于光流的3D视觉生成方法，包括以下步骤：
步骤1、采集视频的相机需要均匀的摆放在圆心为O的同一圆上，即假设相机在圆上的位置顺时针排序为1、2、……、n，其中n为相机数目，每个相邻相机与圆心的夹角均为：
与此同时，需要相邻相机拍摄到内容有50％以上的重叠区域。
步骤2、计算光流：
步骤2.1、假设采集的图片的大小为W×H，首先将每张图片平分为大小的，并令第i个相机的左边的半张图为Li，右半张图为Ri。
步骤2.2、分别计算Ri和Li+1的光流值，若i＝n,则计算Rn和L1的光流值。
步骤3、3D效果生成：
在进行3D效果生成的时候，利用步骤2中得到的光流信息，按照如下方式处理：
设在步骤2中，Ri中点P的光流大小为对于任意一点P，假设其在Ri中的位置为(x,y)，则P与相机i正对方向的夹角为：
假定圆心O与P的距离为D，相机所在圆的圆心为R，相机i与P在圆心O处的夹角为θ1，相机i+1与P所在圆心O处的夹角为θ2，根据正弦定理可得：
而：
θ1+θ2＝η
我们可算出θ1的大小：
由此，我们同时也可计算出D：
另一方面，我们假定人眼的瞳距为d＝64mm，模拟左眼的位置在O与相机i的连线上，记为L，模拟右眼的位置在O与相机i+1的连线上，记为R，由于OL与OR的长度相同，我们可以计算出OL和OR的长度均为：
PL与O和相机i连线的夹角为α1，PR与O和相机i+1连线的夹角为β1，根据已经计算出的θ1、D以及OL和OR的长度，可得：
因此，P在虚拟左眼视角中的坐标为：P在虚拟右眼的中的坐标为：通过此点对点的对应方式，能够模拟虚拟左眼和右眼的视图，从而生成3D视觉。
具体实施方式二：
本实施方式的步骤2.2所述的计算光流的方法可以采用卢卡斯-卡奈德(Lucas–Kanade) 光流算法获得。
本发明提出了一种采用全景拼接中的光流信息生成3D视觉的方法。其最终生成效果具有有很好的立体效果。

Claims (1)

1.一种基于光流的3D视觉生成方法，包括以下步骤：
步骤1、采集视频的相机需要均匀的摆放在圆心为O的同一圆上，即假设相机在圆上的位置顺时针排序为1、2、……、n，其中n为相机数目，每个相邻相机与圆心的夹角均为：
<mrow> <mi>&amp;eta;</mi> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <mi>&amp;pi;</mi> </mrow> <mi>n</mi> </mfrac> </mrow>
与此同时，需要相邻相机拍摄到内容有50％以上的重叠区域。
步骤2、计算光流：
步骤2.1、假设采集的图片的大小为W×H，首先将每张图片平分为大小的，并令第i个相机的左边的半张图为Li，右半张图为Ri。
步骤2.2、分别计算Ri和Li+1的光流值，若i＝n,则计算Rn和L1的光流值。其计算光流的方法可以采用卢卡斯-卡奈德(Lucas–Kanade)光流算法。
步骤3、3D效果生成：
在进行3D效果生成步骤的时候，需要利用步骤2中得到的光流信息，按照如下方式处理：
设在步骤2中，Ri中点P的光流大小为对于任意一点P，假设其在Ri中的位置为(x,y)，则P与相机i正对方向的夹角为：
<mrow> <mi>&amp;alpha;</mi> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <mi>x</mi> </mrow> <mi>W</mi> </mfrac> <mo>&amp;CenterDot;</mo> <mi>&amp;eta;</mi> </mrow>
<mrow> <mi>&amp;beta;</mi> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mrow> <mn>2</mn> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <msub> <mi>F</mi> <msub> <mi>R</mi> <mi>i</mi> </msub> </msub> <mo>(</mo> <mi>P</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>)</mo> </mrow> <mi>W</mi> </mfrac> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <mi>&amp;eta;</mi> </mrow>
假定圆心O与P的距离为D，相机所在圆的圆心为R，相机i与P在圆心O处的夹角为θ1，相机i+1与P所在圆心O处的夹角为θ2，根据正弦定理可得：
<mrow> <mfrac> <mi>D</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;alpha;</mi> </mrow> </mfrac> <mo>=</mo> <mfrac> <mi>R</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <mi>&amp;alpha;</mi> <mo>-</mo> <msub> <mi>&amp;theta;</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
<mrow> <mfrac> <mi>D</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;beta;</mi> </mrow> </mfrac> <mo>=</mo> <mfrac> <mi>R</mi> <mrow> <mi>sin</mi> <mrow> <mo>(</mo> <mi>&amp;beta;</mi> <mo>-</mo> <msub> <mi>&amp;theta;</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
而：
θ1+θ2＝η
我们可算出θ1的大小：
<mrow> <msub> <mi>tan&amp;theta;</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mi>sin</mi> <mi>&amp;alpha;</mi> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <mi>sin</mi> <mi>&amp;beta;</mi> <mo>-</mo> <mi>sin</mi> <mo>(</mo> <mi>&amp;beta;</mi> <mo>-</mo> <mi>&amp;eta;</mi> <mo>)</mo> </mrow> <mo>)</mo> </mrow> <mrow> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;alpha;</mi> <mi>cos</mi> <mrow> <mo>(</mo> <mi>&amp;beta;</mi> <mo>-</mo> <mi>&amp;eta;</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;alpha;</mi> <mo>&amp;CenterDot;</mo> <mi>sin</mi> <mi>&amp;beta;</mi> </mrow> </mfrac> </mrow>
由此，我们同时也可计算出D：
<mrow> <mi>D</mi> <mo>=</mo> <mfrac> <mrow> <mi>L</mi> <mo>&amp;CenterDot;</mo> <mi>sin</mi> <mi>&amp;alpha;</mi> </mrow> <mrow> <mi>sin</mi> <mrow> <mo>(</mo> <mi>&amp;alpha;</mi> <mo>-</mo> <msub> <mi>&amp;theta;</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
另一方面，我们假定人眼的瞳距为d＝64mm，模拟左眼的位置在O与相机i的连线上，记为L，模拟右眼的位置在O与相机i+1的连线上，记为R，由于OL与OR的长度相同，我们可以计算出OL和OR的长度均为：我们设定PL与O和相机i连线的夹角为α1，PR与O和相机i+1连线的夹角为β1，根据已经计算出的θ1、D以及OL和OR的长度，可得：
<mrow> <msub> <mi>tan&amp;alpha;</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <mi>D</mi> <mo>&amp;CenterDot;</mo> <msub> <mi>sin&amp;theta;</mi> <mn>1</mn> </msub> </mrow> <mrow> <mn>2</mn> <mi>D</mi> <mo>&amp;CenterDot;</mo> <msub> <mi>cos&amp;theta;</mi> <mn>1</mn> </msub> <mo>-</mo> <mi>d</mi> <mo>/</mo> <mi>sin</mi> <mfrac> <mi>&amp;eta;</mi> <mn>2</mn> </mfrac> </mrow> </mfrac> </mrow>
<mrow> <msub> <mi>tan&amp;beta;</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <mi>D</mi> <mo>&amp;CenterDot;</mo> <msub> <mi>sin&amp;theta;</mi> <mn>2</mn> </msub> </mrow> <mrow> <mn>2</mn> <mi>D</mi> <mo>&amp;CenterDot;</mo> <msub> <mi>cos&amp;theta;</mi> <mn>2</mn> </msub> <mo>-</mo> <mi>d</mi> <mo>/</mo> <mi>sin</mi> <mfrac> <mi>&amp;eta;</mi> <mn>2</mn> </mfrac> </mrow> </mfrac> </mrow>
因此，P在虚拟左眼视角中的坐标为：(y),P在虚拟右眼的中的坐标为：(y)。通过此点对点的对应方式，能够模拟虚拟左眼和右眼的视图，从而生成3D视觉。
CN201710453444.4A 2017-06-15 2017-06-15 一种基于光流的3d视觉生成方法 Pending CN107507228A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710453444.4A CN107507228A (zh) 2017-06-15 2017-06-15 一种基于光流的3d视觉生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710453444.4A CN107507228A (zh) 2017-06-15 2017-06-15 一种基于光流的3d视觉生成方法

Publications (1)

Publication Number Publication Date
CN107507228A true CN107507228A (zh) 2017-12-22

Family

ID=60679410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710453444.4A Pending CN107507228A (zh) 2017-06-15 2017-06-15 一种基于光流的3d视觉生成方法

Country Status (1)

Country Link
CN (1) CN107507228A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399629A (zh) * 2018-02-05 2018-08-14 西南交通大学 一种人工复眼相机的图像阵列光流估计方法
CN108989751A (zh) * 2018-07-17 2018-12-11 上海交通大学 一种基于光流的视频拼接方法
CN110969696A (zh) * 2019-12-19 2020-04-07 中德人工智能研究院有限公司 三维建模快速空间重构的方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399629A (zh) * 2018-02-05 2018-08-14 西南交通大学 一种人工复眼相机的图像阵列光流估计方法
CN108399629B (zh) * 2018-02-05 2020-06-02 西南交通大学 一种人工复眼相机的图像阵列光流估计方法
CN108989751A (zh) * 2018-07-17 2018-12-11 上海交通大学 一种基于光流的视频拼接方法
CN108989751B (zh) * 2018-07-17 2020-07-14 上海交通大学 一种基于光流的视频拼接方法
CN110969696A (zh) * 2019-12-19 2020-04-07 中德人工智能研究院有限公司 三维建模快速空间重构的方法及系统

Similar Documents

Publication Publication Date Title
US20200358996A1 (en) Real-time aliasing rendering method for 3d vr video and virtual three-dimensional scene
CA2488925C (en) Method for producing stereoscopic images from monoscopic images
WO2017173735A1 (zh) 一种基于视频透视的智能眼镜系统及其透视方法
Devernay et al. Stereoscopic cinema
CN107507228A (zh) 一种基于光流的3d视觉生成方法
US20150379720A1 (en) Methods for converting two-dimensional images into three-dimensional images
CN107240147B (zh) 图像渲染方法及系统
US20140035918A1 (en) Techniques for producing baseline stereo parameters for stereoscopic computer animation
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN107578450A (zh) 一种用于全景相机装配误差标定的方法及系统
CN105139336B (zh) 一种多通道全景影像转换球幕鱼眼影片的方法
CN104159099A (zh) 一种3d立体影视制作中双目立体摄像机的设置方法
JP2012513604A5 (zh)
US10496238B2 (en) 3D display ray principles and methods, zooming, and real-time demonstration
US20130113795A1 (en) Method for generating multi-view images from a single image
JP2011529285A (ja) 再現描写メディア中への両眼ステレオ情報の包含のための合成構造、メカニズムおよびプロセス
Sugita et al. Browsing group first-person videos with 3d visualization
Guo et al. A portable immersive surgery training system using RGB-D sensors
CN104796684A (zh) 裸眼3d视频处理方法
JPH09179998A (ja) ３次元画像表示システム
Orlosky Depth based interaction and field of view manipulation for augmented reality
Niloufar et al. Depth-based 3D anaglyph image modeling
Regalbuto Remote Visual Observation of Real Places through Virtual Reality Headsets
Connolly Stereoscopic imaging
Alam et al. 3D visualization of 2D/360° image and navigation in virtual reality through motion processing via smartphone sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171222