CN106331685A - 一种3d全景图像获取方法和装置 - Google Patents

一种3d全景图像获取方法和装置 Download PDF

Info

Publication number
CN106331685A
CN106331685A CN201610957927.3A CN201610957927A CN106331685A CN 106331685 A CN106331685 A CN 106331685A CN 201610957927 A CN201610957927 A CN 201610957927A CN 106331685 A CN106331685 A CN 106331685A
Authority
CN
China
Prior art keywords
image
panoramic
distance
picture
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610957927.3A
Other languages
English (en)
Inventor
李敬源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Corp
Original Assignee
TCL Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Corp filed Critical TCL Corp
Priority to CN201610957927.3A priority Critical patent/CN106331685A/zh
Publication of CN106331685A publication Critical patent/CN106331685A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种3D全景图像生成方法,所述方法包括:获取场景中的全景视频,截取视频中每帧图像上的第一侧图像和第二侧图像;根据全景视频的旋转方向以及第一移位距离,确定第一侧起始图像和第二侧起始图像;根据预先设定的帧间移位距离和所述第一侧起始图像、第二侧起始图像,获取第一侧全景图像序列和第二侧全景图像序列;将所述第一侧全景图像序列与第二侧全景图像序列融合,生成3D全景图像。本发明生成3D全景图像不需要依赖专业设备,有效的降低采集成本,并且采集更为方便。

Description

一种3D全景图像获取方法和装置
技术领域
本发明属于图像处理领域,尤其涉及一种3D全景图像获取方法和装置。
背景技术
随着图像处理和立体显示技术的不断进步以及立体显示技术的广泛应用,立体视觉与3D显示技术成为人们研究的重点。近两年来,虚拟现实技术VR得到人们的追捧,相关技术逐渐成熟,其生态圈不断完善,虚拟现实技术可能会成为下一个人工智能领域的热点。
虚拟现实的显示技术日益完善,但是相应的内容资源却比较缺乏。人们想要将自己拍摄的场景在VR系统中展示出来,一般需要用特殊的立体全景图像采集设备才能完成,图像生成成本较高,使用不方便。
发明内容
本发明的目的在于提供一种3D全景图像生成方法,以解决现有技术获取3D全景图像时,一般需要特殊的立体全景图像采集设备才能完成,图像成生成本较高,使用不方便的问题。
第一方面,本发明实施例提供了一种3D全景图像生成方法,所述方法包括:
获取场景中的全景视频,截取视频中每帧图像上的第一侧图像和第二侧图像;
根据全景视频的旋转方向以及第一移位距离,确定第一侧起始图像和第二侧起始图像;
根据预先设定的帧间移位距离和所述第一侧起始图像、第二侧起始图像,获取第一侧全景图像序列和第二侧全景图像序列;
将所述第一侧全景图像序列与第二侧全景图像序列融合,生成3D全景图像。
结合第一方面,在第一方面的第一种可能实现方式中,所述根据全景视频的旋转方向以及第一移位距离,确定第一侧起始图像和第二侧起始图像步骤包括:
当所述全景视频的旋转方向为第一方向时,提取在第一方向所在侧的所述第一侧图像作为第一侧起始图像;
在第二侧图像按照时间先后构成的第二侧图像序列中,依次计算第二侧图像与所述第一侧起始图像之间的距离,当计算的距离与所述预设的第一移位距离相应时,选择计算的距离所对应的第二侧图像作为第二侧起始图像。
结合第一方面的第一种可能实现方式,在第一方面的第二种可能实现方式中,所述在第二侧图像按照时间先后构成的第二侧图像序列中,依次计算第二侧图像与所述第一侧起始图像之间的距离,当计算的距离与所述预设的第一移位距离相应时,选择计算的距离所对应的第二侧图像作为第二侧起始图像步骤为:
在第二侧图像按照时间先后构成的第二侧图像序列中,依次计算第二侧图像与所述第一侧起始图像之间的距离,当计算的距离大于或等于所述预设的第一移位距离,且计算的距离最接近所述第一移位距离时所对应的第二侧图像作为第二侧起始图像,或者计算第二侧图像与所述第一侧起始图像之间的距离,当计算的距离小于所述预设的第一移位距离,且计算的距离最接近所述第一移位距离时所对应的第二侧图像作为第二侧起始图像。
结合第一方面,在第一方面的第三种可能实现方式中,所述根据预先设定的帧间移位距离和所述第一侧起始图像、第二侧起始图像,获取第一侧全景图像序列和第二侧全景图像序列步骤包括
根据第一侧全景图像Pi,结合预先设定的第一帧间移位距离,确定第一侧全景图像Pi+1的递推方式,生成第一侧全景图像序列,其中第一侧全景图像Pi与第一侧全景图像Pi+1为第一侧全景图像序列中按照时间排列的两个相邻的第一侧全景图像,i大于或等于1,P1为第一侧起始图像;
根据第二侧全景图像Qi,结合预先设定的第二帧间移位距离,确定第二侧全景图像Qi+1,结合第一侧初始图像与第二侧初始图像生成的基准移位距离,生成第二侧全景图像序列,其中第二侧全景图像Qi与第二侧全景图像Qi+1为第二侧全景图像序列中按照时间排列的两个相邻的第二侧全景图像,i大于或等于1,Q1为第二侧起始图像。
结合第一方面的第三种可能实现方式,在第一方面的第四种可能实现方式中,在所述根据第一侧全景图像Pi,结合预先设定的第一帧间移位距离,确定第一侧全景图像Pi+1步骤之前,所述方法还包括:
判断所述第一侧全景图像Pi+1是否与所述第一侧起始图像相同;
如果所述第一侧全景图像Pi+1与所述第一侧起始图像相同,则结束所述第一侧全景图像Pi+1的计算,否则继续计算所述第一侧全景图像Pi+1。
结合第一方面,在第一方面的第五种可能实现方式中,所述将所述第一侧全景图像序列与第二侧全景图像序列融合,生成3D全景图像步骤包括:
根据融合公式得到融合部分中各点的像素值,其中,Iout为融合部分中各点的像素值,I1(i,j)为第一侧图像的像素值,I2(i,j)为第二侧图像的像素值,i∈[1,L],L为融合部分的宽度,i为图像在重合区域的水平坐标;j为图像竖直方向坐标。
结合第一方面的第五种可能实现方式,在第一方面的第五种可能实现方式中,在所述根据融合公式得到融合部分中各点的像素值步骤之前,所述方法还包括:
获取第一侧全景图像序列和第二侧全景图像序列的长度差异,根据所述长度差异确定图像融合的长度。
结合第一方面,在第一方面的第七种可能实现方式中,所述截取视频中每帧图像上的第一侧图像和第二侧图像步骤包括:
以视频中每帧图像的中轴为中心线,根据预先设定的图像宽度,获取与所述中心线对称的第一侧图像和第二侧图像。
第二方面,本发明实施你提供了一种3D全景图像生成装置,所述装置包括:
图像截取单元,用于获取场景中的全景视频,截取视频中每帧图像上的第一侧图像和第二侧图像;
起始图像确定单元,用于根据全景视频的旋转方向以及第一移位距离,确定第一侧起始图像和第二侧起始图像;
全景图像序列获取单元,用于根据预先设定的帧间移位距离和所述第一侧起始图像、第二侧起始图像,获取第一侧全景图像序列和第二侧全景图像序列;
3D全景图像生成单元,用于将所述第一侧全景图像序列与第二侧全景图像序列融合,生成3D全景图像。
结合第二方面,在第二方面的第一种可能实现方式中,所述起始图像确定单元包括:
第一侧起始图像提取子单元,用于当所述全景视频的旋转方向为第一方向时,提取在第一方向所在侧的所述第一侧图像作为第一侧起始图像;
第二侧起始图像确定子单元,用于在第二侧图像按照时间先后构成的第二侧图像序列中,依次计算第二侧图像与所述第一侧起始图像之间的距离,当计算的距离与所述预设的第一移位距离相应时,选择计算的距离所对应的第二侧图像作为第二侧起始图像。
在本发明中,通过拍摄场景中的全景视频,从所述全景视频中提取视频帧图像,截取视频帧图像得到第一侧图像和第二侧图像,根据拍摄全景视频时的旋转方向,结合第一移位距离,获取第一侧起始图像和第二侧起始图像,由第一侧起始图像、第二侧起始图像,以及预先设定的帧间距离,生成第一侧全景图像序列和第二侧全景图像序列,将第一侧全景图像序列与第二侧全景图像序列融合即可得到3D全景图像。由于通过普通的摄像设备拍摄全景图像即可生成3D全景图像,使得3D全景图像的生成不需要依赖专业设备,有效的降低采集成本,并且采集更为方便。
附图说明
图1是本发明实施例提供的3D全景图像生成方法的实现流程图;
图2是本发明实施例提供的视频帧图像截取示意图;
图3是本发明实施例提供的全景图像序列获取过程示意图;
图4为本发明实施例提供的3D全景图像生成装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的目的在于提供一种3D全景图像生成方法,以解决现有技术中生成3D全景图像时,需要采用专业的3D图像拍摄设备,比如专门的3D摄像机等。由于设备过于专业,使用成本高,使用较为麻烦,不利于3D全景图像的获取。下面结合附图,对本发明作具体的说明。
图1示出了本发明实施例提供的的实现流程,详述如下:
在步骤S101中,获取场景中的全景视频,截取视频中每帧图像上的第一侧图像和第二侧图像。
具体的,本发明实施例所述全景视频,可以为智能手机自带的相机,或者其它摄像设备所拍摄的全景视频。所述全景视频可以为360度全景视频,也可以为720度全景视频,或者还可以为其它角度值的全景视频。为了便于说明,本发明实施例以360度全景视频为例具体介绍生成3D全景图像的过程。
所述全景视频,包括多个具有时间属性的视频帧图像,视频中每帧图像的画面大小相同,画面的内容一般会发生改变。为了生成3D全景图像,需要分别获取左眼与右眼对应的3D全景图像。在本步骤中,对视频中的每帧图像进行截取,获得第一侧图像和第二侧图像。所述第一侧图像和第二侧图像可以分别与左侧图像、右侧图像对应,也可以分别与右侧图像、左侧图像对应。根据具体的场景,可以灵活的选择对应关系。
所述截取视频中每帧图像上的第一侧图像和第二侧图像步骤,具体可以为:
以视频中每帧图像的中轴为中心线,根据预先设定的图像宽度,获取与所述中心线对称的第一侧图像和第二侧图像。
假设视频中的图像的宽度为L0,可以预先设定一个与所述图像的宽度相关的图像截取宽度,如图2所示,在所述中心对称线的左右两侧截取宽度为0.2L0的图像窄带作为第一侧图像和第二侧图像,所述第一侧图像与所述第二侧图像之间的距离可以预先设定,比如可以预先设定为0.2L0等。
对视频中的每帧图像进行截取后,根据截取后的图像的时间属性排序,可以得到第一侧图像序列和第二侧图像序列。
在步骤S102中,根据全景视频的旋转方向以及第一移位距离,确定第一侧起始图像和第二侧起始图像。
具体的,本发明实施例中所述旋转方向,以360度或者小于360的全景图像为例,可以包括顺时针旋转方向和逆时针旋转方向。所述第一移位距离,是指对于两张图像,通过获取每张图像的特征信息,比如可以为ORB特征。可以采用RANSAC(英文全称为RANdom SampleConsensus,中文全称为随机抽取一致性)匹配算法,将两幅图像中的特征信息进行匹配,根据匹配后特征信息的位置的不同,可以确定两幅图像的移位距离。
具体的,所述根据全景视频的旋转方向以及第一移位距离,确定第一侧起始图像和第二侧起始图像步骤可以包括:
当所述全景视频的旋转方向为第一方向时,提取在第一方向所在侧的所述第一侧图像作为第一侧起始图像;
在第二侧图像按照时间先后构成的第二侧图像序列中,依次计算第二侧图像与所述第一侧起始图像之间的距离,当计算的距离与所述预设的第一移位距离相应时,选择计算的距离所对应的第二侧图像作为第二侧起始图像。
可以理解的是,所述第一方向与第一侧图像对应,包括第一方向为顺时针方向时,所述第一侧图像为右侧图像,所述第二侧图像为左侧图像;
当所述第一方向为逆时针方向时,所述第一侧图像为左侧图像,所述第二侧图像为右侧图像。
所述第一侧起始图像,具体是指在第一侧图像序列中的第一张图像。
所述第二侧图像,可以根据预先设定的第一移位距离确定。根据上述介绍的移位距离的计算方法,从第二侧图像序列中依次选择截取的第二侧图像,将其与第一侧起始图像进行移位距离的计算。
当计算得到的移位距离满足预设的第一移位距离的要求时,则将满足要求的第一侧图像作为第二侧起始图像。也就是说,当第二侧图像与所述第一侧起始图像之间的移位距离在减小的过程中,获取所述第一侧起始图像所对应的第二侧起始图像。
具体的,根据所述第一移位距离确定所述第二侧起始图像的步骤,可以具体包括:
在第二侧图像按照时间先后构成的第二侧图像序列中,依次计算第二侧图像与所述第一侧起始图像之间的距离,当计算的距离大于或等于所述预设的第一移位距离,且计算的距离最接近所述第一移位距离时所对应的第二侧图像作为第二侧起始图像,或者计算第二侧图像与所述第一侧起始图像之间的距离,当计算的距离小于所述预设的第一移位距离,且计算的距离最接近所述第一移位距离时所对应的第二侧图像作为第二侧起始图像。
比如,旋转方向为顺时针旋转时,提取右侧起始图像,即第一帧图像的右侧图像的ORB特征,与左侧图像序列依次进行ORB特征匹配。应用RANSAC计算左侧图像序列中每一帧与右侧起始图像的移位距离。如果连续3帧,左侧图像序列与右侧起始图像之间的ORB特征持续增加,移位距离缩短,说明右侧图像与左侧起始图像具有相同的场景内容。根据RANSAC计算出的移位距离,选择最后一个大于预设的第一移位距离的图像,或者也可以为第一个小于所述第一移位距离的图像,作为左侧起始图像。当旋转方向为逆时针方向时,确定第一侧起始图像和第二侧起始图像的方法与上述类似。
在步骤S103中,根据预先设定的帧间移位距离和所述第一侧起始图像、第二侧起始图像,获取第一侧全景图像序列和第二侧全景图像序列;
具体的,本发明实施例所述帧间移位距离,是指在同一侧的图像序列中,两个图像之间的移位距离。可以通过ORB特征的提取,以及RANSAC计算的方式,对帧间移位距离进行计算。所述预设的帧间移位距离,可以对于第一侧图像序列和第二侧图像序列,采用不同的帧间移位距离。
具体的,所述根据预先设定的帧间移位距离和所述第一侧起始图像、第二侧起始图像,获取第一侧全景图像序列和第二侧全景图像序列步骤,可以包括如下两种实施方式:
根据第一侧全景图像Pi,结合预先设定的第一帧间移位距离,确定第一侧全景图像Pi+1的递推方式,生成第一侧全景图像序列,其中第一侧全景图像Pi与第一侧全景图像Pi+1为第一侧全景图像序列中按照时间排列的两个相邻的第一侧全景图像,i大于或等于1,P1为第一侧起始图像;
根据第二侧全景图像Qi,结合预先设定的第二帧间移位距离,确定第二侧全景图像Qi+1,结合第一侧初始图像与第二侧初始图像生成的基准移位距离,生成第二侧全景图像序列,其中第二侧全景图像Qi与第二侧全景图像Qi+1为第二侧全景图像序列中按照时间排列的两个相邻的第二侧全景图像,i大于或等于1,Q1为第二侧起始图像。
另外,当所述全景图像为360度全景图像时,在所述根据第一侧全景图像Pi,结合预先设定的第一帧间移位距离,确定第一侧全景图像Pi+1步骤之前,所述方法还可以包括:
判断所述第一侧全景图像Pi+1是否与所述第一侧起始图像相同;
如果所述第一侧全景图像Pi+1与所述第一侧起始图像相同,则结束所述第一侧全景图像Pi+1的计算,否则继续计算所述第一侧全景图像Pi+1。
或者,在所述根据第二侧全景图像Qi,结合预先设定的第二帧间移位距离,确定第二侧全景图像Qi+1步骤之前,所述方法还可以包括:
判断所述第二侧全景图像Qi+1是否与所述第一侧起始图像相同;
如果所述第二侧全景图像Qi+1与所述第二侧起始图像相同,则结束所述第二侧全景图像Qi+1的计算,否则继续计算所述第二侧全景图像Qi+1。
当所述全景图像为小于360的全景图像时,则一直比较至最后一帧图像为止。
比如,一种具体的实施方式可以为:
对右侧待拼接图像Pi,在后续右侧图像序列Pi+1--Pn中,应用ORB特征和RANSAC匹配,计算后续每帧与当前帧的移位关系X,当两帧间移位距离X大于预设的第一帧间移位距离时,先用待计算的帧与初始帧P1进行匹配,判断是否回到初始位置,如已完整获得360度场景,停止搜索下一拼接帧。计算当前帧与初始帧移位关系。
如果没有回到初始场景,跳过中间帧,选取该帧作为与右侧待拼接图像Pi进行拼接的下一帧Pi+1,这样既消除了逐帧拼接带来的明显痕迹,又留有足够的重合区域进行帧间拼接,记录二者的帧间移位关系。
另外,如图3所示,对于左侧待拼接图像Qi,首先在后续左侧图像序列Qi+1--Qn中,应用ORB特征和RANSAC匹配,计算后续每帧与当前帧的移位关系,比如可以将两帧间移位处于预设的区间图像帧保留,此时先用这些帧与初始帧Q1进行匹配,判断是否回到初始位置,如已完整获得360度场景,停止搜索下一拼接帧。计算当前帧与初始帧移位关系。
如果没有回到初始场景,用右侧图像序列获取的对应帧Pi+1与这些图像帧进行匹配,选择与Pi+1之间移位关系最接近基准平移系数的帧,作为与左侧待拼接图像Qi进行拼接的下一帧Qi+1,这样最大限度的保证后续所有左右眼拼接图像之间视差与初始视差保持一致。从而使最终拼接的左右眼图像各部分视差均匀。记录二者的帧间移位关系。
在步骤S104中,将所述第一侧全景图像序列与第二侧全景图像序列融合,生成3D全景图像。
当所述第一侧全景图像序列与第二侧全景图像序列,也就是右眼全景图像序列与左眼全景图像序列获取完成后,可能会存在序列的长度不致,以其中一侧为基础,将差异部分均匀的分配到另一侧的全景图像序列中的每一帧中,通过线性融合的方式对图像进行全景拼接,获得左右眼3D图像。
其中,所述将所述第一侧全景图像序列与第二侧全景图像序列融合,生成3D全景图像步骤包括:
根据融合公式得到融合部分中各点的像素值,其中,Iout为融合部分中各点的像素值,I1(i,j)为第一侧图像的像素值,I2(i,j)为第二侧图像的像素值,i∈[1,L],L为融合部分的宽度,i为图像在重合区域的水平坐标;j为图像竖直方向坐标。
本发明中,通过拍摄场景中的全景视频,从所述全景视频中提取视频帧图像,截取视频帧图像得到第一侧图像和第二侧图像,根据拍摄全景视频时的旋转方向,结合第一移位距离,获取第一侧起始图像和第二侧起始图像,由第一侧起始图像、第二侧起始图像,以及预先设定的帧间距离,生成第一侧全景图像序列和第二侧全景图像序列,将第一侧全景图像序列与第二侧全景图像序列融合即可得到3D全景图像。由于通过普通的摄像设备拍摄全景图像即可生成3D全景图像,使得3D全景图像的生成不需要依赖专业设备,有效的降低采集成本,并且采集更为方便。
图4为本发明实施例提供的3D全景图像生成装置的结构示意图,详述如下:
本发明实施例所述3D全景图像生成装置,包括:
图像截取单元401,用于获取场景中的全景视频,截取视频中每帧图像上的第一侧图像和第二侧图像;
起始图像确定单元402,用于根据全景视频的旋转方向以及第一移位距离,确定第一侧起始图像和第二侧起始图像;
全景图像序列获取单元403,用于根据预先设定的帧间移位距离和所述第一侧起始图像、第二侧起始图像,获取第一侧全景图像序列和第二侧全景图像序列;
3D全景图像生成单元404,用于将所述第一侧全景图像序列与第二侧全景图像序列融合,生成3D全景图像。
优选的,所述起始图像确定单元包括:
第一侧起始图像提取子单元,用于当所述全景视频的旋转方向为第一方向时,提取在第一方向所在侧的所述第一侧图像作为第一侧起始图像;
第二侧起始图像确定子单元,用于在第二侧图像按照时间先后构成的第二侧图像序列中,依次计算第二侧图像与所述第一侧起始图像之间的距离,当计算的距离与所述预设的第一移位距离相应时,选择计算的距离所对应的第二侧图像作为第二侧起始图像。
本发明实施例所述3D全景图像生成装置,与图1-3所述3D全景图像生成方法对应,在此不作重复赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种3D全景图像生成方法,其特征在于,所述方法包括:
获取场景中的全景视频,截取视频中每帧图像上的第一侧图像和第二侧图像;
根据全景视频的旋转方向以及第一移位距离,确定第一侧起始图像和第二侧起始图像;
根据预先设定的帧间移位距离和所述第一侧起始图像、第二侧起始图像,获取第一侧全景图像序列和第二侧全景图像序列;
将所述第一侧全景图像序列与第二侧全景图像序列融合,生成3D全景图像。
2.根据权利要求1所述方法,其特征在于,所述根据全景视频的旋转方向以及第一移位距离,确定第一侧起始图像和第二侧起始图像步骤包括:
当所述全景视频的旋转方向为第一方向时,提取在第一方向所在侧的所述第一侧图像作为第一侧起始图像;
在第二侧图像按照时间先后构成的第二侧图像序列中,依次计算第二侧图像与所述第一侧起始图像之间的距离,当计算的距离与所述预设的第一移位距离相应时,选择计算的距离所对应的第二侧图像作为第二侧起始图像。
3.根据权利要求2所述方法,其特征在于,所述在第二侧图像按照时间先后构成的第二侧图像序列中,依次计算第二侧图像与所述第一侧起始图像之间的距离,当计算的距离与所述预设的第一移位距离相应时,选择计算的距离所对应的第二侧图像作为第二侧起始图像步骤为:
在第二侧图像按照时间先后构成的第二侧图像序列中,依次计算第二侧图像与所述第一侧起始图像之间的距离,当计算的距离大于或等于所述预设的第一移位距离,且计算的距离最接近所述第一移位距离时所对应的第二侧图像作为第二侧起始图像,或者计算第二侧图像与所述第一侧起始图像之间的距离,当计算的距离小于所述预设的第一移位距离,且计算的距离最接近所述第一移位距离时所对应的第二侧图像作为第二侧起始图像。
4.根据权利要求1所述方法,其特征在于,所述根据预先设定的帧间移位距离和所述第一侧起始图像、第二侧起始图像,获取第一侧全景图像序列和第二侧全景图像序列步骤包括
根据第一侧全景图像Pi,结合预先设定的第一帧间移位距离,确定第一侧全景图像Pi+1的递推方式,生成第一侧全景图像序列,其中第一侧全景图像Pi与第一侧全景图像Pi+1为第一侧全景图像序列中按照时间排列的两个相邻的第一侧全景图像,i大于或等于1,P1为第一侧起始图像;
根据第二侧全景图像Qi,结合预先设定的第二帧间移位距离,确定第二侧全景图像Qi+1,结合第一侧初始图像与第二侧初始图像生成的基准移位距离,生成第二侧全景图像序列,其中第二侧全景图像Qi与第二侧全景图像Qi+1为第二侧全景图像序列中按照时间排列的两个相邻的第二侧全景图像,i大于或等于1,Q1为第二侧起始图像。
5.根据权利要求4所述方法,其特征在于,在所述根据第一侧全景图像Pi,结合预先设定的第一帧间移位距离,确定第一侧全景图像Pi+1步骤之前,所述方法还包括:
判断所述第一侧全景图像Pi+1是否与所述第一侧起始图像相同;
如果所述第一侧全景图像Pi+1与所述第一侧起始图像相同,则结束所述第一侧全景图像Pi+1的计算,否则继续计算所述第一侧全景图像Pi+1。
6.根据权利要求1所述方法,其特征在于,所述将所述第一侧全景图像序列与第二侧全景图像序列融合,生成3D全景图像步骤包括:
根据融合公式
得到融合部分中各点的像素值,其中,Iout为融合部分中各点的像素值,I1(i,j)为第一侧图像的像素值,I2(i,j)为第二侧图像的像素值,i∈[1,L],L为融合部分的宽度,i为图像在重合区域的水平坐标;j为图像竖直方向坐标。
7.根据权利要求6所述方法,其特征在于,在所述根据融合公式
得到融合部分中各点的像素值步骤之前,所述方法还包括:
获取第一侧全景图像序列和第二侧全景图像序列的长度差异,根据所述长度差异确定图像融合的长度。
8.根据权利要求1所述方法,其特征在于,所述截取视频中每帧图像上的第一侧图像和第二侧图像步骤包括:
以视频中每帧图像的中轴为中心线,根据预先设定的图像宽度,获取与所述中心线对称的第一侧图像和第二侧图像。
9.一种3D全景图像生成装置,其特征在于,所述装置包括:
图像截取单元,用于获取场景中的全景视频,截取视频中每帧图像上的第一侧图像和第二侧图像;
起始图像确定单元,用于根据全景视频的旋转方向以及第一移位距离,确定第一侧起始图像和第二侧起始图像;
全景图像序列获取单元,用于根据预先设定的帧间移位距离和所述第一侧起始图像、第二侧起始图像,获取第一侧全景图像序列和第二侧全景图像序列;
3D全景图像生成单元,用于将所述第一侧全景图像序列与第二侧全景图像序列融合,生成3D全景图像。
10.根据权利要求9所述装置,其特征在于,所述起始图像确定单元包括:
第一侧起始图像提取子单元,用于当所述全景视频的旋转方向为第一方向时,提取在第一方向所在侧的所述第一侧图像作为第一侧起始图像;
第二侧起始图像确定子单元,用于在第二侧图像按照时间先后构成的第二侧图像序列中,依次计算第二侧图像与所述第一侧起始图像之间的距离,当计算的距离与所述预设的第一移位距离相应时,选择计算的距离所对应的第二侧图像作为第二侧起始图像。
CN201610957927.3A 2016-11-03 2016-11-03 一种3d全景图像获取方法和装置 Pending CN106331685A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610957927.3A CN106331685A (zh) 2016-11-03 2016-11-03 一种3d全景图像获取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610957927.3A CN106331685A (zh) 2016-11-03 2016-11-03 一种3d全景图像获取方法和装置

Publications (1)

Publication Number Publication Date
CN106331685A true CN106331685A (zh) 2017-01-11

Family

ID=57819488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610957927.3A Pending CN106331685A (zh) 2016-11-03 2016-11-03 一种3d全景图像获取方法和装置

Country Status (1)

Country Link
CN (1) CN106331685A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107465908A (zh) * 2017-09-08 2017-12-12 广州大西洲科技有限公司 一种3d&360度全景拍摄方法
WO2021136386A1 (zh) * 2019-12-31 2021-07-08 华为技术有限公司 数据处理方法、终端和服务器
CN114072801A (zh) * 2020-06-05 2022-02-18 Zillow公司 用于建筑位置的全景图像在移动设备上的自动生成和随后使用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103051916A (zh) * 2011-10-12 2013-04-17 三星电子株式会社 产生三维(3d)全景图像的设备和方法
CN103109538A (zh) * 2010-09-22 2013-05-15 索尼公司 图像处理设备、成像设备、图像处理方法和程序
CN103176347A (zh) * 2011-12-22 2013-06-26 百度在线网络技术(北京)有限公司 全景图拍摄方法及拍摄装置和电子设备
CN105025287A (zh) * 2015-06-30 2015-11-04 南京师范大学 利用旋转拍摄的视频序列影像构建场景立体全景图的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103109538A (zh) * 2010-09-22 2013-05-15 索尼公司 图像处理设备、成像设备、图像处理方法和程序
CN103051916A (zh) * 2011-10-12 2013-04-17 三星电子株式会社 产生三维(3d)全景图像的设备和方法
CN103176347A (zh) * 2011-12-22 2013-06-26 百度在线网络技术(北京)有限公司 全景图拍摄方法及拍摄装置和电子设备
CN105025287A (zh) * 2015-06-30 2015-11-04 南京师范大学 利用旋转拍摄的视频序列影像构建场景立体全景图的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107465908A (zh) * 2017-09-08 2017-12-12 广州大西洲科技有限公司 一种3d&360度全景拍摄方法
WO2021136386A1 (zh) * 2019-12-31 2021-07-08 华为技术有限公司 数据处理方法、终端和服务器
CN114072801A (zh) * 2020-06-05 2022-02-18 Zillow公司 用于建筑位置的全景图像在移动设备上的自动生成和随后使用
CN114072801B (zh) * 2020-06-05 2022-12-06 Zillow公司 用于建筑位置的全景图像在移动设备上的自动生成和随后使用

Similar Documents

Publication Publication Date Title
Shih et al. 3d photography using context-aware layered depth inpainting
US10650574B2 (en) Generating stereoscopic pairs of images from a single lens camera
US10719939B2 (en) Real-time mobile device capture and generation of AR/VR content
US10726560B2 (en) Real-time mobile device capture and generation of art-styled AR/VR content
JP6767743B2 (ja) 映像補正方法及び装置
Feng et al. Object-based 2D-to-3D video conversion for effective stereoscopic content generation in 3D-TV applications
Cheng et al. Spatio-temporally consistent novel view synthesis algorithm from video-plus-depth sequences for autostereoscopic displays
US10586378B2 (en) Stabilizing image sequences based on camera rotation and focal length parameters
CN104574331B (zh) 一种数据处理方法、装置、计算机存储介质及用户终端
Trinidad et al. Multi-view image fusion
CN101673395A (zh) 图像拼接方法及装置
JP5133472B2 (ja) 立体映像出力装置及び立体映像出力方法
CN102918861A (zh) 立体视觉强度调整装置、立体视觉强度调整方法、程序、集成电路、记录介质
Ceulemans et al. Robust multiview synthesis for wide-baseline camera arrays
US10861213B1 (en) System and method for automatic generation of artificial motion blur
CN105469375A (zh) 处理高动态范围全景图的方法和装置
US20120105601A1 (en) Apparatus and method for creating three-dimensional panoramic image by using single camera
JP7184748B2 (ja) 場面の積層深度データを生成するための方法
US10127714B1 (en) Spherical three-dimensional video rendering for virtual reality
US20170188008A1 (en) Method and device for generating depth map
CN106331685A (zh) 一种3d全景图像获取方法和装置
Bleyer et al. Temporally consistent disparity maps from uncalibrated stereo videos
CN104813230A (zh) 使用单个相机捕捉三维图像的方法和系统
CN105657268A (zh) 一种基于多分辨率的多视点视频拼接融合算法
Bista et al. Kinetic depth images: flexible generation of depth perception

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170111