CN107330960A - 生成、播放图像的方法及装置 - Google Patents

生成、播放图像的方法及装置 Download PDF

Info

Publication number
CN107330960A
CN107330960A CN201710504917.9A CN201710504917A CN107330960A CN 107330960 A CN107330960 A CN 107330960A CN 201710504917 A CN201710504917 A CN 201710504917A CN 107330960 A CN107330960 A CN 107330960A
Authority
CN
China
Prior art keywords
content
panorama
rendering parameter
picture
panorama content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710504917.9A
Other languages
English (en)
Inventor
陈诺
黄业桃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Madv Technology Co Ltd
Original Assignee
Beijing Madv Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Madv Technology Co Ltd filed Critical Beijing Madv Technology Co Ltd
Priority to CN201710504917.9A priority Critical patent/CN107330960A/zh
Publication of CN107330960A publication Critical patent/CN107330960A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Circuits (AREA)

Abstract

本发明公开了一种生成、播放图像的方法及装置,所述方法包括获取全景内容;对所述全景内容进行播放;在播放全景内容的同时,按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容。本发明在播放全景内容时,将全景内容显示在屏幕上的画面生成为一个屏显内容。当再次播放全景内容时,可以对这个屏显内容进行播放,从而再现播放全景内容时的屏幕画面;或者,也可以直接将屏显内容分享给他人,使他人能够看到与分享者相同的画面效果,从而获得相同的感官体验,产生共鸣。

Description

生成、播放图像的方法及装置
技术领域
本发明涉及虚拟现实技术,尤指一种生成、播放图像的方法及装置。
背景技术
随着虚拟现实技术的不断成熟,全景内容正在逐渐普及,并进入人们的生活,人们可以通过各种各样的途径接触到种类繁多的全景内容。
全景视频和全景图片拍摄的是水平和垂直各360度的图像。目前在播放全景视频、全景图像的过程中,是由观看者通过重力传感器、加速度传感器、陀螺仪传感器等姿态传感器调整全景视频、全景图像的观看视角,或通过观看者的手势调整观看视角。
在目前的全景播放方式中,不同的观看者通常会做出不同的播放控制操作,也就是说,不同的观看者在观看同一个全景内容时,很可能会以不同的视角进行观看。由于观看视角的不同,观看的感受就会有所差异。而当一个观看者将一个全景内容分享给其他人时,其目的是使观看到的人能够获得与自己相似的感受、产生共鸣。但是,目前的全景播放方式很难使分享者与被分享者获得完全相同的观看感受。
发明内容
为了解决上述技术问题,本发明提供了一种生成、播放图像的方法及装置,能够使不同的观看者以相同的画面效果观看全景内容。
为了达到本发明目的,本发明提供了一种生成图像的方法,包括:
获取全景内容;
对所述全景内容进行播放;
在播放全景内容的同时,按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容。
本申请还提供了一种播放图像的方法,包括:
获取全景内容以及全景内容对应的渲染参数序列,所述渲染参数序列包含全景内容中的每个全景图像帧对应的渲染参数,所述渲染参数为上次对全景内容进行全景播放时记录的对全景图像帧进行渲染采用的参数;
根据全景内容的每个全景图像帧各自对应的渲染参数对全景图像帧进行渲染显示,从而将全景内容按照与上次全景播放相同的屏显内容进行播放。
本申请还提供了一种生成图像的装置,包括:
一获取单元,用于获取全景内容;
一播放单元,用于对所述全景内容进行播放;
一屏显内容合成单元,用于在所述播放单元播放全景内容的同时,按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容。
本申请还提供了一种播放图像的装置,包括:
一获取单元,用于获取全景内容以及全景内容对应的渲染参数序列,所述渲染参数序列包含全景内容中的每个全景图像帧对应的渲染参数,所述渲染参数为上次对全景内容进行全景播放时记录的对全景图像帧进行渲染采用的参数;
一渲染单元,用于根据全景内容的每个全景图像帧各自对应的渲染参数对全景图像帧进行渲染显示,从而将全景内容按照与上次全景播放相同的屏显内容进行播放。
本申请还提供了一种生成图像的装置,包括:
处理器;以及
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取全景内容;
对所述全景内容进行播放;
在播放全景内容的同时,按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容。
本申请还提供了一种播放图像的装置,包括:
处理器;以及
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取全景内容以及全景内容对应的渲染参数序列,所述渲染参数序列包含全景内容中的每个全景图像帧对应的渲染参数,所述渲染参数为上次对全景内容进行全景播放时记录的对全景图像帧进行渲染采用的参数;
根据全景内容的每个全景图像帧各自对应的渲染参数对全景图像帧进行渲染显示,从而将全景内容按照与上次全景播放相同的屏显内容进行播放。
与现有技术相比,本发明包括获取全景内容;对所述全景内容进行播放;在播放全景内容的同时,按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容。本发明在播放全景内容时,将全景内容显示在屏幕上的画面生成为一个屏显内容。当再次播放全景内容时,可以对这个屏显内容进行播放,从而再现播放全景内容时的屏幕画面;或者,也可以直接将屏显内容分享给他人,使他人能够看到与分享者相同的画面效果,从而获得相同的感官体验,产生共鸣。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本申请一实施例的生成图像的方法的流程图;
图2为本申请中对渲染参数进行说明的示意图;
图3为本申请另一实施例的播放图像的方法的流程图;
图4为本申请又一实施例的生成图像的装置的架构图;
图5为本申请又一实施例的播放图像的装置的架构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
现有技术中全景内容的观看方式是由观看者通过重力传感器、加速度传感器、陀螺仪传感器等姿态传感器调整全景内容的观看视角,或通过观看者的手势调整观看视角。由于不同的观看者通常会做出不同的播放控制操作,也就是说,不同的观看者在观看同一个全景内容时,很可能会以不同的视角进行观看。由于观看视角的不同,观看的感受就会有所差异。而当一个观看者将一个全景内容分享给其他人时,其目的是使观看到的人能够获得与自己相似的感受、产生共鸣。但是,目前的全景播放方式很难使分享者与被分享者获得完全相同的观看感受。
本申请中,为了使不同的观看者能够以相同的画面效果观看全景内容,在播放全景内容的同时,按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容。例如,可以在播放全景内容的同时,记录全景内容的每一个全景图像帧的渲染参数,得到渲染参数序列;对渲染参数序列进行保存,以根据渲染参数序列将全景内容以屏显内容进行播放。或者,也可以直接将显示在屏幕上的画面输入到编码器编码为独立内容作为屏显内容。用户在向其他人播放全景内容或分享全景内容时,可以通过播放或分享屏显内容的方式使其他人获得与自己相同的观看体验。
以下结合附图详细说明本申请各实施例提供的技术方案。
如图1所示,本申请的生成图像的方法,包括:
步骤101:获取全景内容;
步骤102:对所述全景内容进行播放;
步骤103:在播放全景内容的同时,按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容。
本申请提供的生成图像的方法可以应用在手机、头显设备等用于播放全景内容的显示设备中,也可以应用在对全景内容进行后期处理的场景中。全景内容可以是全景相机、运动相机等拍摄设备拍摄的全景图片、全景视频等,也可以是全景电影、全景动画等由专业设备拍摄制作的全景内容等。
首先,为了实现本申请生成图像的方法,需要先获取到全景内容。例如,对于拍摄设备拍摄的全景视频和全景图片等,可以直接从拍摄设备获取全景内容;对于全景动画和计算机生成的全景内容,可以从相应的制作设备上获取全景内容。
其次,为了得到屏显内容,在获取到全景内容后,需要对全景内容进行全景播放。
全景内容是360度的空间图像,在全景内容中意欲展示的视线方向为显示视角。在显示区域显示全景内容时,是在全景内容的对应显示视角方向上,截取视窗范围内的画面,按照某种投影变换映射为二维图像,将二维图像对应的显示在显示区域中。视窗范围通常为长方形区域。视窗范围内的画面被显示在屏幕上。上述投影变换包括但不限于透视变换、正交投影变换等。
在显示全景内容时,观看者可以通过对显示区域进行特定的输入操作,例如对触摸屏的触碰滑动操作,从而可以改变显示区域的视角方向和缩放显示区域等,也可以动态改变显示区域的大小和形状等。
再次,在对全景内容进行播放的同时,按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容。
本申请中,不论是在播放设备上将全景内容播放给观看者欣赏时,还是在后期对全景内容进行编辑制作时,都可以将展示在屏幕上的全景内容中的画面合成为一个屏显内容,使之后的其他观看者能够通过观看屏显内容获得与当前观看者相同的视觉体验。这种方式能够避免不同观看者以不同的视角观看同一全景内容无法产生类似的视觉体验,到实现当前观看者分享全景内容、与其他观看者产生共鸣的目的。
在本申请的一可选实施例中,上述按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容,包括:
记录在播放全景内容时每个全景图像帧的渲染参数,得到渲染参数序列;
对渲染参数序列进行保存,以便根据渲染参数序列将全景内容以屏显内容进行播放。
在得到渲染参数序列后,再次播放全景内容时,使用渲染参数序列对全景内容进行渲染,即可得到与当前观看者相同的观看画面效果。
进一步,渲染参数包括:取景位置信息、视窗描述信息和帧信息。
取景位置信息用于确定在全景内容的单位圆中进行取景的位置。在播放屏显内容时,需要先根据取景位置信息在全景内容的单位圆中确定取景位置,以便从取景位置在全景内容的单位圆中进行取景。
视窗描述信息用于确定视窗在单位圆中的位置及范围。视窗用于在显示视角方向上从全景内容中截取画面,截取的画面再按照某种投影变换映射为二维图像显示在显示区域中。在播放屏显内容时,在确定取景位置后,根据视窗描述信息确定出视窗在单位圆中的位置及范围,再从取景位置上取景,确定视窗范围内的画面,渲染到视窗中显示给观看者。
帧信息用于建立渲染参数与全景内容中的全景图像帧的对应关系。在渲染参数序列中包含多个全景图像帧的渲染参数,因此需要通过帧信息建立全景内容的每个全景图像帧与各自的渲染参数的对应关系。在播放屏显内容时,需要首先根据帧信息确定与全景图像帧对应的渲染参数。帧信息可以是图像帧的播放时间,也可以是帧ID等。
进一步,视窗描述信息包括视线与单位圆交点的坐标、视窗的横向展开夹角和视窗的纵向展开夹角。为了确定视窗在全景内容中截取的画面,需要确定视窗在全景内容的单位圆中的位置和范围。视线是指示视角方向的直线。视线与全景内容的单位圆的交点就是视窗的中心,通过视线与单位圆交点的坐标可以确定出视窗在单位圆上的位置。视窗的横向展开夹角用于确定视窗的横向展开范围,相似的,视窗的纵向展开夹角用于确定视窗的纵向展开范围。视窗的横向展开夹角和纵向展开夹角共同确定的视窗在单位圆上圈定的范围。
如图2所示,假设在t时刻,取景位置信息为(xc,yc,zc),视窗描述信息中的视线与单位圆交点的坐标为(xe,ye,ze),视窗的横向展开夹角为FovX,视窗的纵向展开夹角为FovY。单位圆的圆心为(x0,y0,z0),圆心在(xc,yc,zc)与(xe,ye,ze)连线或连线的延长线上。t时刻的图像帧对应的渲染参数可以表示为:(t,xc,yc,zc,xe,ye,ze,FovX,FovY)。
以此类推,每一个全景图像帧的渲染参数组成的渲染参数序列可以表示为:
{
(t1,xc1,yc1,zc1,xe1,ye1,ze1,FovX1,FovY1)
(t2,xc2,yc2,zc2,xe2,ye2,ze2,FovX2,FovY2)
(tn,xcn,ycn,zcn,xen,yen,zen,FovXn,FovYn)
}
记录全景内容一次播放生成的所有渲染参数,从而能够用于再次生成这次播放所生成的画面序列。再次播放时候,只要将解码的全景内容的全景图像帧按这个序列记录的渲染参数进行渲染,即能还原出上次播放的画面效果。
本申请提供的生成图像的方法主要用于对全景视频生成屏显内容,全景视频可以看成是全景图片组成的序列,包含的画面比较多,因此在播放全景视频时,对不同的观看者更容易产生不同的视觉体验。在为全景视频生成屏显内容时,全景视频的一个全景图像帧可以对应一个渲染参数,也可以对应多个渲染参数。例如,全景视频的某一个全景图像帧在多个视角方向被观看,也就是说,该全景图像帧中的多个画面被展现在了屏幕上,则在生成屏显内容时,这个全景图像帧需要对应多个渲染参数,才能在屏显内容中包含这个全景图像帧被显示在屏幕上的多个画面。
本申请提供的生成图像的方法同样可以用于对全景图片生成屏显内容。与全景视频中包含的全景图像帧类似,虽然全景图片只是一帧图像,但是却包含360度的画面,观看者可以从多个视角观看全景图片,也就会在屏幕上对全景图片展示多个画面,为全景图片记录多个渲染参数,同样可以得到全景图片的屏显内容。
在本申请的另一可选实施例中,也可以将实际的屏幕显示画面录制导出成为一个普通的视频,这个视频再次播放时无需特别的处理,即可再现当前观看者播放全景内容时得到的屏幕画面。这样的视频可以直接分享给其他人,并且只要普通播放,无需全景视频处理即可看到当前观看者录制导出时候的画面效果。
在将屏幕实际显示的画面录制导出成一个普通视频时,可以是将显示在屏幕上的画面输入到编码器进行编码,由编码器将输入的画面编码为独立内容,将该编码得到的独立内容作为屏显内容。
这种方式同样适用于全景视频与全景图片。
如图3所示,本申请还提供了一种播放图像的方法,包括:
步骤301:获取全景内容以及全景内容对应的渲染参数序列,渲染参数序列包含全景内容中的每一帧全景图像对应的渲染参数,渲染参数为上次对全景内容进行全景播放时记录的对全景图像进行渲染采用的参数;
步骤302:根据全景内容的每个全景图像帧各自对应的渲染参数对全景图像帧进行渲染显示,从而将全景内容按照与上次全景播放相同的屏显内容进行播放。
为了将全景内容以前次播放相同的画面效果进行展示,在获取全景内容的同时,需要获取到全景内容对应的渲染参数序列。
渲染参数序列中包含全景内容的每个全景图像帧对应的渲染参数,将全景图像帧按照其在渲染参数序列中对应的渲染参数进行渲染,就可以还原出上次播放全景内容时该全景图像帧的画面效果。对于整个全景内容而言,将每个全景图像帧均按照对应的渲染参数进行渲染,就能够还原出全景内容上次播放时整体的画面效果,使不同的观看者针对同一个全景内容获得相同的观看体验。
进一步,渲染参数包括:取景位置信息、视窗描述信息和帧信息。
上述根据全景内容的每个全景图像帧各自对应的渲染参数对全景图像帧进行渲染显示,包括:
根据渲染参数中的帧信息确定全景图像帧对应的渲染参数;
根据渲染参数中的取景位置信息在全景内容的单位圆中确定取景位置;
根据渲染参数中的视窗描述信息在单位圆中确定视窗的位置及范围;
将从所述取景位置处进行取景,将圈定在所述视窗中的画面渲染到视窗中显示给观看者。
在将全景内容按照与上次播放相同的屏显内容进行播放时,需要首先根据渲染参数中的帧信息在渲染参数序列中为全景图像帧确定对应的渲染参数;例如,根据帧ID或时间信息在渲染参数序列中匹配到全景图像帧对应的渲染参数。
针对全景内容的每个全景图像帧,在匹配到对应的渲染参数后,根据渲染参数中的取景位置信息在全景内容的单位圆中确定取景位置;然后,根据渲染参数中的视窗描述信息在单位圆上确定视窗的位置及范围;最后,将从取景位置进行取景,将圈定在视窗中的画面渲染到视窗中显示给观看者。
具体的,在播放中渲染t时刻的全景图像帧的时候,根据取景位置信息将取景位置设置在(xc,yc,zc),根据视窗描述信息确定视窗在单位圆的中心位置为(xe,ye,ze),并根据视窗描述信息中的视窗横向展开夹角FovX和视窗纵向展开夹角FovY确定视窗圈定的范围,最后,从取景位置进行取景,将360度全景图像帧圈定在视窗范围内的画面渲染到视窗中显示在屏幕上,即可再现上次对全景内容进行全景播放时在t时刻展现在屏幕上的画面。
本申请中通过上次对全景内容进行全景播放时记录的渲染参数序列,能够再次生成上次播放全景内容时所展现的画面序列。再次播放时候,只需要将全景内容的每个全景图像帧按照各自对应的渲染参数进行渲染,即可还原出上次对全景内容进行全景播放时的画面效果。
在本申请的另一可选实施例中,在将全景内容的屏幕显示录制导出成为一个普通视频的情况下,无需特别的处理,即可再现用户播放全景内容时候得到的屏幕画面。
如图4所示,本申请还提供了一种生成图像的装置,包括:
一获取单元,用于获取全景内容;
一播放单元,用于对全景内容进行播放;
一屏显内容合成单元,用于在播放单元播放全景内容的同时,按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容。
进一步,屏显内容合成单元按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容,包括:
记录在播放全景内容时每个全景图像帧的渲染参数,得到渲染参数序列;
对渲染参数序列进行保存,以便根据渲染参数序列将全景内容以屏显内容进行播放。
进一步,屏显内容合成单元按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容,包括:
将显示在屏幕上的画面输入到编码器编码为独立内容,将编码得到的独立内容作为屏显内容。
进一步,渲染参数包括:取景位置信息、视窗描述信息和帧信息;
取景位置信息用于确定在全景内容的单位圆中进行取景的位置;
视窗描述信息用于确定视窗在单位圆中的位置及范围;
帧信息用于建立渲染参数与全景内容中的全景图像帧的对应关系。
进一步,视窗描述信息包括视线与单位圆交点的坐标、视窗的横向展开夹角和视窗的纵向展开夹角。
如图5所示,本申请还提供了一种播放图像的装置,包括:
一获取单元,用于获取全景内容以及全景内容对应的渲染参数序列,渲染参数序列包含全景内容中的每个全景图像帧对应的渲染参数,渲染参数为上次对全景内容进行全景播放时记录的对全景图像帧进行渲染采用的参数;
一渲染单元,用于根据全景内容的每个全景图像帧各自对应的渲染参数对全景图像帧进行渲染显示,从而将全景内容按照与上次全景播放相同的屏显内容进行播放。
进一步,渲染单元根据全景内容的每个全景图像帧各自对应的渲染参数对全景图像帧进行渲染显示,包括:
根据渲染参数中的帧信息确定全景图像帧对应的渲染参数;
根据渲染参数中的取景位置信息在全景内容的单位圆中确定取景位置;
根据渲染参数中的视窗描述信息在单位圆中确定视窗的位置及范围;
将从取景位置处进行取景,将圈定在视窗中的画面渲染到视窗中显示给观看者。
进一步,本申请还提供另一种生成图像的装置,包括:
处理器;以及
用于存储处理器可执行指令的存储器;
其中,处理器被配置为:
获取全景内容;
对全景内容进行播放;
在播放全景内容的同时,按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容。
进一步,本申请还提供另一种播放图像的装置,包括:
处理器;以及
用于存储处理器可执行指令的存储器;
其中,处理器被配置为:
获取全景内容以及全景内容对应的渲染参数序列,渲染参数序列包含全景内容中的每个全景图像帧对应的渲染参数,渲染参数为上次对全景内容进行全景播放时记录的对全景图像帧进行渲染采用的参数;
根据全景内容的每个全景图像帧各自对应的渲染参数对全景图像帧进行渲染显示,从而将全景内容按照与上次全景播放相同的屏显内容进行播放。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (16)

1.一种生成图像的方法,其特征在于,包括:
获取全景内容;
对所述全景内容进行播放;
在播放全景内容的同时,按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容。
2.根据权利要求1所述的方法,其特征在于,所述按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容,包括:
记录在播放全景内容时每个全景图像帧的渲染参数,得到渲染参数序列;
对所述渲染参数序列进行保存,以便根据所述渲染参数序列将所述全景内容以所述屏显内容进行播放。
3.根据权利要求1所述的方法,其特征在于,所述按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容,包括:
将显示在屏幕上的画面输入到编码器编码为独立内容,将编码得到的独立内容作为所述屏显内容。
4.根据权利要求2所述的方法,其特征在于:
所述渲染参数包括:取景位置信息、视窗描述信息和帧信息;
所述取景位置信息用于确定在全景内容的单位圆中进行取景的位置;
所述视窗描述信息用于确定视窗在所述单位圆中的位置及范围;
所述帧信息用于建立渲染参数与全景内容中的全景图像帧的对应关系。
5.根据权利要求4所述的方法,其特征在于:
所述视窗描述信息包括视线与单位圆交点的坐标、视窗的横向展开夹角和视窗的纵向展开夹角。
6.一种播放图像的方法,其特征在于,包括:
获取全景内容以及全景内容对应的渲染参数序列,所述渲染参数序列包含全景内容中的每个全景图像帧对应的渲染参数,所述渲染参数为上次对全景内容进行全景播放时记录的对全景图像帧进行渲染采用的参数;
根据全景内容的每个全景图像帧各自对应的渲染参数对全景图像帧进行渲染显示,从而将全景内容按照与上次全景播放相同的屏显内容进行播放。
7.根据权利要求6所述的方法,其特征在于,所述根据全景内容的每个全景图像帧各自对应的渲染参数对全景图像帧进行渲染显示,包括:
根据渲染参数中的帧信息确定全景图像帧对应的渲染参数;
根据渲染参数中的取景位置信息在全景内容的单位圆中确定取景位置;
根据渲染参数中的视窗描述信息在单位圆中确定视窗的位置及范围;
将从所述取景位置处进行取景,将圈定在所述视窗中的画面渲染到视窗中显示给观看者。
8.一种生成图像的装置,其特征在于,包括:
一获取单元,用于获取全景内容;
一播放单元,用于对所述全景内容进行播放;
一屏显内容合成单元,用于在所述播放单元播放全景内容的同时,按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容。
9.根据权利要求8所述的装置,其特征在于,所述屏显内容合成单元按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容,包括:
记录在播放全景内容时每个全景图像帧的渲染参数,得到渲染参数序列;
对所述渲染参数序列进行保存,以便根据所述渲染参数序列将所述全景内容以所述屏显内容进行播放。
10.根据权利要求8所述的装置,其特征在于,所述屏显内容合成单元按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容,包括:
将显示在屏幕上的画面输入到编码器编码为独立内容,将编码得到的独立内容作为所述屏显内容。
11.根据权利要求9所述的装置,其特征在于:
所述渲染参数包括:取景位置信息、视窗描述信息和帧信息;
所述取景位置信息用于确定在全景内容的单位圆中进行取景的位置;
所述视窗描述信息用于确定视窗在所述单位圆中的位置及范围;
所述帧信息用于建立渲染参数与全景内容中的全景图像帧的对应关系。
12.根据权利要求11所述的装置,其特征在于:
所述视窗描述信息包括视线与单位圆交点的坐标、视窗的横向展开夹角和视窗的纵向展开夹角。
13.一种播放图像的装置,其特征在于,包括:
一获取单元,用于获取全景内容以及全景内容对应的渲染参数序列,所述渲染参数序列包含全景内容中的每个全景图像帧对应的渲染参数,所述渲染参数为上次对全景内容进行全景播放时记录的对全景图像帧进行渲染采用的参数;
一渲染单元,用于根据全景内容的每个全景图像帧各自对应的渲染参数对全景图像帧进行渲染显示,从而将全景内容按照与上次全景播放相同的屏显内容进行播放。
14.根据权利要求13所述的装置,其特征在于,所述渲染单元根据全景内容的每个全景图像帧各自对应的渲染参数对全景图像帧进行渲染显示,包括:
根据渲染参数中的帧信息确定全景图像帧对应的渲染参数;
根据渲染参数中的取景位置信息在全景内容的单位圆中确定取景位置;
根据渲染参数中的视窗描述信息在单位圆中确定视窗的位置及范围;
将从所述取景位置处进行取景,将圈定在所述视窗中的画面渲染到视窗中显示给观看者。
15.一种生成图像的装置,其特征在于,包括:
处理器;以及
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取全景内容;
对所述全景内容进行播放;
在播放全景内容的同时,按照画面显示的先后顺序将显示在屏幕上的画面合成为屏显内容。
16.一种播放图像的装置,其特征在于,包括:
处理器;以及
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取全景内容以及全景内容对应的渲染参数序列,所述渲染参数序列包含全景内容中的每个全景图像帧对应的渲染参数,所述渲染参数为上次对全景内容进行全景播放时记录的对全景图像帧进行渲染采用的参数;
根据全景内容的每个全景图像帧各自对应的渲染参数对全景图像帧进行渲染显示,从而将全景内容按照与上次全景播放相同的屏显内容进行播放。
CN201710504917.9A 2017-06-28 2017-06-28 生成、播放图像的方法及装置 Pending CN107330960A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710504917.9A CN107330960A (zh) 2017-06-28 2017-06-28 生成、播放图像的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710504917.9A CN107330960A (zh) 2017-06-28 2017-06-28 生成、播放图像的方法及装置

Publications (1)

Publication Number Publication Date
CN107330960A true CN107330960A (zh) 2017-11-07

Family

ID=60198430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710504917.9A Pending CN107330960A (zh) 2017-06-28 2017-06-28 生成、播放图像的方法及装置

Country Status (1)

Country Link
CN (1) CN107330960A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111093086A (zh) * 2019-12-31 2020-05-01 杭州当虹科技股份有限公司 一种虚拟现实用户视角分享系统及方法
CN113207037A (zh) * 2021-03-31 2021-08-03 影石创新科技股份有限公司 全景视频动画的模板剪辑方法、装置、终端、系统及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140270684A1 (en) * 2013-03-15 2014-09-18 3D-4U, Inc. Apparatus and Method for Playback of Multiple Panoramic Videos with Control Codes
CN105979246A (zh) * 2016-06-17 2016-09-28 北京疯景科技有限公司 一种拍摄全景内容的方法及装置
CN106254940A (zh) * 2016-09-23 2016-12-21 北京疯景科技有限公司 播放全景内容的方法及装置
CN106331732A (zh) * 2016-09-26 2017-01-11 北京疯景科技有限公司 生成、展现全景内容的方法及装置
CN106453913A (zh) * 2016-10-31 2017-02-22 北京疯景科技有限公司 预览全景内容的方法及装置
CN106791395A (zh) * 2016-12-20 2017-05-31 暴风集团股份有限公司 视频的半球面播放方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140270684A1 (en) * 2013-03-15 2014-09-18 3D-4U, Inc. Apparatus and Method for Playback of Multiple Panoramic Videos with Control Codes
CN105979246A (zh) * 2016-06-17 2016-09-28 北京疯景科技有限公司 一种拍摄全景内容的方法及装置
CN106254940A (zh) * 2016-09-23 2016-12-21 北京疯景科技有限公司 播放全景内容的方法及装置
CN106331732A (zh) * 2016-09-26 2017-01-11 北京疯景科技有限公司 生成、展现全景内容的方法及装置
CN106453913A (zh) * 2016-10-31 2017-02-22 北京疯景科技有限公司 预览全景内容的方法及装置
CN106791395A (zh) * 2016-12-20 2017-05-31 暴风集团股份有限公司 视频的半球面播放方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王泽: "面向虚拟视点的全景视频拼接算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111093086A (zh) * 2019-12-31 2020-05-01 杭州当虹科技股份有限公司 一种虚拟现实用户视角分享系统及方法
CN113207037A (zh) * 2021-03-31 2021-08-03 影石创新科技股份有限公司 全景视频动画的模板剪辑方法、装置、终端、系统及介质

Similar Documents

Publication Publication Date Title
CN107590771B (zh) 具有用于在建模3d空间中投影观看的选项的2d视频
EP0886245B1 (en) Display of moving object on background image
US8717390B2 (en) Art-directable retargeting for streaming video
US10701282B2 (en) View interpolation for visual storytelling
US20100153847A1 (en) User deformation of movie character images
US20130321396A1 (en) Multi-input free viewpoint video processing pipeline
US8457387B2 (en) System and method for interactive environments presented by video playback devices
US9959905B1 (en) Methods and systems for 360-degree video post-production
US20170064289A1 (en) System and method for capturing and displaying images
JP2006003871A (ja) 画像フレーム処理方法、装置、レンダリングプロセッサおよび動画像表示方法
US8373802B1 (en) Art-directable retargeting for streaming video
CN109478344A (zh) 用于合成图像的方法和设备
JP6845490B2 (ja) 自由動作fvvアプリケーションのためのマルチレイヤuvマップに基づくテクスチャレンダリング
JP6147966B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2014095808A (ja) 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置
JP2014095809A (ja) 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置
WO2012070636A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN107682638A (zh) 生成、显示全景图像的方法及装置
JP2009110536A (ja) 画像フレーム処理方法、装置、レンダリングプロセッサおよび動画像表示方法
US10554948B2 (en) Methods and systems for 360-degree video post-production
EP3857499A1 (en) Panoramic light field capture, processing and display
WO2023125362A1 (zh) 一种图像显示方法、装置和电子设备
WO2020166376A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN107330960A (zh) 生成、播放图像的方法及装置
KR20200001750A (ko) 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171107

RJ01 Rejection of invention patent application after publication