CN106453913A - 预览全景内容的方法及装置 - Google Patents

预览全景内容的方法及装置 Download PDF

Info

Publication number
CN106453913A
CN106453913A CN201610929962.4A CN201610929962A CN106453913A CN 106453913 A CN106453913 A CN 106453913A CN 201610929962 A CN201610929962 A CN 201610929962A CN 106453913 A CN106453913 A CN 106453913A
Authority
CN
China
Prior art keywords
visual field
image
beholder
preview
panorama
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610929962.4A
Other languages
English (en)
Inventor
高治力
黄业桃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Madv Technology Co Ltd
Original Assignee
Beijing Madv Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Madv Technology Co Ltd filed Critical Beijing Madv Technology Co Ltd
Priority to CN201610929962.4A priority Critical patent/CN106453913A/zh
Publication of CN106453913A publication Critical patent/CN106453913A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/048023D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明公开了一种预览全景内容的方法及装置,所述方法包括:获取全景图像,将全景图像贴到预定的三维几何形体的表面,得到全景展示体;根据从展示设备接收到的视界方向信息从全景展示体中截取出观看者视界范围内的图像;对截取出的观看者视界范围内的图像进行编码得到预览数据,并传输给展示设备,以使展示设备展示截取出的观看者视界范围内的图像,使观看者预览到全景内容。本申请不需要全景图像的缩放,不会损失sensor输入图像的原有精度,显示效果更清晰,并且,避免了图像缩放带来的大量的DDR带宽消耗以及功耗的上升,同时,只关注视野内画面,更符合人体观察外界的方式,且取消传输冗余数据,有效利用网络带宽。

Description

预览全景内容的方法及装置
技术领域
本发明涉及虚拟现实技术,尤指一种预览全景内容的方法及装置。
背景技术
随着全景相机的出现以及物联网概念的普及,手机与全景相机进行互联成为必然。通过手机,可以控制全景相机,也可以预览全景相机拍摄的全景图片和全景视频等。
目前,全景相机录制的全景视频的分辨率往往在3K以上,码率往往在20Mbps以上。这样的码率在通过wifi网络传输时,会对wifi网络产生很大的负载,容易产生延迟、花屏、卡顿等现象。所以,为了预览的效果更好,在按之前的分辨率将全景视频录制到SD卡时,会将其缩小到一个较小的分辨率。这样编码出来视频流,码率可以控制得比较小,如5Mbps以下,手机预览全景视频时就可以得到比较好的效果。
但是,上述方法存在如下几个缺点:
(1)全景相机发送到手机端的预览内容因为是从一个比较大的分辨率缩小过来的,所以必然造成精度的损失,预览时细节不清楚。
(2)缩放动作是一个很消耗资源的动作,会增加DDR带宽的消耗,也会增加功耗。
上述两点在嵌入式设备上是非常重要的,是需要重点关注的。
发明内容
为了解决上述技术问题,本发明提供了一种预览全景内容的方法及装置,能够在不损失预览精度的情况下实现全景内容的预览。
为了达到本发明目的,本发明提供了一种预览全景内容的方法,包括:
获取全景图像,将所述全景图像贴到预定的三维几何形体的表面,得到全景展示体;
根据从展示设备接收到的视界方向信息从所述全景展示体中截取出观看者视界范围内的图像;
对截取出的观看者视界范围内的图像进行编码得到预览数据,并传输给所述展示设备,以使所述展示设备展示所述截取出的观看者视界范围内的图像,使观看者预览到全景内容。
本发明提供的另一种预览全景内容的方法,包括:
获取观看者的视界方向信息,在视界方向信息发生改变的情况下,将所述视界方向信息发送给拍摄设备;
接收所述拍摄设备发送的预览数据,对所述预览数据进行解码并展示给观看者;
其中,所述视界方向信息包含基点坐标、视界垂直方向向量、视界水平方向向量和视界朝向向量。
本发明还提供了一种预览全景内容的装置,包括:
一获取单元,用于获取全景图像;
一全景单元,用于将所述全景图像贴到预定的三维几何形体的表面,得到全景展示体;
一截取单元,用于根据从展示设备接收到的视界方向信息从所述全景展示体中截取出观看者视界范围内的图像;
一编码单元,用于对所述截取单元截取出的观看者视界范围内的图像进行编码得到预览数据;
一传输单元,用于将所述编码单元编码得到的预览数据传输给所述展示设备,以使所述展示设备展示所述截取出的观看者视界范围内的图像,使观看者预览到全景内容。
本发明提供的另一种预览全景内容的装置,包括:
一视界方向信息获取单元,用于获取观看者的视界方向信息,在视界方向信息发生改变的情况下,将所述视界方向信息通过收发单元发送给拍摄设备;
一收发单元,用于将所述视界方向信息发送给拍摄设备,并接收所述拍摄设备发送的预览数据;
一解码单元,用于对所述收发单元接收到的预览数据进行解码;
一展示单元,用于将所述解码单元解码后的预览数据展示给观看者;
其中,所述视界方向信息包含基点坐标、视界垂直方向向量、视界水平方向向量和视界朝向向量。
与现有技术相比,本发明包括获取全景图像,将全景图像贴到预定的三维几何形体的表面,得到全景展示体;根据从展示设备接收到的视界方向信息从全景展示体中截取出观看者视界范围内的图像;对截取出的观看者视界范围内的图像进行编码得到预览数据,并传输给展示设备,以使展示设备展示截取出的观看者视界范围内的图像,使观看者预览到全景内容。本申请不需要全景图像的缩放,不会损失sensor输入图像的原有精度,显示效果更清晰,并且,避免了图像缩放带来的大量的DDR带宽消耗以及功耗的上升,同时,只关注视野内画面,更符合人体观察外界的方式,且取消传输冗余数据,有效利用网络带宽。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本申请一实施例提供的预览全景内容的方法的流程图;
图2为本申请中的全景展示体的示意图;
图3为本申请中在三维正交坐标系中表示视界方向信息的示意图;
图4为本申请中将视界展示在坐标系中的示意图;
图5为本申请中从全景展示体中截取图像的示意图;
图6为本申请的另一实施例提供的预览全景内容的方法的流程图;
图7为本申请的又一实施例提供的预览全景内容的装置的架构图;
图8为本申请的又一实施例提供的预览全景内容的装置的架构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
现有技术中,在得到全景内容(例如可以是全景图片和全景视频等)后,会对全景内容的分辨率进行缩小,从而降低全景内容的码率,以得到用于预览的全景内容。在通过wifi等传输网络传输用于预览的全景内容时,可以避免发生延迟、花屏、卡顿等现象。但是,通过缩小分辨率的方式得到的用于预览的全景内容,其显示精度会降低,观看者无法清楚的预览到图像的细节,并且,缩小分辨率的操作会增加DDR带宽的消耗,也会增加功耗。
本申请中考虑到观看者在预览全景内容时,展示设备在某一时刻只会显示当前视角对应的视界范围内的图像。在观看者调整观看的视角后,视界范围内的图像也随之发生改变。现有技术中以低分辨率的全景内容作为预览数据,在展示设备上根据观看者对视角的调整进行内容的显示,实现观看者对全景内容的预览。这种方式由于传输的是全景内容,数据量巨大,浪费传输带宽,并且显示精度低。本申请中根据观看者对视角的调整,从全景展示体中截取出应该展示给观看者的图像,将截取出的图像进行编码作为预览数据,并随着观看者对视角的调整持续截取图像传输给展示设备。这种方式不再传输全景内容作为预览数据,而是将观看者调整到的视角对应的视界范围内的图像作为预览数据,不仅大大降低了数据传输量,而且不会降低预览精度。
如图1所示,本申请一实施例提供的预览全景内容的方法,包括:
步骤101:获取全景图像,将全景图像贴到预定的三维几何形体的表面,得到全景展示体;
步骤102:根据从展示设备接收到的视界方向信息从全景展示体中截取出观看者视界范围内的图像;
步骤103:对截取出的观看者视界范围内的图像进行编码得到预览数据,并将预览数据传输给展示设备,以使展示设备展示截取出的观看者视界范围内的图像,使观看者预览到全景内容。
本申请的预览全景内容的方法可以是对拍摄设备能够摄取到的图像进行预览,也就是预览实时画面,观看者可以根据预览到的内容决定是否进行拍摄。也可以是对拍摄设备已经拍摄的全景内容进行预览,观看者可以在展示设备上预览到拍摄设备已经拍摄的全景内容。
本申请的预览全景内容的方法可以应用于对全景相机等拍摄终端拍摄或摄取到的全景内容进行预览,也可以是对全景动画和由计算机程序实时生成的全景画面等全景内容进行预览。本申请的预览全景内容的方法可以应用在全景相机、运动相机等拍摄终端中,也可以应用到生成全景动画、全景画面的PC等设备中,还可以应用到进行全景内容后期处理的后期处理设备中等。
为了使观看者能够在展示设备上预览到已经拍摄完成的全景内容或是拍摄设备摄取到的全景内容,需要首先获取到全景图像,例如,对于拍摄设备摄取或拍摄到的全景内容,可以直接从拍摄设备获取到全景图像;对于全景动画和计算机生成的全景画面,可以从相应的制作设备上获取相应的全景图像。
本申请中的全景图像可以是拍摄设备包含的多个图像采集单元各拍摄超过180度范围的图像,再由拍摄设备进行拼接融合得到全景图像。全景图像也可以是全景动画和由计算机程序实时生成的全景画面等全景图像。
目前在拍摄全景内容时,会生成两路数据,一路为原始全景内容,分辨率和码率均较大,不适合网络传输;另一路为用于预览的全景内容,分辨率和码率均较小,适合网络传输。本申请中对于已经拍摄的全景内容的预览,可以使拍摄设备只保留原始全景内容,不再保留用于预览的全景内容,从而节省拍摄设备的存储空间。在对已经拍摄的全景内容预览时,可以先对已经保存的全景内容进行解码得到全景图像,之后,与预览实时画面的情况相同,将全景图像贴到预定的三维几何形体的表面,对于采用球体的情况,得到一个球体中心位于坐标系原点的球体全景展示体。
为了能够截取出观看者视界范围内的图像以供观看者进行预览,需要将获取的全景图像贴到预定的三维几何形体的表面上得到全景展示体,例如通常会贴到球体上(请参考图2)。以全景展示体的中心作为观看者的位置,观看者可以看向全景展示体上的任意区域,从而达到观看全景的效果。上述预定的三维几何形体也可以是立方体和三棱锥体等。
其次,在得到全景展示体后,需要根据从展示设备接收到的视界方向信息从全景展示体中截取出观看者视界范围内的图像。
为了使观看者在展示设备上调整的视角方向与拍摄设备在全景展示体中截取出的图像相匹配,默认在拍摄设备与展示设备上建立相同的坐标系。坐标系的形式包括但不限于三维正交坐标系、球坐标系等任何可以描述三维空间的坐标系形式。
视界通常是指一长方形区域,以观看者在设定位置为基准点,按照观看者对视角的调整而转动,在全景内容中圈定一个范围,圈定范围内的画面被展现在屏幕上。本申请中的视界方向信息包含基点坐标、视界垂直方向向量、视界水平方向向量和视界朝向向量。
如图3所示,本申请中以采用三维正交坐标系为例对视界方向信息进行说明。
在三维正交坐标系中,能够表示出视界的方向。例如,在图3中,有四个坐标点,分别为A、B、C和M,向量OA、OB、OC分别正交,M点为向量OC方向上的一个点。其中,OA为视界垂直方向向量,表示视界较长边的方向。OB为视界垂直方向向量,表示视界较短边的方向。OC为视界朝向向量,表示视界所面对的方向。M点为基点,可以是视界的对角线交点。
假设,视界位于yz平面,视界的对角线交点位于坐标系原点,y轴与z轴分别垂直于视界的一个边。视界与坐标系的关系见图4,其中b为视界较长的边界,a为视界较短的边界。按照图3的图示,即为向量OA的方向与z轴方向相同,向量OB的方向与y轴方向相同,向量OC的方向与x轴方向相同,基点M即为坐标原点。
拍摄设备会单独开辟一个线程,这个线程用于接收展示设备发送的视界方向信息。展示设备可以是手机、头显设备等。
在本申请的一可选实施例中,根据从展示设备接收到的视界方向信息从全景展示体中截取出观看者视界范围内的图像,可以包括:
根据视界方向信息在全景展示体中确定出视界的方向,按照视界的宽高比例,在视界的方向上从全景展示体的表面上截取视界范围内的图像。
由于在拍摄设备上与展示设备上采用了相同的坐标系,因此,拍摄设备能够依据展示设备发送的视界方向信息在全景展示体中确定出视界的方向。在全景展示体中确定出视界的方向后,就可以按照视界的宽高比例在视界方向上从全景展示体的表面上截取出视界范围内的图像。
例如,如图5所示,T为全景展示体的剖视图,S为视界。视界S的位置由基点M、向量OA、向量OB来确定,视界S的朝向由向量OC确定。在全景展示体内,按照视界的宽高比例,截取视界S圈定范围内的图像。
上述按照视界的宽高比例截取视界范围内的图像是指,在实际截取图像时可以根据实际的需要,对截取的范围按照视界的宽高比例进行等比例的缩小或放大,以满足实际的需求,但截取的范围应满足视界的宽高比。
在本申请的另一可选实施例中,上述根据视界方向信息在全景展示体中确定出视界的方向,包括:
根据基点坐标在全景展示体中确定出基点的位置,以基点为中心按照视界垂直方向向量和视界水平方向向量确定出视界在全景展示体中的垂直方向旋转角度和水平方向旋转角度,并按照视界朝向向量确定视界面对的方向。
基点是视界上的一个点,可以以基点为中心对视界进行垂直方向和水平方向的旋转,从而改变视界的方向,进而改变展示设备上展现的内容。在拍摄设备上根据从展示设备接收到的视界方向信息,以基点为中心,按照视界垂直方向向量和视界水平方向向量对视界进行旋转,使视界达到与在展示设备相同的位置,再按照视界朝向向量截取视界所面对的图像,截取出的图像就是观看者在展示设备上调整到的视角所能观看到的图像。之后,再将截取出的图像编码压缩并传输给展示设备,就实现了全景内容的预览。
在从全景展示体中截取出观看者视界范围内的图像后,就可以对截取出的观看者视界范围内的图像进行编码得到预览数据,再将预览数据传输给展示设备,以使展示设备对预览数据进行解码得到截取出的观看者视界范围内的图像,再展示截取出的观看者视界范围内的图像,使观看者能够预览到全景内容。
本申请的预览全景内容的方法既能够实现对拍摄设备摄取到的实时画面的预览,也能实现对拍摄设备已经拍摄完成的全景内容的预览。在构建出全景展示体后,按照展示设备发送的视界方向信息,在全景展示体中确定出视界的方向,并在全景展示体上截取出视界范围内的图像,进行编码后传输给展示设备。本申请不仅无需像现有技术中那样传输全景内容作为预览数据,也不需要在拍摄设备上单独保存一份预览数据,不仅提高了预览数据的传输速度、节省了带宽,也节省了拍摄设备的存储空间。
此外,在本申请的另一可选实施例中,在从全景展示体中截取出观看者视界范围内的图像后,对截取出的观看者视界范围内的图像进行编码前,还可以判断截取出的观看者视界范围内的图像的分辨率与预览分辨率是否相同,如果不同,还将截取出的观看者视界范围内的图像的分辨率处理为与预览分辨率相同;如果相同,则直接对截取出的观看者视界范围内的图像进行编码。上述预览分辨率可以根据实际情况进行选择,如设置为720P等。
在截取出的观看者视界范围内的图像的分辨率与预览分辨率不同的情况下,如果大于预览分辨率,则缩小截取出的观看者视界范围内的图像的分辨率与预览分辨率相同;如果小于预览分辨率,则发大截取出的观看者视界范围内的图像的分辨率与预览分辨率相同。本申请中可以采用插值算法对截取出的观看者视界范围内的图像的分辨率进行处理。
例如,截取出的观看者视界范围内的图像的分辨率为720P,则不需进行插值,直接进行编码;如果基点发生了变化,则截取出的观看者视界范围内的图像的分辨率不为720P,则可以利用双线性插值算法进行插值,最终获取到720P的图像,之后进行编码。
在本申请的另一实施例中,为了使观看者观看到预览内容,展示设备需要接收预览数据并进行展示。如图6所示,本申请在展示设备侧预览全景内容的方法,包括:
步骤601:获取观看者的视界方向信息,在视界方向信息发生改变的情况下,将视界方向信息发送给拍摄设备;
步骤602:接收拍摄设备发送的预览数据,对预览数据进行解码并展示给观看者;
其中,视界方向信息包含基点坐标、视界垂直方向向量、视界水平方向向量和视界朝向向量。
为了使全景内容在展示设备上与拍摄设备上的图像相匹配,默认在拍摄设备与展示设备上建立相同的坐标系。
在展示设备上,以所建立的坐标系为基准,实时获取观看者的视界方向信息。请再次参考图3,图中OA为视界垂直方向向量,表示视界较长边的方向。OB为视界垂直方向向量,表示视界较短边的方向。OC为视界朝向向量,表示视界所面对的方向。M点为基点,可以是视界的对角线交点。
观看者可以在展示设备上(如手机屏幕上)进行滑动操作,将会改变向量OA、OB、OC的方向;进行放大缩小操作,将会改变基点M的坐标。在视界方向信息发生改变的情况下,实时将视界方向信息发送给拍摄设备。
展示设备单独开辟一个线程,每经过一时间间隔(如5ms或者10ms),展示设备将获取向量OA、OB、OC的方向以及基点M的坐标。如果这些数据有变化,则经过网络封包,将其发送给拍摄设备。
此外,随着观看者在预览时对观看视角的调整,视角的方向会发生变化,预览的内容也会随之变化,因此,展示设备需要实时接收拍摄设备发送的预览数据,接收到预览数据后,进行解封装、解码,并渲染显示。
本申请中展示设备随着观看者对预览时观看视角的调整,实时向拍摄设备更新视界方向信息,拍摄设备根据视界方向信息的更新,实时截取观看者视界范围内的图像,并传输给展示设备,展示设备进行展示,实现对实时画面或是已拍摄完成的全景内容的预览。
如图7所示,本申请还提供了一种预览全景内容的装置,包括:
一获取单元,用于获取全景图像;
一全景单元,用于将全景图像贴到预定的三维几何形体的表面,得到全景展示体;
一截取单元,用于根据从展示设备接收到的视界方向信息从全景展示体中截取出观看者视界范围内的图像;
一编码单元,用于对截取单元截取出的观看者视界范围内的图像进行编码得到预览数据;
一传输单元,用于将编码单元编码得到的预览数据传输给展示设备,以使展示设备展示截取出的观看者视界范围内的图像,使观看者预览到全景内容。
进一步,上述装置还包括:
一分辨率处理单元,用于在截取单元从全景展示体中截取出观看者视界范围内的图像后,编码单元进行编码前,判断截取出的观看者视界范围内的图像的分辨率与预览分辨率是否相同,如果不同,还将截取出的观看者视界范围内的图像的分辨率处理为与预览分辨率相同。
进一步,上述截取单元根据从展示设备接收到的视界方向信息从全景展示体中截取出观看者视界范围内的图像,包括:
根据视界方向信息在全景展示体中确定出视界的方向,按照视界的宽高比例,在视界的方向上从全景展示体的表面上截取视界范围内的图像。
进一步,视界方向信息包含基点坐标、视界垂直方向向量、视界水平方向向量和视界朝向向量;
上述截取单元根据视界方向信息在全景展示体中确定出视界的方向,包括:根据基点坐标在全景展示体中确定出基点的位置,以基点为中心按照视界垂直方向向量和视界水平方向向量确定出视界在全景展示体中的垂直方向旋转角度和水平方向旋转角度,并按照视界朝向向量确定视界面对的方向。
如图8所示,本申请还提供了一种预览全景内容的装置,包括:
一视界方向信息获取单元,用于获取观看者的视界方向信息,在视界方向信息发生改变的情况下,将视界方向信息通过收发单元发送给拍摄设备;
一收发单元,用于将视界方向信息发送给拍摄设备,并接收拍摄设备发送的预览数据;
一解码单元,用于对收发单元接收到的预览数据进行解码;
一展示单元,用于将解码单元解码后的预览数据展示给观看者;
其中,视界方向信息包含基点坐标、视界垂直方向向量、视界水平方向向量和视界朝向向量。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种预览全景内容的方法,其特征在于,包括:
获取全景图像,将所述全景图像贴到预定的三维几何形体的表面,得到全景展示体;
根据从展示设备接收到的视界方向信息从所述全景展示体中截取出观看者视界范围内的图像;
对截取出的观看者视界范围内的图像进行编码得到预览数据,并传输给所述展示设备,以使所述展示设备展示所述截取出的观看者视界范围内的图像,使观看者预览到全景内容。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在从所述全景展示体中截取出观看者视界范围内的图像后,进行编码前,还判断截取出的观看者视界范围内的图像的分辨率与预览分辨率是否相同,如果不同,还将截取出的观看者视界范围内的图像的分辨率处理为与所述预览分辨率相同。
3.根据权利要求1或2所述的方法,其特征在于,所述根据从展示设备接收到的视界方向信息从所述全景展示体中截取出观看者视界范围内的图像,包括:
根据所述视界方向信息在所述全景展示体中确定出视界的方向,按照视界的宽高比例,在视界的方向上从全景展示体的表面上截取视界范围内的图像。
4.根据权利要求3所述的方法,其特征在于:
所述视界方向信息包含基点坐标、视界垂直方向向量、视界水平方向向量和视界朝向向量;
所述根据所述视界方向信息在所述全景展示体中确定出视界的方向,包括:根据基点坐标在所述全景展示体中确定出基点的位置,以所述基点为中心按照所述视界垂直方向向量和视界水平方向向量确定出视界在所述全景展示体中的垂直方向旋转角度和水平方向旋转角度,并按照所述视界朝向向量确定所述视界面对的方向。
5.一种预览全景内容的方法,其特征在于,包括:
获取观看者的视界方向信息,在视界方向信息发生改变的情况下,将所述视界方向信息发送给拍摄设备;
接收所述拍摄设备发送的预览数据,对所述预览数据进行解码并展示给观看者;
其中,所述视界方向信息包含基点坐标、视界垂直方向向量、视界水平方向向量和视界朝向向量。
6.一种预览全景内容的装置,其特征在于,包括:
一获取单元,用于获取全景图像;
一全景单元,用于将所述全景图像贴到预定的三维几何形体的表面,得到全景展示体;
一截取单元,用于根据从展示设备接收到的视界方向信息从所述全景展示体中截取出观看者视界范围内的图像;
一编码单元,用于对所述截取单元截取出的观看者视界范围内的图像进行编码得到预览数据;
一传输单元,用于将所述编码单元编码得到的预览数据传输给所述展示设备,以使所述展示设备展示所述截取出的观看者视界范围内的图像,使观看者预览到全景内容。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
一分辨率处理单元,用于在所述截取单元从所述全景展示体中截取出观看者视界范围内的图像后,所述编码单元进行编码前,判断截取出的观看者视界范围内的图像的分辨率与预览分辨率是否相同,如果不同,还将截取出的观看者视界范围内的图像的分辨率处理为与所述预览分辨率相同。
8.根据权利要求6或7所述的装置,其特征在于,所述截取单元根据从展示设备接收到的视界方向信息从所述全景展示体中截取出观看者视界范围内的图像,包括:
根据所述视界方向信息在所述全景展示体中确定出视界的方向,按照视界的宽高比例,在视界的方向上从全景展示体的表面上截取视界范围内的图像。
9.根据权利要求8所述的装置,其特征在于:
所述视界方向信息包含基点坐标、视界垂直方向向量、视界水平方向向量和视界朝向向量;
所述截取单元根据所述视界方向信息在所述全景展示体中确定出视界的方向,包括:根据基点坐标在所述全景展示体中确定出基点的位置,以所述基点为中心按照所述视界垂直方向向量和视界水平方向向量确定出视界在所述全景展示体中的垂直方向旋转角度和水平方向旋转角度,并按照所述视界朝向向量确定所述视界面对的方向。
10.一种预览全景内容的装置,其特征在于,包括:
一视界方向信息获取单元,用于获取观看者的视界方向信息,在视界方向信息发生改变的情况下,将所述视界方向信息通过收发单元发送给拍摄设备;
一收发单元,用于将所述视界方向信息发送给拍摄设备,并接收所述拍摄设备发送的预览数据;
一解码单元,用于对所述收发单元接收到的预览数据进行解码;
一展示单元,用于将所述解码单元解码后的预览数据展示给观看者;
其中,所述视界方向信息包含基点坐标、视界垂直方向向量、视界水平方向向量和视界朝向向量。
CN201610929962.4A 2016-10-31 2016-10-31 预览全景内容的方法及装置 Pending CN106453913A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610929962.4A CN106453913A (zh) 2016-10-31 2016-10-31 预览全景内容的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610929962.4A CN106453913A (zh) 2016-10-31 2016-10-31 预览全景内容的方法及装置

Publications (1)

Publication Number Publication Date
CN106453913A true CN106453913A (zh) 2017-02-22

Family

ID=58177350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610929962.4A Pending CN106453913A (zh) 2016-10-31 2016-10-31 预览全景内容的方法及装置

Country Status (1)

Country Link
CN (1) CN106453913A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106961622A (zh) * 2017-03-30 2017-07-18 联想(北京)有限公司 一种显示处理方法及装置
CN107330960A (zh) * 2017-06-28 2017-11-07 北京疯景科技有限公司 生成、播放图像的方法及装置
CN107948662A (zh) * 2017-12-04 2018-04-20 深圳岚锋创视网络科技有限公司 一种拍摄期间实时预览全景画面的方法、装置及全景相机
CN108174084A (zh) * 2017-12-13 2018-06-15 深圳进化动力数码科技有限公司 全景视频处理方法及终端设备
WO2018161817A1 (zh) * 2017-03-08 2018-09-13 捷开通讯(深圳)有限公司 一种存储介质、在虚拟现实场景中模拟摄影的方法及系统
CN108900893A (zh) * 2018-08-16 2018-11-27 科大讯飞股份有限公司 一种图片处理方法及装置
CN111093086A (zh) * 2019-12-31 2020-05-01 杭州当虹科技股份有限公司 一种虚拟现实用户视角分享系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105163158A (zh) * 2015-08-05 2015-12-16 北京奇艺世纪科技有限公司 一种图像处理方法和装置
CN105635675A (zh) * 2015-12-29 2016-06-01 北京奇艺世纪科技有限公司 一种全景播放方法和装置
CN105915937A (zh) * 2016-05-10 2016-08-31 上海乐相科技有限公司 一种全景视频播放方法及设备
CN106060570A (zh) * 2016-06-30 2016-10-26 北京奇艺世纪科技有限公司 一种全景视频图像播放、编码方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105163158A (zh) * 2015-08-05 2015-12-16 北京奇艺世纪科技有限公司 一种图像处理方法和装置
CN105635675A (zh) * 2015-12-29 2016-06-01 北京奇艺世纪科技有限公司 一种全景播放方法和装置
CN105915937A (zh) * 2016-05-10 2016-08-31 上海乐相科技有限公司 一种全景视频播放方法及设备
CN106060570A (zh) * 2016-06-30 2016-10-26 北京奇艺世纪科技有限公司 一种全景视频图像播放、编码方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018161817A1 (zh) * 2017-03-08 2018-09-13 捷开通讯(深圳)有限公司 一种存储介质、在虚拟现实场景中模拟摄影的方法及系统
US11094125B2 (en) 2017-03-08 2021-08-17 JRD Communication (Shenzhen) Ltd. Storage medium, and method and system for simulating photography in virtual reality scene
CN106961622A (zh) * 2017-03-30 2017-07-18 联想(北京)有限公司 一种显示处理方法及装置
CN106961622B (zh) * 2017-03-30 2020-09-25 联想(北京)有限公司 一种显示处理方法及装置
CN107330960A (zh) * 2017-06-28 2017-11-07 北京疯景科技有限公司 生成、播放图像的方法及装置
CN107948662A (zh) * 2017-12-04 2018-04-20 深圳岚锋创视网络科技有限公司 一种拍摄期间实时预览全景画面的方法、装置及全景相机
CN108174084A (zh) * 2017-12-13 2018-06-15 深圳进化动力数码科技有限公司 全景视频处理方法及终端设备
CN108900893A (zh) * 2018-08-16 2018-11-27 科大讯飞股份有限公司 一种图片处理方法及装置
CN111093086A (zh) * 2019-12-31 2020-05-01 杭州当虹科技股份有限公司 一种虚拟现实用户视角分享系统及方法

Similar Documents

Publication Publication Date Title
CN106453913A (zh) 预览全景内容的方法及装置
US11528468B2 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US10645369B2 (en) Stereo viewing
WO2018121333A1 (zh) 一种360度vr全景图形图像及视频实时生成方法
US9965026B2 (en) Interactive video display method, device, and system
CN106097245B (zh) 一种全景3d视频图像的处理方法和装置
CN112533002A (zh) 一种用于vr全景直播的动态图像融合方法及系统
US20210218890A1 (en) Spherical image processing method and apparatus, and server
CN106688231A (zh) 立体图像记录和回放
CN106101741A (zh) 在网络视频直播平台上观看全景视频的方法及系统
EP3434021B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US11539935B2 (en) Videotelephony with parallax effect
US11417060B2 (en) Stereoscopic rendering of virtual 3D objects
CA2513874A1 (en) Stereoscopic panoramic image capture device
CN107005689B (zh) 数字视频渲染
CN114926612A (zh) 空中全景图像处理与沉浸式显示系统
CN102521876A (zh) 一种实现3d用户界面立体效果的方法及系统
CN115861514A (zh) 虚拟全景图的渲染方法、装置、设备及存储介质
CN113992996A (zh) 传输数据的方法和装置
Liu et al. Cloud mobile display and interaction framework of virtual reality 3D scenes
CN116860112B (zh) 一种基于xr技术的组合场景体验生成方法、系统及介质
WO2024055925A1 (zh) 图像传输方法、图像显示方法、装置和计算机设备
CN108282609A (zh) 一种全景视频分发监控系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170222

RJ01 Rejection of invention patent application after publication