CN113992917A - 全景画面编码方法、装置、显示系统及电子设备 - Google Patents

全景画面编码方法、装置、显示系统及电子设备 Download PDF

Info

Publication number
CN113992917A
CN113992917A CN202111217212.1A CN202111217212A CN113992917A CN 113992917 A CN113992917 A CN 113992917A CN 202111217212 A CN202111217212 A CN 202111217212A CN 113992917 A CN113992917 A CN 113992917A
Authority
CN
China
Prior art keywords
panoramic picture
picture
rotation
panoramic
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111217212.1A
Other languages
English (en)
Inventor
李峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Video Technology Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202111217212.1A priority Critical patent/CN113992917A/zh
Publication of CN113992917A publication Critical patent/CN113992917A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例涉及虚拟显示技术领域,公开了一种全景画面编码方法、装置、显示系统及电子设备。该方法包括:确定所述全景画面的关键显示位置;对所述全景画面进行旋转,以将所述关键显示位置旋转至所述全景画面的极点位置;将旋转之后的全景画面展开为平面画面,对所述平面画面进行编码以生成所述全景画面的编码结果。通过上述方式,本发明实施例提升了全景画面的显示效果。

Description

全景画面编码方法、装置、显示系统及电子设备
技术领域
本发明实施例涉及虚拟显示技术领域,具体涉及一种全景画面编码方法、装置、显示系统及电子设备。
背景技术
虚拟现实技术是通过计算机模拟虚拟环境,以提升用户沉浸感的技术。随着虚拟现实技术的不断发展,其应用范围不断扩大。
相关技术中,虚拟显示技术首先通过多个镜头采集不同方位的画面,再通过渲染技术将多个不同方位的画面渲染成全景画面,将全景画面展开为平面画面之后,对平面画面进行编码,将编码之后的平面画面传输至显示装置进行显示。然而,发明人在实现本发明实施例的过程中发现:相关技术中,显示装置显示的全景画面无效信息占据较大的显示区域,有效信息占据较少的显示区域,使得显示效果较差。
发明内容
鉴于上述问题,本发明实施例提供了一种全景画面编码方法、装置、显示系统及电子设备,用于解决现有技术中存在的全景画面显示效果较差的问题。
根据本发明实施例的一个方面,提供了一种全景画面编码方法,所述方法包括:
确定所述全景画面的关键显示位置;
对所述全景画面进行旋转,以将所述关键显示位置旋转至所述全景画面的极点位置;
将旋转之后的全景画面展开为平面画面,对所述平面画面进行编码以生成所述全景画面的编码结果。
在一种可选的方式中,所述对所述全景画面进行旋转包括:
根据所述关键显示位置确定对所述全景画面进行旋转的旋转轴、旋转角度及旋转方向;
根据所述旋转轴、所述旋转角度及所述旋转方向对所述全景画面进行旋转,以将所述关键显示位置旋转至所述全景画面的极点位置。
在一种可选的方式中,所述方法还包括:
将所述关键显示位置、所述全景画面的球心以及所述全景画面的北极点位置共同所在的平面确定为所述全景画面的旋转平面;
将与所述旋转平面垂直并且穿过所述全景画面的球心的轴确定为所述旋转轴。
在一种可选的方式中,所述方法还包括:
确定所述旋转平面所对应的旋转弧,其中,所述旋转弧为所述全景画面的球面上与所述旋转平面相交的圆弧;
确定所述旋转弧上从所述关键显示位置指向极点位置的两条有向弧;
确定所述两条有向球弧中较短的有向弧;
将所述较短的有向弧的指向确定为所述旋转方向。
在一种可选的方式中,所述两条有向弧指向北极点位置,所述方法还包括:
确定所述关键显示位置的球面坐标(x,y,z);
若z>0,则将所述全景画面的旋转角度确定为
Figure BDA0003311148860000021
若z<0,则将所述全景画面的旋转角度确定为
Figure BDA0003311148860000022
在一种可选的方式中,在所述对所述平面画面进行编码以生成所述全景画面的编码结果之后,所述方法还包括:
获取所述全景画面的旋转信息,其中,所述旋转信息包括所述全景画面的旋转轴、旋转方向和旋转角度;
将所述旋转信息作为附加增强信息添加至所述编码结果中。
根据本发明实施例的另一方面,提供了一种全景画面编码装置,所述装置包括:
确定模块,用于确定所述全景画面的关键显示位置;
旋转模块,用于对所述全景画面进行旋转,以将所述关键显示位置旋转至所述全景画面的极点位置;
生成模块,用于将旋转之后的全景画面展开为平面画面,对所述平面画面进行编码以生成所述全景画面的编码结果。
根据本发明实施例的另一方面,提供了一种全景画面显示系统,所述系统包括显示装置和上述的编码装置:
所述编码装置用于将所述全景画面的编码结果发送给所述显示装置,所述显示装置用于对所述全景画面的编码结果进行解码,并显示解码之后的全景画面。
根据本发明实施例的另一方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述的全景画面编码方法的操作。
根据本发明实施例的另一方面,提供了一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一可执行指令,所述可执行指令在电子设备上运行时,使得电子设备执行上述的全景画面编码方法的操作。
本发明实施例中,全景画面的极点位置所在区域为全景画面显示时的像素集中区域,然而,全景画面的极点位置往往并不位于全景画面的关键显示区域,影响关键显示区域的显示效果;在对全景画面进行编码时,首先确定全景画面的关键显示位置,然后基于关键显示位置对全景画面进行旋转,以将关键显示位置旋转至全景画面的极点位置,最后将旋转之后的全景画面展开为平面画面,对平面画面进行编码以生成全景画面的编码结果。上述实施例中,通过将全景画面的关键显示位置旋转至极点位置,可以使全景画面的关键显示区域具有较好的显示效果。
上述说明仅是本发明实施例技术方案的概述,为了能够更清楚了解本发明实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
附图仅用于示出实施方式,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的全景画面编码方法的流程示意图;
图2示出了本发明实施例提供的全景画面的旋转示意图;
图3示出了本发明实施例提供的全景画面编码装置的结构示意图;
图4示出了本发明实施例提供的全景画面显示系统的结构示意图;
图5示出了本发明实施例提供的全景画面的显示效果示意图;
图6示出了本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
相关技术中,虚拟显示技术首先通过多个镜头采集不同方位的画面,再通过渲染技术将多个不同方位的画面渲染成全景画面,将全景画面展开为平面画面之后,对平面画面进行编码,将编码之后的平面画面传输至显示装置进行显示。在将全景画面展开为平面画面时,一般使用等距圆柱投影或正轴等角圆柱投影等常见投影技术。等距圆柱投影或正轴等角圆柱投影等常见投影技术存在诸多缺陷。例如,世界地图是等距圆柱投影最常见的应用案例,等距圆柱投影根据经度和纬度划分而成的矩形空间将全景画面展开为平面画面,其存在的最大问题是变形非常不均匀,纬度越高变形越严重。在对展开之后的平面画面进行编码时,变形严重的高纬度区域编码质量较高,因此,显示装置将平面画面还原为全景画面时,高纬度区域对应的画面占比较大,保留的有效信息较多,画面也更清晰,而低纬度区域对应的画面占比较小,保留的有效信息较少,画面也较模糊。也即,南北极所在的高纬度区域的像素点非常密集,画面较清晰,而赤道所在的低纬度区域像素点比较稀疏,画面较模糊。
然而,在实际应用过程中,全景画面的关键显示区域往往集中在眼前中心位置,即重要的内容通常分布在赤道所在的低纬度区域内。赤道部位本来应该是有效信息的集中区域,反而却只得到了最小的面积,顶部和底部是无效信息聚集的区域,反而得到了非常大的面积占比,造成全景画面显示时最终效果为天花板和地板最清晰、主要画面反而最模糊。为解决相关技术在进行全景画面显示时无效信息密度很高、有效信息密度很低的低效编码问题,本发明实施例在通过投影技术将全景画面展开为平面画面之前,将全景画面的关键显示区域旋转至南北极所在的高纬度区域,使得将全景画面展开为平面画面,并对平面画面进行编码之后在显示装置上主舞台区域可以占据大的画面覆盖,而天花板、地板、舞台两侧等区域占据较小的画面覆盖。
图1示出了本发明实施例全景画面编码方法的流程图,该方法由电子设备执行。电子设备的存储器用于存放至少一可执行指令,该可执行指令使电子设备的处理器执行上述的全景画面编码方法的操作。
如图1所示,该方法包括以下步骤:
步骤110:确定所述全景画面的关键显示位置。
其中,全景画面的关键显示位置为全景画面的关键显示区域的中心位置。全景画面的关键显示区域为全景画面的主要显示区域,例如在舞台全景画面中,关键显示区域为主舞台区域,而天花板、地板以及舞台周边区域不是关键显示区域。进一步的,可以自动识别全景画面的关键显示位置,或者人工指定全景画面的关键显示位置。在确定全景画面的关键显示位置之前,需要将虚拟现实相机部署在拍摄现场合理位置,首先通过虚拟显示相机采集多个不同方位的画面,再通过渲染技术将多个不同方位的画面缝合叠加,合成为球幕形式的全景画面。虚拟显示相机可以包括多个镜头,不同镜头用于采集不同方位的画面。虚拟显示相机例如可以包括4~8个镜头。进一步的,可以在虚拟现实相机的拍摄软件中,增加关键显示位置标定功能,设置关键显示位置的标定线,将标定线指向主要拍摄区域,如比赛赛场、表演舞台或景区主景观区域等,拍摄软件结合初始三维坐标,自动记录下关键显示位置的三维坐标M(x,y,z),该三维坐标M(x,y,z)即为全景画面的关键显示位置。
其中,在确定全景画面的关键显示位置之前,可以通过虚拟现实渲染服务器或渲染芯片对全景画面沿经线进行常规展开,得到常规平面画面。该常规平面画面用于进行画面调整、构图参考、预览监看。
步骤120:对所述全景画面进行旋转,以将所述关键显示位置旋转至所述全景画面的极点位置。
其中,在对全景画面进行旋转时,可以根据关键显示位置确定对全景画面进行旋转的旋转轴、旋转角度及旋转方向,根据旋转轴、旋转角度及旋转方向对全景画面进行旋转,以将关键显示位置旋转至全景画面的极点位置。进一步的,可以将关键显示位置、全景画面的球心以及全景画面的北极点位置共同所在的平面确定为全景画面的旋转平面,将与旋转平面垂直并且穿过全景画面的球心的轴确定为旋转轴。例如,若关键显示位置对应的三维坐标为M(x,y,z),当三维坐标M(x,y,z)位于第一象限或者第八象限时,旋转平面为过球心、与x-o-y平面正交并且方向为x-o-y平面上x轴正向偏移y轴正向θ角度的平面;当三维坐标M(x,y,z)位于第二象限或者第七象限时,旋转平面为过球心、与x-o-y平面正交并且方向为x-o-y平面上x轴正负偏移y轴正向θ角度的平面;当三维坐标M(x,y,z)位于第三象限或者第六象限时,旋转平面为过球心、与x-o-y平面正交并且方向为x-o-y平面上x轴负向偏移y轴负向θ角度的平面;当三维坐标M(x,y,z)位于第四象限或者第五象限时,旋转平面为过球心、与x-o-y平面正交并且方向为x-o-y平面上x轴正向偏移y轴负向θ角度的平面;θ可以通过如下公式进行确定:
Figure BDA0003311148860000061
图2示出了本发明实施例提供的全景画面的旋转示意图。请参阅图2,关键显示位置的三维坐标M(x,y,z)位于第一象限(x>0,y>0,z>0),旋转平面为图中标灰平面,即三维坐标M(x,y,z)所在平面,夹角θ如图所示,旋转轴为过球心并且与旋转平面正交的直线。
其中,在确定全景画面的旋转方向时,可以首先确定旋转平面所对应的旋转弧,旋转弧为全景画面的球面上与旋转平面相交的圆弧;然后确定旋转弧上从关键显示位置指向极点位置的两条有向弧,进一步确定两条有向球弧中较短的有向弧,将较短的有向弧的指向确定为对全景画面进行旋转的旋转方向。
在一种优选的实施方式中,两条有向弧均指向北极点位置,因此较短的有向弧也指向北极点位置。在确定对全景画面进行旋转的旋转角度时,首先确定关键显示位置的球面坐标(x,y,z);若z>0,即关键显示位置的三维坐标M(x,y,z)位于第一象限、第二象限、第三象限以及第四象限中的任一象限时,则将全景画面的旋转角度
Figure BDA0003311148860000071
确定为
Figure BDA0003311148860000072
若z<0,即关键显示位置的三维坐标M(x,y,z)位于第五象限、第六象限、第七象限以及第八象限中的任一象限时,则将全景画面的旋转角度
Figure BDA0003311148860000073
确定为
Figure BDA0003311148860000074
Figure BDA0003311148860000075
进一步的,根据确定出的旋转方向、旋转轴和旋转角度将全景画面的关键显示位置旋转至全景画面的极点位置之后,可以保存全景画面的旋转信息,该旋转信息可以包括旋转方向、旋转轴和旋转角度。
步骤130:将旋转之后的全景画面展开为平面画面,对所述平面画面进行编码以生成所述全景画面的编码结果。
其中,可以通过等距圆柱投影或正轴等角圆柱投影等投影方式将旋转之后的全景画面展开为平面画面。例如,通过等距圆柱投影将旋转之后的全景画面展开为平面画面时,可以将全景画面的经线w等分,纬线h等分,获得球面网格,再通过直角转换将球面网格转换为平面网格,从而得到平面画面。以虚拟现实相机架设在舞台和观众席中间为例,将旋转之后的全景画面展开为平面画面之后,舞台区和观众区占据平面画面中南北极两侧非常大的面积,天花板和地板在赤道附近占据较小面积,其余部分为观众面对舞台时视野两侧低价值密度区域的环形填充。
其中,可以使用高分辨率、高复杂度和高码率编码方式,对平面画面进行编码封装。在对平面画面进行编码以生成全景画面的编码结果之后,可以获取全景画面的旋转信息,旋转信息包括全景画面的旋转轴、旋转方向和旋转角度;通过SEI((SupplementalEnhancement Information,附加增强信息)技术将旋转信息作为附加增强信息添加至编码结果中,将平面画面的编码结果传输至显示装置进行转码播出。进一步的,还可以使用较低分辨率、较低复杂度和较低码率编码方式,对前述得到的常规平面画面进行编码封装,将常规平面画面的编码结果传输至显示装置进行监播。
本发明实施例中,全景画面的极点位置所在区域为全景画面显示时的像素集中区域,然而,全景画面的极点位置往往并不位于全景画面的关键显示区域,影响关键显示区域的显示效果;在对全景画面进行编码时,首先确定全景画面的关键显示位置,然后基于关键显示位置对全景画面进行旋转,以将关键显示位置旋转至全景画面的极点位置,最后将旋转之后的全景画面展开为平面画面,对平面画面进行编码以生成全景画面的编码结果。上述实施例中,通过将全景画面的关键显示位置旋转至极点位置,可以使全景画面的关键显示区域具有较好的显示效果。
图3示出了本发明实施例全景画面编码装置的结构示意图。如图3所示,该装置200包括:确定模块210、旋转模块220和生成模块230。
其中,确定模块210用于确定所述全景画面的关键显示位置;旋转模块220用于对所述全景画面进行旋转,以将所述关键显示位置旋转至所述全景画面的极点位置;生成模块230用于将旋转之后的全景画面展开为平面画面,对所述平面画面进行编码以生成所述全景画面的编码结果。
在一种可选的方式中,旋转模块220用于:
根据所述关键显示位置确定对所述全景画面进行旋转的旋转轴、旋转角度及旋转方向;
根据所述旋转轴、所述旋转角度及所述旋转方向对所述全景画面进行旋转,以将所述关键显示位置旋转至所述全景画面的极点位置。
在一种可选的方式中,旋转模块220用于:
将所述关键显示位置、所述全景画面的球心以及所述全景画面的北极点位置共同所在的平面确定为所述全景画面的旋转平面;
将与所述旋转平面垂直并且穿过所述全景画面的球心的轴确定为所述旋转轴。
在一种可选的方式中,旋转模块220用于:
确定所述旋转平面所对应的旋转弧,其中,所述旋转弧为所述全景画面的球面上与所述旋转平面相交的圆弧;
确定所述旋转弧上从所述关键显示位置指向极点位置的两条有向弧;
确定所述两条有向球弧中较短的有向弧;
将所述较短的有向弧的指向确定为所述旋转方向。
在一种可选的方式中,旋转模块320用于:
确定所述关键显示位置的球面坐标(x,y,z);
若z>0,则将所述全景画面的旋转角度确定为
Figure BDA0003311148860000091
若z<0,则将所述全景画面的旋转角度确定为
Figure BDA0003311148860000092
在一种可选的方式中,装置200还包括添加模块,用于在所述对所述平面画面进行编码以生成所述全景画面的编码结果之后,获取所述全景画面的旋转信息,其中,所述旋转信息包括所述全景画面的旋转轴、旋转方向和旋转角度;
将所述旋转信息作为附加增强信息添加至所述编码结果中。
本发明实施例中,全景画面的极点位置所在区域为全景画面显示时的像素集中区域,然而,全景画面的极点位置往往并不位于全景画面的关键显示区域,影响关键显示区域的显示效果;在对全景画面进行编码时,首先确定全景画面的关键显示位置,然后基于关键显示位置对全景画面进行旋转,以将关键显示位置旋转至全景画面的极点位置,最后将旋转之后的全景画面展开为平面画面,对平面画面进行编码以生成全景画面的编码结果。上述实施例中,通过将全景画面的关键显示位置旋转至极点位置,可以使全景画面的关键显示区域具有较好的显示效果。
图4示出了本发明实施例全景画面显示系统的结构示意图。如图4所示,该系统300包括上述实施例中的编码装置310和显示装置320。
其中,编码装置310用于将所述全景画面的编码结果发送给显示装置320,显示装置320用于对所述全景画面的编码结果进行解码,并显示解码之后的全景画面。
进一步的,显示装置320对全景画面的编码结果进行解码之后,可以通过逆等距圆柱投影等逆投影技术将解码之后的平面画面还原为全景画面。从解码之后的附加增强信息中读取编码装置310对全景画面进行旋转的旋转轴、旋转方向及旋转角度,对还原后的全景画面进行反旋转,将全景画面的关键显示位置旋转回初始位置,并对反旋转之后的全景画面进行播放显示。
图5示出了本发明实施例提供的全景画面的显示效果示意图。请参阅图5,本发明实施例提供的全景画面在显示时,舞台、观众区等主要显示区域占据南北极较大的显示区域,天花板、地板以及舞台侧面等非主要显示区域占据赤道附件较小的显示区域。
本发明实施例中,全景画面显示系统的编码装置可以将全景画面的关键显示位置旋转至全景画面的极点位置,将旋转之后的全景画面展开为平面画面,对平面画面进行编码以生成全景画面的编码结果,并将编码结果发送给显示装置,显示装置可以对编码装置发送的编码结果进行解码,并显示解码之后的全景画面。通过上述方式,显示装置显示的全景画面中有效显示区域占据较大的显示面积,无效显示区域占据较小的显示面积,本发明实施例在不改变编码消耗的情况下,可以大幅提高全景画面的显示质量,提高全景画面的可观赏性。
图6示出了本发明实施例电子设备结构示意图,本发明具体实施例并不对电子设备的具体实现做限定。
如图6所示,该电子设备可以包括:处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中:处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。通信接口404,用于与其它设备比如客户端或其它服务器等的网元通信。处理器402,用于执行程序410,具体可以执行上述用于全景画面编码方法实施例中的相关步骤。
具体地,程序410可以包括程序代码,该程序代码包括计算机可执行指令。
处理器402可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器406,用于存放程序410。存储器406可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序410具体可以被处理器402调用使电子设备执行以下操作:
确定所述全景画面的关键显示位置;
对所述全景画面进行旋转,以将所述关键显示位置旋转至所述全景画面的极点位置;
将旋转之后的全景画面展开为平面画面,对所述平面画面进行编码以生成所述全景画面的编码结果。
在一种可选的方式中,所述程序410被处理器402调用使电子设备执行以下操作:
根据所述关键显示位置确定对所述全景画面进行旋转的旋转轴、旋转角度及旋转方向;
根据所述旋转轴、所述旋转角度及所述旋转方向对所述全景画面进行旋转,以将所述关键显示位置旋转至所述全景画面的极点位置。
在一种可选的方式中,所述程序410被处理器402调用使电子设备执行以下操作:
将所述关键显示位置、所述全景画面的球心以及所述全景画面的北极点位置共同所在的平面确定为所述全景画面的旋转平面;
将与所述旋转平面垂直并且穿过所述全景画面的球心的轴确定为所述旋转轴。
在一种可选的方式中,所述程序410被处理器402调用使电子设备执行以下操作:
确定所述旋转平面所对应的旋转弧,其中,所述旋转弧为所述全景画面的球面上与所述旋转平面相交的圆弧;
确定所述旋转弧上从所述关键显示位置指向极点位置的两条有向弧;
确定所述两条有向球弧中较短的有向弧;
将所述较短的有向弧的指向确定为所述旋转方向。
在一种可选的方式中,所述两条有向弧指向北极点位置,所述程序410被处理器402调用使电子设备执行以下操作确定所述关键显示位置的球面坐标(x,y,z);
若z>0,则将所述全景画面的旋转角度确定为
Figure BDA0003311148860000121
若z<0,则将所述全景画面的旋转角度确定为
Figure BDA0003311148860000122
在一种可选的方式中,所述程序410被处理器402调用使电子设备执行以下操作:在所述对所述平面画面进行编码以生成所述全景画面的编码结果之后,获取所述全景画面的旋转信息,其中,所述旋转信息包括所述全景画面的旋转轴、旋转方向和旋转角度;
将所述旋转信息作为附加增强信息添加至所述编码结果中。
本发明实施例中,全景画面的极点位置所在区域为全景画面显示时的像素集中区域,然而,全景画面的极点位置往往并不位于全景画面的关键显示区域,影响关键显示区域的显示效果;在对全景画面进行编码时,首先确定全景画面的关键显示位置,然后基于关键显示位置对全景画面进行旋转,以将关键显示位置旋转至全景画面的极点位置,最后将旋转之后的全景画面展开为平面画面,对平面画面进行编码以生成全景画面的编码结果。上述实施例中,通过将全景画面的关键显示位置旋转至极点位置,可以使全景画面的关键显示区域具有较好的显示效果。
本发明实施例提供了一种计算机可读存储介质,所述存储介质存储有至少一可执行指令,该可执行指令在电子设备上运行时,使得所述电子设备执行上述任意方法实施例中的全景画面编码方法。
本发明实施例提供一种全景画面编码装置,用于执行上述全景画面编码方法。
本发明实施例提供了一种计算机程序,所述计算机程序可被处理器调用使电子设备执行上述任意方法实施例中的全景画面编码方法。
本发明实施例提供了一种计算机程序产品,计算机程序产品包括存储在计算机可读存储介质上的计算机程序,计算机程序包括程序指令,当程序指令在计算机上运行时,使得所述计算机执行上述任意方法实施例中的全景画面编码方法。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。
本领域技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。

Claims (10)

1.一种全景画面编码方法,其特征在于,所述方法包括:
确定所述全景画面的关键显示位置;
对所述全景画面进行旋转,以将所述关键显示位置旋转至所述全景画面的极点位置;
将旋转之后的全景画面展开为平面画面,对所述平面画面进行编码以生成所述全景画面的编码结果。
2.根据权利要求1所述的方法,其特征在于,所述对所述全景画面进行旋转包括:
根据所述关键显示位置确定对所述全景画面进行旋转的旋转轴、旋转角度及旋转方向;
根据所述旋转轴、所述旋转角度及所述旋转方向对所述全景画面进行旋转,以将所述关键显示位置旋转至所述全景画面的极点位置。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
将所述关键显示位置、所述全景画面的球心以及所述全景画面的北极点位置共同所在的平面确定为所述全景画面的旋转平面;
将与所述旋转平面垂直并且穿过所述全景画面的球心的轴确定为所述旋转轴。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
确定所述旋转平面所对应的旋转弧,其中,所述旋转弧为所述全景画面的球面上与所述旋转平面相交的圆弧;
确定所述旋转弧上从所述关键显示位置指向极点位置的两条有向弧;
确定所述两条有向球弧中较短的有向弧;
将所述较短的有向弧的指向确定为所述旋转方向。
5.根据权利要求4所述的方法,其特征在于,所述两条有向弧指向北极点位置,所述方法还包括:
确定所述关键显示位置的球面坐标(x,y,z);
若z>0,则将所述全景画面的旋转角度确定为
Figure FDA0003311148850000021
若z<0,则将所述全景画面的旋转角度确定为
Figure FDA0003311148850000022
6.根据权利要求1所述的方法,其特征在于,在所述对所述平面画面进行编码以生成所述全景画面的编码结果之后,所述方法还包括:
获取所述全景画面的旋转信息,其中,所述旋转信息包括所述全景画面的旋转轴、旋转方向和旋转角度;
将所述旋转信息作为附加增强信息添加至所述编码结果中。
7.一种全景画面编码装置,其特征在于,所述装置包括:
确定模块,用于确定所述全景画面的关键显示位置;
旋转模块,用于对所述全景画面进行旋转,以将所述关键显示位置旋转至所述全景画面的极点位置;
生成模块,用于将旋转之后的全景画面展开为平面画面,对所述平面画面进行编码以生成所述全景画面的编码结果。
8.一种全景画面显示系统,其特征在于,所述系统包括显示装置和如权利要求7所述的编码装置:
所述编码装置用于将所述全景画面的编码结果发送给所述显示装置,所述显示装置用于对所述全景画面的编码结果进行解码,并显示解码之后的全景画面。
9.一种电子设备,其特征在于,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-6任意一项所述的全景画面编码方法的操作。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一可执行指令,所述可执行指令在电子设备上运行时,使得电子设备执行如权利要求1-6任意一项所述的全景画面编码方法的操作。
CN202111217212.1A 2021-10-19 2021-10-19 全景画面编码方法、装置、显示系统及电子设备 Pending CN113992917A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111217212.1A CN113992917A (zh) 2021-10-19 2021-10-19 全景画面编码方法、装置、显示系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111217212.1A CN113992917A (zh) 2021-10-19 2021-10-19 全景画面编码方法、装置、显示系统及电子设备

Publications (1)

Publication Number Publication Date
CN113992917A true CN113992917A (zh) 2022-01-28

Family

ID=79739396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111217212.1A Pending CN113992917A (zh) 2021-10-19 2021-10-19 全景画面编码方法、装置、显示系统及电子设备

Country Status (1)

Country Link
CN (1) CN113992917A (zh)

Similar Documents

Publication Publication Date Title
US10356386B2 (en) Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
US11057643B2 (en) Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
CN106803884B (zh) 图像处理装置
CN110268711B (zh) 用于编码宽视图视频的球面旋转的方法及装置
ES2886637T3 (es) Método y aparato de compresión de imagen panorámica
CN110073662A (zh) 全景视频的建议视口指示
US10325391B2 (en) Oriented image stitching for spherical image content
CN107924556B (zh) 图像生成装置和图像显示控制装置
JP2004187298A (ja) パノラマ画像および全方位画像の描画および符号化
JP2019530296A (ja) 回転情報のシンタックス要素シグナリングを備えたビデオエンコーディング機能を有する方法及び装置、並びに関連するビデオデコーディング機能を有する方法及び装置
KR20190125526A (ko) 사용자 움직임 정보에 기초하여 영상을 표시하기 위한 방법 및 장치
US10825229B2 (en) Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in triangle-based projection layout
US20210289187A1 (en) Apparatus and method for selecting camera providing input images to synthesize virtual view images
CN111815752B (zh) 图像处理方法、装置和电子设备
CN111862240B (zh) 全景相机及其标定方法、全景图像的拼接方法及存储介质
WO2019037558A1 (zh) 图像处理方法和装置
EP3573018A1 (en) Image generation device, and image display control device
CN113992917A (zh) 全景画面编码方法、装置、显示系统及电子设备
CN110771165A (zh) 图像处理方法和设备
CN112218110B (zh) Vr全景视频的传输方法、装置、服务器及交互系统
US10922783B2 (en) Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis
JP7415544B2 (ja) 撮影システム及び撮影方法
Tsai et al. The gentle spherical panorama image construction for the web navigation system
US11388336B2 (en) Horizontal calibration method and system for panoramic image or video, and portable terminal
WO2019157923A1 (zh) 一种环境贴图映射方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination