CN106060570B - 一种全景视频图像播放、编码方法及装置 - Google Patents

一种全景视频图像播放、编码方法及装置 Download PDF

Info

Publication number
CN106060570B
CN106060570B CN201610512251.7A CN201610512251A CN106060570B CN 106060570 B CN106060570 B CN 106060570B CN 201610512251 A CN201610512251 A CN 201610512251A CN 106060570 B CN106060570 B CN 106060570B
Authority
CN
China
Prior art keywords
fragment
video image
full
view video
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610512251.7A
Other languages
English (en)
Other versions
CN106060570A (zh
Inventor
闻磊
朱洲
王巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201610512251.7A priority Critical patent/CN106060570B/zh
Publication of CN106060570A publication Critical patent/CN106060570A/zh
Application granted granted Critical
Publication of CN106060570B publication Critical patent/CN106060570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

本发明实施例公开了一种全景视频图像播放、编码方法及装置，将全景视频图像映射到其对应球体的内接多面体，得到多个分片，对每个分片进行编码，得到各个分片的编码数据，进而得到该全景视频图像的编码数据。对该全景视频图像进行播放时，根据用户的观看视角，确定目标分片，从该全景视频图像的编码数据中获得目标分片的编码数据，也就是说，当播放该全景视频图像时，仅对目标分片的编码数据进行播放，而不是播放360度空间的所有观看角度的视频资源，减少了播放全景视频图像时占用的系统资源、带宽及消耗的电量。

Description

一种全景视频图像播放、编码方法及装置
技术领域
本发明涉及多媒体技术领域，特别涉及一种全景视频图像播放、编码方法及装置。
背景技术
随着科技的不断发展，全景视频已在诸多领域发挥出巨大价值和优势。全景视频可以在拍摄角度左右上下360度任意角度观看，让用户有一种身临其境的感觉。
但是，在播放全景视频图像的过程中，全景视频图像提供的是360度空间的所有观看角度的视频资源，因此，播放全景视频图像会占用大量系统资源、占用很大的带宽，另外，还会引起电量消耗过大等问题。
发明内容
本发明实施例的目的在于提供一种全景视频图像播放、编码方法及装置，减少播放全景视频图像时占用的系统资源、带宽及消耗的电量。
为达到上述目的，本发明实施例公开了一种全景视频图像播放方法，包括：
确定用户的观看视角；
根据所述观看视角确定待播放全景视频图像的目标分片，其中，分片为所述待播放全景视频图像在目标模型的各个三角面上的映射图像，所述目标模型为所述全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面；
从所述待播放全景视频图像的编码数据中获得所述目标分片的编码数据，其中，所述待播放全景视频图像的编码数据是由分片的编码数据构成的；
播放所述目标分片的编码数据。
可选的，所述播放所述目标分片的编码数据，可以包括：
对所述目标分片的编码数据进行解码处理，并对解码后的数据进行平滑处理；
播放平滑处理后的数据。
为达到上述目的，本发明实施例还公开了一种全景视频图像编码方法，包括：
根据目标模型，获得待编码全景视频图像的分片，其中，所述目标模型为所述待编码全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面，所述分片为所述待编码全景视频图像在所述目标模型的各个三角面上的映射图像；
对所获得的每一分片进行编码，得到各个分片的编码数据，进而得到所述待编码全景视频图像的编码数据。
可选的，在所述根据目标模型，获得待编码全景视频图像的分片之前，还可以包括：
根据待编码全景视频图像获得目标模型。
可选的，所述根据待编码全景视频图像获得目标模型，可以包括：
获得待编码全景视频图像中的感兴趣区域；
以第一类三角形构建所述感兴趣区域对应的目标模型区域，并以第二类三角形构建所述待编码全景视频图像的非感兴趣区域对应的目标模型区域，其中，所述第一类三角形的面积小于所述第二类三角形的面积。
可选的，所述对所获得的每一分片进行编码，可以包括：
获得待编码全景视频图像中的感兴趣区域；
以第一编码码率对所获得的分片中对应于所述感兴趣区域的分片进行编码，并以第二编码码率对所获得的分片中对应于所述待编码全景视频图像非感兴趣区域的分片进行编码，其中，所述第一编码码率大于所述第二编码码率。
可选的，所述对所获得的每一分片进行编码，得到各个分片的编码数据，可以包括：
按照以下方式获得所获得的每一分片的编码数据：
计算源分片与所述源分片在预设时段内已编码全景视频图像中对应的目标分片之间的差异程度，其中，所述源分片为所获得分片中的任一分片；
判断计算得到的差异程度是否均大于预设阈值；
若为是，对所述源分片进行编码，得到所述源分片的编码数据；
否则，从差异程度不大于所述预设阈值的目标分片中选择一个分片，并将所选择分片的解码后数据确定为所述源分片的解码后数据，并根据所选择的分片获得所述源分片的编码数据。
为达到上述目的，本发明实施例还公开了一种全景视频播放装置，包括：
第一确定模块，用于确定用户的观看视角；
第二确定模块，用于根据所述观看视角确定待播放全景视频图像的目标分片，其中，分片为所述待播放全景视频图像在目标模型的各个三角面上的映射图像，所述目标模型为所述全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面；
第一获得模块，用于从所述待播放全景视频图像的编码数据中获得所述目标分片的编码数据，其中，所述待播放全景视频图像的编码数据是由分片的编码数据构成的；
播放模块，用于播放所述目标分片的编码数据。
可选的，所述播放模块，具体可以用于：
对所述目标分片的编码数据进行解码处理，并对解码后的数据进行平滑处理；播放平滑处理后的数据。
为达到上述目的，本发明实施例还公开了一种全景视频图像编码装置，包括：
第二获得模块，用于根据目标模型，获得待编码全景视频图像的分片，其中，所述目标模型为所述待编码全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面，所述分片为所述待编码全景视频图像在所述目标模型的各个三角面上的映射图像；
第一编码模块，用于对所获得的每一分片进行编码，得到各个分片的编码数据，进而得到所述待编码全景视频图像的编码数据。
可选的，还可以包括：
第三获得模块，用于根据待编码全景视频图像获得目标模型。
可选的，所述第三获得模块，具体可以用于：
获得待编码全景视频图像中的感兴趣区域；
以第一类三角形构建所述感兴趣区域对应的目标模型区域，并以第二类三角形构建所述待编码全景视频图像的非感兴趣区域对应的目标模型区域，其中，所述第一类三角形的面积小于所述第二类三角形的面积。
可选的，所述第一编码模块，具体可以用于：
获得待编码全景视频图像中的感兴趣区域；
以第一编码码率对所获得的分片中对应于所述感兴趣区域的分片进行编码，并以第二编码码率对所获得的分片中对应于所述待编码全景视频图像非感兴趣区域的分片进行编码，其中，所述第一编码码率大于所述第二编码码率。
可选的，还可以包括：
计算模块，用于计算源分片与所述源分片在预设时段内已编码全景视频图像中对应的目标分片之间的差异程度，其中，所述源分片为所获得分片中的任一分片；
判断模块，用于判断所述计算模块计算得到的差异程度是否均大于预设阈值，若为是，触发第二编码模块，否则，触发第三确定模块；
第二编码模块，用于对所述源分片进行编码，得到所述源分片的编码数据；
第三确定模块，用于从差异程度不大于所述预设阈值的目标分片中选择一个分片，并将所选择分片的解码后数据确定为所述源分片的解码后数据，并根据所选择的分片获得所述源分片的编码数据。
由上述技术方案可见，应用本发明实施例，将待播放全景视频图像映射到其对应球体的内接多面体，得到多个分片，根据用户的观看视角，确定目标分片，从待播放全景视频图像的编码数据中获得目标分片的编码数据，也就是说，当播放该全景视频图像时，仅对目标分片的编码数据进行播放，而不是播放360度空间的所有观看角度的视频资源，减少了播放全景视频图像时占用的系统资源、带宽及消耗的电量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种全景视频图像播放方法的流程示意图；
图2为本发明实施例中提供的目标模型示意图；
图3为本发明实施例提供的一种全景视频图像编码方法的流程示意图；
图4为本发明实施例提供的一种全景视频图像播放装置的结构示意图；
图5为本发明实施例提供的一种全景视频图像编码装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术问题，本发明实施例提供了一种全景视频图像播放、编码方法及装置。下面首先对本发明实施例提供的全景视频图像播放方法进行详细说明。
图1为本发明实施例提供的一种全景视频图像播放方法的流程示意图，包括：
S101：确定用户的观看视角。
在一定时间内人头部转动只能是一段范围的转动，因此，可以针对当前头部位置、以及未来t时间内的转动范围R，确定用户的观看视角。
本领域技术人员可以理解的是，全景视频图像一般展示在一个球体的球体表面，确定用户的观看视角也就是确定用户能观看到的图像区域在该球体表面上的位置。
S102：根据所述观看视角确定待播放全景视频图像的目标分片，其中，分片为所述待播放全景视频图像在目标模型的各个三角面上的映射图像，所述目标模型为所述全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面。
在本发明实施例中，将待播放全景视频图像对应球体的内接多面体确定为目标模型，该目标模型可以如图2所示，每一表面为三角面。将待播放全景视频图像映射到该目标模型上，每一个三角面对应一小块图像区域，每小块图像区域即为一个分片。将曲面上的图像区域映射到三角面上，得到的分片会不平滑。如图2所示，目标模型中的三角面面积越大，也就是目标模型中包含的三角面越少，目标模型与球体之间的误差越大，待播放全景视频图像映射得到的分片越不平滑，失真情况越强；相反，目标模型中的三角面面积越小，也就是目标模型中包含的三角面越多，目标模型与球体之间的误差越小，越接近于球体，待播放全景视频图像映射得到的分片与球体上原有图像区域差别越小，越平滑。
另外，目标模型所包含的三角面的大小可以全部相同，也可以不全部相同。
根据上述确定的用户的观看视角，也即用户能观看到的图像区域在该球体上的位置，确定该位置对应的分片，即确定目标分片。具体过程可以为，将用户能观看到的图像区域在该球体表面上的位置对应到目标模型上，便能确定对应的多个三角面，将对应的三角面上的映射图像区域确定为目标分片。
S103：从所述待播放全景视频图像的编码数据中获得所述目标分片的编码数据，其中，所述待播放全景视频图像的编码数据是由分片的编码数据构成的。
在本发明实施例中，待播放全景视频图像对应的所有分片的编码数据构成该待播放全景视频图像的编码数据。因此，能从该待播放全景视频图像的编码数据中获得目标分片的编码数据。
S104：播放所述目标分片的编码数据。
在本实施例中，S104可以包括：
对所述目标分片的编码数据进行解码处理，并对解码后的数据进行平滑处理；播放平滑处理后的数据。
如前所述，将全景视频图像映射到目标模型中，映射到三角面的图像区域会出现不平滑甚至失真的情况，因此，在对目标分片的编码数据进行解码处理后，可以对解码后的数据进行平滑处理，播放平滑处理后的数据，以提高视频观看效果。
应用本发明图1所示实施例，将待播放全景视频图像映射到其对应球体的内接多面体，得到多个分片，根据用户的观看视角，确定目标分片，从待播放全景视频图像的编码数据中获得目标分片的编码数据，也就是说，当播放该全景视频图像时，仅对目标分片的编码数据进行播放，而不是播放360度空间的所有观看角度的视频资源，减少了播放全景视频图像时占用的系统资源、带宽及消耗的电量。
相对应的，本发明实施例还提供一种全景视频图像编码方法，如图3所示，包括：
S201：根据目标模型，获得待编码全景视频图像的分片，其中，所述目标模型为所述待编码全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面，所述分片为所述待编码全景视频图像在所述目标模型的各个三角面上的映射图像。
本领域技术人员可以理解的是，全景视频图像一般展示在一个球体的球体表面，该球体的内接多面体可以如图2中所示，每一表面为三角面。将该内接多面体确定为目标模型，将待编码全景视频图像映射到目标模型上，每一个三角面对应一小块映射图像，每小块映射图像即为一个分片。
作为本发明的一种实施方式，目标模型可以是预先设定的，针对每一帧待编码全景视频图像都应用设定好的目标模型。
在本实施例中，目标模型中的每个三角面的面积可以相同，也可以不同。目标模型中的三角面面积越大，也就是目标模型中包含的三角面越少，目标模型与球体之间的误差越大，待播放全景视频图像映射得到的分片越不平滑，失真情况越强；相反，目标模型中的三角面面积越小，也就是目标模型中包含的三角面越多，目标模型与球体之间的误差越小，越接近于球体，待播放全景视频图像映射得到的分片与球体上原有图像区域差别越小，越平滑。
另外，对于用户而言，图像可以分为感兴趣区域和非感兴趣区域，一般用户对感兴趣区域的图像质量比较敏感、关注度较高，而对非感兴趣区域的图像质量不是很敏感、关注度较低。基于上述情况，为提高用户体验，可以将单位面积的感兴趣区域划分为较多的三角面，也就是将感兴趣区域划分为面积较小的三角面，以使得感兴趣区域的图像质量较佳，比如，可以认为图像中心区域为感兴趣区域，图像中心区域对应的三角面的面积可以比图像其他区域对应的三角面的面积小。也就是说，可以对图像中心区域使用更多的三角面进行细分，以实现在播放该全景视频图像时，在图像中心区域获得更高的清晰度。
作为本发明的另一种实施方式，可以根据待编码全景视频图像获得目标模型：
首先获得待编码全景视频图像中的感兴趣区域；
然后以第一类三角形构建所述感兴趣区域对应的目标模型区域，并以第二类三角形构建所述待编码全景视频图像的非感兴趣区域对应的目标模型区域，其中，所述第一类三角形的面积小于所述第二类三角形的面积。
在本实施例中，感兴趣区域的获得可以采用复杂度算法获得，可以认为复杂度较高的区域为感兴趣区域。感兴趣区域对应的目标模型区域的三角面的面积比非感兴趣区域对应的目标模型区域的三角面的面积要小，也就是说，可以对感兴趣区域使用更多的三角面进行细分，以实现在播放该全景视频图像时，在感兴趣区域获得更高的清晰度。
S202：对所获得的每一分片进行编码，得到各个分片的编码数据，进而得到所述待编码全景视频图像的编码数据。
编码技术为现有技术，在此不做赘述。
在本实施例中，对所获得的每一分片进行编码时，也可以获得待编码全景视频图像中的感兴趣区域；以第一编码码率对所获得的分片中对应于所述感兴趣区域的分片进行编码，并以第二编码码率对所获得的分片中对应于所述待编码全景视频图像非感兴趣区域的分片进行编码，其中，所述第一编码码率大于所述第二编码码率。
如前所述，感兴趣区域的获得可以采用复杂度算法，可以认为复杂度较高的区域为感兴趣区域。当然也可以采用预先设定的方法，比如将图像中心区域设定为感兴趣区域。
针对感兴趣区域采用的编码码率高于针对非感兴趣区域采用的编码码率，以实现在播放该全景视频图像时，在感兴趣区域获得更高的清晰度。
作为本发明的一种实施方式，对所获得的每一分片进行编码，得到各个分片的编码数据，可以按照以下方式获得所获得的每一分片的编码数据：
计算源分片与所述源分片在预设时段内已编码全景视频图像中对应的目标分片之间的差异程度，其中，所述源分片为所获得分片中的任一分片；
判断计算得到的差异程度是否均大于预设阈值；
若为是，对所述源分片进行编码，得到所述源分片的编码数据；
否则，从差异程度不大于所述预设阈值的目标分片中选择一个分片，并将所选择分片的解码后数据确定为所述源分片的解码后数据，并根据所选择的分片获得所述源分片的编码数据。
上述预设时段对应的时长可以根据实际应用情况确定，例如，40毫秒、80毫秒、100毫秒等等。另外，上述预设时段可以理解为：当前时刻之前一定时长，相应的，上述预设时段内已编码全景视频图像可以包含一张全景视频图像也可以包含多张全景视频图像，本申请并不对此进行限定。
作为本发明的一种实施方式，预设时段内已编码全景视频图像根据相同的目标模型获得分片，多张已编码全景视频图像映射到该目标模型的同一三角面上的分片之间存在空间对应关系。因此，可以在预设时段内的多张已编码全景视频图像中，将与源分片映射到目标模型的同一三角面上的分片确定为源分片对应的目标分片。
作为本发明的另一种实施方式，也可以在预设时段内已编码全景视频图像包含的分片中进行查找，查找与源图片差异程度最小的分片，将查找到的分片确定为源分片对应的目标分片。
需要说明的是，源分片为所获得分片中的任一分片，为了与目标分片进行区分，将其称之为源分片。
利用计算机视觉的相关算法，计算源分片与源分片对应的目标分片之间的差异程度，并判断计算得到的差异程度是否均大于预设阈值。如果是，说明在预设时段内源分片发生了明显的变化，对源分片进行常规编码。如果否，说明在预设时段内源分片未发生明显的变化，为节省编码时间，提高编码效率，可以不再对源分片进行常规编码，而是从差异程度不大于所述预设阈值的目标分片中选择一个分片，根据所选择分片的标识信息生成源分片的编码数据。
可以理解的是，当对源分片进行解码播放时，首先根据源分片的编码数据获得上述所选择分片的标识信息，然后根据所获得的标识信息从已解码数据中获得所选择分片的解码后数据，这表示源分片的解码后数据为所选择分片的解码后数据，对所选择分片的解码后数据进行播放。由于在编码过程中已确认上述源分片与上述所选择分片之间的差异程度较小，所以采用上述所选择分片的解码后数据作为上述源分片的解码后数据一般不会影响图像的主观质量。
举例来说，假设全景视频拍摄的是舞台表演的画面，可以理解的是，在该画面中，天花板及观众区域基本处于静止状态，而舞台区域的画面内容变化较大。也就是说，对于预设时段内的多张全景视频图像来说，天花板及观众区域对应的分片未发生明显的变化，而舞台区域对应的分片发生的变化较明显。因此，对舞台区域对应的分片进行常规编码，而对天花板及观众区域对应的分片，可以只对预设时段内的一张全景视频图像中的分片进行常规编码，该预设时段内的其他全景视频图像中天花板及观众区域对应的分片的编码数据均根据上述常规编码的分片的标识信息生成。也就是说，当对其他全景视频图像中天花板及观众区域对应的分片进行解码播放时，将上述常规编码的分片的解码后数据确定为其他全景视频图像中天花板及观众区域对应的分片的解码后数据，播放上述常规编码的分片的解码后数据。也可以理解为，直接使用单张图片来代替多张全景视频图像中天花板及观众区域对应的分片。
应用这种方案，对于预设时段内变化不大的源分片，直接将差异程度小的分片的解码后数据确定为源分片的解码后数据，减少了对这些源分片进行运动搜索、运动估计等过程，简化了编码过程；另一方面，这些源分片的编码数据仅仅为根据差异程度小的分片的标识信息生成的数据，这样减小了源分片的编码数据所包含的数据量，进而在进行视频传输时，可以占用较少的网络资源；再一方面，对上述源分片进行解码播放时，由于上述差异程度小的分片已完成解码，所以可以直接将上述差异程度小的分片的解码后数据确定为源分片的解码后数据，简化了解码过程，提高了解码速度，同时也减少了解码过程所需要的硬件资源。
应用本发明图3所示实施例，将待编码全景视频图像映射到其对应球体的内接多面体，得到多个分片，对每一分片进行编码，得到各个分片的编码数据，进而得到待编码全景视频图像的编码数据，从而实现播放该全景视频图像时，仅对用户观看视角范围内的部分分片的编码数据进行播放，而不是播放360度空间的所有观看角度的视频资源，减少了播放全景视频图像时占用的系统资源、带宽及消耗的电量。
与上述的方法实施例相对应，本发明实施例还提供一种全景视频图像播放、编码装置。
图4为本发明实施例提供的一种全景视频图像播放装置的结构示意图，包括：
第一确定模块301，用于确定用户的观看视角；
第二确定模块302，用于根据所述观看视角确定待播放全景视频图像的目标分片，其中，分片为所述待播放全景视频图像在目标模型的各个三角面上的映射图像，所述目标模型为所述全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面；
第一获得模块303，用于从所述待播放全景视频图像的编码数据中获得所述目标分片的编码数据，其中，所述待播放全景视频图像的编码数据是由分片的编码数据构成的；
播放模块304，用于播放所述目标分片的编码数据。
在本发明所示实施例中，播放模块304，具体可以用于：
对所述目标分片的编码数据进行解码处理，并对解码后的数据进行平滑处理；播放平滑处理后的数据。
应用本发明图4所示实施例，将待播放全景视频图像映射到其对应球体的内接多面体，得到多个分片，根据用户的观看视角，确定目标分片，从待播放全景视频图像的编码数据中获得目标分片的编码数据，也就是说，当播放该全景视频图像时，仅对目标分片的编码数据进行播放，而不是播放360度空间的所有观看角度的视频资源，减少了播放全景视频图像时占用的系统资源、带宽及消耗的电量。
图5为本发明实施例提供的一种全景视频图像编码装置的结构示意图，包括：
第二获得模块401，用于根据目标模型，获得待编码全景视频图像的分片，其中，所述目标模型为所述待编码全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面，所述分片为所述待编码全景视频图像在所述目标模型的各个三角面上的映射图像；
第一编码模块402，用于对所获得的每一分片进行编码，得到各个分片的编码数据，进而得到所述待编码全景视频图像的编码数据。
在本发明所示实施例中，还可以包括：
第三获得模块(图中未示出)，用于根据待编码全景视频图像获得目标模型。
在本发明所示实施例中，第三获得模块，具体可以用于：
获得待编码全景视频图像中的感兴趣区域；
以第一类三角形构建所述感兴趣区域对应的目标模型区域，并以第二类三角形构建所述待编码全景视频图像的非感兴趣区域对应的目标模型区域，其中，所述第一类三角形的面积小于所述第二类三角形的面积。
在本发明所示实施例中，第一编码模块402，具体可以用于：
获得待编码全景视频图像中的感兴趣区域；
以第一编码码率对所获得的分片中对应于所述感兴趣区域的分片进行编码，并以第二编码码率对所获得的分片中对应于所述待编码全景视频图像非感兴趣区域的分片进行编码，其中，所述第一编码码率大于所述第二编码码率。
在本发明所示实施例中，还可以包括：计算模块、判断模块第二编码模块和第三确定模块(图中未示出)，其中，
计算模块，用于计算源分片与所述源分片在预设时段内已编码全景视频图像中对应的目标分片之间的差异程度，其中，所述源分片为所获得分片中的任一分片；
判断模块，用于判断所述计算模块计算得到的差异程度是否均大于预设阈值，若为是，触发第二编码模块，否则，触发第三确定模块；
第二编码模块，用于对所述源分片进行编码，得到所述源分片的编码数据；
第三确定模块，用于从差异程度不大于所述预设阈值的目标分片中选择一个分片，并将所选择分片的解码后数据确定为所述源分片的解码后数据，并根据所选择的分片获得所述源分片的编码数据。
应用本发明图5所示实施例，将待编码全景视频图像映射到其对应球体的内接多面体，得到多个分片，对每一分片进行编码，得到各个分片的编码数据，进而得到待编码全景视频图像的编码数据，从而实现播放该全景视频图像时，仅对用户观看视角范围内的部分分片的编码数据进行播放，而不是播放360度空间的所有观看角度的视频资源，减少了播放全景视频图像时占用的系统资源、带宽及消耗的电量。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (14)

1.一种全景视频图像播放方法，其特征在于，包括：
确定用户的观看视角；
根据所述观看视角确定待播放全景视频图像的目标分片，其中，分片为所述待播放全景视频图像在目标模型的各个三角面上的映射图像，所述目标模型为所述全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面；
从所述待播放全景视频图像的编码数据中获得所述目标分片的编码数据，其中，所述待播放全景视频图像的编码数据是由分片的编码数据构成的；
播放所述目标分片的编码数据；
其中，按照以下方式对分片进行编码：
计算源分片与所述源分片在预设时段内已编码全景视频图像中对应的目标分片之间的差异程度，其中，所述源分片为所获得分片中的任一分片；
判断计算得到的差异程度是否均大于预设阈值；
若为是，对所述源分片进行编码，得到所述源分片的编码数据；
否则，从差异程度不大于所述预设阈值的目标分片中选择一个分片，并根据所选择的分片获得所述源分片的编码数据。
2.根据权利要求1所述的方法，其特征在于，所述播放所述目标分片的编码数据，包括：
对所述目标分片的编码数据进行解码处理，并对解码后的数据进行平滑处理；
播放平滑处理后的数据。
3.一种全景视频图像编码方法，其特征在于，包括：
根据目标模型，获得待编码全景视频图像的分片，其中，所述目标模型为所述待编码全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面，所述分片为所述待编码全景视频图像在所述目标模型的各个三角面上的映射图像；
对所获得的每一分片进行编码，得到各个分片的编码数据，进而得到所述待编码全景视频图像的编码数据；
其中，所述对所获得的每一分片进行编码，得到各个分片的编码数据，包括：按照以下方式获得所获得的每一分片的编码数据：
计算源分片与所述源分片在预设时段内已编码全景视频图像中对应的目标分片之间的差异程度，其中，所述源分片为所获得分片中的任一分片；
判断计算得到的差异程度是否均大于预设阈值；
若为是，对所述源分片进行编码，得到所述源分片的编码数据；
否则，从差异程度不大于所述预设阈值的目标分片中选择一个分片，并根据所选择的分片获得所述源分片的编码数据。
4.根据权利要求3所述的方法，其特征在于，在所述根据目标模型，获得待编码全景视频图像的分片之前，还包括：
根据待编码全景视频图像获得目标模型。
5.根据权利要求4所述的方法，其特征在于，所述根据待编码全景视频图像获得目标模型，包括：
获得待编码全景视频图像中的感兴趣区域；
以第一类三角形构建所述感兴趣区域对应的目标模型区域，并以第二类三角形构建所述待编码全景视频图像的非感兴趣区域对应的目标模型区域，其中，所述第一类三角形的面积小于所述第二类三角形的面积。
6.根据权利要求3所述的方法，其特征在于，所述对所获得的每一分片进行编码，包括：
获得待编码全景视频图像中的感兴趣区域；
以第一编码码率对所获得的分片中对应于所述感兴趣区域的分片进行编码，并以第二编码码率对所获得的分片中对应于所述待编码全景视频图像非感兴趣区域的分片进行编码，其中，所述第一编码码率大于所述第二编码码率。
7.根据权利要求3所述的方法，其特征在于，在所述从差异程度不大于所述预设阈值的目标分片中选择一个分片之后，还包括：
将所选择分片的解码后数据确定为所述源分片的解码后数据。
8.一种全景视频播放装置，其特征在于，包括：
第一确定模块，用于确定用户的观看视角；
第二确定模块，用于根据所述观看视角确定待播放全景视频图像的目标分片，其中，分片为所述待播放全景视频图像在目标模型的各个三角面上的映射图像，所述目标模型为所述全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面；
第一获得模块，用于从所述待播放全景视频图像的编码数据中获得所述目标分片的编码数据，其中，所述待播放全景视频图像的编码数据是由分片的编码数据构成的；分片的编码过程包括：计算源分片与所述源分片在预设时段内已编码全景视频图像中对应的目标分片之间的差异程度，其中，所述源分片为所获得分片中的任一分片；判断计算得到的差异程度是否均大于预设阈值；若为是，对所述源分片进行编码，得到所述源分片的编码数据；否则，从差异程度不大于所述预设阈值的目标分片中选择一个分片，并根据所选择的分片获得所述源分片的编码数据；
播放模块，用于播放所述目标分片的编码数据。
9.根据权利要求8所述的装置，其特征在于，所述播放模块，具体用于：
对所述目标分片的编码数据进行解码处理，并对解码后的数据进行平滑处理；播放平滑处理后的数据。
10.一种全景视频图像编码装置，其特征在于，包括：
第二获得模块，用于根据目标模型，获得待编码全景视频图像的分片，其中，所述目标模型为所述待编码全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面，所述分片为所述待编码全景视频图像在所述目标模型的各个三角面上的映射图像；
第一编码模块，用于对所获得的每一分片进行编码，得到各个分片的编码数据，进而得到所述待编码全景视频图像的编码数据；
计算模块，用于计算源分片与所述源分片在预设时段内已编码全景视频图像中对应的目标分片之间的差异程度，其中，所述源分片为所获得分片中的任一分片；
判断模块，用于判断所述计算模块计算得到的差异程度是否均大于预设阈值，若为是，触发第二编码模块，否则，触发第三确定模块；
第二编码模块，用于对所述源分片进行编码，得到所述源分片的编码数据；
第三确定模块，用于从差异程度不大于所述预设阈值的目标分片中选择一个分片，并根据所选择的分片获得所述源分片的编码数据。
11.根据权利要求10所述的装置，其特征在于，还包括：
第三获得模块，用于根据待编码全景视频图像获得目标模型。
12.根据权利要求11所述的装置，其特征在于，所述第三获得模块，具体用于：
获得待编码全景视频图像中的感兴趣区域；
以第一类三角形构建所述感兴趣区域对应的目标模型区域，并以第二类三角形构建所述待编码全景视频图像的非感兴趣区域对应的目标模型区域，其中，所述第一类三角形的面积小于所述第二类三角形的面积。
13.根据权利要求10所述的装置，其特征在于，所述第一编码模块，具体用于：
获得待编码全景视频图像中的感兴趣区域；
以第一编码码率对所获得的分片中对应于所述感兴趣区域的分片进行编码，并以第二编码码率对所获得的分片中对应于所述待编码全景视频图像非感兴趣区域的分片进行编码，其中，所述第一编码码率大于所述第二编码码率。
14.根据权利要求10所述的装置，其特征在于，所述第三确定模块，还用于将所选择分片的解码后数据确定为所述源分片的解码后数据。
CN201610512251.7A 2016-06-30 2016-06-30 一种全景视频图像播放、编码方法及装置 Active CN106060570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610512251.7A CN106060570B (zh) 2016-06-30 2016-06-30 一种全景视频图像播放、编码方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610512251.7A CN106060570B (zh) 2016-06-30 2016-06-30 一种全景视频图像播放、编码方法及装置

Publications (2)

Publication Number Publication Date
CN106060570A CN106060570A (zh) 2016-10-26
CN106060570B true CN106060570B (zh) 2019-06-14

Family

ID=57201583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610512251.7A Active CN106060570B (zh) 2016-06-30 2016-06-30 一种全景视频图像播放、编码方法及装置

Country Status (1)

Country Link
CN (1) CN106060570B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598082B1 (ko) 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
KR102589853B1 (ko) * 2016-10-27 2023-10-16 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
CN106453913A (zh) * 2016-10-31 2017-02-22 北京疯景科技有限公司 预览全景内容的方法及装置
CN112770178A (zh) * 2016-12-14 2021-05-07 上海交通大学 一种全景视频传输方法、接收方法、传输系统及接收系统
CN106534827B (zh) * 2016-12-19 2018-03-02 暴风集团股份有限公司 基于用户视角播放全景视频的方法及系统
CN108271084B (zh) * 2016-12-30 2021-06-15 华为技术有限公司 一种信息的处理方法及装置
US20180192044A1 (en) * 2017-01-03 2018-07-05 Black Sails Technology Inc. Method and System for Providing A Viewport Division Scheme for Virtual Reality (VR) Video Streaming
CN106846245B (zh) * 2017-01-17 2019-08-02 北京大学深圳研究生院 基于主视点的全景视频映射方法
KR20180091381A (ko) 2017-02-06 2018-08-16 삼성전자주식회사 다면체에 기반한 vr 이미지를 제공하는 전자 장치 및 그 이미지의 제공 방법
CN106911902B (zh) * 2017-03-15 2020-01-07 微鲸科技有限公司 视频图像传输方法、接收方法及装置
CN108632631B (zh) * 2017-03-16 2020-08-07 华为技术有限公司 一种全景视频中视频分片的下载方法和装置
CN108668138B (zh) * 2017-03-28 2021-01-29 华为技术有限公司 一种视频下载方法以及用户终端
US10547704B2 (en) * 2017-04-06 2020-01-28 Sony Interactive Entertainment Inc. Predictive bitrate selection for 360 video streaming
CN107147624B (zh) * 2017-04-24 2019-11-22 珠海全志科技股份有限公司 全景图像处理方法、显示装置及播放设备
CN107248145B (zh) * 2017-05-05 2020-04-14 珠海全志科技股份有限公司 图像畸变矫正方法、处理方法、处理设备及观看设备
CN109218836B (zh) * 2017-06-30 2021-02-26 华为技术有限公司 一种视频处理方法及其设备
CN107484004B (zh) * 2017-07-24 2020-01-03 北京奇艺世纪科技有限公司 一种视频处理方法及装置
WO2019041179A1 (zh) * 2017-08-30 2019-03-07 华为技术有限公司 Vr视频播放处理方法及设备
CN108063946B (zh) * 2017-11-16 2021-09-24 腾讯科技(成都)有限公司 图像编码方法和装置、存储介质及电子装置
CN107896333A (zh) * 2017-11-29 2018-04-10 北京未来媒体科技股份有限公司 一种基于智能终端的遥控全景视频播放的方法及装置
CN109862340A (zh) * 2017-11-30 2019-06-07 宏碁股份有限公司 视频装置及其三维物件编解码方法
CN108650460B (zh) * 2018-05-10 2021-03-30 深圳视点创新科技有限公司 服务器、全景视频的存储和传输方法和计算机存储介质
CN108566554A (zh) * 2018-05-11 2018-09-21 北京奇艺世纪科技有限公司 一种vr全景视频处理方法、系统及电子设备
CN110519652B (zh) 2018-05-22 2021-05-18 华为软件技术有限公司 Vr视频播放方法、终端及服务器
CN111225293B (zh) * 2018-11-23 2023-10-03 深圳市中兴微电子技术有限公司 一种视频数据处理方法、装置以及计算机存储介质
CN110446070A (zh) * 2019-07-16 2019-11-12 重庆爱奇艺智能科技有限公司 一种视频播放的方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008028502A (ja) * 2006-07-19 2008-02-07 Toshiba Corp 映像送出システム、および映像送出制御方法
CN101950550A (zh) * 2010-09-28 2011-01-19 冠捷显示科技（厦门）有限公司 基于观看者视角显示不同角度画面的显示装置
CN103077509A (zh) * 2013-01-23 2013-05-01 天津大学 利用离散立方体全景图实时合成连续平滑全景视频的方法
CN105245838A (zh) * 2015-09-29 2016-01-13 成都虚拟世界科技有限公司 一种全景视频播放方法及播放器
CN105323552A (zh) * 2015-10-26 2016-02-10 北京时代拓灵科技有限公司 一种全景视频播放方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008028502A (ja) * 2006-07-19 2008-02-07 Toshiba Corp 映像送出システム、および映像送出制御方法
CN101950550A (zh) * 2010-09-28 2011-01-19 冠捷显示科技（厦门）有限公司 基于观看者视角显示不同角度画面的显示装置
CN103077509A (zh) * 2013-01-23 2013-05-01 天津大学 利用离散立方体全景图实时合成连续平滑全景视频的方法
CN105245838A (zh) * 2015-09-29 2016-01-13 成都虚拟世界科技有限公司 一种全景视频播放方法及播放器
CN105323552A (zh) * 2015-10-26 2016-02-10 北京时代拓灵科技有限公司 一种全景视频播放方法及系统

Also Published As

Publication number Publication date
CN106060570A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
CN106060570B (zh) 一种全景视频图像播放、编码方法及装置
Zhou et al. Video coding optimization for virtual reality 360-degree source
US11582497B2 (en) Methods, systems, processors and computer code for providing video clips
US11711588B2 (en) Video delivery
TWI555392B (zh) 用於產生場景穩定的元資料之系統和方法
US10440407B2 (en) Adaptive control for immersive experience delivery
Chiariotti A survey on 360-degree video: Coding, quality of experience and streaming
EP3793205B1 (en) Content based stream splitting of video data
EP0945020B1 (en) Scalable media delivery system
CN107087212B (zh) 基于空间可伸缩编码的交互式全景视频转码与播放方法及系统
EP1779661A1 (en) Method and device for making virtual image region for motion estimation and compensation of panorama image
WO2007010446A2 (en) Image coder for regions of texture
CN107945101B (zh) 图像处理方法和装置
US20150178898A1 (en) Processing panoramic pictures
US11451837B2 (en) Method and apparatus for employing dynamic range mapping information for HDR image decoder considering backward compatibility
Chen et al. Macrotile: Toward QoE-aware and energy-efficient 360-degree video streaming
CN113366842A (zh) 基于内容层的视频压缩的系统和方法
CN111586414B (zh) 一种基于svc和dash的360°视频流调度方法
US11956295B2 (en) Client-end enhanced view prediction for multi-view video streaming exploiting pre-fetched data and side information
EP4070553A1 (en) Encoding and decoding views on volumetric image data
KR100310295B1 (ko) 동영상의특성에따른선택적영상객체분할방법및그기록매체
US10848734B1 (en) Image frame encoding based on projection space seam
WO2022162400A1 (en) Methods for generating videos, and related systems and servers
JP2023533419A (ja) ビデオベースの点群コーディングのための高速リカラー
Ducloux Green adaptive streaming

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant