CN109672897B - 全景视频编码方法及装置 - Google Patents

全景视频编码方法及装置 Download PDF

Info

Publication number
CN109672897B
CN109672897B CN201811606145.0A CN201811606145A CN109672897B CN 109672897 B CN109672897 B CN 109672897B CN 201811606145 A CN201811606145 A CN 201811606145A CN 109672897 B CN109672897 B CN 109672897B
Authority
CN
China
Prior art keywords
viewing angle
video
coded data
module
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811606145.0A
Other languages
English (en)
Other versions
CN109672897A (zh
Inventor
包佳晶
胡义群
石小明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumavision Technologies Co Ltd
Original Assignee
Sumavision Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumavision Technologies Co Ltd filed Critical Sumavision Technologies Co Ltd
Priority to CN201811606145.0A priority Critical patent/CN109672897B/zh
Publication of CN109672897A publication Critical patent/CN109672897A/zh
Application granted granted Critical
Publication of CN109672897B publication Critical patent/CN109672897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种全景视频编码方法及装置，涉及全景视频技术领域，解决全景视频存储空间大，视频切换易出现卡顿或质量急剧变化，用户体验差的问题；包括如下步骤：采集全景视频，将全景视频分割成多个观看角度；采用分层编码方法将每个观看角度数据单独编码，得到基础层编码数据和增强层编码数据，并将每个观看角度的编码数据合并成全景视频码流进行存储；当进行视频传输时，判断当前观看角度是否为用户观看角度，如果是则传输基础层编码数据和增强层编码数据，否则只传输基础层编码数据；对传输的编码数据进行解码观看。本发明能够保证用户能够观看具有高分辨率和高质量的全景视频，实现不同观看角度无缝切换，确保编码后的视频占用存储空间小。

Description

全景视频编码方法及装置
技术领域
本发明涉及全景视频技术领域，尤其是涉及一种全景视频编码方法及装置。
背景技术
全景视频在网络上越来越多，应用场景也越来越多，用户体验越来越重要。全景需要提供给用户多个角度看待同一个场景或者物体，进而获得全息用户体验。常用的技术通常将多角度场景拆分为多个角度视频，然后将多个角度的视频拼接起来进行编码，码流传输到解码端后解码端按照需要还原成为全景视频。但是，编码压缩后的视频数据在进行存储时，由于每个角度数据都存储高质量的视频数据，占用存储空间大；而且，如果用户在不同角度切换的时候出现卡顿或者质量急剧变化，将导致用户体验差。
发明内容
有鉴于此，本发明的目的在于提供一种全景视频编码方法及装置，能够保证用户能够观看具有高分辨率和高质量的全景视频，实现不同观看角度无缝切换，确保编码后的视频占用存储空间小。
第一方面，本发明实施例提供了一种全景视频编码方法，包括如下步骤：
采集全景视频，将所述全景视频分割成多个观看角度；
采用分层编码方法将每个观看角度的数据单独编码，得到基础层编码数据和增强层编码数据，并将每个观看角度的编码数据合并成全景视频码流进行存储；
当进行视频传输时，判断当前观看角度是否为用户观看角度，如果是，则传输所述基础层编码数据和所述增强层编码数据，否则只传输所述基础层编码数据；
对传输的编码数据进行解码观看。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述采用分层编码方法将每个观看角度的数据单独编码，得到基础层编码数据和增强层编码数据，并将每个观看角度的编码数据合并成全景视频码流的步骤，包括：
为每个观看角度的数据打上时间戳；
对每个观看角度的数据进行质量分层和空间分层；
使用分层编码技术对分层后的每个观看角度的数据进行单独编码；
按照时间戳将每个观看角度的编码数据合并成全景视频码流。
结合第一方面的第一种实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述空间分层包括高分辨率层和低分辨率层，所述质量分层包括高质量层和低质量层；将所述低分辨率层和所述低质量层作为所述基础层，将所述高分辨率层和所述高质量层作为所述增强层。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，当进行视频传输时，判断当前观看角度是否为用户观看角度，如果是，则传输所述基础层编码数据和所述增强层编码数据，否则只传输所述基础层编码数据的步骤，包括重复执行以下步骤，直至完成所有观看角度的视频码流的传输：
获取当前观看角度的视频码流；
根据所述当前观看角度的视频码流计算当前观看角度是否是用户观看角度；
如果是，则传输所述基础层编码数据和所述增强层编码数据，否则只传输所述基础层编码数据；
判断是否完成所有观看角度的视频码流的传输。
如果是，则结束传输，否则获取下一个观看角度的视频码流。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，根据所述当前观看角度的视频码流计算当前观看角度是否是用户观看角度的步骤之前，还包括：
根据用户反馈获取用户观看角度的视频码流。
第二方面，本发明实施例还提供一种全景视频编码装置，包括视频采集模块、视频编码模块、视频传输模块和解码模块；
所述视频采集模块用于采集全景视频，将所述全景视频分割成多个观看角度；
所述视频编码模块用于采用分层编码方法将每个观看角度的数据单独编码，得到基础层编码数据和增强层编码数据，并将每个观看角度的编码数据合并成全景视频码流进行存储；
所述视频传输模块用于当进行视频传输时，判断当前观看角度是否为用户观看角度，如果是，则传输所述基础层编码数据和所述增强层编码数据，否则只传输所述基础层编码数据；
所述解码模块用于对传输的编码数据进行解码观看。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述视频编码模块包括时间戳模块、分层模块、编码模块和合并模块；
所述时间戳模块用于为每个观看角度的数据打上时间戳；
所述分层模块用于对每个观看角度的数据进行质量分层和空间分层；
所述编码模块用于使用分层编码技术对分层后的每个观看角度的数据进行单独编码；
所述合并模块用于按照时间戳将每个观看角度的编码数据合并成全景视频码流。
结合第二方面的第一种实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述空间分层包括高分辨率层和低分辨率层，所述质量分层包括高质量层和低质量层；将所述低分辨率层和所述低质量层作为所述基础层，将所述高分辨率层和所述高质量层作为所述增强层。
结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述视频传输模块包括获取模块、计算模块、传输模块和判断模块；
所述获取模块获取当前观看角度的视频码流；
所述计算模块用于根据所述当前观看角度的视频码流计算当前视频码流的角度是否是用户观看角度；
所述传输模块用于对用户观看角度的视频码流传输所述基础层编码数据和所述增强层编码数据，对不是用户观看角度的视频码流只传输所述基础层编码数据；
所述判断模块用于判断是否完成所有观看角度的视频码流的传输，如果是，则结束传输，否则获取下一个观看角度的视频码流。
结合第二方面的第三种实施方式，本发明实施例提供了第二方面的第四种可能的实施方式，其中，所述视频传输模块还用于根据用户反馈获取用户观看角度的视频码流。
本发明实施例带来了以下有益效果：在视频编码环节，通过采用分层编码方法将每个观看角度的数据单独编码，得到基础层编码数据和增强层编码数据，并合并成一个视频码流，占用空间小；同时在进行视频传输时，为用户当前观看角度传输全部编码数据，不是用户观看角度的则传输基础层编码数据，确保用户在切换至其他角度时不会出现卡顿或者质量急剧变化的现象，有效提升用户体验。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的全景视频编码方法流程图；
图2为本发明实施例二提供的全景视频编码装置的系统原理图。
图标：
10-视频采集模块；20-视频编码模块；30-视频传输模块；40-解码模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前、编码压缩后的视频数据在进行存储时，占用存储空间大；而且，如果用户在不同角度切换的时候出现卡顿或者质量急剧变化，将导致用户体验差，基于此，本发明实施例提供的一种全景视频编码方法及装置，可以保证用户能够观看具有高分辨率和高质量的全景视频，实现不同观看角度的无缝切换，确保编码后的视频占用存储空间小。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种全景视频编码方法进行详细介绍。
实施例一：
参照图1，本实施例提出的全景视频编码方法，包括如下步骤：
步骤S1，采集全景视频，将所述全景视频分割成多个观看角度；
步骤S2，采用分层编码方法将每个观看角度的数据单独编码，得到基础层编码数据和增强层编码数据，并将每个观看角度的编码数据合并成全景视频码流进行存储；
步骤S3，当进行视频传输时，判断当前观看角度是否为用户观看角度，如果是，则传输所述基础层编码数据和所述增强层编码数据，否则只传输所述基础层编码数据；
步骤S4，对传输的编码数据进行解码观看。
具体地，全景视频可分为四个流程：多角度视频采集、视频编码、存储传输、解码拼接。视频采集的流程为，采用多个视频采集装置采集全景视频，将全景视频分割为N个角度。本实施例在视频编码流程中，视频编码前保持多个观看角度视频的独立性，每个观看角度的视频单独编码。在进行解码观看时，采用分层编码技术的解码功能进行解码。
分层编码方法将码流分层，基础层码流可以单独解码，增强层码流可以增强视频的质量。其支持三种分层方法：时域分层、空间分层和质量分层，这三种分层方法可以组合使用，本实施例采用空间分层和质量分层的方式。
进一步地，步骤S2，包括：
为每个观看角度的数据打上时间戳；
对每个观看角度的数据进行质量分层和空间分层；
使用分层编码技术对分层后的每个观看角度的数据进行单独编码；
按照时间戳将每个观看角度的编码数据合并成全景视频码流。
进一步地，空间分层包括高分辨率层和低分辨率层，质量分层包括高质量层和低质量层；将所述低分辨率层和所述低质量层作为所述基础层，将所述高分辨率层和所述高质量层作为所述增强层。
具体地，编码过程为：
首先获取当前观看角度；
记录当前观看角度的时间戳；
对当前观看角度的视频进行空间分层和质量分层，分为高质量层和低质量层、高分辨率层和低分辨率层；
然后应用分层编码技术，对当前观看角度编码，将低质量层和低分辨率层作为基础层进行编码，高质量层和高分辨率层作为增强层进行编码；
获取当前观看角度码流和时间戳；
判断是否完成了最后一个观看角度的编码，如果否，则对下一个观看角度进行处理；如果是，则按照时间戳将所有观看角度的编码数据合并，直至完成所有角度的编码。
最终，当前观看角度编码完成一份基于分层编码技术的视频压缩数据。
进一步地，步骤S3，包括重复执行以下步骤，直至完成所有观看角度的视频码流的传输：
获取当前观看角度的视频码流；
根据所述当前观看角度的视频码流计算当前观看角度是否是用户观看角度；
如果是，则传输所述基础层编码数据和所述增强层编码数据，否则只传输所述基础层编码数据；
判断是否完成所有观看角度的视频码流的传输。
如果是，则结束传输，否则获取下一个观看角度的视频码流。
具体地，在存储过程，引入了用户反馈机制，即用户观看全景视频的客户端向存储有全景视频的主机反馈用户当前观看角度。由于每个观看角度都是分层编码的码流，那么每个观看角度就都需要选择是否是用户的观看角度，也就是说，每一个观看角度都需要经过上述步骤选择是否为当前观看角度。如果是用户观看角度，需要传输基础层和增强层的全部数据，保证用户的观看效果。如果不是用户观看角度，那么只需要传输基础层数据，保证后续切换到当前观看角度的过渡平稳即可。
现举例对上述步骤加以说明：如果有0～6个观看角度，用户正在观看角度5，那么客户端向主机反馈用户观看角度5，而如果用户想切换回角度2，那么客户端向主机发送用户观看角度2。那么就需要从角度0开始判断，判断角度0是否为当前用户观看的角度2，结果为否，那么传输基础层数据；判断角度1是否为当前用户观看的角度2，结果为否，那么传输基础层数据；判断角度2是否为当前用户观看的角度2，结果为是，那么传输基础层数据和增强层的全部数据；判断角度3是否为当前用户观看的角度2，结果为否，那么传输基础层数据；依次类推，直到将所有角度数据都进行了判断。通过上述步骤，在当前观看角度，传输全部码流，保证了用户观看全景视频的质量，在非当前角度，传输基础层数据，保证了切换的流畅性，避免出现卡顿，确保视频质量，确保用户具有良好的观看体验。
进一步地，根据所述当前观看角度的视频码流计算当前观看角度是否是用户观看角度的步骤之前，包括：
根据用户反馈获取用户观看角度的视频码流。
具体地，当视频编码完成，如果视频数据不进行传输，将视频数据存储为视频码流。
本实施例具有如下有益效果：在编码过程中，全景视频数据不作为一个整体的视频数据看待，编码过程中每个观看角度单独编码处理，再结合每个观看角度采用分层编码技术，进行空间分层和质量分层编码，从而确保当前观看角度的全景视频具有高分辨率和高质量；多个观看角度按照时间戳进行拼接，保证每个全景视频只有一份编码后的数据，只存储一份码流，占用存储空间小；传输过程中引入用户反馈机制，根据用户观看角度对全景视频的每个角度的分层编码数据进行选择，选择单独传输基础层还是传输所有层，从而保证用户观看角度的全景视频具有高质量和高分辨率，也保证用户切换观看角度时，在确保观看质量的前提下能够无缝切换。
实施例二
参照图2，本实施例提出的全景视频编码装置，包括视频采集模块10、视频编码模块20、视频传输模块30和解码模块40；
所述视频采集模块10用于采集全景视频，将所述全景视频分割成多个观看角度；
所述视频编码模块20用于采用分层编码方法将每个观看角度的数据单独编码，得到基础层编码数据和增强层编码数据，并将每个观看角度的编码数据合并成全景视频码流进行存储；
所述视频传输模块30用于当进行视频传输时，判断当前观看角度是否为用户观看角度，如果是，则传输所述基础层编码数据和所述增强层编码数据，否则只传输所述基础层编码数据；
所述解码模块40用于对传输的编码数据进行解码观看。
进一步地，视频编码模块20包括时间戳模块、分层模块、编码模块和合并模块；
所述时间戳模块用于为每个观看角度的数据打上时间戳；
所述分层模块用于对每个观看角度的数据进行质量分层和空间分层；
所述编码模块用于使用分层编码技术对分层后的每个观看角度的数据进行单独编码；
所述合并模块用于按照时间戳将每个观看角度的编码数据合并成全景视频码流。
进一步地，空间分层包括高分辨率层和低分辨率层，所述质量分层包括高质量层和低质量层；将所述低分辨率层和所述低质量层作为所述基础层，将所述高分辨率层和所述高质量层作为所述增强层。
进一步地，视频传输模块30包括获取模块、计算模块、传输模块和判断模块；
所述获取模块获取当前观看角度的视频码流；
所述计算模块用于根据所述当前观看角度的视频码流计算当前视频码流的角度是否是用户观看角度；
所述传输模块用于对用户观看角度的视频码流传输所述基础层编码数据和所述增强层编码数据，对不是用户观看角度的视频码流只传输所述基础层编码数据；
所述判断模块用于判断是否完成所有观看角度的视频码流的传输，如果是，则结束传输，否则获取下一个观看角度的视频码流。进一步地，所述视频传输模块还用于根据用户反馈获取用户观看角度的视频码流。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例提供的全景视频编码装置，与上述实施例提供的全景视频编码方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本发明实施例所提供的进行全景视频编码方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.一种全景视频编码方法，其特征在于，包括如下步骤：
采集全景视频，将所述全景视频分割成多个观看角度；
采用分层编码方法将每个观看角度的数据单独编码，得到基础层编码数据和增强层编码数据，并将每个观看角度的编码数据合并成全景视频码流进行存储；
当进行视频传输时，判断当前观看角度是否为用户观看角度，如果是，则传输所述基础层编码数据和所述增强层编码数据，否则只传输所述基础层编码数据；
对传输的编码数据进行解码观看；
所述采用分层编码方法将每个观看角度的数据单独编码，得到基础层编码数据和增强层编码数据，并将每个观看角度的编码数据合并成全景视频码流的步骤，包括：
为每个观看角度的数据打上时间戳；
对每个观看角度的数据进行质量分层和空间分层；其中，所述空间分层包括高分辨率层和低分辨率层，所述质量分层包括高质量层和低质量层；将所述低分辨率层和所述低质量层作为所述基础层，将所述高分辨率层和所述高质量层作为所述增强层；
使用分层编码技术对分层后的每个观看角度的数据进行单独编码；
按照时间戳将每个观看角度的编码数据合并成全景视频码流。
2.根据权利要求1所述的全景视频编码方法，其特征在于，当进行视频传输时，判断当前观看角度是否为用户观看角度，如果是，则传输所述基础层编码数据和所述增强层编码数据，否则只传输所述基础层编码数据的步骤，包括重复执行以下步骤，直至完成所有观看角度的视频码流的传输：
获取当前观看角度的视频码流；
根据所述当前观看角度的视频码流计算当前观看角度是否是用户观看角度；
如果是，则传输所述基础层编码数据和所述增强层编码数据，否则只传输所述基础层编码数据；
判断是否完成所有观看角度的视频码流的传输，
如果是，则结束传输，否则获取下一个观看角度的视频码流。
3.根据权利要求2所述的全景视频编码方法，其特征在于，根据所述当前观看角度的视频码流计算当前观看角度是否是用户观看角度的步骤之前，还包括：
根据用户反馈获取用户观看角度的视频码流。
4.一种全景视频编码装置，其特征在于，包括视频采集模块、视频编码模块、视频传输模块和解码模块；
所述视频采集模块用于采集全景视频，将所述全景视频分割成多个观看角度；
所述视频编码模块用于采用分层编码方法将每个观看角度的数据单独编码，得到基础层编码数据和增强层编码数据，并将每个观看角度的编码数据合并成全景视频码流进行存储；
所述视频传输模块用于当进行视频传输时，判断当前观看角度是否为用户观看角度，如果是，则传输所述基础层编码数据和所述增强层编码数据，否则只传输所述基础层编码数据；
所述解码模块用于对传输的编码数据进行解码观看；
所述视频编码模块包括时间戳模块、分层模块、编码模块和合并模块；
所述时间戳模块用于为每个观看角度的数据打上时间戳；
所述分层模块用于对每个观看角度的数据进行质量分层和空间分层；
其中，所述空间分层包括高分辨率层和低分辨率层，所述质量分层包括高质量层和低质量层；将所述低分辨率层和所述低质量层作为所述基础层，将所述高分辨率层和所述高质量层作为所述增强层；
所述编码模块用于使用分层编码技术对分层后的每个观看角度的数据进行单独编码；
所述合并模块用于按照时间戳将每个观看角度的编码数据合并成全景视频码流。
5.根据权利要求4所述的全景视频编码装置，其特征在于，所述视频传输模块包括获取模块、计算模块、传输模块和判断模块；
所述获取模块获取当前观看角度的视频码流；
所述计算模块用于根据所述当前观看角度的视频码流计算当前视频码流的角度是否是用户观看角度；
所述传输模块用于对用户观看角度的视频码流传输所述基础层编码数据和所述增强层编码数据，对不是用户观看角度的视频码流只传输所述基础层编码数据；
所述判断模块用于判断是否完成所有观看角度的视频码流的传输，如果是，则结束传输，否则获取下一个观看角度的视频码流。
6.根据权利要求4所述的全景视频编码装置，其特征在于，所述视频传输模块还用于根据用户反馈获取用户观看角度的视频码流。
CN201811606145.0A 2018-12-26 2018-12-26 全景视频编码方法及装置 Active CN109672897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811606145.0A CN109672897B (zh) 2018-12-26 2018-12-26 全景视频编码方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811606145.0A CN109672897B (zh) 2018-12-26 2018-12-26 全景视频编码方法及装置

Publications (2)

Publication Number Publication Date
CN109672897A CN109672897A (zh) 2019-04-23
CN109672897B true CN109672897B (zh) 2021-03-16

Family

ID=66147358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811606145.0A Active CN109672897B (zh) 2018-12-26 2018-12-26 全景视频编码方法及装置

Country Status (1)

Country Link
CN (1) CN109672897B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112188303A (zh) * 2020-09-03 2021-01-05 北京火眼目测科技有限公司 一种基于视角的vr流媒体播放方法及装置
CN115529451A (zh) * 2021-06-25 2022-12-27 北京金山云网络技术有限公司 数据的传输方法及装置、存储介质、电子设备
CN113949884A (zh) * 2021-09-02 2022-01-18 北京大学深圳研究生院 多视点视频数据处理方法、设备及存储介质
CN114615548B (zh) * 2022-03-29 2023-12-26 湖南国科微电子股份有限公司 一种视频数据的处理方法、装置及计算机设备
CN115002519A (zh) * 2022-05-31 2022-09-02 北京势也网络技术有限公司 一种在低带宽网络下播放8k全景视频文件的方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1875636A (zh) * 2003-11-04 2006-12-06 松下电器产业株式会社 视频发送装置以及视频接收装置
CN105791882A (zh) * 2016-03-22 2016-07-20 腾讯科技（深圳）有限公司 视频编码方法及装置
CN105872496A (zh) * 2016-07-01 2016-08-17 黄岩 一种超高清视频融合方法
CN105939482A (zh) * 2015-03-05 2016-09-14 诺基亚技术有限公司 视频流式传输方法
CN106231317A (zh) * 2016-09-29 2016-12-14 三星电子（中国）研发中心 视频处理、解码方法和装置、vr终端、视频播放系统
CN106791703A (zh) * 2017-01-20 2017-05-31 上海小蚁科技有限公司 基于全景视图来监视场景的方法和系统
CN107087212A (zh) * 2017-05-09 2017-08-22 杭州码全信息科技有限公司 基于空间可伸缩编码的交互式全景视频转码与播放方法及系统
CN107995493A (zh) * 2017-10-30 2018-05-04 河海大学 一种全景视频的多描述视频编码方法
CN108076345A (zh) * 2016-11-09 2018-05-25 阿里巴巴集团控股有限公司 多视角视频帧的编码方法、传输方法、装置、计算机

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120019613A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1875636A (zh) * 2003-11-04 2006-12-06 松下电器产业株式会社 视频发送装置以及视频接收装置
CN105939482A (zh) * 2015-03-05 2016-09-14 诺基亚技术有限公司 视频流式传输方法
CN105791882A (zh) * 2016-03-22 2016-07-20 腾讯科技（深圳）有限公司 视频编码方法及装置
CN105872496A (zh) * 2016-07-01 2016-08-17 黄岩 一种超高清视频融合方法
CN106231317A (zh) * 2016-09-29 2016-12-14 三星电子（中国）研发中心 视频处理、解码方法和装置、vr终端、视频播放系统
CN108076345A (zh) * 2016-11-09 2018-05-25 阿里巴巴集团控股有限公司 多视角视频帧的编码方法、传输方法、装置、计算机
CN106791703A (zh) * 2017-01-20 2017-05-31 上海小蚁科技有限公司 基于全景视图来监视场景的方法和系统
CN107087212A (zh) * 2017-05-09 2017-08-22 杭州码全信息科技有限公司 基于空间可伸缩编码的交互式全景视频转码与播放方法及系统
CN107995493A (zh) * 2017-10-30 2018-05-04 河海大学 一种全景视频的多描述视频编码方法

Also Published As

Publication number Publication date
CN109672897A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
CN109672897B (zh) 全景视频编码方法及装置
KR102027410B1 (ko) 계층화된 신호 품질 계층에서의 재구성 데이터의 송신
CN110049336B (zh) 视频编码方法和视频解码方法
US10819994B2 (en) Image encoding and decoding methods and devices thereof
US20150156557A1 (en) Display apparatus, method of displaying image thereof, and computer-readable recording medium
CN113747242B (zh) 图像处理方法、装置、电子设备及存储介质
US11451836B2 (en) Techniques and apparatus for PCM patch creation using Morton codes
WO2019001149A1 (zh) 图片的传输和接收的方法、装置及其系统
CA3057894C (en) Video compression using down-sampling patterns in two phases
WO2021057697A1 (zh) 视频编解码方法和装置、存储介质及电子装置
KR100746005B1 (ko) 다중 목적의 비디오 스트림을 처리하는 장치 및 방법
Huang et al. A cloud computing based deep compression framework for UHD video delivery
CN114125448B (zh) 视频编码方法、解码方法及相关装置
WO2021057686A1 (zh) 视频解码方法和装置、视频编码方法和装置、存储介质及电子装置
WO2012142108A2 (en) Streaming portions of a quilted graphic 2d image representation for rendering into a digital asset
CN110572677B (zh) 视频编解码方法和装置、存储介质及电子装置
CN113228665A (zh) 用于处理配置数据的方法、设备、计算机程序和计算机可读介质
EP4294021A1 (en) Data processing method and apparatus, computer device and storage medium
CN110636295B (zh) 视频编解码方法和装置、存储介质及电子装置
CN106954073B (zh) 一种视频数据输入和输出方法、装置与系统
KR101827607B1 (ko) 복수의 채널들을 이용한 동영상 전송 방법 및 장치 및 동영상 처리 방법 및 장치
CN105992050A (zh) 一种视频下载方法及装置
CN112422974A (zh) 视频编码方法、装置、计算机设备及存储介质
CN118803217A (zh) 图像数据处理方法、装置、设备、存储介质及程序产品
CN117560564A (zh) 视频数据自适应采集方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant