CN114979652A - 一种视频处理方法、装置、电子设备及存储介质 - Google Patents

一种视频处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114979652A
CN114979652A CN202210553339.9A CN202210553339A CN114979652A CN 114979652 A CN114979652 A CN 114979652A CN 202210553339 A CN202210553339 A CN 202210553339A CN 114979652 A CN114979652 A CN 114979652A
Authority
CN
China
Prior art keywords
historical
saliency map
video
view
video content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210553339.9A
Other languages
English (en)
Inventor
孙黎阳
张傲阳
何伟
马茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Lemon Inc Cayman Island
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Lemon Inc Cayman Island
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, Lemon Inc Cayman Island filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202210553339.9A priority Critical patent/CN114979652A/zh
Publication of CN114979652A publication Critical patent/CN114979652A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开实施例提供了一种视频处理方法、装置、电子设备及存储介质，该方法包括：确定历史时间切片的历史视角显著图，以及与所述历史视角显著图像所对应的历史视频内容显著图；其中，所述历史时间切片为预测时间切片的上一时间切片；将所述历史视角显著图、历史视频内容显著图以及当前视角显著图，输入至预先训练得到的目标视角预测模型中，得到所述预测时间切片的预测视频内容显著图；基于所述预测视频内容显著图，确定在所述预测时间切片内的目标视频。本公开实施例的技术方案，实现了对用户后续观看视角的预测，便于根据预测结果为用户提供相应的目标视频，提高了用户的观看体验。

Description

一种视频处理方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及图像处理技术领域，尤其涉及一种视频处理方法、装置、电子设备及存储介质。
背景技术
目前，虚拟现实技术及其相关应用的发展十分迅速，全景视频作为虚拟现实技术中的一个重要的组成部分，其传输与处理工作在虚拟现实应用中处于非常关键的一环。
现有技术中，以传统的视频编码方式传输全景视频时，需要对全景视频各部分的画面进行质量相同或相似的编码，生成一路码流，从而将视频传输给用户端。因此，现有的全景视频编码传输方式存在较大的冗余，视频传输速度较慢，用户的观看体验较差。
发明内容
本公开提供一种视频处理方法、装置、电子设备及存储介质，实现了对用户后续观看视角的预测，便于根据预测结果为用户提供相应的目标视频，提高了用户的观看体验。
第一方面，本公开实施例提供了一种视频处理方法，包括：
确定历史时间切片的历史视角显著图，以及与所述历史视角显著图像所对应的历史视频内容显著图；其中，所述历史时间切片为预测时间切片的上一时间切片；
将所述历史视角显著图、历史视频内容显著图以及当前视角显著图，输入至预先训练得到的目标视角预测模型中，得到所述预测时间切片的预测视频内容显著图；
基于所述预测视频内容显著图，确定在所述预测时间切片内的目标视频。
第二方面，本公开实施例还提供了一种视频处理装置，包括：
历史视角显著图确定模块，用于确定历史时间切片的历史视角显著图，以及与所述历史视角显著图像所对应的历史视频内容显著图；其中，所述历史时间切片为预测时间切片的上一时间切片；
预测视频内容显著图确定模块，用于将所述历史视角显著图、历史视频内容显著图以及当前视角显著图，输入至预先训练得到的目标视角预测模型中，得到所述预测时间切片的预测视频内容显著图；
目标视频确定模块，用于基于所述预测视频内容显著图，确定在所述预测时间切片内的目标视频。
第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的视频处理方法。
第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的视频处理方法。
本公开实施例的技术方案，确定历史时间切片的历史视角显著图，以及与历史视角显著图所对应的历史视频内容显著图，进一步的，将历史视角显著图、历史视频内容显著图以及当前视角显著图，输入至预先训练得到的目标视角预测模型中，得到预测时间切片的预测视频内容显著图，最后基于预测视频内容显著图，确定在预测时间切片内的目标视频，利用机器学习模型实现了对用户后续观看视角的预测，便于根据预测结果为用户提供相应的目标视频，提高了用户的观看体验，同时，在预测过程中考虑了视频内容对用户观看视角的影响，提升了预测的准确率。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例一所提供的一种视频处理方法流程示意图；
图2为本公开实施例一所提供的基于目标视角预测模型确定预测视角显著图的示意图；
图3为本公开实施例一所提供的视频处理流程示意图；
图4为本公开实施例二所提供的一种视频处理装置结构示意图；
图5为本公开实施例三所提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
在介绍本技术方案之前，可以先对本公开实施例的应用场景进行示例性说明。示例性的，当用户利用增强现实(Augmented Reality，AR)设备或虚拟现实(VirtualReality，VR)设备观看由服务端传输的全景视频时，通常只能看到全景视频中的一部分画面，如果服务端对全景视频各部分进行质量相同或相似的编码，所传输的全景视频会占用较大的带宽，数据传输速度较慢，这就导致用户在后续观看的过程中，无法实时地看到全景视频中自己感兴趣的区域。此时，可以基于本公开实施例的方案，由服务端或客户端根据用户观看的历史视频内容，确定预测时间切片内用户视角的分布情况，进而基于预测的视角分布情况确定出相对应的目标视频，可以理解为，将全景视频各部分的画面以差异化的码率传输至客户端，使用户在后续过程中能够流畅地观看全景视频中自己感兴趣的部分，从而保证用户的观看体验。
实施例一
图1为本公开实施例一所提供的一种视频处理方法流程示意图，本公开实施例适用于用户在观看全景视频时，对用户下一时段的观看视角进行预测，从而为用户提供相应的目标视频的情形，该方法可以由视频处理装置来执行，该装置可以通过软件和/或硬件的形式实现，可选的，通过电子设备来实现，该电子设备可以是移动终端、PC端或服务器等。
如图1所示，所述方法包括：
S110、确定历史时间切片的历史视角显著图，以及与历史视角显著图像所对应的历史视频内容显著图。
在用户利用AR设备或VR设备观看全景视频时，首先需要确定全景视频对应的时间切片。其中，全景视频即是一种用3D摄像机进行全方位360°拍摄得到的视频，当用户利用相应的设备观看全景视频时，可以通过改变视角的方式来观看全景视频中相应区域的画面。在本实施例中，对于传输至用户端的全景视频来说，可以根据预测时间的长度或者预先设置的划分规则来确定相应的时间切片，同时，对于每个时间切片来说，都对应有至少一个视频帧，例如，当预测时间长度为一秒时，时间切片即对应全景视频一秒钟之内的全景视频帧。在此基础上，在对用户后续观看视角进行预测时，所预测时间段即是该全景视频的预测时间切片，同时，相对于预测时间段来说，上一时间段即是该全景视频的历史时间切片。
示例性的，当预测时间长度为一秒，且用户通过AR设备或VR设备观看全景视频时，对于当前时刻来说，该时刻之前的那一秒即为历史时间切片，相应的，服务端或用户端可以对该时刻之后一秒内用户的视角进行预测，此时，后一秒即为预测时间切片；当预测时间长度为十秒时，对于当前时刻来说，该时刻之前的十秒即为历史时间切片，相应的，服务端或用户端可以对该时刻之后十秒内用户的视角进行预测，此时，后十秒即为预测时间切片，当然，在实际应用过程中，预测时间的长度可以根据实际情况进行设置，相应的，时间切片的时长也会根据实际设置的预测时长进行调整，本公开实施例对此不再赘述。
在本实施例中，当确定出历史时间切片后，还需要确定出历史视角显著图。其中，在机器视觉中，显著性作为一种图像分区的模式，显著图(Saliency map)是显示每个像素独特性的图像，可以理解，显著图的目标在于将一般图像的表示简化或改变为更容易分析的样式，例如，对于全景视频包含的整幅画面来说，可以将某一部分区域对应的像素以红色来表示，同时，将另一部分区域对应的像素以蓝色来表示，或者，为某一部分区域对应的像素分配一种标签，同时，为另一部分区域对应的像素分配另一种标签。
在此基础上，对于历史时间切片中的各全景视频帧来说，包括历史视角显著图，以及与历史视角显著图对应的历史视频内容显著图，其中，历史视频内容显著图以及历史视角显著图均为全景图。具体的，历史视角显著图即是在与历史时间切片对应的至少一个全景视频帧的基础上，将用户观看过的区域以红色或高亮颜色进行显示，同时，将用户未观看过的区域以蓝色或暗淡颜色进行显示全景画面；历史视频内容显著图即是在与历史时间切片对应的至少一个的全景视频帧的基础上，将视频画面中容易使用户产生兴趣的区域以红色或其他高亮颜色进行显示，同时，将视频画面中不容易使用户产生兴趣的区域以蓝色或暗淡颜色进行显示的全景画面。
可以理解，历史视角显著图为一幅融合后的图像，具体来说，由于历史时间切片对应的全景视频帧通常有多幅，因此针对各全景视频帧确定出相应的视角显著图后，可以将多幅视角显著图进行融合，从而得到与该历史时间切片对应的历史视角显著图；同理，历史视频内容显著图也可以通过将于多幅全景视频帧对应的视频内容显著图融合得到，本公开实施例对此不再赘述。需要说明的是，由于用户观看的区域，与服务端或客户端所确定的容易使用户产生兴趣的区域可能并不一致，因此，历史视角显著图中的显著区域与历史视频画面中的显著区域可能存在差异。下面对确定上述两种显著图的过程进行说明。
可选的，当获取到历史时间切片中的最后一个视频帧时，确定历史时间切片的历史视角显著图，以及历史视频内容显著图；或，当获取到历史时间切片中的历史视频帧时，基于历史视频帧更新历史时间切片所对应的历史视角显著图，以及历史视频内容显著图。
继续以上述示例进行说明，当用户观看完第一个时间切片对应的全部30个视频帧内的部分画面时，服务端或用户端为了对第二个时间切片所对应视频帧中用户可能观看的区域进行预测，需要在用户已观看的30个全景视频帧中，确定出每帧画面中用户观看过的区域，并将这些区域对应的像素点以红色显示，将其他区域以蓝色显示，进一步的，将生成的30幅视角显著图进行融合，即可得到与第一个时间切片对应的历史视角显著图；同时，确定出每帧画面中容易使用户产生兴趣的区域，并将这些区域对应的像素点以红色显示，将其他区域以蓝色显示，进一步的，将生成的30幅视频内容显著图进行融合，即可得到与第一个时间切片对应的历史视频内容显著图。
或者，在用户观看第一个时间切片所对应的各全景视频帧的过程中，每当向用户展示完毕一幅全景视频帧后，便按照上述显示方式实时确定出该全景视频帧对应的视角显著图，以及视频内容显著图，进一步的，将所确定的视角显著图以及视频内容显著图，融合至与该时间切片对应的历史视角显著图以及历史视频内容显著图中，从而实现对历史视角显著图以及历史视频内容显著图的更新。当然，在实际应用过程中，确定上述两种显著图的方式可以根据实际需求选择其中任意一种，本公开实施例对此不做具体的限定。
可选的，确定历史视角显著图以及历史视频内容显著图的过程中，还可以确定历史时间切片内各历史视频帧的历史视角信息；确定各历史视角信息在相应历史视频帧中所对应的历史视角显著图，以及各历史视频帧的历史视频内容显著图。
具体的，用户利用AR设备或VR设备观看全景视频时，服务端或用户端还可以获取历史视角信息。其中，对于已播放的全景视频帧来说，历史视角信息即是反映用户在该视频帧中的观看视角的信息，例如，用户观看该全景视频帧时所对应的视场角(Field of view，FOV)，可以理解，视场角的大小决定了用户的视野范围，同时，根据如视场角等历史视角信息，服务端或用户端至少可以确定出用户在观看该全景视频帧时，主要观看了全景画面中的哪一块区域。例如，当用户通过AR设备或VR设备观看全景视频时，可以利用设备中的惯性传感器(Inertial Measurement Unit，IMU)来确定用户在各时刻的视场角，其中，IMU为用于检测和测量加速度与旋转运动的传感器。进一步的，当用户预测用户视角的模型部署于服务端时，用户端基于IMU获取到用户各时刻的FOV信息后，可以将这些信息反馈至服务端，进而使服务端根据FOV信息执行后续的处理过程。
进一步的，针对各历史视频帧，根据当前历史视频帧的历史视角信息，确定与历史视角信息相对应的显著区域，并基于显著区域确定待融合视角显著图；以及，基于显著区域分割模型确定对当前历史视频帧分割处理，确定当前历史视频帧的待融合内容显著图；基于各历史视频帧的待融合视角显著图，确定历史视角显著图；以及，基于各历史视频帧的待融合内容显著图，确定历史视频内容显著图。
其中，显著区域即是用户在特定视场角下所观看的全景视频帧中的区域，由于时间切片可以对应多个全景视频帧，因此，在确定出任意一幅全景视频帧中的显著区域后，都可以将其以红色或其他高亮颜色显示，并将非显著区域以蓝色或其他暗淡颜色显示，在此基础上，所生成的与单一全景视频帧对应的显著图即是待融合视角显著图，进一步的，将多个待融合视角显著图进行融合，即得到与该时间切片相对应的一幅历史视角显著图。显著区域分割模型可以是预先训练好的神经网络模型，其输入为多个全景视频帧，同时，显著区域分割模型通过对视频画面进行识别与划分，可以输出待融合内容显著图，同样地，在模型输出与各全景视频帧对应的待融合内容显著图后，可以将多个待融合内容显著图进行融合，从而得到与该时间切片相对应的一幅历史视频内容显著图。
示例性的，当某一历史时间切片所包含的各全景视频帧播放完毕后，一方面，服务端可以获取用户在观看过程中，与该时间切片对应的30帧画面的30个视场角，并根据这些视场角确定出用户主要观看了各全景视频帧中的哪一块区域，即，确定出各全景视频帧中的显著区域，从而生成相应的30个待融合视角显著图，进一步的，将各待融合视角显著图进行融合后，即得到与该历史时间切片相对应的一幅历史视角显著图。另一方面，可以将该历史时间切片对应的30个全景视频帧输入至预先训练好的显著区域分割模型中，从而得到相对应的30个待融合内容显著图，进一步的，将各待融合内容显著图进行融合后，即得到与该历史时间切片相对应的一幅历史视频内容显著图。
S120、将历史视角显著图、历史视频内容显著图以及当前视角显著图，输入至预先训练得到的目标视角预测模型中，得到预测时间切片的预测视频内容显著图。
在本实施例中，当得到与历史时间切片对应的历史视角显著图以及历史视频内容显著图后，还需要确定出当前视角显著图，其中，当前视角显著图即是用于输入至预测模型中的、与用户当前所观看全景视频帧所对应的视角显著图，可以理解，该显著图至少可以反映出用户当前正在观看全景视频帧中哪一部分的画面。
进一步的，将上述三种显著图输入至预先训练得到的目标视角预测模型中，即可得到预测时间切片(即历史时间切片的下一时间切片)的预测视频内容显著图。其中，目标视角预测模型可以是由全卷积网络(Fully Convolutional Network，FCN)以及长短期记忆网络(Long Short Term Memory，LSTM)组成的模型，本领域技术人员应当理解，FCN可以对图像进行像素级的分类，从而解决语义级别的问题，同时，FCN可以接收任意尺寸的输入图像，并对每一个像素点都产生一个预测；LSTM则是一种时间循环神经网络，是为了解决一般的循环神经网络存在的长期以来问题而专门设计出来的，本公开实施例在此不再赘述。下面对基于该模型确定出预测视频内容显著图的过程进行说明。
在本实施例中，对上述三种图像进行处理的LSTM来说，根据该神经网络涉及的数据处理先后顺序可以分为编码器以及解码器，在此基础上，可选的，基于目标视角预测模型中的编码器对历史视角显著图和历史视频内容显著图进行处理，确定编码参数；基于目标视角预测模型中的解码器对编码参数和当前视角显著图进行处理，得到当前时间切片所对应的预测视角显著图。
其中，编码参数即是LSTM编码器根据历史视角显著图以及历史视频内容显著图所确定出来的参数，同时，该参数可以传递给LSTM解码器，并作为LSTM解码器的初始化参数。当LSTM解码器获取到该参数后，即可对当前时间显著图进行处理，从而得到预测视角显著图，可以理解，预测视角显著图同样为全景图。下面参照图2对该过程进行示例性说明。
参见图2，时间切片长度为一秒，每个时间切片均对应多幅全景视频帧，同时，服务端或用户端已经确定与上述时间切片对应的十幅历史视频内容显著图，并根据用户FOV轨迹确定出相应的十幅历史视角显著图后，即可将多个历史时间切片对应的历史视频内容显著图以及历史视角显著图，依次输入至目标视角预测模型中FCN进行处理，再将处理结果输入至目标视角预测模型中的LSTM编码器，从而得到相应的编码参数。进一步的，将编码参数传递给目标视角预测模型中的LSTM解码器，并将编码参数作为LSTM解码器的初始化参数，此时，可以将当前视角显著图输入至LSTM解码器中进行处理，再将处理结果与第一个预测时间切片对应的视频内容显著图共同输入至FCN模型中，即得到与该预测时间切片相对应的预测视角显著图，可以理解，通过该预测视角显著图，至少可以确定用户在观看这一预测时间切片对应的全景视频时，最可能观看全景画面中的哪一块区域。
继续参见图2，将第一个预测时间切片对应的预测视角显著图输入至LSTM解码器进行处理，并将处理结果以及第二个预测时间切片对应的视频内容显著图共同输入至FCN模型中，即得到与第二个预测时间切片相对应的预测视角显著图，本领域技术人员应当理解，按照这种方式以此类推，即可得到后续十个预测时间切片所对应的各预测视角显著图，本公开实施例对此不再赘述。
通过图2可以理解，在实际的预测用户视角的过程中，单采用当前时刻之前的一个时间切片作为历史时间切片时，也只能对当前时刻之后的一个预测时间切片内的用户视角进行预测，而当采用多个时间切片作为历史时间切片时，同样可以对相应个数预测时间切片内的用户视角进行预测。
在本实施例确定预测视角显著图的过程中，不仅考虑了全景视频中用户观看过的区域，还考虑了全景视频中可能引起用户兴趣的区域，基于上述多种因素进行预测，进一步防止用户后续观看视角与预测视角差异过大的情况发生，增强了预测的准确性。
需要说明的是，在对目标视角预测模型进行训练的过程中，可以先确定训练样本集。其中，训练样本集中包括多个训练样本，训练样本中包括待训练时间切片内的待训练视角显著图、待训练视频内容显著图以及待训练预测时间切片的待训练预测视频内容显著图。
进一步的，针对各训练样本，将当前训练样本中的待训练视角显著图和待训练视频内容显著图，输入至待训练视角预测模型中，得到输出预测显著图；基于输出预测调整图和当前训练样本中的待训练预测视频内容显著图，确定损失值，并基于损失值对待训练视角预测模型中的模型参数进行修正；将待训练视角预测模型的损失函数收敛作为训练目标，得到目标视角预测模型。
在本实施例中，基于损失值可以对待训练视角预测模型中的模型参数进行修正。具体的，将当前训练样本中的待训练视角显著图和待训练视频内容显著图，输入至待训练视角预测模型中后，即可得到相应的预测调整图，此时，可以基于预测调整图与相应的待训练预测视频内容显著图确定出多个损失值；进一步，利用损失值对待训练视角预测模型中的模型参数进行修正时，可以将损失函数收敛作为训练目标，比如训练误差是否小于预设误差，或误差变化是否趋于稳定，或者当前的迭代次数是否等于预设次数。若检测达到收敛条件，比如损失函数的训练误差小于预设误差，或者误差变化趋势趋于稳定，表明该待训练视角预测模型训练完成，此时可以停止迭代训练。若检测到当前未达到收敛条件，可以进一步获取其他训练样本以对待训练视角预测模型继续进行训练，直至损失函数的训练误差在预设范围之内。当损失函数的训练误差达到收敛时，即可将训练完成的待训练视角预测模型作为目标视角预测模型，即，此时将历史视角显著图、历史视频内容显著图以及当前视角显著图，输入至该目标视角预测模型中后，即可得到预测时间切片的预测视频内容显著图。
可选的，在确定训练样本集中各训练样本的过程中，可以先获取至少一个待使用历史视频；针对各待使用历史视频，将当前待使用历史视频按照预先设置的时间切片划分规则，确定至少一个时间切片的待训练子视频；确定与待训练子视频相对应的待训练视频内容显著图，以及各待训练子视频的待使用用户视角，确定与待训练子视频相对应的待训练视角显著图；依据各待训练子视频的时间切片标识，将当前时间切片的下一时间切片的待训练视频内容显著图，作为当前时间切片的待训练预测视频内容显著图；根据各待训练子视频的待训练视频内容显著图、待训练视角显著图以及待训练预测视频内容显著图，确定至少一个训练样本。
示例性的，在用户对一个全景视频观看完毕后，该全景视频即可作为待使用历史视频，进一步的，按照预设时间切片规则对该视频进行划分，如，预测时间长度为一秒时，将十秒钟的视频划分为10个子视频，这些子视频即是待训练子视频，每个子视频即对应一个时间切片。进一步的，按照本公开实施例的方式，可以针对每个待训练子视频确定出一幅相应的视频内容显著图作为待训练视频内容显著图，同时，根据待使用用户视角为每个待训练子视频确定出一幅相应的视角显著图作为待训练视角显著图。
在确定出上述作为待训练视角预测模型输入的同时，还需要确定出用于训练该模型的输出，继续以上述示例进行说明，可以根据待训练子视频的时间切片标识，确定出与该时间切片相邻的下一个时间切片，进一步的，按照本公开实施例的方式，确定出该时间切片对应的视频内容显著图作为待训练预测视频内容显著图，并将这些数据与上述作为待训练视角预测模型输入的数据进行关联，即得到训练样本集中的一组训练样本。
可以理解，当选择特定时刻之前的一个时间切片对应的待训练视角显著图、待训练视频内容显著图，以及特定时刻之后的一个时间切片对应的待训练预测视频内容显著图对模型进行训练后，该模型在后续应用过程中，便可以针对实际播放的全景视频预测出当前时刻之后的一个时间切片内的用户视角；而当选择特定时刻之前的多个时间切片对应的待训练视角显著图、待训练视频内容显著图，以及特定时刻之后的相应个数的时间切片对应的待训练预测视频内容显著图对模型进行训练后，该模型在后续应用过程中，便可以针对实际播放的全景视频预测出当前时刻之后的多个时间切片内的用户视角。
示例性的，可以根据预先设置预测时间长度，从待使用历史视频中划分出N个时间切片，并按顺序将各时间切片标记为T1、T2、…、TN，基于此，在对待训练视角预测模型进行预测时，既可以根据T1预测T2时段内用户的视角，也可以根据T1、T2预测T3、T4时段内用户的视角。
具体来说，若采用根据T1预测T2时段内用户的视角的方式将模型训练完毕，并将模型部署至服务端或用户端进行应用时，可以将与T1时长相一致切片对应的显著图输入至模型中进行处理，从而对后续与T2时长相一致切片内的用户视角进行预测；相应的，若采用根据T1、T2预测T3、T4时段内用户的视角的方式将模型训练完毕，并模型部署至服务端或用户端进行应用时，同样可以将与T1、T2总时长相一致切片对应的显著图输入至模型中进行处理，从而对后续与T3、T4总时长相一致切片内的用户视角进行预测。可以理解，在训练的过程中，所采用的用于训练的时间切片的个数可以根据实际情况进行选择，相应的，模型训练完毕后所预测切片的时长也应当与训练时采用的时间切片的总时长相一致，本公开实施例对此不做具体的限定。
S130、基于预测视频内容显著图，确定在预测时间切片内的目标视频。
在本实施例中，当目标视角预测模型输出预测视频内容显著图后，服务端或客户端即可确定出相应的目标视频。其中，目标视频可以是将全景视频中不同区域的画面以差异化的码率传输至用户端，并通过AR设备或VR设备向用户进行展示的视频。
可选的，基于所述预测视角显著图，确定预测时间切片内各预测视频帧所对应的预测观看视角，并基于所述预测观看视角调整所述预测视角显著图中各区域的码率信息，以基于所述码率信息下发预测时间切片内的目标视频。
其中，预测观看视角即是用户在后续观看预测时间切片包含的全景视频帧时，最可能选择的视角。码率即是比特率(Bit rate)，是指服务端单位时间内传送的比特数，单位为bps，本领域技术人员应当理解，根据全景视频画面中某一区域的码率信息，至少可以确定该区域相关数据是以低清、高清或超清等哪一种方式编码传输至用户端的。
示例性的，当得到预测时间切片对应的预测视角显著图后，可以通过每幅图像中的红色区域和蓝色区域确定出用户在后续过程中最可能观看的区域，进一步的，根据预测视角显著图中的红色区域确定出相应的观看视角，并将该视角下的画面以高清或超清编码的方式进行传输，相应的，根据预测视角显著图中的蓝色区域确定出相应的非观看视角，并将这些视角下的画面以低清编码的方式进行传输，从而使用户端接收到差异化码率传输下的全景视频，可以理解，所接受的预测时间切片对应的全景视频即是目标视频。
需要说明的是，在本公开实施例方案中，既可以由服务端确定出待传输全景视频中各区域的码率信息，也可以将模型集成至客户端，由客户端确定出待传输全景视频中各区域的码率信息，并将所确定的码率信息反馈给服务端，最后，服务端根据接收的码率信息将预测时间切片对应的全景视频传输至用户端。本领域技术人员应当理解，将模型部署至服务端或客户端可以根据实际需求进行选择，本公开实施例在此不做具体的限定。
还需要说明的是，在实际应用过程中，还可能出现预测结果与用户实际观看视角不一致的情况，因此，还可以预先添加一个线程以对用户后续的观看过程进行监测，在此基础上，当监测到预测结果与用户观看视角不一致时，服务端可以添加一个快速的冲拉流，以将用户实际观看区域的画面以高清或超清编码的形式下发至用户端，从而保证用户的观看体验。
在实际应用过程中，本公开实施例的方案还可以基于图3所示的流程图来实施，下面结合图2进行说明。
参见图2，通过用户使用的AR设备或VR设备先确定出用户观看历史全景视频过程中的FOV视角信息，并将这些信息进行记录，进一步的，根据FOV视角信息确定出历史视角显著图，并结合历史视频内容显著图共同输入至预先训练好的目标视角预测模型中，其中，目标视角预测模型由2D LSTM以及FCN组成。当模型接收到上述两种显著图后，可以先由LSTM编码器对这些显著图进行处理，从而确定出编码参数，进一步的，将编码参数传递给模型中的LSTM解码器作为初始化参数，并基于LSTM解码器对当前时刻的视角显著图进行处理，即可得到与历史时间切片相邻的下一时间切片的预测视角显著图，根据预测视角显著图，服务端即可确定出全景视频中各区域的码率信息，进而根据码率信息将相应的数据以差异化的形式编码传输至用户端。
本公开实施例的技术方案，确定历史时间切片的历史视角显著图，以及与历史视角显著图所对应的历史视频内容显著图，进一步的，将历史视角显著图、历史视频内容显著图以及当前视角显著图，输入至预先训练得到的目标视角预测模型中，得到预测时间切片的预测视频内容显著图，最后基于预测视频内容显著图，确定在预测时间切片内的目标视频，利用机器学习模型实现了对用户后续观看视角的预测，便于根据预测结果为用户提供相应的目标视频，提高了用户的观看体验，同时，在预测过程中考虑了视频内容对用户观看视角的影响，提升了预测的准确率。
实施例二
图4为本公开实施例二所提供的一种视频处理装置结构示意图，如图4所示，所述装置包括：历史视角显著图确定模块210、预测视频内容显著图确定模块220以及目标视频确定模块230。
历史视角显著图确定模块210，用于确定历史时间切片的历史视角显著图，以及与所述历史视角显著图像所对应的历史视频内容显著图；其中，所述历史时间切片为预测时间切片的上一时间切片。
预测视频内容显著图确定模块220，用于将所述历史视角显著图、历史视频内容显著图以及当前视角显著图，输入至预先训练得到的目标视角预测模型中，得到所述预测时间切片的预测视频内容显著图。
目标视频确定模块230，用于基于所述预测视频内容显著图，确定在所述预测时间切片内的目标视频。
在上述各技术方案的基础上，历史视角显著图确定模块210包括历史视角显著图确定单元以及历史视角确定单元。
历史视角显著图确定单元，用于当获取到所述历史时间切片中的最后一个视频帧时，确定所述历史时间切片的历史视角显著图，以及历史视频内容显著图；或，当获取到所述历史时间切片中的历史视频帧时，基于历史视频帧更新所述历史时间切片所对应的历史视角显著图，以及历史视频内容显著图。
历史视角确定单元，用于确定所述历史时间切片内各历史视频帧的历史视角信息。
可选的，历史视角显著图确定单元，还用于确定各历史视角信息在相应历史视频帧中所对应的历史视角显著图，以及各历史视频帧的历史视频内容显著图。
可选的，历史视角显著图确定单元，还用于针对各历史视频帧，根据当前历史视频帧的历史视角信息，确定与所述历史视角信息相对应的显著区域，并基于所述显著区域确定待融合视角显著图；以及，基于显著区域分割模型确定对所述当前历史视频帧分割处理，确定所述当前历史视频帧的待融合内容显著图；基于各历史视频帧的待融合视角显著图，确定所述历史视角显著图；以及，基于各历史视频帧的待融合内容显著图，确定所述历史视频内容显著图。
在上述各技术方案的基础上，预测视频内容显著图确定模块220包括编码参数确定单元以及预测视角显著图确定单元。
编码参数确定单元，用于基于所述目标视角预测模型中的编码器对所述历史视角显著图和所述历史视频内容显著图进行处理，确定编码参数。
预测视角显著图确定单元，用于基于所述目标视角预测模型中的解码器对所述编码参数和所述当前视角显著图进行处理，得到当前时间切片所对应的预测视角显著图。
可选的，目标视频确定模块230，还用于基于所述预测视角显著图，确定预测时间切片内各预测视频帧所对应的预测观看视角，并基于所述预测观看视角调整所述预测视角显著图中各区域的码率信息，以基于所述码率信息下发预测时间切片内的目标视频。
在上述各技术方案的基础上，视频处理装置还包括模型训练模块。
模型训练模块，用于确定训练样本集，其中，所述训练样本集中包括多个训练样本，训练样本中包括待训练时间切片内的待训练视角显著图、待训练视频内容显著图以及待训练预测时间切片的待训练预测视频内容显著图；针对各训练样本，将所述当前训练样本中的待训练视角显著图和待训练视频内容显著图，输入至待训练视角预测模型中，得到输出预测显著图；基于输出预测调整图和所述当前训练样本中的待训练预测视频内容显著图，确定损失值，并基于所述损失值对所述待训练视角预测模型中的模型参数进行修正；将所述待训练视角预测模型的损失函数收敛作为训练目标，得到所述目标视角预测模型。
可选的，模型训练模块，还用于获取至少一个待使用历史视频；针对各待使用历史视频，将当前待使用历史视频按照预先设置的时间切片划分规则，确定至少一个时间切片的待训练子视频；确定与所述待训练子视频相对应的待训练视频内容显著图，以及各待训练子视频的待使用用户视角，确定与所述待训练子视频相对应的待训练视角显著图；依据各待训练子视频的时间切片标识，将当前时间切片的下一时间切片的待训练视频内容显著图，作为所述当前时间切片的待训练预测视频内容显著图；根据各待训练子视频的待训练视频内容显著图、待训练视角显著图以及待训练预测视频内容显著图，确定至少一个训练样本。
在上述各技术方案的基础上，所述历史视频内容显著图、历史视角显著图以及预测视频内容显著图为全景图。
本实施例所提供的技术方案，确定历史时间切片的历史视角显著图，以及与历史视角显著图所对应的历史视频内容显著图，进一步的，将历史视角显著图、历史视频内容显著图以及当前视角显著图，输入至预先训练得到的目标视角预测模型中，得到预测时间切片的预测视频内容显著图，最后基于预测视频内容显著图，确定在预测时间切片内的目标视频，利用机器学习模型实现了对用户后续观看视角的预测，便于根据预测结果为用户提供相应的目标视频，提高了用户的观看体验，同时，在预测过程中考虑了视频内容对用户观看视角的影响，提升了预测的准确率。
本公开实施例所提供的视频处理装置可执行本公开任意实施例所提供的视频处理方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
实施例三
图5为本公开实施例三所提供的一种电子设备的结构示意图。下面参考图5，其示出了适于用来实现本公开实施例的电子设备(例如图5中的终端设备或服务器)300的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，电子设备300可以包括处理装置(例如中央处理器、图案处理器等)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置306加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。编辑/输出(I/O)接口305也连接至总线304。
通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的编辑装置306；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置306被安装，或者从ROM 302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述功能。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
本公开实施例提供的电子设备与上述实施例提供的视频处理方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
实施例四
本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的视频处理方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
确定历史时间切片的历史视角显著图，以及与所述历史视角显著图像所对应的历史视频内容显著图；其中，所述历史时间切片为预测时间切片的上一时间切片；
将所述历史视角显著图、历史视频内容显著图以及当前视角显著图，输入至预先训练得到的目标视角预测模型中，得到所述预测时间切片的预测视频内容显著图；
基于所述预测视频内容显著图，确定在所述预测时间切片内的目标视频。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，【示例一】提供了一种视频处理方法，该方法包括：
确定历史时间切片的历史视角显著图，以及与所述历史视角显著图像所对应的历史视频内容显著图；其中，所述历史时间切片为预测时间切片的上一时间切片；
将所述历史视角显著图、历史视频内容显著图以及当前视角显著图，输入至预先训练得到的目标视角预测模型中，得到所述预测时间切片的预测视频内容显著图；
基于所述预测视频内容显著图，确定在所述预测时间切片内的目标视频。
根据本公开的一个或多个实施例，【示例二】提供了一种视频处理方法，该方法，还包括：
可选的，当获取到所述历史时间切片中的最后一个视频帧时，确定所述历史时间切片的历史视角显著图，以及历史视频内容显著图；或，
当获取到所述历史时间切片中的历史视频帧时，基于历史视频帧更新所述历史时间切片所对应的历史视角显著图，以及历史视频内容显著图。
根据本公开的一个或多个实施例，【示例三】提供了一种视频处理方法，该方法，还包括：
可选的，确定所述历史时间切片内各历史视频帧的历史视角信息；
确定各历史视角信息在相应历史视频帧中所对应的历史视角显著图，以及各历史视频帧的历史视频内容显著图。
根据本公开的一个或多个实施例，【示例四】提供了一种视频处理方法，该方法，还包括：
可选的，针对各历史视频帧，根据当前历史视频帧的历史视角信息，确定与所述历史视角信息相对应的显著区域，并基于所述显著区域确定待融合视角显著图；以及，基于显著区域分割模型确定对所述当前历史视频帧分割处理，确定所述当前历史视频帧的待融合内容显著图；
基于各历史视频帧的待融合视角显著图，确定所述历史视角显著图；以及，基于各历史视频帧的待融合内容显著图，确定所述历史视频内容显著图。
根据本公开的一个或多个实施例，【示例五】提供了一种视频处理方法，该方法，还包括：
可选的，基于所述目标视角预测模型中的编码器对所述历史视角显著图和所述历史视频内容显著图进行处理，确定编码参数；
基于所述目标视角预测模型中的解码器对所述编码参数和所述当前视角显著图进行处理，得到当前时间切片所对应的预测视角显著图。
根据本公开的一个或多个实施例，【示例六】提供了一种视频处理方法，该方法，还包括：
可选的，基于所述预测视角显著图，确定预测时间切片内各预测视频帧所对应的预测观看视角，并基于所述预测观看视角调整所述预测视角显著图中各区域的码率信息，以基于所述码率信息下发预测时间切片内的目标视频。
根据本公开的一个或多个实施例，【示例七】提供了一种视频处理方法，该方法，还包括：
可选的，确定训练样本集，其中，所述训练样本集中包括多个训练样本，训练样本中包括待训练时间切片内的待训练视角显著图、待训练视频内容显著图以及待训练预测时间切片的待训练预测视频内容显著图；
针对各训练样本，将所述当前训练样本中的待训练视角显著图和待训练视频内容显著图，输入至待训练视角预测模型中，得到输出预测显著图；
基于输出预测调整图和所述当前训练样本中的待训练预测视频内容显著图，确定损失值，并基于所述损失值对所述待训练视角预测模型中的模型参数进行修正；
将所述待训练视角预测模型的损失函数收敛作为训练目标，得到所述目标视角预测模型。
根据本公开的一个或多个实施例，【示例八】提供了一种视频处理方法，该方法，还包括：
可选的，获取至少一个待使用历史视频；
针对各待使用历史视频，将当前待使用历史视频按照预先设置的时间切片划分规则，确定至少一个时间切片的待训练子视频；
确定与所述待训练子视频相对应的待训练视频内容显著图，以及各待训练子视频的待使用用户视角，确定与所述待训练子视频相对应的待训练视角显著图；
依据各待训练子视频的时间切片标识，将当前时间切片的下一时间切片的待训练视频内容显著图，作为所述当前时间切片的待训练预测视频内容显著图；
根据各待训练子视频的待训练视频内容显著图、待训练视角显著图以及待训练预测视频内容显著图，确定至少一个训练样本。
根据本公开的一个或多个实施例，【示例九】提供了一种视频处理方法，该方法，还包括：
可选的，所述历史视频内容显著图、历史视角显著图以及预测视频内容显著图为全景图。
根据本公开的一个或多个实施例，【示例十】提供了一种视频处理装置，该装置包括：
历史视角显著图确定模块，用于确定历史时间切片的历史视角显著图，以及与所述历史视角显著图像所对应的历史视频内容显著图；其中，所述历史时间切片为预测时间切片的上一时间切片；
预测视频内容显著图确定模块，用于将所述历史视角显著图、历史视频内容显著图以及当前视角显著图，输入至预先训练得到的目标视角预测模型中，得到所述预测时间切片的预测视频内容显著图；
目标视频确定模块，用于基于所述预测视频内容显著图，确定在所述预测时间切片内的目标视频。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (12)

1.一种视频处理方法，其特征在于，包括：
确定历史时间切片的历史视角显著图，以及与所述历史视角显著图像所对应的历史视频内容显著图；其中，所述历史时间切片为预测时间切片的上一时间切片；
将所述历史视角显著图、历史视频内容显著图以及当前视角显著图，输入至预先训练得到的目标视角预测模型中，得到所述预测时间切片的预测视频内容显著图；
基于所述预测视频内容显著图，确定在所述预测时间切片内的目标视频。
2.根据权利要求1所述的方法，其特征在于，所述确定历史时间切片的历史视角显著图，以及与所述历史视角显著图像所对应的历史视频内容显著图，包括：
当获取到所述历史时间切片中的最后一个视频帧时，确定所述历史时间切片的历史视角显著图，以及历史视频内容显著图；或，
当获取到所述历史时间切片中的历史视频帧时，基于历史视频帧更新所述历史时间切片所对应的历史视角显著图，以及历史视频内容显著图。
3.根据权利要求1所述的方法，其特征在于，所述确定历史时间切片的历史视角显著图，以及与所述历史视角显著图像所对应的历史视频内容显著图，包括：
确定所述历史时间切片内各历史视频帧的历史视角信息；
确定各历史视角信息在相应历史视频帧中所对应的历史视角显著图，以及各历史视频帧的历史视频内容显著图。
4.根据权利要求3所述的方法，其特征在于，所述确定各历史视角信息在相应历史视频帧中所对应的历史视角显著图，以及各历史视频帧的历史视频内容显著图，包括：
针对各历史视频帧，根据当前历史视频帧的历史视角信息，确定与所述历史视角信息相对应的显著区域，并基于所述显著区域确定待融合视角显著图；以及，基于显著区域分割模型确定对所述当前历史视频帧分割处理，确定所述当前历史视频帧的待融合内容显著图；
基于各历史视频帧的待融合视角显著图，确定所述历史视角显著图；以及，基于各历史视频帧的待融合内容显著图，确定所述历史视频内容显著图。
5.根据权利要求1所述的方法，其特征在于，所述将所述历史视角显著图、历史视频内容显著图以及当前视角显著图，输入至预先训练得到的目标视角预测模型中，得到所述预测时间切片的预测视频内容显著图，包括：
基于所述目标视角预测模型中的编码器对所述历史视角显著图和所述历史视频内容显著图进行处理，确定编码参数；
基于所述目标视角预测模型中的解码器对所述编码参数和所述当前视角显著图进行处理，得到当前时间切片所对应的预测视角显著图。
6.根据权利要求1所述的方法，其特征在于，所述基于所述预测视频内容显著图，确定在所述预测时间切片内的目标视频，包括：
基于所述预测视角显著图，确定预测时间切片内各预测视频帧所对应的预测观看视角，并基于所述预测观看视角调整所述预测视角显著图中各区域的码率信息，以基于所述码率信息下发预测时间切片内的目标视频。
7.根据权利要求1所述的方法，其特征在于，还包括：
确定训练样本集，其中，所述训练样本集中包括多个训练样本，训练样本中包括待训练时间切片内的待训练视角显著图、待训练视频内容显著图以及待训练预测时间切片的待训练预测视频内容显著图；
针对各训练样本，将所述当前训练样本中的待训练视角显著图和待训练视频内容显著图，输入至待训练视角预测模型中，得到输出预测显著图；
基于输出预测调整图和所述当前训练样本中的待训练预测视频内容显著图，确定损失值，并基于所述损失值对所述待训练视角预测模型中的模型参数进行修正；
将所述待训练视角预测模型的损失函数收敛作为训练目标，得到所述目标视角预测模型。
8.根据权利要求7所述的方法，其特征在于，所述确定训练样本集，包括：
获取至少一个待使用历史视频；
针对各待使用历史视频，将当前待使用历史视频按照预先设置的时间切片划分规则，确定至少一个时间切片的待训练子视频；
确定与所述待训练子视频相对应的待训练视频内容显著图，以及各待训练子视频的待使用用户视角，确定与所述待训练子视频相对应的待训练视角显著图；
依据各待训练子视频的时间切片标识，将当前时间切片的下一时间切片的待训练视频内容显著图，作为所述当前时间切片的待训练预测视频内容显著图；
根据各待训练子视频的待训练视频内容显著图、待训练视角显著图以及待训练预测视频内容显著图，确定至少一个训练样本。
9.根据权利要求1所述的方法，其特征在于，所述历史视频内容显著图、历史视角显著图以及预测视频内容显著图为全景图。
10.一种视频处理装置，其特征在于，包括：
历史视角显著图确定模块，用于确定历史时间切片的历史视角显著图，以及与所述历史视角显著图像所对应的历史视频内容显著图；其中，所述历史时间切片为预测时间切片的上一时间切片；
预测视频内容显著图确定模块，用于将所述历史视角显著图、历史视频内容显著图以及当前视角显著图，输入至预先训练得到的目标视角预测模型中，得到所述预测时间切片的预测视频内容显著图；
目标视频确定模块，用于基于所述预测视频内容显著图，确定在所述预测时间切片内的目标视频。
11.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的视频处理方法。
12.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-9中任一所述的视频处理方法。
CN202210553339.9A 2022-05-20 2022-05-20 一种视频处理方法、装置、电子设备及存储介质 Pending CN114979652A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210553339.9A CN114979652A (zh) 2022-05-20 2022-05-20 一种视频处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210553339.9A CN114979652A (zh) 2022-05-20 2022-05-20 一种视频处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114979652A true CN114979652A (zh) 2022-08-30

Family

ID=82984521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210553339.9A Pending CN114979652A (zh) 2022-05-20 2022-05-20 一种视频处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114979652A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116828265A (zh) * 2023-08-28 2023-09-29 湖南快乐阳光互动娱乐传媒有限公司 一种视频控制方法、系统、电子设备及可读存储介质
WO2024099314A1 (zh) * 2022-11-08 2024-05-16 抖音视界有限公司 视角预测方法、装置、设备和存储介质
CN118071969A (zh) * 2024-04-25 2024-05-24 山东金东数字创意股份有限公司 一种基于ai实时生成xr环境背景的方法、介质及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507116A (zh) * 2016-10-12 2017-03-15 上海大学 一种基于3d显著性信息和视点合成预测的3d‑hevc编码方法
CN110166850A (zh) * 2019-05-30 2019-08-23 上海交通大学 多重cnn网络预测全景视频观看位置的方法和系统
CN110248178A (zh) * 2019-06-18 2019-09-17 深圳大学 利用物体跟踪和历史轨迹全景视频的视口预测方法及系统
US20190373298A1 (en) * 2018-06-01 2019-12-05 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
WO2020238560A1 (zh) * 2019-05-27 2020-12-03 腾讯科技（深圳）有限公司 视频目标跟踪方法、装置、计算机设备及存储介质
CN112468828A (zh) * 2020-11-25 2021-03-09 深圳大学 全景视频的码率分配方法、装置、移动终端及存储介质
CN112468806A (zh) * 2020-11-12 2021-03-09 中山大学 一种用于云vr平台的全景视频传输优化方法
CN112800276A (zh) * 2021-01-20 2021-05-14 北京有竹居网络技术有限公司 视频封面确定方法、装置、介质及设备
CN113365156A (zh) * 2021-06-17 2021-09-07 合肥工业大学 一种基于有限视场反馈的全景视频多播流的视角预测方法
CN114449162A (zh) * 2021-12-22 2022-05-06 天翼云科技有限公司 一种播放全景视频的方法、装置、计算机设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507116A (zh) * 2016-10-12 2017-03-15 上海大学 一种基于3d显著性信息和视点合成预测的3d‑hevc编码方法
US20190373298A1 (en) * 2018-06-01 2019-12-05 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
WO2020238560A1 (zh) * 2019-05-27 2020-12-03 腾讯科技（深圳）有限公司 视频目标跟踪方法、装置、计算机设备及存储介质
CN110166850A (zh) * 2019-05-30 2019-08-23 上海交通大学 多重cnn网络预测全景视频观看位置的方法和系统
CN110248178A (zh) * 2019-06-18 2019-09-17 深圳大学 利用物体跟踪和历史轨迹全景视频的视口预测方法及系统
CN112468806A (zh) * 2020-11-12 2021-03-09 中山大学 一种用于云vr平台的全景视频传输优化方法
CN112468828A (zh) * 2020-11-25 2021-03-09 深圳大学 全景视频的码率分配方法、装置、移动终端及存储介质
CN112800276A (zh) * 2021-01-20 2021-05-14 北京有竹居网络技术有限公司 视频封面确定方法、装置、介质及设备
CN113365156A (zh) * 2021-06-17 2021-09-07 合肥工业大学 一种基于有限视场反馈的全景视频多播流的视角预测方法
CN114449162A (zh) * 2021-12-22 2022-05-06 天翼云科技有限公司 一种播放全景视频的方法、装置、计算机设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024099314A1 (zh) * 2022-11-08 2024-05-16 抖音视界有限公司 视角预测方法、装置、设备和存储介质
CN116828265A (zh) * 2023-08-28 2023-09-29 湖南快乐阳光互动娱乐传媒有限公司 一种视频控制方法、系统、电子设备及可读存储介质
CN116828265B (zh) * 2023-08-28 2023-11-28 湖南快乐阳光互动娱乐传媒有限公司 一种视频控制方法、系统、电子设备及可读存储介质
CN118071969A (zh) * 2024-04-25 2024-05-24 山东金东数字创意股份有限公司 一种基于ai实时生成xr环境背景的方法、介质及系统

Similar Documents

Publication Publication Date Title
CN114979652A (zh) 一种视频处理方法、装置、电子设备及存储介质
US11785195B2 (en) Method and apparatus for processing three-dimensional video, readable storage medium and electronic device
CN110290398B (zh) 视频下发方法、装置、存储介质及电子设备
CN114581566A (zh) 一种动画特效生成方法、装置、设备及介质
CN115761090A (zh) 特效渲染方法、装置、设备、计算机可读存储介质及产品
CN109862019B (zh) 数据处理方法、装置以及系统
CN111327762A (zh) 操作轨迹的显示方法、装置、电子设备及存储介质
CN111818265B (zh) 基于增强现实模型的交互方法、装置、电子设备及介质
CN114445600A (zh) 一种特效道具的展示方法、装置、设备及存储介质
CN113259729B (zh) 数据切换的方法、服务器、系统及存储介质
WO2023088104A1 (zh) 视频的处理方法、装置、电子设备和存储介质
CN114979762B (zh) 视频下载、传输方法、装置、终端设备、服务器及介质
US20230206575A1 (en) Rendering a virtual object in spatial alignment with a pose of an electronic device
CN111833459A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113259601A (zh) 视频处理方法、装置、可读介质和电子设备
CN116708892A (zh) 一种音画同步检测方法、装置、设备和存储介质
CN115756158A (zh) 一种视角预测方法、装置、设备和存储介质
CN116248889A (zh) 图像编码及解码方法、装置和电子设备
CN114926326A (zh) 图像处理方法、装置、电子设备及存储介质
CN116847147A (zh) 特效视频确定方法、装置、电子设备及存储介质
CN110769129B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN114501041B (zh) 特效显示方法、装置、设备及存储介质
CN113794836B (zh) 一种子弹时间视频生成方法、装置、系统、设备和介质
EP4202611A1 (en) Rendering a virtual object in spatial alignment with a pose of an electronic device
CN117762546A (zh) 特效处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: Room B-0035, 2nd Floor, Building 3, No. 30 Shixing Street, Shijingshan District, Beijing

Applicant after: Douyin Vision Co.,Ltd.

Country or region after: Britain

Applicant after: Face Meng Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Applicant before: Tiktok vision (Beijing) Co.,Ltd.

Country or region before: China

Applicant before: Face Meng Ltd.

Country or region before: Britain

Country or region after: China

Address after: Room B-0035, 2nd Floor, Building 3, No. 30 Shixing Street, Shijingshan District, Beijing

Applicant after: Tiktok vision (Beijing) Co.,Ltd.

Country or region after: Britain

Applicant after: Face Meng Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Applicant before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

Country or region before: China

Applicant before: Face Meng Ltd.

Country or region before: Britain

CB02 Change of applicant information