CN107018336A - 图像处理的方法和装置及视频处理的方法和装置 - Google Patents

Abstract

本申请提供了一种图像处理的方法和装置、视频处理的方法和装置及虚拟现实装置，该图像处理的方法包括：获取背景图像，该背景图像为球形全景图像或立方体全景图像；获取目标图像，该目标图像为非全景图像；对该目标图像和该背景图像进行合成处理，以生成待播放图像，该待播放图像为球形全景图像或立方体全景图像，且该待播放图像包括第一区域和第二区域，该第一区域包括根据该背景图像获得的像素，该第二区域包括根据该目标图像获得的像素，从而，能够降低虚拟现实设备在播放虚拟影院图像时的处理负担。

Description

图像处理的方法和装置及视频处理的方法和装置

技术领域

本申请涉及视频图像领域，并且更具体地，涉及图像处理的方法和装置、视频处理的方法和装置及虚拟现实装置。

背景技术

虚拟现实(Virtual Reality，VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。

全景图像(或者说，由多帧全景图像组成的全景视频)是实现VR场景的主要手段之一。全景图像是指通过例如，广角的表现手段以及绘画、相片、视频、三维模型等形式，尽可能多的表现出周围的环境。其中，全景图像可以借助全景摄像机拍摄完成，但是，全景摄像机的价格较高。或者，全景图像也可以借助计算机建模处理生成，但是，该过程对于计算机的图形处理能力的要求较高。

为了低成本的为用户提供VR体现，出现了虚拟影院技术，用户在戴上VR设备的瞬间就会置身于一个虚拟的影院当中，例如，用户会识别为前后左右都是实现完成建模的座椅，正前方是一个播放幕布，用户所选的视频将会在幕布上播放。

虚拟影院技术的实现VR的方式主要通过制作作为全景图像的虚拟背景图像，例如，影院的全景图像，在播放虚拟背景图像的同时播放正常视频，正常图像覆盖在虚拟背景图像中的固定位置，相当于通过类似更换播放器皮肤的方式实现在虚拟场所观看正常图像。

但是，该虚拟影院技术中，需要VR设备同时完成普通图像的播放和全景图像的播放，对VR设备的要求较高。

希望提供一种技术，能够降低VR设备在播放虚拟影院图像时的处理负担。

发明内容

本申请提供一种图像处理的方法、装置和设备及视频处理的方法、装置和设备，能够降低VR设备的处理负担。

第一方面，提供了一种图像处理的方法，该方法包括：获取背景图像，该背景图像为球形全景图像或立方体全景图像；获取目标图像，该目标图像为非全景图像；对该目标图像和该背景图像进行合成处理，以生成待播放图像，该待播放图像为球形全景图像或立方体全景图像，且该待播放图像包括第一区域和第二区域，该第一区域包括根据该背景图像获得的像素，该第二区域包括根据该目标图像获得的像素。

根据本发明实施例的图像处理的方法，通过获取作为全景图像(具体的说，是球形全景图像或立方体全景图像)的背景图像和作为非全景图像的目标图像，并将该背景图像和目标图像进行合成处理，能够生产作为全景图像的待播放图像，该待播放图像包括第一区域和第二区域，第一区域包括背景图像中用于呈现虚拟背景的像素，该第二区域包括目标图像对应的像素，从而，当该待播放图像被VR设备播放时，能够同时呈现背景图像和目标图像双方的内容，即，能够通过播放待播放图像，实现在于背景图像对应的虚拟场景中观看目标图像的过程，进而，能够降低VR设备在播放虚拟影院图像时的处理负担。

可选地，该背景图像包括背景区域和内容区域，以及该对该目标图像和该背景图像进行合成处理，包括：确定该背景图像的内容区域；根据该背景图像的内容区域，对该目标图像进行像素重构，以生成待拼接图像；对待拼接图像和该背景图像进行合成处理，其中，该第一区域包括该背景区域中的像素，该第二区域包括该待拼接图像中的像素。

可选地，该对待拼接图像和该背景图像进行合成处理，包括：根据该背景区域中的像素确定该第一区域中的像素，并根据该待拼接图像的像素确定该第二区域中的像素。

可选地，该对待拼接图像和该背景图像进行合成处理，包括：将该待拼接图像的像素覆盖该背景图像的内容区域的部分或全部像素。

可选地，该对待拼接图像和该背景图像进行合成处理，包括：将该待拼接图像的像素替换该背景图像的内容区域的部分或全部像素。

可选地，该待拼接图像的大小与该背景图像的内容区域的大小的差异在预设的第一范围内，该待拼接图像的形状与该背景图像的内容区域的大小形状的差异在预设的第二范围内。

可选地，该待拼接图像在通过虚拟现实VR设备播放时呈现的内容为与该目标图像呈现的内容相同。

可选地，该根据该背景图像的内容区域，对该目标图像进行像素重构，包括：根据该目标图像和以下至少一种参数，对该目标图像进行像素重构：该背景图像的内容区域在该背景图像中的范围、该背景图像的内容区域的形状、该背景图像的内容区域的大小、该背景图像的内容区域在该背景图像中的位置、该背景像的全景视角或该背景图像的展开方式。

根据本发明实施例的图像处理的方法，通过从背景图像中确定内容区域，并基于内容区域的相关参数对目标进行像素重构，能够使所生成的待拼接图像在经过VR设备的播放时呈现为目标图像，并且能够避免目标图像在与背景图像合并时或者经过VR设备播放时发生像素丢失，能够改善用户体验，进一步提高本发明实施例的图像处理的方法的实用性。

可选地，该背景图像的形状为第一矩形，该背景图像的内容区域位于该第一矩形的中心位置，该背景图像的内容区域的形状为：第二矩形以第一方式变形后形成的形状，该第一方式为该第二矩形的水平方向上的边变形为具有预设弧度

可选地，该根据该背景图像的内容区域，对该目标图像进行像素重构，包括：根据该第二矩形的长宽比和该预设弧度，对该目标图像进行像素重构。

根据本发明实施例的图像处理的方法，通过使背景图像形成为矩形，并使内容区域位于背景图像的中心位置，能够实现第二矩形的长宽比以及第二矩形的变形弧度，进行目标图像的像素重构，从而，能够减小对目标图像进行像素重构的复杂度。

可选地，该确定该背景图像的内容区域，包括：获取第一提取模型，该第一提取模型用于指示该背景图像的内容区域在该背景图像中的范围；根据该第一提取模型，确定该背景图像的内容区域。

根据本发明实施例的图像处理的方法，通过用于指示该背景图像的内容区域在该背景图像中的范围的第一提取模型，能够快速准确的实现内容区域的确定过程，从而，能够提高本发明实施例的图像处理的方法的处理效率，进一步提高本发明实施例的图像处理的方法的实用性。

可选地，该获取第一提取模型，包括：获取M个图像集合和M个提取模型之间的一一映射关系，其中，该M个图像集合中的每个图像集合包括至少一个全景图像，每个全景图像包括内容区域，该M个提取模型中的每个提取模型用于指示该对应的图像集合中的全景图像中的内容区域的范围；确定该背景图像该属于的第一图像集合；根据该映射关系，将该第一图像集合对应的提取模型作为该第一提取模型。

可选地，确定该背景图像该属于的第一图像集合包括：根据以下至少一种信息，确定该背景图像该属于的第一图像集合：该背景图像的来源、该背景图像的名称或该背景图像的格式。

根据本发明实施例的图像处理的方法，能够实现通过一个提取模型对多个图像的内容区域的确定过程，从而，能够减小提取模型对存储空间的开销。

可选地，该背景区域包括第一边界区域，该第一边界区域是该背景区域中与该内容区域相邻的区域，该内容区域包括第二边界区域，该第二边界区域是该内容区域中与该背景区域相邻的区域，该第一边界区域中的任一像素的像素值大于或等于第一阈值，与该第二边界区域中的任一像素的像素值小于该第一阈值，以及该确定该背景图像的内容区域，包括：根据该第一阈值，确定该第一边界区域和第二边界区域；根据该第一边界区域和第二边界区域；确定该背景图像的内容区域。

可选地，该背景区域中的任一像素的像素值大于或等于第一阈值，该内容区域中的任一像素的像素值小于该第一阈值，以及该确定该背景图像的内容区域，包括：根据该第一阈值，确定该背景图像的内容区域。

根据本发明实施例的图像处理的方法，通过使背景图像形成为背景区域和内容区域之间的具有像素值差异较大边界，能够容易的识别出该内容区域，从而进一步提高本发明实施例的图像处理的方法的处理效率。

可选地，所述第二区域在所述待播放图像中的范围与所述内容区域在所述背景图像中的范围与所述第一区域在所述第一全景图像中的范围的差异在预设的第三范围内。

可选地，该获取目标图像，包括：从目标视频中获取该目标图像，其中，该目标视频为非全景视频，该目标视频包括多帧第一图像，该目标图像是该多帧图像中的任一帧第一图像。

根据本发明实施例的图像处理的方法，通过将目标视频中的每一帧图像作为目标图像，并进行上述处理过程，能够获取多帧作为球星全景图像或立方体全景图像的待播放图像，并将所生成的多帧图像按时序组合，能够生成球形全景视频或立方体全景视频，该全景视频在通过VR设备播放后，能够呈现基于背景图像生成的虚拟背景，以及目标视频的视频内容。

可选地，该获取背景图像，包括：从背景视频中获取该背景图像，该背景视频为球形全景视频或立方体全景视频，该背景视频包括多帧第二图像，该背景图像是该多帧第二图像中的任意一帧图像。

第二方面，提供了一种图像处理的装置，包括用于执行上述第一方面以及第一方面的各实现方式的方法中的各步骤的单元。

第三方面，提供了一种图像处理的设备，包括存储器和处理器，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得图像处理的设备执行第一方面及第一方面的任一种可能实现方式中的方法。

第四方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被图像处理设备的处理器运行时，使得图像处理设备执行第一方面或第一方面的任一种可能的实现方式中的方法。

第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序，所述程序使得图像处理设备执行第一方面或第一方面的任一种可能的实现方式中的方法。

第六方面，提供了一种视频处理的方法，该方法包括：获取背景视频，该背景视频包括至少一帧图像，该背景视频包括的每一帧图像为球形全景图像或立方体全景图像；获取目标视频，该目标视频包括至少一帧图像，该目标视频包括的每一帧图像为非全景图像；对该目标视频和该背景视频进行合成处理，以生成待播放视频，该背景视频包括至少一帧图像，其中，该待播放视频中的每一帧图像为球形全景图像或立方体全景图像，该待播放视频中的每一帧图像包括第一区域和第二区域，该第一区域包括该背景视频中的像素，该第二区域包括根据该目标视频获得的像素。

根据本发明实施例的视频处理的方法，通过获取作为全景视频(具体的说，是球形全景视频或立方体全景视频)的背景视频和作为非全景视频的目标视频，并将该背景视频和目标视频进行合成处理，能够生产作为全景视频的待播放视频，该待播放视频包括第一区域和第二区域，第一区域包括背景视频中用于呈现虚拟背景的像素，该第二区域包括目标视频对应的像素，从而，当该待播放视频被VR设备播放时，能够同时呈现背景视频和目标视频双方的内容，即，能够通过播放待播放视频，实现在于背景视频对应的虚拟场景中观看目标视频的过程，进而，能够降低VR设备在播放虚拟影院视频时的处理负担。

可选地，该对该目标视频和该背景视频进行合成处理，包括：对目标图像和背景图像进行合成处理，以生成待播放图像，其中，该目标图像是该目标视频中的任意一帧图像，该背景图像是该背景视频中的任意一帧图像，且该待播放图像的第一区域包括根据该背景图像获得的像素，该待播放图像的第二区域包括根据该目标图像获得的像素。

可选地，该背景图像包括背景区域和内容区域，以及该对该目标图像和该背景图像进行合成处理，包括：确定该背景图像的内容区域；根据该背景图像的内容区域，对该目标图像进行像素重构，以生成待拼接图像；对待拼接图像和该背景图像进行合成处理，其中，该第一区域包括该背景区域中的像素，该第二区域包括该待拼接图像中的像素。

可选地，该对待拼接图像和该背景图像进行合成处理，包括：根据该背景区域中的像素确定该第一区域中的像素，并根据该待拼接图像的像素确定该第二区域中的像素。

可选地，该对待拼接图像和该背景图像进行合成处理，包括：将该待拼接图像的像素覆盖该背景图像的内容区域的部分或全部像素。

可选地，该对待拼接图像和该背景图像进行合成处理，包括：将该待拼接图像的像素替换该背景图像的内容区域的部分或全部像素。

可选地，该待拼接图像的大小与该背景图像的内容区域的大小的差异在预设的第一范围内，该待拼接图像的形状与该背景图像的内容区域的大小形状的差异在预设的第二范围内。

可选地，该待拼接图像在通过虚拟现实VR设备播放时呈现的内容为与该目标图像呈现的内容相同。

可选地，该根据该背景图像的内容区域，对该目标图像进行像素重构，包括：根据该目标图像和以下至少一种参数，对该目标图像进行像素重构：该背景图像的内容区域在该背景图像中的范围、该背景图像的内容区域的形状、该背景图像的内容区域的大小、该背景图像的内容区域在该背景图像中的位置、该背景像的全景视角或该背景图像的展开方式。

根据本发明实施例的视频处理的方法，通过从背景图像中确定内容区域，并基于内容区域的相关参数对目标进行像素重构，能够使所生成的待拼接图像在经过VR设备的播放时呈现为目标图像，并且能够避免目标图像在与背景图像合并时或者经过VR设备播放时发生像素丢失，能够改善用户体验，进一步提高本发明实施例的图像处理的方法的实用性。

可选地，该背景图像的形状为第一矩形，该背景图像的内容区域位于该第一矩形的中心位置，该背景图像的内容区域的形状为：第二矩形以第一方式变形后形成的形状，该第一方式为该第二矩形的水平方向上的边变形为具有预设弧度

可选地，该根据该背景图像的内容区域，对该目标图像进行像素重构，包括：根据该第二矩形的长宽比和该预设弧度，对该目标图像进行像素重构。

根据本发明实施例的视频处理的方法，通过使背景图像形成为矩形，并使内容区域位于背景图像的中心位置，能够实现第二矩形的长宽比以及第二矩形的变形弧度，进行目标图像的像素重构，从而，能够减小对目标图像进行像素重构的复杂度。

可选地，该确定该背景图像的内容区域，包括：获取第一提取模型，该第一提取模型用于指示该背景图像的内容区域在该背景图像中的范围；根据该第一提取模型，确定该背景图像的内容区域。

根据本发明实施例的视频处理的方法，通过用于指示该背景图像的内容区域在该背景图像中的范围的第一提取模型，能够快速准确的实现内容区域的确定过程，从而，能够提高本发明实施例的图像处理的方法的处理效率，进一步提高本发明实施例的图像处理的方法的实用性。

可选地，该获取第一提取模型，包括：获取M个图像集合和M个提取模型之间的一一映射关系，其中，该M个图像集合中的每个图像集合包括至少一个全景图像，每个全景图像包括内容区域，该M个提取模型中的每个提取模型用于指示该对应的图像集合中的全景图像中的内容区域的范围；确定该背景图像该属于的第一图像集合；根据该映射关系，将该第一图像集合对应的提取模型作为该第一提取模型。

可选地，确定该背景图像该属于的第一图像集合包括：根据以下至少一种信息，确定该背景图像该属于的第一图像集合：该背景图像的来源、该背景图像的名称或该背景图像的格式。

根据本发明实施例的视频处理的方法，能够实现通过一个提取模型对多个图像的内容区域的确定过程，从而，能够减小提取模型对存储空间的开销。

可选地，该背景区域包括第一边界区域，该第一边界区域是该背景区域中与该内容区域相邻的区域，该内容区域包括第二边界区域，该第二边界区域是该内容区域中与该背景区域相邻的区域，该第一边界区域中的任一像素的像素值大于或等于第一阈值，与该第二边界区域中的任一像素的像素值小于该第一阈值，以及该确定该背景图像的内容区域，包括：根据该第一阈值，确定该第一边界区域和第二边界区域，根据该第一边界区域和第二边界区域，确定该背景图像的内容区域。

可选地，该背景区域中的任一像素的像素值大于或等于第一阈值，该内容区域中的任一像素的像素值小于该第一阈值，以及该确定该背景图像的内容区域，包括：根据该第一阈值，确定该背景图像的内容区域。

根据本发明实施例的视频处理的方法，通过使背景图像形成为背景区域和内容区域之间的具有像素值差异较大边界，能够容易的识别出该内容区域，从而进一步提高本发明实施例的图像处理的方法的处理效率。

可选地，所述第二区域在所述待播放图像中的范围与所述内容区域在所述背景图像中的范围与所述第一区域在所述第一全景图像中的范围的差异在预设的第三范围内。

第七方面，提供了一种视频处理的装置，包括用于执行上述第六方面以及第六方面的各实现方式的方法中的各步骤的单元。

第八方面，提供了一种视频处理的设备，包括存储器和处理器，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得视频处理的设备执行第六方面及第六方面的任一种可能实现方式中的方法。

第九方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被图像处理设备的处理器运行时，使得视频处理设备执行第六方面或第六方面的任一种可能的实现方式中的方法。

第十方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序，所述程序使得视频处理设备执行第六方面或第六方面的任一种可能的实现方式中的方法。

第十方面，提供了一种虚拟现实装置，包括：处理单元，用于执行上述第一方面以及第一方面的各实现方式的方法中的各步骤，以获取待播放图像，或所述处理单元用于执行上述第六方面以及第六方面的各实现方式的方法中的各步骤，以获取待播放视频；呈现单元，用于呈现该待播放图像或该待播放视频。

第十一方面，提供了一种虚拟现实设备，包括：存储器、处理器和显示器，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得虚拟显示设备执行上述第一方面以及第一方面的各实现方式的方法中的各步骤，以获取待播放图像，或使得虚拟显示设备执行上述第六方面以及第六方面的各实现方式的方法中的各步骤，以获取待播放视频；显示器用于呈现该待播放图像或该待播放视频。

附图说明

图1是能够执行本发明实施例的图像处理的方法或视频处理的方法的处理节点的一例的逻辑结构图。

图2是能够执行本发明实施例的图像处理的方法或视频处理的方法的处理节点的另一例的逻辑结构图。

图3是本发明实施例的图像处理的方法的示意性流程图。

图4是本发明实施例的合成处理的示意性流程图。

图5是本发明实施例的背景图像的一例的示意图。

图6是本发明实施例的第一提取模板的一例的示意图。

图7是本发明实施例的目标图像的一例的示意图。

图8是本发明实施例的待拼接图像的一例的示意图。

图9是本发明实施例的待播放图像的一例的示意图。

图10是本发明实施例的待播放图像经VR设备播放后的效果图。

图11是本发明实施例的图像处理的装置的示意性框图。

图12是本发明实施例的处理单元的示意性框图。

图13是本发明实施例的图像处理的设备的示意性结构图。

图14是本发明实施例的视频处理的方法的示意性流程图。

图15是本发明实施例的视频处理的装置的示意性框图。

图16是本发明实施例的视频处理的设备的示意性结构图。

图17是适用本发明实施例的图像处理的方法或视频处理的方法的终端设备的示意性结构图。

图18是本发明实施例的VR装置的示意性框图。

图19是本发明实施例的VR设备的示意性框图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

首先，介绍本发明实施例提供的图像处理的方法或视频处理的方法所应用于的处理节点的逻辑结构。

作为示例而非限定，在本发明实施例中，该处理节点可以是终端设备、个人计算机或服务器等具有图形处理能力的计算设备，本发明实施例并未特别限定。

如图1所示，该处理节点的硬件层包括中央处理器(Central Processing Unit，CPU)和/或图形处理器(Graphics Processing Unit，GPU)等。

可选地，还可以处理节点的硬件层还可以包括存储器、输入/输出设备、内存、内存控制器、网络接口等。

其中，输入设备可包括键盘、鼠标、触摸屏等。

输出设备可包括显示设备如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube)显示器、全息成像(Holographic)显示器或投影(Projector)等。

在硬件层之上可运行有操作系统(如Android等)以及一些应用程序。核心库是操作系统的核心部分，包括输入/输出服务、核心服务、图形设备接口以及实现CPU、GPU图形处理的图形引擎(Graphics Engine)等。图形引擎可包括2D引擎、3D引擎、合成器(Composition)、帧缓冲区(Frame Buffer)等。除此之外，该终端还包括驱动层、框架层和应用层。驱动层可包括CPU驱动、GPU驱动、显示控制器驱动等。框架层可包括图形服务(Graphic Service)、系统服务(System service)、网页服务(Web Service)和用户服务(Customer Service)等；图形服务中，可包括如微件(Widget)、画布(Canvas)、视图(Views)、渲染脚本(Render Script)等。应用层可包括桌面(launcher)、媒体播放器(MediaPlayer)、浏览器(Browser)等。

以图1为例，本发明实施例提供的图形处理的方法，应用于计算节点，该计算节点的硬件层可包括处理器(例如，CPU和/或GPU)、显示控制器(Display Controller)、内存、内存控制器、输入设备、显示设备等硬件。核心库层(Kernel Library)可包括输入/输出服务(Input/Output Service，I/O Service)、核心服务(Kernel Service)及图形引擎(GraphicEngine)。

应当理解的是，图1所示的逻辑结构仅为本发明实施例方法的执行主体的逻辑结构的示例性说明，本发明并未特别限定，只要能够执行本发明实施例的图像处理的方法即可。

例如，作为示例而非限定，本发明实施例方法的执行主体也可以是虚拟现实系统，图2示出了本发明实施例的虚拟现实系统的一例。

如图2所示，该虚拟现实系统的硬件层包括中央处理器CPU和GPU等，当然还可以包括存储器、输入/输出设备、内存、内存控制器、网络接口等。

其中，输入/输出设备也可以称为交互设备。

作为示例而非限定，输入设备可包括键盘、鼠标、触摸屏、语音识别设备、运动传感器等，其中，该运动传感器也可以称为动作捕捉设备，用于检测用户的手势操作等，作为示例而非限定，该动作捕捉设备可以包括眼动仪、力觉反馈设备、数据手套、操纵杆、触觉反馈装置等。

作为示例而非限定，输出设备可包括显示设备，例如，3D展示系统、大型投影系统、头显(头戴式立体显示器等)等。在硬件层之上可运行有操作系统(例如，安卓(Android)等系统)以及一些应用程序。

例如，在本发明实施例中，该显示设备可以为虚拟现实头显，其中，该虚拟现实头显也可以称为头戴式显示器，是利用人的左右眼获取信息差异，引导用户产生一种身在虚拟环境中的感觉的一种头戴式立体显示器。其显示原理是左右眼屏幕分别显示左右眼的图像，人眼获取这种带有差异的信息后在脑海中产生立体感。虚拟现实头显作为虚拟现实的显示设备，具有小巧和封闭性强的特点，在军事训练，虚拟驾驶，虚拟城市等项目中具有广泛的应用

再例如，在本发明实施例中，该显示设备可以为双目全方位显示器(BOOM)，BOOM是一种偶联头部的立体显示设备，是一种特殊的头部显示设备。使用BOOM比较类似使用一个望远镜，把两个独立的CRT显示器捆绑在一起，由两个相互垂直的机械臂支撑，这不仅让用户可以在半径为例如2米的球面空间内用手自由操纵显示器的位置，还能将显示器的重量加以巧妙的平衡而使之始终保持水平，不受平台运动的影响。在支撑臂上的每个节点处都有位置跟踪器。

再例如，在本发明实施例中，该显示设备可以为CRT终端，例如，液晶光闸眼镜，其立体视觉系统的工作原理是：有计算机分别产生左右眼的两幅图像，经过合成处理之后，采用分时交替的方式显示在CRT终端上。用户则佩戴一副与计算机相连的液晶光闸眼镜，眼镜片在驱动信号的作用下，将以与图像显示同步的速率交替开和闭，即当计算机显示左眼图像时，右眼透镜将被屏蔽，显示右眼图像时，左眼透镜被屏蔽。根据双目视察与深度距离正比的关系，人的视觉生理系统可以自动的将这两幅视察图像合成一个立体图像。

再例如，在本发明实施例中，该显示设备可以为洞穴式(CAVE)投影系统，CAVE投影系统是由3个面以上(含3面)硬质背投影墙组成的高度沉浸的虚拟演示环境，配合三维跟踪器，用户可以在被投影墙包围的系统近距离接触虚拟三维物体，或者随意漫游“真实”的虚拟环境。CAVE系统一般应用于高标准的虚拟现实系统。CAVE投影系统是一种基于多通道视景同步技术和立体显示技术的房间式投影可视协同环境，该系统可提供一个房间大小的最小三面或最大七十面立方体投影显示空间，供多人参与，所有参与者均完全沉浸在一个被立体投影画面包围的高级虚拟仿真环境中，借助相应虚拟现实交互设备(如数据手套、位置跟踪器等)，从而获得一种身临其境的高分辨率三维立体视听影像和6自由度交互感受。

此外，如图1所示，该虚拟现实系统的硬件层还可以包括建模设备(如3D扫描仪)。3D扫描仪，也称为三维立体扫描仪，3D扫描仪，是融合光、机、电和计算机技术于一体的高新科技产品，主要用于获取物体外表面的三维坐标及物体的三维数字化模型。该设备不但可用于产品的逆向工程、快速原型制造、三维检测(机器视觉测量)等领域，而且随着三维扫描技术的不断深入发展，诸如三维影视动画、数字化展览馆、服装量身定制、计算机虚拟现实仿真与可视化等越来越多的行业也开始应用三维扫描仪这一便捷的手段来创建实物的数字化模型。通过三维扫描仪非接触扫描实物模型，得到实物表面精确的三维点云(PointCloud)数据，最终生成实物的数字模型，不仅速度快，而且精度高，几乎可以完美的复制现实世界中的任何物体，以数字化的形式逼真的重现现实世界。

如图2所示，在该虚拟现实系统的软件系统架构中，核心库是操作系统的核心部分，包括外观管理器、媒体框架、关系数据库、2G图形引擎库、Web浏览器引擎，内核库和虚拟机等，其中，本发明实施例所描述的应用场景的识别和功耗控制策略的确定可以是在虚拟机处进行实施的，即虚拟机通过编译分析终端设备上正在运行的应用程序，获取所述应用程序的特征数据；根据所述应用程序的特征数据，从场景特征数据集中确定与所述应用程序的特征数据对应的应用场景信息，所述场景特征数据集包括多种应用场景信息与多种应用程序的特征数据的对应关系，其中所述与所述应用程序的特征数据对应的应用场景信息用于表示所述终端设备当前被使用的应用场景，根据所述应用场景信息，从控制策略集中确定与所述应用场景信息对应的功耗控制策略，所述控制策略集包括所述多种应用场景信息与多种功耗控制策略的对应关系，并根据所述与所述应用场景信息对应的功耗控制策略生成对应的功耗控制指令，将功耗控制指令传递给内核，由内核对终端设备的相应硬件(例如CPU、GPU或显示设备等)实施功耗控制。

除此之外，该终端设备还包括驱动层、框架层和应用层。驱动层可包括CPU驱动、GPU驱动、显示控制器驱动等。框架层可包括浏览器引擎、排版引擎、文件解析器等；应用层可包括主界面(home)、媒体播放器(Media Player)、浏览器(Browser)等多种应用程序。

下面，结合图3，对本发明实施例的图像处理的方法的具体过程进行详细说明。

图3示出了本发明实施例的图像处理的方法100的示意性流程，如图3所示，该方法100包括：

S110，获取背景图像，该背景图像为球形全景图像或立方体全景图像；

S120，获取目标图像，该目标图像为非全景图像；

S130，对该目标图像和该背景图像进行合成处理，以生成待播放图像，该待播放图像为球形全景图像或立方体全景图像，且该待播放图像包括第一区域和第二区域，该第一区域包括根据该背景图像获得的像素，该第二区域包括根据该目标图像获得的像素。

具体的说，在S110，处理节点可以获取用于呈现虚拟背景(或者说，虚拟场景)的背景图像。

在本发明实施例中，该背景图像可以为VR设备(例如，VR头盔，VR眼镜或VR浏览器等)能够识别并播放(或者说，呈现)的全景图像。

在本发明实施例中，全景图像可以是指对通过专业相机捕捉整个场景的图像信息或者使用建模软件渲染过后的图像，使用软件进行图片拼合，并用通过VR设备进行播放，即将平面照片或者计算机建模图片变为360度全观，用于虚拟现实浏览，把二维的平面图模拟成真实的三维空间，呈现给观赏者。

在本发明实施例中，全景图像是指：可视角度大于人眼视度(或者说，人眼正常有效视角)的图像。例如，全景图像在水平方向上的视角范围(或者说，可视角度)大于人眼正常水平视角(例如，90度)，全景图像在垂直方向上的视角范围大于人眼正常垂直视角(例如，70度)。

作为实例而非限定，在本发明实施例中，该全景图像可以包括球形全景图像。

其中，作为示例而非限定，在本发明实施例中，可以定义球形坐标系，即，该球形坐标系包括分布在经度和纬度上的多个坐标。并且，在本发明实施例中，可以定义平面坐标系(或者说，平面网格)，该平面坐标系包括分布在水平和垂直方向上的多个坐标。

从而，作为示例而非限定，在本发明实施例中，球形全景可以是指：将球形的经度和纬度坐标直接为水平和垂直坐标平面(或者说，平面网格中格子)。

作为示例而非限定，在本发明实施例中，该平面网格的高度可以是宽的两倍，或者说，球形全景图像的宽度(即，水平方向行的大小)和高度(即，垂直方向行的大小)的比例可以为2:1。

应理解，以上列举的球形全景图像的比例仅为示例性说明，本发明并未限定于此，其他能够形成球形全景图像的比例均落入本发明的保护范围内。

因此，在球形全景中，从赤道到两极，横向拉伸不断加剧，南北两个极点被拉伸成了扁平的网格在整个上部和下部边缘。

作为示例而非限定，在本发明实施例中，球形全景图像可以是指能够现实整个水平方向360度全景以及垂直方向360全景的全景图像。

应理解，以上对球形全景的描述仅为示例性说明，本发明并未限定于此，例如，在本发明实施例中，球形全景图像在水平方向上的全景也可以不是360度全景，例如，球形全景图像在水平方向上的全景也可以是例如，180度全景。或者，在本发明实施例中，球形全景图像在垂直方向上的全景也可以不是360度全景，例如，球形全景图像在垂直方向上的全景也可以是例如，180度全景。

本发明实施例中关于球形全景的定义也可以与现有技术相似，这里，为了避免赘述，省略其详细说明。

图5示出了作为球形全景图像的背景图像的一例，图5所示的背景图像在经过VR设备播放(或者说，呈现)后，能够让使用者感觉处于电影院中。

作为实例而非限定，在本发明实施例中，该全景图像还可以包括立方体全景图像。

其中，作为示例而非限定，在本发明实施例中，立方体全景可以是指将全景图分成了前后左右上下六个面，浏览的时候将六个面结合成一个密闭空间来现实整个水平和竖直的360度全景场景。

应理解，以上列举的全景图像的具体形式仅为示例性说明，本发明实施例并未特别限定，现有技术中对于能够应用于VR场景的实现的全景图像的任何定义均落入本发明实施例的保护范围内。

在本发明实施例中，该背景图像可以是通过用于拍摄全景图像的摄像设备拍摄获得。或者，该背景图像也可以通过计算机进行三维虚拟建模而获得。本发明实施例并未特别限定，该背景图像的获得方式也可以与现有技术相似，这里，为了避免赘述省略其详细说明。

另外，在本发明实施例中，上述背景图像也可以是VR图像，其中，VR图像是指经过VR设备播放后传送到用户的感觉器官末梢的可视的、可听到的或可触摸到的事物，它们看起来好像来源于围绕用户的三维空间。

作为实例而非限定，在本发明实施例中，该VR图像可以是指长宽比例(或者说，水平方向和垂直方向上的比例)为2：1的全景图像。

即，在本发明实施例中，全景图像也可以称为VR全景图像。

可选地，在本发明实施例中，该背景图像包括背景区域和内容区域。

其中，该背景区域的大小和位置可以是(例如，由使用者或管理员)预设的。

或者，该内容区域的大小和位置可以是(例如，由使用者或管理员)预设的置。

其中，该背景区域在经过VR设备播放后能够呈现虚拟背景。

该内容区域在背景图像中的位置可以与经过VR设备播放后的目标图像的内容在虚拟背景中的位置具有对应关系。

例如，如图5所示，当该背景图像用于呈现虚拟影院时，该内容区域可以使电影屏幕所对应的区域。

S120，处理节点可以获取目标图像，该目标图像为非全景图像。其中，非全景图像是指能够通过普通播放设备(非VR设备，例如，手机、个人计算机的显示屏)呈现并被人眼识别的图像，或者说，非全景图像是指：可视角度小于或等于人眼视度(或者说，人眼正常有效视角)的图像。例如，非全景图像在水平方向上的视角范围(或者说可视角度)小于或等于人眼正常水平视角(例如，90度)，非全景图像在垂直方向上的视角范围小于或人眼正常垂直视角(例如，70度)。图7示出了本发明的目标图像的一例。

S130，处理节点可以对该目标图像和该背景图像进行合成处理，以生成待播放图像。

下面，对该“合成处理”的具体过程进行示例性说明。

可选地，该背景图像包括背景区域和内容区域，以及

该对该目标图像和该背景图像进行合成处理，包括：

确定该背景图像的内容区域；

根据该背景图像的内容区域，对该目标图像进行像素重构，以生成待拼接图像；

对待拼接图像和该背景图像进行合成处理，其中，该第一区域包括该背景区域中的像素，该第二区域包括该待拼接图像中的像素。

具体地说，如图4所示，在S132，处理节点可以从背景图像中确定上述内容区域。

其中，作为实例而非限定，在本发明实施例中，处理节点可以根据以下任意一种方式确定内容区域。

方式1

该确定该背景图像的内容区域，包括：

获取第一提取模型，该第一提取模型用于指示该背景图像的内容区域在该背景图像中的范围。

根据该第一提取模型，确定该背景图像的内容区域。

具体地说，在本发明实施例中，在本发明实施例中，该第一提取模板也可以称为标注文件。该第一提取模型可以是使用者配置或者服务器生成的，该第一提取模型可以指示(或者说，标注)该背景图像的内容区域在该背景图像中的范围，具体的说，该第一提取模型可以指示该背景图像的内容区域的大小和形状，以及该内容区域在该背景图像中的位置。

可选地，该获取第一提取模型，包括：

获取M个图像集合和M个提取模型之间的一一映射关系，其中，该M个图像集合中的每个图像集合包括至少一个全景图像，每个全景图像包括内容区域，该M个提取模型中的每个提取模型用于指示该对应的图像集合中的全景图像中的内容区域的范围；

确定该背景图像该属于的第一图像集合；

根据该映射关系，将该第一图像集合对应的提取模型作为该第一提取模型。

具体地说，在本发明实施例中，在处理节点中可以保存有多个提取模型，并且，在处理节点中可以保存有该多个提取模型和多个图像集合之间的映射关系，其中，每个图像集合可以包括至少一个全景图像(或者说，VR全景图像、球形全景图像或立方体全景图像)。

从而，处理节点可以确定该背景图像所属于的图像集合(即，第一图像集合)。

可选地，该确定该背景图像该属于的第一图像集合包括：

根据以下至少一种信息，确定该背景图像该属于的第一图像集合：

该背景图像的来源、该背景图像的名称或该背景图像的格式。

具体地说，在本发明实施例中，可以按照来源，将多个全景图像(或者说，VR全景图像、球形全景图像或立方体全景图像)划分为多个图像集合，以使具有同一来源的图像属于相同的集合。从而，处理节点能够根据背景图像的来源，确定该背景图像所属于的图像集合(即，第一图像集合)。

并且，作为实例而非限定，在本发明实施例中，“来源”可以是指发布图像的网站或服务器的域名或网址，或者，“来源”可以是指发布图像的运营商或制造商的名称。

或者，在本发明实施例中，可以按照名称，将多个全景图像(或者说，VR全景图像、球形全景图像或立方体全景图像)划分为多个图像集合，以使具有同一名称(或者，名称包括同一字符串)的图像属于相同的集合。从而，处理节点能够根据背景图像的名称，确定该背景图像所属于的图像集合(即，第一图像集合)。

并且，作为实例而非限定，在本发明实施例中，“名称”可以是图像的全部名称，或者“名称”也可以是指图像的部分名称，本发明并未特别限定。

再或者，在本发明实施例中，可以按照格式，将多个全景图像(或者说，VR全景图像、球形全景图像或立方体全景图像)划分为多个图像集合，以使格式相同的图像属于相同的集合。从而，处理节点能够根据背景图像的格式，确定该背景图像所属于的图像集合(即，第一图像集合)。

并且，作为实例而非限定，在本发明实施例中，“格式”可以是指图像的编码方式，或者，“格式”也可以是指图像的保存格式，本发明并未特别限定。

其后，处理节点可以根据该映射关系，查找该第一图像集合所对应的图像集合，并将该将该第一图像集合对应的提取模型作为该第一提取模型。

从而，处理节点能够根据该第一提取模型，确定该背景图像的内容区域。

例如，图6示出了本发明实施例的第一提取模板的一例，如图6所示，该第一提取模板可以是例如，黑白二值图，并且，该第一提取模板的大小或者说，长宽比例)可以与背景图像的大小相同，其中，第一提取模板的白色部分(或者说，像素值为255的像素点占据的区域)对应背景图像的背景区域，第一提取模板的黑色部分(或者说，像素值为0的像素点占据的区域)对应背景图像的背景区域。

即，在本发明实施例中，背景区域在背景图像中的相对位置，与白色部分在第一提取模板中的相对位置相同。

从而，处理节点可以将背景图像中位置与白色部分在第一提取模板中的位置相对应的区域确定为背景区域。

类似地，在本发明实施例中，内容区域在背景图像中的相对位置，与黑色部分在第一提取模板中的相对位置相同。

从而，处理节点可以将背景图像中位置与黑色部分在第一提取模板中的位置相对应的区域确定为内容区域。

方式2

该背景区域包括第一边界区域，该第一边界区域是该背景区域中与该内容区域相邻的区域，该内容区域包括第二边界区域，该第二边界区域是该内容区域中与该背景区域相邻的区域，该第一边界区域中的任一像素的像素值大于或等于第一阈值，与该第二边界区域中的任一像素的像素值小于该第一阈值，以及

该确定该背景图像的内容区域，包括：

根据该第一阈值，确定该背景图像的内容区域。

具体的说，在本发明实施例中，该背景区域的与内容区域邻接的边缘(即，第一边界区域)包括的像素的像素值可以大于或等于第一阈值，并且，该内容区域的与背景区域邻接的边缘(即，第二边界区域)包括的像素的像素值可以小于第一阈值。

从而，服务器或使用者可以将该第一阈值输入至该处理节点。

处理节点能够根据该第一阈值，识别出该第一边界区域和第二边界区域，即，识别出背景区域和内容区域的边界，进而，处理节点能够识别出该内容区域。

应理解，以上列举的处理节点确定背景图像的内容区域的方法仅为示例性说明，本发明并未限定于此，例如，在本发明实施例中，该背景区域中的所有像素的像素值可以大于或等于第一阈值，并且，内容区域中的所有像素的像素值可以小于第一阈值。

从而，处理节点可以将像素值大于或等于第一阈值的像素点构成的区域识别为背景区域，并且，处理节点可以将像素值小于第一阈值的像素点构成的区域识别为内容区域。

在确定内容区域之后，在S134，处理节点可以根据该背景图像的内容区域，对该目标图像进行像素重构，以生成待拼接图像。

在本发明实施例中，处理节点可以根据所确定的背景图像的内容区域的一种或多种参数，对目标图像进行像素重构(或者说，变形处理)，并将像素重构(或者说，变形处理)后的图像作为待拼接图像。

作为实例而非限定，内容区域的一种或多种参数可以包括但不限于以下至少一种参数：

该背景图像的内容区域在该背景图像中的范围、该背景图像的内容区域的形状、该背景图像的内容区域的大小、该背景图像的内容区域在该背景图像中的位置、该背景像的全景视角或该背景图像的展开方式。

具体的说，在本发明实施例中，由于背景图像为全景图像(例如，球形全景图像或立方体全景图像)，因此，对于在正常图像(非全景图像中)中人眼能够正常识别的图形A(例如，内容区域对应的图形)，如果将该图形A置于该背景图像中，并使在该背景图像被VR设备播放时，人眼能够正常识别图形A呈现，则人眼裸视(即，不使用VR设备)观看该背景图像时，该图形A较在普通图像中的呈现相比，会发生变形。例如，图5所示的电影屏幕，在普通图像中呈现为矩形，在全景图像中呈现为该矩形的水平方向上的边具有预设弧度。

并且，在本发明实施例中，上述变形与以下至少一种参数有关：

1.图形A配置在背景图像中的位置，即，图形A在背景图像中的位置不同，该图像A发生的变形也不同，例如，在图5所示的背景图像中，设图像A为电影屏幕(即，内容区域的一例)，则该电影屏幕在背景图像中心位置时，变形较小。并且，例如，该电影屏幕靠近背景图像的南北两极时，变形较大。

2.图形A配置在背景图像中的大小，即，图形A的大小不同时，该图像A发生的变形也不同，例如，在图5所示的背景图像中，设图像A为电影屏幕(即，内容区域的一例)，设该电影屏幕在背景图像中心位置时，如果该电影屏幕较大，则其变形也相应较大。并且，如果该电影屏幕较小，则其变形也相应较小。

3.图形A配置在背景图像中的范围，其中，该“范围”可以是包括上述“位置”和“大小”两层含义，这里，为了避免赘述，省略其详细说明。

4.背景图像的视角，即，当背景图像的视角不同时，图形A的变形也相应变化，例如，背景图像在垂直方向为360度视角时图形A的变形较大，背景图像在垂直方向为90度视角时图形A的变形较小。

5.该背景图像的展开方式，即，当背景图像的展开方式不同时图形A的变形也相应变化，例如，背景图像为球形全景图像是图形A的变形较大，当背景图像为立方体全景图像时，图形A的变形较小。

从而，处理节点可以根据上述参数，计算内容区域发生的变形，并基于内容区域的变形对目标图像进行像素重构。

作为实例而非限定，如图5所示，在本发明实施例中，该背景图像的展开方式为球形展开，即，该背景图像可以为球形全景图像。

此情况下，该背景图像的形状为第一矩形，该背景图像的内容区域位于该第一矩形的中心位置，该背景图像的内容区域的形状为第二矩形以第一变形方式后形成的形状，该第一变形方式为该第二矩形的水平方向上的边形成为具有预设弧度。

即，如图5所示，该内容区域可以形成为近似为第二矩形，与第二矩形不同的是，该内容区域的两条水平方向上的边形成为具有预设弧度。

此情况下，处理节点可以根据该第二矩形的长宽比例和该预设弧度，对该目标图像进行像素重构。

具体的说，在本发明实施例中，处理节点可以根据上述第一提取模型，逐一遍历背景图像的像素点，将背景图像中位置(例如，在直角坐标系中的坐标)与第一提取模型中像素值为0(即，黑色)的像素点相对应的像素点作为内容区域的个像素点，并且，处理节点可以记录内容区域的个像素点的位置(例如，坐标)，并且，处理节点记录内容区域的四个边角顶点的坐标，以及，内容区域在高度(例如，Y轴)方向的最小值和最大值。

其后，处理节点可以根据如上所示确定的四个边角顶点的坐标，确定第二矩形的长宽比，进而，处理节点可以根据该长宽比，确定目标图像的缩放比例，并对目标图像进行缩放，使缩放后的目标图像的大小与第二矩形的大小相同或近似相同，并且，使缩放后的目标图像的长度比与第二矩形的长宽比相同或近似相同。

其后，处理节点可以根据如上所述获取的内容区域的各像素点的位置在高度(例如，Y轴)方向上的变化，确定该预设弧度，进而确定该预设弧度相对应的拉伸比，并基于该拉伸比对经过缩放处理后的目标图像进行高度(例如，Y轴)方向上拉伸处理。作为实例而非限定，在本发明实施例中，该拉伸处理可以是指，对目标图像(具体的说，是经过缩放后的目标图像)的位于水平方向上的边(即，也可以称为宽度方向上的边)附近的像素进行插值计算而使该目标图像的水平方向上的边具有上述预设弧度。

从而，目标图像经过上述处理后，能够像素重构为待拼接图像，其中，该待拼接图像的大小与该背景图像的内容区域的大小的差异在预设的第一范围内，该待拼接图像的形状与该背景图像的内容区域的大小形状的差异在预设的第二范围内。

具体地说，在本发明实施例中，该待拼接图像的大小可以与该背景图像的大小相同或近似相同，该待拼接图像的形状可以与该背景图像的内容区域的大小形状相同或近似相同。

图8示出了经过上述处理而获得的待拼接图像的一例，如图8所示，该待拼接图像的形状与图5所示的背景图像的内容区域的形状相似。

在确定待拼接图像后，在S136，处理节点可以基于待拼接图像和背景图像(具体的说，是背景图像的背景区域)，确定待播放图像。

例如，可选地，该对待拼接图像和该背景图像进行合成处理，包括：

根据该背景区域中的像素确定该第一区域中的像素，并根据该待拼接图像的像素确定该第二区域中的像素。

具体的说，在本发明实施例中，该待播放图像可以是大小与背景图像的大小相同的图像，即，在本发明实施例中，待播放图像包括的像素点的数量与背景图像包括的像素点的数量可以相同。

此情况下，在本发明实施例中，处理节点可以确定待播放图像的多个像素点位置与背景图像的多个像素点位置之间的一一映射关系。例如，设待播放图像中的像素点位置A的坐标为(α，β)，设背景图像中的像素点位置A’的坐标为(α’，β’)，如果α＝α’，且β＝β’，则处理节点可以确定像素点位置A与像素点位置A’对应。

其中，处理节点可以判定待播放图像中的像素点位置i所对应的区域，具体的说，是待播放图像中的像素点位置i所对应的背景图像中的像素点位置i’所属于的区域(即，背景区域或内容区域)，其中，i∈[1，w]，并且，i’∈[1，w]，w为背景图像包括的像素点的数量。

例如，如果像素点位置i’属于背景区域，则处理节点可以将像素点位置i’的像素值确定为像素点位置i的像素值。

再例如，如果像素点位置i’属于内容区域，则处理节点可以从待拼接图像中确定位置与该像素点位置i’相对应的像素点i”，并将所确定的像素点i”的像素值，确定为像素点位置i的像素值。具体的说，处理节点可以确定待拼接图像的多个像素点位置与内容区域的多个像素点位置之间的一一映射关系。例如，设待拼接图像中的像素点位置B的坐标为(λ，η)，设内容区域中的像素点位置B’的坐标为(λ’，η’)，如果λ＝λ’，且η＝η’，则处理节点可以确定像素点位置B与像素点位置B’对应。

或者，可选地，该对待拼接图像和该背景图像进行合成处理，包括：

将该待拼接图像的像素覆盖该背景图像的内容区域的部分或全部像素。

具体地说，在本发明实施例中，处理节点可以将待拼接图像设置为图层1，将背景图像设置为图层2，其中，图层1的大小与图层2的大小相同或近似相同，并且，待拼接图像在图层1中的相对位置，与内容区域在图像2中的相对位置相同或近似相同。

其后，处理节点可以将图层1中除待拼接图像以外的区域设置为透明，其后，处理节点可以将图层1覆盖至图层2之上，从而完成待拼接图像与背景图像的合并处理。

或者，可选地，该对待拼接图像和该背景图像进行合成处理，包括：

将该待拼接图像的像素替换该背景图像的内容区域的部分或全部像素。

具体地说，在本发明实施例中，处理节点可以确定待拼接图像的多个像素点位置与内容区域的多个像素点位置之间的一一映射关系。例如，设待拼接图像中的像素点位置B的坐标为(λ，η)，设内容区域中的像素点位置B’的坐标为(λ’，η’)，如果λ＝λ’，且η＝η’，则处理节点可以确定像素点位置B与像素点位置B’对应。其后，处理节点可以将像素点位置B’的像素值替换为像素点位置B的像素的像素值。

从而，经过上述合并处理，能够生成待播放图像，其中，该待播放图像包括背景图像中的背景区域中的像素(即，第一区域中的像素的一例，)，并且，该待播放图像包括待拼接图像(即，基于目标图像确定的图像)中的像素(即，第二区域中的像素的一例)，即，该待播放图像包括用于呈现虚拟场景的图像(即，背景图像的背景区域中的像素构成的图像)，并且，该待播放图像包括需要在呈现虚拟场景观看的图像(即，基于目标图像确定的像素)。进而，当该待播放图像被VR设备播放时，能够同时呈现背景图像和目标图像双方的内容，即，能够通过播放待播放图像，实现在于背景图像对应的虚拟场景中观看目标图像的过程，进而，能够降低VR设备的处理负担。

图9示出了经过上述处理而生成的待播放图像的一例。图10是该待播放图像经VR设备播放后的效果，如图10所示，该待播放图像中与待拼接图像(或者说，目标图像)相对应的部分(即，第二区域)所呈现的图像，与图7所示的目标图像相同或近似相同。

应理解，以上列举的生成待播放图像的过程仅为示例性说明，本发明并未限定于此，例如，用户也可以通过控制指令等使处理节点确定目标图像需要嵌入至背景图像中的拼接区域。

从而，处理节点可以根据上述控制指令，在不对目标图像进行像素重构的情况下，直接将目标图像覆盖在背景图像中的拼接区域上。

或者，处理节点可以根据上述控制指令，在不对目标图像进行像素重构的情况下，直接将背景图像的拼接区域中的像素替换为目标图像中的像素。

通过获取作为全景图像(具体的说，是球形全景图像或立方体全景图像)的背景图像和作为非全景图像的目标图像，并将该背景图像和目标图像进行合成处理，能够生产作为全景图像的待播放图像，该待播放图像包括第一区域和第二区域，第一区域包括背景图像中用于呈现虚拟背景的像素，该第二区域包括目标图像对应的像素，从而，当该待播放图像被VR设备播放时，能够同时呈现背景图像和目标图像双方的内容，即，能够通过播放待播放图像，实现在于背景图像对应的虚拟场景中观看目标图像的过程，进而，能够降低VR设备的处理负担。

并且，在现有技术中，背景图像保存在VR设备中，不同VR设备中保存的背景图像也可能不同，可能导致用户无法在不同VR设备中观看到同一虚拟场景，与此相对，由于背景图像的内容与目标图形的内容均承载于待播放图像，在任意VR设备均能够实现在用户期望的场景中观看目标图像。

可选地，该获取目标图像，包括：从目标视频中获取该目标图像，其中，该目标视频为非全景视频，该目标视频包括多帧第一图像，该目标图像是该多帧图像中的任一帧第一图像。

具体的，在本发明实施例中，处理节点可以确定一个非全景视频(即，目标视频)文件中的每一帧图像，并对每一帧图像作为上述目标图像，并与背景图像进行上述合并处理，从而生成多帧待播放图像，并且，处理节点可以将多帧待播放图像进行合成(具体的说，是合成为生成图像序列)，并与目标视频的音频文件进行合成，从而能够生成全景视频(或者说，VR视频)。

可选地，该获取背景图像，包括：从背景视频中获取该背景图像，该背景视频为球形全景视频或立方体全景视频，该背景视频包括多帧第二图像，该背景图像是该多帧第二图像中的任意一帧图像。

具体的说，在本发明实施例中，该背景图像也可以取自一个全景视频(即，背景视频)。

根据本发明实施例的图像处理的方法，通过将目标视频中的每一帧图像作为目标图像，并进行上述处理过程，能够获取多帧作为球星全景图像或立方体全景图像的待播放图像，并将所生成的多帧图像按时序组合，能够生成球形全景视频或立方体全景视频，该全景视频在通过VR设备播放后，能够呈现基于背景图像生成的虚拟背景，以及目标视频的视频内容。

图11是本发明实施例的图像处理的装置200的示意性框图。如图11所示，该装置200包括：

获取单元210，用于获取背景图像和目标图像，该背景图像为球形全景图像或立方体全景图像，该目标图像为非全景图像；

处理单元220，用于对该目标图像和该背景图像进行合成处理，以生成待播放图像，该待播放图像为球形全景图像或立方体全景图像，且该待播放图像包括第一区域和第二区域，该第一区域包括根据该背景图像获得的像素，该第二区域包括根据该目标图像获得的像素。

可选地，该背景图像包括背景区域和内容区域，以及

如图12所示，该处理单元220包括：提取模块222，用于确定该背景图像的内容区域，

该处理单元220包括：重构模块224，用于根据该背景图像的内容区域，对该目标图像进行像素重构，以生成待拼接图像，

该处理单元220包括：合成模块226，用于对待拼接图像和该背景图像进行合成处理，其中，该第一区域包括该背景区域中的像素，该第二区域包括该待拼接图像中的像素。

可选地，该合成模块226具体用于根据该背景区域中的像素确定该第一区域中的像素，并根据该待拼接图像的像素确定该第二区域中的像素；或

该合成模块226具体用于将该待拼接图像的像素覆盖或替换该背景图像的内容区域的部分或全部像素。

可选地，该待拼接图像的大小与该背景图像的内容区域的大小的差异在预设的第一范围内，该待拼接图像的形状与该背景图像的内容区域的大小形状的差异在预设的第二范围内。

可选地，其特征在于，该重构模块224具体用于根据该目标图像和以下至少一种参数，对该目标图像进行像素重构：

该背景图像的内容区域在该背景图像中的范围、该背景图像的内容区域的形状、该背景图像的内容区域的大小、该背景图像的内容区域在该背景图像中的位置、该背景像的全景视角或该背景图像的展开方式。

可选地，其特征在于，该背景图像的形状为第一矩形，该背景图像的内容区域位于该第一矩形的中心位置，该背景图像的内容区域的形状为第二矩形以第一方式变形后形成的形状，该第一方式为该第二矩形的水平方向上的边变形为具有预设弧度，以及

该重构模块224具体用于根据该第二矩形的长宽比例和该预设弧度，对该目标图像进行像素重构。

可选地，该提取模块222具体用于获取第一提取模型，该第一提取模型用于指示该背景图像的内容区域在该背景图像中的范围，用于根据该第一提取模型，确定该背景图像的内容区域。

可选地，该提取模块222具体用于获取M个图像集合和M个提取模型之间的一一映射关系，其中，该M个图像集合中的每个图像集合包括至少一个全景图像，每个全景图像包括内容区域，该M个提取模型中的每个提取模型用于指示该对应的图像集合中的全景图像中的内容区域的范围，用于确定该背景图像该属于的第一图像集合，用于根据该映射关系，将该第一图像集合对应的提取模型作为该第一提取模型。

可选地，该提取模块222具体用于根据以下至少一种信息，确定该背景图像该属于的第一图像集合：

该背景图像的来源、该背景图像的名称或该背景图像的格式。

可选地，该背景区域包括第一边界区域，该第一边界区域是该背景区域中与该内容区域相邻的区域，该内容区域包括第二边界区域，该第二边界区域是该内容区域中与该背景区域相邻的区域，该第一边界区域中的任一像素的像素值大于或等于第一阈值，与该第二边界区域中的任一像素的像素值小于该第一阈值，以及

该提取模块222具体用于根据该第一阈值，确定该背景图像的内容区域。

该图像处理的装置200可以对应(例如，可以配置于或本身即为)上述方法100中描述的处理节点，并且，该图像处理的装置200中各模块或单元分别用于执行上述方法100中处理节点所执行的各动作或处理过程，这里，为了避免赘述，省略其详细说明。

通过获取作为全景图像(具体的说，是球形全景图像或立方体全景图像)的背景图像和作为非全景图像的目标图像，并将该背景图像和目标图像进行合成处理，能够生产作为全景图像的待播放图像，该待播放图像包括第一区域和第二区域，第一区域包括背景图像中用于呈现虚拟背景的像素，该第二区域包括目标图像对应的像素，从而，当该待播放图像被VR设备播放时，能够同时呈现背景图像和目标图像双方的内容，即，能够通过播放待播放图像，实现在于背景图像对应的虚拟场景中观看目标图像的过程，进而，能够降低VR设备的处理负担。

并且，在现有技术中，背景图像保存在VR设备中，不同VR设备中保存的背景图像也可能不同，可能导致用户无法在不同VR设备中观看到同一虚拟场景，与此相对，由于背景图像的内容与目标图形的内容均承载于待播放图像，在任意VR设备均能够实现在用户期望的场景中观看目标图像。

图13描述了本发明实施例提供的图像处理的设备300的结构，该图像处理的设备300包括：至少一个处理器301，至少一个网络接口304或者其他用户接口303，存储器305，至少一个通信总线302。通信总线302用于实现这些组件之间的连接通信。

该终端设备300可选地包含用户接口303，包括显示器(例如，触摸屏、LCD、CRT、全息成像设备或者投影设备等)，键盘或者点击设备(例如，鼠标，轨迹球(trackball)，触感板或者触摸屏等)。

存储器305可以包括只读存储器和随机存取存储器，并向处理器301提供指令和数据。存储器305的一部分还可以包括非易失性随机存取存储器(NVRAM)。

在一些实施方式中，存储器305存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：

操作系统3051，包含各种系统程序，例如图1所示的框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

应用程序模块3052，包含各种应用程序，例如图1所示的桌面(launcher)、媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。

在本发明实施例中，通过调用存储器305存储的程序或指令，处理器301用于：获取背景图像和目标图像，该背景图像为球形全景图像或立方体全景图像，该目标图像为非全景图像，用于对该目标图像和该背景图像进行合成处理，以生成待播放图像，该待播放图像为球形全景图像或立方体全景图像，且该待播放图像包括第一区域和第二区域，该第一区域包括根据该背景图像获得的像素，该第二区域包括根据该目标图像获得的像素。

可选地，该背景图像包括背景区域和内容区域，以及

处理器301具体用于确定该背景图像的内容区域，用于根据该背景图像的内容区域，对该目标图像进行像素重构，以生成待拼接图像，用于对待拼接图像和该背景图像进行合成处理，其中，该第一区域包括该背景区域中的像素，该第二区域包括该待拼接图像中的像素。

可选地，处理器301具体用于根据该背景区域中的像素确定该第一区域中的像素，并根据该待拼接图像的像素确定该第二区域中的像素；或

该处理器301具体用于将该待拼接图像的像素覆盖或替换该背景图像的内容区域的部分或全部像素。

可选地，该待拼接图像的大小与该背景图像的内容区域的大小的差异在预设的第一范围内，该待拼接图像的形状与该背景图像的内容区域的大小形状的差异在预设的第二范围内。

可选地，其特征在于，该处理器301具体用于根据该目标图像和以下至少一种参数，对该目标图像进行像素重构：

该背景图像的内容区域在该背景图像中的范围、该背景图像的内容区域的形状、该背景图像的内容区域的大小、该背景图像的内容区域在该背景图像中的位置、该背景像的全景视角或该背景图像的展开方式。

可选地，其特征在于，该背景图像的形状为第一矩形，该背景图像的内容区域位于该第一矩形的中心位置，该背景图像的内容区域的形状为第二矩形以第一方式变形后形成的形状，该第一方式为该第二矩形的水平方向上的边变形为具有预设弧度，以及

该处理器301具体用于根据该第二矩形的长宽比例和该预设弧度，对该目标图像进行像素重构。

可选地，该处理器301具体用于获取第一提取模型，该第一提取模型用于指示该背景图像的内容区域在该背景图像中的范围，用于根据该第一提取模型，确定该背景图像的内容区域。

可选地，该处理器301具体用于获取M个图像集合和M个提取模型之间的一一映射关系，其中，该M个图像集合中的每个图像集合包括至少一个全景图像，每个全景图像包括内容区域，该M个提取模型中的每个提取模型用于指示该对应的图像集合中的全景图像中的内容区域的范围，用于确定该背景图像该属于的第一图像集合，用于根据该映射关系，将该第一图像集合对应的提取模型作为该第一提取模型。

可选地，该处理器301具体用于根据以下至少一种信息，确定该背景图像该属于的第一图像集合：

该背景图像的来源、该背景图像的名称或该背景图像的格式。

可选地，该背景区域包括第一边界区域，该第一边界区域是该背景区域中与该内容区域相邻的区域，该内容区域包括第二边界区域，该第二边界区域是该内容区域中与该背景区域相邻的区域，该第一边界区域中的任一像素的像素值大于或等于第一阈值，与该第二边界区域中的任一像素的像素值小于该第一阈值，以及

该处理器301具体用于根据该第一阈值，确定该背景图像的内容区域。

该图像处理的设备300可以对应(例如，可以配置于或本身即为)上述方法100中描述的处理节点，并且，该图像处理的设备300中各模块或单元分别用于执行上述方法100中处理节点所执行的各动作或处理过程，这里，为了避免赘述，省略其详细说明。

本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码被处理节点(例如，上述图像处理的装置或设备，具体地说，是图像处理的装置或设备的处理单元或处理器)运行时，使得处理节点执行以下动作：

获取背景图像，该背景图像为球形全景图像或立方体全景图像；

获取目标图像，该目标图像为非全景图像；

对该目标图像和该背景图像进行合成处理，以生成待播放图像，该待播放图像为球形全景图像或立方体全景图像，且该待播放图像包括第一区域和第二区域，该第一区域包括根据该背景图像获得的像素，该第二区域包括根据该目标图像获得的像素。

可选地，当该计算机程序代码被处理节点运行时，还使得处理节点确定该背景图像的内容区域；根据该背景图像的内容区域，对该目标图像进行像素重构，以生成待拼接图像；对待拼接图像和该背景图像进行合成处理，其中，该第一区域包括该背景区域中的像素，该第二区域包括该待拼接图像中的像素。

可选地，当该计算机程序代码被处理节点运行时，还使得处理节点根据该背景区域中的像素确定该第一区域中的像素，并根据该待拼接图像的像素确定该第二区域中的像素；或将该待拼接图像的像素覆盖或替换该背景图像的内容区域的部分或全部像素。

可选地，该待拼接图像的大小与该背景图像的内容区域的大小的差异在预设的第一范围内，该待拼接图像的形状与该背景图像的内容区域的大小形状的差异在预设的第二范围内。

可选地，当该计算机程序代码被处理节点运行时，还使得处理节点根据该目标图像和以下至少一种参数，对该目标图像进行像素重构：该背景图像的内容区域在该背景图像中的范围、该背景图像的内容区域的形状、该背景图像的内容区域的大小、该背景图像的内容区域在该背景图像中的位置、该背景像的全景视角或该背景图像的展开方式。

可选地，该背景图像的形状为第一矩形，该背景图像的内容区域位于该第一矩形的中心位置，该背景图像的内容区域的形状为第二矩形以第一方式变形后形成的形状，该第一方式为该第二矩形的水平方向上的边变形为具有预设弧度，以及，当该计算机程序代码被处理节点运行时，还使得处理节点根据该第二矩形的长宽比例和该预设弧度，对该目标图像进行像素重构。

可选地，当该计算机程序代码被处理节点运行时，还使得处理节点获取第一提取模型，该第一提取模型用于指示该背景图像的内容区域在该背景图像中的范围；根据该第一提取模型，确定该背景图像的内容区域。

可选地，当该计算机程序代码被处理节点运行时，还使得处理节点获取M个图像集合和M个提取模型之间的一一映射关系，其中，该M个图像集合中的每个图像集合包括至少一个全景图像，每个全景图像包括内容区域，该M个提取模型中的每个提取模型用于指示该对应的图像集合中的全景图像中的内容区域的范围；确定该背景图像该属于的第一图像集合；根据该映射关系，将该第一图像集合对应的提取模型作为该第一提取模型。

可选地，当该计算机程序代码被处理节点运行时，还使得处理节点根据以下至少一种信息，确定该背景图像该属于的第一图像集合：该背景图像的来源、该背景图像的名称或该背景图像的格式。

可选地，该背景区域包括第一边界区域，该第一边界区域是该背景区域中与该内容区域相邻的区域，该内容区域包括第二边界区域，该第二边界区域是该内容区域中与该背景区域相邻的区域，该第一边界区域中的任一像素的像素值大于或等于第一阈值，与该第二边界区域中的任一像素的像素值小于该第一阈值，以及，当该计算机程序代码被处理节点运行时，还使得处理节点根据该第一阈值，确定该背景图像的内容区域。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有程序，该程序使得处理节点(例如，上述图像处理的装置或设备，具体地说，是图像处理的装置或设备的处理单元或处理器)执行以下动作：

获取背景图像，该背景图像为球形全景图像或立方体全景图像；

获取目标图像，该目标图像为非全景图像；

对该目标图像和该背景图像进行合成处理，以生成待播放图像，该待播放图像为球形全景图像或立方体全景图像，且该待播放图像包括第一区域和第二区域，该第一区域包括根据该背景图像获得的像素，该第二区域包括根据该目标图像获得的像素。

可选地，该程序还使得处理节点确定该背景图像的内容区域；根据该背景图像的内容区域，对该目标图像进行像素重构，以生成待拼接图像；对待拼接图像和该背景图像进行合成处理，其中，该第一区域包括该背景区域中的像素，该第二区域包括该待拼接图像中的像素。

可选地，该程序还使得处理节点根据该背景区域中的像素确定该第一区域中的像素，并根据该待拼接图像的像素确定该第二区域中的像素；或将该待拼接图像的像素覆盖或替换该背景图像的内容区域的部分或全部像素。

可选地，该待拼接图像的大小与该背景图像的内容区域的大小的差异在预设的第一范围内，该待拼接图像的形状与该背景图像的内容区域的大小形状的差异在预设的第二范围内。

可选地，该程序还使得处理节点根据该目标图像和以下至少一种参数，对该目标图像进行像素重构：该背景图像的内容区域在该背景图像中的范围、该背景图像的内容区域的形状、该背景图像的内容区域的大小、该背景图像的内容区域在该背景图像中的位置、该背景像的全景视角或该背景图像的展开方式。

可选地，该背景图像的形状为第一矩形，该背景图像的内容区域位于该第一矩形的中心位置，该背景图像的内容区域的形状为第二矩形以第一方式变形后形成的形状，该第一方式为该第二矩形的水平方向上的边变形为具有预设弧度，以及，该程序还使得处理节点根据该第二矩形的长宽比例和该预设弧度，对该目标图像进行像素重构。

可选地，该程序还使得处理节点获取第一提取模型，该第一提取模型用于指示该背景图像的内容区域在该背景图像中的范围；根据该第一提取模型，确定该背景图像的内容区域。

可选地，该程序还使得处理节点获取M个图像集合和M个提取模型之间的一一映射关系，其中，该M个图像集合中的每个图像集合包括至少一个全景图像，每个全景图像包括内容区域，该M个提取模型中的每个提取模型用于指示该对应的图像集合中的全景图像中的内容区域的范围；确定该背景图像该属于的第一图像集合；根据该映射关系，将该第一图像集合对应的提取模型作为该第一提取模型。

可选地，该程序还使得处理节点根据以下至少一种信息，确定该背景图像该属于的第一图像集合：该背景图像的来源、该背景图像的名称或该背景图像的格式。

可选地，该背景区域包括第一边界区域，该第一边界区域是该背景区域中与该内容区域相邻的区域，该内容区域包括第二边界区域，该第二边界区域是该内容区域中与该背景区域相邻的区域，该第一边界区域中的任一像素的像素值大于或等于第一阈值，与该第二边界区域中的任一像素的像素值小于该第一阈值，以及，可选地，该程序还使得处理节点根据该第一阈值，确定该背景图像的内容区域。

通过获取作为全景图像(具体的说，是球形全景图像或立方体全景图像)的背景图像和作为非全景图像的目标图像，并将该背景图像和目标图像进行合成处理，能够生产作为全景图像的待播放图像，该待播放图像包括第一区域和第二区域，第一区域包括背景图像中用于呈现虚拟背景的像素，该第二区域包括目标图像对应的像素，从而，当该待播放图像被VR设备播放时，能够同时呈现背景图像和目标图像双方的内容，即，能够通过播放待播放图像，实现在于背景图像对应的虚拟场景中观看目标图像的过程，进而，能够降低VR设备的处理负担。

并且，在现有技术中，背景图像保存在VR设备中，不同VR设备中保存的背景图像也可能不同，可能导致用户无法在不同VR设备中观看到同一虚拟场景，与此相对，由于背景图像的内容与目标图形的内容均承载于待播放图像，在任意VR设备均能够实现在用户期望的场景中观看目标图像。

图14示出了本发明实施例的视频处理的方法400的示意性流程图，如图14所示，该视频处理的方法400包括：

S410，获取背景视频，该背景视频包括至少一帧图像，该背景视频包括的每一帧图像为球形全景图像或立方体全景图像；

在本发明实施例中，该背景视频的获取方法和方式可以与现有技术相似，这里，为了避免赘述省略其详细说明。

并且，该背景视频中的每一帧图像的具体形式可以与上述方法100中描述的背景图像的具体形式相似，这里，为了避免赘述，省略其详细说明。

S420，获取目标视频，该目标视频包括至少一帧图像，该目标视频包括的每一帧图像为非全景图像；

在本发明实施例中，该目标视频的获取方法和方式可以与现有技术相似，这里，为了避免赘述省略其详细说明。

并且，该目标视频中的每一帧图像的具体形式可以与上述方法100中描述的目标图像的具体形式相似，这里，为了避免赘述，省略其详细说明。

S430，对该目标视频和该背景视频进行合成处理，以生成待播放视频，该背景视频包括至少一帧图像，其中，该待播放视频中的每一帧图像为球形全景图像或立方体全景图像，该待播放视频中的每一帧图像包括第一区域和第二区域，该第一区域包括根据该背景视频获得的像素，该第二区域包括根据该目标视频获得的像素。

具体的说，作为示例而非限定，该对该目标视频和该背景视频进行合成处理，包括：对目标图像和背景图像进行合成处理，以生成待播放图像，其中，该目标图像是该目标视频中的任意一帧图像，该背景图像是该背景视频中的任意一帧图像，且该待播放图像的第一区域包括根据该背景图像获得的像素，该待播放图像的第二区域包括根据该目标图像获得的像素。

例如，在本发明实施例中，如果背景视频只包括一帧图像，则处理节点可以将目标视频中每一帧图像分别与该背景视频中的一帧图像进行合成，从而生成待播放视频。并且，这里，目标视频中每一帧图像与该背景视频中的一帧图像的合成处理的具体过程可以与上述方法100中描述的目标图像与背景图像的合成过程相似，这里，为了避免赘述，省略其详细说明。

再例如，在本发明实施例中，如果背景视频包括多帧图像，则处理节点可以确定多个图像组，其中每个图像组包括目标视频中的一帧图像以及背景视频中的一帧图像，其中，任意两个图像组包括的目标视频中的图像相异，从而，处理节点可以将每个图像组中的目标视频中的图像与背景视频中的图像进行合成，从而生成待播放视频。并且，这里，处理节点将目标视频中一帧图像与背景视频中的一帧图像合成的具体过程可以与上述方法100中描述的目标图像与背景图像的合成过程相似，这里，为了避免赘述，省略其详细说明。

根据本发明实施例的视频处理的方法，通过获取作为全景视频(具体的说，是球形全景视频或立方体全景视频)的背景视频和作为非全景视频的目标视频，并将该背景视频和目标视频进行合成处理，能够生产作为全景视频的待播放视频，该待播放视频包括第一区域和第二区域，第一区域包括背景视频中用于呈现虚拟背景的像素，该第二区域包括目标视频对应的像素，从而，当该待播放视频被VR设备播放时，能够同时呈现背景视频和目标视频双方的内容，即，能够通过播放待播放视频，实现在于背景视频对应的虚拟场景中观看目标视频的过程，进而，能够降低VR设备在播放虚拟影院视频时的处理负担。

图15是本发明实施例的图像处理的装置500的示意性框图。如图15所示，该装置500包括：

获取单元510，用于获取背景视频和目标视频，该背景视频包括至少一帧图像，该背景视频包括的每一帧图像为球形全景图像或立方体全景图像，该目标视频包括至少一帧图像，该目标视频包括的每一帧图像为非全景图像；

处理单元520，用于对该目标视频和该背景视频进行合成处理，以生成待播放视频，该背景视频包括至少一帧图像，其中，该待播放视频中的每一帧图像为球形全景图像或立方体全景图像，该待播放视频中的每一帧图像包括第一区域和第二区域，该第一区域包括该背景视频中的像素，该第二区域包括根据该目标视频获得的像素。

可选地，该处理单元520具体用于对目标图像和背景图像进行合成处理，以生成待播放图像，其中，该目标图像是该目标视频中的任意一帧图像，该背景图像是该背景视频中的任意一帧图像，且该待播放图像的第一区域包括根据该背景图像获得的像素，该待播放图像的第二区域包括根据该目标图像获得的像素。

可选地，该背景图像包括背景区域和内容区域，以及

该处理单元520具体用于确定该背景图像的内容区域，用于根据该背景图像的内容区域，对该目标图像进行像素重构，以生成待拼接图像，用于对待拼接图像和该背景图像进行合成处理，其中，该第一区域包括该背景区域中的像素，该第二区域包括该待拼接图像中的像素。

可选地，该处理单元520具体用于根据该背景区域中的像素确定该第一区域中的像素，并根据该待拼接图像的像素确定该第二区域中的像素；或

该处理单元520具体用于将该待拼接图像的像素覆盖或替换该背景图像的内容区域的部分或全部像素。

可选地，该待拼接图像的大小与该背景图像的内容区域的大小的差异在预设的第一范围内，该待拼接图像的形状与该背景图像的内容区域的大小形状的差异在预设的第二范围内。

可选地，其特征在于，该处理单元520具体用于根据该目标图像和以下至少一种参数，对该目标图像进行像素重构：

该背景图像的内容区域在该背景图像中的范围、该背景图像的内容区域的形状、该背景图像的内容区域的大小、该背景图像的内容区域在该背景图像中的位置、该背景像的全景视角或该背景图像的展开方式。

可选地，其特征在于，该背景图像的形状为第一矩形，该背景图像的内容区域位于该第一矩形的中心位置，该背景图像的内容区域的形状为第二矩形以第一方式变形后形成的形状，该第一方式为该第二矩形的水平方向上的边变形为具有预设弧度，以及

该处理单元520具体用于根据该第二矩形的长宽比例和该预设弧度，对该目标图像进行像素重构。

可选地，该处理单元520具体用于获取第一提取模型，该第一提取模型用于指示该背景图像的内容区域在该背景图像中的范围，用于根据该第一提取模型，确定该背景图像的内容区域。

可选地，该处理单元520具体用于获取M个图像集合和M个提取模型之间的一一映射关系，其中，该M个图像集合中的每个图像集合包括至少一个全景图像，每个全景图像包括内容区域，该M个提取模型中的每个提取模型用于指示该对应的图像集合中的全景图像中的内容区域的范围，用于确定该背景图像该属于的第一图像集合，用于根据该映射关系，将该第一图像集合对应的提取模型作为该第一提取模型。

可选地，该处理单元520具体用于根据以下至少一种信息，确定该背景图像该属于的第一图像集合：

该背景图像的来源、该背景图像的名称或该背景图像的格式。

可选地，该背景区域包括第一边界区域，该第一边界区域是该背景区域中与该内容区域相邻的区域，该内容区域包括第二边界区域，该第二边界区域是该内容区域中与该背景区域相邻的区域，该第一边界区域中的任一像素的像素值大于或等于第一阈值，与该第二边界区域中的任一像素的像素值小于该第一阈值，以及

该处理单元520具体用于根据该第一阈值，确定该背景图像的内容区域。

该视频处理的装置500可以对应(例如，可以配置于或本身即为)上述方法400中描述的处理节点，并且，该图像处理的装置500中各模块或单元分别用于执行上述方法400中处理节点所执行的各动作或处理过程，这里，为了避免赘述，省略其详细说明。

图16描述了本发明实施例提供的视频处理的设备600的结构，该图像处理的设备600包括：至少一个处理器601，至少一个网络接口604或者其他用户接口603，存储器605，至少一个通信总线602。通信总线602用于实现这些组件之间的连接通信。

该终端设备600可选地包含用户接口603，包括显示器(例如，触摸屏、LCD、CRT、全息成像设备或者投影设备等)，键盘或者点击设备(例如，鼠标，轨迹球(trackball)，触感板或者触摸屏等)。

存储器605可以包括只读存储器和随机存取存储器，并向处理器601提供指令和数据。存储器605的一部分还可以包括非易失性随机存取存储器(NVRAM)。

在一些实施方式中，存储器605存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：

操作系统6051，包含各种系统程序，例如图1所示的框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

应用程序模块6052，包含各种应用程序，例如图1所示的桌面(launcher)、媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。

在本发明实施例中，通过调用存储器605存储的程序或指令，处理器601用于获取背景视频和目标视频，该背景视频包括至少一帧图像，该背景视频包括的每一帧图像为球形全景图像或立方体全景图像，该目标视频包括至少一帧图像，该目标视频包括的每一帧图像为非全景图像；

处理器601用于对该目标视频和该背景视频进行合成处理，以生成待播放视频，该背景视频包括至少一帧图像，其中，该待播放视频中的每一帧图像为球形全景图像或立方体全景图像，该待播放视频中的每一帧图像包括第一区域和第二区域，该第一区域包括该背景视频中的像素，该第二区域包括根据该目标视频获得的像素。

可选地，该处理器601具体用于对目标图像和背景图像进行合成处理，以生成待播放图像，其中，该目标图像是该目标视频中的任意一帧图像，该背景图像是该背景视频中的任意一帧图像，且该待播放图像的第一区域包括根据该背景图像获得的像素，该待播放图像的第二区域包括根据该目标图像获得的像素。

可选地，该背景图像包括背景区域和内容区域，以及

该处理器601具体用于确定该背景图像的内容区域，用于根据该背景图像的内容区域，对该目标图像进行像素重构，以生成待拼接图像，用于对待拼接图像和该背景图像进行合成处理，其中，该第一区域包括该背景区域中的像素，该第二区域包括该待拼接图像中的像素。

可选地，该处理器601具体用于根据该背景区域中的像素确定该第一区域中的像素，并根据该待拼接图像的像素确定该第二区域中的像素；或

该处理器601具体用于将该待拼接图像的像素覆盖或替换该背景图像的内容区域的部分或全部像素。

可选地，该待拼接图像的大小与该背景图像的内容区域的大小的差异在预设的第一范围内，该待拼接图像的形状与该背景图像的内容区域的大小形状的差异在预设的第二范围内。

可选地，其特征在于，该处理器601具体用于根据该目标图像和以下至少一种参数，对该目标图像进行像素重构：

该背景图像的内容区域在该背景图像中的范围、该背景图像的内容区域的形状、该背景图像的内容区域的大小、该背景图像的内容区域在该背景图像中的位置、该背景像的全景视角或该背景图像的展开方式。

可选地，其特征在于，该背景图像的形状为第一矩形，该背景图像的内容区域位于该第一矩形的中心位置，该背景图像的内容区域的形状为第二矩形以第一方式变形后形成的形状，该第一方式为该第二矩形的水平方向上的边变形为具有预设弧度，以及

该处理器601具体用于根据该第二矩形的长宽比例和该预设弧度，对该目标图像进行像素重构。

可选地，该处理器601具体用于获取第一提取模型，该第一提取模型用于指示该背景图像的内容区域在该背景图像中的范围，用于根据该第一提取模型，确定该背景图像的内容区域。

可选地，该处理器601具体用于获取M个图像集合和M个提取模型之间的一一映射关系，其中，该M个图像集合中的每个图像集合包括至少一个全景图像，每个全景图像包括内容区域，该M个提取模型中的每个提取模型用于指示该对应的图像集合中的全景图像中的内容区域的范围，用于确定该背景图像该属于的第一图像集合，用于根据该映射关系，将该第一图像集合对应的提取模型作为该第一提取模型。

可选地，该处理器601具体用于根据以下至少一种信息，确定该背景图像该属于的第一图像集合：

该背景图像的来源、该背景图像的名称或该背景图像的格式。

可选地，该背景区域包括第一边界区域，该第一边界区域是该背景区域中与该内容区域相邻的区域，该内容区域包括第二边界区域，该第二边界区域是该内容区域中与该背景区域相邻的区域，该第一边界区域中的任一像素的像素值大于或等于第一阈值，与该第二边界区域中的任一像素的像素值小于该第一阈值，以及

该处理器601具体用于根据该第一阈值，确定该背景图像的内容区域。

该视频处理的设备600可以对应(例如，可以配置于或本身即为)上述方法400中描述的处理节点，并且，该视频处理的设备600中各模块或单元分别用于执行上述方法400中处理节点所执行的各动作或处理过程，这里，为了避免赘述，省略其详细说明。

本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码被处理节点(例如，上述图像处理的装置或设备，具体地说，是图像处理的装置或设备的处理单元或处理器)运行时，使得处理节点执行以下动作：

获取背景视频，该背景视频包括至少一帧图像，该背景视频包括的每一帧图像为球形全景图像或立方体全景图像；

获取目标视频，该目标视频包括至少一帧图像，该目标视频包括的每一帧图像为非全景图像；

对该目标视频和该背景视频进行合成处理，以生成待播放视频，该背景视频包括至少一帧图像，其中，该待播放视频中的每一帧图像为球形全景图像或立方体全景图像，该待播放视频中的每一帧图像包括第一区域和第二区域，该第一区域包括该背景视频中的像素，该第二区域包括根据该目标视频获得的像素。

可选地，当该计算机程序代码被处理节点运行时，还使得处理节点对目标图像和背景图像进行合成处理，以生成待播放图像，其中，该目标图像是该目标视频中的任意一帧图像，该背景图像是该背景视频中的任意一帧图像，且该待播放图像的第一区域包括根据该背景图像获得的像素，该待播放图像的第二区域包括根据该目标图像获得的像素。

可选地，该背景图像包括背景区域和内容区域，以及当该计算机程序代码被处理节点运行时，还使得处理节点确定该背景图像的内容区域；根据该背景图像的内容区域，对该目标图像进行像素重构，以生成待拼接图像；对待拼接图像和该背景图像进行合成处理，其中，该第一区域包括该背景区域中的像素，该第二区域包括该待拼接图像中的像素。

可选地，当该计算机程序代码被处理节点运行时，还使得处理节点根据该背景区域中的像素确定该第一区域中的像素，并根据该待拼接图像的像素确定该第二区域中的像素。

可选地，当该计算机程序代码被处理节点运行时，还使得处理节点将该待拼接图像的像素覆盖该背景图像的内容区域的部分或全部像素。

可选地，当该计算机程序代码被处理节点运行时，还使得处理节点将该待拼接图像的像素替换该背景图像的内容区域的部分或全部像素。

可选地，该待拼接图像的大小与该背景图像的内容区域的大小的差异在预设的第一范围内，该待拼接图像的形状与该背景图像的内容区域的大小形状的差异在预设的第二范围内。

可选地，该待拼接图像在通过虚拟现实VR设备播放时呈现的内容为与该目标图像呈现的内容相同。

可选地，当该计算机程序代码被处理节点运行时，还使得处理节点根据该目标图像和以下至少一种参数，对该目标图像进行像素重构：该背景图像的内容区域在该背景图像中的范围、该背景图像的内容区域的形状、该背景图像的内容区域的大小、该背景图像的内容区域在该背景图像中的位置、该背景像的全景视角或该背景图像的展开方式。

可选地，该背景图像的形状为第一矩形，该背景图像的内容区域位于该第一矩形的中心位置，该背景图像的内容区域的形状为：第二矩形以第一方式变形后形成的形状，该第一方式为该第二矩形的水平方向上的边变形为具有预设弧度

可选地，当该计算机程序代码被处理节点运行时，还使得处理节点根据该第二矩形的长宽比和该预设弧度，对该目标图像进行像素重构。

可选地，当该计算机程序代码被处理节点运行时，还使得处理节点获取第一提取模型，该第一提取模型用于指示该背景图像的内容区域在该背景图像中的范围；根据该第一提取模型，确定该背景图像的内容区域。

可选地，当该计算机程序代码被处理节点运行时，还使得处理节点获取M个图像集合和M个提取模型之间的一一映射关系，其中，该M个图像集合中的每个图像集合包括至少一个全景图像，每个全景图像包括内容区域，该M个提取模型中的每个提取模型用于指示该对应的图像集合中的全景图像中的内容区域的范围；确定该背景图像该属于的第一图像集合；根据该映射关系，将该第一图像集合对应的提取模型作为该第一提取模型。

可选地，当该计算机程序代码被处理节点运行时，还使得处理节点根据以下至少一种信息，确定该背景图像该属于的第一图像集合：该背景图像的来源、该背景图像的名称或该背景图像的格式。

可选地，该背景区域包括第一边界区域，该第一边界区域是该背景区域中与该内容区域相邻的区域，该内容区域包括第二边界区域，该第二边界区域是该内容区域中与该背景区域相邻的区域，该第一边界区域中的任一像素的像素值大于或等于第一阈值，与该第二边界区域中的任一像素的像素值小于该第一阈值，以及当该计算机程序代码被处理节点运行时，还使得处理节点根据该第一阈值，确定该第一边界区域和第二边界区域，根据该第一边界区域和第二边界区域，确定该背景图像的内容区域。

可选地，该背景区域中的任一像素的像素值大于或等于第一阈值，该内容区域中的任一像素的像素值小于该第一阈值，以及该确定该背景图像的内容区域，包括：根据该第一阈值，确定该背景图像的内容区域。

可选地，所述第二区域在所述待播放图像中的范围与所述内容区域在所述背景图像中的范围与所述第一区域在所述第一全景图像中的范围的差异在预设的第三范围内。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有程序，该程序使得处理节点(例如，上述图像处理的装置或设备，具体地说，是图像处理的装置或设备的处理单元或处理器)执行以下动作：

获取背景视频，该背景视频包括至少一帧图像，该背景视频包括的每一帧图像为球形全景图像或立方体全景图像；

获取目标视频，该目标视频包括至少一帧图像，该目标视频包括的每一帧图像为非全景图像；

对该目标视频和该背景视频进行合成处理，以生成待播放视频，该背景视频包括至少一帧图像，其中，该待播放视频中的每一帧图像为球形全景图像或立方体全景图像，该待播放视频中的每一帧图像包括第一区域和第二区域，该第一区域包括该背景视频中的像素，该第二区域包括根据该目标视频获得的像素。

可选地，该程序还使得处理节点对目标图像和背景图像进行合成处理，以生成待播放图像，其中，该目标图像是该目标视频中的任意一帧图像，该背景图像是该背景视频中的任意一帧图像，且该待播放图像的第一区域包括根据该背景图像获得的像素，该待播放图像的第二区域包括根据该目标图像获得的像素。

可选地，该背景图像包括背景区域和内容区域，以及该程序还使得处理节点确定该背景图像的内容区域；根据该背景图像的内容区域，对该目标图像进行像素重构，以生成待拼接图像；对待拼接图像和该背景图像进行合成处理，其中，该第一区域包括该背景区域中的像素，该第二区域包括该待拼接图像中的像素。

可选地，该程序还使得处理节点根据该背景区域中的像素确定该第一区域中的像素，并根据该待拼接图像的像素确定该第二区域中的像素。

可选地，该程序还使得处理节点将该待拼接图像的像素覆盖该背景图像的内容区域的部分或全部像素。

可选地，该程序还使得处理节点将该待拼接图像的像素替换该背景图像的内容区域的部分或全部像素。

可选地，该待拼接图像的大小与该背景图像的内容区域的大小的差异在预设的第一范围内，该待拼接图像的形状与该背景图像的内容区域的大小形状的差异在预设的第二范围内。

可选地，该待拼接图像在通过虚拟现实VR设备播放时呈现的内容为与该目标图像呈现的内容相同。

可选地，该程序还使得处理节点根据该目标图像和以下至少一种参数，对该目标图像进行像素重构：该背景图像的内容区域在该背景图像中的范围、该背景图像的内容区域的形状、该背景图像的内容区域的大小、该背景图像的内容区域在该背景图像中的位置、该背景像的全景视角或该背景图像的展开方式。

可选地，该背景图像的形状为第一矩形，该背景图像的内容区域位于该第一矩形的中心位置，该背景图像的内容区域的形状为：第二矩形以第一方式变形后形成的形状，该第一方式为该第二矩形的水平方向上的边变形为具有预设弧度

可选地，该程序还使得处理节点根据该第二矩形的长宽比和该预设弧度，对该目标图像进行像素重构。

可选地，该程序还使得处理节点获取第一提取模型，该第一提取模型用于指示该背景图像的内容区域在该背景图像中的范围；根据该第一提取模型，确定该背景图像的内容区域。

可选地，该程序还使得处理节点获取M个图像集合和M个提取模型之间的一一映射关系，其中，该M个图像集合中的每个图像集合包括至少一个全景图像，每个全景图像包括内容区域，该M个提取模型中的每个提取模型用于指示该对应的图像集合中的全景图像中的内容区域的范围；确定该背景图像该属于的第一图像集合；根据该映射关系，将该第一图像集合对应的提取模型作为该第一提取模型。

可选地，该程序还使得处理节点根据以下至少一种信息，确定该背景图像该属于的第一图像集合：该背景图像的来源、该背景图像的名称或该背景图像的格式。

可选地，该背景区域包括第一边界区域，该第一边界区域是该背景区域中与该内容区域相邻的区域，该内容区域包括第二边界区域，该第二边界区域是该内容区域中与该背景区域相邻的区域，该第一边界区域中的任一像素的像素值大于或等于第一阈值，与该第二边界区域中的任一像素的像素值小于该第一阈值，以及该程序还使得处理节点根据该第一阈值，确定该第一边界区域和第二边界区域，根据该第一边界区域和第二边界区域，确定该背景图像的内容区域。

可选地，该背景区域中的任一像素的像素值大于或等于第一阈值，该内容区域中的任一像素的像素值小于该第一阈值，以及该确定该背景图像的内容区域，包括：根据该第一阈值，确定该背景图像的内容区域。

可选地，所述第二区域在所述待播放图像中的范围与所述内容区域在所述背景图像中的范围与所述第一区域在所述第一全景图像中的范围的差异在预设的第三范围内。

通过获取作为全景视频(具体的说，是球形全景视频或立方体全景视频)的背景视频和作为非全景视频的目标视频，并将该背景视频和目标视频进行合成处理，能够生产作为全景视频的待播放视频，该待播放视频包括第一区域和第二区域，第一区域包括背景视频中用于呈现虚拟背景的像素，该第二区域包括目标视频对应的像素，从而，当该待播放视频被VR设备播放时，能够同时呈现背景视频和目标视频双方的内容，即，能够通过播放待播放视频，实现在于背景视频对应的虚拟场景中观看目标视频的过程，进而，能够降低VR设备在播放虚拟影院视频时的处理负担。作为示例而非限定，该方法100或方法400可以使用于终端设备，本申请实施例中所涉及到的终端设备可以包括手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备。还可以包括用户单元、蜂窝电话(cellular phone)、智能手机(smart phone)、无线数据卡、个人数字助理(PersonalDigital Assistant，PDA)电脑、平板型电脑、无线调制解调器(modem)、手持设备(handset)、膝上型电脑(laptop computer)、机器类型通信(Machine TypeCommunication，MTC)终端、无线局域网(Wireless Local Area Networks，WLAN)中的站点(STAION，ST)，可以是蜂窝电话、无绳电话、会话启动协议(Session Initiation Protocol，SIP)电话、无线本地环路(Wireless Local Loop，WLL)站以及下一代通信系统，例如，第五代通信(fifth-generation，简称“5G”)网络中的终端设备或者未来演进的公共陆地移动网络(Public Land Mobile Network，简称“PLMN”)网络中的终端设备等。

其中，可穿戴设备也可以称为穿戴式智能设备，是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，例如：智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。

并且，该终端设备还可以包括VR设备，其中VR设备也可以称为虚拟现实硬件，虚拟现实硬件指的是与虚拟现实技术领域相关的硬件产品，是虚拟现实解决方案中用到的硬件设备。

作为示例而非限定，在本发明实施例中，虚拟现实中常用到的硬件设备，大致可以包括但不限于以下类型的设备。

1、建模设备，例如，3D扫描仪。

2、三维视觉显示设备，例如，3D展示系统、大型投影系统、头显，例如，头戴式立体显示器、智能眼镜等。

3、声音设备，例如，三维的声音系统以及非传统意义的立体声。

4、交互设备，包括：位置追踪仪、数据手套、3D输入设备(例如，三维鼠标)、动作捕捉设备、眼动仪、力反馈设备以及其他交互设备。

图17是适用本发明实施例的图像处理的方法的终端设备的一例的示意性结构图。如图17所示，在本发明实施例中，该终端设备700可以包括：

本发明实施例的一种终端设备700，包括，第一存储器720、处理器760及输入单元730，该第一存储器720存储该终端预设数量的应用程序的界面信息，其中，该界面信息包括界面元素、界面编号、该界面编号与该界面元素的对应关系、以及该界面元素位于该界面编号对应的应用程序界面的位置信息；该输入单元730用于接收用户切换应用程序界面操作，并产生切换信号；该处理器760用于根据该切换信号确定目标界面编号；根据与该目标界面编号相邻的预定数量确定与该目标界面编号相邻的界面编号；根据该第一存储器720中存储的界面编号和与该目标界面编号相邻的界面编号，确定待加载的界面编号对应的界面信息；释放该第一存储器720中与该目标界面编号不相邻的至少部分界面编号对应的界面信息所占用的存储空间；加载该待加载的界面编号对应的界面信息到该第一存储器720中。

其中，该预设数量是指可以存储于该第一存储器的应用程序的界面信息的数量。该预定数量是指与该目标界面编号每一侧相邻的界面编号的数量。

该处理器760可以通过释放该第一存储器720中，与该目标界面编号不相邻的至少部分界面编号对应的界面信息所占用的存储空间，加载与该目标界面编号相邻的界面编号对应的界面信息于该第一存储器720中，从而可以循环加载界面信息，减缓终端设备700的存储容量的限制与日益增长的应用程序界面数量之间的矛盾。

其中，根据该第一存储器720中存储的界面编号和与该目标界面编号相邻的界面编号，确定待加载的界面编号对应的界面信息，具体为：根据该第一存储器720中存储的界面编号和与该目标界面编号相邻的界面编号，确定该第一存储器720中未存储的界面编号，该未存储的界面编号对应的界面信息为该第一存储器720中待加载的界面编号对应的界面信息。

需要说明的是，该处理器760可以调用该第一存储器720中存储的与该目标界面编号对应的界面元素、以及该界面元素显示于该界面编号对应的应用程序界面的位置信息，从而将该界面元素显示在与该目标界面编号对应的应用程序界面。其中，该界面元素可以是应用程序图标或widget桌面控件等。

本发明实施例中，该终端设备700还可以包括第二存储器721，该第二存储器721可以用于存储终端设备700的所有应用程序的界面信息。该处理器760加载该待加载的界面编号对应的界面信息到该第一存储器720中，具体为：该处理器760调用该第二存储器721中待加载的界面编号对应的界面信息，将该待加载的界面编号对应的界面信息加载到该第一存储器720中。

可以理解的，该第二存储器721可以为该终端设备700的外存，该第一存储器720可以为该终端700的内存。该处理器760可以从该第二存储器721中加载预设数量的界面信息到该第一存储器720中。每个加载的界面信息在该第一存储器720中对应一个存储空间，可选地，每个存储空间可以相同。该第一存储器720可以为非易失性随机访问存储器(Non-Volatile Random Access Memory，NVRAM)、动态随机存取存储器(Dynamic Random AccessMemory，DRAM)动态随机存储器、静态随机存取存储器(Static Random Access Memory，SRAM)静态随机存储器、闪存(Flash)等其中之一；该第二存储器721可以为硬盘、光盘、通用串行总线(Universal Serial Bus，USB)盘、软盘或磁带机等。

本发明实施例中，终端的所有界面信息可以存储在云服务器，该云服务器可以为第二存储器721。该处理器760加载该待加载的界面编号对应的界面信息到该第一存储器720中，具体为：该处理器760通过网络通道获取该云服务器中待加载的界面编号对应的界面信息，将该待加载的界面编号对应的界面信息加载到该第一存储器720中。

该输入单元730可用于接收输入的数字或字符信息，以及产生与终端700的用户设置以及功能控制有关的信号输入。具体地，本发明实施例中，该输入单元730可以包括触控面板731。触控面板731，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板731上或在触控面板731的操作)，并根据预先设定的程式驱动相应的连接装置。可选地，触控面板731可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给该处理器760，并能接收处理器760发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板731。除了触控面板731，输入单元730还可以包括其他输入设备732，其他输入设备732可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

该终端设备700还可以包括显示单元740，该显示单元740可用于显示由用户输入的信息或提供给用户的信息以及终端700的各种菜单界面。该显示单元740可包括显示面板741，可选地，可以采用液晶显示器(Liquid Crystal Display，LCD)或有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板741。

可选地，该显示单元740还可以显示上述待播放图像或待播放视频。

本发明实施例中，该触控面板731覆盖该显示面板741，形成触摸显示屏，当该触摸显示屏检测到在其上或附近的触摸操作后，传送给处理器760以确定触摸事件的类型，随后处理器760根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。

本发明实施例中，该触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定，可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区443也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件，例如，设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。

该处理器760是终端700的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在该第一存储器720内的软件程序和/或模块，以及调用存储在该第二存储器721内的数据，执行终端700的各种功能和处理数据，从而对终端700进行整体监控。可选地，该处理器760可包括一个或多个处理单元。

可以理解的，该处理器760初始化时，可以从该第二存储器721存储的界面信息中，加载预设数量的界面信息到该第一存储器720，并记录该预设数量的界面信息对应的界面编号，该处理器760读取该第一存储器720的任意一个或预定编号的界面信息，并根据该界面信息生成界面，控制该触摸显示屏的应用程序界面显示区显示该生成界面作为初始界面，并控制该常用控件显示区显示界面编号，提供用户选择界面，其中，该常用控件显示区显示的界面编号可以为该第一存储器720中已加载的界面信息对应的界面编号，也可以是该第二存储器721中存储的界面信息对应的界面编号。该预设数量不大于该第一存储器720所能存储该界面信息的最大数量。

可选地或进一步的，该处理器760可以控制该常用控件显示区显示的界面编号中的至少部分界面编号响应用户输入操作。

例如，该处理器760在该常用控件显示区显示的界面编号中，控制已加载的界面信息对应的界面编号可以响应用户的输入操作，未加载的界面信息对应的界面编号不响应用户的输入操作。

在本发明实施例中，该处理器760可以执行图11中方法400中的各步骤，这里，为了避免赘述，省略其详细说明。

图18是本发明实施例的VR装置800的示意性框图。如图18所示，该装置800包括：

处理单元810，用于执行上述方法100中的各步骤，以获取待播放图像，或，用于执行上述方法400中的各步骤，以获取待播放视频；

呈现单元820，用于呈现该待播放图像或待播放视频。

该VR装置800可以对应(例如，可以包括、属于或本身即为)上述方法100或400中描述的处理节点，并且，该处理单元810用于执行上述方法100或400中处理节点所执行的各动作或处理过程，这里，为了避免赘述，省略其详细说明。并且，该呈现单元820的动作可以与现有技术中VR显示装置呈现虚拟图像或虚拟视频时的动作相似，这里，为了避免赘述，省略其详细说明。

图19描述了本发明实施例提供的VR设备900的结构，该VR设备900包括：至少一个处理器901，至少一个网络接口904或者其他用户接口903，存储器905，显示器906，至少一个通信总线902。通信总线902用于实现这些组件之间的连接通信。

可选地，该显示器906可以为例如，触摸屏、LCD、CRT、全息成像设备或者投影设备等。

存储器905可以包括只读存储器和随机存取存储器，并向处理器901提供指令和数据。存储器905的一部分还可以包括非易失性随机存取存储器。

在一些实施方式中，存储器905存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：

操作系统9051，包含各种系统程序，例如图1所示的框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

应用程序模块9052，包含各种应用程序，例如图1所示的桌面(launcher)、媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。

在本发明实施例中，通过调用存储器905存储的程序或指令，处理器901用于：执行上述方法100中的各步骤，以获取待播放图像，或，用于执行上述方法400中的各步骤，以获取待播放视频；该呈现单元820，用于呈现该待播放图像或待播放视频。

该VR设备900可以对应(例如，可以包括、属于或本身即为)上述方法100或400中描述的处理节点，并且，该VR设备900中的处理器可以用于执行上述方法100或400中处理节点所执行的各动作或处理过程，这里，为了避免赘述，省略其详细说明。并且，该显示器906的动作可以与现有技术中VR显示器呈现虚拟图像或虚拟视频时的动作相似，这里，为了避免赘述，省略其详细说明。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应理解，在本发明实施例的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明实施例的保护范围之内。

Claims (21)

1.一种图像处理的方法，其特征在于，所述方法包括：

获取背景图像，所述背景图像为球形全景图像或立方体全景图像；

获取目标图像，所述目标图像为非全景图像；

对所述目标图像和所述背景图像进行合成处理，以生成待播放图像，所述待播放图像为球形全景图像或立方体全景图像，且所述待播放图像包括第一区域和第二区域，所述第一区域包括根据所述背景图像获得的像素，所述第二区域包括根据所述目标图像获得的像素。

2.根据权利要求1所述的方法，其特征在于，所述背景图像包括背景区域和内容区域，以及

所述对所述目标图像和所述背景图像进行合成处理，包括：

确定所述背景图像的内容区域；

根据所述背景图像的内容区域，对所述目标图像进行像素重构，以生成待拼接图像；

对待拼接图像和所述背景图像进行合成处理，其中，所述第一区域包括所述背景区域中的像素，所述第二区域包括所述待拼接图像中的像素。

3.根据权利要求2所述的方法，其特征在于，所述对待拼接图像和所述背景图像进行合成处理，包括：

根据所述背景区域中的像素确定所述第一区域中的像素，并根据所述待拼接图像的像素确定所述第二区域中的像素；或

将所述待拼接图像的像素覆盖或替换所述背景图像的内容区域的部分或全部像素。

4.根据权利要求2或3所述的方法，其特征在于，所述待拼接图像的大小与所述背景图像的内容区域的大小的差异在预设的第一范围内，所述待拼接图像的形状与所述背景图像的内容区域的大小形状的差异在预设的第二范围内。

5.根据权利要求2至4中任一项所述的方法，其特征在于，所述根据所述背景图像的内容区域，对所述目标图像进行像素重构，包括：

根据所述目标图像和以下至少一种参数，对所述目标图像进行像素重构：

所述背景图像的内容区域在所述背景图像中的范围、所述背景图像的内容区域的形状、所述背景图像的内容区域的大小、所述背景图像的内容区域在所述背景图像中的位置、所述背景像的全景视角或所述背景图像的展开方式。

6.根据权利要求2至5中任一项所述的方法，其特征在于，所述背景图像的形状为第一矩形，所述背景图像的内容区域位于所述第一矩形的中心位置，所述背景图像的内容区域的形状为第二矩形以第一方式变形后形成的形状，所述第一方式为所述第二矩形的水平方向上的边变形为具有预设弧度，以及

所述根据所述背景图像的内容区域，对所述目标图像进行像素重构，包括：

根据所述第二矩形的长宽比例和所述预设弧度，对所述目标图像进行像素重构。

7.根据权利要求2至6中任一项所述的方法，其特征在于，所述确定所述背景图像的内容区域，包括：

获取第一提取模型，所述第一提取模型用于指示所述背景图像的内容区域在所述背景图像中的范围；

根据所述第一提取模型，确定所述背景图像的内容区域。

8.根据权利要求7所述的方法，其特征在于，所述获取第一提取模型，包括：

获取M个图像集合和M个提取模型之间的一一映射关系，其中，所述M个图像集合中的每个图像集合包括至少一个全景图像，每个全景图像包括内容区域，所述M个提取模型中的每个提取模型用于指示所述对应的图像集合中的全景图像中的内容区域的范围；

确定所述背景图像所述属于的第一图像集合；

根据所述映射关系，将所述第一图像集合对应的提取模型作为所述第一提取模型。

9.根据权利要求8所述的方法，其特征在于，确定所述背景图像所述属于的第一图像集合包括：

根据以下至少一种信息，确定所述背景图像所述属于的第一图像集合：

所述背景图像的来源、所述背景图像的名称或所述背景图像的格式。

10.根据权利要求2至6中任一项所述的方法，其特征在于，所述背景区域包括第一边界区域，所述第一边界区域是所述背景区域中与所述内容区域相邻的区域，所述内容区域包括第二边界区域，所述第二边界区域是所述内容区域中与所述背景区域相邻的区域，所述第一边界区域中的任一像素的像素值大于或等于第一阈值，与所述第二边界区域中的任一像素的像素值小于所述第一阈值，以及

所述确定所述背景图像的内容区域，包括：

根据所述第一阈值，确定所述背景图像的内容区域。

11.一种图像处理的装置，其特征在于，所述装置包括：

获取单元，用于获取背景图像和目标图像，所述背景图像为球形全景图像或立方体全景图像，所述目标图像为非全景图像；

处理单元，用于对所述目标图像和所述背景图像进行合成处理，以生成待播放图像，所述待播放图像为球形全景图像或立方体全景图像，且所述待播放图像包括第一区域和第二区域，所述第一区域包括根据所述背景图像获得的像素，所述第二区域包括根据所述目标图像获得的像素。

12.根据权利要求11所述的装置，其特征在于，所述背景图像包括背景区域和内容区域，以及

所述处理单元具体用于确定所述背景图像的内容区域，用于根据所述背景图像的内容区域，对所述目标图像进行像素重构，以生成待拼接图像，用于对待拼接图像和所述背景图像进行合成处理，其中，所述第一区域包括所述背景区域中的像素，所述第二区域包括所述待拼接图像中的像素。

13.根据权利要求12所述的装置，其特征在于，所述处理单元具体用于根据所述目标图像和以下至少一种参数，对所述目标图像进行像素重构：

所述背景图像的内容区域在所述背景图像中的范围、所述背景图像的内容区域的形状、所述背景图像的内容区域的大小、所述背景图像的内容区域在所述背景图像中的位置、所述背景像的全景视角或所述背景图像的展开方式。

14.根据权利要求12或13所述的装置，其特征在于，所述处理单元具体用于获取第一提取模型，所述第一提取模型用于指示所述背景图像的内容区域在所述背景图像中的范围，用于根据所述第一提取模型，确定所述背景图像的内容区域；或

所述背景区域包括第一边界区域，所述第一边界区域是所述背景区域中与所述内容区域相邻的区域，所述内容区域包括第二边界区域，所述第二边界区域是所述内容区域中与所述背景区域相邻的区域，所述第一边界区域中的任一像素的像素值大于或等于第一阈值，与所述第二边界区域中的任一像素的像素值小于所述第一阈值，以及所述处理单元具体用于根据所述第一阈值，确定所述背景图像的内容区域。

15.一种视频处理的方法，其特征在于，所述方法包括：

获取背景视频，所述背景视频包括至少一帧图像，所述背景视频包括的每一帧图像为球形全景图像或立方体全景图像；

获取目标视频，所述目标视频包括至少一帧图像，所述目标视频包括的每一帧图像为非全景图像；

对所述目标视频和所述背景视频进行合成处理，以生成待播放视频，所述背景视频包括至少一帧图像，其中，所述待播放视频中的每一帧图像为球形全景图像或立方体全景图像，所述待播放视频中的每一帧图像包括第一区域和第二区域，所述第一区域包括根据所述背景视频获得的像素，所述第二区域包括根据所述目标视频获得的像素。

16.根据权利要求15所述的方法，其特征在于，所述对所述目标视频和所述背景视频进行合成处理，

对目标图像和背景图像进行合成处理，以生成待播放图像，其中，所述目标图像是所述目标视频中的任意一帧图像，所述背景图像是所述背景视频中的任意一帧图像，且所述待播放图像的第一区域包括根据所述背景图像获得的像素，所述待播放图像的第二区域包括根据所述目标图像获得的像素。

17.根据权利要求16所述的方法，其特征在于，所述对目标图像和背景图像进行合成处理，包括：

根据权利要求2至10中任一项所述的方法，对目标图像和背景图像进行合成处理。

18.一种视频处理的装置，其特征在于，所述装置包括：

获取单元，用于获取背景视频和目标视频，所述背景视频包括至少一帧图像，所述背景视频包括的每一帧图像为球形全景图像或立方体全景图像，所述目标视频包括至少一帧图像，所述目标视频包括的每一帧图像为非全景图像；

处理单元，用于对所述目标视频和所述背景视频进行合成处理，以生成待播放视频，所述背景视频包括至少一帧图像，其中，所述待播放视频中的每一帧图像为球形全景图像或立方体全景图像，所述待播放视频中的每一帧图像包括第一区域和第二区域，所述第一区域包括根据所述背景视频获得的像素，所述第二区域包括根据所述目标视频获得的像素。

19.根据权利要求18所述的装置，其特征在于，所述处理单元具体用于对目标图像和背景图像进行合成处理，以生成待播放图像，其中，所述目标图像是所述目标视频中的任意一帧图像，所述背景图像是所述背景视频中的任意一帧图像，且所述待播放图像的第一区域包括根据所述背景图像获得的像素，所述待播放图像的第二区域包括根据所述目标图像获得的像素。

20.根据权利要求19所述的装置，其特征在于，所述处理单元具体用于根据权利要求2至10中任一项所述的方法，对目标图像和背景图像进行合成处理。

21.一种虚拟现实装置，其特征在于，包括：

处理单元，用于根据权利要求1至10中任一项所述的方法获取待播放图像，或用于根据权利要求15至17中任一项所述的方法获取待播放视频；

呈现单元，用于呈现所述待播放图像或所述待播放视频。