CN110047033A - 投影变形方法、设备、图像处理设备及介质 - Google Patents

Abstract

本发明公开了投影变形方法、设备、图像处理设备及介质。一种投影变形方法包括在全景视频中，标记需要替换的元素将要被放置的区域，作为全景放置区域；以及在平面视频中，标记与上述的全景视频的全景放置区域相对应的区域，作为平面放置区域；将替换元素放置在平面视频上的所述平面放置区域；以及将所述平面放置区域中的替换元素的平面视频，变换为对应球面上的球面片，并将该球面片替换到全景视频的所述全景放置区域。本发明通过将预植入的替换平面内容制作成与球面贴合的曲面元素，替换到全景视频中，能够实现平滑地动态替换视频中的元素，以使得替换元素与被替换元素完全重合。

Description

投影变形方法、设备、图像处理设备及介质

技术领域

本发明涉及图像处理技术，尤其投影变形方法、设备、图像处理设备及介质。

背景技术

当前，球面渲染的全景视频内容是通过将平面播放内容按照球面投影的方式，来实现全景内容播放的。

可以发现，在全景视频中动态地植入替换的平面内容，会出现植入的替换平面内容与播放内容分离的感觉。另一方面，由于透视的原因，使得植入的替换平面内容无法完全贴合全景视频内容。

由此，如何平滑地动态替换视频中的元素，以使得替换元素与被替换元素完全重合，是当前需要解决的技术问题。

发明内容

为了解决以上问题之一，本发明提供了一种投影变形方法、设备、图像处理设备及介质。

根据本发明的一个实施例，提供一种投影变形方法，包括：在全景视频中，标记需要替换的元素将要被放置的区域，作为全景放置区域；以及在平面视频中，标记与上述的全景视频的全景放置区域相对应的区域，作为平面放置区域；将替换元素放置在平面视频上的所述平面放置区域；以及将所述平面放置区域中的替换元素的平面视频，变换为对应球面上的球面片，并将该球面片替换到全景视频的所述全景放置区域。

可选地，平面视频的平面上的点和全景视频的球面上的点是一一对应的。

可选地，将平面放置区域中的替换元素的平面视频，变换为对应球面上的球面片的方法包括采用球面投影公式进行计算。

可选地，球面投影包括立体投影和柱面投影。

根据本发明的一个实施例，提供一种投影变形设备，包括：全景区域标记装置，被配置用于在全景视频中，标记需要替换的元素将要被放置的区域，作为全景放置区域；以及平面区域标记装置，被配置用于在平面视频中，标记与上述的全景视频的全景放置区域相对应的区域，作为平面放置区域；平面区域放置装置，被配置用于将替换元素放置在平面视频上的所述平面放置区域；以及变换装置，被配置用于将所述平面放置区域中的替换元素的平面视频，变换为对应球面上的球面片，并将该球面片替换到全景视频的所述全景放置区域。

可选地，平面视频的平面上的点和全景视频的球面上的点是一一对应的。

可选地，变换装置采用球面投影公式进行计算，以将平面放置区域中的替换元素的平面视频，变换为对应球面上的球面片。

可选地，球面投影包括立体投影和柱面投影。

根据本发明的再一个实施例，提供一种数据处理设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行上面描述的方法之一。

根据本发明的又一个实施例，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行上面描述的方法之一。

本发明通过将预植入的替换平面内容制作成与球面贴合的曲面元素，并将形成的曲面元素替换到全景视频中，能够实现平滑地动态替换视频中的元素，以使得替换元素与被替换元素完全重合的有益技术效果。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的附图标记通常代表相同部件。

图1给出了根据本发明的一个示例性实施例的投影变形方法的示意性框图。

图2示意性地给出了用于全景播放的球面视频与平面视频之间的对应关系。

图3示意性地给出了柱面投影的方法。

图4给出了根据本发明的一个示例性实施例的投影变形设备的示意性框图。

图5给出了根据本发明的一个示例性实施例的数据处理设备的示意性框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。这里需要说明的是，本申请中的数字、序号以及附图标记仅是为了方便描述而出现的，对于本发明的步骤、顺序等等均不构成任何限制，除非在说明书中明确指出了步骤的执行有特定的先后顺序。

如上所述，本发明要解决的技术问题是如何平滑地动态替换视频中的元素，以使得替换元素与被替换元素重合较好，甚至完全重合。

图1给出了根据本发明的一个示例性实施例的投影变形方法的示意性框图。

如图1所示，根据本发明的一个示例性实施例的投影变形方法主要包括以下步骤。

在步骤S110，在全景视频中，标记需要替换的元素将要被放置的区域(称为“全景放置区域”)。

可选地，可以通过获取相关的位置信息，例如位置关键点(比如轮廓关键点、中心关键点等)，再根据所得到的位置信息，来标记上述的每个区域。

由于在将全景视频进行球面投影渲染的过程中，平面视频的平面上的点和全景视频的球面上的点是一一对应的(球面渲染规则)，如图2所示，因此，上述的全景放置区域在平面视频上会有一个对应的“平面放置区域”。

由此，可以在步骤S120，在平面视频上，标记与上述的全景视频的全景放置区域相对应的区域(即，“平面放置区域”)。

可选地，可以通过获取相关的位置信息，例如位置关键点(比如轮廓关键点、中心关键点等)，再根据所得到的位置信息，来标记上述的每个区域。

通过上述的步骤S110和S120，可得到替换元素在全景视频与平面视频中的各自放置区域，即全景放置区域与平面放置区域。

然后，在步骤S130，可以将替换元素放置在平面视频上的上述平面放置区域。

这里，可以依据相关的位置信息，比如在上述标记步骤时提到的平面放置区域的位置信息，来进行该放置操作。

接下来，在步骤S140，将该平面放置区域中的替换元素的平面视频，变换为对应球面上的球面片，并将该球面片替换到全景视频的上述“全景放置区域”，即可完成替换。

这里，可以依据相关的位置信息，比如在上述标记步骤时提到的平面放置区域的位置信息，来进行该替换操作。

可选地，将平面放置区域中的替换元素的平面视频，变换为对应球面上的球面片的方法例如可以包括采用球面投影公式进行计算的方法。

具体地，球面投影是指把球面上的点投影到平面或者相反。

球面投影包括立体投影和柱面投影等。

柱面投影通常把纬线投影成等距的平行线，把在极点相交的经线也投影成了等距的平行线。柱面投影的基本方法是从球心向球面作一条线相交于圆柱面，这个交点即为所求的投影点。

具体地，如图3所示，假设极坐标系球面上的一个点p(r,alpha,beta)，令r＝1。然后，假设展开的圆柱面构成的平面的水平方向为x轴，垂直方向为y轴，坐标原点位于垂直方向的中间(水平方向的最左方)，则在该平面上的对应点p’(x’,y’)的x轴坐标和y轴坐标分别为：

x’＝constant*alpha；

y’＝constant*tan(beta)。

其中，上面式子中的constant为该极坐标系球面与其对应平面的坐标映射关系的一个固定常量。

由此，可以将球面上的点投影到平面，反之也类似。

立体投影的方法比柱面投影稍微复杂，但是方法上类似，在此不再赘述。

请注意，本发明的将平面放置区域中的替换元素的平面视频，变换为对应球面上的球面片的方式不限于上面例示的方式。

由上可知，在现有技术中，使用平面元素来生硬地替换视频中的元素(原内容)，这种生硬的替换会导致替换之后的图像有分离感，没有贴合感。而在本发明中，采用曲面元素(例如球面片)来贴合地替换视频中的元素(原内容)，所以能够实现平滑地动态替换视频中的元素。

简而言之，本发明通过将预植入的替换平面内容制作成与球面贴合的曲面元素，替换到全景视频中，能够实现平滑地动态替换视频中的元素，以使得替换元素与被替换元素完全重合。

图4给出了根据本发明的一个示例性实施例的投影变形设备的示意性框图。

如图4所示，根据本发明的一个示例性实施例的投影变形设备100可以包括全景区域标记装置110、平面区域标记装置120、平面区域放置装置130、变换装置140。

其中，全景区域标记装置110可以被配置用于在全景视频中，标记需要替换的元素将要被放置的区域，作为全景放置区域。

平面区域标记装置120可以被配置用于在平面视频中，标记与上述的全景视频的全景放置区域相对应的区域，作为平面放置区域。

平面区域放置装置130可以被配置用于将替换元素放置在平面视频上的所述平面放置区域。

变换装置140可以被配置用于将所述平面放置区域中的替换元素的平面视频，变换为对应球面上的球面片，并将该球面片替换到全景视频的所述全景放置区域。

这里，全景区域标记装置110、平面区域标记装置120、平面区域放置装置130、变换装置140的操作与上面参照图1描述的步骤110-140的操作类似，在此不再赘述。

另外，如上所述，平面视频的平面上的点和全景视频的球面上的点是一一对应的(参见图2)。

可选地，变换装置140采用球面投影公式进行计算，以将平面放置区域中的替换元素的平面视频，变换为对应球面上的球面片。

这里，球面投影可以包括立体投影和柱面投影等，但不限于它们。

本发明通过将预植入的替换平面内容制作成与球面贴合的曲面元素，替换到全景视频中，能够实现平滑地动态替换视频中的元素，以使得替换元素与被替换元素完全重合。

图5给出了根据本发明的一个示例性实施例的数据处理设备的示意性框图。

参见图5，该数据处理设备1包括存储器10和处理器20。

处理器20可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器20可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器20可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。

存储器10上存储有可执行代码，当所述可执行代码被所述处理器20执行时，使所述处理器20执行上面描述的方法之一。其中，存储器10可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器20或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器10可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器10可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图等等显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种投影变形方法，其特征在于，包括：

在全景视频中，标记需要替换的元素将要被放置的区域，作为全景放置区域；以及

在平面视频中，标记与所述全景放置区域相对应的区域，作为平面放置区域；

将替换元素放置在平面视频上的所述平面放置区域；以及

将所述平面放置区域中的替换元素的平面视频，变换为对应球面上的球面片，并将该球面片替换到全景视频的所述全景放置区域。

2.如权利要求1所述的投影变形方法，其特征在于，平面视频的平面上的点和全景视频的球面上的点是一一对应的。

3.如权利要求1～2中的任意一项所述的投影变形方法，其特征在于，将平面放置区域中的替换元素的平面视频，变换为对应球面上的球面片的方法包括采用球面投影公式进行计算。

4.如权利要求3所述的投影变形方法，其特征在于，球面投影包括立体投影和柱面投影。

5.一种投影变形设备，其特征在于，包括：

全景区域标记装置，被配置用于在全景视频中，标记需要替换的元素将要被放置的区域，作为全景放置区域；以及

平面区域标记装置，被配置用于在平面视频中，标记与所述全景放置区域相对应的区域，作为平面放置区域；

平面区域放置装置，被配置用于将替换元素放置在平面视频上的所述平面放置区域；以及

变换装置，被配置用于将所述平面放置区域中的替换元素的平面视频，变换为对应球面上的球面片，并将该球面片替换到全景视频的所述全景放置区域。

6.如权利要求5所述的投影变形设备，其特征在于，平面视频的平面上的点和全景视频的球面上的点是一一对应的。

7.如权利要求5～6中的任意一项所述的投影变形设备，其特征在于，变换装置采用球面投影公式进行计算，以将平面放置区域中的替换元素的平面视频，变换为对应球面上的球面片。

8.如权利要求7所述的投影变形设备，其特征在于，球面投影包括立体投影和柱面投影。

9.一种数据处理设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1～4中任何一项所述的方法。

10.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行如权利要求1～4中任何一项所述的方法。