CN109074677A - 用于处理图像的方法和设备 - Google Patents

Abstract

提供了一种图像处理方法，包括：获取在至少两个方向上捕捉的图像；通过将所述图像投影到多面体上来生成投影图像；移动所述投影图像中的像素中的至少一个像素的位置，以将所述投影图像重新形成为矩形图像；并且处理所述矩形图像。

Description

用于处理图像的方法和设备

技术领域

本公开涉及一种用于处理虚拟图像的方法和设备。

背景技术

随着虚拟现实(VR)相关技术和装置的最近发展，使用该技术和装置的VR装置已经成为人们关注的焦点。这些VR装置被广泛应用于诸如娱乐、教育、办公和医疗的各种领域。

VR装置上显示的VR图像根据佩戴VR显示装置的用户的注视而移动，因此，VR图像应该包括用户周围的所有周边图像。也就是说，从VR装置提供的VR图像是与用户周围的所有方向相应的图像，即，360度图像。因此，对这种360度图像处理的兴趣连同对VR装置的兴趣已增加。

根据相关的技术处理360度图像的方法对大尺寸图像进行处理，因此，处理效率低，功耗高，并且一部分图像可能丢失，从而降低质量。因此，需要一种能够提供高质量图像的相对高效的图像处理方法和设备。

发明内容

技术方案

提供了一种用于处理图像的方法和设备。更具体地，提供了一种能够提供高质量图像的相对高效的图像处理方法和设备。

有益效果

根据实施例，可以高效地提供高质量的360度图像。

附图说明

图1示出了360度图像。

图2是根据实施例的图像处理方法的流程图。

图3示出了根据实施例的将获取的图像投影在多面体上的操作。

图4示出了根据实施例的投影图像。

图5是根据实施例的矩形图像重新形成方法的流程图。

图6示出了根据实施例的矩形图像重新形成方法。

图7示出了根据实施例的像素的水平移动。

图8示出了根据实施例的像素的水平移动的结果。

图9示出了根据实施例的像素的垂直移动。

图10示出了根据实施例的像素的垂直移动的结果。

图11示出了根据实施例的重新形成的实际矩形图像。

图12是根据另一实施例的矩形图像重新形成方法的流程图。

图13示出了根据另一实施例的矩形图像重新形成方法。

图14是根据另一实施例的像素的移动的次序图。

图15示出了根据另一实施例的像素的垂直移动。

图16示出了根据另一实施例的矩形图像重新形成方法。

图17示出了根据另一实施例的参考线设置操作。

图18是根据实施例的图像处理设备的流程图。

图19是根据另一实施例的图像处理方法的流程图。

图20是根据实施例的选择投影图像恢复方法的处理的流程图。

图21是根据实施例的投影图像恢复方法的流程图。

图22是根据另一实施例的投影图像恢复方法的流程图。

图23是根据另一实施例的图像处理设备的流程图。

图24示出了根据实施例的投影图像。

图25和图26示出了根据实施例的投影图像的生成。

图27示出了根据实施例的矩形图像重新形成方法。

图28是根据另一实施例的矩形图像重新形成方法的流程图。

图29示出了根据另一实施例的矩形图像重新形成方法。

图30和图31示出了根据另一实施例的像素的移动。

图32示出了根据另一实施例的矩形图像重新形成方法。

图33和图34示出了根据另一实施例的像素的移动。

图35示出了根据另一实施例的矩形图像重新形成方法。

图36示出了根据另一实施例的像素的移动。

图37示出了根据另一实施例的矩形图像重新形成方法。

图38示出了根据另一实施例的像素的移动。

最优实施方式

根据本公开的一方面，一种图像处理方法包括：获取在至少两个方向上捕捉的图像；通过将所述图像投影到多面体上来生成投影图像；移动所述投影图像中的像素中的至少一个像素的位置以将所述投影图像重新形成为矩形图像；并处理所述矩形图像。

根据本公开的另一方面，一种图像处理方法包括：获取矩形图像；移动所述矩形图像中的像素中的至少一个像素的位置来恢复投影图像；并且将所述投影图像组装成多面体并对所述多面体进行反向投影以生成反向投影图像。

根据本公开的另一方面，一种图像处理设备包括：控制器，被配置为控制获取在至少两个方向上捕捉的图像，通过将所述图像投影到多面体上来生成投影图像，通过移动所述投影图像中的像素中的至少一个像素的位置来重新形成矩形图像，并且处理所述矩形图像；以及存储器，存储用于控制器的操作的数据。

具体实施方式

参照附图，将清楚本公开的优点和特征以及用于实现它们的方法，其中，附图中示出了实施例。然而，本公开可以以很多不同的形式被实施，并且不应该被解释为限于本文阐述的实施例；相反，提供这些实施例使得本公开将是彻底和完整的，并且将本公开的构思完全传达给本领域普通技术人员，并且本公开仅由权利要求的范围限定。在整个说明书中，相同的标号表示相同的元件。

在整个说明书中，当描述特定部件被“连接”到另一部件时，将理解该特定部件可以经由中间的另一元件被“直接地”或“电气地”连接到另一元件。此外，在整个说明书中，还将理解，当组件“包括”元件时，除非存在另一相反的描述，否则应理解该组件不排除另一元件，而是还可包括另一元件。说明书中使用的术语“...单元”表示包括软件或硬件(诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC))的组件，并且“...单元”执行特定角色。然而，“...单元”不限于软件或硬件。“...单元”可以被配置为包括在可寻址存储介质中或者用于再现一个或更多个处理器。因此，例如，“...单元”包括组件(诸如软件组件、面向对象的软件组件、类组件和任务组件)、处理、功能、属性、程序、子例程、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、数组和变量。组件和“...单元”内部提供的功能可以被组合到更少数量的组件和“...单元”或者进一步被拆分为附加组件和“...单元”。

在下文中，将参照附图详细描述本公开的实施例，使得本领域普通技术人员可以容易地实现本公开。然而，本公开可以以很多不同的形式被实施，并且不应该被解释为限于本文阐述的实施例。在附图中，省略与描述无关的部分以清楚地描述本公开。

本公开中使用的术语是当前在本领域中被广泛使用的那些通用术语，但是这些术语可以根据本领域普通技术人员的意图、先例或本领域的新技术而变化。此外，申请人可以选择指定的术语，并且在这种情况下，将在详细描述中描述其具体含义。因此，本公开中使用的术语不应按照简单的名称来理解，而是应基于术语的含义和整体描述来理解。

图1示出了360度图像。

如图1所示，360度图像是指示在特定位置110周围360°围绕所述特定位置的外围环境的图像120。当用户佩戴虚拟现实(VR)装置时，指示在VR中的360°围绕用户的外围环境的图像可以是360度图像。VR装置可以向用户提供360度图像，使得即使当佩戴VR装置的用户在VR中移动或转动自己的眼睛时，VR装置也可以根据用户的动作来提供合适的图像。

图2是根据实施例的图像处理方法的流程图。

参照图2，首先，在操作210中，图像处理设备获取在至少两个方向上捕捉的图像。根据实施例，图像处理设备可以通过经由相机拍摄围绕图像处理设备的外围环境来获取在至少两个方向上捕捉的图像。在这种情况下，图像处理设备可以通过至少一个相机来拍摄围绕图像处理设备的外围环境。根据实施例，相机可以是包括在图像处理设备中的组件，或者被配置为与图像处理设备分离的装置。此外，图像处理设备可以以全景方式或在诸如前、后、左、右、上和下方向的方向上拍摄外围环境。

此外，根据实施例，图像处理设备可以通过从外部装置接收图像来获取在至少两个方向上捕捉的图像。也就是说，外部装置可以拍摄外围环境或生成虚拟图像并将图像发送到图像处理设备，并且图像处理设备可以通过接收图像来获取在至少两个方向上捕捉的图像。

此后，在操作220中，图像处理设备通过将图像投影到多面体上来生成投影图像。根据实施例，当生成投影图像时，图像处理设备可以在图像被投影在多面体上时将图像投影在与多面体的区域相应的显影视图的区域上。根据另一实施例，当生成投影图像时，图像处理设备可以将已被投影在多面体上的图像投影在多面体外部的至少一个平面上。图3、图4、图25和图26示出了生成投影图像的操作。

图3示出了根据实施例的将获取的图像投影在多面体上的操作。

图3(a)示出了已经在操作210中获取的在至少两个方向上捕捉的图像310。尽管图3(a)示出了获取球面图像，但是本实施例不限于此，可以获取各种形状的图像，诸如在前、后、左、右、上和下方向上捕捉的图像。图3(b)示出了将获取的图像310投影在多面体320上。具体地，图3(b)示出了通过使用正二十面体作为多面体320来投影获取的图像310的该正二十面体。根据实施例，多面体320可以包括具有相同形状和面积的至少一个三角形。在这种情况下，多面体320的一个面可以被构造为通过对两个或更多个三角形进行组合而形成的另一多边形。例如，通过对两个或更多个相同三角形进行组合而形成的四边形可以构成为多面体320的一个面。

图4示出了根据实施例的投影图像。

参照图4，示出了通过将获取的图像310投影到显影视图上而生成的投影图像410，其中，图3(b)中示出的正二十面体在该显影视图中被展开。投影图像410可以与显影视图相同，其中，在该显影示图中，被投影了获取的图像310的正二十面体被展开。根据实施例，投影图像可以是通过使用二十面体投影而生成的二十面体投影图像。

参照图3和图4，已经使用获取的图像310被投影在正二十面体上的示例描述了图像处理操作。然而，如上所述，多面体不限于正二十面体，可以通过将获取的图像投影到诸如正八面体和正四面体的各种形状的多面体上来处理获取的图像。此外，投影图像的生成不限于使用多面体的显影视图，可以通过使用诸如使用多面体的投影视图的各种方法来生成投影图像。

图25和图26示出了根据实施例的投影图像的生成。

图25(a)示出了使用正八面体而不是正二十面体作为多面体，其中，获取的图像被投影在正八面体2510上，并且图25(c)示出了使用正四面体作为多面体，其中，获取的图像被投影在正四面体2530上。图25(b)示出了通过将获取的图像投影到通过展开图25(a)中所示的正八面体所获得的显影视图上而生成的投影图像2520，并且图25(d)示出了通过将获取的图像投影到通过展开图25(c)中所示的正四面体所获得的显影视图上而生成的投影图像2540。图25(b)中的投影图像2520可以与通过将被投影了获取的图像的正八面体展开而获得的显影视图相同。图25(d)中的投影图像2540可以与通过将被投影了获取的图像的正四面体展开而获得的显影视图相同。

根据实施例，可以通过将已被投影到多面体上的图像投影到多面体外部的至少一个平面上来生成投影图像。例如，如图26(a)所示，可以通过将获取的图像投影到正八面体2610上并且将已被投影到正八面体2610上的图像中的四个上部面上的图像重新投影到位于正八面体上部上方的至少一个平面2620上来获取正八面体2610的投影视图2630。此外，尽管未在图26(a)示出，但是可以通过将已被投影到正八面体2610上的图像中的四个下部面上的图像重新投影到位于正八面体下部下方的至少一个平面上来获取正八面体2610的另一投影视图。结果，如图26(b)所示，可以生成包括正八面体2610的两个投影视图的投影图像2640。根据实施例，当生成的投影图像具有类似于图26(b)中所示的投影图像2640的矩形形状时，可以按原样处理生成的投影图像，而不需要将生成的投影图像重新形成为矩形图像。

返回参照图2，在操作230中，图像处理设备移动投影图像410中的像素中的至少一个像素的位置，以将投影图像410重新形成为矩形图像。由于投影图像410是通过展开多面体320而获得的二维图像，如图4所示，因此存在与360度图像310无关的边缘空间。该边缘空间仅是绘图上的边缘空间，但与将在图像处理过程中被处理的数据相应。因此，边缘空间越大，将由图像处理设备处理的数据越多，从而降低了处理效率。将投影图像410重新形成为矩形图像的处理是减少这种边缘空间以便减少将由图像处理设备处理的不必要数据的处理。

根据实施例，像素的位置的移动指示像素数据的移动。也就是说，特定像素的像素数据被存储为另一像素的像素数据而不是像素的物理移动。

根据实施例，当投影图像410被重新形成为矩形图像时，可以通过仅移动像素的位置而不移除像素或不添加新像素来生成矩形图像。也就是说，可以通过仅移动像素的位置而不改变像素的总数和像素数据来生成矩形图像。因此，重新形成的矩形图像的面积与投影图像410的面积相同。根据实施例，当投影图像410被重新形成为矩形图像时，仅移动像素的位置，并且不改变像素的总数和像素数据，因此当仅获得了像素的位置移动历史或像素的原始位置时，矩形图像可以容易地被恢复成投影图像410。

根据实施例，当投影图像被重新形成为矩形图像时，可以通过移动投影图像中的像素然后添加边缘空间来生成矩形图像。例如，如图27(a)至图27(c)所示，可以通过移动使用正二十面体或正八面体的显影视图生成的投影图像中的像素，然后在像素经过移动的投影图像周围添加至少一个边缘空间2710、2720或2730来生成矩形图像。根据另一实施例，当投影图像被重新形成为矩形图像时，可以通过添加边缘空间而不移动投影图像中的像素来生成矩形图像。例如，如图27(d)所示，可以通过在投影图像周围添加至少一个边缘空间2740而不移动使用正四面体的显影视图生成的投影图像中的像素来生成矩形图像。当重新形成的矩形图像包括边缘空间时，重新形成的矩形图像的面积可以与投影图像的面积不同。

根据实施例，当投影图像410被重新形成为矩形图像时，针对每行来确定每行中包括的像素的平行移动方向，并且可根据确定的平行移动方向针对每行来将每行中包括的像素向左或向右水平移动，以便从每行的左边缘或右边缘顺序地填充像素。此外，根据实施例，当投影图像410被重新形成为矩形图像时，针对每列来确定每列中包括的像素的垂直移动方向，并且可根据确定的垂直移动方向针对每列来将每列中包括的像素向上或向下垂直移动，以便从每列的上边缘或下边缘顺序地填充像素。

参照特定实施例描述了像素的垂直移动和水平移动。图5至图11示出了通过像素的垂直移动和水平移动将投影图像410重新形成为矩形图像的方法及其结果的实施例。

图5是根据实施例的矩形图像重新形成方法的流程图。图6示出了根据实施例的矩形图像重新形成方法。

参照图5，首先，在操作510中，图像处理设备从显示投影图像410的平面选择一行。在这种情况下，投影图像410的最上面的像素所在的行可以是x轴。

此后，在操作520中，图像处理设备确定所选行的编号是否是设置值或小于设置值。参照图6，图6(a)示出了投影图像。图6(a)所示的投影图像具有三角形堆积成三层的形状。根据实施例，为了沿一个方向移动上两层并沿相反方向移动下一层，设置值可以是总行长度的2/3。然而，这仅是说明性的，可以根据实施例设置各种参考值。

当在操作520中确定所选行的编号是设置值或小于设置值时，图像处理设备进行到操作530并且可以将包括在所选行中的像素向左移动，以便从所选行的左边缘顺序地填充像素。否则，当在操作520中确定所选行的编号是设置值或大于设置值时，图像处理设备进行到操作540并且可以将包括在所选行中的像素向右移动，以便从所选行的右边缘顺序地填充像素。

此后，在操作550中，图像处理设备确定是否存在未选择的行，并且当存在未选择的行时，图像处理设备返回到操作510以重复上述处理。

操作510至操作550是将图6(a)所示的投影图像重新形成为图6(b)所示的图像的处理，参照图7和图8更详细地描述了该处理。

图7示出了根据实施例的像素的水平移动，并且图8示出了根据实施例的像素的水平移动的结果。

参照图7，投影图像中包括的每个三角形包括九个像素，并且用四边形表示的每个像素均具有像素数据。可以进行以下设置：包括最上面的像素的行是x轴并且行号向下增加。当设置值是总行长度(即，投影图像的高度)的2/3时，对于具有小于或等于总行长度的2/3的行号的行，每行中包括的像素可以向左移动，以便从每行的左边缘710顺序地填充像素。此外，对于具有超过总行长度的2/3的行号的行，每行中包括的像素可以向左移动，以便从每行的右边缘(未示出)顺序地填充像素。

因此，在图7中，上面的行可以向左移动，上面的行可以向右移动，其中，上面的行包括包含具有像素数据a、f、g、h、i、j、s、x、y、z、1和2的像素的行，并且上面的行包括包含具有像素数据3、4、5、6、7、#、$、％、^和&的像素的行。

图8示出了像素的移动结果。图8所示的移动结果用于描述根据实施例的像素的水平移动。也就是说，假设仅移动指示具有像素数据的像素，并且在图8中示出像素的水平移动结果。图6(a)中所示的投影图像包括比图7中所示的三角形更多数量的三角形，因此，像素的实际水平移动结果可以与图8所示的水平移动结果不同。例如，除了具有像素数据A和J的两个像素之外，最上面的行在右边还可以包括像素。此外，包括在已向右移动的下面三行中的像素还可以进一步移动到右边缘(图8中未示出)。

根据实施例，可以通过上述处理将图6(a)中所示的投影图像重新形成为图6(b)中所示的图像。

在操作550中，图像处理设备确定是否存在未选择的行，并且当不存在未选择的行时，图像处理设备进行到操作560以从显示投影图像的平面选择一列。在这种情况下，投影图像的最左侧的像素所在的列可以是y轴。

在操作570中，图像处理设备可以向上移动包括在所选列中的像素，以便从所选列的上边缘顺序地填充像素。

在操作580中，图像处理设备确定是否存在未选择的列，并且当存在未选择的列时，图像处理设备返回到操作560以重复上述处理。当在操作580中确定不存在未选择的列时，完成对矩形图像的重新形成。

操作560至580是将图6(b)中所示的重新形成的投影图像重新形成为图6(c)中所示的矩形图像的处理，参照图9和图10更详细地描述了该处理。

图9示出了根据实施例的像素的垂直移动，图10示出了根据实施例的像素的垂直移动的结果。

参照图9，图像处理设备可以移动包括在每列中的像素，以便从每列的上边缘910顺序地填充像素。因此，可以向上移动位于包括具有像素数据D、G、U、Z、g和3的像素的列的右侧的所有列。因为从上边缘顺序地填充像素，因此包括具有像素数据A、B、E、S、X和a的像素的列和包括具有像素数据J、C、F、T、Y和f的像素的列未被移动。包括未被移动的像素的列将在稍后描述。

图10示出了像素的移动结果。图10所示的移动结果用于描述根据实施例的像素的垂直移动，并且是基于图8所示的水平移动结果的垂直移动结果。因此，像素的实际水平移动结果可能与图10所示的垂直移动结果不同。

根据实施例，操作560至580以及图9和图10中所示的像素垂直移动处理描述了向上移动包括在所选列中的像素以便从所选列的上边缘顺序地填充像素的处理。然而，这仅是说明性的，包括在所选列中的像素可被向下移动，以便从所选列的下边缘顺序地填充像素。

根据实施例，即使当包括在每行或每列中的像素被水平或垂直移动时，重新形成的矩形图像中的相邻像素也可以具有连续像素数据。根据实施例，在图7中，在生成投影图像410之前，具有像素数据A的像素和具有像素数据J的像素相邻地位于多面体中。也就是说，通过展开多面体320来获得投影图像410，因此，具有像素数据A的像素和具有像素数据J的像素在投影图像410中被物理地分离，但是这两个像素最初是相邻地位于多面体320中的一个顶点处。

通常，图像中的相邻像素具有像素具有连续像素数据的高概率。因此，像素数据A和J具有像素数据A和J具有连续数据的高概率。这里，连续数据表示在没有快速变化的情况下数据值被逐渐改变的数据。在图像处理中，连续数据可比非连续数据被更快速和有效地处理。重新形成的矩形图像中的相邻像素具有相邻像素具有连续像素数据的高概率，因此，可以快速且有效地处理相邻像素。

根据实施例，可以通过上述处理将图6(b)中所示的投影图像重新形成为图6(c)中所示的图像。

图11示出了根据实施例的重新形成的实际矩形图像。

图11示出了通过参照图5至图10描述的方法重新形成的实际矩形图像。参照图11，类似于图6(c)，可以以像素被聚集到左上端和右下端的形状来执行对矩形图像的重新形成。

返回参照图2，根据实施例，在重新形成为矩形图像的过程中，可以移动包括形成投影图像的第一边界的像素的多个像素，使得形成第一边界的像素被连接到作为连接到第一边界的相对边界的第二边界。

将通过特定实施例来对此进行描述。图12至图15和图28至图38示出了以下特定实施例：通过移动包括形成投影图像的第一边界的像素的多个像素使得形成第一边界的像素被连接到作为连接到第一边界的相对边界的第二边界，来执行对矩形图像的重新形成。根据实施例，可以使用正二十面体或正八面体的显影视图来生成投影图像，第一边界和第二边界都可以包括多条线，并且可以重复设置参考点并将多个像素移动到参考点的相对侧的操作。

图12是根据另一实施例的矩形图像重新形成方法的流程图，并且图13示出了根据另一实施例的矩形图像重新形成方法。

参照图12，首先，在操作1210中，图像处理设备设置参考点。参考点是用于区分将被移动的像素和将不被移动的像素的标准。根据实施例，可以将位于总行长度(即，基于投影图像的左边缘的水平长度)的1/10处的点设置为参考点。然而，这仅是说明性的，可以根据实施例设置各种参考点。

在操作1220中，图像处理设备从显示投影图像的平面选择一列。

在操作1230中，图像处理设备将所选列与参考点进行比较，并且当确定所选列的列号小于参考点的列号时，图像处理设备进行到操作1240以将包括在所选列中的像素移动到参考点的相对侧。根据实施例，可以移动包括形成投影图像的第一边界的像素的多个像素，使得形成第一边界的像素被连接到作为连接到第一边界的相对边界的第二边界。

如果在操作1230中确定所选列的列号大于或等于参考点的列号，则图像处理设备直接进行到操作1250。

在操作1250，图像处理设备确定是否存在未选择的列，并且当存在未选择的列时，图像处理设备返回操作1220以重复上述处理。

操作1210至1250是将图13(a)所示的投影图像重新形成为图13(b)所示的图像的处理，并且参照图14更详细地描述了该处理。

图14是根据另一实施例的像素的移动的次序图。

参照图14，可以将位于基于投影图像的左边缘的水平长度的1/10处的点设置为参考点1410。根据实施例，具有比参考点的列号小的列号的像素1420被移动到参考点的相对侧。在这种情况下，可以移动形成第一边界1430的像素，使得形成第一边界1430的像素被连接到作为连接到第一边界的相对边界的第二边界1440。

根据实施例，第一边界1430和第二边界1440是在生成投影图像410之前在多面体320中形成一个边缘的线。也就是说，通过展开多面体320来获得投影图像410，因此，第一边界1430和第二边界1440在投影图像410中被物理地分离，但是第一边界1430和第二边界1440最初在多面体320中是形成一个边缘的线。因此，即使当移动包括形成第一边界的像素的多个像素使得形成第一边界的像素被连接到作为与第一边界连接的相对边界的第二边界时，投影图像410也未被改变，但仅在哪个点是参考点来显示投影图像410上存在差异。

在操作1250中，图像处理设备确定是否存在未选择的行，并且当不存在未选择的行时，图像处理设备进行到操作1260以从显示投影图像的平面选择一列。

操作1260至1280与图5中的操作560至580相同。因此，简要给出重复的描述。

在操作1270中，图像处理设备可以向上移动包括在所选列中的像素，以便从所选列的上边缘顺序地填充像素。

在操作1280中，图像处理设备确定是否存在未选择的列，并且当存在未选择的列时，图像处理设备返回到操作1260以重复上述处理。

操作1260至1280是将在图13(b)所示的重新形成的投影图像重新形成为图13C所示的矩形图像的处理，参照图15更详细地描述了该处理。

图15示出了根据另一实施例的像素的垂直移动。

参照图15，图像处理设备可以向上移动包括在每列中的像素，以便从每列的上边缘1510顺序地填充像素。因为已经从顶部顺序地填充了像素，因此可能存在包括未被移动的像素的列。将在稍后描述包括未被移动的像素的列。

根据实施例，图13(b)中所示的投影图像可以通过上述处理被重新形成为图13C中所示的图像。

图28是根据另一实施例的矩形图像重新形成方法的流程图。

参照图28，首先，在操作2810中，图像处理设备设置参考点。根据实施例，可以将特定点设置为参考点。在操作2820中，图像处理设备从显示投影图像的平面选择一行。在操作2830，图像处理设备将所选行与参考点进行比较，当确定所选行处于基于参考点的移动方向时，图像处理设备进行到操作2840以将包括在所选行中的像素移动到参考点的相对侧。根据实施例，可以移动包括形成投影图像的第一边界的像素的多个像素，使得形成第一边界的像素被连接到作为连接到第一边界的相对边界的第二边界。在操作2830中确定所选行不处于基于参考点的移动方向，图像处理设备直接进行到操作2850。在操作2850，图像处理设备确定是否存在未选择的行，当存在未选择的行时，图像处理设备返回到操作2820以重复上述处理。

操作2810至2850是将图29(a)中所示的投影图像重新形成为图29(b)或图29(d)中所示的图像或者将图32(a)中所示的投影图像重新形成为图32(b)或图32(d)中所示的图像的处理。参照图30、图31、图33和图34更详细地描述了该处理。

图30、图31、图33和图34示出了根据另一实施例的像素的移动。根据实施例，可以使用正二十面体或正八面体的显影视图生成投影图像。

参照图30，可以将位于基于投影图像的下边缘的垂直长度的1/3处的点设置为参考点3010。根据实施例，在基于参考点3010的移动方向上的像素(即，基于参考点3010的下面的像素)被移动到参考点的相对侧。在这种情况下，可以移动形成第一边界3020的像素，使得形成第一边界3020的像素被连接到作为连接到第一边界的相对边界的第二边界3030。根据实施例，第一边界3020和第二边界3030中的每一个可包括多条线。

参照图31，可以将位于基于投影图像的上边缘的垂直长度的1/3处的点设置为参考点3110。根据实施例，在基于参考点3110的移动方向上的像素(即，基于参考点3010的上面的像素)被移动到参考点的相对侧。在这种情况下，可以移动形成第一边界3120的像素，使得形成第一边界3120的像素被连接到作为连接到第一边界的相对边界第二边界3130。根据实施例，第一边界3120和第二边界3130中的每一个可包括多条线。

参照图33和34，可以将位于投影图像的垂直长度的1/2处的点设置为参考点3310或3410。根据实施例，考虑像素的移动方向，在基于参考点的移动方向上的像素被移动到参考点的相对侧。在这种情况下，可以移动形成第一边界3320或3420的像素，使得形成第一边界3320或3420的像素被连接到作为连接到第一边界的相对边界的第二边界3330或3430。根据实施例，第一边界3320或3420和第二边界3330或3430中的每一个可包括多条线。

在操作2810至2850中移动投影图像中的像素之后，在操作2860中，图像处理设备通过添加边缘空间来生成矩形图像。操作2860是将图29(b)和29(d)所示的图像分别重新形成为图29(c)和图29(e)所示的图像或者将图32(b)和图32(d)所示的图像分别重新形成为图32(c)和图32(e)所示的图像的处理。根据实施例，可以通过移动投影图像中的像素然后添加边缘空间来生成矩形图像。

图35和图37示出了根据另一实施例的矩形图像重新形成方法。

根据实施例，可以重复设置参考点并将多个像素移动到参考点的相对侧的操作。将图35(a)所示的图像重新形成为图35(b)所示的图像的处理与将图13(a)所示的图像重新形成为图13(b)所示的图像的处理相同。将图37(a)所示的图像重新形成为图37(b)所示的图像的处理与将图32(a)所示的图像重新形成为图32(b)所示的图像的处理相同。因此，省略了对所述处理的描述。参照图36和图38更详细地描述了生成图35(c)和图37(c)所示的矩形图像的处理。

图36和图38示出了根据另一实施例的像素的移动。

参照图36，可以将位于基于投影图像的下边缘的垂直长度的1/3处的点设置为参考点3610。根据实施例，具有比参考点的行号小的行号的像素被移动到参考点的相对侧。在这种情况下，可以移动形成第一边界3620的像素，使得形成第一边界3620的像素被连接到作为连接到第一边界的相对边界的第二边界3630。根据实施例，第一边界3620和第二边界3630中的每一个可以包括多条线。

参照图38，可以将位于基于投影图像的左边缘的水平长度的1/10处的点设置为参考点3810。根据实施例，具有比参考点的列号小的列号的像素被移动到参考点的相对侧。在这种情况下，可以移动形成第一边界3820的像素，使得形成第一边界3820的像素被连接到作为连接到第一边界的相对边界的第二边界3830。

返回参照图2，根据实施例，在重新形成为矩形图像的过程中，可以在投影图像中设置多条参考线，并且可以基于所述多条参考线来移动像素。根据图5至图15所示的实施例，已经描述了移动像素使得基于左边缘、右边缘、上边缘和下边缘中的任何一个作为参考线来顺序地填充像素。根据实施例，与图5至图15所示的实施例不同，可以设置多条参考线，并且可以移动像素使得基于各自的参考线顺序地填充像素。参照图16和图17描述了该实施例。

图16示出了根据另一实施例的矩形图像重新形成方法，图17示出了根据另一实施例的参考线设置操作。

首先，比较图16(b)与图6(b)，投影图像320以相同的方式通过像素的水平移动被重新形成，但重新形成的结果发生变化，这是由于当像素在一个方向上被水平移动时，图6(b)示出了基于一条参考线移动像素，然而图16(b)示出了基于多条参考线分别移动像素。参照图17，设置多条参考线1710、1720、1730、1740、1750和1760。根据实施例，在图17中，上面两层中的像素基于每个三角形的左侧参考线向左移动，下面一层中的像素被移动总水平长度的1/10，然后基于每个三角形的右侧参考线向右移动。

根据实施例，通过上述处理，可以将图16(a)所示的投影图像重新形成为图16(b)所示的图像。将图16(b)所示的图像重新形成为图16(c)所示的矩形图像的处理是垂直移动像素的处理，因此，不再重复其描述。

根据实施例，在重新形成为矩形图像的过程中，图像处理设备可以确定是否移动至少一个像素，并且当确定移动至少一个像素时，图像处理设备可以确定所述至少一个像素的移动方向。并非总是需要移动所有像素，因此首先确定是否移动像素，并且当确定移动像素时，确定像素的移动方向。例如，在图7中，因为已经从左边缘顺序地填充了像素，所以不必移动包括具有像素数据E、F、G、H、I、N、O、P、Q和R的像素的行和包括具有像素数据S、T、U、V、W、b、k、l、m、n、o和t的像素的行。此外，在图9中，因为已经从顶部顺序地填充了像素，所以不必移动包括具有像素数据A、B、E、S、X和a的像素的列和包括具有像素数据J、C、F、T、Y和f的像素的列。

可以将根据实施例的像素移动方法应用于各种方法。例如，还可以在水平移动之后应用垂直移动，并且还可以垂直移动像素然后将像素移动到参考点的相对侧。

根据实施例，通过将投影图像重新形成为矩形图像，可以减少将由图像处理设备处理的不必要的数据。此外，重新形成的矩形图像中的相邻像素具有相邻像素具有连续像素数据的高概率，因此，可以有效地处理相邻像素。

上述特定矩形图像重新形成方法仅是说明性的，并且可以通过使用各种方法来执行对矩形图像的重新形成。例如，上述移动像素的位置的方法可以被组合使用以执行对矩形图像的重新形成。此外，可以通过移动像素的位置的另一方法来执行对矩形图像的重新形成。

返回参照图2，在操作240中，图像处理设备处理矩形图像。在操作240中，因为在操作230中投影图像已被重新形成为矩形图像，因此，可以减少将被处理的数据，并且因为重新形成的矩形图像中的相邻像素具有相邻像素具有连续像素数据的高概率，因此，可以有效地处理矩形图像。根据实施例，处理矩形图像的过程可以包括压缩、渲染等。

尽管未在图2中示出，但根据实施例，图像处理方法还可包括生成将经过处理的矩形图像恢复为投影图像所需的恢复信息。根据实施例，恢复信息可以包括与像素的位置移动历史和/或像素的初始位置有关的信息。如上所述，仅当获得了像素的位置移动历史和/或像素的初始位置时，才可以容易地将矩形图像恢复为投影图像410。此外，根据实施例，图像处理方法还可以包括发送经过处理的矩形图像和恢复信息。通过发送经过处理的矩形图像和恢复信息两者，经过处理的矩形图像和恢复信息的接收方可以容易地将经过处理的矩形图像恢复为投影图像410。

根据实施例，通过将投影图像重新形成为矩形图像，可以减少将被处理的数据，并且重新形成的矩形图像中的相邻像素具有相邻像素具有连续像素数据的高概率，因此，可以有效地处理矩形图像。

已经描述了根据实施例的图像处理方法。在下文中，将参照图18描述用于执行根据实施例的图像处理方法的图像处理设备。

图18是根据实施例的图像处理设备的流程图。

参照图18，图像处理设备1800可以包括控制器1810和存储器1820。根据实施例，图像处理设备1800可以是VR装置。

控制器1810控制图像处理设备1800的总体操作，并且可以通过控制存储器1820来处理图像。控制器1810可以包括随机存取存储器(RAM)、只读存储器(ROM)和处理器，其中，随机存取存储器(RAM)存储从图像处理设备1800的外部输入的信号或数据或被用作与将由电子装置执行的各种作业相应的存储区域，只读存储器(ROM)存储用于控制外围装置的控制程序。处理器可以由集成了核和图形处理单元(GPU)的片上系统(SoC)实现。此外，该处理器可以包括多个处理器。

根据实施例，控制器1810可以获取在至少两个方向上捕捉的图像，通过将图像投影到多面体上来生成投影图像，移动在投影图像中的像素中的至少一个像素的位置以将投影图像重新形成为矩形图像，并处理矩形图像。

根据实施例，控制器1810可以执行已参照图2至图17描述的图像处理方法。这里，简要地给出重复描述。

根据实施例，为了生成投影图像，当图像被投影到多面体上时，控制器1810可以将图像投影到与多面体的区域相应的显影视图的区域上。根据另一实施例，为了生成投影图像，控制器1810可以将已被投影到多面体上的图像投影到多面体外部的至少一个平面上。

根据实施例，为了将投影图像410重新形成为矩形图像，控制器1810可以通过仅移动像素的位置而不移除像素或不添加新像素来生成矩形图像。根据另一实施例，控制器1810可以通过移动投影图像中的像素然后添加至少一个边缘空间来生成矩形图像。

根据实施例，为了将投影图像410重新形成为矩形图像，控制器1810可以针对每行来确定每行中包括的像素的平行移动方向，并且根据确定的平行移动方向针对每行向左或向右水平移动每行中包括的像素，以便从每行的左边缘或右边缘顺序地填充像素。此外，根据实施例，为了将投影图像410重新形成为矩形图像，控制器1810可以针对每列来确定每列中包括的像素的垂直移动方向，并且根据确定的垂直移动方向针对每列向上或向下垂直移动每列中包括的像素，以便从每列的上边缘或下边缘顺序地填充像素。

根据实施例，在重新形成为矩形图像的过程中，控制器1810可以移动包括形成投影图像的第一边界的像素的多个像素，使得形成第一边界的像素被连接到作为连接到第一边界的相对边界的第二边界。

根据实施例，在重新形成为矩形图像的过程中，控制器1810可以在投影图像中设置多个参考线并基于所述多个参考线移动像素。

根据实施例，在重新形成为矩形图像的过程中，控制器1810可以确定是否移动至少一个像素，并且当确定移动至少一个像素时，控制器1810可以确定所述至少一个像素的移动方向。

根据实施例，控制器1810可以生成将矩形图像恢复为投影图像所需的恢复信息。

根据实施例，控制器1810可以控制发送经过处理的矩形图像和恢复信息。

根据实施例，控制器1810可以通过将投影图像重新形成为矩形图像来减少将由图像处理设备处理的不必要的数据。

存储器1820存储操作图像处理设备1800所需的程序和数据。存储器1820可以包括易失性存储介质或非易失性存储介质，或者包括两种存储介质的组合。易失性存储介质可以包括诸如RAM、动态RAM(DRAM)或静态RAM(SRAM)的半导体存储器，非易失性存储介质可以包括硬盘或闪存NAND存储器。

根据实施例，存储器1820可以存储用于控制器1810的操作的数据。

此外，尽管未在图18中示出，但图像处理设备1800还可以包括相机单元、接收器、发送器等。根据实施例，相机单元可以拍摄360°围绕图像处理设备的外围环境。此外，接收器可以从外部装置接收360度图像。根据实施例，发送器可以发送经过处理的矩形图像和恢复信息。接收器和发送器可以包括通信单元。

根据实施例，图像处理设备1800可以处理图像，使得将被处理的数据减少，并且相邻像素具有连续像素数据，从而降低功耗并提高处理效率。

图19是根据另一实施例的图像处理方法的流程图。

图19所示的根据另一实施例的图像处理方法是将经过处理的矩形图像恢复为360度图像310的方法。参照图19，首先，在操作1910中，图像处理设备获取矩形图像。根据实施例，矩形图像可以是通过以下操作生成的图像：获取在至少两个方向上捕捉的图像310，将图像310投影到多面体320的显影视图上以生成投影图像410并且移动投影图像410中的像素中的至少一个像素的位置以将投影图像410重新形成为矩形图像。也就是说，在操作1910中获取的矩形图像可以是通过图2至图17中所示的图像处理方法生成的图像。

此后，在操作1920中，图像处理设备移动矩形图像中的像素中的至少一个像素的位置以恢复投影图像410。根据实施例，将矩形图像恢复为投影图像410的处理可以以与图2至图17所示的将投影图像410重新形成为矩形图像的处理相反的顺序来执行。

尽管未在图19中示出，但根据另一实施例的图像处理方法可以包括接收将矩形图像恢复为投影图像410所需的恢复信息，并且在恢复投影图像410中，可以基于接收的恢复信息来恢复投影图像410。也就是说，可以基于接收的恢复信息来确定恢复方法。图20示出了基于接收的恢复信息来确定恢复方法的处理。

图20是根据实施例的选择投影图像恢复方法的处理的流程图。

参照图20，首先，在操作2010中，图像处理设备基于恢复信息确定恢复方法。根据实施例，在操作2010中，图像处理设备可以在至少一种恢复方法中确定一种恢复方法。当图像处理设备在操作2010中将恢复方法确定为方法A时，图像处理设备进行到操作2020以通过使用方法A来恢复投影图像。当图像处理设备在操作2010中将恢复方法确定为方法B时，图像处理设备进行到操作2030以通过使用方法B来恢复投影图像，并且当图像处理设备在操作2010中将恢复方法确定为另一方法时，图像处理设备进行到操作2040以通过使用相应的方法来恢复投影图像。这里，是为了方便区分每种恢复方法而标识恢复方法A和B以及其他恢复方法，恢复方法A和B以及其他恢复方法不指示特定的恢复方法。

将通过特定实施例来描述恢复方法。

图21是根据实施例的投影图像恢复方法的流程图。

图21示出了将重新形成的矩形图像恢复为投影图像410的方法。以将投影图像410重新形成为矩形图像的处理的相反顺序来执行将矩形图像恢复为投影图像410的处理，因此，将简要描述将矩形图像恢复为投影图像410的处理。

首先，在操作2110中，图像处理设备从显示矩形图像的平面选择一列。

此后，在操作2120中，图像处理设备可以向下移动所选列中的像素。在这种情况下，所选列中的像素被移动到其初始位置而不是被移动到下边缘。这是恢复投影图像410的处理，因此这是用于恢复初始图像的自然过程。

在操作2130中，图像处理设备确定是否存在未选择的列，当存在未选择的列时，图像处理设备返回操作2110以重复上述处理。否则，当在操作2130中确定不存在未选择的列时，图像处理设备进行到操作2140。

在操作2140中，图像处理设备在显示投影图像410的平面上选择一行。

此后，在操作2150中，图像处理设备确定所选行的编号是否小于或等于设置值。当在操作2150中确定所选行的编号是设置值或小于设置值时，图像处理设备可以进行到操作2160以向右移动包括在所选行中的像素。否则，当在操作2150中确定所选行的编号是设置值或大于设置值时，图像处理设备可以进行到操作2170以向左移动包括在所选行中的像素。

在操作2180中，图像处理设备确定是否存在未选择的行，当存在未选择的行时，图像处理设备返回到操作2140以重复上述处理。否则，当在操作2180中确定不存在未选择的行时，完成对投影图像410的恢复。

图22是根据另一实施例的投影图像恢复方法的流程图。

图22示出了将使用图12所示的方法重新形成的矩形图像恢复为投影图像的方法。图22中的操作2210至2230与操作2110至2130相同，因此将简要描述操作2210至2230。

首先，在操作2210中，图像处理设备从显示矩形图像的平面选择一列。此后，在操作2220中，图像处理设备可以向下移动所选列中的像素。在操作2230中，图像处理设备确定是否存在未选择的列，当存在未选择的列时，图像处理设备返回到操作2210以重复上述处理。否则，当在操作2230中确定不存在未选择的列时，图像处理设备进行到操作2240。

在操作2240中，图像处理设备选择像素。

在操作2250中，图像处理设备确定所选像素是否是移动经过参考点的像素。当在操作2250中确定所选像素是移动经过参考点的像素时，图像处理设备进行到操作2260以将像素移动到参考点的相对侧。也就是说，像素被恢复到初始位置。

否则，当在操作2250中确定所选像素不是移动经过参考点的像素时，图像处理设备直接进行到操作2270。

在操作2270中，图像处理设备确定是否存在未选择的像素，当存在未选择的像素时，图像处理设备返回到操作2240以重复上述处理。否则，当在操作2270中确定不存在未被图像处理设备选择的像素时，完成对投影图像的恢复。

根据实施例，已参照图21和图22描述的将重新形成的矩形图像恢复为投影图像的方法仅是说明性的，并且可以根据矩形图像重新形成方法使用各种恢复方法。

返回参照图19，在操作1930中，图像处理设备将投影图像恢复为多面体并对多面体进行反向投影以生成反向投影图像。在这种情况下，反向投影图像可以是指示围绕特定位置的外围环境的图像。根据实施例，当通过在将图像投影到多面体上时将图像投影到与多面体的区域相应的显影视图的区域上来生成投影图像时，可以组装投影图像以恢复多面体。根据另一实施例，当通过将已被投影到多面体上的图像投影到多面体外部的至少一个平面上来生成投影图像时，投影图像可以是立体的以恢复多面体。根据实施例，图像处理设备可以生成指示围绕特定位置的外围环境的全部或一部分的图像。例如，当图像处理设备是VR装置，并且用户使用VR装置时，可以根据用户的注视生成用户外围环境的反向投影图像。在这种情况下，生成的反向投影图像可以是指示用户的外围环境的根据用户的注视被观看的一部分的图像，而不是指示用户的全部外围环境的图像。根据实施例，反向投影图像可以是指示用户的全部外围环境的图像。也就是说，反投影图像可以是360度图像。图像处理设备可以通过在操作1920中使用具有小规模数据的矩形图像来恢复投影图像，从而执行有效处理。

按照根据另一实施例的图像处理方法，当基于经过处理的矩形图像生成反向投影图像时，可以恢复小规模数据，从而以低功耗执行有效处理。

图23是根据另一实施例的图像处理设备的流程图。

参照图23，图像处理设备2300可以包括接收器2310、存储器2320和控制器2330。根据实施例，图像处理设备2300可以是VR装置。此外，图像处理设备2300可以与图18中所示的图像处理设备1800相同。

接收器2310接收矩形图像。在这种情况下，接收的矩形图像可以是经过图像处理的矩形图像。接收器2310可以包括各种组件，诸如通用串行总线(USB)接口单元和数字通用盘(DVD)接口单元。例如，当接收器2310包括USB接口单元时，图像处理设备2300可以从USB接收图像文件。此外，当通过通信单元(未示出)从外部装置接收图像时，通信单元可以用作接收器2310。在这种情况下，通信单元可以以有线或无线方式被连接到网络以与外部装置进行通信，并且可以包括近场通信(NFC)模块、移动通信模块、无线互联网模块、有线互联网模块等。此外，通信单元可以包括一个或更多个组件。

存储器2320存储操作图像处理设备2300所需的程序和数据。存储器2320可以包括易失性存储介质或非易失性存储介质，或者包括两种存储介质的组合。易失性存储介质可以包括诸如RAM、DRAM或SRAM的半导体存储器，并且非易失性存储介质可以包括硬盘或闪存NAND存储器。

根据实施例，存储器2320可以存储用于控制器2330的操作的数据。

控制器2330控制图像处理设备2300的总体操作，并且可以通过控制存储器2320来处理图像。控制器2330可以包括RAM、ROM和处理器，其中，RAM存储从图像处理设备2300的外部输入的信号或数据或者被用作与将由电子装置执行的各种作业相应的存储区域，ROM存储用于控制外围装置的控制程序。处理器可以由集成了核和GPU的SoC实现。此外，处理器可以包括多个处理器。

根据实施例，控制器2330可以获取矩形图像，移动矩形图像中的像素中的至少一个像素的位置以恢复投影图像，将投影图像恢复为多面体，并且对多面体进行反向投影来生成反向投影图像。根据实施例，矩形图像可以是通过以下操作而生成的图像：获取在至少两个方向上捕捉的图像310，将图像310投影到多面体320的显影视图上以生成投影图像410，并且移动投影图像中的像素中的至少一个像素位置以将投影图像410重新形成为矩形图像。也就是说，在操作1910中获取的矩形图像可以是通过图2至图17中所示的图像处理方法生成的图像。根据实施例，当通过在将图像投影到多面体上时将图像投影到与多面体的区域相应的显影视图的区域上来生成投影图像时，可以组装投影图像以恢复多面体。根据另一实施例，当通过将已被投影到多面体上的图像投影到多面体外部的至少一个平面上来生成投影图像时，投影图像可以是立体的以恢复多面体。

根据实施例，控制器2330可以执行参照图19至图22描述的图像处理方法。这里，简要给出重复描述。

根据实施例，控制器2330可以控制接收器2310，使得接收器2310接收将矩形图像恢复为投影图像所需的恢复信息，并且当恢复投影图像时，控制器2330基于接收的恢复信息来恢复投影图像。

根据另一实施例，当生成反向投影图像时，图像处理设备2300基于矩形图像来恢复小规模数据，因此，图像处理设备2300可以以低功耗执行有效处理。

已经使用将获取的图像310投影到正二十面体上的示例描述了图像处理过程。然而，如上所述，多面体320不限于正二十面体，并且可以通过将获取的图像310投影到各种形状的多面体320上来执行图像处理。图24示出了使用各种形状的多面体320生成的投影图像。

图24示出了根据实施例的投影图像。

图24(a)示出了可以通过将获取的图像310投影到正八面体上而生成的投影图像，图24(b)和图24(c)示出了可以通过将获取的图像310投影到正六面体上而生成的投影图像，图24(d)示出了可以通过将获取的图像310投影到正十八面体上而生成的投影图像。参照图24，这些多面体可以包括具有相同形状和面积的至少一个三角形。在这种情况下，多面体的一个面可以包括由两个或更多个三角形形成的不同多边形。例如，图24(c)示出了包括多个面的正六面体，每个面是由两个三角形形成的四边形。

根据实施例，可以通过使用各种形状的多面体来生成投影图像，其中，所述各种形状的多面体不限于图24中所示的多面体。

上述实施例可以被编写为计算机可执行程序，并且可以在使用计算机可读记录介质执行程序的通用数字计算机中实现。

计算机可读记录介质的示例包括诸如磁存储介质(例如，ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM或DVD)和载波(通过互联网传输)的存储介质。

虽然已经参照附图描述了实施例，但是本领域普通技术人员将理解，可以在不改变本公开的技术精神和强制性特征的情况下进行形式和细节上的各种改变。因此，实施例应仅以说明性的含义被理解，而不是为了在所有方面进行限制的目的。

Claims (15)

1.一种图像处理方法，包括：

获取在至少两个方向上捕捉的图像；

通过将所述图像投影到多面体上来生成投影图像；

移动所述投影图像中的像素中的至少一个像素的位置，以将所述投影图像重新形成为矩形图像；并且

处理所述矩形图像。

2.如权利要求1所述的图像处理方法，其中，通过将所述图像投影到所述多面体上来生成所述投影图像的步骤包括：当所述图像被投影到所述多面体上时，将所述图像投影到与所述多面体的区域相应的显影视图的区域上。

3.如权利要求1所述的图像处理方法，其中，通过将所述图像投影到所述多面体上来生成所述投影图像的步骤包括：将已被投影到所述多面体上的图像投影到所述多面体外部的至少一个平面上。

4.如权利要求1所述的图像处理方法，其中，移动所述投影图像中的像素中的所述至少一个像素的位置以将所述投影图像重新形成为所述矩形图像的步骤包括：通过移动所述投影图像中的像素然后添加至少一个边缘空间来生成所述矩形图像。

5.如权利要求1所述的图像处理方法，其中，移动所述投影图像中的像素中的所述至少一个像素的位置以将所述投影图像重新形成为所述矩形图像的步骤包括：

针对每行来确定每行中包括的像素的平行移动方向；并且

根据确定的平行移动方向，针对每行向左或向右水平移动每行中包括的像素，以便从每行的左边缘或右边缘顺序地填充每行中包括的像素。

6.如权利要求1所述的图像处理方法，其中，移动所述投影图像中的像素中的所述至少一个像素的位置以将所述投影图像重新形成为所述矩形图像的步骤包括：

针对每列来确定每列中包括的像素的垂直移动方向；并且

根据确定的垂直移动方向，针对每列向上或向下垂直移动每列中包括的像素，以便从每列的上边缘或下边缘顺序地填充每列中包括的像素。

7.如权利要求1所述的图像处理方法，其中，移动所述投影图像中的像素中的所述至少一个像素的位置以将所述投影图像重新形成为所述矩形图像的步骤包括：

确定是否移动所述至少一个像素；并且

当确定移动所述至少一个像素时，确定所述至少一个像素的移动方向。

8.如权利要求1所述的图像处理方法，其中，移动所述投影图像中的像素中的所述至少一个像素的位置以将所述投影图像重新形成为所述矩形图像的步骤包括：移动包括形成所述投影图像的第一边界的像素的多个像素，使得形成第一边界的像素被连接到第二边界，其中，第二边界是连接到第一边界的相对边界。

9.如权利要求1所述的图像处理方法，其中，移动所述投影图像中的像素中的所述至少一个像素的位置以将所述投影图像重新形成为所述矩形图像的步骤包括：

在所述投影图像中设置多条参考线；并且

基于所述多条参考线来移动所述投影图像中的像素。

10.如权利要求1所述的图像处理方法，还包括：生成将所述矩形图像恢复为所述投影图像所需的恢复信息。

11.如权利要求1所述的图像处理方法，其中，所述多面体是包括具有相同形状和面积的至少一个三角形的多面体。

12.一种图像处理方法，包括：

获取矩形图像；

移动所述矩形图像中的像素中的至少一个像素的位置以恢复投影图像；并且

将所述投影图像恢复为多面体并对所述多面体进行反向投影来生成反向投影图像。

13.如权利要求12所述的图像处理方法，还包括：接收将所述矩形图像恢复为所述投影图像所需的恢复信息，

其中，恢复所述投影图像的步骤包括：基于接收的恢复信息来恢复所述投影图像。

14.如权利要求12所述的图像处理方法，其中，所述矩形图像是通过以下操作来生成的：获取在至少两个方向上捕捉的图像，将所述图像投影到多面体上以生成投影图像，并且移动所述投影图像中的像素中的至少一个像素的位置以将所述投影图像重新形成为所述矩形图像。

15.一种图像处理设备，包括：

控制器，被配置为获取在至少两个方向上捕捉的图像，通过将所述图像投影到多面体上来生成投影图像，移动所述投影图像中的像素中的至少一个像素的位置以重新形成矩形图像，并处理所述矩形图像；和

存储器，存储用于控制器的操作的数据。