CN107147624A - 全景图像处理方法、显示装置及播放设备 - Google Patents

Abstract

本发明涉及一种全景图像处理方法、显示装置及播放设备，其中全景图像处理方法包括：扫描映射面上映射的与全景图像待显示区域相对应的映射图像；根据扫描信息对所述全景图像中与扫描区域对应的区域采样。上述全景图像处理方法，由于对全景图像中与扫描区域对应的区域进行采样，能够令播放设备在显示图像时，实时获取本方法输出的采样数据，进而做到一边采样，一边显示，无需将所有的采样数据进行预存之后再进行显示。这样，一方面能够减少对播放设备内存带宽的占用，减少画面的延迟，另一方面还能够减少播放设备的功耗，提高播放设备的续航时间。

Description

全景图像处理方法、显示装置及播放设备

技术领域

本发明涉及图像显示领域，具体涉及全景图像处理方法、显示装置及播放设备。

背景技术

随着科技的进步，虚拟现实技术逐渐被应用于各个领域。目前的虚拟现实设备通常通过GPU对全景图像进行处理，具体的，GPU先对视野范围内的图像进行采样，并预存视野范围内的图像的所有采样数据，之后再从预存数据中读取采样数据，令虚拟现实设备显示图像。由于GPU实现全景图像的显示时需将所有采样数据进行预存，不仅占用了大量的内存带宽，而且当显示全景视频时还会造成画面的延迟。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种减少内存带宽占用，减少画面延迟的全景图像处理方法、应用该方法的显示装置及播放设备。

一种全景图像处理方法，包括：

扫描映射面上映射的与全景图像待显示区域相对应的映射图像；

根据扫描信息对所述全景图像中与扫描区域对应的区域采样。

一种显示装置，包括：

控制器，用于扫描映射面上映射的与全景图像待显示区域相对应的映射图像；

采样模块，用于根据所述控制器的扫描信息对所述全景图像中与扫描区域对应的区域进行采样。

一种播放设备，包括上述任一所述的显示装置，以及显示单元，所述显示单元用于实时获取所述采样模块的采样数据，并根据所述采样数据进行实时显示。

一种全景图像处理方法，包括：

控制器扫描映射面上映射的与全景图像待显示区域相对应的映射图像，并将扫描信息发送给采样模块；

所述采样模块根据所述控制器的扫描信息对所述全景图像中与扫描区域对应的区域进行采样。

上述全景图像处理方法，由于对全景图像中与扫描区域对应的区域进行采样，能够令播放设备在显示图像时，实时获取本方法输出的采样数据，进而做到一边采样，一边显示，无需将所有的采样数据进行预存之后再进行显示。这样，一方面能够减少对播放设备内存带宽的占用，减少画面的延迟，另一方面还能够减少播放设备的功耗，提高播放设备的续航时间。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明全景图像处理方法一实施例的流程图；

图2为本发明全景图像处理方法另一实施例的流程图；

图3为本发明一实施例中根据扫描信息对全景图像进行实时采样步骤的流程图；

图4为本发明显示装置一实施例的结构示意图；

图5为本发明全景图像处理方法又一实施例的流程图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。

需要说明的是，当元件被称为“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。

如图1所示，其为本发明一实施例全景图像处理方法10的流程图。

步骤S110具体为，扫描映射面上映射的与全景图像待显示区域相对应的映射图像。

具体的，将全景图像映射到映射面上，以获得全景映射图像，其中，全景映射图像为与全景图像中各区域对应的坐标，以通过坐标指示全景图像的各区域；根据视野范围获取全景映射图像中的与待显示区域对应的部分，以获取映射图像，也可以理解为，剔除全景映射图像中视野范围外的区域；扫描获取的映射图像。其中，映射面、视野范围根据播放设备的FOV(Field of View视场)信息生成；待显示区域为全景图像中与使用播放设备播放时视野范围内的显示图像相对应的区域；全景图像即可以为全景视频中的帧图像，也可为单独一全景图像。

步骤S120具体为，根据扫描信息对全景图像中与扫描区域对应的区域进行采样。

例如，根据映射图像的扫描顺序，对全景图像中与扫描区域对应的区域实时顺序进行采样。

上述全景图像处理方法10，由于对全景图像中与扫描区域对应的区域进行采样，能够令播放设备在显示图像时，实时获取本方法输出的采样数据，进而做到一边采样，一边显示，无需将所有的采样数据进行预存之后再进行显示。这样，一方面能够减少对播放设备内存带宽的占用，减少画面的延迟，另一方面还能够减少播放设备的功耗，提高播放设备的续航时间。

如图2所示，其为本发明一实施例全景图像处理方法20的流程图。

步骤S210具体为，获取全景图像。

步骤S220具体为，将全景图像分成多个子块。

其中，子块大小、数量、形状可根据实际需要进行选择。例如，将全景图像分成多个三角形的子块；或者，也可以将全景图像分成多个四边形的子块，例如矩形、平行四边形等。本实施例中，将全景图像分成多个矩形子块。

步骤S230具体为，将多个子块映射到映射面上。

具体的，步骤S230包括：

(1)将子块映射到映射模型中。也可以理解为，将各子块的顶点坐标映射到空间映射模型中。其中，映射模型可为球状、立方体等。

(2)获取当前视角信息，并根据当前视角旋转映射模型。具体的，根据当前视角转信息，对各映射在空间映射模型中的子块的顶点进行转换。

(3)将旋转后映射在映射模型上的子块映射到映射面上。也可以理解为，将映射到映射模型上的各子块的顶点坐标再映射到映射面上，获得每个子块的映射子块，即获取全景映射图像。其中，映射面根据播放设备的FOV信息生成。

步骤S240具体为，获取与待显示区域对应的映射子块，以获取映射图像。

具体的，根据视野范围剔除全景映射图像中位于视野范围外的映射子块。需要说明的是，当映射子块部分位于视野内部分位于视野外时，可无需剔除该块映射子块。

步骤S250具体为，扫描映射面上的映射图像。

其中，扫描映射图像的顺序可根据需要进行选择。例如，从左到右进行扫描，即逐列扫描；或者，从上到下进行扫描，即逐行扫描。

步骤S260具体为，根据扫描信息对全景图中与扫描区域对应的区域像采样。

对全景图像进行采样时，可根据扫描顺序对全景图像进行顺序实时采样，例如逐行扫描映射图像时，按照扫描顺序对全景图像中与逐行扫描所获取的映射图像对应的区域进行采样，以令采样数据与扫描到的映射图像的区域相对应。

需要说明的是，对扫描区域对应的区域，也可以为扫描区域周围的区域。例如，预设并行采样的行数或列数，并对扫描的预设行数或预设列数进行并行采样，具体的，例如，预设行数为三行，每三行为一组进行采样，根据三行的扫描信息对三行同时采样，即在其中一行扫描结束，但未完成采样时，可根据需要对另一扫描结束行进行采样，这样，整合了几行的扫描信息，令采样效率更高。

请一并参阅图3，其为本发明一实施例中步骤S260根据扫描信息对全景图中与扫描区域对应的区域像采样的流程图。

步骤S260包括如下步骤，

步骤S261具体为，实时获取扫描区域所涉及的所述映射图像中的映射子块。

当扫描顺序为从上到下，或者从左到右时，实时获取每行或每列的扫描区域所扫描到的子块。例如，扫描顺序为从左到右，映射图像中具有120个映射子块，按照扫描顺序，第一列的扫描区域涉及10个映射子块，第二列的扫描区域涉及11个映射子块，并依次扫描；实时获取每列扫描时所涉及的映射子块，即扫描第一列时，实时获取该列的10个映射子块，扫描第二列时，实时获取第二列的11个映射子块。

步骤S262具体为，根据获取的映射子块获取全景图像中与其对应的子块。

也可以理解为，获取与被扫描到的映射子块对应的子块，例如，根据子块到映射子块的映射关系获取与映射子块对应的子块，其中，子块到映射子块的映射关系为将子块映射到映射面上的映射系数。

步骤S263具体为，对获取的子块中与扫描区域对应的采样区域实时采样。

具体的，获取子块中与实时扫描区域对应的采样区域。即获取该行或该列实时扫描区域所对应的子块中的像素。根据子块到映射子块的映射关系对采样区域实时采样。

需要说明的是，根据实际需要，步骤S260还包括：根据子块到映射子块的映射关系，获取子块到映射子块的映射系数。也可以理解为，获取子块映射到映射面上的映射系数，其中，每个子块内部的映射系数相同，不同子块之间的映射系数即可相同也可相异。此时步骤S262可根据映射系数获取与映射子块对应的子块，步骤S263可根据映射系数对获取的子块进行实时采样。

步骤S260还包括：

(1)预存获取的扫描区域所涉及的所述子块。

(2)继续扫描映射面，并将扫描区域所涉及且未被预存的子块预存至未被占用的存储空间内，或者预存至本次扫描区域未涉及的预存子块的存储空间内。

具体的，预存与一行扫描所涉及的映射子块相对应的子块后，继续进行下一行的扫描，并预存下一行扫描所涉及且未被上一行扫描时预存的子块，根据实际需要，未被预存的子块可存至未被占用的存储空间内，或者将未被预存的子块存储至上一行预存了但本次扫描未涉及的子块所占用的存储空间内。其中预存子块即为预存至存储空间内的子块。

需要说明的而是，此时，对获取的子块中与扫描区域对应的采样区域实时采样为对预存子块中与扫描区域对应的采样区域实时采样。

本实施例中，获取的子块及/或映射系数存储在片上存储空间的存储块内，以提高后续步骤的效率。例如，将全景图像映射到映射面上后，获取所有子块到映射子块的映射系数，并预存，以提高步骤S262中获取子块的效率，以及步骤S263中实时采样的效率。此外，也可以仅预存部分映射系数，例如预存视野范围内子块的映射系数。

其他实施例中，也可以将映射系数存储在片外存储空间，或者也可以将块存储在片外存储空间。

一实施方式中，片上存储空间的存储块内预存与待显示区域对应的部分子块。例如，片上存储空间内预存实时扫描区域所涉及的子块。或者，片上存储空间也可以存储两次扫描区域所涉及的子块等。

为了充分利用片上存储空间，本实施例中，用于预存子块及/或映射系数的片上存储空间的存储块，被预存的子块及/或映射系数占满。例如，存储块的宽度为子块宽度的整数倍，以使片上存储空间的存储块能存储多个子块，而无空余空间，进而充分利用片上存储空间。

一实施方式中，全景图像处理方法还包括：根据实时采样数据实时显示所述待显示区域。即可根据采样数据实时显示扫描区域中的图像。

请一并参阅图4，其为本发明一实施例显示装置30的结构示意图。

显示装置30，包括：控制器100、采样模块200。具体的，控制器100用于扫描映射面上映射的与全景图像待显示区域相对应的映射图像；采样模块200用于根据控制器100的扫描信息对全景图像中与扫描区域对应的区域进行采样。其中，映射面根据播放设备的FOV(Field of View视场)信息生成；待显示区域为全景图像中与使用播放设备播放时视野范围内的显示图像相对应的区域；全景图像即可以为全景视频中的帧图像，也可为单独一全景图像；扫描信息包括需要进行采样的像素等采样需要用到的信息。

上述显示装置30，由于对全景图像中与扫描区域对应的区域进行采样，能够在显示图像时，实时获取显示装置中的采样数据，进而做到一边采样，一边显示，无需将所有的采样数据进行预存之后再进行显示。这样，一方面能够减少对内存带宽的占用，减少画面的延迟，另一方面还能够减少功耗，提高续航时间。

一实施例中，全景图像包括多个子块，映射面上映射有子块的映射子块。其中，映射子块为子块映射到映射面上的各顶点坐标；既可以通过软件将全景图像分成多个子块，并将子块映射到映射面上，也可以通过硬件实现，当通过软件实现时，其既可以通过显示装置30运行，也可以通过播放设备的其他硬件运行，例如CPU、GPU等。本实施例中，子块为矩形，其他实施例中子块也可以为其他形状，例如三角形等。

采样模块200包括提取单元210及差值计算单元220。其中，提取单元210用于根据扫描信息实时获取扫描区域所涉及的映射图像中的映射子块，并获取与其对应的子块；差值计算单元220用根据扫描信息于对提取单元210获取的子块中与扫描区域对应的区域进行采样。

例如，采样模块200还用于获取子块到映射子块的映射系数，即子块映射到映射面上的映射系数。此时，提取单元210用于根据映射系数获取与映射子块对应的子块，具体的，提取单元210获取映射子块后，根据映射系数查找与该映射子块对应的全景图像中的子块。差值计算单元220用于根据映射系数对获取的子块进行采样。例如，差值计算单元220根据控制器100的扫描信息，对与实时扫描区域对应的子块上的采样区域实时采样，其中扫描信息包括扫描区域所涉及的子块的待采样的像素，即采样区域。需要说明的是，本实施例中，映射系数通过软件计算获得，该软件可以运行在具有处理功能的硬件上，如CPU、GPU等，当显示装置具备处理能力时，该软件也可以运行在显示装置上。其他实施例中，映射系数也可以通过硬件计算获得。

一实施例中，提取单元210还用于预存获取的子块，此时插值计算单元还用于根据预存子块进行实时采样，其中预存子块为提取单元210预存的与扫描区域所涉及的映射子块相对应的子块。

具体的，例如，提取单元210将获取的子块预存至片上存储空间。又如，显示装置30的片上存储空间内预存实时扫描区域所涉及的子块。此外，根据实际需要，也可将需要预存的子块预存至片外存储空间。

一实施例中，显示装置30还包括显示单元，显示单元用于获取插值计算单元的采样数据，并根据采样数据进行实时显示。

应用上述显示装置的播放设备，包括上述显示装置以及显示单元。其中显示单元用于实时获取采样模块的采样数据，并根据采样数据进行实时显示；播放设备包括VR眼镜、VR播放设备等。

上述播放设备能够在显示图像时，实时获取显示装置中的采样数据，进而做到一边采样，一边显示。

如图5所示，其为本发明一实施例的全景图像处理方法40的流程图。

步骤S410具体为，控制器扫描映射面上映射的与全景图像待显示区域相对应的映射图像，并将扫描信息发送给采样模块。

步骤S420具体为，采样模块根据控制器的扫描信息对全景图像中与扫描区域对应的区域进行采样。

一实时方式中，全景图像包括多个子块，映射面上映射有子块的映射子块。其中，映射子块包括子块映射到映射面上的各顶点坐标。子块的形状可以需要进行选择，例如，子块为矩形。

本实施例中，控制器的扫描信息发送至采样模块的提取单元和差值计算单元，步骤S420包括如下步骤。

(1)采样模块通过提取单元根据扫描信息实时获取扫描区域所涉及的映射图像中的映射子块，并获取与其对应的子块；

(2)采样模块通过差值计算单元根据扫描信息对提取单元获取的子块中与扫描区域对应的区域进行实时采样。

一实施方式中，提取单元根据接收到的映射系数获取与映射子块对应的子块，差值计算单元根据扫描信息、接收到的映射系数对获取的子块中与扫描区域对应的区域进行实时采样。其中，映射系数为子块到映射面上的系数。

一实施方式中，提取单元在获取子块后先预存扫描区域所涉及的子块；差值计算单元在先预存的子块中进行实时采样。

其中一实施例中，映射系数及/或获取实时扫描区域所涉及的子块存储在片上存储空间的存储块内。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (29)

1.一种全景图像处理方法，其特征在于，包括：

扫描映射面上映射的与全景图像待显示区域相对应的映射图像；

根据扫描信息对所述全景图像中与扫描区域对应的区域采样。

2.根据权利要求1所述的全景图像处理方法，其特征在于，所述全景图像包括多个子块，所述映射面上映射有所述子块的映射子块，所述根据扫描信息对全景图像中与扫描区域对应的区域采样的步骤包括：

实时获取扫描区域所涉及的所述映射图像中的所述映射子块；

根据获取的所述映射子块获取所述全景图像中与其对应的所述子块；

对获取的所述子块中与扫描区域对应的采样区域实时采样。

3.根据权利要求2所述的全景图像处理方法，其特征在于，所述对获取的所述子块中与扫描区域对应的区域实时采样的步骤还包括：

获取所述子块中与实时扫描区域对应的采样区域；

根据所述子块到所述映射子块的映射关系对所述采样区域实时采样。

4.根据权利要求2所述的全景图像处理方法，其特征在于，所述根据扫描信息对所述全景图像中与扫描区域对应的区域采样的步骤还包括：

预存获取的扫描区域所涉及的所述子块；

继续扫描所述映射面，并将扫描区域所涉及且未被预存的所述子块预存至未被占用的存储空间内，或者预存至本次扫描区域未涉及的预存子块的所述存储空间内；

其中，所述对获取的所述子块中与扫描区域对应的采样区域实时采样为对所述预存子块中与扫描区域对应的采样区域实时采样。

5.根据权利要求2所述的全景图像处理方法，其特征在于，所述根据扫描信息对全景图像中与扫描区域对应的采样区域采样的步骤还包括：

根据所述子块到所述映射子块的映射关系，获取所述子块到所述映射子块的映射系数，

所述对获取的所述子块中与扫描区域对应的采样区域实时采样为根据所述映射系数对获取的所述子块中与扫描区域对应的采样区域实时采样。

6.根据权利要求5所述的全景图像处理方法，其特征在于，获取的所述子块及/或所述映射系数存储在片上存储空间的存储块内。

7.根据权利要求6所述的全景图像处理方法，其特征在于，所述存储块内预存与所述待显示区域对应的部分所述子块。

8.根据权利要求7所述的全景图像处理方法，其特征在于，所述存储块内预存实时扫描区域所涉及的所述子块。

9.根据权利要求6所述的全景图像处理方法，其特征在于，用于预存所述子块及/或所述映射系数的所述存储块被获取的所述子块及/或所述映射系数占满。

10.根据权利要求5所述的全景图像处理方法，其特征在于，所述存储块的宽度为所述子块宽度的整数倍。

11.根据权利要求2所述的全景图像处理方法，其特征在于，所述子块为矩形。

12.根据权利要求1所述的全景图像处理方法，其特征在于，所述扫描映射面上映射的与全景图像待显示区域相对应的映射图像的步骤为顺序扫描所述映射图像，所述根据扫描信息对所述全景图像中与扫描区域对应的区域采样的步骤为根据扫描顺序对所述全景图像与扫描区域对应的区域顺序采样。

13.根据权利要求1所述的全景图像处理方法，其特征在于，所述全景图像处理方法还包括：

获取全景图像；

将所述全景图像分成多个子块；

将多个所述子块映射到所述映射面上；

获取与所述待显示区域对应的所述映射子块，以获取所述映射图像。

14.根据权利要求13所述的全景图像处理方法，其特征在于，所述将多个所述子块映射到所述映射面上，包括：

将所述子块映射到映射模型中；

根据当前视角旋转所述映射模型；

将旋转后映射在所述映射模型上的所述子块映射到所述映射面上。

15.根据权利要求1所述的全景图像处理方法，其特征在于，所述全景图像处理方法还包括：根据采样数据实时显示所述待显示区域。

16.根据权利要求1所述的全景图像处理方法，其特征在于，所述全景图像包括全景视频中播放帧的画面。

17.一种显示装置，其特征在于，包括：

控制器，用于扫描映射面上映射的与全景图像待显示区域相对应的映射图像；

采样模块，用于根据所述控制器的扫描信息对所述全景图像中与扫描区域对应的区域进行采样。

18.根据权利要求17所述的显示装置，其特征在于，所述全景图像包括多个子块，所述映射面上映射有所述子块的映射子块，所述采样模块包括：

提取单元，用于根据所述扫描信息实时获取扫描区域所涉及的所述映射图像中的所述映射子块，并获取与其对应的所述子块；

差值计算单元，用于根据所述扫描信息对所述提取单元获取的所述子块中与扫描区域对应的区域进行实时采样。

19.根据权利要求18所述的显示装置，其特征在于，所述采样模块还用于获取所述子块到所述映射子块的映射系数；

其中，所述提取单元还用于根据所述映射系数获取与所述映射子块对应的所述子块，所述差值计算单元还用于根据所述映射系数对获取的所述子块中与扫描区域对应的区域进行实时采样。

20.根据权利要求18所述的显示装置，其特征在于，所述提取单元还用于预存获取的所述子块，所述差值计算单元还用于根据预存子块采样。

21.根据权利要求20所述的显示装置，其特征在于，所述提取单元还用于将获取的所述子块预存至片上存储空间。

22.根据权利要求21所述的显示装置，其特征在于，所述显示装置的所述片上存储空间内预存实时扫描区域所涉及的所述子块。

23.根据权利要求18所述的显示装置，其特征在于，所述子块为矩形。

24.根据权利要求18所述的显示装置，其特征在于，所述映射子块包括所述子块映射到所述映射面上的各顶点坐标。

25.一种播放设备，其特征在于，包括权利要求17至24中任一项所述的显示装置，以及显示单元，所述显示单元用于实时获取所述采样模块的采样数据，并根据所述采样数据进行实时显示。

26.一种全景图像处理方法，其特征在于，包括：

控制器扫描映射面上映射的与全景图像待显示区域相对应的映射图像，并将扫描信息发送给采样模块；

所述采样模块根据所述控制器的扫描信息对所述全景图像中与扫描区域对应的区域进行采样。

27.根据权利要求26所述的全景图像处理方法，其特征在于，所述全景图像包括多个子块，所述映射面上映射有所述子块的映射子块，

其中，所述控制器将扫描信息发送给所述采样模块的提取单元和差值计算单元；

所述采样模块通过所述提取单元根据所述扫描信息实时获取扫描区域所涉及的所述映射图像中的所述映射子块，并获取与其对应的所述子块；

所述采样模块通过所述差值计算单元根据所述扫描信息对所述提取单元获取的所述子块中与扫描区域对应的区域进行实时采样。

28.根据权利要求27所述的全景图像处理方法，其特征在于，所述提取单元根据接收到的映射系数获取与所述映射子块对应的所述子块，所述差值计算单元根据所述扫描信息、接收到的所述映射系数对获取的所述子块中与扫描区域对应的区域进行实时采样。

29.根据权利要求28所述的全景图像处理方法，其特征在于，

所述提取单元在获取子块后先预存扫描区域所涉及的子块；

所述差值计算单元在所述先预存的子块中进行实时采样。