CN107248145A - 图像畸变矫正方法、处理方法、处理设备及观看设备 - Google Patents

Abstract

本发明涉及一种图像畸变矫正方法、图像处理方法、图像处理设备、观看设备，其中图像畸变矫正方法包括：将图像映射到屏幕的映射面上；对所述图像的目标映射图像进行畸变矫正。上述图像畸变矫正方法一方面减少了使用该方法进行及图像处理或播放的设备的功耗，另一方面减少了图像由于多次缓存而造成图像在显示时的图像质量损失，进而提高了显示图像的质量。

Description

图像畸变矫正方法、处理方法、处理设备及观看设备

技术领域

本发明涉及图像显示领域，具体涉及一种图像畸变矫正方法、图像处理方法、图像处理设备及观看设备。

背景技术

随着科技的进步，虚拟现实技术逐渐被应用于各个领域。在使用虚拟现实设备时，使用者看到的图像为通过透镜放大的虚像，由于图像经过透镜放大会产生畸变，因此虚拟现实设备在显示图像时均需对图像的畸变进行矫正。

目前业界的畸变矫正方法通常为，先根据要显示图像的映射图像对图像进行采样，再对采样数据进行畸变矫正。然而，由于采样数据及畸变矫正后的采样数据均需要进行缓存，因此该方法在显示图像时，需要进行两次缓存，一方面增加了虚拟现实设备的功耗，另一方面降低了显示图像的质量。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种功耗较小、令显示图像质量较高的图像畸变矫正方法、图像处理方法、图像处理设备及观看设备。

图像畸变矫正方法，包括：

将图像映射到屏幕的映射面上；

对所述图像的目标映射图像进行畸变矫正。

图像处理方法，包括：

将图像映射到屏幕的映射面上；

获取所述图像映射到所述映射面上的映射系数；

获取图像进行畸变矫正的矫正系数；

根据所述映射系数、所述矫正系数获取采样系数；

根据所述采样系数对所述图像进行采样。

图像处理设备，包括：

映射模块，用于将图像映射到屏幕的映射面上；

矫正模块，用于对所述图像的目标映射图像进行畸变矫正。

观看设备，包括：

映射模块，用于将图像映射到屏幕的映射面上，并获取所述图像映射到所述映射面上的映射系数；

矫正模块，用于获取图像进行畸变矫正的矫正系数；

采样模块，用于根据所述映射系数、所述矫正系数获取采样系数，并根据所述采样系数对所述图像进行采样。

上述图像畸变矫正方法，在对图像采样前，先对图像的目标映射图像进行畸变矫正，后续根据映射畸变矫正的结果对图像进行采样，也就是说，采样后无需再进行畸变矫正，直接根据采样结果显示图像。相比现有的畸变矫正方法，上述图像畸变矫正方法在显示图像时，由于在采样前进行畸变矫正，仅需对采样后的采样数据进行一次缓存即可，一方面减少了使用该方法进行及图像处理或播放的设备的功耗，另一方面减少了图像由于多次缓存而造成图像在显示时的图像质量损失，进而提高了显示图像的质量。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明图像畸变矫正方法一实施例的流程图；

图2为本发明图像处理方法一实施例的流程图；

图3为本发明图像处理设备一实施例的结构示意图；

图4为本发明图像观看设备一实施例的结构示意图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。

需要说明的是，当元件被称为“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。

如图1所示，其为本发明图像畸变矫正方法10一实施例的流程图。

步骤S110具体为，将图像映射到屏幕的映射面上。

其中，映射面根据观看设备的FOV(Field of View视场)信息生成。图像既可以包括全景图像也可以包括非全景图像，例如，图像为全景图像，具体的，其为全景视频中的每一帧图像。需要说明的是，映射面也可以结合其他信息生成，例如结合使用者的需求，及FOV信息生成等。

步骤S120具体为，对图像的目标映射图像进行畸变矫正。

例如，对映射到映射面上的目标映射图像的坐标进行畸变矫正。其中，目标映射图像为映射面上需要进行矫正的映射部分。

上述图像畸变矫正方法，在对图像采样前，先对图像的目标映射图像进行畸变矫正，后续根据映射畸变矫正的结果对图像进行采样，也就是说，采样后无需再进行畸变矫正，直接根据采样结果显示图像。相比现有的畸变矫正方法，上述图像畸变矫正方法在显示图像时，由于在采样前进行畸变矫正，仅需对采样后的采样数据进行一次缓存即可，一方面减少了使用该方法进行及图像处理或播放的设备的功耗，另一方面减少了图像由于多次缓存而造成图像在显示时的图像质量损失，进而提高了显示图像的质量。

一实施例中步骤S110，包括如下步骤。

(1)将图像分成多个子块。

其中，子块大小、数量、形状可根据实际需要进行选择。例如，将图像分成多个三角形的子块；或者，也可以将图像分成多个四边形的子块，例如矩形、平行四边形等。

(2)将多个子块映射到屏幕的映射面上。

具体的，将子块映射到映射模型中。也可以理解为，将各子块的顶点坐标映射到空间映射模型中。其中，映射模型可为球状、立方体等。

获取当前视角信息，并根据当前视角旋转映射模型。具体的，根据当前视角转信息，对各映射在空间映射模型中的子块的顶点进行转换。

将旋转后映射在映射模型上的子块映射到映射面上。也可以理解为，将映射到映射模型上的各子块的顶点坐标再映射到映射面上，获得每个子块的映射子块。其中，映射面根据观看设备的FOV信息生成。

一实施例中，步骤S120包括如下步骤。

(1)获取观看设备的畸变系数。

其中，畸变系数根据观看设备的透镜确定。根据实际需要，也可以根据透镜及其他造成图像畸变的因素共同确定畸变系数。

(2)根据畸变系数对目标映射图像进行畸变矫正，以获得矫正系数。

具体的，将图像映射到映射面上后，根据畸变系数对映射面上目标映射图像内的映射子块进行矫正，对每个映射子块矫正后，获取该映射子块的矫正系数。其中，对映射子块进行矫正，即为对目标映射图像中映射子块的各顶点坐标进行矫正，以调整映射子块。本实施例中，映射子块内各点的矫正系数均相同，不同映射子块之间的矫正系数既可以相同，也可以相异。

在一实施例中，进行畸变矫正的目标映射图像为图像的映射图像位于视野范围内的区域。也可以理解为，在畸变矫正前将映射在映射面上的映射图像位于视野范围外的部分剔除，以获取目标映射图像。其中，视野范围根据观看设备的FOV(Field of View视场)信息确定，视野范围内的区域指使用者观看图像时，看到的图像中的区域，例如，使用者使用虚拟现实眼镜时，其在眼镜中看到的区域。

例如，剔除位于视野范围外的映射子块，对位于视野范围内的目标映射图像中的映射子块进行畸变矫正。需要说明的是，当映射子块部分位于视野内部分位于视野外时，可无需剔除。

在一实施例中，进行畸变矫正的目标映射图像是图像在映射面上的映射图像，也可以理解为，对图像映射到映射面上的全部映射进行矫正。此时，图像畸变矫正方法还包括：获取进行畸变矫正后的目标映射图像位于视野范围内的区域。

例如，将图像的子块映射到映射面上后，对所有映射子块进行矫正，之后根据视野范围，剔除位于视野外的矫正后的映射子块。需要说明的是，当映射子块部分位于视野内部分位于视野外时，可无需剔除。

需要说明的是，获取所有子块的矫正系数后，即可仅保留视野范围内的矫正系数，也可以保留所有的矫正系数。

请一并参阅图2，其为本发明图像处理方法20一实施例的流程图。

步骤S210具体为，将图像映射到屏幕的映射面上。

如前所述，例如，将图像分成多个子块，并将多个子块映射到的映射面上，此处不再重复。

步骤S220具体为，获取图像映射到映射面上的映射系数。

具体的，根据映射关系获取各子块到与其对应的映射子块的映射系数，其中，每个子块内的各点映射系数相同，不同子块之间的映射系数既可以相同，也可以相异。

步骤S230具体为，获取图像进行畸变矫正的矫正系数。

在一实施例中，获取观看设备的畸变系数，根据畸变系数对映射到屏幕的映射面上的目标映射图像进行矫正。具体的，如前所述，对目标映射图像中的每个映射子块进行矫正后，获取各映射子块的矫正系数。其中，每个映射子块内各点的矫正系数均相同。

例如，目标映射图像是图像的映射图像位于视野范围内的区域。

又如，目标映射图像也可以为图像的映射图像。此时，根据畸变系数对映射到屏幕的映射面上的目标映射图像进行矫正之后，获取矫正后的目标映射图像位于视野范围内的区域。其中，对映射到屏幕的映射面上的目标映射图像进行畸变矫正为对目标映射图像中的映射子块的顶点坐标进行畸变矫正。

步骤S240、根据映射系数、矫正系数计算采样系数。

具体的，获取矫正系数后，根据映射系数、矫正系数计算子块到矫正后映射子块的采样系数，以根据该系数进行采样。

步骤S250、根据采样系数对图像进行采样。

上述图像处理方法在采样之前对图像的映射进行畸变矫正，并根据畸变系数和映射系数计算采样系数，以通过该采样系数进行采样，得到图像矫正后的采样数据。这样，由于在采样前进行畸变矫正，仅需对采样后的采样数据进行一次缓存即可，一方面减少了功耗，另一方面减少了图像由于多次缓存而造成的图像质量损失，进而提高了显示图像的质量。

在一实施例中，步骤S250后，图像处理方法还包括如下步骤。

(1)预存采样数据。

具体的，预存视野内所有映射子块的采样数据，即缓存采样数据，例如将采样数据缓存至内存中。根据实际需要，也可以预存视野内部分映射子块的采样数据。

(2)读取预存的采样数据，并进行显示。

具体的，获取缓存的采样数据，并显示预存的视野范围内的映射子块对应的图像。

需要说明的是，其他实施例中，也可以直接根据采样数据实时进行显示，即根据实时获取的采样数据，实时输出采样数据所采的图像，此时无需缓存采样数据。此时，步骤S250包括如下步骤。

(1)扫描映射到映射面上的图像位于视野范围内的区域。

具体的，筛选视野范围内的映射子块，以获取图像位于视野范围内的映射部分，扫描该映射部分，即扫描视野范围内的映射子块。其中，扫描顺序可根据需要进行选择。例如，从左到右进行扫描，即逐列扫描；或者，从上到下进行扫描，即逐行扫描。

(2)根据扫描信息实时获取扫描区域所涉及的映射子块。

当扫描顺序为从上到下，或者从左到右时，实时获取每行或每列的扫描区域所扫描到的子块。例如，扫描顺序为从左到右，视野范围内具有120个映射子块，按照扫描顺序，第一列的扫描区域涉及10个映射子块，第二列的扫描区域涉及11个映射子块，并依次顺序扫描。实时获取每列扫描时所涉及的映射子块，即扫描第一列时，实时获取该列的10个映射子块，扫描第二列时，实时获取第二列的11个映射子块。

(3)获取与映射子块对应的子块。

也可以理解为，获取与被扫描到的映射子块对应的子块，例如，根据子块到映射子块的映射关系获取与映射子块对应的子块，其中，子块到映射子块的映射关系为将子块映射到映射面上的映射系数。

(4)根据采样系数、扫描信息对获取的子块的采样区域进行实时采样。

例如，获取子块后，根据扫描信息获取该子块需要采样的区域，之后对该区域进行采样。

上述方法一边扫描一边采样，对实时获取的扫描所涉及的图像中的区域进行实时采样，并实时输出采样数据，以根据采样数据进行实时显示。此时，无需对采样数据进行缓存，进一步减少了功耗以及图像质量损失，进一步提高了显示图像的质量。

如图3所示，其为本发明图像处理设备30一实施例的结构示意图。

在本实施方式中，图像处理设备30包括映射模块310及矫正模块320。其中，映射模块310用于将图像映射到屏幕的映射面上，矫正模块320用于对图像的目标映射图像进行畸变矫正。

对图像采样前，图像处理设备30先对图像的映射图像进行畸变矫正，之后根据映射畸变矫正的结果对图像进行采样，以使显示图像时无需对采样数据进行畸变矫正，一方面减少了功耗，另一方面减少了图像由于多次缓存而造成的图像质量损失，进而提高了显示图像的质量。

图像括多个子块，映射面上映射有子块的映射子块。在一实施例中，映射模块310还用于获取图像的映射图像位于视野范围内的目标映射图像，即映射模块310还用于剔除视野范围外的映射子块，以使矫正模块320仅矫正视野范围内目标映射图像中的映射子块。

在其他实施例中，当图像的映射图像为目标图像时，映射模块310还用于获取矫正后的目标图像位于视野范围内的区域。即矫正模块320矫正映射面上图像的所有映射子块，矫正后，映射模块310剔除视野范围外的矫正后的映射子块。

在一实施例中，矫正模块还用于获取观看设备的畸变系数，并根据畸变系数对目标映射图像进行畸变矫正，以获取矫正系数。

如图4所示，其为本发明图像观看设备40一实施例的结构示意图。

观看设备40包括：映射模块410，矫正模块420及采样模块430。其中，映射模块410用于将图像映射到屏幕的映射面上，并获取所述图像映射到所述映射面上的映射系数；矫正模块420用于获取图像进行畸变矫正的矫正系数；采样模块430用于根据所述映射系数、所述矫正系数获取采样系数，并根据所述采样系数对所述图像进行采样。其中，观看设备40可为虚拟现实眼镜，虚拟现实播放器等，且屏幕既可以为播放设备的屏幕，也可以为外接设备的屏幕。

在一实施例中，矫正模块420还用于获取观看设备40的畸变系数，并根据畸变系数对映射到屏幕的映射面上的目标映射图像进行畸变矫正，以获得矫正系数。

一实施例中，图像包括多个子块，映射面上映射有子块的映射子块，映射系数为子块到映射子块的映射系数。此时，一实施方式中，映射模块410还用于获取图像的映射图像位于视野范围内的目标映射图像，即目标映射图像为视野范围内的映射子块。一实施方式中，目标映射图像为图像的映射图像，即目标映射图像包括图像中所有子块的映射子块，此时，映射模块410还用于获取目标映射图像位于视野范围内的区域。即先对目标映射图像矫正，之后获取矫正后的目标映射位于视野范围的区域。

在一实施例中，采样模块430还用于预存图像位于视野范围内映射部分的采样数据。即将视野范围内各映射子块的采样数据均进行预存，以根据预存的采样数据进行显示。

需要说明的时，其他实施例中，采样模块430也可以对图像进行实时采样，以实时显示图像，即此时无需对采样数据进行预存，可直接根据输出的采样数据进行显示，做到边采样边输出。具体的，采样模块430包括控制单元431、提取单元432及差值计算单元433。其中，控制单元431用于扫描映射到映射面上的图像位于视野范围内的区域，即矫正后映射面上视野范围内的区域；提取单元432用于根据扫描信息实时获取扫描区域所涉及的映射子块，根据采样系数并获取与其对应的子块；差值计算单元433用于根据扫描信息、采样系数对提取单元432获取的子块中与扫描区域对应的区域进行采样，并输出采样数据。

一实施例中，提取单元432还用于预存获取的子块，此时插值计算单元还用于根据预存子块进行实时采样，其中预存子块为提取单元432预存的与扫描区域所涉及的映射子块相对应的子块。

在一实施例中，观看设备40还包括显示模块，显示模块用于根据实时采样数据实时显示图像。具体的，显示模块用于根据差值计算单元433实时输出的采样数据在屏幕上进行实时显示。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

应该说明的是，上述系统实施例中，所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于可读取存储介质中。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (26)

1.一种图像畸变矫正方法，其特征在于，包括：

将图像映射到屏幕的映射面上；

对所述图像的目标映射图像进行畸变矫正。

2.根据权利要求1所述的图像畸变矫正方法，其特征在于，所述目标映射图像为所述图像的映射图像位于视野范围内的区域。

3.根据权利要求1所述的图像畸变矫正方法，其特征在于，所述目标映射图像是所述图像在映射面上的映射图像；

所述图像畸变矫正方法还包括：

获取进行畸变矫正后的所述目标映射图像位于视野范围内的区域。

4.根据权利要求1所述的图像畸变矫正方法，其特征在于，所述对图像的目标映射图像进行畸变矫正，包括：

获取所述观看设备的畸变系数；

根据所述畸变系数对所述目标映射图像进行畸变矫正，以获得矫正系数。

5.根据权利要求1所述的图像畸变矫正方法，其特征在于，所述对目标映射图像进行畸变矫正为对映射到所述映射面上的所述目标映射图像的坐标进行畸变矫正。

6.根据权利要求1所述的图像畸变矫正方法，其特征在于，所述图像为全景图像。

7.根据权利要求6所述的图像畸变矫正方法，其特征在于，所述将图像映射到所述屏幕的映射面的步骤包括：

将所述图像分成多个子块；

将多个所述子块映射到所述屏幕的所述映射面上。

8.根据权利要求7所述的图像畸变矫正方法，其特征在于，所述将多个所述子块映射到所述屏幕的所述映射面上的步骤，包括：

将所述子块映射到映射模型中；

根据当前视角旋转所述映射模型；

将旋转后映射在所述映射模型上的所述子块映射到所述映射面上。

9.一种图像处理方法，其特征在于，包括：

将图像映射到屏幕的映射面上；

获取所述图像映射到所述映射面上的映射系数；

获取图像进行畸变矫正的矫正系数；

根据所述映射系数、所述矫正系数获取采样系数；

根据所述采样系数对所述图像进行采样。

10.根据权利要求9所述的图像处理方法，其特征在于，所述获取图像进行畸变矫正的矫正系数的步骤，包括：

获取所述观看设备的畸变系数；

根据所述畸变系数对映射到所述屏幕的映射面上的目标映射图像进行畸变矫正，以获得矫正系数。

11.根据权利要求10所述的图像处理方法，其特征在于，所述目标映射图像是所述图像的映射图像位于视野范围内的区域。

12.根据权利要求10所述的图像处理方法，其特征在于，所述目标映射图像是所述图像在映射面上的映射图像。

13.根据权利要求10所述的图像处理方法，其特征在于，所述图像包括多个子块，所述映射面上映射有所述子块的映射子块，所述映射系数为所述子块到所述映射子块的映射系数，

其中，对映射到所述屏幕的映射面上的目标映射图像进行畸变矫正为对所述目标映射图像中的所述映射子块的顶点坐标进行畸变矫正。

14.根据权利要求9所述的图像处理方法，其特征在于，所述将图像映射到屏幕的映射面上的步骤包括：

将所述图像分成多个子块；

将多个所述子块映射到所述屏幕的所述映射面上。

15.根据权利要求14所述的图像处理方法，其特征在于，所述将多个所述子块映射到所述屏幕的所述映射面上的步骤，包括：

将所述子块映射到映射模型中；

根据当前视角旋转所述映射模型；

将旋转后映射在所述映射模型上的所述子块映射到所述映射面上。

16.根据权利要求9所述的图像处理方法，其特征在于，所述图像处理方法还包括：

预存采样数据；

读取预存的所述采样数据，并进行显示。

17.根据权利要求9所述的图像处理方法，其特征在于，所述对所述图像进行采样为对所述图像进行实时采样，

所述图像处理方法还包括：

根据实时采样数据实时显示图像。

18.一种图像处理设备，其特征在于，包括：

映射模块，用于将图像映射到屏幕的映射面上；

矫正模块，用于对所述图像的目标映射图像进行畸变矫正。

19.根据权利要求18所述的图像处理设备，其特征在于，所述映射模块还用于获取所述图像的映射图像位于视野范围内的所述目标映射图像；

或者，当所述目标图像为所述图像在映射面上的映射图像时，所述映射模块还用于获取矫正后的所述目标图像位于视野范围内的区域。

20.根据权利要求18所述的图像处理设备，其特征在于，所述矫正模块还用于获取所述观看设备的畸变系数，并根据所述畸变系数对所述目标映射图像进行畸变矫正，以获取矫正系数。

21.一种观看设备，其特征在于，包括：

映射模块，用于将图像映射到屏幕的映射面上，并获取所述图像映射到所述映射面上的映射系数；

矫正模块，用于获取图像进行畸变矫正的矫正系数；

采样模块，用于根据所述映射系数、所述矫正系数获取采样系数，并根据所述采样系数对所述图像进行采样。

22.根据权利要求21所述的观看设备，其特征在于，所述矫正模块还用于获取所述观看设备的畸变系数，并根据所述畸变系数对映射到所述屏幕的映射面上的目标映射图像进行畸变矫正，以获得矫正系数。

23.根据权利要求22所述的观看设备，其特征在于，所述映射模块还用于获取所述图像的映射图像位于视野范围内的所述目标映射图像；

或者，当所述目标图像为所述图像的映射图像时，所述映射模块还用于获取所述目标映射图像位于视野范围内的区域。

24.根据权利要求21所述的观看设备，其特征在于，所述采样模块对所述图像进行采样为对所述图像进行实时采样，以实时显示图像。

25.根据权利要求24所述的观看设备，其特征在于，所述图像包括多个子块，所述映射图像包括多个映射子块，所述采样模块包括：

控制单元，用于扫描映射到所述映射面上的所述图像位于视野范围内的区域；

提取单元，用于根据扫描信息实时获取扫描区域所涉及的所述映射子块，并根据所述采样系数获取与其对应的所述子块；

差值计算单元，用于根据扫描信息、所述采样系数对所述提取单元获取的所述子块进行采样。

26.根据权利要求24或25所述的观看设备，其特征在于，所述观看设备还包括显示模块，所述显示模块用于根据实时获取的采样数据在所述屏幕上进行实时显示。