CN110290285B - 图像处理方法、图像处理装置、图像处理系统及介质 - Google Patents

Abstract

公开了一种图像处理方法，包括：确定图像中的一个或多个目标像素的坐标，其中所述目标像素用于对所述图像进行分割；对所述一个或多个目标像素的坐标值执行映射操作以获得第一像素数据；读取所述图像以获得第二像素数据；合成所述第一像素数据以及所述第二像素数据以获得合成图像。

Description

图像处理方法、图像处理装置、图像处理系统及介质

技术领域

本公开涉及图像处理领域，具体涉及一种用于虚拟现实的图像显示的图像处理方法、图像处理装置、图像处理系统及介质。

背景技术

目前在虚拟现实的应用中对于图像显示分辨率的要求越来越高，注视点渲染技术的发展允许利用人类感知知识来节省大量的计算工作。在一个全渲染的场景中，实际上大部分计算工作是浪费的，因为人眼只能接纳注视点中心的细节，由于负责观察色彩和细节的视网膜上的视锥细胞浓度不同，任何超出人眼注视区5°以上的东西都会逐渐降低清晰度。

发明内容

本公开提供了一种图像处理方法，通过对图像中目标像素的坐标进行映射操作实现图像中目标像素的坐标数据与图像数据同步传输。

根据本公开的一方面，提出了一种图像处理方法，包括：确定图像中的一个或多个目标像素的坐标，其中所述目标像素用于对所述图像进行分割；对所述一个或多个目标像素的坐标值执行映射操作以获得第一像素数据；获取所述图像的像素数据作为第二像素数据；合成所述第一像素数据以及所述第二像素数据以获得合成图像。

在一些实施例中，所述图像处理方法还包括将所述合成图像传送给显示装置的驱动单元，其中通过所述驱动单元读取所述合成图像中的第一像素数据，并对所述第一像素数据执行逆映射操作以获得所述一个或多个目标像素的坐标值，所述坐标值用于将所述图像分割成多个子图像并分别进行驱动显示。

在一些实施例中，所述映射操作包括：确定用于所述映射操作的变换参数；对于所述一个或多个目标像素的坐标中的每一个的坐标值，基于所述变换参数将所述坐标值变换到所述图像的像素值范围之内。

在一些实施例中，所述图像处理方法还包括使用相邻的两个或多个像素值表示所述一个或多个目标像素中的每一个的坐标值。在一些实施例中，所述图像处理方法还包括使用相邻的两个像素值表示所述一个或多个目标像素中的每一个的坐标值，其中将所述坐标值除以所述变换参数得到的商作为所述相邻的两个像素值中的第一位像素值；将所述坐标值除以所述变换参数得到的余数作为所述相邻的两个像素值中的第二位像素值。

在一些实施例中，其中合成所述第一像素数据以及所述第二像素数据以获得合成图像包括：建立一个新图像；将所述第一像素数据写入所述新图像；在所述第一像素数据之后写入所述第二像素数据；将写入数据后的所述新图像作为合成图像。

在一些实施例中，所述图像处理方法还包括在确定所述一个或多个目标像素的坐标之前，确定将用于显示所述图像的显示装置的光学参数；基于所述显示装置的光学参数对所述图像执行反畸变操作。

在一些实施例中，所述反畸变操作包括：根据所述显示装置的光学参数确定反畸变网格；基于所述反畸变网格生成反畸变后的图像。

在一些实施例中，所述图像处理方法还包括根据所述目标像素将所述图像划分为多个子图像，并调整所述图像的分辨率，使得所述多个子图像中至少一个子图像的分辨率高于其他子图像的分辨率。

在一些实施例中，其中确定图像中的一个或多个目标像素的坐标包括：根据眼球追踪算法获取用户的注视点坐标；根据所述注视点坐标确定所述图像中对应于注视点坐标的注视点区域的边界；以及将所述注视点区域的边界像素确定为目标像素。

根据本公开的另一方面，提供了一种图像处理装置，包括：确定模块，配置成确定图像中的一个或多个目标像素的坐标，其中所述目标像素用于对所述图像进行分割；变换模块，对所述一个或多个目标像素的坐标值执行映射操作以获得第一像素数据；获取模块，配置成获取所述图像的像素数据作为第二像素数据；以及合成模块，合成所述第一像素数据以及所述第二像素数据以获得合成图像。

在一些实施例中，所述图像处理装置还包括：传送模块，将所述合成图像传送给显示装置的驱动单元，其中通过所述驱动单元读取所述合成图像中的第一像素数据，并对所述第一像素数据执行逆映射操作以获得所述一个或多个目标像素的坐标值，所述坐标值用于将所述图像分割成多个子图像并分别进行驱动显示。

在一些实施例中，所述变换操作包括：确定用于所述映射操作的变换参数；对于所述一个或多个目标像素的坐标中的每一个的坐标值，基于所述变换参数将所述坐标值变换到所述图像的像素值范围之内。

在一些实施例中，所述变换模块进一步配置成使用相邻的两个或多个像素值表示所述一个或多个目标像素中的每一个的坐标值。

在一些实施例中，所述变换模块进一步配置成使用相邻的两个像素值表示所述一个或多个目标像素中的每一个的坐标值，其中将所述坐标值除以所述变换参数得到的商作为所述相邻的两个像素值中的第一位像素值；将所述坐标值除以所述变换参数得到的余数作为所述相邻的两个像素值中的第二位像素值。

在一些实施例中，其中合成所述第一像素数据以及所述第二像素数据以获得合成图像包括：建立一个新图像；将所述第一像素数据写入所述新图像；在所述第一像素数据之后写入所述第二像素数据；将写入数据后的所述新图像作为合成图像。

在一些实施例中，所述图像处理装置还包括：反畸变模块，配置成在确定所述一个或多个目标像素的坐标之前，确定将用于显示所述图像的显示装置的光学参数，并基于所述显示装置的光学参数对所述图像执行反畸变操作。

在一些实施例中，所述反畸变操作包括：根据所述显示装置的光学参数确定反畸变网格；所述一个或多个目标像素中的每一个的坐标值。

在一些实施例中，所述图像处理装置还包括：多分辨率渲染模块，配置成根据所述目标像素将所述图像划分为多个子图像，并调整所述图像的分辨率，使得所述多个子图像中至少一个子图像的分辨率高于其他子图像的分辨率。

在一些实施例中，所述确定模块进一步配置成：根据眼球追踪算法获取用户的注视点坐标；根据所述注视点坐标确定所述图像中对应于注视点坐标的注视点区域的边界；以及将所述注视点区域的边界像素确定为目标像素。

根据本公开的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时执行如前所述的图像处理方法。

根据本公开的另一方面，还提供了一种图像处理系统，包括：图像采集装置，配置成采集图像；图像显示装置，包括驱动单元；以及图像处理装置，包括，接收模块，配置成从所述图像采集装置接收所述图像；确定模块，配置成确定所述图像中的一个或多个目标像素的坐标，其中所述目标像素用于对所述图像进行分割；变换模块，对所述一个或多个目标像素的坐标值执行映射操作以获得第一像素数据；获取模块，配置成获取所述图像的像素数据作为第二像素数据；合成模块，合成所述第一像素数据以及所述第二像素数据以获得合成图像；以及传送模块，将所述合成图像传送给所述图像显示装置，其中通过所述驱动单元读取所述合成图像中的第一像素数据，并对所述第一像素数据执行逆映射操作以获得所述一个或多个目标像素的坐标值，所述坐标值用于将所述图像分割成多个子图像并分别进行驱动显示。

利用本公开提供的图像处理方法，可以实现坐标数据与图像数据的同步传输，提高了图像传输过程中的效率。此外，可以利用眼球追踪算法准确定位观察区域，并只着重渲染该区域，就可以节省较大的工作量。由于硬件接收数据量有限，多分辨率渲染可以减少PC传递给显示屏的数据传输量，减轻了数据传输压力。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本公开的主旨。

图1A示出了根据本公开的实施例的图像处理系统的示意性的框图；

图1B示出了根据本公开的实施例的图像处理装置的示意性的框图；

图2示出了根据本公开的实施例的图像处理方法的示例性的流程图；

图3A示出了是通过图像采集装置获取的原始图像数据的示意图；

图3B示出了经过反畸变处理后的图像数据的示意图；

图3C示出了经过多分辨率渲染后的图像数据的示意图；

图3D示出了包括目标像素坐标数据与要显示的图像数据的合成图像的示意图；

图3E示出了图像显示装置中显示的图像的示意图；

图3F示出的是用户通过显示设备观看到的图像的示意图；

图4A示出了反畸变操作生成的网格的示意图；以及

图4B示出的经过反畸变操作后生成的图像的示意图。

具体实施方式

下面将结合附图对本公开实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本公开的部分实施例，而不是全部的实施例。基于本公开实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本公开保护的范围。

本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1A示出了根据本公开的实施例的图像处理系统的示意性的框图。如图1A所示，图像处理系统100可以包括图像采集装置110、图像处理装置120以及图像显示装置130。在下文中，图像处理系统100也可以被称作系统100。

图像采集装置110可以配置成用于采集图像数据。在一些实施例中，图像采集装置110可以包括一个或多个可用于图像采集的设备，如照相机、摄像机等。例如，图像采集装置100可以配置成包括一个图像采集设备，用于采集用于平面显示的图像。又例如，图像采集装置100也可以配置成包括至少两个图像采集设备，用于采集分别用于左眼显示的图像和右眼显示的图像，以实现立体图像的显示。

当系统100配置成显示立体图像(如虚拟现实VR、增强现实AR等)时，在一些实施例中，系统100还可以包括配置成采集用户观察姿态的姿态采集装置140。例如，姿态采集装置140可以包括陀螺仪、加速度计和/或地磁传感器等。利用上述姿态传感器可以获得用于显示立体图像的图像显示装置的姿态的数据。例如，当用户通过手机、智能眼镜、智能头盔等设备观看立体图像时，上述姿态传感器可以设置在用于观看图像的手机、智能眼镜或智能头盔中。

图像处理装置120可以配置成用于接收来自图像采集装置110采集的图像数据以及姿态采集装置140采集的姿态数据，并对接收的图像数据执行下文描述的图像处理方法。在一些实施例中，图像处理装置120可以利用姿态采集装置140采集的姿态数据得到图像显示装置的姿态欧拉角，并根据图像采集装置110采集的图像数据生成在该姿态下分别用于用户左眼和右眼的图像渲染数据。

在一些实施例中，图像处理装置120可以对接收的图像数据执行反畸变操作以抵消在图像显示装置130中经过光学元件成像时将产生的畸变，从而减少用户经过光学元件观看显示的图像时可能观察到的图像变形。

在一些实施例中，图像处理装置120可以对接收的图像或经过反畸变操作的图像执行多分辨率渲染操作，从而生成用于在图像显示装置130中的要显示的图像。例如，图像处理装置120可以根据眼球追踪算法获取用户的注视点坐标，并根据注视点坐标获取用于对图像进行分割的目标像素的坐标值，并根据上述目标像素的坐标将图像分割成多个子图像，并调整所述多个子图像中至少一个子图像的分辨率，使得图像中对应于用户注视点的注视区域的分辨率高于其他子图像的分辨率。

在一些实施例中，图像处理装置120可以对上述目标像素的坐标值执行映射操作，将上述目标像素的坐标值用图像像素值进行表示。图像处理装置120可以将用图像像素值表示的目标像素的坐标值与要传送给图像显示装置130用于显示的图像合成为新的图像，并将新的合成图像传送给图像显示装置130用于解析并显示。

这里的图像处理装置120可以实现为一个或多个专用或通用的计算机系统，例如人电脑、笔记本电脑、平板电脑、手机、个人数码助理(personal digital assistance，PDA)、智能眼镜、智能手表、智能指环、智能头盔及任何智能便携设备或可穿戴设备。图像处理装置120可以包括通信端口，与之相连的是实现数据通信的网络。图像处理装置120还可以包括至少一个处理器，用于执行程序指令。图像处理装置120可以包括一个内部通信总线。图像处理装置120可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘、只读存储器(ROM)、随机存取存储器(RAM)240，能够用于存储处理器处理和/或通信使用的各种数据文件，以及处理器所执行的可能的程序指令。图像处理装置120还可以包括一个输入/输出组件，支持图像处理装置120与其他组件(如用户界面)之间的输入/输出数据流。图像处理装置120也可以通过通信端口从网络发送和接收信息及数据。例如，图像处理装置120可以与图像采集装置110、图像显示装置130以及姿态采集装置140进行相互的数据通信与传输。

图像显示装置130可以配置成接受来自图像处理装置120的图像数据。例如，图像显示装置可以接收图像处理装置120生成的合成图像，并对其进行解析以获得其中用于对图像进行分割的目标像素的坐标值以及要显示的图像数据。在一些实施例中，图像显示装置130可以包括驱动单元。驱动单元可以配置成对要显示的图像数据进行解析并获得用于对要显示的图像进行分割的目标像素的坐标。基于解析得到的目标像素的坐标，驱动单元可以对要显示的图像进行分割，对不同区域的图像分别进行拉伸并进行显示。

在一些实施例中，图像显示装置130可以是显示器、智能眼镜、智能头盔等。

尽管在图1A中，图像采集装置110、图像处理装置120、图像显示装置130以及姿态采集装置140呈现为单独的模块，本领域技术人员可以理解，上述装置模块可以被实现为单独的硬件设备，也可以被集成为一个或多个硬件设备。只要能够实现本公开描述的原理，不同的硬件设备的具体实现方式不应作为限制本公开保护范围的因素。

图1B示出了根据本公开的实施例的图像处理装置的示意性的框图。

在一些实施例中，图像处理装置120可以包括确定模块121，配置成确定用于对分别用于用户左眼和右眼的图像渲染数据进行图像分割的目标像素的坐标。例如，当用户使用虚拟现实设备观看图像时，图像处理装置120可以根据眼球追踪算法得到用户的注视点坐标。根据获取的用户注视点坐标，图像处理装置120可以确定用于对待处理的图像数据进行图像分割的目标像素的坐标。例如，可以根据注视点坐标确定作为高分辨率渲染的注视区域。其中，注视区域的边界点可以作为用于对图像进行分割的目标像素。

在一些实施例中，图像处理装置还可以包括变换模块122。例如，如前所述，图像处理装置120可以获取上述目标像素的坐标，并利用变换模块122对目标像素的坐标值执行映射操作，将目标像素的坐标值映射为第一像素数据。

对一个或多个目标像素的坐标值执行映射操作以获得第一像素数据指的是将目标像素的坐标值转换为可以使用图像的像素数据表示的数据。例如，以4k图像为例，在4k图像中像素的坐标范围在(0,0)到(4320,4800)之间，而像素灰度值一般是在(0,255)之间。显然，无法直接使用像素数据表示像素的坐标值。因此，在这里需要将坐标值转换到像素灰度值对应的区间。

在一些实施例中，可以使用多个像素值来表示一个坐标。例如，可以使用相邻的多个像素值表示一个坐标。具体地，以下将以使用相邻的两个像素值来表示一个坐标作为示例。

其中，相邻的两个像素值中的第一位像素值表示坐标转换后的高位像素灰度值，第二位像素值表示坐标转换后的低位像素灰度值。其中，高位像素灰度值可以是目标像素的坐标值除以变换参数得到的商，低位像素灰度值可以是目标像素的坐标值除以变换参数得到的余数。

以此类推，目标像素的坐标值可以被映射为像素数据。当像素的坐标值是二维的形式时，其中每个维度的坐标值均可以采用如前所述的映射方法映射成像素数据。当像素的坐标值具有更多维度的参数时，也可以采用相同的方法将坐标值转换为像素数据。

如前所述，在将像素的坐标值转换为像素数据时需要确定变换参数。只要能够将坐标值的范围映射到像素灰度的范围内，这里的变换参数可以根据实际情况任意选择，只要能够满足坐标值除以变换参数得到的商和余数的值落入像素灰度值的范围即可。例如，当需要将(0,0)到(4320,4800)的坐标范围映射到(0,255)的范围内时，变换参数可以是(4800/255,255)之间的任意一个整数。例如，变换参数可以是250，或其他符合上述条件的可以使用像素灰度值表示的任何数。

进一步地，图像处理装置120还可以包括获取模块123，配置成获取要显示的图像的像素数据作为第二像素数据。

进一步地，图像处理装置120还可以包括合成模块124，配置成合成第一像素数据与第二像素数据以获得合成图像。其中合成第一像素数据以及第二像素数据以获得合成图像的操作可以包括：新建一个图像作为合成图像，并将第一像素数据写入合成图像的第一行，并将第一行的剩余像素位用零补齐。之后，将第二像素数据写入合成图像。本领域技术人员可以理解，第一像素数据和第二像素数据的合成方式不限于以上示例。根据实际情况，可以使用任何组合方式合成第一像素数据以及第二像素数据。例如，可以先写入第二像素数据，随后再写入第一像素数据。又例如，可以在第一像素数据之前和/或第一像素数据和第二像素数据之间写入特定的用于标识的数据，使得图像显示装置可以识别并区分第一像素数据和第二像素数据。

图像处理装置120还可以包括传送模块125，其配置成将上述合成图像传送给图像显示装置130。

在一些实施例中，图像处理装置120还可以包括反畸变模块126。反畸变模块126可以根据图像显示装置的光学参数对上述分别用于用户左眼和右眼的图像渲染数据执行反畸变操作。即根据图像显示设备(如虚拟现实显示设备)的光学参数及屏幕坐标进行反畸变网格的绘制及纹理贴图，得到反畸变后的图像。当经过反畸变处理的图像通过对应的图像显示装置进行显示时，用户将可以观看到基本不产生畸变的图像。

在一些实施例中，图像处理装置120还可以包括多分辨率渲染模块127，其可以配置成根据目标像素将执行反畸变操作后的所述图像划分为多个子图像，并调整多个子图像中至少一个子图像的分辨率，使得图像的中心(或对应于用户注视点的区域)的分辨率高于其它子图像分辨率。

例如，当用户的注视点位于图像中心时可以确定图像的中心区域作为用户的注视区域。其中，注视区域可以确定为一个矩形区域。并且，利用矩形的注视区域的四个顶点，可以将图像划分为九个区域。多分辨率渲染模块127可以对划分出的九个图像区域分别进行不同分辨率的渲染。例如，对应于注视区域的图像区域可以具有最高的分辨率。对于其他图像区域可以根据与注视区域的距离确定相应的分辨率。例如，当图像区域离注视区域距离越远时，其分辨率可以设置成更低。

利用本公开的实施例提供的图像处理系统，可以实现坐标数据与图像数据的同步传输，提高了图像传输过程中的效率，还可以实现对图像进行反畸变操作，减少用户观看图像时的图像变形，还可以对图像数据进行多分辨率渲染，减轻图像数据的传输压力。

图2示出了根据本公开的实施例的图像处理方法的示例性的流程图。如图2所示，根据图像处理方法200，在步骤S201中，确定图像中的一个或多个目标像素的坐标，其中目标像素用于对图像进行分割。在步骤S202中，对一个或多个目标像素的坐标值执行映射操作以获得第一像素数据。在步骤S203中，读取图像以获得第二像素数据。在步骤S204中，合成第一像素数据以及第二像素数据以获得合成图像。在步骤S205中，将合成图像传送给显示装置的驱动单元，其中通过驱动单元读取合成图像中的第一像素数据，并对第一像素数据执行逆映射操作以获得一个或多个目标像素的坐标值，其中上述坐标值用于将所述图像分割成多个子图像并分别进行驱动显示。

在一些实施例中，在步骤S202中，对一个或多个目标像素的坐标值执行映射操作以获得第一像素数据指的是将目标像素的坐标值转换为可以使用图像的像素数据表示的数据。例如，以4k图像为例，在4k图像中像素的坐标范围在(0,0)到(4320,4800)之间，而像素灰度值一般是在(0,255)之间。显然，无法直接使用像素数据表示像素的坐标值，而是需要将坐标值转换到像素灰度值对应的区间。

在一些实施例中，可以使用多个像素值来表示一个坐标。例如，可以使用相邻的多个像素值表示一个坐标。具体地，以下将以使用相邻的两个像素值来表示一个坐标作为示例。

相邻的两个像素值中的第一位像素值表示坐标转换后的高位像素灰度值，第二位像素值表示坐标转换后的低位像素灰度值。其中，高位像素灰度值可以是目标像素的坐标值除以变换参数得到的商，低位像素灰度值可以是目标像素的坐标值除以变换参数得到的余数。

以此类推，目标像素的坐标值可以被映射为像素数据。当像素的坐标值是二维的形式时，其中每个维度的坐标值均可以采用如前所述的映射方法映射成像素数据。当像素的坐标值具有更多维度的参数时，也可以采用相同的方法将坐标值转换为像素数据。

如前所述，在将像素的坐标值转换为像素数据时需要确定变换参数。只要能够将坐标值的范围映射到像素灰度的范围内，这里的变换参数可以根据实际情况任意选择，只要能够满足坐标值除以变换参数得到的商和余数的值落入像素灰度值的范围即可。例如，当需要将(0,0)到(4320,4800)的坐标范围映射到(0,255)的范围内时，变换参数可以是(4800/255,255)之间的任意一个整数。

在一些实施例中，在步骤S204中，合成第一像素数据以及第二像素数据以获得合成图像包括：建立一个新图像；将第一像素数据写入新图像的第一行；在第一像素数据之后写入第二像素数据；将写入数据后的新图像作为合成图像。例如，将第一像素数据写入合成图像的第一行，并将第一行的剩余像素位用零补齐。之后，将第二像素数据写入合成图像。本领域技术人员可以理解，第一像素数据和第二像素数据的合成方式不限于以上示例。根据实际情况，可以使用任何组合方式合成第一像素数据以及第二像素数据。例如，可以先写入第二像素数据，随后再写入第一像素数据。又例如，可以在第一像素数据之前和/或第一像素数据和第二像素数据之间写入特定的用于标识的数据，使得图像显示装置可以识别并区分第一像素数据和第二像素数据。

在一些实施例中，图像处理方法200还可以包括在确定一个或多个目标像素的坐标之前，确定将用于显示图像的显示装置的光学参数；基于显示装置的光学参数对图像执行反畸变操作。

其中，上述反畸变操作可以包括：根据图像显示装置的光学参数确定反畸变网格，以及根据图像的坐标将图像的纹理贴在所述反畸变网格上。

例如，反畸变操作可以包括根据图像采集设备采集的图像数据建立顶点数组、三角形数组以及图像UV坐标数组。根据图像显示设备的光学参数，可以对原始图像数据的坐标进行坐标变换，并根据坐标变换绘制根据反畸变操作所生成的网格。确定反畸变操作生成的网格后，可以将图像纹理贴在上述生成的网格上，从而生成反畸变后的图像。图4A示出了上述反畸变操作生成的网格，图4B示出的经过反畸变操作后生成的图像。

回到图2，在一些实施例中，图像处理方法200还可以包括根据目标像素将执行反畸变操作后的图像划分为多个子图像，并调整多个子图像中至少一个子图像的分辨率，使得图像的中心分辨率高于四周分辨率。下文中将参考图3C描述多分辨率渲染的过程。

图3A-3F示出了利用本公开的实施例的图像处理系统的执行的图像处理流程的示意图。

图3A示出的是通过图像采集装置获取的原始图像数据的示意图。其中原始图像数据可以是图像采集装置直接采集的图像数据，也可以是图像处理装置利用前述的姿态数据获取的图像数据。

图3B示出的是经过反畸变处理后的图像数据的示意图。其中，反畸变操作是根据相应的显示设备的光学参数确定的。也就是说，针对不同的显示设备，反畸变操作的参数可以是不同的。经过反畸变操作后，图像数据被转换为如图3B示出的存在畸变的图像。

图3C示出的是经过多分辨率渲染后的图像数据的示意图。经过反畸变操作后，系统100还可以根据眼球追踪算法获得用户的注视点坐标，并根据注视点坐标对进行反畸变操作后的图像进行多分辨率渲染操作。

例如，当用户的注视点位于图像中心时可以确定图像的中心区域作为用户的注视区域。如图3C中所示出的，注视区域可以确定为一个矩形区域。并且，利用矩形的注视区域的四个顶点，可以将图像划分为九个区域。例如，分别用于左眼和右眼的图像数据可以分别被分割出区域1-9以及区域1’-9’。系统100可以对图3C中示出的划分出的九个图像区域分别进行不同分辨率的渲染。例如，以左眼数据为例，中心的5号图像区域具有最高的分辨率。位于左右两侧的4号图像区域和6号图像区域在竖直方向上(即1号图像区域与7号图像区域的连线方向)的分辨率可以与5号图像区域相同，在水平方向(即4号图像区域与6号图像区域的连线方向)的分辨率降低。例如，可以是5号图像区域内分辨率的一半(或1/3，或根据情况选取任何分辨率，在本公开中以分辨率下降为一半作为示例)。类似地，位于上下两侧的2号图像区域和8号图像区域在水平方向上的分辨率可以与5号图像区域相同，在竖直方向上的分辨率降低，例如，可以是5号图像区域内分辨率的一半。对于位于四角的1号、3号、7号与9号图像区域，其在水平方向上和竖直方向上的图像分辨率均降低。例如，1号、3号、7号与9号图像区域在水平方向上和竖直方向上的图像分辨率均是在水平方向上和竖直方向上的图像分辨率。

经过图3B示出的反畸变操作和图3C示出的多分辨率渲染操作，系统100生成用于显示的图像数据。

图3D示出的是包括目标像素坐标数据与要显示的图像数据的合成图像的示意图。在一些实施例中，合成图像比要显示的图像(如图3C中的图像)多一行像素数据。例如，如果图3C中的图像数据包括m*n个像素，那么合成图像可以包括(m+1)*n个像素的图像数据。其中多出的一行像素用于存储目标像素的坐标值。例如，如图3D中所示出的，合成图像的第一行像素可以写入是通过对目标像素的坐标值执行映射操作获得的第一像素数据。合成图像的第二行像素开始可以写入系统100生成的用于显示的图像数据(例如，如图3C所示的图像数据)。

图3E示出的是图像显示装置中显示的图像的示意图。其中图像显示装置可以读取合成图像，并从中解析出目标像素的坐标以及用于显示的数据。根据目标像素的坐标，图像显示装置将确定要显示的图像中的多个子区域，并针对每个子区域中的不同分辨率的图像分别进行拉伸与显示。

图3F示出的是用户通过显示设备观看到的图像的示意图。由于显示设备中采用的是光学元件成像，因此要显示的图像数据在经过光学元件后会产生一定的畸变。由于如图3B中所示出的，原始数据图像已经经过了反畸变处理，因此当用户通过显示设备观看图像时，显示设备的光学元件产生的畸变与反畸变处理的效果相抵消，用户可以观看到没有畸变或畸变很小的图像。

利用本公开的实施例提供的图像处理方法，可以实现坐标数据与图像数据的同步传输，提高了图像传输过程中的效率，还可以实现对图像进行反畸变操作，减少用户观看图像时的图像变形，还可以对图像数据进行多分辨率渲染，减轻图像数据的传输压力。

根据本公开的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行上述图像处理方法。

为了实现不同的模块、单元以及它们在本申请中所描述的功能，计算机硬件平台可以被用作以上描述的一个或多个元素的硬件平台。这类计算机的硬件元素、操作系统和程序语言是常见的，可以假定本领域技术人员对这些技术都足够熟悉，能够利用这里描述的技术提供运动控制所需要的信息。一台包含用户界面(user interface，UI)元素的计算机能够被用作个人计算机(personal computer，PC)或其他类型的工作站或终端设备，被适当程序化后也可以作为服务器使用。可以认为本领域技术人员对这样的结构、程序以及这类计算机设备的一般操作都是熟悉的，因此所有附图也都不需要额外的解释。

以上概述了提供运动控制所需要的信息的方法的不同方面和/或通过程序实现其他步骤的方法。技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。

所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如：从运动控制系统的一个服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现系统的计算机环境，或与提供运动控制所需要的信息相关的类似功能的系统。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。

除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (20)

1.一种图像处理方法，包括：

确定图像中的一个或多个目标像素的坐标，其中所述目标像素用于对所述图像进行分割；

根据所述目标像素将所述图像划分为多个子图像，并调整所述图像的分辨率，使得所述多个子图像中至少一个子图像的分辨率高于其他子图像的分辨率；

对所述一个或多个目标像素的坐标值执行映射操作以获得第一像素数据；

获取所述调整后的图像的像素数据作为第二像素数据；

合成所述第一像素数据以及所述第二像素数据以获得合成图像。

2.如权利要求1所述的图像处理方法，还包括：

将所述合成图像传送给显示装置的驱动单元，其中通过所述驱动单元读取所述合成图像中的第一像素数据，并对所述第一像素数据执行逆映射操作以获得所述一个或多个目标像素的坐标值，所述坐标值用于将所述图像分割成多个子图像并分别进行驱动显示。

3.如权利要求1所述的图像处理方法，其中所述映射操作包括：

确定用于所述映射操作的变换参数；

对于所述一个或多个目标像素的坐标中的每一个的坐标值，基于所述变换参数将所述坐标值变换到所述图像的像素值范围之内。

4.如权利要求3所述的图像处理方法，还包括使用相邻的两个或多个像素值表示所述一个或多个目标像素中的每一个的坐标值。

5.如权利要求4所述的图像处理方法，其中，使用相邻的两个像素值表示所述一个或多个目标像素中的每一个的坐标值，其中

将所述坐标值除以所述变换参数得到的商作为所述相邻的两个像素值中的第一位像素值；

将所述坐标值除以所述变换参数得到的余数作为所述相邻的两个像素值中的第二位像素值。

6.如权利要求1所述的图像处理方法，其中合成所述第一像素数据以及所述第二像素数据以获得合成图像包括：

建立一个新图像；

将所述第一像素数据写入所述新图像；

在所述第一像素数据之后写入所述第二像素数据；

将写入数据后的所述新图像作为合成图像。

7.如权利要求1所述的图像处理方法，还包括：

在确定所述一个或多个目标像素的坐标之前，确定将用于显示所述图像的显示装置的光学参数；

基于所述显示装置的光学参数对所述图像执行反畸变操作。

8.如权利要求7所述的图像处理方法，其中所述反畸变操作包括：

根据所述显示装置的光学参数确定反畸变网格；

基于所述反畸变网格生成反畸变后的图像。

9.如权利要求1所述的图像处理方法，其中确定图像中的一个或多个目标像素的坐标包括：

根据眼球追踪算法获取用户的注视点坐标；

根据所述注视点坐标确定所述图像中对应于注视点坐标的注视点区域的边界；以及

将所述注视点区域的边界像素确定为目标像素。

10.一种图像处理装置，包括：

确定模块，配置成确定图像中的一个或多个目标像素的坐标，其中所述目标像素用于对所述图像进行分割；

多分辨率渲染模块，配置成根据所述目标像素将所述图像划分为多个子图像，并调整所述图像的分辨率，使得所述多个子图像中至少一个子图像的分辨率高于其他子图像的分辨率；

变换模块，对所述一个或多个目标像素的坐标值执行映射操作以获得第一像素数据；

获取模块，配置成获取所述调整后的图像的像素数据作为第二像素数据；以及

合成模块，合成所述第一像素数据以及所述第二像素数据以获得合成图像。

11.如权利要求10所述的图像处理装置，还包括：

传送模块，将所述合成图像传送给显示装置的驱动单元，其中通过所述驱动单元读取所述合成图像中的第一像素数据，并对所述第一像素数据执行逆映射操作以获得所述一个或多个目标像素的坐标值，所述坐标值用于将所述图像分割成多个子图像并分别进行驱动显示。

12.如权利要求10所述的图像处理装置，其中所述变换模块包括：

确定用于所述映射操作的变换参数；

对于所述一个或多个目标像素的坐标中的每一个的坐标值，基于所述变换参数将所述坐标值变换到所述图像的像素值范围之内。

13.如权利要求12所述的图像处理装置，其中所述变换模块进一步配置成使用相邻的两个或多个像素值表示所述一个或多个目标像素中的每一个的坐标值。

14.如权利要求13所述的图像处理装置，其中所述变换模块进一步配置成使用相邻的两个像素值表示所述一个或多个目标像素中的每一个的坐标值，其中

将所述坐标值除以所述变换参数得到的商作为所述相邻的两个像素值中的第一位像素值；

将所述坐标值除以所述变换参数得到的余数作为所述相邻的两个像素值中的第二位像素值。

15.如权利要求10所述的图像处理装置，其中合成所述第一像素数据以及所述第二像素数据以获得合成图像包括：

建立一个新图像；

将所述第一像素数据写入所述新图像；

在所述第一像素数据之后写入所述第二像素数据；

将写入数据后的所述新图像作为合成图像。

16.如权利要求10所述的图像处理装置，还包括：

反畸变模块，配置成在确定所述一个或多个目标像素的坐标之前，确定将用于显示所述图像的显示装置的光学参数，并基于所述显示装置的光学参数对所述图像执行反畸变操作。

17.如权利要求16所述的图像处理装置，其中所述反畸变操作包括：

根据所述显示装置的光学参数确定反畸变网格；

基于所述反畸变网格生成反畸变后的图像。

18.如权利要求10所述的图像处理装置，所述确定模块进一步配置成：

根据眼球追踪算法获取用户的注视点坐标；

根据所述注视点坐标确定所述图像中对应于注视点坐标的注视点区域的边界；以及

将所述注视点区域的边界像素确定为目标像素。

19.一种计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时执行如权利要求1-9中的任一项所述的图像处理方法。

20.一种图像处理系统，包括：

图像采集装置，配置成采集图像；

图像显示装置，包括驱动单元；以及

图像处理装置，包括，

接收模块，配置成从所述图像采集装置接收所述图像；

确定模块，配置成确定所述图像中的一个或多个目标像素的坐标，其中所述目标像素用于对所述图像进行分割；

多分辨率渲染模块，配置成根据所述目标像素将所述图像划分为多个子图像，并调整所述图像的分辨率，使得所述多个子图像中至少一个子图像的分辨率高于其他子图像的分辨率；

变换模块，对所述一个或多个目标像素的坐标值执行映射操作以获得第一像素数据；

获取模块，配置成获取所述调整后的图像的像素数据作为第二像素数据；

合成模块，合成所述第一像素数据以及所述第二像素数据以获得合成图像；以及

传送模块，将所述合成图像传送给所述图像显示装置，

其中通过所述驱动单元读取所述合成图像中的第一像素数据，并对所述第一像素数据执行逆映射操作以获得所述一个或多个目标像素的坐标值，所述坐标值用于将所述图像分割成多个子图像并分别进行驱动显示。

Images