CN113885822A - 图像数据的处理方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本申请公开了一种图像数据的处理方法、装置、电子设备以及存储介质，涉及图像处理技术领域。该方法包括：头戴式设备发送位置数据至终端设备，接收终端设备发送的第一图像数据，其中，第一图像数据由终端设备基于位姿数据对待渲染图像数据进行渲染获得，第一图像数据的分辨率为第一分辨率，对第一图像数据进行超分辨率处理，获得第二图像数据，其中，第二图像数据的分辨率为第二分辨率，第二分辨率高于第一分辨率，显示该第二图像。本申请通过在头戴式设备对图像数据进行超分辨率处理，使得在终端设备所渲染的图像数据的分辨率较低，从而可以有效减少网络数据传输的时间，减少整体系统延时。

Description

图像数据的处理方法、装置、电子设备以及存储介质

技术领域

本申请涉及图像处理技术领域，更具体地，涉及一种图像数据的处理方法、装置、电子设备以及存储介质。

背景技术

由于通讯技术的发展，通讯会议、通讯协助、通讯教育等通讯交互场景已经越来越深入到人们的生活之中，但是在目前的通讯交互中，在通讯的设备之间需要传输的网络数据较大，导致网络数据传输时长的增大，造成整体系统的延时增大。

发明内容

鉴于上述问题，本申请提出了一种图像数据的处理方法、装置、电子设备以及存储介质，以解决上述问题。

第一方面，本申请实施例提供了一种图像数据的处理方法、应用于头戴式设备，所述头戴式设备与终端设备连接，所述方法包括：发送位姿数据至所述终端设备；接收所述终端设备发送的第一图像数据，其中，所述第一图像数据由所述终端设备基于所述位姿数据对待渲染图像数据进行渲染获得，所述第一图像数据的分辨率为第一分辨率；对所述第一图像数据进行超分辨率处理，获得第二图像数据，其中，所述第二图像数据的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率；显示所述第二图像数据。

第二方面，本申请实施例提供了一种图像数据的处理方法，应用于终端设备，所述终端设备与头戴式设备连接，所述方法包括：接收所述头戴式设备发送的位姿数据，基于所述位姿数据对待渲染图像数据进行渲染，获得第一图像数据，其中，所述第一图像数据的分辨率为第一分辨率；将所述第一图像数据发送至所述头戴式设备，以指示所述头戴式设备对所述第一图像数据进行超分辨率处理获得第二图像数据并显示，其中，所述第二图像数据的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率。

第三方面，本申请实施例提供了一种图像数据的处理装置，应用于头戴式设备，所述头戴式设备与终端设备连接，所述装置包括：位姿数据发送模块，用于发送位姿数据至所述终端设备；图像数据接收模块，用于接收所述终端设备发送的第一图像数据，其中，所述第一图像数据由所述终端设备基于所述位姿数据对待渲染图像数据进行渲染获得，所述第一图像数据的分辨率为第一分辨率；图像数据处理模块，用于对所述第一图像数据进行超分辨率处理，获得第二图像数据，其中，所述第二图像数据的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率；图像数据显示模块，用于显示所述第二图像数据。

第四方面，本申请实施例提供了一种图像数据的处理装置，应用于终端设备，所述终端设备与头戴式设备连接，所述装置包括：位姿数据接收模块，用于接收所述头戴式设备发送的位姿数据；图像数据渲染模块，用于基于所述位姿数据对待渲染图像数据进行渲染，获得第一图像数据，其中，所述第一图像数据的分辨率为第一分辨率；图像数据发送模块，用于将所述第一图像数据发送至所述头戴式设备，以指示所述头戴式设备对所述第一图像数据进行超分辨率处理获得第二图像数据并显示，其中，所述第二图像数据的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率

第五方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行上述方法。

第六方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。

本申请实施例提供的图像数据的处理方法、装置、电子设备以及存储介质，头戴式设备发送位置数据至终端设备，接收终端设备发送的第一图像数据，其中，第一图像数据由终端设备基于位姿数据对待渲染图像数据进行渲染获得，第一图像数据的分辨率为第一分辨率，对第一图像数据进行超分辨率处理，获得第二图像数据，其中，第二图像数据的分辨率为第二分辨率，第二分辨率高于第一分辨率，显示该第二图像，从而通过在头戴式设备对图像数据进行超分辨率处理，使得在终端设备所渲染的图像数据的分辨率较低，可以有效减少网络数据传输的时间，减少整体系统延时。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了本申请实施例提供的图像数据的处理方法的应用环境示意图；

图2示出了本申请实施例提供的终端设备和头戴式设备的使用示意图；

图3示出了本申请一实施例提供的图像数据的处理方法的时序图；

图4示出了本申请一实施例提供的图像数据的处理方法的流程示意图；

图5示出了本申请一实施例提供的图像数据的处理方法的流程示意图；

图6示出了本申请一实施例提供的图像数据的处理方法的流程示意图；

图7示出了本申请一实施例提供的图像数据的处理方法的流程示意图；

图8示出了本申请一实施例提供的图像数据的处理方法的流程示意图；

图9示出了本申请一实施例提供的图像数据的处理方法的流程示意图；

图10示出了本申请实施例提供的系统架构图；

图11示出了本申请一实施例提供的图像数据的处理装置的模块框图；

图12示出了本申请一实施例提供的图像数据的处理装置的模块框图；

图13示出了本申请实施例用于执行根据本申请实施例的图像数据的处理方法的电子设备的框图；

图14示出了本申请实施例的用于保存或者携带实现根据本申请实施例的图像数据的处理方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在目前的通讯交互中，在通讯的设备之间需要传输的网络数据较大。例如，以终端设备和头戴式设备的通讯为例，为了给用户一个较好的使用体验，头戴式设备一般需求是高分辨率显示、低延迟、没有卡顿感。然而，高分辨率意味着大数据量，比如，头戴式设备的单眼显示分辨率需要达到1920x1080，那么，双眼(左右眼显示)的分辨率则需要达到1920x1080x2，对于RGBA格式的图像数据，一帧图像的数据量将会接近16M，在编码后会对图像进行压缩，压缩后产生的编码帧的数据量也会比较大(有时会大于2M)，在传输大于2M的编码数据时，由于MTU(最大传输单元)的限制(通常是1500字节)，因此，完成一个编码帧的传输需要25毫秒，这就意味着系统产生了2毫秒的延迟，画面就会产生明显的卡顿，严重影响用户的使用体验。

为解决上述技术问题，发明人经过长期的研究发现，并提出了本申请实施例提供的图像数据的处理方法、装置、电子设备以及存储介质，通过在头戴式设备对图像数据进行超分辨率处理，使得在终端设备所渲染的图像数据的分辨率较低，可以有效减少网络数据传输的时间，减少整体系统延时。其中，具体的图像数据的处理方法在后续的实施例中进行详细的说明。

下面将针对可用于本申请实施例提供的图像数据的处理方法的应用环境进行描述。

请参见图1，图1示出了本申请实施例提供的图像数据的处理方法的应用环境的示意图，该应用场景包括：头戴式设备100和终端设备200，其中，头戴式设备100可以与终端设备200连接，以实现头戴式设备100与终端设备200的数据交互。其中，该头戴式设备200的数量可以为一个，也可以为多个，在此不做限定。

在一些实施方式中，头戴式设备100和终端设备200可以通过有线的方式连接，或者，头戴式设备100和终端200也可以通过无线的方式连接。其中，当头戴式设备100和终端设备200通过有线的方式连接时，则头戴式设备100可以通过数据线与终端设备200连接。其中，当头戴式设备100和终端设备200通过无线的方式连接时，则头戴式设备100可以通过WiFi、数据网络(4G/5G/6G等)、蓝牙等方式与终端设备200连接。

在本申请实施例中，终端设备200可以为智能手机、平板电脑、台式电脑、服务器等具备数据处理功能的设备，在此不做限定。

在本申请实施例中，头戴式设备100可以是头戴显示装置，也可以是手机、平板等移动设备。当头戴式设备100为头戴显示装置时，例如，为头戴式增强现实设备或头戴式虚拟现实设备时，头戴显示装置可以为一体式头戴显示装置，头戴式设备100也可以是与外接式头戴显示装置连接的手机等智能终端，即头戴式设备100可作为头戴显示装置的处理和存储设备，插入或者接入外接式头戴显示装置，在头戴显示装置中对第二图像数据(虚拟对象)进行显示功能。

请参见图2，图2示出了本申请实施例提供的终端设备和头戴式设备的使用示意图。其中，头戴式设备100可以佩戴于用户的头部，终端设备200可以握持于用户的手部，头戴式设备100与终端设备200连接以进行数据交互。

请参阅图3，图3示出了本申请一实施例提供的图像数据的处理方法的时序图。该方法用于通过在头戴式设备对图像数据进行超分辨率处理，使得在终端设备所渲染的图像数据的分辨率较低，可以有效减少网络数据传输的时间，减少整体系统延时。于本实施例中，该图像数据的处理方法可以应用于图像数据的处理系统，该图像数据的处理系统可以包括头戴式设备和终端设备，该头戴式设备和终端设备连接。下面将针对图3所示的流程进行详细的阐述，所述图像数据的处理方法具体可以包括以下步骤：

步骤S110：所述头戴式设备发送位姿数据至所述终端设备。

在本实施例中，头戴式设备可以获取其自身的位姿数据(六自由度信息)，并将其自身的位姿数据发送至终端设备。其中，该位姿数据可以用于表征该头戴式设备以某个坐标系为基准的偏转角度、偏转位置等。

在一些实施方式中，头戴式设备可以设置有摄像头和惯性传感器IMU，则头戴式设备可以通过摄像头采集的数据和惯性传感器采集的数据，获取其自身的位姿数据。

在一些实施方式中，头戴式设备包括第一无线传输模块，终端设备包括第二无线传输模块，头戴式设备通过其第一无线传输模块与终端设备的第二无线传输模块无线连接，并通过该无线连接将其位姿数据发送至终端设备。

作为一种方式，头戴式设备可以在与终端设备建立连接时，便获取其自身的位姿数据，并将其自身的位姿数据发送至终端设备。

作为又一种方式，头戴式设备可以在与终端设备建立连接后，若接收到指示显示图像数据的指令时，便获取其自身的位姿数据，并将其自身的位姿数据发送至终端设备。

作为再一种方式，头戴式设备可以在与终端设备建立连接后，若连接的时长达到预设时长时，便获取其自身的位姿数据，并将其自身的位姿数据发送至终端设备。

当然，在本实施例中，还可以包括其他触发获取位姿数据并发送至终端设备的方式，在此不再赘述。

步骤S120：所述终端设备基于所述位姿数据对待渲染图像数据进行渲染，获得第一图像数据，其中，所述第一图像数据的分辨率为第一分辨率。

在一些实施方式中，待渲染图像数据可以为终端设备本地存储的图像数据，可以为终端设备从其他终端设备获取的图像数据，也可以为终端设备从服务器获取的图像数据，在此不做限定。

在本实施例中，终端设备在接收到头戴式设备发送的位姿数据后，可以基于该位姿数据对待渲染图像数据进行渲染，获得第一图像数据。在本实施例中，在渲染的过程中，可以采用较低的分辨率形成分辨率为第一分辨率的第一图像数据。

在一些实施方式中，终端设备在接收到头戴式设备发送的位姿数据并确定待渲染图像数据时，一个重要的任务是基于位姿数据对待渲染图像数据进行渲染。其中，位姿数据代表的是一个视图矩阵，也就是用户在通过头戴式设备观看现实世界的一个物体时，从不同的方向或者角度看，其对应的视图是不一样的。对应到本实施例中，位姿数据表征用户在通过头戴式设备观看现实世界的一个物体时，从该位姿数据对应的方向或者角度观看待渲染图像数据时对应的视图。因此，作为一种可实施的方式，终端设备在接收到头戴式设备发送的位姿数据后，可以基于该位姿数据对待渲染图像数据进行渲染，从而获得待渲染图像数据在该位姿数据下对应的第一图像数据。

其中，对待渲染图像数据进行渲染需要3个矩阵，即model matrix，view matrix，projection matrix。其中view matrix和projection matrix是由头戴式设备发送过来的位姿数据和头戴式设备的硬件参数决定的，model matrix可以在终端设备进行自定义。所以在接收到头戴式设备发送的位姿数据后，即可得到view matrix和projection matrix，然后便可在终端设备的图形处理器上对待渲染图像数据进行渲染。

步骤S130：所述终端设备将所述第一图像数据发送至所述头戴式设备。

在本实施例中，终端设备在渲染获得第一图像数据后，可以将第一图像数据发送至头戴式设备。其中，由于第一图像数据的分辨率较低，因此，终端设备将第一图像数据发送至头戴式设备的延迟也得到的降低。

在一些实施方式中，头戴式设备包括第一无线传输模块，终端设备包括第二无线传输模块，终端设备通过其第二无线传输模块与头戴式设备的第一无线传输模块无线连接，并通过该无线连接将该第一图像数据发送至头戴式设备。

步骤S140：所述头戴式设备对所述第一图像数据进行超分辨率处理，获得第二图像数据，其中，所述第二图像数据的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率。

在本实施例中，头戴式设备在接收到终端设备发送的第一图像数据后，可以对第一图像数据进行超分辨率处理，获得分辨率为第二分辨率的第二图像数据，以保证在头戴式设备的图像数据的显示效果。可以理解的，由于第二图像数据为对第一图像数据进行超分辨率处理获得，则该第二图像数据的第二分辨率大于第一图像数据的第一分辨率。

在一些实施方式中，头戴式设备在接收到终端设备发送的第一图像数据后，可以对第一图像数据进行超分辨率重建，以获得分辨率为第二分辨率的第二图像数据。例如，头戴式设备在接收到终端设备发送的第一图像数据后，可以对第一图像数据进行插值处理，获得分辨率为第二分辨率的第二图像数据。

在一些实施方式中，头戴式设备在接收到终端设备发送的第一图像数据后，可以对第一图像数据输入已训练的超分辨率模型，获得该已训练的超分辨率模型输出的分辨率为第二分辨率的第二图像数据。

步骤S150：所述头戴式设备显示所述第二图像数据。

在本实施例中，头戴式设备在获得第二图像数据后，则可以显示该第二图像数据。在一些实施方式中，头戴式设备在对第二图像数据进行显示的过程中，可以将第二图像数据(如3840x1080)做切分，分成两个图像数据(如两个1920x1080)，分别送给头戴式设备的左眼显示器和右眼显示器。

本申请一实施例提供的图像数据的处理方法，头戴式设备发送位姿数据至终端设备，终端设备基于位姿数据对待渲染图像数据进行渲染，获得第一图像数据，其中，第一图像数据的分辨率为第一分辨率，终端设备将第一图像数据发送至头戴式设备，头戴式设备对第一图像数据进行超分辨率处理，获得第二图像数据，其中，第二图像数据的分辨率为第二分辨率，第二分辨率高于第一分辨率，从而通过在头戴式设备对图像数据进行超分辨率处理，使得在终端设备所渲染的图像数据的分辨率较低，可以有效减少网络数据传输的时间，减少整体系统延时。

请参阅图4，图4示出了本申请一实施例提供的图像数据的处理方法的流程示意图。该方法用于通过在头戴式设备对图像数据进行超分辨率处理，使得在终端设备所渲染的图像数据的分辨率较低，从而可以有效减少网络数据传输的时间，减少整体系统延时。在具体的实施例中，该图像数据的处理方法应用于如图11所示的图像数据的处理装置300以及配置有图像数据的处理装置300的头戴式设备100(图1)。在本实施例中，头戴式设备与终端设备连接，下面将针对图4所示的流程进行详细的阐述，所述图像数据的处理方法具体可以包括以下步骤：

步骤S210：发送位姿数据至所述终端设备。

步骤S220：接收所述终端设备发送的第一图像数据，其中，所述第一图像数据由所述终端设备基于所述位姿数据对待渲染图像数据进行渲染获得，所述第一图像数据的分辨率为第一分辨率。

步骤S230：对所述第一图像数据进行超分辨率处理，获得第二图像数据，其中，所述第二图像数据的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率。

步骤S240：显示所述第二图像数据。

其中，步骤S210-步骤S240的具体描述请参阅步骤S110-步骤S150，在此不再赘述。

本申请一实施例提供的图像数据的处理方法，头戴式设备发送位置数据至终端设备，接收终端设备发送的第一图像数据，其中，第一图像数据由终端设备基于位姿数据对待渲染图像数据进行渲染获得，第一图像数据的分辨率为第一分辨率，对第一图像数据进行超分辨率处理，获得第二图像数据，其中，第二图像数据的分辨率为第二分辨率，第二分辨率高于第一分辨率，显示该第二图像，从而通过在在头戴式设备对图像数据进行超分辨率处理，使得在终端设备所渲染的图像数据的分辨率较低，可以有效减少网络数据传输的时间，减少整体系统延时。

请参阅图5，图5示出了本申请一实施例提供的图像数据的处理方法的流程示意图。该方法应用于上述头戴式设备，在本实施例中，头戴式设备与终端设备连接，下面将针对图5所示的流程进行详细的阐述，所述图像数据的处理方法具体可以包括以下步骤：

步骤S310：发送位姿数据至所述终端设备。

步骤S320：接收所述终端设备发送的第一图像数据，其中，所述第一图像数据由所述终端设备基于所述位姿数据对待渲染图像数据进行渲染获得，所述第一图像数据的分辨率为第一分辨率。

其中，步骤S310-步骤S320的具体描述请参阅步骤S110-步骤S130，在此不再赘述。

步骤S330：利用图像超分算法对所述第一图像数据进行超分辨率处理，获得所述第二图像数据。

在一些实施方式中，头戴式设备的软件系统中加入有图像超分算法，该图像超分算法可以将较低分辨率的图像恢复为较高分辨率的图像，同时保证了图像数据的质量不收损失。于本实施例中，头戴式设备在接收到第一图像数据后，可以基于软件系统中加入的图像超分算法对第一图像数据进行分辨率处理，获得分辨率为第二分辨率的第二图像数据。

在一些实施方式中，头戴式设备包括图形处理器，图像超分算法在图形处理器上实现。其中，为了保障图像超分算法的执行效率，可以将图像超分算法在图形处理器上实现，使图像超分算法在图形处理器上运行，而不是在中央处理器上运行，减少中央处理器的资源利用率，对节省功耗有较大的帮助。作为一种方式，可以将图像超分算法通过编程的方式在图形处理器上实现。

在一些实施方式中，该图像超分算法可以支持x2，x3，x4，其分别是指可以把1个像素扩展成4个像素，9个像素，16个像素。如果第一图像数据的分辨率是(3840/4)x(1080/4)，经过4倍图像超分算法后的图像分辨率就变成了3840x1080，即头戴式设备的双眼显示屏的分辨率。于本实施例中，图像超分算法的核心思想是将第一图像数据中的像素周围的8个像素与源像素做颜色比较，通过根据阈值检查这8个周围像素与源像素颜色相似的像素，可分为2类，即close/far。这样便可以产生256种组合。由于需要对这个源像素扩充为(2x2)或(3x3)或(4x4)个像素，需要使用预先定义的由256个条目组成的查找表来做像素差值，每个条目对应的是源像素的差值方案，对(3840/4)x(1080/4)个像素逐个做完差值后即得到了超分后的第二图像数据。

步骤S340：显示所述第二图像数据。

其中，步骤S340的具体描述请参阅步骤S150，在此不再赘述。

本申请一实施例提供的图像数据的处理方法，相较于图4所示的图像数据的处理方法，本实施例还在头戴式设备布局图像超分算法，并利用图像超分算法对第一图像数据进行超分辨率处理，使得在终端设备所渲染的图像数据的分辨率较低，可以有效减少网络数据传输的时间，减少整体系统延时。

请参阅图6，图6示出了本申请一实施例提供的图像数据的处理方法的流程示意图。该方法应用于上述头戴式设备，在本实施例中，头戴式设备与终端设备连接，头戴式设备包括显示屏，下面将针对图6所示的流程进行详细的阐述，所述图像数据的处理方法具体可以包括以下步骤：

步骤S410：发送位姿数据至所述终端设备。

步骤S420：接收所述终端设备发送的第一图像数据，其中，所述第一图像数据由所述终端设备基于所述位姿数据对待渲染图像数据进行渲染获得，所述第一图像数据的分辨率为第一分辨率。

其中，步骤S410-步骤S420的具体描述请参阅步骤S110-步骤S130，在此不再赘述。

步骤S430：获取所述显示屏的显示分辨率。

其中，不同的显示屏其对应的显示分辨率不同，显示屏所显示的图像数据的分辨率与显示对应的显示分辨率一致时，其显示效果较佳。在本实施例中，头戴式设备可以包括显示屏，则可以获取该头戴式设备的显示屏的显示分辨率。作为一种方式，头戴式设备可以预先获取其显示屏的显示分辨率并存储在其本地，则头戴式设备可以从本地获取其显示屏的显示分辨率。

步骤S440：基于所述显示分辨率对所述第一图像数据进行超分辨率处理，获得所述第二图像数据，其中，所述第二分辨率等于所述显示分辨率。

其中，在头戴式设备没有超分辨率处理能力的情况下，渲染获得的图像数据的分辨率是由显示屏的显示分辨率决定的，例如，若头戴式设备的显示屏的显示分辨率为单眼1920x1080，双眼3840x1080时，则终端设备处所渲染获得的图像数据的分辨率应该为3840x1080。在本实施例中，由于头戴式设备具有超分辨率处理能力，则可以由头戴式设备将终端设备传输过来的图像数据(第一图像数据)进行超分辨率处理，获得分辨率与显示分辨率一致的图像数据(第二图像数据)，例如，若头戴式设备的显示屏的显示分辨率为单眼1920x1080，双眼3840x1080时，则第二图像数据可以为3840x1080。相应地，第一图像数据的第一分辨率低于3840x1080，例如，终端设备可以对待渲染图像数据进行降采样，并对降采样后的图像数据进行渲染获得第一图像数据。

在一些实施方式中，假设头戴式设备的超分辨率处理能力支持x4。若头戴式设备的显示屏的显示分辨率为单眼1920x1080，双眼3840x1080时，则第一图像数据的第一分辨率可以为(3840/4)x(1080/4)，第二图像数据的第二分辨率可以为3840x1080。

步骤S450：显示所述第二图像数据。

其中，步骤S450的具体描述请参阅步骤S150，在此不再赘述。

本申请一实施例提供的图像数据的处理方法，相较于图4所示的图像数据的处理方法，本实施例还获取显示屏的显示分辨率，基于显示分辨率对第一图像数据进行超分辨率处理，获得分辨率与显示分辨率一致第二图像数据，以提升头戴式设备端的图像显示效果。

请参阅图7，图7示出了本申请一实施例提供的图像数据的处理方法的流程示意图。该方法应用于上述头戴式设备，在本实施例中，头戴式设备与终端设备连接，头戴式设备包括摄像头和惯性传感器，下面将针对图7所示的流程进行详细的阐述，所述图像数据的处理方法具体可以包括以下步骤：

步骤S510：当所述头戴式设备处于佩戴状态时，获取通过所述摄像头采集的第一数据并获取通过所述惯性传感器采集的第二数据。

在本实施例中，头戴式设备包括摄像头。其中，该摄像头可以由两个或者四个广角的鱼眼相机组成。

在本实施例中，头戴式设备包括惯性传感器。其中，该惯性传感器可以包括陀螺仪和加速度传感器。

在一些实施方式中，可以对头戴式设备是否处于佩戴状态进行检测。其中，当检测到头戴式设备处于佩戴状态时，则可以控制头戴式设备的摄像头进行数据采集并获取其采集的第一数据，以及可以控制头戴式设备的惯性传感器进行数据采集并获取其采集的第二数据。作为一种方式，第一数据可以包括环境参数、位置参数，第二数据可以包括旋转参数、角度参数等。

在一些实施方式中，可以对头戴式设备所处的姿态进行检测。当检测到头戴式设备所处的姿态满足预设姿态时，则可以确定该头戴式设备处于佩戴状态。当检测到头戴式设备所处的姿态不满足预设姿态时，则可以确定该头戴式设备处于非佩戴状态。其中，预设姿态用于表征所述头戴式设备处于佩戴状态时的姿态。

在一些实施方式中，可以对头戴式设备所对应的接触参数进行检测。当检测到头戴式设备对应的接触参数满足预设接触参数时，则可以确定该头戴式设备处于佩戴状态。当检测到头戴式设备对应的接触参数不满足预设接触参数时，则可以确定该头戴式设备处于非佩戴状态。其中，预设接触参数用于表征所述头戴式设备处于佩戴状态时的接触参数。

步骤S520：基于所述第一数据和所述第二数据，计算获得所述头戴式设备的位姿数据。

在一些实施方式中，头戴式设备在获得第一数据和第二数据后，可以对第一数据和第二数据进行计算，获得该头戴式设备的位姿数据。作为一种方式，头戴式设备可以预先设置有相关环境感知的算法，在获得第一数据和第二数据后，可以基于该相关环境感知的算法对第一数据和第二数据进行计算，获得该头戴式设备的位姿数据。

步骤S530：发送位姿数据至所述终端设备。

步骤S540：接收所述终端设备发送的第一图像数据，其中，所述第一图像数据由所述终端设备基于所述位姿数据对待渲染图像数据进行渲染获得，所述第一图像数据的分辨率为第一分辨率。

步骤S550：对所述第一图像数据进行超分辨率处理，获得第二图像数据，其中，所述第二图像数据的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率。

步骤S560：显示所述第二图像数据。

其中，步骤S530-步骤S560的具体描述请参阅步骤S110-步骤S150，在此不再赘述。

本申请一实施例提供的图像数据的处理方法，相较于图4所示的图像数据的处理方法，本实施例还在头戴式设备处于佩戴状态时，获取通过头戴式设备的摄像头采集的第一数据，并获取通过头戴式设备的惯性传感器采集的第二数据，基于第一数据和第二数据，计算获得头戴式设备的位姿数据，从而提升所获得的头戴式设备的位姿数据的准确性。

请参阅图8，图8示出了本申请一实施例提供的图像数据的处理方法的流程示意图。该方法用于通过在头戴式设备对图像数据进行超分辨率处理，使得在终端设备所渲染的图像数据的分辨率较低，从而可以有效减少网络数据传输的时间，减少整体系统延时。在具体的实施例中，该图像数据的处理方法应用于如图12所示的图像数据的处理装置400以及配置有图像数据的处理装置400的终端设备200(图1)。在本实施例中，终端设备与头戴式设备连接，下面将针对图8所示的流程进行详细的阐述，所述图像数据的处理方法具体可以包括以下步骤：

步骤S610：接收所述头戴式设备发送的位姿数据。

步骤S620：基于所述位姿数据对待渲染图像数据进行渲染，获得第一图像数据，其中，所述第一图像数据的分辨率为第一分辨率。

步骤S630：将所述第一图像数据发送至所述头戴式设备，以指示所述头戴式设备对所述第一图像数据进行超分辨率处理获得第二图像数据并显示，其中，所述第二图像数据的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率。

其中，步骤S610-步骤S630的具体描述请参阅步骤S110-步骤S150，在此不再赘述。

本申请一实施例提供的图像数据的处理方法，接收头戴式设备发送的位姿数据，基于位姿数据对待渲染图像数据进行渲染，获得第一图像数据，其中，第一图像数据的分辨率为第一分辨率，将第一图像数据发送至头戴式设备，以指示头戴式设备对第一图像数据进行超分辨率处理获得第二图像数据并显示，其中，第二图像数据的分辨率为第二分辨率，第二分辨率高于第一分辨率，从而通过在头戴式设备对图像数据进行超分辨率处理，使得在终端设备所渲染的图像数据的分辨率较低，可以有效减少网络数据传输的时间，减少整体系统延时。

请参阅图9，图9示出了本申请一实施例提供的图像数据的处理方法的流程示意图。该方法应用于上述终端设备，在本实施例中，该终端设备与头戴式设备连接，下面将针对图9所示的流程进行详细的阐述，所述图像数据的处理方法具体可以包括以下步骤：

步骤S710：接收所述头戴式设备发送的位姿数据。

其中，步骤S710的具体描述请参阅步骤S110，在此不再赘述。

步骤S720：基于所述位姿数据对待渲染图像数据进行渲染，获得第三图像数据。

在一些实施方式中，终端设备在接收到头戴式设备发送的位姿数据后，可以基于该位姿数据对待渲染图像数据进行渲染，获得第三图像数据。在本实施例中，头戴式设备具有超分辨率处理能力，则在终端设备渲染的过程中，可以采样较低的分辨率渲染获得第三图像数据。

例如，假设头头戴式设备的显示屏的显示分辨率为3840x1080，待渲染图像数据的分辨率为3840x1080。则基于该位姿数据对待渲染图像数据进行渲染获得第三图像数据，该第三图像数据的分辨率可以为(3840/4)x(1080/4)，即960x270。

步骤S730：对所述第三图像数据进行编码，获得所述第一图像数据，其中，所述第一图像数据的分辨率为第一分辨率。

在一些实施方式中，终端设备在获得第三图像数据后，则可以通过编码器对第三图像数据进行编码，获得第一图像数据。其中，如上述示例可以知道，由于第三图像数据的分辨率相较于待渲染图像数据的分辨率从3840x1080降低为960x270，因此，编码过程中所处理的工作分辨率也随之变为960x270，编码的数据量变化为原来的1/16，因此，编码的延迟也会大大减少。

在一些实施方式中，可以采用H264或者H265编码算法对第三图像数据进行编码，获得第一图像数据。

步骤S740：将所述第一图像数据发送至所述头戴式设备，以指示所述头戴式设备对所述第一图像数据进行解码获得第四图像数据，以及对所述第四图像数据进行超分辨率处理获得所述第二图像数据并显示。

在一些实施方式中，头戴式设备接收到终端设备发送的第一图像数据后，则可以通过解码器对第一图像数据进行解码获得第四图像数据。其中，如上述示例可以知道，由于第三图像数据的分辨率相较于待渲染图像数据的分辨率从3840x1080降低为960x270，第一图像数据的分辨率相较于待渲染图像数据的分辨率从3840x1080降低为960x270，因此，解码过程中所处理的工作分辨率也随之变为960x270，解码的数据量变化为原来的1/16，因此，解码的延迟也会大大减少。

在一些实施方式中，可以采用H264或者H265解码算法对第一图像数据进行编码，获得第四图像数据。例如，若编码器采用H264编码算法进行编码，则解码器采用H264解码算法进行解码；若编码器采用H265编码算法进行编码，则解码器采用H265解码算法进行解码。

在一些实施方式中，由于第四图像数据的分辨率为960x270，而头戴式设备的显示屏的显示分辨率为3840x1080，因此，可以对第四图像数据进行超分辨率处理，获得分辨率为3840x1080的第二图像数据。

本申请一实施例提供的图像数据的处理方法，相较于图8所示的图像数据的处理方法，本实施例还在终端设备对图像数据进行编码后传输至头戴式设备，头戴式设备对图像数据进行解码后进行超分辨率处理，从而可以减少编码器和解码器的工作延时，降低显示的卡顿感。

请参阅图10，图10示出了本申请实施例提供的系统架构图。如图10所示，头戴式设备和终端设备通过无线传输模块连接。头戴式设备包括惯性传感器和摄像头，头戴式设备通过惯性传感器和摄像头获得其位姿数据，并将位姿数据通过无线传输模块传输给终端设备。终端设备在接收到头戴式设备发送的位姿数据后，计算待渲染图像数据在三维坐标系下的视图矩阵和投影矩阵，基于该视图矩阵和投影矩阵对待渲染图像数据进行渲染，获得较低分辨率的图像数据(如960x270)。然后对较低分辨率的图像数据做编码处理(H264编码/H265编码)后通过无线传输模块传输给头戴式设备。头戴式设备对编码后的图像数据做解码处理(H264解码/H265解码)，对解码后的较低分辨率的图像数据做超分辨率处理，获得较高分辨率的图像数据(如3840x1080)，然后把较高分辨率的图像数据给到头戴式设备的显示屏进行切分显示(如切分为两个1920x1080)。

请参阅图11，图11示出了本申请一实施例提供的图像数据的处理装置的模块框图。该图像数据的处理装置300应用于上述头戴式设备100，在本实施例中，该头戴式设备与终端设备连接，下面将针对图11所示的框图进行阐述，所述图像数据的处理装置300包括：位姿数据发送模块310、图像数据接收模块320、图像数据处理模块330以及图像数据显示模块340，其中：

位姿数据发送模块310，用于发送位姿数据至所述终端设备。

图像数据接收模块320，用于接收所述终端设备发送的第一图像数据，其中，所述第一图像数据由所述终端设备基于所述位姿数据对待渲染图像数据进行渲染获得，所述第一图像数据的分辨率为第一分辨率。

图像数据处理模块330，用于对所述第一图像数据进行超分辨率处理，获得第二图像数据，其中，所述第二图像数据的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率。

进一步地，所述图像数据处理模块330包括：第一图像数据处理子模块，其中：

第一图像数据处理子模块，用于利用图像超分算法对所述第一图像数据进行超分辨率处理，获得所述第二图像数据。

进一步地，所述头戴式设备包括显示屏，所述图像数据处理模块330包括：显示分辨率获取子模块和第二图像数据处理子模块，其中：

显示分辨率获取子模块，用于获取所述显示屏的显示分辨率。

第二图像数据处理子模块，用于基于所述显示分辨率对所述第一图像数据进行超分辨率处理，获得所述第二图像数据，其中，所述第二分辨率等于所述显示分辨率。

进一步地，所述头戴式设备包括摄像头和惯性传感器，所述图像数据的处理装置300还包括：数据采集模块和位姿数据获得模块，其中：

数据采集模块，用于当所述头戴式设备处于佩戴状态时，获取通过所述摄像头采集的第一数据并获取通过所述惯性传感器采集的第二数据。

位姿数据获得模块，用于基于所述第一数据和所述第二数据，计算获得所述头戴式设备的位姿数据。

图像数据显示模块340，用于显示所述第二图像数据。

请参阅图12，图12示出了本申请一实施例提供的图像数据的处理装置的模块框图。该图像数据的处理装置400应用于上述终端设备，该终端设备与头戴式设备连接，下面将针对图12所示的框图进行阐述，所述图像数据的处理装置400包括：位姿数据接收模块410、图像数据渲染模块420以及图像数据发送模块430，其中：

位姿数据接收模块410，用于接收所述头戴式设备发送的位姿数据。

图像数据渲染模块420，用于基于所述位姿数据对待渲染图像数据进行渲染，获得第一图像数据，其中，所述第一图像数据的分辨率为第一分辨率。

进一步地，所述图像数据渲染模块420包括：第二图像数据渲染子模块和图像数据编码子模块，其中：

第二图像数据渲染子模块，用于基于所述位姿数据对待渲染图像数据进行渲染，获得第三图像数据。

图像数据编码子模块，用于第二图像数据渲染对所述第三图像数据进行编码，获得所述第一图像数据。

图像数据发送模块430，用于将所述第一图像数据发送至所述头戴式设备，以指示所述头戴式设备对所述第一图像数据进行超分辨率处理获得第二图像数据并显示，其中，所述第二图像数据的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率。

进一步地，所述图像数据发送模块430包括：图像数据发送子模块，其中：

图像数据发送子模块，用于将所述第一图像数据发送至所述头戴式设备，以指示所述头戴式设备对所述第一图像数据进行解码获得第四图像数据，以及对所述第四图像数据进行超分辨率处理获得所述第二图像数据并显示。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

在本实施例中，还可以包括图像数据的处理系统，其包括终端设备与头戴式设备，该终端设备与头戴式设备连接。其中，头戴式设备，用于采集位姿数据，并将位姿数据发送至终端设备。终端设备，用于基于位姿数据对待渲染图像数据进行渲染，获得第一图像数据，其中，第一图像数据的分辨率为第一分辨率。终端设备，还用于将该第一图像数据发送至头戴式设备。头戴式设备，用于对第一图像数据进行超分辨率处理，获得第二图像数据，其中，第二图像数据的分辨率为第二分辨率，该第二分辨率高于第一分辨率。头戴式设备，还用于显示第二图像数据。

请参阅图13，其示出了本申请实施例提供的一种电子设备500的结构框图。该电子设备500可以为前述头戴式设备100，也可以为前述终端设备200，在此不做限定。本申请中的电子设备500可以包括一个或多个如下部件：处理器510、存储器520以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器520中并被配置为由一个或多个处理器510执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

其中，处理器510可以包括一个或者多个处理核。处理器510利用各种接口和线路连接整个电子设备500内的各个部分，通过运行或执行存储在存储器520内的指令、程序、代码集或指令集，以及调用存储在存储器520内的数据，执行电子设备500的各种功能和处理数据。可选地，处理器510可以采用数字信号处理(DigitalSignalProcessing，DSP)、现场可编程门阵列(Field－ProgrammableGateArray，FPGA)、可编程逻辑阵列(ProgrammableLogicArray，PLA)中的至少一种硬件形式来实现。处理器510可集成中央处理器(CentralProcessingUnit，CPU)、图形处理器(GraphicsProcessingUnit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责待显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器510中，单独通过一块通信芯片进行实现。

存储器520可以包括随机存储器(RandomAccessMemory，RAM)，也可以包括只读存储器(Read-OnlyMemory)。存储器520可用于存储指令、程序、代码、代码集或指令集。存储器520可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备500在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参阅图14，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质600中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质600可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质600包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质600具有执行上述方法中的任何方法步骤的程序代码610的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码610可以例如以适当形式进行压缩。

综上所述，本申请实施例提供的图像数据的处理方法、装置、电子设备以及存储介质，头戴式设备发送位置数据至终端设备，接收终端设备发送的第一图像数据，其中，第一图像数据由终端设备基于位姿数据对待渲染图像数据进行渲染获得，第一图像数据的分辨率为第一分辨率，对第一图像数据进行超分辨率处理，获得第二图像数据，其中，第二图像数据的分辨率为第二分辨率，第二分辨率高于第一分辨率，显示该第二图像，从而通过在头戴式设备对图像数据进行超分辨率处理，使得在终端设备所渲染的图像数据的分辨率较低，可以有效减少网络数据传输的时间，减少整体系统延时。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种图像数据的处理方法，其特征在于，应用于头戴式设备，所述头戴式设备与终端设备连接，所述方法包括：

发送位姿数据至所述终端设备；

接收所述终端设备发送的第一图像数据，其中，所述第一图像数据由所述终端设备基于所述位姿数据对待渲染图像数据进行渲染获得，所述第一图像数据的分辨率为第一分辨率；

对所述第一图像数据进行超分辨率处理，获得第二图像数据，其中，所述第二图像数据的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率；

显示所述第二图像数据。

2.根据权利要求1所述的方法，其特征在于，所述头戴式设备包括显示屏，所述对所述第一图像数据进行超分辨率处理，获得第二图像数据，包括：

获取所述显示屏的显示分辨率；

基于所述显示分辨率对所述第一图像数据进行超分辨率处理，获得所述第二图像数据，其中，所述第二分辨率等于所述显示分辨率。

3.根据权利要求1所述的方法，其特征在于，所述头戴式设备包括摄像头和惯性传感器，在所述发送位姿数据至所述终端设备之前，还包括：

当所述头戴式设备处于佩戴状态时，获取通过所述摄像头采集的第一数据并获取通过所述惯性传感器采集的第二数据；

基于所述第一数据和所述第二数据，计算获得所述头戴式设备的位姿数据。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述头戴式设备与所述终端设备通过无线的方式连接。

5.一种图像数据的处理方法，其特征在于，应用于终端设备，所述终端设备与头戴式设备连接，所述方法包括：

接收所述头戴式设备发送的位姿数据；

基于所述位姿数据对待渲染图像数据进行渲染，获得第一图像数据，其中，所述第一图像数据的分辨率为第一分辨率；

将所述第一图像数据发送至所述头戴式设备，以指示所述头戴式设备对所述第一图像数据进行超分辨率处理获得第二图像数据并显示，其中，所述第二图像数据的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率。

6.根据权利要求5所述的方法，其特征在于，所述基于所述位姿数据对待渲染图像数据进行渲染，获得第一图像数据，包括：

基于所述位姿数据对待渲染图像数据进行渲染，获得第三图像数据；

对所述第三图像数据进行编码，获得所述第一图像数据；

所述将所述第一图像数据发送至所述头戴式设备，以指示所述头戴式设备对所述第一图像数据进行超分辨率处理获得第二图像数据并显示，包括：

将所述第一图像数据发送至所述头戴式设备，以指示所述头戴式设备对所述第一图像数据进行解码获得第四图像数据，以及对所述第四图像数据进行超分辨率处理获得所述第二图像数据并显示。

7.一种图像数据的处理装置，其特征在于，应用于头戴式设备，所述头戴式设备与终端设备连接，所述装置包括：

位姿数据发送模块，用于发送位姿数据至所述终端设备；

图像数据接收模块，用于接收所述终端设备发送的第一图像数据，其中，所述第一图像数据由所述终端设备基于所述位姿数据对待渲染图像数据进行渲染获得，所述第一图像数据的分辨率为第一分辨率；

图像数据处理模块，用于对所述第一图像数据进行超分辨率处理，获得第二图像数据，其中，所述第二图像数据的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率；

图像数据显示模块，用于显示所述第二图像数据。

8.一种图像数据的处理装置，其特征在于，应用于终端设备，所述终端设备与头戴式设备连接，所述装置包括：

位姿数据接收模块，用于接收所述头戴式设备发送的位姿数据；

图像数据渲染模块，用于基于所述位姿数据对待渲染图像数据进行渲染，获得第一图像数据，其中，所述第一图像数据的分辨率为第一分辨率；

图像数据发送模块，用于将所述第一图像数据发送至所述头戴式设备，以指示所述头戴式设备对所述第一图像数据进行超分辨率处理获得第二图像数据并显示，其中，所述第二图像数据的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率。

9.一种图像数据的处理系统，其特征在于，包括终端设备与头戴式设备，所述终端设备与所述头戴式设备连接，其中：

所述头戴式设备，用于采集位姿数据，并将所述位姿数据发送至所述终端设备；

所述终端设备，用于基于所述位姿数据对待渲染图像数据进行渲染，获得第一图像数据，其中，所述第一图像数据的分辨率为第一分辨率；

所述终端设备，用于将所述第一图像数据发送至所述头戴式设备；

所述头戴式设备，用于对所述第一图像数据进行超分辨率处理，获得第二图像数据，其中，所述第二图像数据的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率；

所述头戴式设备，用于显示所述第二图像数据。

10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行如权利要求1-4任一项或如权利要求5-6任一项所述的方法。

11.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-4任一项或如权利要求5-6任一项所述的方法。

Images