CN112995681A

CN112995681A - 图像数据传输方法、电子设备和计算机可读介质

Info

Publication number: CN112995681A
Application number: CN202110226015.XA
Authority: CN
Inventors: 昌文涛; 刘伟
Original assignee: Hefei Macrosilicon Technology Co ltd
Current assignee: Hefei Macrosilicon Technology Co ltd
Priority date: 2021-03-01
Filing date: 2021-03-01
Publication date: 2021-06-18

Abstract

本公开提供了一种图像数据传输方法，包括：获取当前图像与上一帧图像之间的差异信息；响应于差异信息满足预设的差异更新条件的情况，通过差异更新的方式向显示控制装置发送差异信息，以供显示控制装置根据差异信息更新显示图像；响应于差异信息不满足预设的差异更新条件的情况，通过压缩编码的方式向显示控制装置发送当前图像，以供显示控制装置根据当前图像替换显示图像。本公开还提供了一种电子设备和计算机可读介质。

Description

图像数据传输方法、电子设备和计算机可读介质

技术领域

本公开涉及通信技术领域，特别涉及一种图像数据传输方法、电子设备和计算机可读介质。

背景技术

随着通信技术的发展，批量的视频图像传输需求日益增加，同时，投屏、远程控制技术也逐渐被应用在各种场景中。现阶段，在传输视频图像时多通过传输压缩编码图像的方式进行，但由此图像细节大大减少，图像清晰度也难以保证，在投屏、远程控制场景中，许多基于图像交互的精细操作也无法进行，并且，以此进行的视频图像传输数据量依旧较大，而且受限于网络传输速度，效率较低。

发明内容

本公开旨在至少解决现有技术中存在的技术问题之一，提出了一种图像数据传输方法、电子设备和计算机可读介质。

为实现上述目的，第一方面，本公开实施例提供了一种图像数据传输方法，包括：

获取当前图像与上一帧图像之间的差异信息；

响应于所述差异信息满足预设的差异更新条件的情况，通过差异更新的方式向显示控制装置发送所述差异信息，以供所述显示控制装置根据所述差异信息更新显示图像；

响应于所述差异信息不满足预设的差异更新条件的情况，通过压缩编码的方式向所述显示控制装置发送所述当前图像，以供所述显示控制装置根据所述当前图像替换所述显示图像。

在一些实施例中，所述差异信息包括差异区域大小；

若所述差异区域大小与所述当前图像的图像大小的比值小于或等于预设的第一阈值，确定出所述差异信息满足所述差异更新条件；

若所述差异区域大小与所述当前图像的图像大小的比值大于所述第一阈值，确定出所述差异信息不满足所述差异更新条件。

在一些实施例中，所述差异信息包括差异块数据；

所述获取当前图像与其上一帧图像之间的差异信息的步骤，包括：

针对所述当前图像中的任一图像块，将该图像块与其在所述上一帧图像中对应的图像块进行比较；

根据各图像块对应的比较结果确定各图像块中的差异块，并生成所述差异块数据；

所述响应于所述差异信息满足预设的差异更新条件的情况，通过差异更新的方式向显示控制装置发送所述差异信息的步骤，包括：

向显示控制装置发送所述差异块数据，以供所述显示控制装置根据当前的所述显示图像的图像数据和所述差异块数据更新所述显示图像。

在一些实施例中，若所述差异块数据的数据大小小于或等于预设的第二阈值，确定出所述差异信息满足所述差异更新条件；

若所述差异块数据的数据大小大于所述第二阈值，确定出所述差异信息不满足所述差异更新条件。

在一些实施例中，所述响应于所述差异信息不满足预设的差异更新条件的情况，通过压缩编码的方式向所述显示控制装置发送所述当前图像的步骤，包括：

基于H.264标准或JPEG标准对所述当前图像进行压缩编码，并发送至所述显示控制装置。

在一些实施例中，所述方法由电子设备执行，所述电子设备包括第一显示器，显示控制装置与第二显示器相连接，所述第二显示器用于显示所述显示图像；

在所述获取当前图像与上一帧图像之间的差异信息的步骤之前，还包括：

控制所述第一显示器显示所述当前图像。

第二方面，本公开实施例还提供了一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例中任一所述的图像数据传输方法。

在一些实施例中，所述电子设备还包括：

显示器，用于显示当前图像。

在一些实施例中，所述电子设备为移动终端。

第三方面，本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如上述实施例中任一所述的图像数据传输方法中的步骤。

本公开具有以下有益效果：

本公开实施例提供了一种图像数据传输方法、电子设备和计算机可读介质,可实现通过获取当前图像与上一帧图像之间的差异信息，在图像差异较小时通过差异更新的方式向显示控制装置发送差异信息，在图像差异较大时通过压缩编码的方式向显示控制装置发送当前图像，根据图像应用实况进行动态调整，满足对图像质量的需求的同时，保证传输效率。

附图说明

图1为本公开实施例提供的一种图像数据传输方法的流程图；

图2为本公开实施例提供的另一种图像数据传输方法的流程图；

图3为本公开实施例提供的又一种图像数据传输方法的流程图。

具体实施方式

为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开提供的图像数据传输方法、电子设备和计算机可读介质进行详细描述。

在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。

将理解的是，虽然本文可以使用术语第一、第二等来描述各种元件，但这些元件不应当受限于这些术语。这些术语仅用于区分一个元件和另一元件。因此，在不背离本公开的指教的情况下，下文讨论的第一元件、第一组件或第一模块可称为第二元件、第二组件或第二模块。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

本公开所提供的图像数据传输方法、电子设备和计算机可读介质，可用于通过获取当前图像与上一帧图像之间的差异信息，在图像差异较小时通过差异更新的方式向显示控制装置发送差异信息，在图像差异较大时通过压缩编码的方式向显示控制装置发送当前图像，根据图像应用实况进行动态调整，满足对图像质量的需求的同时，保证传输效率。该方法可应用于图像视频传输、有线投屏、无线投屏、远程控制和远程协助等多个应用场景。

图1为本公开实施例提供的一种图像数据传输方法的流程图。如图1所示，该方法包括：

步骤S1、获取当前图像与上一帧图像之间的差异信息。

其中，该差异信息指示了当前图像与上一帧图像之间的差异，其同时包括具体的图像数据，显示控制装置可根据该差异信息以差异更新的方式对显示图像进行渲染，以实现对显示图像的更新；当前图像为在当前时间拍进行处理的图像，上一帧图像对应当前时间拍的上一个时间拍，其为相对概念，随着处理进程推进，当前图像即下一个时间拍对应图像的上一帧图像。

步骤S2、响应于差异信息满足预设的差异更新条件的情况，通过差异更新的方式向显示控制装置发送差异信息。

在步骤S2中，通过差异更新的方式向显示控制装置发送差异信息，以供显示控制装置根据差异信息更新显示图像。

其中，通过差异更新的方式向显示控制装置发送差异信息，即指示显示控制装置当前传输的是差异信息，并指示显示控制装置基于差异更新的方式根据差异信息更新显示图像。

步骤S3、响应于差异信息不满足预设的差异更新条件的情况，通过压缩编码的方式向显示控制装置发送当前图像。

在步骤S3中，通过压缩编码的方式向显示控制装置发送当前图像，以供显示控制装置根据当前图像替换显示图像。

其中，通过压缩编码的方式向显示控制装置发送当前图像，即指示显示控制装置当前传输的是压缩编码后的当前图像，并指示显示控制装置基于压缩编码的方式对压缩编码后的当前图像进行相应处理后将其进行显示。

在一些实施例中，步骤S3，响应于差异信息不满足预设的差异更新条件的情况，通过压缩编码的方式向显示控制装置发送当前图像的步骤，包括：基于H.264标准或JPEG标准对当前图像进行压缩编码，并发送至显示控制装置。

在一些实施例中，差异信息包括差异区域大小；在步骤S2和步骤S3中，若差异区域大小与当前图像的图像大小的比值小于或等于预设的第一阈值，确定出差异信息满足差异更新条件；相应地，若差异区域大小与当前图像的图像大小的比值大于第一阈值，确定出差异信息不满足差异更新条件；其中，差异区域大小即当前图像和上一帧图像的差异区域的区域大小；差异区域大小与当前图像的图像大小的比值即差异区域占比。

本公开实施例提供了一种图像数据传输方法，该方法可用于通过获取当前图像与上一帧图像之间的差异信息，在图像差异较小时通过差异更新的方式向显示控制装置发送差异信息，在图像差异较大时通过压缩编码的方式向显示控制装置发送当前图像，根据图像应用实况进行动态调整，满足对图像质量的需求，改善失真情况的同时，保证传输效率。

图2为本公开实施例提供的另一种图像数据传输方法的流程图。如图2所示，该方法为基于图1所示方法的一种具体化可选实施方案。具体地，差异信息包括差异块数据，又称差异值，为当前图像和上一帧图像的差异块的图像数据；该方法不仅包括步骤S3，还包括步骤S101和步骤S102，其中，步骤S101和步骤S102为步骤S1的一种具体实施方式。下面仅对步骤S101和步骤S102进行详细描述。

具体地，步骤S1，获取当前图像与上一帧图像之间的差异信息的步骤，包括：步骤S101和步骤S102。

步骤S101、针对当前图像中的任一图像块，将该图像块与其在上一帧图像中对应的图像块进行比较。

其中，可基于汉明距离、像素值和相似性比较等方式进行该图像块与其在上一帧图像中对应的图像块之间的比较。

步骤S102、根据各图像块对应的比较结果确定各图像块中的差异块，并生成差异块数据。

在一些实施例中，基于步骤S101和步骤S102，在步骤S2和步骤S3中，若差异块数据的数据大小小于或等于预设的第二阈值，确定出差异信息满足差异更新条件；相应地，若差异块数据的数据大小大于第二阈值，确定出差异信息不满足差异更新条件。

在一些实施例中，基于步骤S101和步骤S102，步骤S2，响应于差异信息满足预设的差异更新条件的情况，通过差异更新的方式向显示控制装置发送差异信息的步骤，包括：向显示控制装置发送差异块数据。

在步骤S201中，向显示控制装置发送差异块数据，以供显示控制装置根据当前的显示图像的图像数据和差异块数据更新显示图像。

图3为本公开实施例提供的又一种图像数据传输方法的流程图。如图3所示，该方法为基于图1所示方法的一种具体化可选实施方案。具体地，该方法由电子设备执行，该电子设备包括第一显示器，显示控制装置与第二显示器相连接，第二显示器用于显示显示图像；该方法不仅包括步骤S1至步骤S3，在步骤S1，获取当前图像与上一帧图像之间的差异信息的步骤之前，还包括步骤S01。下面仅对步骤S01进行详细描述。

步骤S01、控制第一显示器显示当前图像。

其中，将第一显示器显示的图像、图像序列和视频资源发送至显示控制装置以在第二显示器进行再显示。

在一些实施例中，对应投屏和远程协助的应用场景，该电子设备可具备投屏功能的任意设备，包括个人电脑和移动终端等，移动终端包括手机、平板电脑、便携多媒体设备和智能穿戴设备等；显示控制装置与第二显示器构成相应用于显示投屏图像的电子设备，显示图像即投屏图像。其中，以个人电脑为例，在进行桌面操作(如鼠标移动)时，图像更新区域较小，而且延迟要求较低，使用差异更新的方式进行图像数据传输，而当播放视频时，图像更新区域较大，此时切换为使用压缩编码的方式传输图像。具体地，随着计算机图形处理器(Graphics Processing Unit，简称GPU)性能以及芯片图形加速能力的提高，在桌面图像显示期间很容易获取到前后图像的差异信息，在图形处理器显存开辟一块专门用于存放差异信息的块，在需要的时候将差异信息传输到接收端，接收端更新对应的差异块，即可实现高质量低延迟的传输方案。

本公开实施例还提供了一种电子设备，包括：

一个或多个处理器；存储器，用于存储一个或多个程序；当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器实现如上述实施例中任一的图像数据传输方法。

在一些实施例中，该电子设备还包括：显示器，用于显示当前图像；对应上述实施例中的第一显示器。

在一些实施例中，该电子设备为移动终端；具体地，移动终端包括手机、平板电脑、便携多媒体设备和智能穿戴设备等；在一些实施例中，该移动终端具备投屏功能。

本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上述实施例中任一的图像数据传输方法中的步骤。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims

1.一种图像数据传输方法，包括：

获取当前图像与上一帧图像之间的差异信息；

2.根据权利要求1所述的图像数据传输方法，其中，所述差异信息包括差异区域大小；

3.根据权利要求1所述的图像数据传输方法，其中，所述差异信息包括差异块数据；

4.根据权利要求3所述的图像数据传输方法，其中，

若所述差异块数据的数据大小小于或等于预设的第二阈值，确定出所述差异信息满足所述差异更新条件；

5.根据权利要求1所述的图像数据传输方法，其中，所述响应于所述差异信息不满足预设的差异更新条件的情况，通过压缩编码的方式向所述显示控制装置发送所述当前图像的步骤，包括：

6.根据权利要求1所述的图像数据传输方法，其中，所述方法由电子设备执行，所述电子设备包括第一显示器，显示控制装置与第二显示器相连接，所述第二显示器用于显示所述显示图像；

控制所述第一显示器显示所述当前图像。

7.一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至6中任一所述的图像数据传输方法。

8.根据权利要求7所述的电子设备，其中，还包括：

显示器，用于显示当前图像。

9.根据权利要求7或8所述的电子设备，其中，所述电子设备为移动终端。

10.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1至6中任一所述的图像数据传输方法中的步骤。