CN115225881A - 一种数据传输方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种数据传输方法、装置、设备和存储介质。该方法包括：将待存储图像存储至目标ID3D纹理对象中；将目标ID3D纹理对象发送至Qsv编码器中进行编码，得到编码图像数据；将编码图像数据发送至第二终端。本发明实施例通过将目标ID3D纹理对象直接采集到目标ID3D纹理对象中，并且目标ID3D纹理对象可以在D3D11设备对象和Qsv编码器之间自由使用，从而不需要将待存储图像映射到显卡内存中进行拷贝，从而减少了内存消耗以及减少了数据传输的延迟时间。

Description

一种数据传输方法、装置、设备和存储介质

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据传输方法、装置、设备和存储介质。

背景技术

随着科技的不断发展，在教学实际过程中，智能白板进入了越来越多的教室中。

图1是现有技术中提供的一种数据传输的流程示意图。如图1所示，为了能够在多个终端之间传输自身终端所显示的屏幕画面，可采用如下步骤进行操作：将采集到的屏幕画面作为图像数据存储在显卡内存中；为了传递采集到的屏幕画面，需要将显卡内存中的图像数据通过显存映射(Video Memory Map)映射到内存，再将其拷贝到内存中；程序内存将内存中的屏幕画面所对应的图像数据发送至Intel Qsv编码器中；Intel Qsv编码器对图像数据进行编码得到编码图像数据；然后通过网路将编码图像数据发送至接收端。但VideoMemory Map后进行内存拷贝比较耗时，需要约40-60ms；并且，采集到的图像数据即便使用NV12格式，也有12,441,600字节(约12M字节)的大小，相当于消耗了内存资源。

发明内容

有鉴于此，本发明提供一种数据传输方法、装置、设备和存储介质，在保证减少了内存资源消耗的基础上，减少了数据传输的延迟时间。

第一方面，本发明实施例提供了一种数据传输方法，应用于第一终端，包括：

将待存储图像存储至目标ID3D纹理对象中；

将所述目标ID3D纹理对象发送至Qsv编码器中进行编码，得到编码图像数据；

将所述编码图像数据发送至第二终端。

第二方面，本发明实施例还提供了一种数据传输装置，应用于第一终端，包括：

存储模块，用于将待存储图像存储至目标ID3D纹理对象中；

编码模块，用于将所述目标ID3D纹理对象发送至Qsv编码器中进行编码，得到编码图像数据；

发送模块，用于将所述编码图像数据发送至第二终端。

第三方面，本发明实施例还提供了一种移数据传输设备，该设备包括：通信模块，存储器，以及一个或多个处理器；

通信模块，用于在第一终端和第二终端之间建立通信连接；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一实施例所述的数据传输方法。

第四方面，一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一实施例所述的数据传输方法。

本发明将待存储图像存储至目标ID3D纹理对象中；将目标ID3D纹理对象发送至Qsv编码器中进行编码，得到编码图像数据；将编码图像数据发送至第二终端。本发明实施例通过将目标ID3D纹理对象直接采集到目标ID3D纹理对象中，并且目标ID3D纹理对象可以在D3D11设备对象和Qsv编码器之间自由使用，从而不需要将待存储图像映射到显卡内存中进行拷贝，从而减少了内存消耗以及减少了数据传输的延迟时间。

附图说明

图1是现有技术中提供的一种数据传输的流程示意图；

图2是本发明实施例提供的一种数据传输方法的流程图；

图3是本发明实施例提供的另一种数据传输方法的流程图；

图4是本发明实施例提供的一种数据传输的初始化流程示意图；

图5是本发明实施例提供的又一种数据传输方法的流程图；

图6是本发明实施例提供的一种数据传输装置的结构框图；

图7是本发明实施例提供的一种数据传输设备的硬件结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在一实施例中，图2是本发明实施例提供的一种数据传输方法的流程图，本实施例可适用于对待存储图像进行共享的情况。本实施例可以由数据传输设备执行。其中，数据传输设备为第一终端。示例性地，第一终端可以为智能白板。如图2所示，本实施例包括如下步骤：

S110、将待存储图像存储至目标ID3D纹理对象中。

其中，待存储图像指的是从第一终端的显示屏幕上直接采集的，且并未进行图像处理的原始图像。其中，待存储图像的分辨率为4K，即待存储图像的水平方向的像素数为3840，垂直方向的像素数为2160。在实际操作过程中，对待存储图像的图像格式不作限定。在实施例中，目标ID3D纹理对象，指的是空闲的ID3D纹理对象，也可以理解为未使用的ID3D纹理对象。可以理解为，在ID3D纹理对象缓冲区中获取一个未使用的ID3D纹理对象，作为目标ID3D纹理对象，以可以直接将采集到的待存储图像存储至目标ID3D纹理对象中。示例性地，目标ID3D纹理对象，可以指的是ID3D纹理对象缓冲区中的其中一个未使用的ID3D11Texture2D对象。

在实施例中，利用预先创建的采集图像对象对第一终端中当前显示的屏幕画面进行采集，作为待存储图像，然后可以直接将待存储图像存储至目标ID3D纹理对象中。可以理解为，目标ID3D纹理对象指的是一块内存，即一个存储区域，可以在这块内存中存储待存储图像所对应的原始图像数据。

S120、将目标ID3D纹理对象发送至Qsv编码器中进行编码，得到编码图像数据。

示例性地，Qsv编码器指的是由因特网提供的基于Intel显卡的视频硬件编解码器，相对于软件编码器可以占用更少的CPU资源。其中，由于Qsv编码器的软件应用程序接口(Application Programming Interface，API)是Intel驱动提供的，即需要传递ID3D11设备对象为API初始化第一终端。

在实施例中，将目标ID3D纹理对象发送至Qsv编码器，以使Qsv编码器对待存储图像所对应的原始图像数据进行编码，得到编码图像数据。

S130、将编码图像数据发送至第二终端。

其中，第一终端和第二终端的设备类型相同。示例性地，在第一终端为智能白板的情况下，第二终端也是智能白板。在实施例中，在利用Qsv编码器将待存储图像所对应的原始图像数据编码为编码图像数据之后，以数据流的形式将编码图像数据发送至第二终端，以使在第一终端和第二终端之间共享待存储图像。

本实施实例中的技术方案，通过将目标ID3D纹理对象直接采集到目标ID3D纹理对象中，并且目标ID3D纹理对象可以在D3D11设备对象和Qsv编码器之间自由使用，从而不需要将待存储图像映射到显卡内存中进行拷贝，从而减少了内存消耗以及减少了数据传输的延迟时间。

在一实施例中，图3是本发明实施例提供的另一种数据传输方法的流程图。本实施例是在上述实施例的基础上，对数据传输方法作进一步的说明。如图3所示，本实施例中的数据传输方法包括：

S210、利用预先创建的D3D11设备对象创建并初始化Qsv编码器，DXGI图像采集对象和ID3D纹理对象缓冲区。

需要说明的是，一个设备对象(Device对象)用于创建资源以及枚举一个显卡的功能。在D3D11中，一个设备用D3D11Device接口来表示。在此需要说明的是，在第一次使用D3D时，需要对D3D11进行初始化。其中，初始化D3D11设备对象的步骤包括：定义所需检查的设备类型和特征级别；创建D3D设备、渲染环境和交换链；创建渲染对象；设置视口观察区。

在实施例中，创建一个D3D11设备对象；然后使用已有的D3D11设备对象创建并初始化Qsv编码器；使用已有的D3D11设备对象创建并初始化DXGI图像采集对象；以及使用已有的D3D11设备对象创建并初始化ID3D纹理对象缓冲区。

S220、从ID3D纹理对象缓冲区中获取未使用的ID3D纹理对象，作为目标ID3D纹理对象。

在一实施例中，ID3D纹理对象缓冲区包括至少两个ID3D纹理对象。在此需要说明的是，未使用的ID3D纹理对象指的是当前处于空闲，或者尚未使用的ID3D纹理对象。

S230、通过DXGI图像采集对象采集第一终端的当前屏幕画面，作为待存储图像。

其中，当前屏幕画面指的是第一终端中当前正在显示的屏幕画面。在实施例中，利用DXGI图像采集对象对当前屏幕画面进行采集，作为待存储图像。

S240、将待存储图像存储至目标ID3D纹理对象中。

其中，DXGI图像采集对象是Windows DXGI API提供了这种功能，即可以理解为，利用DXGI图像采集对象将采集到的待存储图像存储至目标ID3D纹理对象中。

S250、对待存储图像进行格式转换，得到目标图像格式的待存储图像。

需要说明的是，目标图像格式与编码器的类型有关。示例性地，在编码器为Qsv编码器时，目标图像格式为NV12像素格式。在实施例中，利用DXGI图像采集对象所采集到的当前屏幕画面(即待存储图像)的图像格式为argb像素格式。但由于Qsv编码器需要NV12像素格式，则对待存储图像进行格式转换，即将待存储图像的图像格式由argb像素格式转换为NV12像素格式，以得到NV12像素格式的待存储图像。

S260、将目标ID3D纹理对象发送至Qsv编码器中进行编码，得到编码图像数据。

S270、将目标ID3D纹理对象释放至ID3D纹理对象缓冲区。

在实施例中，为了保证在目标ID3D纹理对象完成使用之后，能够在后续使用中再次使用该目标ID3D纹理对象，在将目标ID3D纹理对象发送至Qsv编码器中进行编码之后，可释放目标ID3D纹理对象至ID3D纹理对象缓冲区中。

S280、将编码图像数据发送至第二终端。

本实施例的技术方案，在上述实施例的基础上，在对标ID3D纹理对象发送至Qsv编码器中进行编码之后，释放目标ID3D纹理对象至ID3D纹理对象缓冲区，从而保证了目标ID3D纹理对象的重复使用，相应地，减少了CPU内存资源的占用。

在一实施例中，图4是本发明实施例提供的一种数据传输的初始化流程示意图。本实施例中以D3D11设备对象为D3D11Device对象，Qsv编码器为Intel Qsv编码器，ID3D纹理对象为ID3D11Texture_2D对象为例，对数据传输的初始化过程进行说明。

在此需要说明的是，对S320-S340之间的执行顺序不作限定，即S320-S340这三个步骤可以同步执行，也可以异步执行，即只要保证S320-S340在S310之后执行即可。

示例性地，如图4所示，本实施例包括如下步骤：

S310、创建一个D3D11Device对象。

S320、使用已有的D3D11Device对象创建并初始化Intel Qsv编码器。

S330、使用已有的D3D11Device对象创建并初始化DXGI图像采集对象。

S340、使用已有的D3D11Device对象创建由多个ID3D11Texture_2D对象组成的缓冲区，作为ID3D纹理对象缓冲区。

在一实施例中，图5是本发明实施例提供的又一种数据传输方法的流程图。本实施例是以图4所示的初始化阶段生成的Intel Qsv编码器、DXGI图像采集对象，以及ID3D纹理对象缓冲区为ID3D11Texture2D缓冲区为例，对数据传输过程进行说明。如图5所示，本实施例包括如下步骤：

S410、从ID3D11Texture2D缓冲区中获取尚未使用的一个ID3D11Texture2D对象。

S420、DXGI图像采集对象将屏幕画面直接采集到ID3D11Texture2D对象中。

S430、将ID3D11Texture2D对象发送到Intel QSV编码器进行编码。

S440、编码后释放ID3D11Texture2D对象到ID3D11Texture2D缓冲区中。

S450、将编码器输出的H264码流发送到H264码流发送器，以通过H264码流发送器将屏幕画面发送到网络中。

本实施例的技术方案，通过D3D11Device对象创建并初始化DXGI图像采集对象和Intel Qsv编码器，以通过DXGI图像采集对象可以直接将屏幕画面采集到ID3D11Texture2D对象中，并且ID3D11T exture2D对象可以在DXGI图像采集对象和Intel Qsv编码器之间自由使用，从而节省了CPU内存；同时，不需要将显卡内存中的图像数据映射到内存并进行拷贝，减少了CPU资源消耗，以及减少了数据传输的延迟时间。

在一实施例中，图6是本发明实施例提供的一种数据传输装置的结构框图，该装置适用于对待存储图像进行共享的情况，该装置可以由硬件/软件实现。如图6所示，该装置包括：存储模块510、编码模块520和发送模块530。

存储模块510，用于将待存储图像存储至目标ID3D纹理对象中；

编码模块520，用于将目标ID3D纹理对象发送至Qsv编码器中进行编码，得到编码图像数据；

发送模块530，用于将编码图像数据发送至第二终端。

本实施例的技术方案，通过将目标ID3D纹理对象直接采集到目标ID3D纹理对象中，并且目标ID3D纹理对象可以在D3D11设备对象和Qsv编码器之间自由使用，从而不需要将待存储图像映射到显卡内存中进行拷贝，从而减少了内存消耗以及减少了数据传输的延迟时间。

在上述实施例的基础上，数据传输装置，还包括：

创建模块，用于在将待存储图像存储至目标ID3D纹理对象中之前，利用预先创建的D3D11设备对象创建并初始化Qsv编码器，DXGI图像采集对象和ID3D纹理对象缓冲区。

在上述实施例的基础上，数据传输装置，还包括：

获取模块，用于在将待存储图像存储至目标ID3D纹理对象中之前，从ID3D纹理对象缓冲区中获取未使用的ID3D纹理对象，作为目标ID3D纹理对象。

在上述实施例的基础上，数据传输装置，还包括：

采集模块，用于在将待存储图像存储至目标ID3D纹理对象中之前，通过DXGI图像采集对象采集第一终端的当前屏幕画面，作为待存储图像。

在上述实施例的基础上，数据传输装置，还包括：

转换模块，用于将目标ID3D纹理对象发送至Qsv编码器中进行编码，得到编码图像数据之前，对待存储图像进行格式转换，得到目标图像格式的待存储图像。

在上述实施例的基础上，数据传输装置，还包括：

释放模块，用于在将目标ID3D纹理对象发送至Qsv编码器中进行编码，得到编码图像数据之后，将目标ID3D纹理对象释放至ID3D纹理对象缓冲区。

在上述实施例的基础上，ID3D纹理对象缓冲区包括至少两个ID3D纹理对象。

在上述实施例的基础上，第一终端和第二终端的设备类型相同。

上述数据传输装置可执行本发明任意实施例所提供的数据传输方法，具备执行方法相应的功能模块和有益效果。

图7是本发明实施例提供的一种数据传输设备的硬件结构示意图。本发明实施例中的设备以智能白板为例进行说明。如图7所示，本发明实施例提供的智能白板，包括：处理器610和存储器620、输入装置630、输出装置640和通信模块650。该智能白板中的处理器610可以是一个或多个，图7中以一个处理器610为例，智能白板中的处理器610、存储器620、输入装置630、输出装置640和通信模块650可以通过总线或其他方式连接，图7中以通过总线连接为例。

该计算机设备中的存储器620作为一种计算机可读存储介质，可用于存储一个或多个程序，程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例或所提供数据传输方法对应的程序指令/模块(例如，图6所示的数据传输装置中的模块，包括：存储模块510、编码模块520和发送模块530)。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述方法实施例中数据传输方法。

存储器620可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置630可用于接收用户输入的数字或字符信息，以产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。通信模块650，用于在第一终端和第二终端之间建立通信连接。

并且，当上述计算机设备所包括一个或者多个程序被一个或者多个处理器610执行时，程序进行如下操作：将待存储图像存储至目标ID3D纹理对象中；将目标ID3D纹理对象发送至Qsv编码器中进行编码，得到编码图像数据；将编码图像数据发送至第二终端。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的数据传输方法，该方法包括：将待存储图像存储至目标ID3D纹理对象中；将目标ID3D纹理对象发送至Qsv编码器中进行编码，得到编码图像数据；将编码图像数据发送至第二终端。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable ROM，EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(Compact DiscRead-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种数据传输方法，其特征在于，应用于第一终端，包括：

将待存储图像存储至目标ID3D纹理对象中；

将所述目标ID3D纹理对象发送至Qsv编码器中进行编码，得到编码图像数据；

将所述编码图像数据发送至第二终端。

2.根据权利要求1所述的方法，其特征在于，在所述将待存储图像存储至目标ID3D纹理对象中之前，还包括：

利用预先创建的D3D11设备对象创建并初始化Qsv编码器，DXGI图像采集对象和ID3D纹理对象缓冲区。

3.根据权利要求2所述的方法，其特征在于，在所述将待存储图像存储至目标ID3D纹理对象中之前，还包括：

从所述ID3D纹理对象缓冲区中获取未使用的ID3D纹理对象，作为目标ID3D纹理对象。

4.根据权利要求2所述的方法，其特征在于，在所述将待存储图像存储至目标ID3D纹理对象中之前，还包括：

通过所述DXGI图像采集对象采集所述第一终端的当前屏幕画面，作为待存储图像。

5.根据权利要求1所述的方法，其特征在于，所述方法，将所述目标ID3D纹理对象发送至Qsv编码器中进行编码，得到编码图像数据之前，还包括：

对所述待存储图像进行格式转换，得到目标图像格式的待存储图像。

6.根据权利要求1所述的方法，其特征在于，在所述将所述目标ID3D纹理对象发送至Qsv编码器中进行编码，得到编码图像数据之后，还包括：

将所述目标ID3D纹理对象释放至ID3D纹理对象缓冲区。

7.根据权利要求2所述的方法，其特征在于，所述ID3D纹理对象缓冲区包括至少两个ID3D纹理对象。

8.根据权利要求1-7任一所述的方法，其特征在于，所述第一终端和所述第二终端的设备类型相同。

9.一种数据传输装置，其特征在于，应用于第一终端，包括：

存储模块，用于将待存储图像存储至目标ID3D纹理对象中；

编码模块，用于将所述目标ID3D纹理对象发送至Qsv编码器中进行编码，得到编码图像数据；

发送模块，用于将所述编码图像数据发送至第二终端。

10.一种数据传输设备，其特征在于，所述设备包括：通信模块，存储器，以及一个或多个处理器；

通信模块，用于在第一终端和第二终端之间建立通信连接；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的数据传输方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的数据传输方法。

Images