CN117014624A - 数据发送方法、数据接收方法、电子设备及显示系统 - Google Patents

Abstract

本发明公开了数据发送方法、数据接收方法、电子设备及显示系统。该数据发送方法包括：从视频源设备接收在视频源设备的缓存中待同步视频数据已达到预设阈值时发送的编码通知；响应于编码通知对待同步视频数据进行压缩编码，得到视频压缩数据流；以及将视频压缩数据流发送至数据接收端。在视频数据发送时，当视频源设备的图像缓存准备到一定程度时，提前进行编码工作，能够减少视频源设备的一个同步周期的时延。在视频数据接收时，当解码完成到一定程度时，提前进行显示工作，也能够减少视频解码组件的一个同步周期的时延，实现视频数据在设备间共享的低延迟显示。

Description

数据发送方法、数据接收方法、电子设备及显示系统

技术领域

本发明涉及数据处理技术领域，特别涉及数据发送方法、数据接收方法、电子设备及显示系统。

背景技术

目前，多种智能电子设备相互发现和屏幕内容分享是智能电子设备非常流行的功能。常见屏幕内容分享技术包括：无线投屏、有线投屏和云投屏。智能电子设备包括：智能手机、平板电脑、智能电视、个人电脑和投影设备等。无线投屏协议包括WiFi投屏、AirPlay投屏、DLNA投屏等。有线投屏协议包括HDMI投屏、VGA投屏、USB投屏等。云投屏协议一般采用私有协议。

上述通用的屏幕内容分享技术，处于技术通用的考虑，屏幕内容分享技术存在卡顿、高时延、随机抖动、高时延波动等技术缺陷。

发明内容

本发明所要解决的技术问题是提供数据发送方法、数据接收方法、电子设备及显示系统，其能够减少视频数据在设备共享过程中的时延。

在本发明的一个方面，提供一种数据发送方法，应用于数据发送端。该方法包括：从视频源设备接收在所述视频源设备的缓存中待同步视频数据已达到预设阈值时发送的编码通知；响应于所述编码通知对所述待同步视频数据进行压缩编码，得到视频压缩数据流；以及将所述视频压缩数据流发送至数据接收端。

在本发明的另一方面，提供一种数据接收方法，应用于数据接收端。该方法包括：接收由数据发送端发送的视频压缩数据流，并对所述视频压缩数据流进行解码以得到解码数据；当解码得到的解码数据达到预设阈值时，将当前的解码数据标记为解码完成；以及将所述解码数据发送至视频显示设备，使得所述视频显示设备同步显示与所述解码数据相对应的画面。

在本发明的又一方面，提供一种电子设备。该设备包括存储器，被配置为存储计算机程序；以及处理器，被配置为执行所述计算机程序以执行上述的数据发送方法或数据接收方法。

在本发明的再一方面，提供一种显示系统。该系统包括：视频源设备、数据发送端、数据接收端和视频显示设备，其中所述数据发送端被配置为从视频源设备接收在所述视频源设备的缓存中待同步视频数据已达到预设阈值时发送的编码通知，响应于所述编码通知对所述待同步视频数据进行压缩编码，得到视频压缩数据流，以及将所述视频压缩数据流发送至所述数据接收端；所述数据接收端被配置为接收由所述数据发送端发送的所述视频压缩数据流，并对所述视频压缩数据流进行解码以得到解码数据，当解码得到的解码数据达到预设阈值时，将当前的解码数据标记为解码完成，以及将所述解码数据发送至视频显示设备，使得所述视频显示设备同步显示与所述解码数据相对应的画面。

根据本发明的实施例，在视频数据发送时，当视频源设备的图像缓存准备到一定程度时，提前进行编码工作，能够减少视频源设备的一个同步周期的时延；在视频数据接收时，当解码完成到一定程度时，提前进行显示工作，也能够减少视频解码组件的一个同步周期的时延，实现视频数据在设备间共享的低延迟显示。

附图说明

图1为本发明实施例的数据发送方法的流程图；

图2为本发明实施例的数据接收方法的流程图；

图3为本发明实施例的超低延迟发送组件的工作流程图；

图4为本发明实施例的超低延迟接收组件的工作流程图；

图5为本发明实施例的抗抖动的超低延迟显示方法的流程图；

图6为本发明实施例的电子设备的结构图；

图7为本发明实施例的显示系统的结构图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

在已有技术中，屏幕内容分享技术存在卡顿、高时延、随机抖动、高时延波动等技术缺陷。

为了解决至少上述技术问题，本公开提供了数据发送和接收的方案。根据本公开，在视频数据发送时，当视频源设备的图像缓存准备到一定程度时，提前进行编码工作，能够减少视频源设备的一个同步周期的时延；在视频数据接收时，当解码完成到一定程度时，提前进行显示工作，也能够减少视频解码组件的一个同步周期的时延。以此方式，实现视频数据在设备间共享的低延迟显示。

下文中，将参考具体实施例并且结合附图描述根据本公开的技术方案。

图1是示出根据本公开的实施例的数据发送方法100的步骤示意图。参照图1，该方法100包括以下步骤102至步骤106。

在步骤102，从视频源设备接收视频源设备的缓存中待同步视频数据已达到预设阈值时发送的编码通知。

在一些实施例中，当视频源设备的缓存的待同步视频数据已达到预设阈值时，从视频源设备接收缓冲中断，以用于垂直同步通知与所述数据发送端相对应的编码组件进行编码，其中所述预设阈值根据缓存水线或系统负载被动态设置。以此方式，当视频源设备的图像缓存准备到一定程度时，提前通知后级编码组件开始工作，解耦了编码组件的关联性，即缓冲中断可以根据缓存水线动态设置，编解码组件不需要关心缓存状态，待缓冲中断就可以执行编码操作，同时能够保证视频源设备的数字图像能够在同一个同步周期被编码组件处理完成。

在步骤104，响应于所述编码通知对所述待同步视频数据进行压缩编码，得到视频压缩数据流。在一些实施例中，获取视频源设备的设备参数，根据视频源设备的设备参数和视频场景质量参数计算目标编码参数，结合目标编码参数对待同步视频数据进行压缩编码。以此方式，通过视频源设备的信息(分辨率、帧率)和视频场景质量参数(场景和质量要求)计算目标编码参数(编码模式、编码质量因子、编码分辨率)，从而对不同设备和视频质量进行适应性编码。

在步骤106，将所述视频压缩数据流发送至数据接收端。在一些实施例中，将视频压缩数据流打包成实时传输协议数据包，并通过无连接传输协议将实时传输协议数据包发送至数据接收端。以此方式，提高数据流发送效率。

在一些实施例中，检测视频源设备的第一同步信号间隔，获取数据发送端的第二同步信号间隔。此外，根据第一同步信号间隔和第二同步信号间隔，校准视频源设备的第一同步信号和数据发送端的第二同步信号。以此方式，可通过监测关键环节的同步信号间隔，并精确调整同步信号间隔，使整个数据链路具有抗抖动的超低延迟特性。

图2是示出根据本公开的实施例的数据接收方法200的步骤示意图。参照图2，该方法200包括以下步骤202至步骤206。

在步骤202，接收由数据发送端发送的视频压缩数据流，并对所述视频压缩数据流进行解码以得到解码数据。

在步骤204，当解码得到的解码数据达到预设阈值时，将当前的解码数据标记为解码完成。在一些实施例中，当解码组件解码得到的解码数据达到预设阈值时，将当前的解码数据标记为解码完成，并输出解码数据对应的数字图像，输出表示解码数据达到预设阈值的同步通知。以此方式，当视频解码组件完成到一定程度时，提前通知后级显示组件开始工作，能够保证视频解码组件的数字图像能够在同一个同步周期被后级显示组件处理完成，降低了一个同步周期的时延。

在步骤206，将所述解码数据发送至视频显示设备，使得所述视频显示设备同步显示与所述解码数据相对应的画面。在一些实施例中，将所述同步通知发送至所述视频显示设备，以及将所述数字图像发送至所述视频显示设备，使得所述视频显示设备根据所述同步通知对所述数字图像进行渲染，以显示所述画面。

在一些实施例中，获取数据发送端的第二同步信号间隔，检测视频显示设备的第三同步信号间隔。此外，根据第二同步信号间隔和第三同步信号间隔，校准数据发送端的第二同步信号和视频显示设备的第三同步信号。以此方式，可通过监测关键环节的同步信号间隔，并精确调整同步信号间隔，使整个数据链路具有抗抖动的超低延迟特性。

下文中，将通过示例描述根据本发明实施例的数据发送和接收方法的应用场景。

图3是示出根据本公开的实施例的超低延迟发送组件的工作流程图。超低延迟发送组件即为数据发送端，超低延迟发送组件可以被包含在视频服务器、同屏服务器或显示服务中，充当发送者角色。参照图3，该流程包括以下步骤302至步骤314。

在步骤302，动态感知视频源设备的输出能力。在一些实施例中，若视频源设备是MIPI摄像头，则感知输出能力时需要获取MIPI设备的节点、分辨率、帧率等信息。若视频源设备是HDMI-IN(高清多媒体输入接口)设备，则需要感知节点、分辨率、帧率等信息。

在步骤304，融合计算最佳的视频编码参数。在一些实施例中，通过视频源设备的信息(分辨率、帧率)和视频场景质量参数(场景和质量要求)计算目标编码参数(编码模式、编码质量因子、编码分辨率)。

在步骤306，动态感知视频源设备的同步信息。在一些实施例中，视频源设备包括：HDMI-IN或摄像头设备。

在步骤308，视频源设备的图像缓存准备到一定阈值时，调整vsync(垂直同步)通知编码。在一些实施例中，视频源设备的图像缓存准备到一定阈值(40-60％)时，视频源设备的驱动上报Buffer缓冲中断事件，Buffer缓冲中断事件处理中触发调整vsync通知编码。视频源设备的后级编码组件包含复杂处理步骤，所以当视频源设备的图像缓存准备到一定程度时，提前通知后级编码组件开始工作，能够保证视频源设备的数字图像能够在同一个同步周期被编码组件处理完成，降低了一个同步周期的时延。

在步骤310，超低延迟发送组件接收垂直同步通知。

在步骤312，超低延迟发送组件进行视频压缩编码。在一些实施例中，视频压缩编码优选H.264/H.265/VP9等高压缩比视频编码格式。

在步骤314，超低延迟发送组件通过网络传输，将视频压缩数据流发送到超低延迟接收组件。在一些实施例中，优选使用UDP(用户数据报协议)承载视频压缩数据流，并打包成RTP(实时传输协议)数据包。

图4是示出根据本公开的实施例的超低延迟接收组件的工作流程图。超低延迟接收组件即为数据接收端，超低延迟接收组件可以被包含在视频服务器、同屏服务器或显示服务中，充当接收者角色。参照图4，该流程包括以下步骤402至步骤410。

在步骤402，超低延迟接收组件通过网络接收视频压缩数据流。

在步骤404，超低延迟接收组件调用视频解码组件，解码视频压缩数据流。

在步骤406，当视频解码组件解码数字图像到一定阈值，标记解码完成并GOP(画面组)出帧。在一些实施例中，当视频解码组件解码数字图像到一定阈值(40-60％)，标记解码完成并GOP出帧；视频解码组件的后级显示组件包含复杂处理步骤，所以当视频解码组件完成到一定阈值时，提前通知后级显示组件开始工作，能够保证视频解码组件的数字图像能够在同一个同步周期被后级显示组件处理完成，降低了一个同步周期的时延。

在步骤408，超低延迟接收组件接收vsync通知。

在步骤410，超低延迟接收组件渲染解码后的数字图像到显示设备。显示设备即为视频显示设备。

图5是示出根据本公开的实施例的抗抖动的超低延迟显示方法流程图。参照图5，该流程包括以下步骤502至步骤510。

在步骤502，检测视频源设备的同步信号间隔。在一些实施例中，视频源设备包括：HDMI-IN或摄像头设备。同步信号间隔是指硬件同步信号间隔，例如：同步信号间隔为16.66646毫秒。

在步骤504，检测超低延迟发送组件的同步信号间隔。在一些实施例中，超低延迟发送组件的同步信号间隔16.66667毫秒。

在步骤506，精确校准视频源和超低延迟发送组件的同步信号。调整HDMI-IN设备的硬件同步时钟信号或者摄像头设备的硬件同步时钟信号。

在步骤508，检测超低延迟接收组件的同步信号间隔。在一些实施例中，超低延迟接收组件的同步信号间隔16.66667毫秒。

在步骤510，精确校准超低延迟发送组件和接收组件的同步信号。具体为调整VOP模块以实现硬件同步时钟信号。

在一些实施例中，调整HDMI-IN设备的硬件同步时钟信号是指调整hdmitx的phyclk，dp/edp的v0pll时钟频率；摄像头设备的硬件同步时钟信号是指dsi的aupll时钟频率，实现接收端和发送端的频率实现匹配。时钟频率的作用是调整时钟频率可以调整vsync的频率，比如将同步信号间隔16.66646毫秒调整到同步信号间隔16.66667毫秒。

上述时钟有微小误差，误差累计起来，会造成画面抖动，精确校准就是为了消除画面抖动，达到具有抗抖动的超低延迟特性。

根据本发明的另一方面，图6是示出根据本发明实施例的电子设备600的示意图。参照图6，该电子设备600包括存储器602、处理器604以及存储在所述存储器上并可在处理器上运行的程序。所述处理器604执行所述程序时实现如上面描述的数据发送方法或数据接收方法的各个步骤。

根据本发明的又一方面，图7是示出根据本发明实施例的一种显示系统的结构图。该系统包括：视频源设备、数据发送端、数据接收端和视频显示设备。

所述数据发送端被配置为从所述视频源设备接收在所述视频源设备的缓存中待同步视频数据已达到预设阈值时发送的编码通知，响应于所述编码通知对所述待同步视频数据进行压缩编码，得到视频压缩数据流，以及将所述视频压缩数据流发送至所述数据接收端。

所述数据接收端被配置为接收由所述数据发送端发送的所述视频压缩数据流，并对所述视频压缩数据流进行解码以得到解码数据，当解码得到的解码数据达到预设阈值时，将当前的解码数据标记为解码完成，以及将所述解码数据发送至所述视频显示设备，使得所述视频显示设备同步显示与所述解码数据相对应的画面。

数据发送端(包含抗抖动功能)和视频编码器组件之间双向数据连接。数据接收端(包含抗抖动功能)和视频解码器组件之间双向数据连接。视频源设备和数据发送端(包含抗抖动功能)之间双向数据连接。数据接收端(包含抗抖动功能)和视频显示设备之间双向数据连接。

视频源设备、数据发送端、数据接收端和视频显示设备是按照逻辑划分，上述组件可能以组件和服务的形式存在。数据发送端和数据接收端之间，物理层使用以太网或者高速WiFi，传输层使用UDP传输。

对于数据发送端和数据接收端之间通过双向箭头连接，数据接收端向数据发送端发送包含视频质量参数的数据包。

综上所述，本发明提供数据发送方法、数据接收方法、电子设备及显示系统，设计了数据发送端和数据接收端。数据发送端能够减少视频源设备的一个同步周期的时延；数据接收端能够减少视频解码组件的一个同步周期的时延。通过监测关键环节(视频源设备、数据发送端和数据接收端)的同步信号间隔，并精确调整同步信号间隔，使整个数据链路具有抗抖动的超低延迟特性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种数据发送方法，应用于数据发送端，其特征在于，包括：

从视频源设备接收在所述视频源设备的缓存中待同步视频数据已达到预设阈值时发送的编码通知；

响应于所述编码通知对所述待同步视频数据进行压缩编码，得到视频压缩数据流；以及

将所述视频压缩数据流发送至数据接收端。

2.根据权利要求1所述的数据发送方法，其特征在于，还包括：

根据所述视频源设备的设备参数和视频场景质量参数计算目标编码参数，

其中对所述待同步视频数据进行压缩编码包括：由编码组件根据所述目标编码参数对所述待同步视频数据进行压缩编码。

3.根据权利要求1所述的数据发送方法，其特征在于，从视频源设备接收在所述视频源设备的缓存中待同步视频数据已达到预设阈值时发送的编码通知包括：

当所述视频源设备的缓存中的待同步视频数据已达到预设阈值时，从所述视频源设备接收缓冲中断，以用于垂直同步通知与所述数据发送端相对应的编码组件进行编码，

其中所述预设阈值根据缓存水线或系统负载被动态设置。

4.根据权利要求1所述的数据发送方法，其特征在于，将所述视频压缩数据流发送至数据接收端包括：

将所述视频压缩数据流打包成实时传输协议数据包，并通过无连接传输协议将所述实时传输协议数据包发送至所述数据接收端。

5.根据权利要求1至4中任一项所述的数据发送方法，其特征在于，还包括：

检测所述视频源设备的第一同步信号间隔，获取所述数据发送端的第二同步信号间隔；以及

根据所述第一同步信号间隔和所述第二同步信号间隔，校准所述视频源设备的第一同步信号和所述数据发送端的第二同步信号。

6.一种数据接收方法，应用于数据接收端，其特征在于，包括：

接收由数据发送端发送的视频压缩数据流，并对所述视频压缩数据流进行解码以得到解码数据；

当解码得到的解码数据达到预设阈值时，将当前的解码数据标记为解码完成；以及

将所述解码数据发送至视频显示设备，使得所述视频显示设备同步显示与所述解码数据相对应的画面。

7.根据权利要求6所述的数据接收方法，其特征在于，当解码得到的解码数据达到预设阈值时，将当前的解码数据标记为解码完成包括：

当解码组件解码得到的解码数据达到预设阈值时，将当前的解码数据标记为解码完成，并输出与所述解码数据相对应的数字图像；以及

输出表示所述解码数据达到预设阈值的同步通知。

8.根据权利要求7所述的数据接收方法，其特征在于，将所述解码数据发送至视频显示设备，使得所述视频显示设备同步显示与所述解码数据相对应的画面包括：

将所述同步通知发送至所述视频显示设备；以及

将所述数字图像发送至所述视频显示设备，使得所述视频显示设备根据所述同步通知对所述数字图像进行渲染，以显示所述画面。

9.根据权利要求6至8中任一项所述的数据接收方法，其特征在于，还包括：

获取所述数据发送端的第二同步信号间隔，检测所述视频显示设备的第三同步信号间隔；以及

根据所述第二同步信号间隔和所述第三同步信号间隔，校准所述数据发送端的第二同步信号和所述视频显示设备的第三同步信号。

10.一种电子设备，其特征在于，包括：

存储器，被配置为存储可执行程序；以及

处理器，被配置为执行所述可执行程序以执行根据权利要求1至5中任一项所述的数据发送方法、或者根据权利要求6至9中任一项所述的数据接收方法。

11.一种显示系统，其特征在于，包括：视频源设备、数据发送端、数据接收端和视频显示设备，其中

所述数据发送端被配置为从所述视频源设备接收在所述视频源设备的缓存中待同步视频数据已达到预设阈值时发送的编码通知，响应于所述编码通知对所述待同步视频数据进行压缩编码，得到视频压缩数据流，以及将所述视频压缩数据流发送至所述数据接收端；

所述数据接收端被配置为接收由所述数据发送端发送的所述视频压缩数据流，并对所述视频压缩数据流进行解码以得到解码数据，当解码得到的解码数据达到预设阈值时，将当前的解码数据标记为解码完成，以及将所述解码数据发送至所述视频显示设备，使得所述视频显示设备同步显示与所述解码数据相对应的画面。