CN115022204A - Rtc的传输时延检测方法、装置以及设备 - Google Patents

Abstract

本申请提供一种RTC的传输时延检测方法、装置以及设备。第二终端在目标时钟的第一时间采集并向第一终端传输包含M个时钟区域的时钟图像，第一终端在目标时钟的第二时间显示该时钟图像，进而由检测设备根据第一时间和第二时间确定RTC的传输时延，实现了对测试数据的直观展示。进一步地，M个时钟区域包括至少一个第一时钟区域和显示第一时间的第二时钟区域，第一时钟区域最近一次显示的时间早于第一时间且晚于第二时钟区域上一次显示的时间，使得第二时钟区域的数字翻转频率低于时间更新频率，从而避免时间单元较小时，数字翻转较频繁，导致第二时钟区域出现ghost现象，提高了RTC的传输时延检测的准确性。

Description

RTC的传输时延检测方法、装置以及设备

技术领域

本申请涉及网络技术领域，尤其涉及一种实时通信(Real-Time Communication，RTC)的传输时延检测方法、装置以及设备。

背景技术

在RTC的数据传输场景中，常通过端到端的传输时延来衡量RTC的传输可靠性。目前，常通过在传输的数据上添加时间戳来确定端到端的传输时延。然而，测试数据并不直观，导致测试数据的解释成本较大。

发明内容

本申请实施例提供一种RTC的传输时延检测方法、装置以及设备，以期在对传输时延进行准确检测的基础上，直观展示测试数据。

第一方面，本申请实施例提供一种RTC的传输时延检测方法，应用于检测设备，包括：从第一终端显示的时钟图像中，识别目标时钟的第一时间，该时钟图像为第二终端基于RTC向该第一终端发送的时钟视频数据流中的图像帧，且该时钟图像包括M个时钟区域，M为大于1的整数，该M个时钟区域包括至少一个第一时钟区域和显示该第一时间的第二时钟区域，该第一时钟区域最近一次显示的时间早于该第一时间且晚于该第二时钟区域上一次显示的时间，该第一时间为第二终端采集该时钟图像的时间；根据该目标时钟的第一时间和该目标时钟的第二时间，确定该第一终端和该第二终端之间的RTC的传输时延，该第二时间为该第一终端显示该时钟图像的时间。

第二方面，本申请实施例提供一种RTC的传输时延检测方法，应用于时钟设备，包括：从M个时钟区域中，确定第二时钟区域，该M个时钟区域还包括除该第二时钟区域之外的至少一个第一时钟区域，该第一时钟区域最近一次显示的时间晚于该第二时钟区域最近一次显示的时间；在该第二时钟区域，显示目标时钟的第一时间，该第一时间为第二终端采集时钟图像的时间，且该第一时间用于检测第一终端和该第二终端之间的RTC数据传输时延，该时钟图像包括该目标时钟的第一时间。

第三方面，本申请实施例提供一种RTC的传输时延检测方法，应用于第一终端，包括：基于RTC接收第二终端发送的时钟视频数据流；显示包括M个时钟区域的时钟图像，M为大于1的整数，该时钟图像为该时钟视频数据流中的图像帧，该M个时钟区域包括至少一个第一时钟区域和显示第一时间的第二时钟区域，该第一时钟区域最近一次显示的时间早于该第一时间且晚于该第二时钟区域上一次显示的时间，该第一时间为第二终端采集该时钟图像的时间，该第一时间用于检测该第一终端和该第二终端之间的RTC数据传输时延。

第四方面，本申请实施例提供一种时延检测装置，包括：识别单元，用于从第一终端显示的时钟图像中，识别目标时钟的第一时间，该时钟图像为第二终端基于RTC向该第一终端发送的时钟视频数据流中的图像帧，且该时钟图像包括M个时钟区域，M为大于1的整数，该M个时钟区域包括至少一个第一时钟区域和显示该第一时间的第二时钟区域，该第一时钟区域最近一次显示的时间早于该第一时间且晚于该第二时钟区域上一次显示的时间，该第一时间为第二终端采集该时钟图像的时间；处理单元，用于根据该目标时钟的第一时间和该目标时钟的第二时间，确定该第一终端和该第二终端之间的RTC的传输时延，该第二时间为该第一终端显示该时钟图像的时间。

在一种实现方式中，时钟图像的M个时钟区域均包括校验信息，该处理单元包括识别单元、校验单元和时间集确定单元；该识别单元用于针对该M个时钟区域中的每个时钟区域，识别得到该时钟区域中的校验信息和时间；该校验单元用于根据该校验信息对该时钟区域中的时间进行校验；该时间集确定单元用于：在校验通过的情况下，将该时钟区域中的时间加入该备选时间集，或者，在校验未通过的情况下，将该时钟区域中的时间丢弃，或，结束基于该时钟图像的传输时延检测过程。

第五方面，本申请实施例提供一种时钟装置，包括：处理单元，用于从M个时钟区域中，确定第二时钟区域，该M个时钟区域还包括除该第二时钟区域之外的至少一个第一时钟区域，该第一时钟区域最近一次显示的时间晚于该第二时钟区域最近一次显示的时间；显示单元，用于在该第二时钟区域，显示目标时钟的第一时间，该第一时间为第二终端采集时钟图像的时间，且该第一时间用于检测第一终端和该第二终端之间的RTC数据传输时延，该时钟图像包括该目标时钟的第一时间。

第六方面，本申请实施例提供一种通信装置，包括：收发单元，用于基于RTC接收第二终端发送的时钟视频数据流；显示单元，用于显示包括M个时钟区域的时钟图像，M为大于1的整数，该时钟图像为该时钟视频数据流中的图像帧，该M个时钟区域包括至少一个第一时钟区域和显示第一时间的第二时钟区域，该第一时钟区域最近一次显示的时间早于该第一时间且晚于该第二时钟区域上一次显示的时间，该第一时间为第二终端采集该时钟图像的时间，该第一时间用于检测该第一终端和该第二终端之间的RTC数据传输时延。

第七方面，本申请实施例提供一种传输时延检测系统，包括：如第四方面提供的时延检测装置，和，如第五方面提供的时钟装置；该时延检测装置用于基于数据传输系统传输的时钟图像，对该数据传输系统的RTC的传输时延进行检测；其中，该时钟图像是该数据传输系统对该时钟装置的显示界面进行图像采集得到的。

第八方面，本申请实施例提供一种电子设备，包括：至少一个处理器和存储器；该存储器存储计算机执行指令；该至少一个处理器执行该存储器存储的计算机执行指令，使得该至少一个处理器执行如第一方面、第二方面或第三方面提供的方法。

第九方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，当处理器执行该计算机执行指令时，实现如第一方面、第二方面或第三方面提供的方法。

第十方面，本申请实施例提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现第一方面、第二方面或第三方面提供的方法。

在本申请实施例中，第二终端在目标时钟的第一时间采集并向第一终端传输包含M个时钟区域的时钟图像，第一终端在目标时钟的第二时间显示该时钟图像，进而由检测设备从时钟图像识别目标时钟的第一时间，再根据目标时钟的第一时间和第二时间确定第二终端与第一终端之间的RTC的传输时延，实现了对测试数据的直观展示。

进一步地，M个时钟区域包括至少一个第一时钟区域和显示第一时间的第二时钟区域，第一时钟区域最近一次显示的时间早于第一时间且晚于第二时钟区域上一次显示的时间，第二时钟区域与至少一个第一时钟区域显示目标时钟不同时刻的时间，使得第二时钟区域的数字翻转频率低于时间更新频率，从而避免时间单元较小时，数字翻转较频繁，导致第二时钟区域出现ghost现象，提高了从时钟图像识别第一时间的识别准确性，进而提高了RTC的传输时延检测的准确性。

附图说明

图1为本申请提供的一种传输时延检测的场景示意图；

图2为本申请实施例提供的一种目标时钟的界面；

图3为本申请实施例提供的另一种目标时钟的界面；

图4为本申请实施例提供的一种RTC的传输时延检测方法的流程示意图；

图5为本申请实施例提供的另一种RTC的传输时延检测方法的流程示意图；

图6为本申请实施例提供的另一种RTC的传输时延检测方法的流程示意图；

图7为本申请实施提供的一种时延检测装置的示意性框图；

图8为本申请实施例提供的一种时钟装置的示意性框图；

图9为本申请实施例提供的一种通信装置的示意性框图；

图10为本申请示例性实施例提供的一种电子设备的结构示意图。

具体实施方式

本申请适用于通信场景，尤其适用于RTC的数据传输场景。

RTC技术是指能够实时发送和接收文本、音频和视频等的通信技术，适用于直播、点播、视频会议、在线课堂、在线聊天室、游戏互动等场景，实现纯音频数据、视频数据等的实时传输。本申请的技术方案即可以具体应用于基于RTC实现的直播、点播、视频会议、在线课堂、在线聊天室、游戏互动等通信场景。

为便于理解本申请实施例，首先对涉及的专业术语进行说明：

1、光学字符识别(Optical Character Recognition，OCR)：一种电子或者机械设备，可将图片中的文本(打印，手写或者印刷)转换出来。

2、刷新率(Refresh rate)：显示器每秒更新新图像的次数，以赫兹(Hz)为单位测量。

3、响应时间(Response time)：对于显示器，是从一种颜色切换到另一种颜色所需的时间。例如以从黑色到白色再回到黑色所需的时间来测量，以毫秒(ms)为单位表示。但是，也存在灰到灰(GtG)，有时甚至只是黑到白的情况。

下面主要以低延时直播为例对本申请进行说明，但并不应理解为对本申请的任何限定。

图1为本申请提供的一种传输时延检测的场景示意图。如图1所示，传输时延检测系统100可以用于对数据传输系统200的传输时延进行检测。

其中，数据传输系统200包括服务端220和多个客户端，例如播放客户端230和主播客户端210。多个客户端之间通过服务端220可以建立通信连接，在RTC场景中，服务端220即用来在多个客户端之间提供RTC服务，多个客户端可以分别作为发送端(如主播客户端210)或接收端(如播放客户端230)，通过服务端220实现实时通信。例如，服务端220分别与播放客户端230和主播客户端210进行通信连接。主播客户端210将录制的数据流发送至服务端220，该过程或称作推流过程，主播客户端210可以在音/视频录制的过程中持续向服务端220发送实时的数据流；播放客户端230从服务端220获取服务端220转发的媒体数据流，该过程或称作拉流过程，该媒体数据流可以是主播客户端210正在录制的数据流中已发送至服务端220的部分流数据。基于此，通过服务端220向播放客户端230传输主播客户端210中实时录制的音/视频，并在播放客户端230中进行渲染播放，以实现直播。

其中，客户端与服务端220之间通过网络建立连接。网络为客户端与服务端之间提供了通信链路的介质。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

上述播放客户端230、服务端220和主播客户端210的架构虽然以低延时直播为例，原理上WebRTC(Web Real-Time Communication)通讯也与之相似。另外服务端不是必须的(比如p2p传输就不需要服务器转发)。播放客户端和主播客户端即可以用网页程序实现，也可以用原生应用程序(native app)实现。

其中，任一客户端可以为浏览器、APP(Application，应用程序)、或网页应用如H5(HyperText Markup Language5，超文本标记语言第5版)应用、或轻应用(也被称为小程序，一种轻量级应用程序)或云应用等，客户端可以基于服务端提供的相应服务的SDK(Software Development Kit，软件开发工具包)，如基于RTC SDK开发获得等。客户端可以部署在电子设备中，需要依赖设备运行或者设备中的某些app而运行等。电子设备例如可以具有显示屏并支持信息浏览等，如可以是个人移动终端如手机、平板电脑、个人计算机等。在电子设备中通常还可以配置各种其它类应用，例如人机对话类应用、模型训练类应用、文本处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

可选的，上述播放客户端230所实现的终端可以是下文中的第一终端，上述主播客户端210所实现的终端可以是下文中的第二客户端。但应理解的是，第一终端并不限于播放客户端230，第二终端也不限于主播客户端210。例如，在网络电话场景中，第一终端和第二终端可以分别由通话两端的客户端实现。为便于说明，下文中仅以第一终端为播放客户端230，第二终端为主播客户端210为例进行说明。

服务端220可以包括提供各种服务的服务器，例如，服务端220可以包括服务器221、222、223等。其中，服务端可以包括为多个客户端提供通信服务的服务器，为客户端上使用的模型提供支持的用于后台训练的服务器，对客户端发送的数据进行处理的服务器等。

需要说明的是，服务端220可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。

数据传输系统200在主播客户端210至播放客户端230之间进行数据传输时，存在端到端的传输时延。这种端到端的传输时延是衡量RTC的传输可靠性的重要指标，因此需要对RTC的数据传输过程中端到端的传输时延进行准确测量。

目前，常通过在主播客户端210传输的视频画面上添加时间戳，再通过播放客户端230接收视频数据流后，解析视频画面上的时间戳，以实现传输时延的检测。然而，这种检测方法得到的测试数据不能直观反映出传输时延，需要较高的解释成本。

针对上述问题，本申请实施例提供了一种传输时延的检测方案，能够基于M个时钟区域中的时间对测试数据进行直观展示。并为了能够实现该方案提供了一些可能的传输时延检测系统100的实现方式。参见图1所示。该传输时延检测系统100可以包括：时钟设备110和检测设备120。

其中，时钟设备110可以用于根据预设的时钟程序，渲染并显示目标时钟。该时钟设备110可以实现为智能钟表、智能闹钟、电脑、笔记本等任意部署有时钟程序的终端设备，本申请对时钟设备110的外观不做限定。

时钟设备110用于显示目标时钟的界面，以使主播客户端210采集包含时钟设备110显示界面的视频数据流(即时钟视频数据流)；进而，主播客户端210将采集的时钟视频数据流推流至服务器220，播放客户端230从服务器220拉流得到来自于主播客户端210的时钟视频数据流，并播放该时钟视频数据流；进一步地，检测设备120可以从播放客户端230显示的时钟视频数据流中的时钟图像，识别目标时钟的时间，并基于该时间确定RTC的端到端传输时延。

检测设备120可以是独立部署的设备，或者检测设备120可以部署于播放客户端230所实现的第一终端，本申请对此不做限定。

本申请实施例中，时钟设备110所显示的目标时钟的精确程度，决定了传输时延检测的粒度，例如，时钟设备110显示的目标时钟精确到百毫秒级相对于精确到秒级时，检测设备120检测的粒度更小，检测的准确性更高。

图2为本申请实施例提供的一种目标时钟的界面。时钟程序通过控制目标时钟的数字翻转，实现时间的更新。如图2所示，目前，受到屏幕响应时间的影响，在数字翻转的过程中，新的数字8开始显示，而前一数字7还未消失，导致出现了鬼影(ghost)现象，或称作余晖效应。为了避免ghost现象对传输时检测延准确性的影响，时钟设备110显示的目标时钟的时间仅能显示较低精确度的时间单位，例如目标时钟的最小时间单位为秒或者百毫秒时可以避免数字翻转过快带来的ghost现象。然而，对于RTC的数据传输而言，秒级或者百毫秒级的时间单位无法满足传输时延的准确检测。基于此，本申请实施例中的时钟设备110显示的目标时钟的界面可以参见图3。

图3为本申请实施例提供的另一种目标时钟的界面。在如图3所示的目标时钟的界面中，包括M个时钟区域，M为大于1的整数，每个时钟区域也可以称作一个带(slice)，每个时钟区域显示一个时刻的时间(time record)。每个时钟区域均显示有至少一个时间单位上的时间，例如，包括天、时、分、秒、10毫秒等中的一个或者多个。每个时钟区域显示的时间均不相同，一般来说，各时钟区域显示的时间在最小的时间单位上具有差异，例如slice1的10毫秒单位上显示83、slice2的10毫秒单位上显示84、slice3的10毫秒单位上显示82。需要说明的是，slice1～3中显示的时间是目标时钟在不同时刻的时间，时钟设备110可以将新的时刻的时间更新至其中的一个时钟区域。应理解的是，各时钟区域中显示的时间在显示的初始阶段会存在由暗变亮的过程，如图3中的slice2还未显示至最亮亮度；且各时钟区域中显示的时间在被擦除的过程中会存在由亮变暗的过程，如图3中的slice3由于时间被擦除而变暗。

示例性的，在将当前时刻的时间(同下文中的第一时间)更新至时钟区域之前，M个时钟区域显示的时间如图3中的(a)所示，其中，slice2显示的时间是M个时钟区域中的最晚时间，为了最大限度避免ghost现象，可以把第一时间更新在该slice2中，即得到图3中的(b)。

时钟设备110在每个时刻(例如每隔10毫秒的时刻)，可以从M个时钟区域中，确定第二时钟区域，并在第二时钟区域，显示目标时钟的第一时间，该第二时钟区域为未更新当前时刻的时间的情况下，M个时钟区域中显示的时间最早的时钟区域，例如，第二时钟区域可以是图3所示的slice2。M个时钟区域中除该第二时钟区域之外还包括至少一个第一时钟区域，该第一时钟区域中的时间早于更新第一时间之前第二时钟区域的时间。

在一些实施例中，M个时钟区域显示的时间可能在当前时刻已被擦除而停止显示。此种情况下，时钟设备110可以将M个时钟区域中，最近一次显示的时间最早的时钟区域确定为第二时钟区域；或者，时钟设备110可以将M个时钟区域中，最近一次显示的渲染时间(last_draw_time)最早的时钟区域确定为第二时钟区域，最近一次显示的渲染时间(last_draw_time)最早的时钟区域，其最旧带(oldest slice)参数的值最小。

在一些实施例中，时钟设备110将第一时间显示于第二时钟区域后，可以在至少一个第一时钟区域上停止时间显示。举例而言，时钟设备110可以将屏幕缓冲区(on screenbuffer)对应的存储空间中的时间内容删除，以实现擦除第一时钟区域上显示的实现，也即停止第一时钟区域上时间显示。其中，屏幕缓冲区对应的存储空间可以位于显卡内存(简称显存)中，当然本申请并不对屏幕缓冲区的存储空间进行限定。

需要说明的是，目标时钟为以统一标准时间设定的时钟，若不同时钟设备显示的均为目标时钟，则表示两个时钟设备采用了统一的时钟，二者在同一时刻指示的时间均相同，统一多个时钟设备的手段比如使用网络时间协议(Network Time Protocol，NTP)技术。

可选的，M与显示器的响应时间成正比，也即显示器的响应时间较长时，时钟区域的数量更多，以进一步避免数字翻转时产生的ghost现象。该显示器可以包括第一终端的显示器和/或该时钟设备110的显示器。

因此，时钟设备110基于M个时钟区域来显示同一时钟的不同时刻的时间，避免了不同时刻在同一时钟区域更新时间，导致数字翻转时产生ghost现象，为检测设备准确识别目标时钟的时间提供了可能。

在RTC的传输时延检测过程中，主播客户端210可以对时钟设备上显示的包含目标时钟的显示界面进行图像采集，以获取时钟视频数据流，通过时钟视频数据流在主播客户端210与播放客户端230之间的传输，来检测两者之间的传输时延。示例性的，主播客户端210将录制的时钟视频数据流发送至服务端220，主播客户端210可以在时钟视频数据流的录制过程中持续向服务端220发送实时的数据流，播放客户端230从服务端220实时获取服务端220中的时钟视频数据流，该时钟视频数据流可以是主播客户端210正在录制的时钟视频数据流中已发送至服务端220的数据流。其中，时钟视频数据流包括多个图像帧，而图像帧包括时钟图像。如果图象帧不包含时钟图像，检测系统因检测不到时钟图像会自动跳过该帧，继续检查后续的图象帧。

播放客户端230可以在目标时钟的第二时间，显示时钟视频数据流中的一个时钟图像，该时钟图像中可以呈现有目标时钟的M个时钟区域，在M个时钟区域中的第二时钟区域显示有第一时间，如图3中(b)所示，slice2在时间更新后呈现有该第一时间。

可选的，播放客户端230可以在其实现为第一终端时，通过第一终端上部署的显示器显示该时钟图像，或者通过第一终端连接的外部显示器显示该时钟图像。

当播放客户端230在目标时钟的第二时间，显示时钟图像时，检测设备120在第二时间对播放客户端230显示的时钟图像进行识别，以得到第一时间，并根据目标时钟的第一时间和目标时钟的第二时间，确定主播客户端210和播放客户端230之间的RTC的传输时延。

示例性的，检测设备120识别目标时钟的第一时间可以包括：检测设备120根据时钟图像中M个时钟区域，进行时间识别，得到备选时间集，并从备选时间集中确定时间最晚的时间作为第一时间。

在第一种实施例中，备选时间集可以包括从M个时钟区域中分别识别的时间，然而由于M个时钟区域中可能存在部分时钟区域因时间内容被擦除而无法准确识别，因此在第二种实施例中，备选时间集包括从M个时钟区域中被准确识别的时间，而未被准确识别的时间则不加入该备选时间集。

下面接续上述第二种实施例，对如何确定时钟区域中的时间被准确识别进行说明：

结合图3所示，时钟图像的M个时钟区域中还呈现有校验信息。针对M个时钟区域中的每个时钟区域，检测设备120识别得到该时钟区域中的校验信息和时间，并根据校验信息对该时钟区域中的时间进行校验。在校验通过的情况下，检测设备120可以将时钟区域中的时间加入上述备选时间集；或者，在校验未通过的情况下，检测设备120可以将时钟区域中的时间丢弃，或，可以结束基于该时钟图像的传输时延检测过程。

接续上述示例，检测设备120分别对M个时钟区域进行识别后，即得到被准确识别的一个或多个时间组成的备选时间集。当然本申请并不排除M个时钟区域均无法识别得到准确时间的情况，而此种情况下，检测设备120结束基于该时钟图像的传输时延检测过程。

可选的，校验信息可以是基于循环冗余校验(Cyclic Redundancy Check，CRC)技术产生的CRC校验码，CRC是一种根据网络数据包或计算机文件等数据产生简短固定位数校验码的一种信道编码技术，主要用来检测或校验数据传输或者保存后可能出现的错误，其是利用除法及余数的原理来作错误侦测的。

示例性的，针对M个时钟区域中的每个时钟区域，时钟设备110可以根据要显示的时间，生成该时间对应的CRC校验码，并将该时间和CRC校验码渲染并显示于该时钟区域。进一步地，针对M个时钟区域中的每个时钟区域，检测设备120识别得到该时钟区域中呈现的CRC校验码和时间后，可以基于CRC技术再生成该时间对应的CRC校验码，进而检测设备120将生成的CRC校验码和该时钟区域中呈现的CRC校验码对比，在两者一致的情况下，检测设备120确定校验通过，在两者不一致的情况下，检测设备120确定校验不通过。需要说明的是，CRC检验码仅为校验信息的一种示例而非限定，例如该校验信息还可以是哈希值等。

在一些实施例中，检测设备120可以在播放客户端230于第二时间显示时钟图像时，对播放客户端230显示时钟图像的显示界面进行图像采集，得到第一时钟检测图像，并根据第一时钟检测图像，识别目标时钟的第一时间。可选的，检测设备120可以基于OCR技术对第一时钟检测图像进行图像识别，得到目标时钟的第一时间。

在一些实施例中，检测设备120可以在播放客户端230于第二时间显示时钟图像时，对目标时钟的显示界面进行图像采集，得到第二时钟检测图像，进而检测设备120可以根据该第二时钟检测图像，识别目标时钟的第二时间。

作为一种示例，目标时钟的显示界面可以是上述时钟设备110的显示界面，也即主播客户端210和检测设备120均对时钟设备110的显示界面进行图像采集；作为另一种示例，时钟设备110可以包括推流端时钟设备111和拉流端时钟设备112，推流端时钟设备111和拉流端时钟设备112均显示有目标时钟的时间，也即推流端时钟设备111和拉流端时钟设备112中显示的时间是基于同一时钟标准的时间，在同一时刻推流端时钟设备111和拉流端时钟设备112显示的时间一致，主播客户端210可以对推流端时钟设备111进行图像采集，检测设备120可以对拉流端时钟设备112进行图像采集。上述两种示例的区别在于，第二种示例实现分布式的时钟设备部署，便于时钟设备的放置与使用；而第一种示例仅存在一种时钟设备，可以确保第一时间和第二时间所基于的目标时钟唯一，避免时钟误差对传输时延检测的影响。

可选的，第一时钟检测图像和第二时钟检测图像可以是同一时钟检测图像(如目标时钟检测图像)，也即检测设备120可以在播放客户端230于第二时间显示时钟图像时，对播放客户端230显示时钟图像的显示界面以及目标时钟的显示界面进行图像采集，得到目标时钟检测图像，该目标时钟检测图像中呈现有播放客户端230显示的时钟图像的显示界面以及目标时钟的显示界面。

在播放客户端230显示时钟图像的过程中，不可避免的存在显示时延，该显示时延为存入屏幕缓冲区(on screen buffer)内的数据显示至显示器存在的时延，为了避免显示时延对传输时延检测结果的影响，在一些实施例中，播放客户端120可以在对时钟图像进行渲染时，对时钟图像中各时钟区域最近一次显示的时间增加该显示时延，以补偿播放客户端120显示时钟图像时存在的显示时延。进而，播放客户端230将渲染后的时钟图像通过屏幕缓冲区进行显示。

为了能够进一步降低播放客户端230对时钟图像的渲染显示过程的时延，以降低渲染显示过程中时延对传输时延检测的影响。针对M个时钟区域中的每个时钟区域，播放客户端230可以先将该时钟区域所要显示的时间渲染到屏幕外缓冲区(off screen buffer)，或者说将时间渲染并保存于屏幕外缓冲区对应的存储空间，屏幕外缓冲区对应的存储空间可以部署于内存或者显存中，本申请对此不作限定。进而，播放客户端230响应于触发时机，通过图形处理器(Graphics Processing Unit，GPU)将屏幕外缓冲区的内容拷贝到屏幕缓冲区，以使播放客户端230显示屏幕缓冲区内的内容；或者，当时钟图像是独占屏幕时，播放客户端230响应于触发时机，可以将屏幕外缓冲区和屏幕内缓冲区的分别对应的寄存器地址进行修改，以实现屏幕外缓冲区和屏幕内缓冲区的交换(swap)。

因此，本申请实施例通过第二终端在目标时钟的第一时间采集并向第一终端传输包含M个时钟区域的时钟图像，并由第一终端在目标时钟的第二时间显示该时钟图像，进而由检测设备从时钟图像识别目标时钟的第一时间，再根据目标时钟的第一时间和第二时间确定第二终端与第一终端之间的RTC的传输时延，实现了对测试数据的直观展示。

进一步地，M个时钟区域包括至少一个第一时钟区域和显示第一时间的第二时钟区域，第一时钟区域最近一次显示的时间早于第一时间且晚于第二时钟区域上一次显示的时间，第二时钟区域与至少一个第一时钟区域显示目标时钟不同时刻的时间，使得第二时钟区域的数字翻转频率低于时间更新频率，从而避免时间单元较小时，数字翻转较频繁，导致第二时钟区域出现ghost现象，提高了从时钟图像识别第一时间的识别准确性，进而提高了RTC的传输时延检测的准确性。

需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的设备、区域等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图4为本申请实施例提供的一种RTC的传输时延检测方法的流程示意图。可选的，该方法300的执行主体可以是上述检测设备120。如图4所示，该方法300包括S310和S320。

S310，从第一终端显示的时钟图像中，识别目标时钟的第一时间，该时钟图像为第二终端基于RTC向该第一终端发送的时钟视频数据流中的图像帧，且该时钟图像包括M个时钟区域，M为大于1的整数，该M个时钟区域包括至少一个第一时钟区域和显示该第一时间的第二时钟区域，该第一时钟区域最近一次显示的时间早于该第一时间且晚于该第二时钟区域上一次显示的时间，该第一时间为第二终端采集该时钟图像的时间；

S320，根据该目标时钟的第一时间和该目标时钟的第二时间，确定该第一终端和该第二终端之间的RTC的传输时延，该第二时间为该第一终端显示该时钟图像的时间。

在一些实施例中，从第一终端显示的时钟图像中，识别目标时钟的第一时间，包括：根据该时钟图像中M个时钟区域，进行时间识别，得到备选时间集；从该备选时间集中确定时间最晚的时间作为该第一时间。

在一些实施例中，该时钟图像的M个时钟区域均包括校验信息，该根据该时钟图像中M个时钟区域，进行时间识别，得到备选时间集，包括：针对该M个时钟区域中的每个时钟区域，识别得到该时钟区域中的校验信息和时间；根据该校验信息对该时钟区域中的时间进行校验；在校验通过的情况下，将该时钟区域中的时间加入该备选时间集；或者，在校验未通过的情况下，将该时钟区域中的时间丢弃，或，结束基于该时钟图像的传输时延检测过程。

在一些实施例中，该从第一终端显示的时钟图像中，识别目标时钟的第一时间，包括：在该第一终端显示该时钟图像时，对该时钟图像的显示界面进行图像采集，得到第一时钟检测图像；根据该第一时钟检测图像，识别该目标时钟的第一时间。

在一些实施例中，该方法还包括：在该第一终端显示该时钟图像时，对该目标时钟的显示界面进行图像采集，得到第二时钟检测图像；根据该第二时钟检测图像，识别该目标时钟的第二时间。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，S310和S320的执行主体可以为设备A；又比如，S310的执行主体可以为设备A，S320的执行主体可以为设备B。

图5为本申请实施例提供的另一种RTC的传输时延检测方法的流程示意图。可选的，该方法400的执行主体可以是上述时钟设备110。如图5所示，该方法400包括S410和S420。

S410，从M个时钟区域中，确定第二时钟区域，该M个时钟区域还包括除该第二时钟区域之外的至少一个第一时钟区域，该第一时钟区域最近一次显示的时间晚于该第二时钟区域最近一次显示的时间；

S420，在该第二时钟区域，显示目标时钟的第一时间，该第一时间为第二终端采集时钟图像的时间，且该第一时间用于检测第一终端和该第二终端之间的RTC数据传输时延，该时钟图像包括该目标时钟的第一时间。

在一些实施例中，该方法还包括：在该至少一个第一时钟区域，停止时间显示。

在一些实施例中，该从M个时钟区域中，确定第二时钟区域，包括：将该M个时钟区域中，最近一次显示的时间最早的时钟区域作为该第二时钟区域；或者，将该M个时钟区域中，最近一次显示时的渲染时间最早的时钟区域作为该第二时钟区域。

在一些实施例中，该M与显示器的响应时间成正比。

图6为本申请实施例提供的另一种RTC的传输时延检测方法的流程示意图。可选的，该方法500的执行主体可以是上述播放客户端230。如图6所示，该方法500包括S510和S520。

S510，基于RTC接收第二终端发送的时钟视频数据流；

S520，显示包括M个时钟区域的时钟图像，M为大于1的整数，该时钟图像为该时钟视频数据流中的图像帧，该M个时钟区域包括至少一个第一时钟区域和显示第一时间的第二时钟区域，该第一时钟区域最近一次显示的时间早于该第一时间且晚于该第二时钟区域上一次显示的时间，该第一时间为第二终端采集该时钟图像的时间，该第一时间用于检测该第一终端和该第二终端之间的RTC数据传输时延。

在一些实施例中，该第一终端显示包括M个时钟区域的时钟图像，包括：该第一终端对该时钟图像进行渲染时，对该时钟图像中，各时钟区域最近一次显示的时间增加显示时延，该显示时延为存入屏幕缓冲区内的数据显示至显示器存在的时延；该第一终端将渲染后的时钟图像通过该屏幕缓冲区进行显示。

需要说明的是，图4所示的方法300、图5所示的方法400和图6所示的方法500，其可能的实现方式可以参见前述传输时延检测系统中的相关说明，此处不再赘述。

图7为本申请实施提供的一种时延检测装置的示意性框图。如图7所示，该时延检测装置600包括：识别单元610和处理单元620。识别单元610，用于从第一终端显示的时钟图像中，识别目标时钟的第一时间，所述时钟图像为第二终端基于RTC向所述第一终端发送的时钟视频数据流中的图像帧，且所述时钟图像包括M个时钟区域，M为大于1的整数，所述M个时钟区域包括至少一个第一时钟区域和显示所述第一时间的第二时钟区域，所述第一时钟区域最近一次显示的时间早于所述第一时间且晚于所述第二时钟区域上一次显示的时间，所述第一时间为第二终端采集所述时钟图像的时间；处理单元620，用于根据所述目标时钟的第一时间和所述目标时钟的第二时间，确定所述第一终端和所述第二终端之间的RTC的传输时延，所述第二时间为所述第一终端显示所述时钟图像的时间。

可选的，该时延检测装置600可以对应于上文图1所示实施例中的检测设备120，例如可以实现为检测设备120，或者实现为配置于检测设备120中的部件(如芯片或芯片系统等)。

该时延检测装置600可以用于实现前述检测设备120实现的各种可能的实现方式，且与之具有相同或相似的技术效果，此处不再赘述。

图8为本申请实施例提供的一种时钟装置的示意性框图。如图8所示，该时钟装置700包括：处理单元710和显示单元720。处理单元710可以用于从M个时钟区域中，确定第二时钟区域，所述M个时钟区域还包括除所述第二时钟区域之外的至少一个第一时钟区域，所述第一时钟区域最近一次显示的时间晚于所述第二时钟区域最近一次显示的时间；显示单元720可以用于在所述第二时钟区域，显示目标时钟的第一时间，所述第一时间为第二终端采集时钟图像的时间，且所述第一时间用于检测第一终端和所述第二终端之间的RTC数据传输时延，所述时钟图像包括所述目标时钟的第一时间。

可选的，该时钟装置700可以对应于上文图1所示实施例中的时钟设备110，例如可以实现为时钟设备110，或者实现为配置于时钟设备110中的部件(如芯片或芯片系统等)。

该时钟装置700可以用于实现前述时钟设备110实现的各种可能的实现方式，且与之具有相同或相似的技术效果，此处不再赘述。

图9为本申请实施例提供的一种通信装置的示意性框图。如图9所示，该通信装置800包括：收发单元810和显示单元820。收发单元810可以用于基于RTC接收第二终端发送的时钟视频数据流；显示单元820用于显示包括M个时钟区域的时钟图像，M为大于1的整数，所述时钟图像为所述时钟视频数据流中的图像帧，所述M个时钟区域包括至少一个第一时钟区域和显示第一时间的第二时钟区域，所述第一时钟区域最近一次显示的时间早于所述第一时间且晚于所述第二时钟区域上一次显示的时间，所述第一时间为第二终端采集所述时钟图像的时间，所述第一时间用于检测所述第一终端和所述第二终端之间的RTC数据传输时延。

可选的，该通信装置800可以对应于第一终端，例如可以是上文图1所示实施例中的播放客户端230，例如可以实现为第一终端，或者实现为配置于第一终端中的部件(如芯片或芯片系统等)。

该通信装置800可以用于实现前述播放客户端230实现的各种可能的实现方式，且与之具有相同或相似的技术效果，此处不再赘述。

图10为本申请示例性实施例提供的一种电子设备的结构示意图。该电子设备可以实现为上文方法实施例中的时钟设备、检测设备、第一终端或第二终端。如图10所示，该电子设备900包括：处理器910，处理器910可以从存储器中调用并运行计算机程序，以实现本申请实施例中的方法。

可选地，如图10所示，电子设备900还可以包括存储器930。其中，处理器910可以从存储器930中调用并运行计算机程序，以实现本申请实施例中的方法。

其中，存储器930可以是独立于处理器910的一个单独的器件，也可以集成在处理器910中。

可选地，如图10所示，电子设备900还可以包括收发器920，处理器910可以控制该收发器920与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。

其中，收发器920可以包括发射机和接收机。收发器920还可以进一步包括天线，天线的数量可以为一个或多个。

可选地，该电子设备900可以实现本申请实施例的各个方法中图像生成系统对应的相应流程，为了简洁，在此不再赘述。

本申请还提供了一种处理装置，包括至少一个处理器，所述至少一个处理器用于执行存储器中存储的计算机程序，以使得所述处理装置执行上述方法实施例中时钟设备、检测设备、第一终端或第二终端执行的方法。

本申请实施例还提供了一种处理装置，包括处理器和输入输出接口。所述输入输出接口与所述处理器耦合。所述输入输出接口用于输入和/或输出信息。所述信息包括指令和数据中的至少一项。所述处理器用于执行计算机程序，以使得所述处理装置执行上述方法实施例中时钟设备、检测设备、第一终端或第二终端执行的方法。

本申请实施例还提供了一种处理装置，包括处理器和存储器。所述存储器用于存储计算机程序，所述处理器用于从所述存储器调用并运行所述计算机程序，以使得所述处理装置执行上述方法实施例中时钟设备、检测设备、第一终端或第二终端执行的方法。

应理解，上述处理装置可以是一个或多个芯片。例如，该处理装置可以是现场可编程门阵列(field programmable gate array，FPGA)，可以是专用集成芯片(applicationspecific integrated circuit，ASIC)，还可以是系统芯片(system on chip，SoC)，还可以是处理器(central processor unit，CPU)，还可以是网络处理器(network processor，NP)，还可以是数字信号处理电路(digital signal processor，DSP)，还可以是微控制器(micro controller unit，MCU)，还可以是可编程控制器(programmable logic device，PLD)或其他集成芯片。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

应注意，本申请实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

可以理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

根据本申请实施例提供的方法，本申请还提供一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码在计算机上运行时，使得该计算机执行上述方法实施例中的时钟设备、检测设备、第一终端或第二终端执行的方法。

根据本申请实施例提供的方法，本申请还提供一种计算机可读存储介质，该计算机可读存储介质存储有程序代码，当该程序代码在计算机上运行时，使得该计算机执行上述方法实施例中的时钟设备、检测设备、第一终端或第二终端执行的方法。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种实时通信RTC的传输时延检测方法，其特征在于，应用于检测设备，包括：

从第一终端显示的时钟图像中，识别目标时钟的第一时间，所述时钟图像为第二终端基于RTC向所述第一终端发送的时钟视频数据流中的图像帧，且所述时钟图像包括M个时钟区域，M为大于1的整数，所述M个时钟区域包括至少一个第一时钟区域和显示所述第一时间的第二时钟区域，所述第一时钟区域最近一次显示的时间早于所述第一时间且晚于所述第二时钟区域上一次显示的时间，所述第一时间为第二终端采集所述时钟图像的时间；

根据所述目标时钟的第一时间和所述目标时钟的第二时间，确定所述第一终端和所述第二终端之间的RTC的传输时延，所述第二时间为所述第一终端显示所述时钟图像的时间。

2.根据权利要求1所述的方法，其特征在于，所述从第一终端显示的时钟图像中，识别目标时钟的第一时间，包括：

根据所述时钟图像中M个时钟区域，进行时间识别，得到备选时间集；

从所述备选时间集中确定时间最晚的时间作为所述第一时间。

3.根据权利要求2所述的方法，其特征在于，所述时钟图像的M个时钟区域均包括校验信息，所述根据所述时钟图像中M个时钟区域，进行时间识别，得到备选时间集，包括：

针对所述M个时钟区域中的每个时钟区域，识别得到所述时钟区域中的校验信息和时间；

根据所述校验信息对所述时钟区域中的时间进行校验；

在校验通过的情况下，将所述时钟区域中的时间加入所述备选时间集；或者，

在校验未通过的情况下，将所述时钟区域中的时间丢弃，或，结束基于所述时钟图像的传输时延检测过程。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述从第一终端显示的时钟图像中，识别目标时钟的第一时间，包括：

在所述第一终端显示所述时钟图像时，对所述时钟图像的显示界面进行图像采集，得到第一时钟检测图像；

根据所述第一时钟检测图像，识别所述目标时钟的第一时间。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

在所述第一终端显示所述时钟图像时，对所述目标时钟的显示界面进行图像采集，得到第二时钟检测图像；

根据所述第二时钟检测图像，识别所述目标时钟的第二时间。

6.一种RTC的传输时延检测方法，其特征在于，应用于时钟设备，包括：

从M个时钟区域中，确定第二时钟区域，所述M个时钟区域还包括除所述第二时钟区域之外的至少一个第一时钟区域，所述第一时钟区域最近一次显示的时间晚于所述第二时钟区域最近一次显示的时间；

在所述第二时钟区域，显示目标时钟的第一时间，所述第一时间为第二终端采集时钟图像的时间，且所述第一时间用于检测第一终端和所述第二终端之间的RTC数据传输时延，所述时钟图像包括所述目标时钟的第一时间。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在所述至少一个第一时钟区域，停止时间显示。

8.根据权利要求6或7所述的方法，其特征在于，所述从M个时钟区域中，确定第二时钟区域，包括：

将所述M个时钟区域中，最近一次显示的时间最早的时钟区域作为所述第二时钟区域；或者，

将所述M个时钟区域中，最近一次显示时的渲染时间最早的时钟区域作为所述第二时钟区域。

9.根据权利要求6或7所述的方法，其特征在于，所述M与显示器的响应时间成正比。

10.一种RTC的传输时延检测方法，其特征在于，应用于第一终端，包括：

基于RTC接收第二终端发送的时钟视频数据流；

显示包括M个时钟区域的时钟图像，M为大于1的整数，所述时钟图像为所述时钟视频数据流中的图像帧，所述M个时钟区域包括至少一个第一时钟区域和显示第一时间的第二时钟区域，所述第一时钟区域最近一次显示的时间早于所述第一时间且晚于所述第二时钟区域上一次显示的时间，所述第一时间为第二终端采集所述时钟图像的时间，所述第一时间用于检测所述第一终端和所述第二终端之间的RTC数据传输时延。

11.根据权利要求10所述的方法，其特征在于，所述第一终端显示包括M个时钟区域的时钟图像，包括：

所述第一终端对所述时钟图像进行渲染时，对所述时钟图像中，各时钟区域最近一次显示的时间增加显示时延，所述显示时延为存入屏幕缓冲区内的数据显示至显示器存在的时延；

所述第一终端将渲染后的时钟图像通过所述屏幕缓冲区进行显示。

12.一种时延检测装置，其特征在于，包括：

识别单元，用于从第一终端显示的时钟图像中，识别目标时钟的第一时间，所述时钟图像为第二终端基于RTC向所述第一终端发送的时钟视频数据流中的图像帧，且所述时钟图像包括M个时钟区域，M为大于1的整数，所述M个时钟区域包括至少一个第一时钟区域和显示所述第一时间的第二时钟区域，所述第一时钟区域最近一次显示的时间早于所述第一时间且晚于所述第二时钟区域上一次显示的时间，所述第一时间为第二终端采集所述时钟图像的时间；

处理单元，用于根据所述目标时钟的第一时间和所述目标时钟的第二时间，确定所述第一终端和所述第二终端之间的RTC的传输时延，所述第二时间为所述第一终端显示所述时钟图像的时间。

13.一种时钟装置，其特征在于，包括：

处理单元，用于从M个时钟区域中，确定第二时钟区域，所述M个时钟区域还包括除所述第二时钟区域之外的至少一个第一时钟区域，所述第一时钟区域最近一次显示的时间晚于所述第二时钟区域最近一次显示的时间；

显示单元，用于在所述第二时钟区域，显示目标时钟的第一时间，所述第一时间为第二终端采集时钟图像的时间，且所述第一时间用于检测第一终端和所述第二终端之间的RTC数据传输时延，所述时钟图像包括所述目标时钟的第一时间。

14.一种通信装置，其特征在于，包括：

收发单元，用于基于RTC接收第二终端发送的时钟视频数据流；

显示单元，用于显示包括M个时钟区域的时钟图像，M为大于1的整数，所述时钟图像为所述时钟视频数据流中的图像帧，所述M个时钟区域包括至少一个第一时钟区域和显示第一时间的第二时钟区域，所述第一时钟区域最近一次显示的时间早于所述第一时间且晚于所述第二时钟区域上一次显示的时间，所述第一时间为第二终端采集所述时钟图像的时间，所述第一时间用于检测所述通信装置和所述第二终端之间的RTC数据传输时延。

15.一种传输时延检测系统，其特征在于，包括：如权利要求12所述的时延检测装置，和，如权利要求13所述的时钟装置；

所述时延检测装置用于基于数据传输系统传输的时钟图像，对所述数据传输系统的RTC的传输时延进行检测；

其中，所述时钟图像是所述数据传输系统对所述时钟装置的显示界面进行图像采集得到的。

16.一种电子设备，其特征在于，包括：处理器和存储器，该存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如权利要求1至11中任一项所述的方法。

Images