CN113965488B - 数据包的延迟获取方法及设备、电子设备与存储介质 - Google Patents

Abstract

本公开提供了一种数据包的延迟获取方法及设备、电子设备与存储介质，涉及音频、视频等信息流领域。具体实现方案为：获取接收到的数据包被发送端发送时对应的第一本地时间戳；基于预先获取的当前的接收端与所述发送端之间的时间差、以及所述数据包被所述发送端发送时的所述第一本地时间戳，获取所述数据包被所述发送端发送时对应所述接收端侧的第一映射时间戳；基于所述第一映射时间戳和接收到所述数据包时的第二本地时间戳，获取所述数据包的延迟。本公开的技术，能够有效地提高获取的数据包延迟的准确性。

Description

数据包的延迟获取方法及设备、电子设备与存储介质

技术领域

本公开涉及计算机技术领域，具体涉及音频、视频等信息流技术领域，尤其涉及一种数据包的延迟获取方法及设备、电子设备与存储介质。

背景技术

对于实时时钟(Real_Time Clock；RTC)通信来说，端到端的延迟是一个重要的体验指标。例如，计算链路中各阶段的延迟可以用于分析网络情况，并找出对应的优化点进行链路调优。

实际应用中，由于客户端与客户端之间、客户端与服务端之间的本地时间可能存在差异，故直接采用各自本地的时间戳来计算延迟必然会存在较大的误差。

发明内容

本公开提供了一种数据包的延迟获取方法及设备、电子设备与存储介质。

根据本公开的一方面，提供了一种数据包的延迟获取方法，其中，所述方法包括：

获取接收到的数据包被发送端发送时对应的第一本地时间戳；

基于预先获取的当前的接收端与所述发送端之间的时间差、以及所述数据包被所述发送端发送时的所述第一本地时间戳，获取所述数据包被所述发送端发送时对应所述接收端侧的第一映射时间戳；

基于所述第一映射时间戳和接收到所述数据包时的第二本地时间戳，获取所述数据包的延迟。

根据本公开的另一方面，提供了一种接收端设备，其中，所述设备包括：

获取模块，用于获取接收到的数据包被发送端发送时对应的第一本地时间戳；

映射模块，用于基于预先获取的当前的所述接收端设备与所述发送端之间的时间差、以及所述数据包被所述发送端发送时的所述第一本地时间戳，获取所述数据包被所述发送端发送时对应所述接收端设备侧的第一映射时间戳；

计算模块，用于基于所述第一映射时间戳和接收到所述数据包时的第二本地时间戳，获取所述数据包的延迟。

根据本公开的再一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。

根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方面和任一可能的实现方式的方法。

根据本公开的再另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方面和任一可能的实现方式的方法。

根据本公开的技术，能够有效地提高获取的数据包延迟的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是本公开提供的一种应用架构图；

图3是根据本公开第二实施例的示意图；

图4是根据本公开第三实施例的示意图；

图5是根据本公开第四实施例的示意图；

图6是图5所示的信令示意图；

图7是本公开的RR消息的格式示意图；

图8是根据本公开第五实施例的示意图；

图9是根据本公开第六实施例的示意图；图3

图10是用来实现本公开实施例的数据包的延迟获取方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。

需要说明的是，本公开实施例中所涉及的终端设备可以包括但不限于手机、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(TabletComputer)等智能设备；显示设备可以包括但不限于个人电脑、电视等具有显示功能的设备。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1是根据本公开第一实施例的示意图；如图1所示，本实施例提供一种数据包的延迟获取方法，具体可以包括如下步骤：

S101、获取接收到的数据包被发送端发送时对应的第一本地时间戳；

S102、基于预先获取的当前的接收端与发送端之间的时间差、以及数据包被发送端发送时的第一本地时间戳，获取数据包被发送端发送时对应接收端侧的第一映射时间戳；

S103、基于映射时间戳和接收到数据包时的第二本地时间戳，获取数据包的延迟。

本实施例的数据包的延迟获取方法的执行主体可以为接收端，即在接收端侧来实现数据包延迟的计算。具体地，该接收端设备可以为客户端，也可以为服务器等设备。

本实施例的应用场景中，各端之间采用实时传输协议(Real-time TransportProtocol；RTP)/实时传输控制协议(Real-time Transport Control Protocol；RTCP)进行数据传输，例如主要用于实现视频流和/或音频流的传输。

本实施例中，可以认为是发送端在发送端侧的第一本地时间戳向接收端发送数据包，而接收端在接收端侧的第二本地时间戳接收该数据包。该第一本地时间戳和第二本地时间戳按照通信两端各自的网络时间协议(Network Time Protocol，NTP)时间戳为标准，两者不统一。为了准确计算数据包的传输延迟，本实施例中，将数据包被发送端发送时的第一本地时间戳，映射到接收端侧的第一映射时间戳。这样第一映射时间戳和第二本地时间戳都是以接收端的NTP时间戳为标准，两者标准统一，进而可以准确计算出数据包从发送端到接收端的延迟。

其中，接收端将数据包被发送端发送时的第一本地时间戳，映射到接收端侧的第一映射时间戳时，需要参考预先获取的接收端与发送端之间的时间差，进而可以实现准确地映射。

本实施例的数据包的延迟获取方法，通过采用上述技术方案，可以将发送端发送数据包的时间戳映射至接收端侧，可以与接收端接收数据包的本地时间戳采用相同的时间戳标准，进而可以基于相同时间戳标准的两个时间戳，准确地计算数据包从发送端到接收端的延迟，能够有效地提高数据包的延迟计算的准确性。

图2是本公开提供的一种应用架构图。如图2所示，在本公开的应用中，上游可以端可以向服务器发送数据包，服务器也可以向下游客户端转发数据包。具体地，可以在服务器与上游客户端之间、以及下游客户端与服务器之间采用图1所示的技术方案。

图3是根据本公开第二实施例的示意图；如图3所示，本实施例的数据包的延迟获取方法，在上述图1所示实施例的基础上，以接收端为服务器，发送端为上游客户端为例，具体描述本公开的技术方案。如图3所示，本实施例的数据包的延迟获取方法，具体可以包括如下步骤：

S301、上游客户端向服务器发送数据包，该数据包中携带RTP时间戳(timestamp)；

该RTP时间戳是基于采样间隔不断地增加的，即该RTP时间戳为采样时间戳，而不是客户端的本地时间戳。而上游客户端在向服务器发送数据包的时候并不携带本地的NTP时间戳。

S302、服务器获取上游客户端侧的采样时间戳和本地时间戳的对应关系；

S303、服务器基于上游客户端的采样时间戳和本地时间戳的对应关系，获取数据包被上游客户端发送时携带的第一采样时间戳对应的第一本地时间戳；

其中，步骤S302具体可以包括如下步骤：

(1)服务器向上游客户端发送发送者报告(Sender Report；SR)消息；

(2)服务器接收上游客户端发送的接收者报告消息(Receiver Report；RR)；该RR消息中携带RR消息被上游客户端发出时的第二采样时间戳即RTP时间戳和第二本地时间戳即NTP时间戳；

(3)基于第二采样时间戳和第二本地时间戳，获取上游客户端侧的采样时间戳和本地时间戳的对应关系。

具体地，服务器与客户端之间进行SR和RR交互的时候，还需要携带很多的时间戳信息，但是此处仅用于获取采样时间戳和本地时间戳的对应关系，对于时间戳信息暂不赘述。

需要说明的是，服务器与客户端之间可以每隔一定的时间间隔如5s进行一次交互，服务器基于该交互便可以得到上游客户端侧的采样时间戳即RTP时间戳和本地时间戳即NTP时间戳的对应关系。服务器在接收到客户端的数据包之后，可以基于该客户端的最新的RTP时间戳与NTP时间戳的对应关系，获取到该客户端发送该数据包时对应的NTP时间戳。

该步骤S302和步骤S303为上述图1所示实施例的步骤S101的一种实现方式。

S304、服务器基于预先获取的服务器与上游客户端之间的时间差、以及数据包被上游客户端发送时的第一本地时间戳，获取数据包被上游客户端发送时对应服务器侧的第一映射时间戳；

可选地，此时，基于步骤S304，服务器可以得到上游客户端发送数据包时对应的服务器侧的第一映射时间戳，这样，服务器可以基于数据包的第一映射时间戳，进行混流或者混音处理。

具体地，采用此方式，可以获取到所有向该服务器发送数据包的上游客户端所发送的数据包对应的第一映射时间戳，由于第一映射时间戳是以服务器侧的时间戳为标准，这样，所有发向服务器侧的数据包的时间戳可以采用统一的时间戳标准，可以非常方便地进行混流或者混音等处理。

S305、服务器基于第一映射时间戳和接收到数据包时的第二本地时间戳，获取上游客户端到服务器之间的数据包的延迟。

进一步可选地，服务器还可以进一步将该数据包转发给下游客户端。而且，为了方便后续下游客户端基于数据包的第一映射时间戳进行延迟等相关信息的计算，本实施例中，服务器在转发该数据包时，可以在RTP的扩展头部字段如AbSoluteSendTime中添加数据包的第一映射时间戳；然后，向下游客户端转发在RTP中添加了数据包的第一映射时间戳的数据包；该第一映射时间戳为服务器侧的时间标准对应的时间戳。所有数据包中都可以按照此方式将时间戳映射为服务器侧的时间戳，这样可以统一时间戳标准，方便对数据包进行延迟计算等各种服务处理。

需要说明的是，服务器在转发该数据包时，还携带有服务器器的NTP时间戳，可以认为是服务器的本地时间戳。

本实施例的数据包的延迟获取方法，通过采用上述技术方案，可以将上游客户端发送数据包的时间戳映射至服务器侧，可以与服务器侧接收该数据包的本地时间戳采用相同的时间戳标准，进而可以基于相同时间戳标准的两个时间戳，准确地计算数据包从上游客户端到服务器的延迟，能够有效地提高数据包的延迟计算的准确性。

图4是根据本公开第三实施例的示意图；如图4所示，本实施例的数据包的延迟获取方法，在上述图1所示实施例的基础上，以接收端为下游客户端，发送端为服务器为例，具体描述本公开的技术方案。如图4所示，本实施例的数据包的延迟获取方法，具体可以包括如下步骤：

S401、下游客户端接收服务器转发的数据包；

具体地，该数据包为可以为上述图3所示实施例中服务器接收到上游客户端发送的数据包。该数据包中携带有服务器的NTP时间戳，该时间戳可以认为是图1所示实施例中步骤S101所述的发送端发送该数据包时对应的第一本地时间戳。

S402、下游客户端从数据包中获取服务器发送该数据包时的NTP时间戳；

S403、下游客户端基于预先获取的下游客户端与服务器之间的时间差、以及数据包被服务器发送时对应的服务器侧的NTP时间戳，获取数据包被服务器发送时对应的下游客户端侧的映射时间戳；

该映射时间戳即对应上述图1所示实施例的步骤S102中的第一映射时间戳；

S404、下游客户端基于该映射时间戳和接收到该数据包时下游客户端侧的本地时间戳，计算该数据包从服务器到下游客户端的延迟。

上述步骤S401-S404是图1所示实施例中以接收端为下游客户端，发送端为服务器为例，本公开的技术方案。进一步地，本公开的实施例中还可以计算数据包从上游客户端到下游客户端之间的延迟。具体可以进一步包括如下技术方案。

S405、下游客户端从RTP的扩展头部字段中，获取数据包在上游客户端被发送时的第二映射时间戳；

其中，该第二映射时间戳为基于服务器与上游客户端之间的时间差、以及数据包被上游客户端发送时的本地时间戳，映射的数据包被上游客户端发送时对应服务器侧的时间戳；

本实施例中的第二映射时间戳，即对应上述图3所示实施例的第一映射时间戳，详细可以参考上述图3所示实施例的记载。

S406、下游客户端基于预先获取的下游客户端与服务器之间的时间差，将下游客户端接收到数据包时的第二本地时间，映射至服务器侧的第三映射时间戳；

S407、下游客户端基于第二映射时间戳和第三映射时间戳，计算数据包从上游客户端发出至被服务器转发至下游客户端的延迟。

本实施例的数据包的延迟获取方法，通过采用上述技术方案，可以将服务器发送数据包的时间戳映射至下游客户端侧，可以与下游客户端侧接收该数据包的本地时间戳采用相同的时间戳标准，进而可以基于相同时间戳标准的两个时间戳，准确地计算数据包从服务器到下游客户端的延迟，能够有效地提高数据包的延迟计算的准确性。

另外，本实施例中还可以将下游客户端接收到数据包时的第二本地时间，映射至服务器侧的第三映射时间戳，进而与上游客户端发送数据包映射的第二时间戳采用相同的时间戳标准，进而可以基于相同时间戳标准的两个时间戳，准确地计算数据包从上游客户端到下游客户端的延迟，能够有效地提高数据包的延迟计算的准确性。

需要说明的是，本实施例的技术方案可以与上述图2所示实施例的技术方案拼接，构成一个完整的技术方案。

图5是根据本公开第四实施例的示意图；本实施例中详细描述接收端与发送端之间的时间差的获取方式。图6是图5所示的信令示意图。如图5和图6所示，具体可以包括如下步骤：

S501、接收端在第一时刻T0向发送端发送SR消息；

S502、发送端在第二时刻T1接收到SR消息；

S503、发送端在第三时刻T2向接收端返回RR消息；RR消息中携带有第一时刻T0、第三时刻T2、以及第三时刻T2与第二时刻T1的差值；

S504、接收端在第四时刻T3接收到发送端发送的RR消息；

其中第一时刻T0、和第四时刻T3为服务端的本地时间戳。第二时刻T1和第三时刻T2为客户端侧的本地时间戳。

例如，接收端为服务器，发送端为客户端时，T0为服务器的NTP时间戳，即服务器的本地时间戳。且服务器在SR消息中携带该T0。客户端基于该T0时刻的SR消息，可以返回RR消息。RR消息中还携带客户端发送RR时的RTP timestamp和NTP timestamp即T2，同时RR包中携带了服务器的last SR timestamp(即NTP timestamp)即T0，以标识该RR消息是针对T0时刻的SR消息作的反馈。RR消息中还携带客户端的delay since last SR，简称DLSR，即距离last SR timestamp被接收到本报告块被发送经历的时间，即T2-T1的差值。参考上述实施例的记载，根据发送端发送RR消息时的第三时刻T2以及对应的RTP时间戳，可以获取到发送端的RTP时间戳与NTP时间戳的对应关系。

S505、接收端基于RR消息，获取第二时刻和第三时刻；

具体地，可以从RR消息中获取到第三时刻T2的值，并基于T2-T1的差值，可以确定第二时刻T1值。

S506、接收端根据第一时刻T0、第二时刻T1、第三时刻T2和第四时刻T3，计算接收端与发送端之间的时间差。

例如，接收端与发送端之间的时间差可以采用如下公式来计算：θ＝[(T3-T2)+(T0-T1)]/2；其中θ表示接收端与发送端之间的时间差。如果表示发送端与接收端之间的时间差，可以取上述时间差的负数。

本实施例的步骤S501-S504可以与上述实施例中的步骤(1)-(3)合并，构成接收端与发送端之间的完整的RTP/RTCP交互，例如，该交互中的RR消息的格式示意图可以如图7所示。

需要说明的是，上述图1所示实施例中的接收端与发送端之间的时间差、图3所示实施例中的服务器与上游客户端之间的时间差、以及图4所示实施例中的下游客户端与服务器之间的时间差。

需要说明的是，上述实施例的步骤S501-S504在发送端和接收端之间每固定时间间隔如5s交互一次，计算一次两端的时间差。所以发送端与接收端之间的时间差是可动态变化的，可以有效地降低网络抖动引起的误差。另外，基于上述实施例的记载，每次SR和RR消息交互之后，同时更新获取到的客户端的RTP时间戳和NTP时间戳的对应关系，以便后续基于该对应关系，根据客户端发送数据包时的RTP时间戳，获取数据包被发送时的NTP时间戳。

本实施例中，通过采用上述方式，能够准确地计算的接收端与发送端之间的时间差。

需要说明的是，本实施例中的上游客户端和下游客户端为数据包传输链路上的功能性描述。上游客户端表示向服务器发送数据包的客户端，下游客户端表示接收服务器转发数据包的客户端。当前通信链路上的上游客户端也可以作为另一条通信链路的下游客户端，接收服务器转发的数据包；同理，当前通信链路上的下游客户端也可以作为另一条通信链路的上游客户端，向服务器转发数据包。

图8是根据本公开第五实施例的示意图；如图8所示，本实施例提供一种接收端设备800，包括：

获取模块801，用于获取接收到的数据包被发送端发送时对应的第一本地时间戳；

映射模块802，用于基于预先获取的接收端设备800与发送端之间的时间差、以及数据包被发送端发送时的第一本地时间戳，获取数据包被发送端发送时对应接收端设备800侧的第一映射时间戳；

计算模块803，用于基于第一映射时间戳和接收到数据包时的第二本地时间戳，获取数据包的延迟。

本实施例的接收端设备800，通过采用上述模块实现数据包的延迟获取的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

图9是根据本公开第六实施例的示意图；如图9所示，本实施例的接收端设备800，在上述图8所示实施例的技术方案的基础上，进一步更加详细地描述本公开的技术方案。

例如，本实施例的接收端可以为服务器，发送端可以为上游客户端时，对应地，获取模块801，包括：

关系获取单元8011，用于获取发送端侧的采样时间戳和本地时间戳的对应关系；

时间戳获取单元8012，用于基于发送端的采样时间戳和本地时间戳的对应关系，获取数据包被发送端发送时携带的第一采样时间戳对应的第一本地时间戳。

进一步可选地，关系获取单元8011，用于：

向发送端发送发送者报告消息；

接收发送端发送的接收者报告消息，接收者报告消息中携带接收者报告消息被发送端发出时的第二采样时间戳和第二本地时间戳；

基于第二采样时间戳和第二本地时间戳，获取发送端侧的采样时间戳和本地时间戳的对应关系。

进一步可选地，如图9所示，本实施例的接收端设备800，还包括：

处理模块804，用于基于数据包的第一映射时间戳，进行混流或者混音处理。

进一步可选地，如图9所示，本实施例的接收端设备800，还包括：

添加模块805，用于在实时传输协议的扩展头部字段中添加数据包的第一映射时间戳；

转发模块806，用于基于添加了数据包的第一映射时间戳的实时传输协议，向下游客户端转发数据包。

进一步可选地，本实施例中，接收端还可以为下游客户端，发送端对应地可以为服务器时；此时对应地，获取模块801，还用于从实时传输协议的扩展头部字段中，获取数据包在上游客户端被发送时的第二映射时间戳，第二映射时间戳为基于服务器与上游客户端之间的时间差、以及数据包被上游客户端发送时的本地时间戳，映射的数据包被上游客户端发送时对应服务器侧的时间戳；

映射模块802，用于基于预先获取的下游客户端与服务器之间的时间差，将下游客户端接收到数据包时的第二本地时间，映射至服务器侧的第三映射时间戳；

计算模块803，用于基于第二映射时间戳和第三映射时间戳，计算数据包从上游客户端发出至被服务器转发至客户端的延迟。

如图9所示，进一步可选地，本实施例的接收端设备800，还包括：

发送模块807，用于在第一时刻向发送端发送发送者报告消息；

接收模块808，用于在第四时刻接收到发送端发送的接收者报告消息，接收者报告消息是发送端在第二时刻接收到发送者报告消息，并基于发送者报告消息在第三时刻发送的；接收者报告消息中携带有第一时刻、第三时刻、以及第三时刻与第二时刻的差值；

获取模块801，还用于基于接收者报告消息，获取第二时刻和第三时刻；

计算模块803，还用于根据第一时刻、第二时刻、第三时刻和第四时刻，计算接收端与发送端之间的时间差。

本实施例的接收端设备800，通过采用上述模块实现数据包的延迟获取的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如数据包的延迟获取方法。例如，在一些实施例中，数据包的延迟获取方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的数据包的延迟获取方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据包的延迟获取方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (12)

1.一种数据包的延迟获取方法，其中，若发送端为上游客户端，接收端为服务器时，所述接收端作为执行主体，所述方法包括：

获取接收到的数据包被发送端发送时对应的第一本地时间戳；

基于预先获取的当前的接收端与所述发送端之间的时间差、以及所述数据包被所述发送端发送时的所述第一本地时间戳，获取所述数据包被所述发送端发送时对应所述接收端侧的第一映射时间戳；

基于所述第一映射时间戳和接收到所述数据包时的第二本地时间戳，获取所述数据包的延迟；

在实时传输协议的扩展头部字段中添加所述数据包的所述第一映射时间戳；

向下游客户端转发添加了所述数据包的所述第一映射时间戳的所述数据包；

若所述接收端为下游客户端，所述发送端为服务器时，所述方法还包括：

所述下游客户端从所述实时传输协议的扩展头部字段中，获取所述数据包在所述上游客户端被发送时的所述第一映射时间戳；

所述下游客户端基于预先获取的所述下游客户端与所述服务器之间的时间差，将所述下游客户端接收到所述数据包时的第二本地时间，映射至所述服务器侧的第三映射时间戳；

所述下游客户端基于所述第一映射时间戳和所述第三映射时间戳，计算所述数据包从所述上游客户端发出至被所述服务器转发至所述下游客户端的延迟。

2.根据权利要求1所述的方法，其中，获取接收到的数据包被发送端发送时对应的第一本地时间戳，包括：

获取所述发送端侧的采样时间戳和本地时间戳的对应关系；

基于所述发送端的所述采样时间戳和本地时间戳的对应关系，获取所述数据包被所述发送端发送时携带的第一采样时间戳对应的所述第一本地时间戳。

3.根据权利要求2所述的方法，其中，获取所述发送端侧的采样时间戳和本地时间戳的对应关系，包括：

向所述发送端发送发送者报告消息；

接收所述发送端发送的接收者报告消息，所述接收者报告消息中携带所述接收者报告消息被所述发送端发出时的第二采样时间戳和第二本地时间戳；

基于所述第二采样时间戳和所述第二本地时间戳，获取所述发送端侧的所述采样时间戳和本地时间戳的对应关系。

4.根据权利要求2所述的方法，其中，基于预先获取的当前接收端与所述发送端之间的时间差、以及所述数据包被所述发送端发送时的所述第一本地时间戳，获取所述数据包被所述发送端发送时对应所述接收端侧的第一映射时间戳之后，所述方法还包括：

基于所述数据包的所述第一映射时间戳，进行混流或者混音处理。

5.根据权利要求1-4任一所述的方法，其中，基于预先获取的当前接收端与所述发送端之间的时间差、以及所述数据包被所述发送端发送时的所述第一本地时间戳，获取所述数据包被所述发送端发送时对应所述接收端的第一映射时间戳之前，所述方法还包括：

在第一时刻向发送端发送发送者报告消息；

在第四时刻接收到所述发送端发送的接收者报告消息，所述接收者报告消息是所述发送端在第二时刻接收到所述发送者报告消息，并基于所述发送者报告消息在第三时刻发送的；所述接收者报告消息中携带有所述第一时刻、所述第三时刻、以及所述第三时刻与所述第二时刻的差值；

基于所述接收者报告消息，获取所述第二时刻和所述第三时刻；

根据所述第一时刻、所述第二时刻、所述第三时刻和所述第四时刻，计算所述接收端与所述发送端之间的时间差。

6.一种接收端设备，其中，若发送端为上游客户端，接收端设备为服务器时，所述接收端设备包括：

获取模块，用于获取接收到的数据包被发送端发送时对应的第一本地时间戳；

映射模块，用于基于预先获取的当前的所述接收端设备与所述发送端之间的时间差、以及所述数据包被所述发送端发送时的所述第一本地时间戳，获取所述数据包被所述发送端发送时对应所述接收端设备侧的第一映射时间戳；

计算模块，用于基于所述第一映射时间戳和接收到所述数据包时的第二本地时间戳，获取所述数据包的延迟；

添加模块，用于在实时传输协议的扩展头部字段中添加所述数据包的第一映射时间戳；

转发模块，用于基于添加了所述数据包的所述第一映射时间戳的所述实时传输协议，向下游客户端转发所述数据包；

若所述接收端设备为下游客户端，所述发送端为服务器时；

所述获取模块，还用于从所述实时传输协议的扩展头部字段中，获取所述数据包在所述上游客户端被发送时的所述第一映射时间戳；

所述映射模块，还用于基于预先获取的所述下游客户端与所述服务器之间的时间差，将所述下游客户端接收到所述数据包时的第二本地时间，映射至所述服务器侧的第三映射时间戳；

所述计算模块，还用于基于所述第一映射时间戳和所述第三映射时间戳，计算所述数据包从所述上游客户端发出至被所述服务器转发至所述下游客户端的延迟。

7.根据权利要求6所述的设备，其中，所述获取模块，包括：

关系获取单元，用于获取所述发送端侧的采样时间戳和本地时间戳的对应关系；

时间戳获取单元，用于基于所述发送端的所述采样时间戳和本地时间戳的对应关系，获取所述数据包被所述发送端发送时携带的第一采样时间戳对应的所述第一本地时间戳。

8.根据权利要求7所述的设备，其中，所述关系获取单元，用于：

向所述发送端发送发送者报告消息；

接收所述发送端发送的接收者报告消息，所述接收者报告消息中携带所述接收者报告消息被所述发送端发出时的第二采样时间戳和第二本地时间戳；

基于所述第二采样时间戳和所述第二本地时间戳，获取所述发送端侧的所述采样时间戳和本地时间戳的对应关系。

9.根据权利要求7所述的设备，其中，所述设备还包括：

处理模块，用于基于所述数据包的所述第一映射时间戳，进行混流或者混音处理。

10.根据权利要求6-9任一所述的设备，其中，

所述设备还包括：

发送模块，用于在第一时刻向发送端发送发送者报告消息；

接收模块，用于在第四时刻接收到所述发送端发送的接收者报告消息，所述接收者报告消息是所述发送端在第二时刻接收到所述发送者报告消息，并基于所述发送者报告消息在第三时刻发送的；所述接收者报告消息中携带有所述第一时刻、所述第三时刻、以及所述第三时刻与所述第二时刻的差值；

所述获取模块，还用于基于所述接收者报告消息，获取所述第二时刻和所述第三时刻；

所述计算模块，还用于根据所述第一时刻、所述第二时刻、所述第三时刻和所述第四时刻，计算所述接收端与所述发送端之间的时间差。

11.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。

Images