CN107734285A - 一种画面时延计算系统、方法及装置 - Google Patents

一种画面时延计算系统、方法及装置 Download PDF

Info

Publication number
CN107734285A
CN107734285A CN201711006471.3A CN201711006471A CN107734285A CN 107734285 A CN107734285 A CN 107734285A CN 201711006471 A CN201711006471 A CN 201711006471A CN 107734285 A CN107734285 A CN 107734285A
Authority
CN
China
Prior art keywords
sequence number
time
picture
frame
picture frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711006471.3A
Other languages
English (en)
Inventor
李晓威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201711006471.3A priority Critical patent/CN107734285A/zh
Publication of CN107734285A publication Critical patent/CN107734285A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供了一种画面时延计算系统、方法及装置，该系统包括：发送端、接收端、和计算中心，其中，发送端用于针对每个图像帧，分别获取一序列号以及采集时间，将序列号以及采集时间发送给计算中心，将序列号嵌入到图像帧，对嵌入序列号后的各个图像帧进行编码，得到各个视频帧，将各个视频帧发送给接收端；接收端用于对各个视频帧进行解码，提取各个序列号，显示各个图像帧并记录其显示时间；将每个图像帧的显示时间以及序列号发送给计算中心；计算中心，用于根据每个序列号所标识图像帧的显示时间和采集时间，以及系统时间差，计算每个序列号所标识图像帧的画面时延。应用本发明实施例进行画面时延计算时，提高了计算画面时延的准确度。

Description

一种画面时延计算系统、方法及装置
技术领域
本发明涉及通信技术领域，特别是涉及一种画面时延计算系统、方法及装置。
背景技术
随着互联网数据传输成本逐渐降低，耗带宽的视频通话业务开始被大量使用，由于视频通话业务需要传输的数据量大，且传输数据的网络存在跨运营商、跨地域的问题，导致在视频通话的过程中，经常出现画面时延长、卡顿、内容丢失等问题。画面时延是衡量视频通话产品质量的主要指标之一，因此，需要一种客观准确的计算方法，以便提高计算画面时延的准确度。
目前，常见计算画面时延方法有：在发送端记录某一图像帧的采集时间，将该图像帧编码成视频帧，然后将该视频帧和采集时间封装到同一数据包中，并将该数据包发送给接收端，接收端在接收到该数据包后，从中提取视频帧和显示时间，并将该视频帧进行解码，得到图像帧，然后显示图像帧，并记录图像帧的显示时间，将显示时间减去采集时间的差值，作为该图像帧的画面时延。
这种方法的缺点是：由于图像帧的采集时间由发送端记录，图像帧的显示时间由接收端记录，而发送端与接收端之间可能会存在时间误差，直接将显示时间减去采集时间的差值作为图像帧的画面时延，可能导致计算出的画面时延不够准确。
发明内容
本发明实施例的目的在于提供一种画面时延计算系统、方法及装置，以实现提高计算画面时延的准确度。具体技术方案如下：
第一方面，本发明实施例提供了一种画面时延计算系统，所述系统包括：发送端、接收端、和计算中心，其中，
所述发送端，用于获得各个图像帧；针对每个图像帧，分别获取一序列号以及该图像帧的采集时间，将该序列号以及该图像帧的采集时间发送给所述计算中心，并将该序列号嵌入到该图像帧；获得嵌入序列号后的各个图像帧，并对嵌入序列号后的各个图像帧进行编码，得到各个视频帧，将各个视频帧发送给所述接收端；
所述接收端，用于接收各个视频帧；对各个视频帧进行解码，得到嵌入序列号后的各个图像帧；提取各个图像帧的序列号；显示各个图像帧并记录各个图像帧的显示时间；针对每个图像帧，将该图像帧的显示时间以及序列号发送给所述计算中心；
所述计算中心，用于获得所述发送端与所述接收端之间的系统时间差；接收来自所述发送端的每个图像帧的序列号和采集时间，以及来自所述接收端的每个图像帧的序列号和显示时间；针对每一序列号，根据该序列号所标识图像帧的显示时间和采集时间，以及所述系统时间差，计算该序列号所标识图像帧的画面时延。
可选的，所述发送端针对每个图像帧所分别获取一序列号的值以固定步长依次递增/递减。
可选的，所述系统时间差的发送方为所述发送端和所述接收端中的一方。
可选的，所述计算中心针对每一序列号，根据该序列号所标识图像帧的显示时间和采集时间，以及所述系统时间差，计算该序列号所标识图像帧的画面时延，具体为：
针对每一序列号，利用该序列号所标识图像帧的显示时间减去其采集时间，再减去所述系统时间差，得到该序列号所标识图像帧的画面时延。
第二方面，本发明实施例提供了一种画面时延计算方法，方法包括：
计算中心获得发送端与接收端之间的系统时间差；
计算中心接收来自所述发送端的每个图像帧的序列号和采集时间，以及来自所述接收端的每个图像帧的序列号以及显示时间；
计算中心针对每一序列号，根据该序列号所标识图像帧的显示时间和采集时间，以及所述系统时间差，计算该序列号所标识图像帧的画面时延。
可选的，计算中心针对每一序列号，根据该序列号所标识图像帧的显示时间和采集时间，以及所述系统时间差，计算该序列号所标识图像帧的画面时延，包括：
计算中心针对每一序列号，利用该序列号所标识图像帧的显示时间减去其采集时间，再减去所述系统时间差，得到该序列号所标识图像帧的画面时延。
可选的，所述系统时间差的发送方为所述发送端和所述接收端中的一方。
第三方面，本发明实施例提供了一种画面时延计算装置，包括：
获得模块，用于获得发送端与接收端之间的系统时间差；接收来自所述发送端的每个图像帧的序列号和采集时间，以及来自所述接收端的每个图像帧的序列号以及显示时间；
计算模块，用于针对每一序列号，根据该序列号所标识图像帧的显示时间和采集时间，以及所述系统时间差，计算该序列号所标识图像帧的画面时延。
可选的，所述计算模块，具体用于：
针对每一序列号，利用该序列号所标识图像帧的显示时间减去其采集时间，再减去所述系统时间差，得到该序列号所标识图像帧的画面时延。
可选的，所述系统时间差的发送方为所述发送端和所述接收端中的一方。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的画面时延计算方法。
第五方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述的画面时延计算方法。
应用本发明实施例提供的技术方案，在计算每个图像帧的画面时延的过程中，考虑了发送端和接收端之间的系统时间差，避免了因发送端与接收端之间的时间误差而引起的计算误差，因此，提高了计算画面时延的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1本发明实施例提供的一种画面时延计算系统的应用场景图；
图2为本发明实施例提供的一种画面时延计算系统的架构示意图；
图3为本发明实施例提供的一种画面时延计算方法的流程示意图；
图4为本发明实施例提供的一种画面时延计算装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
为了解决现有技术中计算画面时延的准确度不高的问题，本发明实施例公开了一种画面时延计算系统、方法及装置。
具体的，参见图1，图1为本发明实施例提供的一种画面时延计算系统的应用场景图。如图1所示，该系统包括：发送端11、计算中心12、接收端13，其中，
发送端11，用于将所获得的各个序列号以及采集时间发送给计算中心12，并将所获得的各个序列号嵌入到所获得的各个图像帧；进而，对嵌入序列号后的各个图像帧进行编码，得到各个视频帧；将各个视频帧发送给接收端13；
接收端13，用于在接收到各个视频帧后；对各个视频帧进行解码，得到嵌入序列号后的各个图像帧；进而，提取各个图像帧的序列号；显示各个图像帧并记录各个图像帧的显示时间；针对每个图像帧，将该图像帧的显示时间以及序列号发送给计算中心12；
计算中心12，用于获得系统时间差；接收每个图像帧的序列号、采集时间以及显示时间；针对每一序列号，根据该序列号所标识图像帧的显示时间和采集时间，以及系统时间差，计算该序列号所标识图像帧的画面时延。
应用本发明实施例，提高了计算画面时延的准确度。
下面对本发明实施例提供的一种画面时延计算系统进行详细说明。
参见图1，该系统包括：发送端11、计算中心12、接收端13，其中，
发送端11，用于获得各个图像帧；针对每个图像帧，分别获取一序列号以及该图像帧的采集时间，将该序列号以及该图像帧的采集时间发送给计算中心12，并将该序列号嵌入到该图像帧；获得嵌入序列号后的各个图像帧，并对嵌入序列号后的各个图像帧进行编码，得到各个视频帧，将各个视频帧发送给接收端13；其中，序列号用于唯一标识图像帧；
接收端13，用于接收各个视频帧；对各个视频帧进行解码，得到嵌入序列号后的各个图像帧；提取各个图像帧的序列号；显示各个图像帧并记录各个图像帧的显示时间；针对每个图像帧，将该图像帧的显示时间以及序列号发送给计算中心12；
计算中心12，用于获得发送端11与接收端12之间的系统时间差；接收来自发送端11的每个图像帧的序列号和采集时间，以及来自接收端13的每个图像帧的序列号和显示时间；针对每一序列号，根据该序列号所标识图像帧的显示时间和采集时间，以及系统时间差，计算该序列号所标识图像帧的画面时延。
发送端11和接收端13可以为独立存在的物理实体，且发送端11和接收端13可以为同一种类型的物理实体，也可以为不同类型的物理实体，计算中心12可以为逻辑功能模块，也可以为独立存在的物理实体。当计算中心12为逻辑功能模块时，可以将其设置于发送端11或接收端13中，也可以将其设置于独立于发送端11和接收端13的第三方物理实体中，本发明实施例对计算中心12的存在形态不做限定。
例如，发送端11和接收端13可以均为手机、平板电脑、个人电脑、计算机等终端设备中的一种，计算机中心12可以为独立存在的一台服务器，也可以为由多个服务器构成的服务器集群中的某台服务器。
该系统还可以包括采集模块，采集模块可以采集视频通话过程中产生的各各个图像帧。采集模块可以为逻辑功能模块，也可以为物理实体，例如摄像头，或其他能够采集图像帧的电子设备。
具体的，采集模块可以设置于发送端11中，从而发送端11可以直接通过采集模块获得各个图像帧，另外，采集模块可以设置于除发送端11之外的其他物理实体中，在这种情况下，采集模块在得到各个图像帧之后，可以将各个图像帧发送给发送端11，从而发送端11可以获得各个图像帧。
图像帧的采集时间可以为：采集模块采集到图像帧的时间。采集模块在采集到图像帧的同时，可以记录图像帧的采集时间，从而，发送端11获取采集时间的方式可以为：当采集模块设置于发送端11时，发送端可以直接获取已记录的各个图像帧的采集时间；当采集模块设置于发送端11中之外时，采集模块可以将各个图像帧的采集时间发送给发送端11，从而，发送端可以获取各个图像帧的采集时间。
发送端获得的各个图像帧的格式均相同，具体的，各个图像帧的格式均可以为YUV，采用YUV格式的图像帧可以称为YUV帧。YUV是指明亮度和色度分开表示的图像格式，YUV，分为三个分量，Y表示明亮度(Luminance或Luma)，也就是灰度值；而U和V表示的则是色度(Chrominance或Chroma)，作用是描述图像色彩及饱和度，图像帧的格式采用为YUV的好处是：不但可以避免明亮度和色度的相互干扰，还可以降低色度的采样率，减少对图像质量的影响。
该系统还可以包括序列号生成模块，序列号生成模块用于生成序列号。序列号生成模块可以为逻辑功能模块，也可以为物理实体。序列号用于唯一标识图像帧，序列号可以由字母、数字、下划线等中的一种或多种组合而成。例如，序列号可以由12345等纯数字组成，也可以由12Aa_b12组成，本发明实施例对序列号的组成形式不做限定。
序列号生成模块可以位于发送端11中，针对发送端11所获得的每一图像帧，序列号生成模块均生成一个序列号，从而，针对每一图像帧，发送端11在获得该图像帧后，可以直接通过序列号生成模块获取一个序列号。
另外，序列号生成模块也可以位于发送端11之外，在这种情况下，获取序列号的方式可以为：发送端11在获得各个图像帧后，针对所获得的每一图像帧，向序列号生成模块发送获取请求，该获取请求用于获取序列号；接收序列号生成模块针对该获取请求生成的序列号。
为了使发送端11获取的序列号具有规律性，在一种具体的实施方式中，发送端11针对每个图像帧所分别获取一序列号的值以固定步长依次递增/递减。
固定步长可以根据用户需求事先设定，本发明实施例对固定步长的具体数值不做限定。例如，可以为1、2、3、4、5、6等。
需要说明的是，发送端11所获取的第一个序列号可以为序列号生成模块随机生成的一个序列号，发送端11后续获取的序列号的值，可以在所获取的前一个序列号的值的基础上，以固定步长依次递减/递增，也就是说，序列号生成模块生成的序列号的值以固定步长依次递减/递增。
示例性的，获得各个图像帧的先后顺序为：图像帧A、图像帧B、图像帧C，图像帧A的序列号为100，固定步长为1，若发送端11针对每个图像帧所分别获取一序列号的值以固定步长依次递增，则发送端11所获取的第二个序列号，也就是图像帧B的序列号为：100+1＝101，所获取的第三个序列号，也就是图像帧C的序列号为：101+1＝102。
可见，应用本发明实施例，发送端11针对每个图像帧所分别获取一序列号的值以固定步长依次递增/递减，实现了使发送端11获取的序列号具有规律性。
发送端在针对每个图像帧，分别获取一个序列号后，可以将该序列号嵌入到该图像帧，从而可以获得嵌入序列号后的各个图像帧。具体的，将序列号嵌入到图像帧的方式可以根据用户需求设定，本发明实施例对此不做限定，例如，图像帧为YUV帧，则该方式可以为：将序列号嵌入到图像帧的Y分量上，从而完成将将序列号嵌入到图像帧中。
计算中心12可以获得发送端11与接收端13之间的系统时间差，具体的，系统时间差的发送方可以为发送端11和接收端13中的一方。
为了简化获得系统时间差的过程，在一种具体的实施方式中，发送方通过如下步骤得到系统时间差：
步骤A1，向对方发送第一数据包；其中，第一数据包中携带第一数据包的发送时间；
步骤A2，接收对方发送的第二数据包，并记录第二数据包的接收时间；提取第二数据包中携带的第一数据包的接收时间与发送时间、以及第二数据包的发送时间；
步骤A3，将第一差值与第二差值的平均值作为系统时间差；其中，第一差值为第一数据包的接收时间与发送时间之差，第二差值为第二数据包的接收时间与发送时间之差。
例如，第一数据包的发送时间和接收时间分别为T1和T2，第二数据包的发送时间和接收时间分别为T3和T4，则第一差值为：t1＝T2-T1，第二差值为：t2＝T4-T3，系统时间差为：NPT＝(t1+t2)/2。
需要说明的是，对方在接收到第一数据包后，可以根据第一数据包生成第二数据包，并将第二数据包发送给发送方，其中，第二数据包中携带第一数据包的接收时间与发送时间、以及第二数据包的发送时间；从而，发送方可以接收对方发送的第二数据包。
第一数据包的接收时间是指对方接收到第一数据包的时间，第一数据包的发送时间是指发送方向对方发送到第一数据包的时间，第二数据包的接收时间是指发送方接收到第二数据包的时间，第二数据包的发送时间是指对方发送到第二数据包的时间。
另外，本发明实施例对第一数据包和第二数据包的类型不做限定。第一数据包和第二数据包的类型可以相同，也可以不同。例如，第一数据包和第二数据包的类型均为RTCP(Real-time Control Protocol，实时传输控制协议)APP(Application，特殊应用包)。
可以看出，应用本发明实施例，直接将第一差值与第二差值的平均值作为系统时间差，计算过程简单，从而简化了获得系统时间差的过程。
计算中心12可以接收来自发送端11的每个图像帧的序列号和采集时间，以及来自接收端13的每个图像帧的序列号以及显示时间，并可以预先建立两个数据集，其中一个用于存储每个图像帧的序列号和采集时间，另一个用于存储每个图像帧的序列号和显示时间；也可以预先建立一个数据集，将每一序列号所标识的图像帧的采集时间和显示时间对应存储，本发明实施例对计算中心12存储每个图像帧的序列号、采集时间以及显示时间的方式不做限定。
例如，计算中心12预先建立两个数据集E、F，其中，数据集E用于存储来自发送端11的每个图像帧的序列号和采集时间；数据集F用于存储来自接收端13的每个图像帧的序列号和显示时间；则在接收到来自发送端11的图像帧A的序列号和采集时间时，将图像帧A的序列号和采集时间存储至数据集E；在接收到来自接收端13的图像帧B的序列号和显示时间时，将图像帧B的序列号和显示时间存储至数据集F。
计算中心12在存储每个图像帧的显示时间、采集时间和序列号后，可以利用每一序列号，查找到该序列号所标识图像帧的显示时间和采集时间，从而，根据该序列号所标识图像帧的显示时间和采集时间，以及系统时间差，计算该序列号所标识图像帧的画面时延。
可见，应用本发明实施例提供的技术方案，在计算每个图像帧的画面时延的过程中，考虑了发送端和接收端之间的系统时间差，避免了因发送端与接收端之间的时间误差而引起的计算误差，因此，提高了计算画面时延的准确度。
为了在提高画面时延的计算准确度的基础上，简化计算过程，在一种具体的实施方式中，计算中心12针对每一序列号，根据该序列号所标识图像帧的显示时间和采集时间，以及系统时间差，计算该序列号所标识图像帧的画面时延，可以为：
针对每一序列号，利用该序列号所标识图像帧的显示时间减去其采集时间，再减去系统时间差，得到该序列号所标识图像帧的画面时延。
可以理解的是，针对每一序列号，可以利用该序列号，从存储发送端和接收端信息的数据集中，查找到该序列号所标识图像帧的采集时间和显示时间，进而，可以利用该序列号所标识图像帧的显示时间减去其采集时间，再减去系统时间差，得到该序列号所标识图像帧的画面时延。
例如，序列号100所标识的图像帧为图像帧A，系统时间差为NPT，利用该序列号查找到图像帧A显示时间和采集时间分别为M、N，则图像帧的画面时延为：M-N-NPT。
可以看出，每个图像帧的画面时延为：图像帧的显示时间减去其采集时间，再减去系统时间差，由于计算画面时延时减去了系统时间差，并且计算过程简单，故实现了在提高画面时延的计算准确度的基础上，简化计算过程。
下面通过一个具体实例来对本发明实施例进行简单介绍。
应用本发明实施例提供的画面时延计算系统，搭建如图2所示的系统架构图，该系统包括发送端11、计算中心12、接收端13，其中，发送端11包括摄像头、序列号嵌入器、编码器、第一收发器，接收端13包括第二收发器、解码器、序列号嵌入器、显示器，该系统的具体运行流程如下：
发送端11，用于通过摄像头采集视频通话过程中产生的各个画面，将各个画面处理成各个图像帧，并记录图像帧的采集时间；通过序列号嵌入器获得摄像头输出的各个图像帧，并针对所获得的每一图像帧，生成一个序列号，并将所生成的序列号嵌入到该图像帧中；通过编码器获得嵌入序列号后的各个图像帧，并对嵌入序列号后的各个图像帧进行编码，得到各个视频帧；通过第一收发器将各个视频帧发送给接收端13，将各个图像帧的序列号和采集时间发送给计算中心12；
接收端13，用于通过第二收发器接收发送端11发送的各个视频帧；通过解码器对各个视频帧进行解码，得到嵌入序列号后的各个图像帧；通过序列号提取器提取各个图像帧的序列号；通过显示器显示各个图像帧并记录各个图像帧的显示时间；并通过第二收发器将每个图像帧的显示时间以及序列号发送给计算中心12；
计算中心12，用于获得系统时间差；接收来自发送端的每个图像帧的序列号和采集时间，以及来自接收端的每个图像帧的序列号以及显示时间；针对每一序列号，利用该序列号所标识图像帧的显示时间减去其采集时间，再减去系统时间差，得到该序列号所标识图像帧的画面时延。
可见，应用本发明实施例提供的技术方案，在计算每个图像帧的画面时延的过程中，考虑了发送端和接收端之间的系统时间差，避免了因发送端与接收端之间的时间误差而引起的计算误差，因此，提高了计算画面时延的准确度。
相应于上述画面时延计算系统实施例，本发明实施例提供了一种画面时延计算方法，参见图3所示，该方法包括：
S301，计算中心获得发送端与接收端之间的系统时间差；
S302，计算中心接收来自发送端的每个图像帧的序列号和采集时间，以及来自接收端的每个图像帧的序列号和显示时间；
S303，计算中心针对每一序列号，根据该序列号所标识图像帧的显示时间和采集时间，以及系统时间差，计算该序列号所标识图像帧的画面时延。
可见，应用本发明实施例提供的技术方案，在计算每个图像帧的画面时延的过程中，考虑了发送端和接收端之间的系统时间差，避免了因发送端与接收端之间的时间误差而引起的计算误差，因此，提高了计算画面时延的准确度。
可选的，计算中心针对每一序列号，根据该序列号所标识图像帧的显示时间和采集时间，以及所述系统时间差，计算该序列号所标识图像帧的画面时延，包括：
计算中心针对每一序列号，利用该序列号所标识图像帧的显示时间减去其采集时间，再减去所述系统时间差，得到该序列号所标识图像帧的画面时延。
可选的，所述系统时间差的发送方为所述发送端和所述接收端中的一方。
相应于画面时延计算方法实施例，本发明实施例提供了一种画面时延计算装置，参见图4所示，与图3所示流程相对应，装置包括：
获得模块41，用于获得发送端与接收端之间的系统时间差；接收来自所述发送端的每个图像帧的序列号和采集时间，以及来自所述接收端的每个图像帧的序列号以及显示时间；
计算模块42，用于针对每一序列号，根据该序列号所标识图像帧的显示时间和采集时间，以及所述系统时间差，计算该序列号所标识图像帧的画面时延。
可见，应用本发明实施例提供的技术方案，在计算每个图像帧的画面时延的过程中，考虑了发送端和接收端之间的系统时间差，避免了因发送端与接收端之间的时间误差而引起的计算误差，因此，提高了计算画面时延的准确度。
可选的，计算模块42，具体用于：
针对每一序列号，利用该序列号所标识图像帧的显示时间减去其采集时间，再减去所述系统时间差，得到该序列号所标识图像帧的画面时延。
可选的，所述系统时间差的发送方为所述发送端和所述接收端中的一方。
在本发明实施的又一方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的画面时延计算方法。
在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述的画面时延计算方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法、装置、计算机可读存储介质、包含指令的计算机程序产品实施例而言，由于其基本相似于系统实施例，所以描述的比较简单，相关之处参见系统实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种画面时延计算系统，其特征在于，所述系统包括：发送端、接收端、和计算中心，其中，
所述发送端，用于获得各个图像帧；针对每个图像帧，分别获取一序列号以及该图像帧的采集时间，将该序列号以及该图像帧的采集时间发送给所述计算中心，并将该序列号嵌入到该图像帧；获得嵌入序列号后的各个图像帧，并对嵌入序列号后的各个图像帧进行编码，得到各个视频帧，将各个视频帧发送给所述接收端；
所述接收端，用于接收各个视频帧；对各个视频帧进行解码，得到嵌入序列号后的各个图像帧；提取各个图像帧的序列号；显示各个图像帧并记录各个图像帧的显示时间；针对每个图像帧，将该图像帧的显示时间以及序列号发送给所述计算中心；
所述计算中心，用于获得所述发送端与所述接收端之间的系统时间差；接收来自所述发送端的每个图像帧的序列号和采集时间，以及来自所述接收端的每个图像帧的序列号和显示时间；针对每一序列号，根据该序列号所标识图像帧的显示时间和采集时间，以及所述系统时间差，计算该序列号所标识图像帧的画面时延。
2.根据权利要求1所述的系统，其特征在于，所述发送端针对每个图像帧所分别获取一序列号的值以固定步长依次递增/递减。
3.根据权利要求1所述的系统，其特征在于，所述系统时间差的发送方为所述发送端和所述接收端中的一方。
4.根据权利要求1所述的系统，其特征在于，所述计算中心针对每一序列号，根据该序列号所标识图像帧的显示时间和采集时间，以及所述系统时间差，计算该序列号所标识图像帧的画面时延，具体为：
针对每一序列号，利用该序列号所标识图像帧的显示时间减去其采集时间，再减去所述系统时间差，得到该序列号所标识图像帧的画面时延。
5.一种画面时延计算方法，其特征在于，包括：
计算中心获得发送端与接收端之间的系统时间差；
所述计算中心接收来自所述发送端的每个图像帧的序列号和采集时间，以及来自所述接收端的每个图像帧的序列号以及显示时间；
所述计算中心针对每一序列号，根据该序列号所标识图像帧的显示时间和采集时间，以及所述系统时间差，计算该序列号所标识图像帧的画面时延。
6.根据权利要求5所述的方法，其特征在于，所述计算中心针对每一序列号，根据该序列号所标识图像帧的显示时间和采集时间，以及所述系统时间差，计算该序列号所标识图像帧的画面时延，包括：
所述计算中心针对每一序列号，利用该序列号所标识图像帧的显示时间减去其采集时间，再减去所述系统时间差，得到该序列号所标识图像帧的画面时延。
7.根据权利要求5或6所述的方法，其特征在于，所述系统时间差的发送方为所述发送端和所述接收端中的一方。
8.一种画面时延计算装置，其特征在于，包括：
获得模块，用于获得发送端与接收端之间的系统时间差；接收来自所述发送端的每个图像帧的序列号和采集时间，以及来自所述接收端的每个图像帧的序列号以及显示时间；
计算模块，用于针对每一序列号，根据该序列号所标识图像帧的显示时间和采集时间，以及所述系统时间差，计算该序列号所标识图像帧的画面时延。
9.根据权利要求8所述的装置，其特征在于，所述计算模块，具体用于：
针对每一序列号，利用该序列号所标识图像帧的显示时间减去其采集时间，再减去所述系统时间差，得到该序列号所标识图像帧的画面时延。
10.根据权利要求8或9所述的装置，其特征在于，所述系统时间差的发送方为所述发送端和所述接收端中的一方。
CN201711006471.3A 2017-10-25 2017-10-25 一种画面时延计算系统、方法及装置 Pending CN107734285A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711006471.3A CN107734285A (zh) 2017-10-25 2017-10-25 一种画面时延计算系统、方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711006471.3A CN107734285A (zh) 2017-10-25 2017-10-25 一种画面时延计算系统、方法及装置

Publications (1)

Publication Number Publication Date
CN107734285A true CN107734285A (zh) 2018-02-23

Family

ID=61213491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711006471.3A Pending CN107734285A (zh) 2017-10-25 2017-10-25 一种画面时延计算系统、方法及装置

Country Status (1)

Country Link
CN (1) CN107734285A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109286813A (zh) * 2018-11-14 2019-01-29 北京奇艺世纪科技有限公司 一种视频通信质量检测方法和装置
CN112994980A (zh) * 2021-03-02 2021-06-18 北京百度网讯科技有限公司 时延测试方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813161A (zh) * 2012-11-12 2014-05-21 腾讯科技（深圳）有限公司 延时测试方法和装置
CN103826117A (zh) * 2014-01-17 2014-05-28 浙江大学 一种测量手机视频通讯应用端到端延时的方法
CN105611291A (zh) * 2015-12-31 2016-05-25 北京奇艺世纪科技有限公司 在视频帧中加入标记信息及检测丢帧的方法和装置
CN106210708A (zh) * 2015-04-30 2016-12-07 杭州海康威视数字技术股份有限公司 一种图像延迟的检测方法和系统
CN106454921A (zh) * 2015-08-05 2017-02-22 中兴通讯股份有限公司 时延的最小化路测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813161A (zh) * 2012-11-12 2014-05-21 腾讯科技（深圳）有限公司 延时测试方法和装置
CN103826117A (zh) * 2014-01-17 2014-05-28 浙江大学 一种测量手机视频通讯应用端到端延时的方法
CN106210708A (zh) * 2015-04-30 2016-12-07 杭州海康威视数字技术股份有限公司 一种图像延迟的检测方法和系统
CN106454921A (zh) * 2015-08-05 2017-02-22 中兴通讯股份有限公司 时延的最小化路测方法及装置
CN105611291A (zh) * 2015-12-31 2016-05-25 北京奇艺世纪科技有限公司 在视频帧中加入标记信息及检测丢帧的方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109286813A (zh) * 2018-11-14 2019-01-29 北京奇艺世纪科技有限公司 一种视频通信质量检测方法和装置
CN112994980A (zh) * 2021-03-02 2021-06-18 北京百度网讯科技有限公司 时延测试方法、装置、电子设备和存储介质
CN112994980B (zh) * 2021-03-02 2023-12-19 北京百度网讯科技有限公司 时延测试方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN106162235B (zh) 用于切换视频流的方法和装置
CN109151468B (zh) 一种图像数据的编码、解码方法及装置
US20140146877A1 (en) Method for dynamically adapting video image parameters for facilitating subsequent applications
US20200112709A1 (en) Carriage of pcc in isobmff for flexible combination
TWI667914B (zh) 一種影像資料的編碼、解碼方法及裝置
CN109429064A (zh) 一种处理视频数据的方法和装置
CN107734285A (zh) 一种画面时延计算系统、方法及装置
US9256789B2 (en) Estimating motion of an event captured using a digital video camera
CN112218034A (zh) 视频处理方法、系统、终端和存储介质
CN111083450A (zh) 车机端图像远程输出方法、装置及系统
CN113038176B (zh) 视频抽帧方法、装置和电子设备
CN107733874B (zh) 信息处理方法、装置、计算机设备和存储介质
CN110809166B (zh) 视频数据处理方法、装置和电子设备
CN105727556B (zh) 一种图像绘制的方法、相关设备及系统
CN111478916A (zh) 基于视频流的数据传输方法、设备和存储介质
CN110365690A (zh) 流量采集方法、装置及存储介质
CN114726480B (zh) 数据编码方法及相关装置、电子设备和存储介质
CN110781066A (zh) 用户行为分析方法、装置、设备及存储介质
CN114339252A (zh) 一种数据压缩方法及装置
CN112346661B (zh) 数据处理方法、装置和电子设备
CN111191612B (zh) 视频图像匹配方法、装置、终端设备及可读存储介质
CN110545431B (zh) 视频解码方法及装置、视频编码方法及装置
EP2073559A1 (en) Multiplexing video using a DSP
CN109101646B (zh) 数据处理方法、装置、系统及计算机可读介质
CN108347451B (zh) 图片处理系统、方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180223