CN116389718A - 轻量级节点延迟检测方法、装置、电子设备及存储介质 - Google Patents
轻量级节点延迟检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116389718A CN116389718A CN202310606446.8A CN202310606446A CN116389718A CN 116389718 A CN116389718 A CN 116389718A CN 202310606446 A CN202310606446 A CN 202310606446A CN 116389718 A CN116389718 A CN 116389718A
- Authority
- CN
- China
- Prior art keywords
- video frame
- processing node
- node
- frame processing
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 345
- 238000000034 method Methods 0.000 claims abstract description 148
- 230000006854 communication Effects 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 abstract description 26
- 238000011897 real-time detection Methods 0.000 abstract description 6
- 230000000875 corresponding effect Effects 0.000 description 31
- 238000009432 framing Methods 0.000 description 6
- 230000001934 delay Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000012827 research and development Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0852—Delays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种轻量级节点延迟检测方法、装置、电子设备及存储介质，该方法包括：获取流媒体视频通讯过程中至少一个视频帧处理节点的处理时间，以及对应的视频帧的帧标识，其中，所述至少一个视频帧处理节点包括服务器的处理节点和/或终端的处理节点，所述处理时间包括对应视频帧处理节点的处理时长或对应视频帧处理节点开始处理的时间或对应视频帧处理节点处理完成的时间；将所述处理时间和帧标识进行上报。本发明能够从整个云应用传输链路中的各个视频帧处理节点的角度侦测延迟问题，实现链路中各个节点的延迟的实时检测，便于及早发现问题并提供尽早解决问题的有力信息支撑。
Description
技术领域
本发明涉及云计算技术领域，尤其涉及一种轻量级节点延迟检测方法、装置、电子设备及存储介质。
背景技术
随着云应用技术的发展，应用公司、平台、用户对低延迟视频要求越来越高。而应用视频的延迟是云应用系统中非常重要的性能指标之一，低延迟的应用图像传输是玩家正常云玩的重要前提。
而图像传输链路中的节点非常多，从图像输出、采集到传输显示，图像数据历经诸多传输处理节点，每一个节点理论上都有延迟，然而用户发现的图像延迟一般仅仅表现在用户的终端设备显示上。当用户发现了问题才报告问题的话，难以及时、准确地确定具体是哪个节点导致的延迟。另外，被动地等待用户报告问题后再进行问题排查的方式也使得延迟问题的解决处于被动局势，不利于尽早发现并解决问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的轻量级节点延迟检测方法、装置、电子设备及存储介质。
本发明的一个方面，提供了一种轻量级节点延迟检测方法，所述方法包括：
获取流媒体视频通讯过程中至少一个视频帧处理节点的处理时间，以及对应的视频帧的帧标识，其中，所述至少一个视频帧处理节点包括服务器的处理节点和/或终端的处理节点，所述处理时间包括对应视频帧处理节点的处理时长或对应视频帧处理节点开始处理的时间或对应视频帧处理节点处理完成的时间；
将所述处理时间和帧标识进行上报。
第二方面，本发明还提供了一种轻量级节点延迟检测装置，所述装置包括：
获取模块，用于获取流媒体视频通讯过程中至少一个视频帧处理节点的处理时间，以及对应的视频帧的帧标识，其中，所述至少一个视频帧处理节点包括服务器的处理节点和/或终端的处理节点，所述处理时间包括对应视频帧处理节点的处理时长或对应视频帧处理节点开始处理的时间或对应视频帧处理节点处理完成的时间；
上报模块，用于将所述处理时间和帧标识进行上报。
第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述的轻量级节点延迟检测方法的步骤。
第四方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的轻量级节点延迟检测方法的步骤。
本发明实施例提供的轻量级节点延迟检测方法、装置、电子设备及存储介质，能够从整个云应用传输链路中的各个视频帧处理节点的角度侦测延迟问题，实现链路中各个节点的延迟的实时检测，通过帧标识能够将不同节点上的延迟进行关联，以实现从整个系统的角度定位问题节点，便于及早发现问题并为研发团队提供尽早解决问题的有力信息支撑，而且本申请实现延迟检测的方式需要资源消耗极其轻量，不会对云应用主业务造成任何影响，不会影响云应用的延迟和资源消耗等性能指标。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例提供的轻量级节点延迟检测方法的流程图；
图2为本发明实施例提供的轻量级节点延迟检测装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语），具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
本发明提出一种轻量级节点延迟检测方法，用来实现云应用，如云游戏的传输链路上数据延迟问题的实时侦测上报，本方法不仅可以正确的检测延迟，而且对CPU、内存和网络资源方面的占用不会对云应用主流程运行产生影响，对整体业务不带来资源的侵占。
图1示意性示出了本发明一个实施例的轻量级节点延迟检测方法的流程图。参照图1，本发明实施例的轻量级节点延迟检测方法具体包括以下步骤：
S11、获取流媒体视频通讯过程中至少一个视频帧处理节点的处理时间，以及对应的视频帧的帧标识，其中，所述至少一个视频帧处理节点包括服务器的处理节点和/或终端的处理节点，所述处理时间包括对应视频帧处理节点的处理时长或对应视频帧处理节点开始处理的时间（可以用时间戳表示）或对应视频帧处理节点处理完成的时间（可以用时间戳表示）。
本发明实施例中，为了保证能够准确实现不同视频帧处理节点对同一视频帧实现延迟检测，可以为视频帧添加预设的帧标识trackid和当前视频帧处理节点的处理时间。具体的，可将trackid和处理时间添加在视频帧的metadata信息中。可选地，帧标识可以是任意数字、字符组成的字符串，用于标识唯一的视频帧，本实施中不对帧标识的具体实现方式进行限定，能够实现视频帧的标识即可。
S12、将所述处理时间和帧标识进行上报。
本发明实施例中，仅仅根据单独的视频帧处理节点的延迟，不容易判断延迟异常的原因，因此，本发明实施例在服务器（比如云服务器）和/或终端统计各个视频帧处理节点的处理时间（即延迟时间）后，将所述处理时间和帧标识进行上报，比如上报给分析平台，分析平台获得处理时间和帧标识后，可以根据帧标识将视频帧在各个视频帧处理节点的延迟时间进行关联统计（比如根据相邻两个视频帧处理节点对应的开始处理的时间可以计算前一个视频帧处理节点的处理时长，即延迟时间，或根据相邻两个视频帧处理节点对应的处理完成的时间可以计算后一个视频帧处理节点的处理时长，即延迟时间），进而通过关联起一帧视频帧的所有节点延迟，更好的分析云应用的延迟异常问题。
本实施例中的云应用可以是云游戏，本发明对此不作具体限定。
本发明实施例提供的轻量级节点延迟检测方法，能够从整个云应用传输链路中的各个视频帧处理节点的角度侦测延迟问题，实现链路中各个节点的延迟的实时检测，通过帧标识能够将不同节点上的延迟进行关联，以实现从整个系统的角度定位问题节点，便于及早发现问题并为研发团队提供尽早解决问题的有力信息支撑，而且本申请实现延迟检测的方式的资源消耗极其轻量，不会对云应用主业务造成任何影响，不会影响云应用的延迟和资源消耗等性能指标。
在本发明实施例中，所述至少一个视频帧处理节点包括第一视频帧处理节点和/或第二视频帧处理节点和/或第三视频帧处理节点；其中，
对于第一视频帧处理节点，记所述第一视频帧处理节点所属的进程为第一进程，所述第一进程为所述第一进程所属设备的第一个处理进程，所述第一进程不存在前一个进程；
对于第二视频帧处理节点，记所述第二视频帧处理节点所属的进程为第二进程，所述第二进程的前一个进程为第三进程，所述第二进程和第三进程属于同一设备，所述第二视频帧处理节点的处理时间与所述第三进程的视频帧处理节点的处理时间使用相同的时钟进行计算；
对于第三视频帧处理节点，记所述第三视频帧处理节点所属的进程为第四进程，所述第四进程的前一个进程为第五进程，所述第四进程和第五进程属于不同的设备，在获取所述第三视频帧处理节点的处理时间之前，对所述第四进程和第五进程进行时钟校准。
本实施例中，对于涉及动作捕捉类云应用，云应用的流媒体传输链路中的视频帧处理节点可以包括相机采集、视频帧分发、视频编码、平滑发送队列、网络发送、网络接收、视频组帧、视频解码、视频三方处理、视频显示、屏幕采集、回环视频帧分发、回环视频编码、回环平滑发送队列、回环网络发送、回环网络接收、回环视频组帧、回环视频解码以及回环视频显示，其中，相机采集、视频帧分发、视频编码、平滑发送队列、网络发送，以及回环网络接收、回环视频组帧、回环视频解码和回环视频显示是终端上的视频帧处理节点，网络接收、视频组帧、视频解码、视频三方处理、视频显示、屏幕采集、回环视频帧分发、回环视频编码、回环平滑发送队列和回环网络发送是云服务器上的视频帧处理节点；而云游戏的流媒体传输链路中的视频帧处理节点可以包括屏幕采集、视频帧分发、视频编码、平滑发送队列、网络发送、网络接收、视频组帧、视频解码以及视频显示，其中，屏幕采集、视频帧分发、视频编码、平滑发送队列和网络发送是云服务器上的视频帧处理节点，网络接收、视频组帧、视频解码和视频显示是终端上的视频帧处理节点。云应用的流媒体传输链路中的视频帧处理节点所属的进程可能不同，不同进程可能属于不同的设备，因此，对于同一设备中不同进程的视频帧处理节点的处理时间需要使用相同的时钟进行计算；不同的设备中的视频帧处理节点的处理时间在计算时需要先进行时钟校准，在时钟校准后进行计算。
需要说明的是，获取视频帧在各个视频帧处理节点的延迟时间时，需要根据如下情况进行计算：
1）同一台设备不同进程中节点延迟测量
对不同进程使用相同的时钟（比如记时时钟）进行计算，假设视频帧进入节点时间为t11,视频帧退出节点时间为t21，则处理时间可以为t11、t21，或者t21-t11。
2）不同设备中节点延迟测量
对不同设备中不同进程进行时钟校准（比如使用相同ntp时钟进行校准），假设视频帧进入节点时间为t12，视频帧退出节点时间为t22，则处理时间可以为t12、t22，或者t22-t12。
具体的，对于流媒体视频通讯过程的第一个进程（即第一进程），该第一进程的各个视频帧处理节点（即第一视频帧处理节点）的处理时间可以为视频帧进入节点时间、视频帧退出节点时间，或者视频帧退出节点时间与视频帧进入节点时间的差值；
对于与第一进程属于同一设备的第二进程，该第二进程的各个视频帧处理节点（即第二视频帧处理节点）的处理时间与第一视频帧处理节点的处理时间使用相同的时钟进行计算，可以为视频帧进入节点时间、视频帧退出节点时间，或者视频帧退出节点时间与视频帧进入节点时间的差值；
对于与第一进程所属设备通信的另一设备的第一个进程（即第四进程），在计算该第四进程的各个视频帧处理节点的处理时间之前，需要对该第四进程和第五进程（即第四进程的前一个进程，为第一进程所属设备的进程）进行时钟校准，校准之后计算该第四进程的各个视频帧处理节点的处理时间可以为视频帧进入节点时间、视频帧退出节点时间，或者视频帧退出节点时间与视频帧进入节点时间的差值；而对于该另一设备的除第四进程之外的其它进程，该其它进程的各个视频帧处理节点的处理时间与该第四进程的各个视频帧处理节点的处理时间使用相同的时钟进行计算，可以为视频帧进入节点时间、视频帧退出节点时间，或者视频帧退出节点时间与视频帧进入节点时间的差值；
流媒体视频通讯过程涉及的其它进程的视频帧处理节点的处理时间的计算方法与该另一设备对应的进程的视频帧处理节点的处理时间的计算方法一致，此处不再赘述。
在前述方法实施例的基础上，获取流媒体视频通讯过程中至少一个视频帧处理节点的处理时间，以及对应的视频帧的帧标识，可以包括：
对第四视频帧处理节点对应的视频帧添加水印，使得第四视频帧处理节点处理得到的视频帧中存在水印，其中，第四视频帧处理节点处理得到的视频帧的metadata信息中添加有帧标识和第四视频帧处理节点的处理时间对应的时间戳；
获取第四视频帧处理节点处理得到的视频帧的metadata信息中的帧标识和时间戳；
若第四视频帧处理节点后的第五视频帧处理节点不能传递视频帧的metadata信息，则在第五视频帧处理节点处理之后，读取第五视频帧处理节点处理得到的视频帧中的水印，根据水印确定出帧标识，在第五视频帧处理节点处理得到的视频帧的metadata信息中添加确定出的帧标识和第五视频帧处理节点的处理时间对应的时间戳，获取第五视频帧处理节点处理得到的视频帧的metadata信息中的帧标识和时间戳，或者若第四视频帧处理节点后的第五视频帧处理节点能够传递视频帧的metadata信息，则在第五视频帧处理节点处理之后，在第五视频帧处理节点处理得到的视频帧的metadata信息中添加第五视频帧处理节点的处理时间对应的时间戳，获取第五视频帧处理节点处理得到的视频帧的metadata信息中的帧标识和时间戳。
本实施例中，可以理解的是，第四视频帧处理节点为不能传递视频帧的metadata信息的视频帧处理节点，因此需要对第四视频帧处理节点对应的视频帧添加水印，使得第四视频帧处理节点处理得到的视频帧中存在水印，获取第四视频帧处理节点处理得到的视频帧中的水印，根据水印与帧标识的对应关系或水印信息（比如水印标识）与帧标识的对应关系确定出帧标识，将处理时间、水印信息和确定出的帧标识添加进第四视频帧处理节点处理得到的视频帧的metadata信息中，其中，视频帧中的水印与对应视频帧的帧标识具有一一对应的关系或者视频帧中的水印的水印信息与对应视频帧的帧标识具有一一对应的关系。当第四视频帧处理节点处理得到的视频帧后续进入的第五视频帧处理节点不能传递视频帧的metadata信息时，则在该第五视频帧处理节点处理之后，读取该第五视频帧处理节点处理得到的视频帧中的水印，根据水印确定出帧标识，然后在该第五视频帧处理节点处理得到的视频帧的metadata信息中添加水印信息、确定出的帧标识和该第五视频帧处理节点的处理时间，恢复视频帧的metadata信息；而当第四视频帧处理节点处理得到的视频帧后续进入的第五视频帧处理节点能够传递视频帧的metadata信息时，可以从第四视频帧处理节点处理得到的视频帧的metadata信息中提取水印信息和帧标识，并连同第五视频帧处理节点的处理时间添加进第五视频帧处理节点处理得到的视频帧的metadata信息中。
所述第四视频帧处理节点可以包括：相机采集节点、屏幕采集节点、视频三方处理节点和视频显示节点中的至少一项。以第四视频帧处理节点为视频显示节点为例进行说明，视频显示时无法携带视频帧的metadata信息，则帧标识会丢失，此时，可以通过使虚拟屏幕上显示的视频帧中叠加水印，视频显示后通过识别出水印来恢复帧标识。
流媒体视频通讯过程涉及功能节点较多，测量的各个节点的延迟基本都是独立的，无法与其他节点关联一起，而且各个设备的时钟是非统一的，延长时间不容易关联统一。为此，在本发明实施例中，会在进行延迟检测时使用相同的时钟或进行时钟校准，并将视频帧在不同设备上的各个视频帧处理节点的处理时间及帧标识上报至云平台，以供云平台根据帧标识将视频帧在各个设备的延迟时间进行关联统计分析。
由于云应用系统传输节点较多，为精准分析延迟原因可支持部署在各个必要的节点进行数据上报，然后可通过帧标识trackid关联数据。具体的，在一个具体实例中，对于云应用平台可以分别部署于服务器（即应用rom端）和用户终端，以对应用rom端和用户终端上报的各个视频帧处理节点的延迟检测结果进行关联统计，进一步实现从整个系统的角度定位问题节点。本发明能够在流媒体通讯中将同一帧视频，在不同设备上的各个视频帧处理节点的延迟值统一到一起，方便分析定位延迟问题。
本发明实施例提供的轻量级节点延迟检测方法中计算算法需要的资源消耗极其轻量，以至对云应用主业务不造成任何影响，尤其是不会增加云应用的延迟和资源消耗等性能指标；而且能够将视频帧在传输过程中不同视频帧处理节点上的延迟时间关联到一起，便于从整个系统的角度定位问题节点。
本发明实施例提供的轻量级节点延迟检测方法，通过测量流媒体通讯中视频帧在各个视频帧处理节点的延迟值，提取大量数据后，可用于分析延迟、卡顿的原因，可用于测量硬件设备的延迟（例如：相机采集延迟，设备渲染显示延迟，三方app的处理延迟）。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
图2示意性示出了本发明一个实施例的轻量级节点延迟检测装置的结构示意图。参照图2，本发明实施例的轻量级节点延迟检测装置具体包括获取模块201和上报模块202，其中：
获取模块201，用于获取流媒体视频通讯过程中至少一个视频帧处理节点的处理时间，以及对应的视频帧的帧标识，其中，所述至少一个视频帧处理节点包括服务器的处理节点和/或终端的处理节点，所述处理时间包括对应视频帧处理节点的处理时长或对应视频帧处理节点开始处理的时间或对应视频帧处理节点处理完成的时间；
上报模块202，用于将所述处理时间和帧标识进行上报。
本发明实施例提供的轻量级节点延迟检测装置，能够从整个云应用传输链路中的各个视频帧处理节点的角度侦测延迟问题，实现链路中各个节点的延迟的实时检测，通过帧标识能够将不同节点上延迟进行关联，以实现从整个系统的角度定位问题节点，便于及早发现问题并为研发团队提供尽早解决问题的有力信息支撑，而且本申请实现延迟检测的方式需要资源消耗极其轻量，不会对云应用主业务造成任何影响，不会影响云应用的延迟和资源消耗等性能指标。
本发明实施例中，所述至少一个视频帧处理节点包括第一视频帧处理节点和/或第二视频帧处理节点和/或第三视频帧处理节点；其中，
对于第一视频帧处理节点，记所述第一视频帧处理节点所属的进程为第一进程，所述第一进程为所述第一进程所属设备的第一个处理进程，所述第一进程不存在前一个进程；
对于第二视频帧处理节点，记所述第二视频帧处理节点所属的进程为第二进程，所述第二进程的前一个进程为第三进程，所述第二进程和第三进程属于同一设备，所述第二视频帧处理节点的处理时间与所述第三进程的视频帧处理节点的处理时间使用相同的时钟进行计算；
对于第三视频帧处理节点，记所述第三视频帧处理节点所属的进程为第四进程，所述第四进程的前一个进程为第五进程，所述第四进程和第五进程属于不同的设备，在获取所述第三视频帧处理节点的处理时间之前，对所述第四进程和第五进程进行时钟校准。
进一步地，所述获取模块201，用于对第四视频帧处理节点对应的视频帧添加水印，使得第四视频帧处理节点处理得到的视频帧中存在水印，其中，第四视频帧处理节点处理得到的视频帧的metadata信息中添加有帧标识和第四视频帧处理节点的处理时间对应的时间戳；获取第四视频帧处理节点处理得到的视频帧的metadata信息中的帧标识和时间戳；若第四视频帧处理节点后的第五视频帧处理节点不能传递视频帧的metadata信息，则在第五视频帧处理节点处理之后，读取第五视频帧处理节点处理得到的视频帧中的水印，根据水印确定出帧标识，在第五视频帧处理节点处理得到的视频帧的metadata信息中添加确定出的帧标识和第五视频帧处理节点的处理时间对应的时间戳，获取第五视频帧处理节点处理得到的视频帧的metadata信息中的帧标识和时间戳，或者若第四视频帧处理节点后的第五视频帧处理节点能够传递视频帧的metadata信息，则在第五视频帧处理节点处理之后，在第五视频帧处理节点处理得到的视频帧的metadata信息中添加第五视频帧处理节点的处理时间对应的时间戳，获取第五视频帧处理节点处理得到的视频帧的metadata信息中的帧标识和时间戳。
其中，所述第四视频帧处理节点包括：相机采集节点、屏幕采集节点、视频三方处理节点和视频显示节点中的至少一项。
对于装置实施例而言，其实现过程与本发明实施例提供的轻量级节点延迟检测方法一致，所能达到的效果也与本申请实施例提供的轻量级节点延迟检测方法相同，相关之处参见方法实施例的部分说明即可，在此不再赘述。
此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述轻量级节点延迟检测方法的步骤。
本实施例中，所述轻量级节点延迟检测方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
此外，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的轻量级节点延迟检测方法的步骤。例如图1所示的S11~S12。或者，所述处理器执行所述计算机程序时实现上述轻量级节点延迟检测装置实施例中各模块/单元的功能，例如图2所示的获取模块201和上报模块202。
本发明实施例提供的轻量级节点延迟检测方法、装置、电子设备及存储介质，能够从整个云应用传输链路中的各个视频帧处理节点的角度侦测延迟问题，实现链路中各个节点的延迟的实时检测，通过帧标识能够将不同节点上延迟进行关联，以实现从整个系统的角度定位问题节点，便于及早发现问题并为研发团队提供尽早解决问题的有力信息支撑，而且本申请实现延迟检测的方式需要资源消耗极其轻量，不会对云应用主业务造成任何影响，不会影响云应用的延迟和资源消耗等性能指标。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种轻量级节点延迟检测方法，其特征在于，所述方法包括：
获取流媒体视频通讯过程中至少一个视频帧处理节点的处理时间，以及对应的视频帧的帧标识，其中，所述至少一个视频帧处理节点包括服务器的处理节点和/或终端的处理节点，所述处理时间包括对应视频帧处理节点的处理时长或对应视频帧处理节点开始处理的时间或对应视频帧处理节点处理完成的时间；
将所述处理时间和帧标识进行上报。
2.根据权利要求1所述的方法，其特征在于，所述至少一个视频帧处理节点包括第一视频帧处理节点和/或第二视频帧处理节点和/或第三视频帧处理节点；其中，
对于第一视频帧处理节点，记所述第一视频帧处理节点所属的进程为第一进程，所述第一进程为所述第一进程所属设备的第一个处理进程，所述第一进程不存在前一个进程；
对于第二视频帧处理节点，记所述第二视频帧处理节点所属的进程为第二进程，所述第二进程的前一个进程为第三进程，所述第二进程和第三进程属于同一设备，所述第二视频帧处理节点的处理时间与所述第三进程的视频帧处理节点的处理时间使用相同的时钟进行计算；
对于第三视频帧处理节点，记所述第三视频帧处理节点所属的进程为第四进程，所述第四进程的前一个进程为第五进程，所述第四进程和第五进程属于不同的设备，在获取所述第三视频帧处理节点的处理时间之前，对所述第四进程和第五进程进行时钟校准。
3.根据权利要求2所述的方法，其特征在于，所述获取流媒体视频通讯过程中至少一个视频帧处理节点的处理时间，以及对应的视频帧的帧标识，包括：
对第四视频帧处理节点对应的视频帧添加水印，使得第四视频帧处理节点处理得到的视频帧中存在水印，其中，第四视频帧处理节点处理得到的视频帧的metadata信息中添加有帧标识和第四视频帧处理节点的处理时间对应的时间戳；
获取第四视频帧处理节点处理得到的视频帧的metadata信息中的帧标识和时间戳；
若第四视频帧处理节点后的第五视频帧处理节点不能传递视频帧的metadata信息，则在第五视频帧处理节点处理之后，读取第五视频帧处理节点处理得到的视频帧中的水印，根据水印确定出帧标识，在第五视频帧处理节点处理得到的视频帧的metadata信息中添加确定出的帧标识和第五视频帧处理节点的处理时间对应的时间戳，获取第五视频帧处理节点处理得到的视频帧的metadata信息中的帧标识和时间戳，或者若第四视频帧处理节点后的第五视频帧处理节点能够传递视频帧的metadata信息，则在第五视频帧处理节点处理之后，在第五视频帧处理节点处理得到的视频帧的metadata信息中添加第五视频帧处理节点的处理时间对应的时间戳，获取第五视频帧处理节点处理得到的视频帧的metadata信息中的帧标识和时间戳。
4.根据权利要求3所述的方法，其特征在于，所述第四视频帧处理节点包括：相机采集节点、屏幕采集节点、视频三方处理节点和视频显示节点中的至少一项。
5.一种轻量级节点延迟检测装置，其特征在于，所述装置包括：
获取模块，用于获取流媒体视频通讯过程中至少一个视频帧处理节点的处理时间，以及对应的视频帧的帧标识，其中，所述至少一个视频帧处理节点包括服务器的处理节点和/或终端的处理节点，所述处理时间包括对应视频帧处理节点的处理时长或对应视频帧处理节点开始处理的时间或对应视频帧处理节点处理完成的时间；
上报模块，用于将所述处理时间和帧标识进行上报。
6.根据权利要求5所述的装置，其特征在于，所述至少一个视频帧处理节点包括第一视频帧处理节点和/或第二视频帧处理节点和/或第三视频帧处理节点；其中，
对于第一视频帧处理节点，记所述第一视频帧处理节点所属的进程为第一进程，所述第一进程为所述第一进程所属设备的第一个处理进程，所述第一进程不存在前一个进程；
对于第二视频帧处理节点，记所述第二视频帧处理节点所属的进程为第二进程，所述第二进程的前一个进程为第三进程，所述第二进程和第三进程属于同一设备，所述第二视频帧处理节点的处理时间与所述第三进程的视频帧处理节点的处理时间使用相同的时钟进行计算；
对于第三视频帧处理节点，记所述第三视频帧处理节点所属的进程为第四进程，所述第四进程的前一个进程为第五进程，所述第四进程和第五进程属于不同的设备，在获取所述第三视频帧处理节点的处理时间之前，对所述第四进程和第五进程进行时钟校准。
7.根据权利要求6所述的装置，其特征在于，所述获取模块，用于对第四视频帧处理节点对应的视频帧添加水印，使得第四视频帧处理节点处理得到的视频帧中存在水印，其中，第四视频帧处理节点处理得到的视频帧的metadata信息中添加有帧标识和第四视频帧处理节点的处理时间对应的时间戳；获取第四视频帧处理节点处理得到的视频帧的metadata信息中的帧标识和时间戳；若第四视频帧处理节点后的第五视频帧处理节点不能传递视频帧的metadata信息，则在第五视频帧处理节点处理之后，读取第五视频帧处理节点处理得到的视频帧中的水印，根据水印确定出帧标识，在第五视频帧处理节点处理得到的视频帧的metadata信息中添加确定出的帧标识和第五视频帧处理节点的处理时间对应的时间戳，获取第五视频帧处理节点处理得到的视频帧的metadata信息中的帧标识和时间戳，或者若第四视频帧处理节点后的第五视频帧处理节点能够传递视频帧的metadata信息，则在第五视频帧处理节点处理之后，在第五视频帧处理节点处理得到的视频帧的metadata信息中添加第五视频帧处理节点的处理时间对应的时间戳，获取第五视频帧处理节点处理得到的视频帧的metadata信息中的帧标识和时间戳。
8.根据权利要求7所述的装置，其特征在于，所述第四视频帧处理节点包括：相机采集节点、屏幕采集节点、视频三方处理节点和视频显示节点中的至少一项。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4任一项所述的轻量级节点延迟检测方法的步骤。
10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-4任一项所述的轻量级节点延迟检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310606446.8A CN116389718A (zh) | 2023-05-26 | 2023-05-26 | 轻量级节点延迟检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310606446.8A CN116389718A (zh) | 2023-05-26 | 2023-05-26 | 轻量级节点延迟检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116389718A true CN116389718A (zh) | 2023-07-04 |
Family
ID=86975407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310606446.8A Pending CN116389718A (zh) | 2023-05-26 | 2023-05-26 | 轻量级节点延迟检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116389718A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101516017A (zh) * | 2008-02-22 | 2009-08-26 | 中国移动通信集团公司 | 一种会话类业务视频传输时延的测量方法、装置和系统 |
| US20120060196A1 (en) * | 2010-09-02 | 2012-03-08 | Ching-Lung Chang | Machanism of interleaving video frame storage for p2p-based vod streaming system |
| CN113676783A (zh) * | 2021-08-18 | 2021-11-19 | 上海哔哩哔哩科技有限公司 | 链路节点评估方法及装置 |
| CN115002526A (zh) * | 2022-05-23 | 2022-09-02 | 阿里巴巴（中国）有限公司 | 视频帧时延确定方法及装置 |
| CN115499677A (zh) * | 2022-09-20 | 2022-12-20 | 上海哔哩哔哩科技有限公司 | 基于直播的音视频同步检测方法及装置 |
-
2023
- 2023-05-26 CN CN202310606446.8A patent/CN116389718A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101516017A (zh) * | 2008-02-22 | 2009-08-26 | 中国移动通信集团公司 | 一种会话类业务视频传输时延的测量方法、装置和系统 |
| US20120060196A1 (en) * | 2010-09-02 | 2012-03-08 | Ching-Lung Chang | Machanism of interleaving video frame storage for p2p-based vod streaming system |
| CN113676783A (zh) * | 2021-08-18 | 2021-11-19 | 上海哔哩哔哩科技有限公司 | 链路节点评估方法及装置 |
| CN115002526A (zh) * | 2022-05-23 | 2022-09-02 | 阿里巴巴（中国）有限公司 | 视频帧时延确定方法及装置 |
| CN115499677A (zh) * | 2022-09-20 | 2022-12-20 | 上海哔哩哔哩科技有限公司 | 基于直播的音视频同步检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3291551B1 (en) | Image delay detection method and system | |
| CN104349163B (zh) | 端到端视频传输延迟测量显示装置及测量系统 | |
| US20070177520A1 (en) | Traffic load density measuring system, traffic load density measuring method, transmitter, receiver, and recording medium | |
| CN110585702B (zh) | 一种音画同步数据处理方法、装置、设备及介质 | |
| CN101516017B (zh) | 一种会话类业务视频传输时延的测量方法、装置和系统 | |
| CN106464983B (zh) | 使用散列键识别媒体的方法和装置 | |
| US8203958B2 (en) | Frame counter correction apparatus, opposing apparatus, and frame counter correction method | |
| CN101616331B (zh) | 一种对视频帧率及音视频同步性能进行测试的方法 | |
| RU2009100847A (ru) | Идентификационная метка, устройство, способ для идентификации и синхронизации видеоданных | |
| CN102655585B (zh) | 视频会议系统及其时延测试方法、装置和系统 | |
| CN103873852A (zh) | 多模态并行的视频质量故障检测方法及装置 | |
| CN111683273A (zh) | 视频卡顿信息的确定方法及装置 | |
| CN108712299A (zh) | 一种监测直播延时的方法、装置、设备和计算机存储介质 | |
| CN102457893A (zh) | 一种数据处理方法和设备 | |
| CN111669479A (zh) | 一种验证摄像头同步曝光的方法及其系统和电子设备 | |
| CN112702231B (zh) | 一种网络延时的测量方法及系统 | |
| CN116389718A (zh) | 轻量级节点延迟检测方法、装置、电子设备及存储介质 | |
| US20100322095A1 (en) | Packet analysis apparatus and method thereof | |
| CN111405603A (zh) | 一种时延获取方法、测试装置以及计算机存储介质 | |
| CN113556480B (zh) | 车辆连续运动视频生成方法、装置、设备和介质 | |
| CN101710430B (zh) | 一种信息系统反应时间测试的方法及设备 | |
| CN107342917B (zh) | 用于检测网络设备性能的方法和装置 | |
| CN114996080A (zh) | 数据处理方法、装置、设备及存储介质 | |
| JP7431514B2 (ja) | 映像通話サービスの品質をリアルタイムで測定する方法およびシステム | |
| CN116155779B (zh) | 用于对视频监控系统的延迟时间进行检测的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230704 |
|
| RJ01 | Rejection of invention patent application after publication |