CN112601078B - 一种基于视频的编码器延时的自动测量方法 - Google Patents

一种基于视频的编码器延时的自动测量方法 Download PDF

Info

Publication number
CN112601078B
CN112601078B CN202011439875.3A CN202011439875A CN112601078B CN 112601078 B CN112601078 B CN 112601078B CN 202011439875 A CN202011439875 A CN 202011439875A CN 112601078 B CN112601078 B CN 112601078B
Authority
CN
China
Prior art keywords
timestamp
coding
test
pts
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011439875.3A
Other languages
English (en)
Other versions
CN112601078A (zh
Inventor
孙伟涛
许国忠
李小强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN202011439875.3A priority Critical patent/CN112601078B/zh
Publication of CN112601078A publication Critical patent/CN112601078A/zh
Application granted granted Critical
Publication of CN112601078B publication Critical patent/CN112601078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种基于视频的编码器延时的自动测量方法。它具体包括如下步骤：(1)用图像时间编码方式逐帧生成一段素材，压缩封装成成CBR模式TS文件，素材的图像时间编码从0开始，视频PTS也从0开始，通过PTS转换为图像时间编码时间戳，通过测试网口把测试素材按照设定的CBR码率用UDP发送出去，生成测试流；(2)配置被测转码器接收测试测试流，转码后再发回测试设备；(3)测试设备接收回传测试流，解码检测提取出时间戳，并和源测试流对比得到整体延时数据。本发明的有益效果是：通过检测视频上的时间编码来检测延时，具有普适性，不受播放器以及传输层得干扰，且能实时跟踪延时抖动。

Description

一种基于视频的编码器延时的自动测量方法
技术领域
本发明涉及编转码器相关技术领域，尤其是指一种基于视频的编码器延时的自动测量方法。
背景技术
在视频直播领域，延时是影响观众体验的一个重要因素，因此对转码系统进行延时测量和评估是必要的。转码器端到端的延时是指媒体码流接收，解封装，解码，预处理，编码，封装，发送全过程的延时。通常使用的方法是：推流端和播放端对着同一个时钟，然后用播放端显示的时间减去推流端显示的时间，就得到了直播延时。这种方法的缺点很多，1)不精确，2)受播放器的影响，3)传输层的影响，4)需要人工参与，5)延时抖动无法实时跟踪。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种实时跟踪延时抖动的基于视频的编码器延时的自动测量方法。
为了实现上述目的，本发明采用以下技术方案：
一种基于视频的编码器延时的自动测量方法，具体包括如下步骤：
(1)用图像时间编码方式逐帧生成一段素材，压缩封装成成CBR模式TS文件，素材的图像时间编码从0开始，视频PTS也从0开始，通过PTS转换为图像时间编码时间戳，通过测试网口把测试素材按照设定的CBR码率用UDP发送出去，生成测试流；
(2)配置被测转码器接收测试测试流，转码后再发回测试设备；
(3)测试设备接收回传测试流，解码检测提取出时间戳，并和源测试流对比得到整体延时数据。
测量延时需要对视频做标识，标识方法可以使用类似于SEI中自定义私有时间戳的方式来进行，但是转码设备转码后一般会把自定义信息丢弃，从而无法测量。本发明使用了一种图像时间编码的方式来标记时间，通过检测视频上的时间编码来检测延时，具有普适性。本发明面向广电领域，针对通过UDP传输的TS CBR码流提供了一种基于编转码设备整体延时的自动测量技术，不受播放器以及传输层得干扰，且能实时跟踪延时抖动。
作为优选，在步骤(1)中，图像时间编码方式具体如下：图像时间编码把帧索引和秒单独编码，秒的百、十、个位分别单独编码，帧索引编码根据视频的帧率来形成，秒各位编码同理，编码竖条标记块尺寸大小可调，检测编码竖条标记块用于定位各值的具体位置，位于图像最左侧。
作为优选，图像时间编码的提取具体如下：首先定位检测编码竖条标记块的位置和大小，定位到检测编码竖条标记块后，从检测编码竖条标记块后一个像素开始从左向右扫描图像，考虑扫描速度，只扫描检测标记块上下居中一根扫描线扫描，扫描会生成一个方波信号，对方波信号进行计数得到具体的数值，把秒的各位和帧索引拼接成时间戳信息。
作为优选，在步骤(1)中，测试流的发送流程具体为：设置检测的测试素材文件以及udp发送地址，分析检测的测试素材文件，根据测试素材文件PCR计算码率，重新定位到测试素材文件开头开始发送，读取数据包后，如果有PCR则解析PCR，如果有PTS则解析视频的PTS，根据PTS计算图像时间编码时间戳，其中测试素材的图像时间编码从0开始，视频PTS也从0开始，发送数据包并获取发送时间戳，记录发送时间戳和图像时间编码时间戳这一对到数组中。
作为优选，在步骤(1)中，发送时间戳通过socket接口从网卡中获取，该时间戳是网卡发送到网络上的时间。
作为优选，在步骤(2)中，测试流的接收流程具体为：设置udp接收地址，接收udp数据包，提取udp数据包的接收时间戳，如果有PTS则解析视频的PTS，记录接收时间戳和PTS这一对到数组中，解码后进行图像时间编码时间戳检测，查询接收时间戳与PTS这一对的数据，根据PTS找到对应接收时间戳，替换PTS为更新图像时间编码时间戳，最终结果为接收时间戳和图像时间编码时间戳这一对数据。
作为优选，在步骤(2)中，接收时间戳通过socket接口从网卡中获取，该时间戳是网卡发送到网络上的时间，如果编码有B帧，只检测I帧时间戳，时间戳对数组采用循环缓冲机制。
作为优选，在步骤(3)中，测试设备的检测流程具体为：收到新的接收时间戳和图像时间编码时间戳这一对数组后，根据图像时间编码时间戳查找发送时间戳和图像时间编码时间戳这一对数组，根据图像时间编码时间戳查找接收时间戳和图像时间编码时间戳这一对数组，而延时时间＝接收时间戳-发送时间戳，显示最新的延时时间。
本发明的有益效果是：通过检测视频上的时间编码来检测延时，具有普适性，不受播放器以及传输层得干扰，且能实时跟踪延时抖动。
附图说明
图1是本发明的图像时间编码方式示意图；
图2是本发明的图像时间编码提取示意图；
图3是本发明的测试流的发送流程示意图；
图4是本发明的测试流的接收流程示意图；
图5是本发明的测试设备的检测流程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
一种基于视频的编码器延时的自动测量方法，具体包括如下步骤：
(1)用图像时间编码方式逐帧生成一段素材，长度几十秒为宜，压缩封装成成CBR模式TS文件，为了简单起见，素材的图像时间编码从0开始，视频PTS也从0开始，通过PTS转换为图像时间编码时间戳，通过测试网口把测试素材按照设定的CBR码率用UDP发送出去，生成测试流；
如图1所示，图像时间编码方式具体如下：
图像时间编码把帧索引和秒单独编码，秒的百、十、个位分别单独编码，这样的编码方式是为了尽量节省编码数据在图像中的占比，支持各种视频尺寸。帧索引编码根据视频的帧率来形成，如视频为60帧/秒，则在一个整秒内，竖条从0增加到59。秒各位编码同理，从0增加到9。编码竖条标记块尺寸大小可调，一般编码竖条尺寸尺寸大小为5x5，可以适当放大，主要是防御转码过程中的尺寸变化，降噪等消除效应。检测编码竖条标记块用于定位各值的具体位置，在尺寸变化等处理后快速定位，位于图像最左侧。
如图2所示，图像时间编码的提取具体如下：首先定位检测编码竖条标记块的位置和大小，定位到检测编码竖条标记块后，从检测编码竖条标记块后一个像素开始从左向右扫描图像，考虑扫描速度，只扫描检测标记块上下居中一根扫描线扫描，扫描会生成一个方波信号，对方波信号进行计数得到具体的数值，把秒的各位和帧索引拼接成时间戳信息。
如图3所示，测试流的发送流程具体为：设置检测的测试素材文件以及udp发送地址，分析检测的测试素材文件，根据测试素材文件PCR计算码率，重新定位到测试素材文件开头开始发送，读取数据包后，如果有PCR则解析PCR，如果有PTS则解析视频的PTS，根据PTS计算图像时间编码时间戳，其中测试素材的图像时间编码从0开始，视频PTS也从0开始，发送数据包并获取发送时间戳，记录发送时间戳和图像时间编码时间戳这一对到数组中，考虑到转码器延时一般为几秒，所以数据大小可以先限定为4K(针对60fps的素材大约为8秒)，可以适当加大。发送时间戳通过socket接口从网卡中获取(网卡需支持)，该时间戳是网卡发送到网络上的时间，这样就避免了内核和协议栈的抖动。
(2)配置被测转码器接收测试测试流，转码后再发回测试设备；
如图4所示，测试流的接收流程具体为：设置udp接收地址，接收udp数据包，提取udp数据包的接收时间戳，如果有PTS则解析视频的PTS，记录接收时间戳和PTS这一对到数组中，解码后进行图像时间编码时间戳检测，查询接收时间戳与PTS这一对的数据，根据PTS找到对应接收时间戳，替换PTS为更新图像时间编码时间戳，最终结果为接收时间戳和图像时间编码时间戳这一对数据。接收时间戳通过socket接口从网卡中获取(网卡需支持)，该时间戳是网卡发送到网络上的时间，这样就避免了内核和协议栈的抖动。如果编码有B帧，只检测I帧时间戳。时间戳对数组采用循环缓冲机制，避免内存拷贝。由于数据量较大，数组查找采用二分查找等快速查找算法。
(3)测试设备接收回传测试流，解码检测提取出时间戳，并和源测试流对比得到整体延时数据；
如图5所示，测试设备的检测流程具体为：收到新的接收时间戳和图像时间编码时间戳这一对数组后，根据图像时间编码时间戳查找发送时间戳和图像时间编码时间戳这一对数组，根据图像时间编码时间戳查找接收时间戳和图像时间编码时间戳这一对数组，而延时时间＝接收时间戳-发送时间戳，显示最新的延时时间。
其中：测试方案可以和被测设备直连测试转码器的整体延时，也可以通过传输网络，测量传输网络和转码器的整体延时，并跟踪显示延时抖动曲线。本实施例采用的网口传输网络的方式进行测量延时。从项目实施效果看，可以自动分析延时数据，精确到帧级。
测量延时需要对视频做标识，标识方法可以使用类似于SEI中自定义私有时间戳的方式来进行，但是转码设备转码后一般会把自定义信息丢弃，从而无法测量。本发明使用了一种图像时间编码的方式来标记时间，通过检测视频上的时间编码来检测延时，具有普适性。本发明面向广电领域，针对通过UDP传输的TS CBR码流提供了一种基于编转码设备整体延时的自动测量技术，不受播放器以及传输层得干扰，且能实时跟踪延时抖动。

Claims (5)

1.一种基于视频的编码器延时的自动测量方法，其特征是，具体包括如下步骤：
（1）用图像时间编码方式逐帧生成一段素材，压缩封装成CBR模式TS文件，素材的图像时间编码从0开始，视频PTS也从0开始，通过PTS转换为图像时间编码时间戳，通过测试网口把测试素材按照设定的CBR码率用UDP发送出去，生成测试流；图像时间编码方式具体如下：图像时间编码把帧索引和秒单独编码，秒的百、十、个位分别单独编码，帧索引编码根据视频的帧率来形成，秒各位编码也根据视频的帧率来形成，编码竖条标记块尺寸大小可调，检测编码竖条标记块用于定位各值的具体位置，位于图像最左侧；图像时间编码的提取具体如下：首先定位检测编码竖条标记块的位置和大小，定位到检测编码竖条标记块后，从检测编码竖条标记块后一个像素开始从左向右扫描图像，考虑扫描速度，只扫描检测标记块上下居中一根扫描线扫描，扫描会生成一个方波信号，对方波信号进行计数得到具体的数值，把秒的各位和帧索引拼接成时间戳信息；
（2）配置被测转码器接收测试流，转码后再发回测试设备；
（3）测试设备接收回传测试流，解码检测提取出时间戳，并和源测试流对比得到整体延时数据；测试设备的检测流程具体为：收到新的接收时间戳和图像时间编码时间戳这一对数组后，根据图像时间编码时间戳查找发送时间戳和图像时间编码时间戳这一对数组，根据图像时间编码时间戳查找接收时间戳和图像时间编码时间戳这一对数组，而延时时间 =接收时间戳 -发送时间戳，显示最新的延时时间。
2.根据权利要求1所述的一种基于视频的编码器延时的自动测量方法，其特征是，在步骤（1）中，测试流的发送流程具体为：设置检测的测试素材文件以及udp发送地址，分析检测的测试素材文件，根据测试素材文件PCR计算码率，重新定位到测试素材文件开头开始发送，读取数据包后，如果有PCR则解析PCR，如果有PTS则解析视频的PTS，根据PTS计算图像时间编码时间戳，其中测试素材的图像时间编码从0开始，视频PTS也从0开始，发送数据包并获取发送时间戳，记录发送时间戳和图像时间编码时间戳这一对到数组中。
3.根据权利要求2所述的一种基于视频的编码器延时的自动测量方法，其特征是，在步骤（1）中，发送时间戳通过socket接口从网卡中获取，该时间戳是网卡发送到网络上的时间。
4.根据权利要求2所述的一种基于视频的编码器延时的自动测量方法，其特征是，在步骤（2）中，测试流的接收流程具体为：设置udp接收地址，接收udp数据包，提取udp数据包的接收时间戳，如果有PTS则解析视频的PTS，记录接收时间戳和PTS这一对到数组中，解码后进行图像时间编码时间戳检测，查询接收时间戳与PTS这一对的数据，根据PTS找到对应接收时间戳，替换PTS为更新图像时间编码时间戳，最终结果为接收时间戳和图像时间编码时间戳这一对数据。
5.根据权利要求4所述的一种基于视频的编码器延时的自动测量方法，其特征是，在步骤（2）中，接收时间戳通过socket接口从网卡中获取，该时间戳是网卡发送到网络上的时间，如果编码有B帧，只检测I帧时间戳，时间戳对数组采用循环缓冲机制。
CN202011439875.3A 2020-12-11 2020-12-11 一种基于视频的编码器延时的自动测量方法 Active CN112601078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011439875.3A CN112601078B (zh) 2020-12-11 2020-12-11 一种基于视频的编码器延时的自动测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011439875.3A CN112601078B (zh) 2020-12-11 2020-12-11 一种基于视频的编码器延时的自动测量方法

Publications (2)

Publication Number Publication Date
CN112601078A CN112601078A (zh) 2021-04-02
CN112601078B true CN112601078B (zh) 2022-07-26

Family

ID=75192344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011439875.3A Active CN112601078B (zh) 2020-12-11 2020-12-11 一种基于视频的编码器延时的自动测量方法

Country Status (1)

Country Link
CN (1) CN112601078B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286140B (zh) * 2021-05-11 2022-09-02 北京飞讯数码科技有限公司 一种视频编解码测试方法、装置及存储介质
CN113891065B (zh) * 2021-09-09 2023-11-28 武汉中海庭数据技术有限公司 一种单帧图像传输延时测量方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007116205A1 (en) * 2006-04-10 2007-10-18 Tektronix International Sales Gmbh Method and apparatus for measuring audio/video sync delay
CN102158726A (zh) * 2011-01-28 2011-08-17 北京视博云科技有限公司 一种编码器时延检测方法及装置
JP2014007584A (ja) * 2012-06-25 2014-01-16 Nippon Telegr & Teleph Corp <Ntt> 映像符号化遅延測定装置及び映像復号遅延測定装置及び方法
CN103826117A (zh) * 2014-01-17 2014-05-28 浙江大学 一种测量手机视频通讯应用端到端延时的方法
CN106851259A (zh) * 2017-01-17 2017-06-13 中国科学院上海高等研究院 监控系统中的视频延时测试装置
CN108234997A (zh) * 2017-12-12 2018-06-29 北京百度网讯科技有限公司 直播视频的时延测量方法、设备、系统及计算机可读介质
US10158927B1 (en) * 2012-09-05 2018-12-18 Google Llc Systems and methods for detecting audio-video synchronization using timestamps

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7787539B2 (en) * 2002-07-17 2010-08-31 Broadcom Corporation Decoding and presentation time stamps for MPEG-4 advanced video coding
KR100526189B1 (ko) * 2004-02-14 2005-11-03 삼성전자주식회사 트랜스코딩 전후에 타이밍 파라미터를 일정하게유지시키는 트랜스코딩 시스템 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007116205A1 (en) * 2006-04-10 2007-10-18 Tektronix International Sales Gmbh Method and apparatus for measuring audio/video sync delay
CN102158726A (zh) * 2011-01-28 2011-08-17 北京视博云科技有限公司 一种编码器时延检测方法及装置
JP2014007584A (ja) * 2012-06-25 2014-01-16 Nippon Telegr & Teleph Corp <Ntt> 映像符号化遅延測定装置及び映像復号遅延測定装置及び方法
US10158927B1 (en) * 2012-09-05 2018-12-18 Google Llc Systems and methods for detecting audio-video synchronization using timestamps
CN103826117A (zh) * 2014-01-17 2014-05-28 浙江大学 一种测量手机视频通讯应用端到端延时的方法
CN106851259A (zh) * 2017-01-17 2017-06-13 中国科学院上海高等研究院 监控系统中的视频延时测试装置
CN108234997A (zh) * 2017-12-12 2018-06-29 北京百度网讯科技有限公司 直播视频的时延测量方法、设备、系统及计算机可读介质

Also Published As

Publication number Publication date
CN112601078A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN112601078B (zh) 一种基于视频的编码器延时的自动测量方法
CN106851259B (zh) 监控系统中的视频延时测试装置
US10305613B2 (en) Method and system for detecting image delay
CN101516017B (zh) 一种会话类业务视频传输时延的测量方法、装置和系统
CN104661021A (zh) 一种视频流的质量评估方法和装置
JP6333792B2 (ja) 映像ストリームで複数の映像フレームのピクチャグループ構造のタイプを推定するための方法
EP0789497A2 (en) Progammable instrument for automatic measurement of compressed video quality
CA2574998A1 (en) Methods and apparatus for monitoring the insertion of local media content into a program stream
CA2187247A1 (en) Method and apparatus for pcr jitter measurement in an mpeg-2 transport stream
CN1938972A (zh) 用于测量多媒体数据传输质量的方法和装置
JP2013535908A (ja) 映像ビットストリームと出力映像シーケンスとの間の時間的な同期のための方法および装置
US20100053335A1 (en) System and method for measuring image quality of moving pictures
CN103945213A (zh) 一种视频流质量监测方法及装置
CN112601077B (zh) 一种基于音频的编码器延时的自动测量方法
WO2007116205A9 (en) Method and apparatus for measuring audio/video sync delay
CN114419502A (zh) 一种数据分析方法、装置及存储介质
CN102158726A (zh) 一种编码器时延检测方法及装置
EP0921695B1 (en) Video alignement using a selected partial picture
CN103095995A (zh) 媒体文件的自动技检方法和系统
CN113068021B (zh) 延时测试方法、装置、设备及存储介质
CN107835423A (zh) 一种统计复用编码性能测试与评估方法
WO2005057934A3 (en) Methods and apparatus for spatial scalable compression scehme
CN118158387A (zh) 数据测试方法及测评设备和图像传输设备
CN110737002A (zh) 一种卫星相机测试快视方法
US11831862B2 (en) Embedded timestamps for determining offset between test streams

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant