CN112511816A

CN112511816A - 一种视频延时测试系统、方法、装置、设备和存储介质

Info

Publication number: CN112511816A
Application number: CN202011207336.7A
Authority: CN
Inventors: 范大勇; 陈腾
Original assignee: Avic Avionics Corp ltd
Current assignee: Avic Avionics Corp ltd; China Avionics Systems Co Ltd
Priority date: 2020-11-03
Filing date: 2020-11-03
Publication date: 2021-03-16

Abstract

本发明属于图像处理技术领域，公开一种视频延时测试系统、方法、装置、设备和存储介质。视频延时测试系统包括：视频生成装置，所述视频生成装置用于生成视频图像；视频显示装置，所述视频显示装置用于接收所述视频图像并将所述视频图像进行显示；以及视频延时计算装置，所述视频延时计算装置用于获取所述视频生成装置生成视频图像的图像生成时间、所述视频显示装置显示所述视频图像的图像显示时间，并根据所述图像生成时间和所述图像接收时间计算所述视频图像生成到显示的延迟时长。本发明实施例中提供的视频延时测试系统不需要借助外部摄像设备的方式就能够完成视频延时测试，有效的提高延时测试的效率和准确度。

Description

一种视频延时测试系统、方法、装置、设备和存储介质

技术领域

本发明属于图像处理技术领域，尤其涉及一种视频延时测试系统、方法、装置、设备和存储介质。

背景技术

现有技术中，多媒体技术越来越成熟，其中对于视频技术的应用也越来越成熟，通常一个视频设备，比如头戴式显示设备或者各种平视显示设备，其上面视频的延时性能是评价其设备优劣的一项重要技术指标。

通常来说，视频的延时主要是考虑视频图像在生成、处理、传输再到显示的整个过程中时间的长短。现有技术中，通常通过光学摄像机同时拍摄视频图像生成装置输出的图像和视频显示装置显示的图像，然后通过获得前后两个图像的时间戳来进行比较，从而获得视频的延时。但是，该方式需要采用高清高采样率的光学摄像设备，对于测试的对象也有要求，通常要求测试对象能够提供高清的图像显示能力，甚至要求高刷新率，并且，该方式同时引入了外部摄像设备，摄像设备的性能对于延时的测试也产生了影响，导致测试结果误差较大。

可见，现有技术中通过拍摄图像生成和图像显示两个时间来判断测试视频延时的方式存在成本高且容易产生较大误差的缺陷。

发明内容

本发明实施例的目的在于提供一种视频延时测试系统、方法、装置、计算机设备和存储介质，用于解决现有技术通过拍摄图像生成和图像显示两个时间来判断测试视频延时的方式存在成本高且容易产生较大误差的缺陷的问题。

本发明实施例是这样实现的，一种视频延时测试系统，包括：

视频生成装置，所述视频生成装置用于生成视频图像；

视频显示装置，所述视频显示装置用于接收所述视频图像并将所述视频图像进行显示；以及

视频延时计算装置，所述视频延时计算装置用于获取所述视频生成装置生成视频图像的图像生成时间、所述视频显示装置显示所述视频图像的图像显示时间，并根据所述图像生成时间和所述图像接收时间计算所述视频图像生成到显示的延迟时长，以完成视频延时测试。

优选地，所述视频生成装置还用于将每一帧所述视频图像打上时间戳。

优选地，所述视频延时计算装置还用于获取所述视频生成装置给所述视频图像打上时间戳所用的时间戳处理时间，以结合所述时间戳处理时间计算所述延迟时长。

优选地，所述视频延时计算装置还用于获取所述视频生成装置和所述视频显示装置各自在同一时刻的时间，并计算所述视频生成装置和所述视频显示装置之间的系统时间差，以结合所述系统时间差计算所述延迟时长。

本发明实施例的另一目的在于提供一种视频延时测试方法，所述方法包括：

获取视频生成装置生成视频图像的图像生成时间和视频显示装置显示所述视频图像的图像显示时间，所述图像生成时间由时间戳记录；

根据所述图像生成时间和所述图像接收时间计算所述视频图像生成到显示的延迟时长，以完成视频延时测试。

本发明实施例的另一目的在于提供一种视频延时测试装置，包括：

时间信息获取单元，用于获取视频生成装置生成视频图像的图像生成时间和视频显示装置显示所述视频图像的图像显示时间，所述图像生成时间和所述视频显示时间由时间戳记录；

延时计算单元，用于根据所述图像生成时间和所述图像接收时间计算所述视频图像生成到显示的延迟时长，以完成视频延时测试。

本发明实施例的另一目的在于提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述视频延时测试方法的步骤。

本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述视频延时测试方法的步骤。

本发明实施例中提供的一种视频延时测试系统，通过在视频生成装置生成视频图像的时候记录图像生成时间，以及在图像显示装置显示的时候记录图像显示时间，进而通过视频延时计算装置获取两个时间点进行延时计算，完成视频延时的测试，不需要借助外部摄像设备的方式就能够完成视频延时测试，有效的提高延时测试的效率和准确度。

附图说明

图1本发明实施例中提供的视频延时测试系统的结构框图；

图2为本发明实施例提供的视频延时测试方法的流程图；

图3为本发明实施例提供的视频延时测试装置的结构框图；

图4为一个实施例中计算机设备的内部结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。

本发明涉及到的方法或者装置可以是基于计算机设备或者终端设备进行设计的，比如可以通过计算机设备或者终端设备来执行本发明实施例中的方法，或者将本发明实施例中的装置、模块、单元等集成在计算机设备或者终端设备中执行本发明实施例中的有关流程步骤。其中，计算机设备可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。

实施例1

在一个实施例中，如图1所示，为本发明实施例中提供的视频延时测试系统的结构框图，一种视频延时测试系统，其主要包括：

视频生成装置110，视频生成装置用于生成视频图像；

视频显示装置120，视频显示装置用于接收视频图像并将视频图像进行显示；以及

视频延时计算装置130，视频延时计算装置用于获取视频生成装置生成视频图像的图像生成时间、视频显示装置显示视频图像的图像显示时间，并根据图像生成时间和图像接收时间计算视频图像生成到显示的延迟时长，以完成视频延时测试。

在本发明实施例中，视频图像的生成主要原理和技术可以从现有技术中获得，本发明实施例中的视频生成装置主要是利用开发板进行设计的，开发板是用来进行嵌入式系统开发的电路板，包括中央处理器、存储器、输入设备、输出设备、数据通路/总线和外部资源接口等一系列硬件组件。开发板一般由嵌入式系统开发者根据开发需求自己订制，也可由用户自行研究设计。具体的，使用开发板完成视频生成，通过在内存中开辟缓存，使用CPU计算动态条纹的位置，设置缓存像素值，然后拷贝到显示帧缓存中，显示缓存的序号应该与开发板的HDMI输出口对应，生成的视频显示了横纵两个条纹，并且随时间变化而移动，目的是测试在横纵两个方向画面的流畅度，在保证不出现画面撕裂等质量下降的前提下，测试延迟的数值。当然，本领域技术人员可以理解的是，上述对于视频生成装置的设计属于优选实施例，本领域技术人员为了提高测试的效果，尽可能的排除干扰，还可以进行其他设置，在此不进一步的罗列更多具体的方式。另外，还可以设置视频生成的格式，比如视频格式为rgb565，对应的在输出前需要设置输出缓存的格式。

另外，视频生成装置110中，为了避免输出视频的闪烁，其输出端采用pan display的双缓存的形式，即拷贝内容的同时输出上一帧内容，每次输出的都是完整的、拷贝完成的一帧，不会和拷贝冲突而出现闪烁。

在本发明实施例中，视频显示装置120一般包括显示电路板和显示器，当然还可以包括其他组成部分，显示电路板一般接收视频图像，然后通过显示器进行显示。对于视频显示装置120的具体组成以及其原理等在此不进一步的详细介绍，视频显示装置120可以采用现有技术的产品，可以根据本发明实施例中的描述面对现有技术中的视频显示装置进行相应的设计，在此不进一步的描述。

另外，视频生成装置110和视频显示装置120之间的视频通过HDMI线传输，本发明实施例中选用开发板构成视频生成装置110时，由于开发板支持HDMI输出，只需要执行正常的内存拷贝就可以完成视频输出；视频显示装置120中的显示板中可以采用ADV7611作为DVI数字视频的接收芯片，负责将HDMI视频解码，传输到显卡中计算处理。另外，对于视频生成装置110中，如果需要对视频图像的数据来源进行采集时，视频采集可以基于Linux的V4L2框架，这个框架提供了通用的对用户的接口，只要芯片驱动支持框架的底层API，就可以在用户层用操作字符设备的方法控制视频采集、缓存管理、参数设置等，而不用关心芯片的细节，视频采集往往需要开辟多个缓存来保证读、写不被阻塞，通过缓存轮换、并行工作加大系统的帧率。

另外，视频图像生成之后，还可以对视频图像进行处理，本发明优选实施例中，可以使用OpenGL ES(OpenGL for Embedded Systems，是OpenGL三维图形API的子集)的扩展API(Application Programming Interface，程序接口)，使用DMA(Direct Memory Access，也称为成组数据传送方式，有时也称为直接内存操作)的方式上传到GPU(GraphicsProcessing Unit，图形处理器)纹理中，再执行绘制，将仪表盘的内容绘制、叠加到纹理上，最后将绘制的结果以swapbuffer命令输出，显示卡的视频输出通过DVI的接口，依赖TFP410将显卡RGB口信号转化为视频。视频处理主要依赖OpenGL ES的shader编程，可以直接渲染纹理，未做特殊处理以测试核心功能的延迟性能。进一步的，视频图像显示装置120具体可以是显示依赖于Linux窗口系统EGL的swapbuffer功能，swapbuffer只是将显示的指针移动，不进行数据拷贝，实际的由EGL输出缓存到显示芯片的拷贝由DMA完成，时间很短，也无法测试到，对延迟测量结果影响不大。

在一个实施例中，视频生成装置110还用于将每一帧视频图像打上时间戳。

在本发明实施例中，时间戳是指在视频图像上叠加的时间值，时间值为画面生成系统中的绝对时间(今天0点开始到现在经历的ms数，基于前述优选实施例，采用开发板作为视频生成装置110的组成部分时，由于开发板断电重启会导致时间复位，因此此时间值是开发板开机后的时间值)。具体的，视频生成装置110使用的时间绘制方法可以是基于skia绘制引擎的包装，包装后对外部提供了一个在某块内存上绘制一个数字的接口，skia是一种2D矢量绘制引擎，广泛用于Google Chrome、Android等产品，有高效的绘制效率和美观的绘制效果，由于时间戳代表了视频相机采集输出的时刻，而本方法只能在拷贝之前对图像打时间戳，拷贝到输出缓冲之后就无法修改，因此在计算的时候要将得到的时间戳加上拷贝一帧1280*1024*16bit图像的耗时，作为真实的输出时间戳，以实现与真实相机一致模拟。

在一个实施例中，视频延时计算装置还用于获取视频生成装置给视频图像打上时间戳所用的时间戳处理时间，以结合时间戳处理时间计算延迟时长。如前面所述，时间戳处理的时候需要进行拷贝，本发明实施例中主要将拷贝视频图像的时间作为时间戳处理的时间进行计算。

另外，在一个实施例中，视频显示装置120还可以给显示的视频图像打上时间戳，然后将该时间戳以及时间戳处理的时间发送给视频延时计算装置进行处理。其原理和视频生成装置110的时间戳处理一样，在此不进一步展开描述。

在一个实施例中，视频延时计算装置130还用于获取视频生成装置110和视频显示装置120各自在同一时刻的时间，并计算视频生成装置和视频显示装置之间的系统时间差，以结合系统时间差计算延迟时长。

具体的，由于视频生成和显示分处两个不同的装置，因此两者的时间不能达到同步，但是两者的相对误差是固定的，即无论前述举例的开发板和显示板的初始时间是怎样，运行过程中两者的时间差是固定的，因此需要一方获取另一方的绝对时间，具体的，时间值的通信使用TCP socket实现，socket的延迟经过测试在0.1ms量级，不对结果构成大的影响，软件测试中计算得到两者的时间差后也顺便减去了socket传输延时。进一步的，具体可以是开始采用了两块显卡(分别对应开发板和显示板)都与视频延时计算装置的虚拟机通信，获取虚拟机的时间，然后与自身时间计算差值并打印出来，这样间接、部分手动地得到了两个操作系统之间的固定时间差。

在本发明实施例中，视频延时计算装置130进行延时计算时，可以用以下公式进行表示：

S＝B-(A+memcpy delay)-(delta_B-delta_A)

其中，S延时时长，B为视频显示时间，A为视频生成时间(时间戳)，memcpy delay为对生成视频图像进行时间戳处理的时间(在本发明实施例中可直接将拷贝时间作为该值)，delta_A为某一时刻视频生成装置110的系统时间，delta_B为与视频生成装置110的delta_A时间同一时刻的视频生成装置110的系统时间。

本发明实施例中，最终的延迟时间可以由B-(A+memcpy delay)-(delta_B-delta_A)计算得到，即视频显示时间-视频生成时间，然后去掉视频生成装置和视频显示装置之间的时间差，即为中间传输、采集、处理、显示所耗的时间，即系统的延迟时间。同时本领域技术人员可理解的是，delta_B-delta_A得到的值应该取绝对值。

另外，如果选择视频显示装置120也对显示的图片进行时间戳处理，那么同样的也要将该时间考虑在内，将其去除，得到真实的延时时间。

实施例2

如图2所示，为本发明实施例中提供的一种视频延时测试方法的流程图，本发明实施例中提供的视频延时测试方法包括以下步骤：

步骤S202，获取视频生成装置生成视频图像的图像生成时间和视频显示装置显示视频图像的图像显示时间，图像生成时间由时间戳记录；

步骤S204，根据图像生成时间和图像接收时间计算视频图像生成到显示的延迟时长，以完成视频延时测试。

在本发明实施例中，视频生成装置和视频显示装置均可以参考前面实施例所述，在此不重复描述。

在一个实施例中，步骤S102还包括：

获取视频生成装置和视频显示装置各自在同一时刻的时间，并计算视频生成装置和视频显示装置之间的系统时间差，以结合系统时间差计算延迟时长。

在一个实施例中，步骤S102还包括：

获取视频生成装置给视频图像打上时间戳所用的时间戳处理时间，以结合时间戳处理时间计算延迟时长。

在本发明实施例中，步骤S204进行延迟时间计算时，可以用以下公式进行表示：

S＝B-(A+memcpy delay)-(delta_B-delta_A)

其中，S延时时长，B为视频显示时间，A为视频生成时间(时间戳)，delta_A为某一时刻视频生成装置的系统时间，delta_B为与视频生成装置的delta_A时间同一时刻的视频生成装置的系统时间。

本发明实施例中提供的一种视频延时测试方法，通过获取视频生成装置生成视频图像的时间，以及图像显示装置显示图像的时间，进而通过两个时间点进行延时计算，完成视频延时的测试，不需要借助外部摄像设备的方式就能够完成视频延时测试，有效的提高延时测试的效率和准确度。

实施例3

如图3所示，在一个实施例中，提供了一种视频延时测试装置，该视频延时测试装置可以集成于上述的计算机设备中，具体可以包括：

时间信息获取单元310，用于获取视频生成装置生成视频图像的图像生成时间和视频显示装置显示视频图像的图像显示时间，图像生成时间由时间戳记录，

延时计算单元320，用于根据图像生成时间和图像接收时间计算视频图像生成到显示的延迟时长，以完成视频延时测试。

在一个实施例中，时间信息获取单元310还用于：

在本发明实施例中，关于上述时间节点的介绍可以参考前述实施例进行理解，在此不进一步的重复描述。

在本发明实施例中，延时计算单元320进行延迟时间计算时，可以用以下公式进行表示：

S＝B-(A+memcpy delay)-(delta_B-delta_A)

本发明实施例中提供的一种视频延时测试装置，通过获取视频生成装置生成视频图像的时间，以及图像显示装置显示图像的时间，进而通过两个时间点进行延时计算，完成视频延时的测试，不需要借助外部摄像设备的方式就能够完成视频延时测试，有效的提高延时测试的效率和准确度。

实施例4

在一个实施例中，提出了一种计算机设备，计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取视频生成装置生成视频图像的图像生成时间和视频显示装置显示视频图像的图像显示时间，图像生成时间由时间戳记录，

根据图像生成时间和图像接收时间计算视频图像生成到显示的延迟时长，以完成视频延时测试。

图4示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。还可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。如图4所示，该计算机设备包括该计算机设备包括通过系统总线链接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现视频延时测试方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行视频延时测试方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

实施例5

在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种视频延时测试系统，其特征在于，包括：

视频生成装置，所述视频生成装置用于生成视频图像；

2.根据权利要求1所述的视频延时测试系统，其特征在于，所述视频生成装置还用于将每一帧所述视频图像打上时间戳。

3.根据权利要求2所述的视频延时测试系统，其特征在于，所述视频延时计算装置还用于获取所述视频生成装置给所述视频图像打上时间戳所用的时间戳处理时间，以结合所述时间戳处理时间计算所述延迟时长。

4.根据权利要求1所述的视频延时测试系统，其特征在于，所述视频延时计算装置还用于获取所述视频生成装置和所述视频显示装置各自在同一时刻的时间，并计算所述视频生成装置和所述视频显示装置之间的系统时间差，以结合所述系统时间差计算所述延迟时长。

5.一种视频延时测试方法，其特征在于，所述方法包括：

6.根据权利要求5所述的视频延时测试方法，其特征在于，所述获取视频生成装置生成视频图像的图像生成时间和视频显示装置显示所述视频图像的图像显示时间的步骤，还包括：

获取视频生成装置和视频显示装置各自在同一时刻的时间，并计算所述视频生成装置和所述视频显示装置之间的系统时间差，以结合所述系统时间差计算所述延迟时长。

7.根据权利要求5所述的视频延时测试方法，其特征在于，所述获取视频生成装置生成视频图像的图像生成时间和视频显示装置显示所述视频图像的图像显示时间的步骤，还包括：

所述获取所述视频生成装置给所述视频图像打上时间戳所用的时间戳处理时间，以结合所述时间戳处理时间计算所述延迟时长。

8.一种视频延时测试装置，其特征在于，包括：

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求5至7中任一项所述视频延时测试方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求5至7中任一项所述视频延时测试方法的步骤。