CN115396705A - 投屏操作验证方法、平台及系统 - Google Patents

投屏操作验证方法、平台及系统 Download PDF

Info

Publication number
CN115396705A
CN115396705A CN202211000322.7A CN202211000322A CN115396705A CN 115396705 A CN115396705 A CN 115396705A CN 202211000322 A CN202211000322 A CN 202211000322A CN 115396705 A CN115396705 A CN 115396705A
Authority
CN
China
Prior art keywords
screen projection
video
frame
screen
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211000322.7A
Other languages
English (en)
Other versions
CN115396705B (zh
Inventor
王海勇
蒋雨倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN202211000322.7A priority Critical patent/CN115396705B/zh
Publication of CN115396705A publication Critical patent/CN115396705A/zh
Application granted granted Critical
Publication of CN115396705B publication Critical patent/CN115396705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请提供投屏操作验证方法、平台及系统，其中所述投屏操作验证方法包括：获取在投屏发送端上目标投屏操作的触发时间和界面响应时间，以及对投屏接收端进行屏幕录制的初始录制视频；根据所述触发时间和所述界面响应时间，对所述初始录制视频进行视频裁剪，得到目标录制视频；对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征；根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果。如此，按照当前实现的自动化和视频脚本，将初始录制视频和投屏操作时间点(触发时间以及界面响应时间)作为输入，可以有效检测出不同设备上的投屏操作功能的有效性。且可以提高验证效率。

Description

投屏操作验证方法、平台及系统
技术领域
本申请涉及计算机技术领域，特别涉及一种投屏操作验证方法。本申请同时涉及一种投屏操作验证平台，一种投屏操作验证系统，一种计算设备，以及一种计算机可读存储介质。
背景技术
随着计算机技术的不断发展，个人计算机(PC，personal computer)成为人们日常生活和工作中不可或缺的一部分。目前，在许多场景下，比如教学、会议、视频观看等，需要将相关内容通过尺寸较大的显示屏进行展示，使得用户可以便捷地观看内容。
投屏的基础操作如起启播、暂停、继续播放、上一集、下一集等，受投屏通信协议、接收端等多因素影响，兼容性问题较多，同时投屏能力涉及到两个设备之间的交互操作，自动化难度较大，如何通过自动化的手段快速验证多协议多接收端的投屏基础功能的正确性，成为测试亟待解决的问题。
发明内容
有鉴于此，本申请实施例提供了一种投屏操作验证方法。本申请同时涉及一种投屏操作验证平台，一种投屏操作验证系统，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的自动化难度大的问题。
根据本申请实施例的第一方面，提供了一种投屏操作验证方法，包括：
获取在投屏发送端上目标投屏操作的触发时间和界面响应时间，以及对投屏接收端进行屏幕录制的初始录制视频；
根据所述触发时间和所述界面响应时间，对所述初始录制视频进行视频裁剪，得到目标录制视频；
对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征；
根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果。
可选地，所述目标投屏操作为开启投屏操作；
所述根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果，包括：
根据所述图像特征判断各视频帧中是否存在有效视频帧，其中，所述有效视频帧的图像特征符合预设图像特征条件；
若存在，确定所述开启投屏操作的验证结果为成功。
可选地，所述图像特征为指定像素占比；
所述对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征，包括：
对各视频帧进行灰度处理，得到各视频帧对应的灰度图；
对各灰度图中的像素进行统计，确定各灰度图的指定像素占比。
可选地，所述对各灰度图中的像素进行统计，确定各灰度图的指定像素占比，包括：
采用预设边缘检测算法对各灰度图进行处理，确定各灰度图的边缘信息；
根据各灰度图的边缘信息进行像素统计，确定各灰度图的指定像素占比。
可选地，所述目标投屏操作为开启投屏操作；
所述根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果，包括：
根据所述图像特征，计算左界帧与右界帧的第一相似度，其中，所述左界帧为所述触发时间对应的视频帧，所述右界帧为所述界面响应时间对应的视频帧；
在所述第一相似度大于或等于第一相似度阈值的情况下，确定所述开启投屏操作的验证结果为失败。
可选地，所述目标投屏操作为暂停播放操作；
所述根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果，包括以下至少一种：
根据所述图像特征，计算相邻两个视频帧的第二相似度；在第一数量大于第一预设数值的情况下，确定所述暂停播放操作的验证结果为失败，其中，第一数量为连续且大于或等于第二相似度阈值的第二相似度的数量；
根据所述图像特征，计算左界帧与右界帧的第三相似度，其中，所述左界帧为所述触发时间对应的视频帧，所述右界帧为所述界面响应时间对应的视频帧；在所述第三相似度或等于第三相似度阈值的情况下，确定所述暂停播放操作的验证结果为失败。
可选地，所述目标投屏操作为继续播放操作；
所述根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果，包括以下任意一种：
根据所述图像特征，计算相邻两个视频帧的第四相似度；在第二数量小于第二预设数值的情况下，确定所述继续播放操作的验证结果为失败，其中，第二数量为连续且大于或等于第四相似度阈值的第四相似度的数量；
根据所述图像特征，计算相邻两个视频帧的第五相似度；在第三数量等于各视频帧的视频帧数的情况下，确定所述继续播放操作的验证结果为失败，其中，第三数量为连续且大于或等于第五相似度阈值的第五相似度的数量；
根据所述图像特征，计算启录帧与右界帧的第六相似度，其中，所述启录帧为所述初始录制视频的第一个视频帧，所述右界帧为所述界面响应时间对应的视频帧；在所述第六相似度或等于第六相似度阈值的情况下，确定所述继续播放操作的验证结果为失败。
可选地，所述目标投屏操作为退出投屏操作；
所述根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果，包括以下任意一种：
根据所述图像特征，计算启录帧与左界帧的第七相似度，其中，所述启录帧为所述初始录制视频的第一个视频帧，所述左界帧为所述触发时间对应的视频帧；在所述第七相似度大于或等于第七相似度阈值的情况下，确定所述退出投屏操作的验证结果为失败；
根据所述图像特征，计算启录帧与右界帧的第八相似度，其中，所述右界帧为所述界面响应时间对应的视频帧；在所述第八相似度小于第八相似度阈值的情况下，确定所述退出投屏操作的验证结果为失败。
可选地，所述图像特征为图像指纹；
所述对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征，包括：
对所述目标录制视频中的各视频帧进行哈希计算，确定各视频帧的图像指纹。
根据本申请实施例的第二方面，提供了一种投屏操作验证平台，包括：
获取模块，被配置为获取在投屏发送端上目标投屏操作的触发时间和界面响应时间，以及对投屏接收端进行屏幕录制的初始录制视频；
裁剪模块，被配置为根据所述触发时间和所述界面响应时间，对所述初始录制视频进行视频裁剪，得到目标录制视频；
特征提取模块，被配置为对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征；
确定模块，被配置为根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果。
根据本申请实施例的第三方面，提供了一种投屏操作验证系统，包括：
投屏发送端、投屏接收端和投屏操作验证平台；
所述投屏发送端，用于向所述投屏操作验证平台发送目标投屏操作的触发时间和界面响应时间；
所述投屏接收端，用于向所述投屏操作验证平台发送进行屏幕录制的初始录制视频；
所述投屏操作验证平台，用于根据所述触发时间和所述界面响应时间，对所述初始录制视频进行视频裁剪，得到目标录制视频；对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征；根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果。
根据本申请实施例的第四方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述计算机指令时实现所述投屏操作验证方法的步骤。
根据本申请实施例的第五方面，提供了一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现所述投屏操作验证方法的步骤。
本申请提供的投屏操作验证方法，获取在投屏发送端上目标投屏操作的触发时间和界面响应时间，以及对投屏接收端进行屏幕录制的初始录制视频；根据所述触发时间和所述界面响应时间，对所述初始录制视频进行视频裁剪，得到目标录制视频；对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征；根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果。通过可以选择画面内容非静止的视频为投屏内容，记录投屏发送端每个投屏操作的触发时间以及界面响应时间，同时根据在投屏接收端录制的初始录制视频，截取出触发时间值界面响应时间这段时间内的目标录制视频，将针对目标录制视频各视频帧，提取图像特征，并针对各投屏操作预先设置的投屏条件，判断投屏发送端的投屏操作是否在投屏接收端正常响应，从而达到验证不同投屏功能的有效性。如此，按照当前实现的自动化和视频脚本，将初始录制视频和投屏操作时间点(触发时间以及界面响应时间)作为输入，可以有效检测出不同设备上的投屏操作功能的有效性。且可以提高验证效率。
附图说明
图1是本申请一个实施例提供的一种投屏操作验证系统下的投屏操作验证流程；
图2是本申请一个实施例提供的一种投屏操作验证系统下，投屏发送端与投屏接收端的连接示意图；
图3是本申请一实施例提供的一种投屏操作验证方法的流程图；
图4是本申请一实施例提供的一种投屏操作验证方法中开启投屏操作对应的示意图；
图5是本申请一实施例提供的一种投屏操作验证方法中暂停播放操作对应的示意图；
图6是本申请一实施例提供的一种投屏操作验证方法中继续播放操作对应的示意图；
图7是本申请一实施例提供的一种投屏操作验证方法中退出投屏操作对应的示意图；
图8是本申请一实施例提供的一种投屏操作验证方法的处理流程图；
图9是本申请一实施例提供的一种投屏操作验证方法中分帧处理的流程示意图；
图10是本申请一实施例提供的一种投屏操作验证平台的结构示意图；
图11是本申请一实施例提供的一种投屏操作验证系统的结构示意图；
图12是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本申请一个或多个实施例涉及的名词术语进行解释。
软件(APP，Application)，主要指安装在智能设备上的软件，完善原始系统的不足与个性化，可为用户提供更丰富的使用体验的主要手段。
视频投屏：是指移动端设备上APP(信号发送端)通过投屏协议将播放的视频投屏到投屏接收端(即安装了投屏APP)上播放的过程。
视频帧：视频是由连续播放的静止画面组成的，这些静止的画面被称为帧。
FFmpeg：FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它包括了领先的音/视频编码库libavcodec等。对于选定的视频，截取指定时间的缩略图。视频抓图，获取静态图和动态图。
图像指纹：图像指纹即将原始图片文件按照一定的哈希算法进行转换，最后统计得出一个能够唯一表征该图像特征的值。
图像相似度：即通过比较两张图片的图像指纹并返回一个分数值，用以表征图片视觉上的相似程度，分数越低，两个图像的上下文越相似。
在本申请中，提供了一种投屏操作验证方法，本申请同时涉及一种投屏操作验证平台，一种投屏操作验证系统，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
参见图1，图1示出了本申请一个实施例提供的一种投屏操作验证系统下的投屏操作验证流程图。如图1所示，该语音唤醒系统包括投屏发送端、投屏接收端和投屏操作验证平台；
投屏发送端，用于向投屏操作验证平台发送目标投屏操作的触发时间和界面响应时间；
投屏接收端，用于向投屏操作验证平台发送进行屏幕录制的初始录制视频；
投屏操作验证平台用于根据触发时间和界面响应时间，对初始录制视频进行视频裁剪，得到目标录制视频；对目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征；根据图像特征和针对目标投屏操作预先设置的投屏条件，确定投屏操作的验证结果。
此外，投屏发送端与投屏接收端可以互相连接。
参见图2，图2示出了本申请一个实施例提供的一种投屏操作验证系统下，投屏发送端与投屏接收端的连接示意图：
投屏的本质是两个设备(投屏发送端和投屏接收端)或APP，也即投屏发送端和投屏接收端通过投屏通信协议进行数据交互，实现媒体资源共享。一般为了验证投屏基础功能正确性，使用手机、电脑等智能设备作为投屏接收端、电视作为投屏接收端，此外为了降低接收端投屏效果验证成本，还可以使用投屏APP的手机作为投屏接收端。
本申请提供的投屏操作验证方法，获取在投屏发送端上目标投屏操作的触发时间和界面响应时间，以及对投屏接收端进行屏幕录制的初始录制视频；根据所述触发时间和所述界面响应时间，对所述初始录制视频进行视频裁剪，得到目标录制视频；对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征；根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果。通过可以选择画面内容非静止的视频为投屏内容，记录投屏发送端每个投屏操作的触发时间以及界面响应时间，同时根据在投屏接收端录制的初始录制视频，截取出触发时间值界面响应时间这段时间内的目标录制视频，将针对目标录制视频各视频帧，提取图像特征，并针对各投屏操作预先设置的投屏条件，判断投屏发送端的投屏操作是否在投屏接收端正常响应，从而达到验证不同投屏功能的有效性。如此，按照当前实现的自动化和视频脚本，将初始录制视频和投屏操作时间点(触发时间以及界面响应时间)作为输入，可以有效检测出不同设备上的投屏操作功能的有效性。且可以提高验证效率。
本申请实施例提供的一个或多个实施例，可以应用于各中投屏场景，例如视频投屏场景、直播投屏场景、演示文稿投屏场景、智能会议投屏场景等。在一个实际应用中，特别适用于基于人工智能技术实现的投屏场景中。人工智能(AI，artificial intelligence)是指已工程化(即设计并制造)的系统感知环境的能力，以及获取、处理、应用和表示知识的能力。
图3示出了本申请一实施例提供的一种投屏操作验证方法的流程图，具体包括以下步骤：
步骤302：获取在投屏发送端上目标投屏操作的触发时间和界面响应时间，以及对投屏接收端进行屏幕录制的初始录制视频。
具体的，投屏发送端是指发出投屏内容的对象，可以是手机、电脑等；目标投屏操作是指任意一种投屏过程中相关的操作，如上一页、暂停、退出等；触发时间是指在投屏发送端进行投屏操作的时间，如点击暂停、点击下一集等的时间；界面响应时间是指投屏发送端针对目标投屏操作进行响应的时间，如在投屏发送端的界面上点击“||”(暂停按键)，界面上的“||”变为“
Figure BDA0003807180910000071
”(播放按键)的时间，即操作生效(自动化UI校验)的时间点；初始录制视频是指在投屏接收端进行录制的视频，其中初始录制视频包含投屏接收端从开始头投屏到退出投屏的视频内容。优选地，投屏内容为视频。
实际应用中，获取触发时间、界面响应时间和初始录制视频的方式有多种，例如，可以是运营人员向执行主体发送投屏操作验证的指令，或者发送获取触发时间、界面响应时间和初始录制视频的指令，相应地，执行主体在接收到该指令后，开始对触发时间、界面响应时间和初始录制视频进行获取；也可以是执行主体每隔预设时长，自动获取触发时间、界面响应时间和初始录制视频，例如，经过预设时长后，具有投屏操作验证功能的平台自动获取触发时间、界面响应时间和初始录制视频。本说明书对获取触发时间、界面响应时间和初始录制视频的方式不做任何限定。
例如，投屏操作验证平台在接收到投屏操作验证指令之后，对投屏发送端进行监测，以获取目标投屏操作的触发时间和界面响应时间；并对投屏接收端进行屏幕录制，以获取初始录制视频。
需要说明的是，进行投屏操作验证的基础是，投屏发送端与投屏接收端进行了连接。因此，在进行投屏操作验证之前，还需要判断投屏发送端与投屏接收端是否建立连接；若是，则开始投屏操作验证的步骤，也即执行获取在投屏发送端上目标投屏操作的触发时间和界面响应时间，以及对投屏接收端进行屏幕录制的初始录制视频的步骤。
304：根据所述触发时间和所述界面响应时间，对所述初始录制视频进行视频裁剪，得到目标录制视频。
具体的，目标录制视频是指以触发时间为起点、以界面响应时间为终点的录制视频。
实际应用中，在获得了触发时间、界面响应时间和初始录制视频的基础上，进一步地，根据触发时间和界面响应时间，对初始录制视频进行裁剪，也即在初始录制视频中标记出触发时间和界面响应时间对应的裁剪点，两个裁剪点之间的录制视频即为目标录制视频。
306：对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征。
具体的，视频帧是组成视频的图像或图片；图像特征主要有图像的颜色特征、纹理特征、形状特征和空间关系特征，本说明书中图像特征可以为颜色特征、纹理特征、形状特征和空间关系特征中的至少一种。
实际应用中，可以先对目标录制视频进行分帧处理，得到目标录制视频的多个视频帧，例如，通过ffmpeg按每秒X帧的方式，对目标录制视频进行分帧其中，X可指定，X越大，帧越多，数据越准确，一般为每秒60帧。
进一步地，采用预设的特征提取，对分帧处理得到的各视频帧进行特征提取，得到各视频帧的图像特征。例如，将各视频帧输入至预训练的图像特征提取模型，以得到视频帧的图像特征。
308：根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果。
具体的，投屏条件是指预先设置用于衡量的投屏操作是否成功的条件。
实际应用中，不同的目标投屏操作对应不同的投屏条件。可以从预设的投屏条件库中，查找目标投屏操作对应的投屏条件，其中，投屏条件库中投屏操作与投屏条件关联存储。
进一步地，对各视频帧的图像特征进行处理，并与目标投屏操作对应的投屏条件进行比较，以确定目标投屏操作的验证结果是成功还是失败。
本申请提供的投屏操作验证方法，获取在投屏发送端上目标投屏操作的触发时间和界面响应时间，以及对投屏接收端进行屏幕录制的初始录制视频；根据所述触发时间和所述界面响应时间，对所述初始录制视频进行视频裁剪，得到目标录制视频；对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征；根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果。通过可以选择画面内容非静止的视频为投屏内容，记录投屏发送端每个投屏操作的触发时间以及界面响应时间，同时根据在投屏接收端录制的初始录制视频，截取出触发时间值界面响应时间这段时间内的目标录制视频，将针对目标录制视频各视频帧，提取图像特征，并针对各投屏操作预先设置的投屏条件，判断投屏发送端的投屏操作是否在投屏接收端正常响应，从而达到验证不同投屏功能的有效性。如此，按照当前实现的自动化和视频脚本，将初始录制视频和投屏操作时间点(触发时间以及界面响应时间)作为输入，可以有效检测出不同设备上的投屏操作功能的有效性。且可以提高验证效率。
在本申请一个或多个可选的实施例中，目标投屏操作可以为开启投屏操作。此时可以根据图像特征判断目标录制视频中是否存在有效视频帧，进而确定验证结果。也即在目标投屏操作为开启投屏操作的情况下，所述根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果，具体实现过程可以如下：
根据所述图像特征判断各视频帧中是否存在有效视频帧，其中，所述有效视频帧的图像特征符合预设图像特征条件；
若存在，确定所述开启投屏操作的验证结果为成功；
若不存在，确定所述开启投屏操作的验证结果为失败。
具体的，开启投屏操作是指投屏发送端向投屏接收端开始发送投屏内容的操作，例如进行视频投屏时，在手机上点击在某电视上进行投屏的操作；有效视频帧为指定的视频帧，如投屏内容加载页面、黑屏页面、显示有“准备投屏”等字样的页面等。
实际应用中，参见图4，图4示出了本申请一实施例提供的一种投屏操作验证方法中开启投屏操作对应的示意图：由于启播(开启投屏)时，会有资源缓冲加载过程会存在特定页面，也即有效页面(有效视频帧)，如黑屏加载页面，此时，可以将各视频帧的图像特征与预设图像特征条件进行比较，将符合预设图像特征条件的视频帧确定为有效视频帧。若存在有效视频帧，则说明开启投屏操作成功，也即验证结果为成功；若不存在有效视频帧，则说明开启投屏操作未成功，也即验证结果为失败。如此，通过有效视频帧的识别，能够提高确定开启投屏操作的验证结果，也即提高投屏操作验证的效率。
例如，有效视频帧为黑屏加载页面，预设图像特征条件为视频帧中黑色区域占比大于预设值。则可以根据各视频帧的图像特征，确定各视频帧的黑色区域占比，然后将黑色区域占比与预设值进行比较，若存在黑色区域占比大于预设值的视频帧，则说明存在有效视频帧，即开启投屏操作的验证结果为成功。
在本申请一个或多个可选地实施例中，图像特征可以为指定像素占比，此时可以对各视频帧中的像素进行统计，以确定指定像素占比。也即在图像特征为指定像素占比的情况下，所述对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征，具体实现过程可以如下：
对各视频帧进行灰度处理，得到各视频帧对应的灰度图；
对各灰度图中的像素进行统计，确定各灰度图的指定像素占比。
具体的，指定像素是指预先指定的像素，例如黑像素、白像素等；灰度图又称灰阶图，是指把白色与黑色之间按对数关系分为若干等级后形成的图；指定像素占比是指指定像素与所有像素的比值。
实际应用中，可以先采用预设灰度处理方法对各视频帧进行灰度处理，已得到各视频帧对应的灰度图。然后，对各灰度图中所有像素的数量以及指定像素的数量进行统计，进而得到各灰度图的指定像素占比。如此，可以简化图像特征的提取，提高图像特征的准确性。
例如，有两个视频帧：视频帧一和视频帧二。对视频帧一和视频帧二进行灰度处理，得到视频帧一的灰度图一和视频帧二的灰度图二。对灰度图一中的像素进行统计，总像素为36，指定像素为20，则灰度图一的指定像素占比为5/12；对灰度图二中的像素进行统计，总像素为36，指定像素为12，则灰度图二的指定像素占比为1/3。
可选地，可以采用直接统计的方法对灰度图中的像素进行统计，也即针对灰度图中的像素逐一计数，如此，可以简化简化图像特征的提取。
但是，对于视频帧数量多、且灰度图中像素数量多的情况下，直接统计会增加执行主体的数据处理量，进而降低效率。因此，还可以采用预设边缘检测算法对灰度图中的像素进行统计。也即所述对各灰度图中的像素进行统计，确定各灰度图的指定像素占比，具体实现过程可以如下：
采用预设边缘检测算法对各灰度图进行处理，确定各灰度图的边缘信息；
根据各灰度图的边缘信息进行像素统计，确定各灰度图的指定像素占比。
具体的，边缘检测算法在对图像的边缘进行检测时，先大概检测出图像轮廓的一些像素点，然后通过一些连接规则将那些像素点连接起来，最后再检测并连接一些之前未被识别的边界点、去除检测到的虚假的像素点和边界点并形成一个整体的边缘，如Canny边缘检测算法。边缘就是灰度值变化较大的像素点的集合。
实际应用中，可以采用预设边缘监测算法对灰度图进行边缘检测，得到各灰度图中的边缘信息，进而根据边缘信息，确定指定像素占比。
例如，采用Canny边缘检测算法对灰度图进行边缘检测：针对各灰度图，先采用高斯滤波对灰度图进行平滑处理，得到平滑图像；计算平滑图像的梯度值和梯度方向，其中梯度来表示灰度值的变化程度和方向；然后遍历每个像素，判断该像素的梯度大小在该像素梯度方向上是否是其邻域中的局部最大值，也即过滤非最大值；接着设置两个阈值：maxVal和minVal，其中大于maxVal的都被检测为边缘，而低于minval的都被检测为非边缘，对于中间的像素点，如果与确定为边缘的像素点邻接，则判定为边缘；否则为非边缘。如此，可以得到各灰度图的边缘信息。进一步地，对边缘信息指向的边缘进行像素统计，即可以得到各灰度图的指定像素占比。如此，可以有效地提高图像特征的确定效率，减少执行主体的数据处理量。
在本申请一个或多个可选的实施例中，目标投屏操作可以为开启投屏操作，此时可以根据图像特征，确定目标录制视频帧第一个视频帧与最后一个视频帧的第一相似度，进而根据第一相似度与预设相似度判断条件，确定验证结果。也即在目标投屏操作为开启投屏操作的情况下，所述根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果，具体实现过程可以如下：
根据所述图像特征，计算左界帧与右界帧的第一相似度，其中，所述左界帧为所述触发时间对应的视频帧，所述右界帧为所述界面响应时间对应的视频帧；
在所述第一相似度大于或等于第一相似度阈值的情况下，确定所述开启投屏操作的验证结果为失败。
具体的，相似度是指两个事物之间的相似程度；左界帧是指触发时间对应的视频帧，也即目标录制视频或各视频帧中的第一个视频帧；右界帧是指界面响应时间对应的视频帧，也即目标录制视频或各视频帧中的最后一个视频帧；第一相似度阈值是指预先设置的相似度阈值。
实际应用中，参见图4，此外，参见图4，由于启播(开启投屏)前，投屏接收端处于指定页面，如首页等，启播(开启投屏)后；投屏接收端会播放投屏内容，也即目标录制视频的第一个视频帧(左界帧)与目标录制视频的最后一个视频帧(右界帧)不同。此时，在确定了各视频帧的图像特征之后，可以采用预设的相似度算法，对左界帧的图像特征和右界帧的图像特征计算相似度：如将左界帧的图像特征和右界帧的图像特征输入至预设的相似度计算模型中，得到左界帧与右界帧的第一相似度；又如采用预设的相似度算法直接对左界帧的图像特征和右界帧的图像特征进行相似度计算，得到左界帧与右界帧的第一相似度。
进一步地，将第一相似度与第一相似度阈值进行比较，若第一相似度大于或等于第一相似度阈值，则说明左界帧与右界帧高度相似度，由于实际启播前后的页面应该不一致，则说明开启投屏操作的验证结果为失败。如此，只需计算左界帧与右界帧的第一相似度，就可以确定开启投屏操作的验证结果，能够提高验证结果的确定效率和准确率。
例如，第一相似度阈值为1，根据左界帧的图像特征和右界帧的图像特征计算得出左界帧和右界帧的第一相似度阈值为1，则开启投屏操作的验证结果为失败。
在本申请一个或多个可选的实施例中，目标投屏操作可以为暂停播放操作，此时，可以根据图像特征计算相邻两个视频帧的第二相似度和/或左界帧与右界帧的第三相似度，确定投屏操作的验证结果。也即在目标投屏操作为暂停播放操作的情况下，所述根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果，包括以下至少一种：
根据所述图像特征，计算相邻两个视频帧的第二相似度；在第一数量大于第一预设数值的情况下，确定所述暂停播放操作的验证结果为失败，其中，第一数量为连续且大于或等于第二相似度阈值的第二相似度的数量；
根据所述图像特征，计算左界帧与右界帧的第三相似度，其中，所述左界帧为所述触发时间对应的视频帧，所述右界帧为所述界面响应时间对应的视频帧；在所述第三相似度或等于第三相似度阈值的情况下，确定所述暂停播放操作的验证结果为失败。
具体的，相似度是指两个事物之间的相似程度；左界帧是指触发时间对应的视频帧，也即目标录制视频或各视频帧中的第一个视频帧；右界帧是指界面响应时间对应的视频帧，也即目标录制视频或各视频帧中的最后一个视频帧；相似度阈值是指预先设置的相似度阈值，且第二相似度阈值与第三相似度阈值可以相同，也可以不同，优选地，第二相似度阈值与第三相似度阈值均为1。
可选地，参见图5，图5是本申请一实施例提供的一种投屏操作验证方法中暂停播放操作对应的示意图，由于在投屏暂停播放后，目标录制视频应该处于静止状态，则至少在有效视频帧(视频接收端暂停播放时对应的视频)之后，各视频帧中将有多个相邻的视频帧相同，因此在确定了各视频帧的图像特征之后，可以确定各视频帧中所有相邻的两个视频帧，然后针对每组相邻的两个视频帧，根据图像特征计算该组中两个视频帧的第二相似度，然后将各第二相似度分别第二相似度阈值进行比较，将大于或等于第二相似度阈值的第二相似度确定为目标相似度。然后确定相连的目标相似度的数量，也即第一数量。进而将第一数量与第一预设数值进行比较，若第一数量大于第一预设数值，则说明投屏内容一直处于暂停状态，也即确定暂停播放操作的验证结果为失败。如此，基于第一预设数值和第二相似度阈值，确定暂停播放操作的验证结果，可以提高验证结果的准确。
例如，有7个视频帧，分别为视频帧1-7，且视频帧1与视频帧2的相似度为0.5、视频帧2与视频帧3的相似度为0.9、视频帧3与视频帧4的相似度为1、视频帧4与视频帧5的相似度为0.9、视频帧5与视频帧6的相似度为1、视频帧6与视频帧7的相似度为1。若第二相似度阈值为0.9，则第一数量为5，假设第一预设数值为3，则暂停播放操作的验证结果为失败。
可选地，参见图5，由于在投屏暂停播放前，目标录制视频应该动态播放状态，在投屏暂停播放，目标录制视频应该处于静止状态，则各视频帧中的第一个视频帧(左界帧)应该与最后一个视频帧(右界帧)不同。因此在确定了各视频帧的图像特征之后，可以采用预设的相似度算法，对左界帧的图像特征和右界帧的图像特征计算相似度，得到左界帧与右界帧的第三相似度。进而将第三相似度与第三相似度阈值进行比较，若第三相似度大于或等于第三相似度阈值，则说明左界帧与右界帧高度相似度，由于实际暂停播放前后的页面应该不一致，则说明在暂停播放操作执行前，投屏内容已处于暂停状态，则暂停播放操作的验证结果为失败。如此，只需计算左界帧与右界帧的第三相似度，就可以确定暂停播放操作的验证结果，能够提高验证结果的确定效率和准确率。
例如，第三相似度阈值为0.98，根据左界帧的图像特征和右界帧的图像特征计算得出左界帧和右界帧的第一相似度阈值为0.99，则暂停播放操作的验证结果为失败。
可选地，参见图5，由于在投屏暂停播放前，目标录制视频应该动态播放状态，在投屏暂停播放，目标录制视频应该处于静止状态，则各视频帧中的第一个视频帧(左界帧)应该与最后一个视频帧(右界帧)不同，且各视频帧中将有多个相邻的视频帧相同。因此在确定了各视频帧的图像特征之后，可以确定各视频帧中所有相邻的两个视频帧，然后针对每组相邻的两个视频帧，根据图像特征计算该组中两个视频帧的第二相似度以及左界帧与右界帧的第三相似度。然后将各第二相似度分别第二相似度阈值进行比较，将大于或等于第二相似度阈值的第二相似度确定为目标相似度。然后确定相连的目标相似度的数量，也即第一数量。进而将第一数量与第一预设数值进行比较，以及将第三相似度与第三相似度阈值进行比较。若第一数量大于第一预设数值，且若第三相似度大于或等于第三相似度阈值，则说明投屏内容一直处于暂停状态，也即确定暂停播放操作的验证结果为失败。如此，进行双重验证，可以进一步提高验证结果的准确性。
在本申请一个或多个可选的实施例中，目标投屏操作可以为继续播放操作。此时，可以根据图像特征，计算相邻两个视频帧的第四相似度、第五相似度以及左界帧与右界帧的第六相似度中的任意一个，确定投屏操作的验证结果。也即在目标投屏操作为继续播放操作的情况下，所述根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果，包括以下任意一种：
根据所述图像特征，计算相邻两个视频帧的第四相似度；在第二数量小于第二预设数值的情况下，确定所述继续播放操作的验证结果为失败，其中，第二数量为连续且大于或等于第四相似度阈值的第四相似度的数量；
根据所述图像特征，计算相邻两个视频帧的第五相似度；在第三数量等于各视频帧的视频帧数的情况下，确定所述继续播放操作的验证结果为失败，其中，第三数量为连续且大于或等于第五相似度阈值的第五相似度的数量；
根据所述图像特征，计算启录帧与右界帧的第六相似度，其中，所述启录帧为所述初始录制视频的第一个视频帧，所述右界帧为所述界面响应时间对应的视频帧；在所述第六相似度或等于第六相似度阈值的情况下，确定所述继续播放操作的验证结果为失败。
具体的，相似度是指两个事物之间的相似程度；左界帧是指触发时间对应的视频帧，也即目标录制视频或各视频帧中的第一个视频帧；右界帧是指界面响应时间对应的视频帧，也即目标录制视频或各视频帧中的最后一个视频帧；相似度阈值是指预先设置的相似度阈值，且第四至第六相似度阈值可以相同，也可以不同，优选地，第四至第六相似度阈值均为1；启录帧是指屏幕录制的第一帧，也即初始录制视频的第一帧。
可选地，参见图6，图6示出了本申请一实施例提供的一种投屏操作验证方法中继续播放操作对应的示意图：由于在投屏继续播放前，目标录制视频应该处于静止状态，则各视频帧中将有部分相邻的视频帧相同，因此在确定了各视频帧的图像特征之后，可以确定各视频帧中所有相邻的两个视频帧，然后针对每组相邻的两个视频帧，根据图像特征计算该组中两个视频帧的第四相似度，然后将各第四相似度分别第四相似度阈值进行比较，将大于或等于第四相似度阈值的第四相似度确定为目标相似度。然后确定相连的目标相似度的数量，也即第二数量。进而将第二数量与第二预设数值进行比较，若第二数量小于第二预设数值，则说明投屏内容一直处于播放状态，也即确定继续播放操作的验证结果为失败。如此，基于第二预设数值和第四相似度阈值，确定继续播放操作的验证结果，可以提高验证结果的准确。
例如，有7个视频帧，分别为视频帧1-7，且视频帧1与视频帧2的相似度为1、视频帧2与视频帧3的相似度为0.7、视频帧3与视频帧4的相似度为0.4、视频帧4与视频帧5的相似度为0.1、视频帧5与视频帧6的相似度为0.2、视频帧6与视频帧7的相似度为0.3。若第四相似度阈值为0.9，则第二数量为1，假设第二预设数值为3，则继续播放操作的验证结果为失败。
可选地，参见图6，由于在投屏继续播放后，目标录制视频应该处于动态播放状态，则在有效视频帧(投屏接收端继续播放投屏内容对应的视频帧)之前，各视频帧中将有部分相邻的视频帧不同，因此在确定了各视频帧的图像特征之后，还可以确定各视频帧中所有相邻的两个视频帧，然后针对每组相邻的两个视频帧，根据图像特征计算该组中两个视频帧的第五相似度，然后将各第五相似度分别第五相似度阈值进行比较，将大于或等于第四相似度阈值的第四相似度确定为目标相似度。然后确定相连的目标相似度的数量，也即第三数量。进而将第三数量与视频帧总数，也即各视频帧的视频帧数进行比较，若第三数量小于视频帧数，则说明投屏内容一直处于暂停状态，也即确定继续播放操作的验证结果为失败。如此，基于第三预设数值和第五相似度阈值，确定继续播放操作的验证结果，可以提高验证结果的准确。
例如，有7个视频帧，分别为视频帧1-7，则各视频帧的视频帧数为7。假设视频帧1与视频帧2的相似度为1、视频帧2与视频帧3的相似度为0.9、视频帧3与视频帧4的相似度为0.9、视频帧4与视频帧5的相似度为1、视频帧5与视频帧6的相似度为2、视频帧6与视频帧7的相似度为13。若第五相似度阈值为0.9，则第三数量为7，可见第三数量等于视频帧数，则继续播放操作的验证结果为失败。
可选地，参见图6，由于在投屏继续播放后，目标录制视频应该动态播放状态，而在投屏前，视频接收端应处于指定页面，如首页等等，则初始录制视频中的第一个视频帧(启录帧)应该与目标录制视频中的最后一个视频帧(右界帧)不同。因此在确定了各视频帧的图像特征之后，还可以确定启录帧的图像特征，然后采用预设的相似度算法，对启录帧的图像特征和右界帧的图像特征计算相似度，得到启录帧与右界帧的第六相似度。进而将第六相似度与第六相似度阈值进行比较，若第六相似度大于或等于第六相似度阈值，则说明启录帧与右界帧高度相似度，由于实际投屏前后的页面应该不一致，则说明屏幕接收端在继续播放操作之前已处于退出投屏状态，则暂停播放操作的验证结果为失败。如此，只需计算启录帧与右界帧的第六相似度，就可以确定继续播放操作的验证结果，能够提高验证结果的确定效率和准确率。
例如，第三相似度阈值为1，根据启录帧的图像特征和右界帧的图像特征计算得出启录帧和右界帧的第一相似度阈值为1，则继续播放操作的验证结果为失败。
此外，参见图6，由于在投屏继续播放前，目标录制视频应该投屏暂停状态，而在投屏前，视频接收端应处于指定页面，如首页等等，则初始录制视频中的第一个视频帧(启录帧)应该与目标录制视频中的第一个视频帧(左界帧)不同。因此在确定了各视频帧的图像特征之后，还可以确定启录帧的图像特征，然后采用预设的相似度算法，对启录帧的图像特征和左界帧的图像特征计算相似度，得到启录帧与右界帧的相似度。进而将该相似度与相似度阈值进行比较，若该相似度大于或等于相似度阈值，则说明启录帧与左界帧高度相似度，由于实际投屏前后的页面应该不一致，则说明屏幕接收端在继续播放操作之前已处于退出投屏状态，则暂停播放操作的验证结果为失败。
在本申请一个或多个可选的实施例中，目标投屏操作可以为退出投屏操作。此时，可以根据图像特征，计算启录帧与左界帧的第七相似度或者启录帧与右界帧的第八相似度，确定投屏操作的验证结果。也即在目标投屏操作为退出投屏操作的情况下，所述根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果，包括以下任意一种：
根据所述图像特征，计算启录帧与左界帧的第七相似度，其中，所述启录帧为所述初始录制视频的第一个视频帧，所述左界帧为所述触发时间对应的视频帧；在所述第七相似度大于或等于第七相似度阈值的情况下，确定所述退出投屏操作的验证结果为失败；
根据所述图像特征，计算启录帧与右界帧的第八相似度，其中，所述右界帧为所述界面响应时间对应的视频帧；在所述第八相似度小于第八相似度阈值的情况下，确定所述退出投屏操作的验证结果为失败。
具体的，相似度是指两个事物之间的相似程度；左界帧是指触发时间对应的视频帧，也即目标录制视频或各视频帧中的第一个视频帧；右界帧是指界面响应时间对应的视频帧，也即目标录制视频或各视频帧中的最后一个视频帧；相似度阈值是指预先设置的相似度阈值，且第七相似度阈值与第八相似度阈值可以相同，也可以不同，优选地，第七相似度阈值与第八相似度阈值均为1；启录帧是指屏幕录制的第一帧，也即初始录制视频的第一帧。
可选地，参见图7，图7示出了本申请一实施例提供的一种投屏操作验证方法中退出投屏操作对应的示意图：由于在退出投屏前，目标录制视频应该处于动态播放状态，而在投屏前，视频接收端应处于指定页面，如首页等等，则初始录制视频中的第一个视频帧(启录帧)应该与目标录制视频中的第一个视频帧(左界帧)不同。因此在确定了各视频帧的图像特征之后，还可以确定启录帧的图像特征，然后采用预设的相似度算法，对启录帧的图像特征和左界帧的图像特征计算相似度，得到启录帧与左界帧的第七相似度。进而将第七相似度与第七相似度阈值进行比较，若第七相似度大于或等于第七相似度阈值，则说明启录帧与左界帧高度相似度，由于实际投屏前后的页面应该不一致，则说明屏幕接收端在退出投屏操作之前已处于退出投屏状态，则退出投屏操作的验证结果为失败。如此，只需计算启录帧与左界帧的第七相似度，就可以确定继续播放操作的验证结果，能够提高验证结果的确定效率和准确率。
例如，第七相似度阈值为0.9，根据启录帧的图像特征和左界帧的图像特征计算得出启录帧和左界帧的第七相似度阈值为0.95，则退出投屏操作的验证结果为失败。
可选地，参见图7，由于在退出投屏后，目标录制视频应该处于视频接收端的指定页面，如首页等等，而在投屏前，视频接收端应也处于指定页面，则初始录制视频中的第一个视频帧(启录帧)应该与目标录制视频中的最后一个视频帧(右界帧)相同。因此在确定了各视频帧的图像特征之后，还可以确定启录帧的图像特征，然后采用预设的相似度算法，对启录帧的图像特征和右界帧的图像特征计算相似度，得到启录帧与右界帧的第八相似度。进而将第八相似度与第八相似度阈值进行比较，若第八相似度小于第八相似度阈值，则说明启录帧与右界帧不同，由于实际投屏前和退出投屏的页面应该一致，则说明屏幕接收端在退出投屏操作之后还处于投屏状态，则退出投屏操作的验证结果为失败。如此，只需计算启录帧与右界帧的第八相似度，就可以确定继续播放操作的验证结果，能够提高验证结果的确定效率和准确率。
例如，第八相似度阈值为1，根据启录帧的图像特征和右界帧的图像特征计算得出启录帧和右界帧的第八相似度阈值为0.8，则退出投屏操作的验证结果为失败。
在本申请一个或多个可选的实施例中，在计算相似度时，图像特征为图像指纹，也即对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征，具体实现过程可以如下：
对所述目标录制视频中的各视频帧进行哈希计算，确定各视频帧的图像指纹。
具体的，图像指纹是图像的象征，也即将图像按照一定的哈希算法，经过运算后得出的一组二进制数字；哈希算法将任意长度的二进制值映射为较短的固定长度的二进制值，这个小的二进制值称为哈希值。
实际应用中，可以采用预设的哈希算法，如离散小波变换(DWT)算法，分别对各视频帧进行哈希计算，得到各视频帧对应的哈希值，也即图像指纹。如此，可以提高图像特征的提取效率，其可以提高图像特征的准确性。
参见图8，图8示出了本申请一实施例提供的一种投屏操作验证方法的处理流程图：
首先，基于Uiautomator2和tidevice+wda，分别封装Android和iOS投屏页面类的UI通用操作，提供了APP视频投屏自动化的核心操作场景，并基于scrcpy封装了用于录制投屏信号接收端的响应视频类。
步骤1：设备A和设备B作为配对设备，进行投屏测试，其中将安装投屏APP的设备A作为投屏发送端或发送端，装有安装投屏TVAPP设备B作为投屏接收端或接收端，且设备A和设备B连接同一WiFi下。
当设备A和设备B建立投屏连接后，设备A通过APP间建联的投屏通信协议，将投屏操作指令(比如：暂停、退出投屏等)封装成指令操作数据格式发送给设备B，而后设备B上投屏APP对操作指令进行解析，并在播放面板上进行响应。
步骤2：设备A和设备B启动投屏测试。
自定义多线程脚本，线程1启动设备A上的投屏APP，线上2启动设备B上的投屏TVAPP，即针对发送端(设备A)启动投屏APP，针对接收端(设备B)启动投屏TVAPP，设备B并开始录制视频(初始录制视频)。
设备A进入播放页后，点击投屏至设备B，当页面出现投屏操作面板后(表示与设备B投屏建联成功)，在投屏面板上进行UI操作，并分别记录开始操作和操作后面板UI断言成功时间点，也即触发时间和界面响应时间，即在设备A上进行投屏面板操作(如：暂停、继续播放等)，并保存投屏操作时间点。同时设备B基于设备A在投屏面板上的操作，在播放面板上进行响应。
步骤3：设备A投屏结束后，保存设备B上的初始录制视频。
此外，步骤2和步骤3可以统称为：执行执行UI自动化脚本&视频录制。
步骤4：对初始录制视频进行视频分帧，结合自动化脚本记录的设备A上每个投屏操作开始(触发时间)和生效时间点(界面响应时间)划分“操作帧域”(目标视频帧的各视频帧)，即结合操作时间点划分“操作帧域”。参见图9，图9示出了本申请一实施例提供的一种投屏操作验证方法中分帧处理的流程示意图：
开始时间点(触发时间)，即t1：自动化脚本开始进行UI操作的时间点，比如：开始点击投屏面板上的暂停按钮。
生效时间点(界面响应时间)，即t2：自动化脚本操作后，设备A上投屏面便UI已处于暂停状态的时间点，即自动化脚本操作后，对投屏面板UI进行断言，校验成功后的时间点，比如：点击暂停后，脚本验证投屏面板上播放icon处于暂停态的时间点。
F1和F2：分别标识投屏发送端在t1和t2时间点上，投屏接收端对应的视频帧，分别成为“左界帧”和“右界帧”。
F12：表示投屏接收端相应发送端暂停操作，视频处于暂停播放的起始时间点，对应视频帧成为“有效帧”。
“操作帧域”，即在投屏发送端进行“操作”期间的时间段内(t1～t2)，对应的投屏接收端实际响应的视频帧区域。
分帧处理过程：针对投屏发送端(设备A)设置一个APP投屏操作的时间线，针对投屏接收端(设备B)设置一个投屏操作期间视频帧的时间线；用户在t1时，通过设备A执行暂停播放操作，此时，设备B上对应的视频帧为F1(左界帧)；设备B响应暂停播放操作，实现视频暂停，此时对应的视频帧为F12(有效帧)；在t2时，设备A的UI界面显示暂停状态，此时设备B上对应的视频帧为F2(右界帧)。从F1至F2的视频帧，也即t1至t2时间段内的视频帧，统称为操作帧域。
步骤5：结合操作序列与对应的“操作帧域”，按照投屏操作与图像特征映射关系(预先设置的投屏条件)进行识别，确认该测试用例(投屏操作)是否成功。
依据投屏操作和效果图像特征映射关系，分析“操作帧域”内的图像特征，判断是否与关系表中投屏操作对应的图像特征一致，如果一致认为投屏操作生效，否则认为失败，即识别是否成功，若是，则用例成功，若否，则用例失败。
“开启投屏操作”：投屏接收端的现象为开启投屏操作时，有视频资源缓冲加载过程(页面黑屏)，且开启投屏操作前后页面不一致。预设的投屏条件为判断“操作帧域”灰度图白色素度占比和区域边界图像指标相似度：1)确定有效帧(即图像灰度图白色素度占比<1，占比越小，则表示图像越趋近于黑色)，若不存在则表示无“开启投屏操作”；2)左界帧和右界帧若＝＝100％，表示“开启投屏操作”失败；
“暂停播放操作”：投屏接收端的现象为暂停投屏后，视频画面处于静止状态。预设的投屏条件为统计“操作帧域”内所有图像帧图像指纹信息，并计算区域内相邻前后帧的图像指纹相似度：1)相似相邻图像帧域(相邻图像帧图像指纹相似度＝＝100％)帧数>10，表示视频一直处于暂停播放状态；2)右界帧与左界帧相似度＝＝100％，表示”暂停”操作未生效。
“继续播放操作”：投屏接收端的现象为继续播放按钮点击之后，视频播放态，即画面处于动态变化状态。预设的投屏条件为统计"操作帧域"内相似相邻图像帧域的图像指纹信息，若满足以下任一条件，则表示”继续播放”操作未生效：1)相似相邻帧域帧数<10，表示已处于播放状态；2)若相似相邻帧域和操作帧域长度相等，表示整个区域仍处于暂停状态；3)启录帧(视频第一帧)与相似相邻帧区域的最后一帧相似度＝＝100％,表示处于退出投屏状态。
“退出投屏操作”：投屏接收端的现象为视频最后小段时间内，展示TV端页面，与投屏前页面基本一致。预设的投屏条件为统计"操作帧域"左界帧和右界帧、启录帧图像指纹信息，若满足以下任一条件，则表示”退出投屏”操作未生效：1)左界帧与启录帧相似度＝＝1，表示点击前已处于退出投屏状态；2)启录帧和右界帧相似度！＝1，表示点击后未退出投屏。
与上述方法实施例相对应，本申请还提供了投屏操作验证平台实施例，图10示出了本申请一实施例提供的一种投屏操作验证平台的结构示意图。如图10所示，该平台包括：
获取模块1002，被配置为获取在投屏发送端上目标投屏操作的触发时间和界面响应时间，以及对投屏接收端进行屏幕录制的初始录制视频；
裁剪模块1004，被配置为根据所述触发时间和所述界面响应时间，对所述初始录制视频进行视频裁剪，得到目标录制视频；
特征提取模块1006，被配置为对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征；
确定模块1008，被配置为根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果。
可选地，所述目标投屏操作为开启投屏操作；
所述确定模块1008，还被配置为：
根据所述图像特征判断各视频帧中是否存在有效视频帧，其中，所述有效视频帧的图像特征符合预设图像特征条件；
若存在，确定所述开启投屏操作的验证结果为成功。
可选地，所述图像特征为指定像素占比；
所述特征提取模块1006，还被配置为：
对各视频帧进行灰度处理，得到各视频帧对应的灰度图；
对各灰度图中的像素进行统计，确定各灰度图的指定像素占比。
可选地，所述特征提取模块1006，还被配置为：
采用预设边缘检测算法对各灰度图进行处理，确定各灰度图的边缘信息；
根据各灰度图的边缘信息进行像素统计，确定各灰度图的指定像素占比。
可选地，所述目标投屏操作为开启投屏操作；
所述确定模块1008，还被配置为：
根据所述图像特征，计算左界帧与右界帧的第一相似度，其中，所述左界帧为所述触发时间对应的视频帧，所述右界帧为所述界面响应时间对应的视频帧；
在所述第一相似度大于或等于第一相似度阈值的情况下，确定所述开启投屏操作的验证结果为失败。
可选地，所述目标投屏操作为暂停播放操作；
所述确定模块1008，还被配置为以下至少一种：
根据所述图像特征，计算相邻两个视频帧的第二相似度；在第一数量大于第一预设数值的情况下，确定所述暂停播放操作的验证结果为失败，其中，第一数量为连续且大于或等于第二相似度阈值的第二相似度的数量；
根据所述图像特征，计算左界帧与右界帧的第三相似度，其中，所述左界帧为所述触发时间对应的视频帧，所述右界帧为所述界面响应时间对应的视频帧；在所述第三相似度或等于第三相似度阈值的情况下，确定所述暂停播放操作的验证结果为失败。
可选地，所述目标投屏操作为继续播放操作；
所述确定模块1008，还被配置为以下任意一种：
根据所述图像特征，计算相邻两个视频帧的第四相似度；在第二数量小于第二预设数值的情况下，确定所述继续播放操作的验证结果为失败，其中，第二数量为连续且大于或等于第四相似度阈值的第四相似度的数量；
根据所述图像特征，计算相邻两个视频帧的第五相似度；在第三数量等于各视频帧的视频帧数的情况下，确定所述继续播放操作的验证结果为失败，其中，第三数量为连续且大于或等于第五相似度阈值的第五相似度的数量；
根据所述图像特征，计算启录帧与右界帧的第六相似度，其中，所述启录帧为所述初始录制视频的第一个视频帧，所述右界帧为所述界面响应时间对应的视频帧；在所述第六相似度或等于第六相似度阈值的情况下，确定所述继续播放操作的验证结果为失败。
可选地，所述目标投屏操作为退出投屏操作；
所述确定模块1008，还被配置为以下任意一种：
根据所述图像特征，计算启录帧与左界帧的第七相似度，其中，所述启录帧为所述初始录制视频的第一个视频帧，所述左界帧为所述触发时间对应的视频帧；在所述第七相似度大于或等于第七相似度阈值的情况下，确定所述退出投屏操作的验证结果为失败；
根据所述图像特征，计算启录帧与右界帧的第八相似度，其中，所述右界帧为所述界面响应时间对应的视频帧；在所述第八相似度小于第八相似度阈值的情况下，确定所述退出投屏操作的验证结果为失败。
可选地，所述图像特征为图像指纹；
所述特征提取模块，还被配置为：
对所述目标录制视频中的各视频帧进行哈希计算，确定各视频帧的图像指纹。
本申请提供的投屏操作验证平台，通过可以选择画面内容非静止的视频为投屏内容，记录投屏发送端每个投屏操作的触发时间以及界面响应时间，同时根据在投屏接收端录制的初始录制视频，截取出触发时间值界面响应时间这段时间内的目标录制视频，将针对目标录制视频各视频帧，提取图像特征，并针对各投屏操作预先设置的投屏条件，判断投屏发送端的投屏操作是否在投屏接收端正常响应，从而达到验证不同投屏功能的有效性。如此，按照当前实现的自动化和视频脚本，将初始录制视频和投屏操作时间点(触发时间以及界面响应时间)作为输入，可以有效检测出不同设备上的投屏操作功能的有效性。且可以提高验证效率。
上述为本实施例的一种投屏操作验证平台的示意性方案。需要说明的是，该投屏操作验证平台的技术方案与上述的投屏操作验证方法的技术方案属于同一构思，投屏操作验证平台的技术方案未详细描述的细节内容，均可以参见上述投屏操作验证方法的技术方案的描述。
与上述方法实施例相对应，本申请还提供了投屏操作验证系统实施例，图11示出了本申请一实施例提供的一种投屏操作验证系统的结构示意图。如图11所示，该系统包括：
投屏发送端1102、投屏接收端1104和投屏操作验证平台1106；
所述投屏发送端1102，用于向所述投屏操作验证平台发送目标投屏操作的触发时间和界面响应时间；
所述投屏接收端1104，用于向所述投屏操作验证平台发送进行屏幕录制的初始录制视频；
所述投屏操作验证平台1106，用于根据所述触发时间和所述界面响应时间，对所述初始录制视频进行视频裁剪，得到目标录制视频；对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征；根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果。
可选地，所述目标投屏操作为开启投屏操作；
所述投屏操作验证平台1106，还用于根据所述图像特征判断各视频帧中是否存在有效视频帧，其中，所述有效视频帧的图像特征符合预设图像特征条件；若存在，确定所述开启投屏操作的验证结果为成功。
可选地，所述图像特征为指定像素占比；
所述投屏操作验证平台1106，还用于对各视频帧进行灰度处理，得到各视频帧对应的灰度图；对各灰度图中的像素进行统计，确定各灰度图的指定像素占比。
所述投屏操作验证平台1106，还用于采用预设边缘检测算法对各灰度图进行处理，确定各灰度图的边缘信息；根据各灰度图的边缘信息进行像素统计，确定各灰度图的指定像素占比。
可选地，所述目标投屏操作为开启投屏操作；
所述投屏操作验证平台1106，还用于根据所述图像特征，计算左界帧与右界帧的第一相似度，其中，所述左界帧为所述触发时间对应的视频帧，所述右界帧为所述界面响应时间对应的视频帧；在所述第一相似度大于或等于第一相似度阈值的情况下，确定所述开启投屏操作的验证结果为失败。
可选地，所述目标投屏操作为暂停播放操作；
所述投屏操作验证平台1106，还用于以下至少一种：
根据所述图像特征，计算相邻两个视频帧的第二相似度；在第一数量大于第一预设数值的情况下，确定所述暂停播放操作的验证结果为失败，其中，第一数量为连续且大于或等于第二相似度阈值的第二相似度的数量；
根据所述图像特征，计算左界帧与右界帧的第三相似度，其中，所述左界帧为所述触发时间对应的视频帧，所述右界帧为所述界面响应时间对应的视频帧；在所述第三相似度或等于第三相似度阈值的情况下，确定所述暂停播放操作的验证结果为失败。
可选地，所述目标投屏操作为继续播放操作；
所述投屏操作验证平台1106，还用于以下任意一种：
根据所述图像特征，计算相邻两个视频帧的第四相似度；在第二数量小于第二预设数值的情况下，确定所述继续播放操作的验证结果为失败，其中，第二数量为连续且大于或等于第四相似度阈值的第四相似度的数量；
根据所述图像特征，计算相邻两个视频帧的第五相似度；在第三数量等于各视频帧的视频帧数的情况下，确定所述继续播放操作的验证结果为失败，其中，第三数量为连续且大于或等于第五相似度阈值的第五相似度的数量；
根据所述图像特征，计算启录帧与右界帧的第六相似度，其中，所述启录帧为所述初始录制视频的第一个视频帧，所述右界帧为所述界面响应时间对应的视频帧；在所述第六相似度或等于第六相似度阈值的情况下，确定所述继续播放操作的验证结果为失败。
可选地，所述目标投屏操作为退出投屏操作；
所述投屏操作验证平台1106，还用于以下任意一种：
根据所述图像特征，计算启录帧与左界帧的第七相似度，其中，所述启录帧为所述初始录制视频的第一个视频帧，所述左界帧为所述触发时间对应的视频帧；在所述第七相似度大于或等于第七相似度阈值的情况下，确定所述退出投屏操作的验证结果为失败；
根据所述图像特征，计算启录帧与右界帧的第八相似度，其中，所述右界帧为所述界面响应时间对应的视频帧；在所述第八相似度小于第八相似度阈值的情况下，确定所述退出投屏操作的验证结果为失败。
可选地，所述图像特征为图像指纹；
所述投屏操作验证平台1106，还用于：
对所述目标录制视频中的各视频帧进行哈希计算，确定各视频帧的图像指纹。
本申请提供的投屏操作验证系统，通过可以选择画面内容非静止的视频为投屏内容，记录投屏发送端每个投屏操作的触发时间以及界面响应时间，同时根据在投屏接收端录制的初始录制视频，截取出触发时间值界面响应时间这段时间内的目标录制视频，将针对目标录制视频各视频帧，提取图像特征，并针对各投屏操作预先设置的投屏条件，判断投屏发送端的投屏操作是否在投屏接收端正常响应，从而达到验证不同投屏功能的有效性。如此，按照当前实现的自动化和视频脚本，将初始录制视频和投屏操作时间点(触发时间以及界面响应时间)作为输入，可以有效检测出不同设备上的投屏操作功能的有效性。且可以提高验证效率。
上述为本实施例的一种投屏操作验证系统的示意性方案。需要说明的是，该投屏操作验证系统的技术方案与上述的投屏操作验证方法的技术方案属于同一构思，投屏操作验证系统的技术方案未详细描述的细节内容，均可以参见上述投屏操作验证方法的技术方案的描述。
图12示出了本申请一实施例提供的一种计算设备1200的结构框图。该计算设备1200的部件包括但不限于存储器1210和处理器1220。处理器1220与存储器1210通过总线1230相连接，数据库1250用于保存数据。
计算设备1200还包括接入设备1240，接入设备1240使得计算设备1200能够经由一个或多个网络1260通信。这些网络的示例包括公用交换电话网(PSTN，Public SwitchedTelephone Network)、局域网(LAN，Local Area Network)、广域网(WAN，Wide AreaNetwork)、个域网(PAN，Personal Area Network)或诸如因特网的通信网络的组合。接入设备1240可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC，NetworkInterface Controller))中的一个或多个，诸如IEEE802.11无线局域网(WLAN，WirelessLocal Area Network)无线接口、全球微波互联接入(Wi-MAX，WorldwideInteroperability for Microwave Access)接口、以太网接口、通用串行总线(USB，Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC，Near FieldCommunication)接口，等等。
在本申请的一个实施例中，计算设备1200的上述部件以及图12中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图12所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备1200可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备1200还可以是移动式或静止式的服务器。
其中，处理器1220执行所述计算机指令时实现所述的投屏操作验证方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的投屏操作验证方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述投屏操作验证方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现如前所述投屏操作验证方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的投屏操作验证方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述投屏操作验证方法的技术方案的描述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本申请的内容，可作很多的修改和变化。本申请选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (13)

1.一种投屏操作验证方法，其特征在于，包括：
获取在投屏发送端上目标投屏操作的触发时间和界面响应时间，以及对投屏接收端进行屏幕录制的初始录制视频；
根据所述触发时间和所述界面响应时间，对所述初始录制视频进行视频裁剪，得到目标录制视频；
对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征；
根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果。
2.根据权利要求1所述的方法，其特征在于，所述目标投屏操作为开启投屏操作；
所述根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果，包括：
根据所述图像特征判断各视频帧中是否存在有效视频帧，其中，所述有效视频帧的图像特征符合预设图像特征条件；
若存在，确定所述开启投屏操作的验证结果为成功。
3.根据权利要求2所述的方法，其特征在于，所述图像特征为指定像素占比；
所述对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征，包括：
对各视频帧进行灰度处理，得到各视频帧对应的灰度图；
对各灰度图中的像素进行统计，确定各灰度图的指定像素占比。
4.根据权利要求3所述的方法，所述对各灰度图中的像素进行统计，确定各灰度图的指定像素占比，包括：
采用预设边缘检测算法对各灰度图进行处理，确定各灰度图的边缘信息；
根据各灰度图的边缘信息进行像素统计，确定各灰度图的指定像素占比。
5.根据权利要求1所述的方法，其特征在于，所述目标投屏操作为开启投屏操作；
所述根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果，包括：
根据所述图像特征，计算左界帧与右界帧的第一相似度，其中，所述左界帧为所述触发时间对应的视频帧，所述右界帧为所述界面响应时间对应的视频帧；
在所述第一相似度大于或等于第一相似度阈值的情况下，确定所述开启投屏操作的验证结果为失败。
6.根据权利要求1所述的方法，其特征在于，所述目标投屏操作为暂停播放操作；
所述根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果，包括以下至少一种：
根据所述图像特征，计算相邻两个视频帧的第二相似度；在第一数量大于第一预设数值的情况下，确定所述暂停播放操作的验证结果为失败，其中，第一数量为连续且大于或等于第二相似度阈值的第二相似度的数量；
根据所述图像特征，计算左界帧与右界帧的第三相似度，其中，所述左界帧为所述触发时间对应的视频帧，所述右界帧为所述界面响应时间对应的视频帧；在所述第三相似度或等于第三相似度阈值的情况下，确定所述暂停播放操作的验证结果为失败。
7.根据权利要求1所述的方法，其特征在于，所述目标投屏操作为继续播放操作；
所述根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果，包括以下任意一种：
根据所述图像特征，计算相邻两个视频帧的第四相似度；在第二数量小于第二预设数值的情况下，确定所述继续播放操作的验证结果为失败，其中，第二数量为连续且大于或等于第四相似度阈值的第四相似度的数量；
根据所述图像特征，计算相邻两个视频帧的第五相似度；在第三数量等于各视频帧的视频帧数的情况下，确定所述继续播放操作的验证结果为失败，其中，第三数量为连续且大于或等于第五相似度阈值的第五相似度的数量；
根据所述图像特征，计算启录帧与右界帧的第六相似度，其中，所述启录帧为所述初始录制视频的第一个视频帧，所述右界帧为所述界面响应时间对应的视频帧；在所述第六相似度或等于第六相似度阈值的情况下，确定所述继续播放操作的验证结果为失败。
8.根据权利要求1所述的方法，其特征在于，所述目标投屏操作为退出投屏操作；
所述根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果，包括以下任意一种：
根据所述图像特征，计算启录帧与左界帧的第七相似度，其中，所述启录帧为所述初始录制视频的第一个视频帧，所述左界帧为所述触发时间对应的视频帧；在所述第七相似度大于或等于第七相似度阈值的情况下，确定所述退出投屏操作的验证结果为失败；
根据所述图像特征，计算启录帧与右界帧的第八相似度，其中，所述右界帧为所述界面响应时间对应的视频帧；在所述第八相似度小于第八相似度阈值的情况下，确定所述退出投屏操作的验证结果为失败。
9.根据权利要求5-8任意一项所述的方法，其特征在于，所述图像特征为图像指纹；
所述对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征，包括：
对所述目标录制视频中的各视频帧进行哈希计算，确定各视频帧的图像指纹。
10.一种投屏操作验证平台，其特征在于，包括：
获取模块，被配置为获取在投屏发送端上目标投屏操作的触发时间和界面响应时间，以及对投屏接收端进行屏幕录制的初始录制视频；
裁剪模块，被配置为根据所述触发时间和所述界面响应时间，对所述初始录制视频进行视频裁剪，得到目标录制视频；
特征提取模块，被配置为对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征；
确定模块，被配置为根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果。
11.一种投屏操作验证系统，其特征在于，包括：
投屏发送端、投屏接收端和投屏操作验证平台；
所述投屏发送端，用于向所述投屏操作验证平台发送目标投屏操作的触发时间和界面响应时间；
所述投屏接收端，用于向所述投屏操作验证平台发送进行屏幕录制的初始录制视频；
所述投屏操作验证平台，用于根据所述触发时间和所述界面响应时间，对所述初始录制视频进行视频裁剪，得到目标录制视频；对所述目标录制视频中的各视频帧进行特征提取，得到各视频帧的图像特征；根据所述图像特征和针对所述目标投屏操作预先设置的投屏条件，确定所述投屏操作的验证结果。
12.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述计算机指令时实现权利要求1-9任意一项所述方法的步骤。
13.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-9任意一项所述方法的步骤。
CN202211000322.7A 2022-08-19 2022-08-19 投屏操作验证方法、平台及系统 Active CN115396705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211000322.7A CN115396705B (zh) 2022-08-19 2022-08-19 投屏操作验证方法、平台及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211000322.7A CN115396705B (zh) 2022-08-19 2022-08-19 投屏操作验证方法、平台及系统

Publications (2)

Publication Number Publication Date
CN115396705A true CN115396705A (zh) 2022-11-25
CN115396705B CN115396705B (zh) 2024-03-19

Family

ID=84120050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211000322.7A Active CN115396705B (zh) 2022-08-19 2022-08-19 投屏操作验证方法、平台及系统

Country Status (1)

Country Link
CN (1) CN115396705B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116684456A (zh) * 2023-08-03 2023-09-01 云账户技术(天津)有限公司 一种大屏的可视化部署方法、装置、设备及介质
CN117197876A (zh) * 2023-11-07 2023-12-08 深圳凯升联合科技有限公司 一种基于深度学习的人脸识别安防系统及其方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221979A (zh) * 2019-06-04 2019-09-10 广州虎牙信息科技有限公司 应用程序的性能测试方法、装置、设备及存储介质
CN112055198A (zh) * 2020-09-10 2020-12-08 百度在线网络技术（北京）有限公司 一种视频测试方法、装置、电子设备及存储介质
CN113411642A (zh) * 2021-06-16 2021-09-17 北京字节跳动网络技术有限公司 投屏方法、装置、电子设备和存储介质
CN113448862A (zh) * 2021-07-12 2021-09-28 上海哔哩哔哩科技有限公司 软件版本测试方法、装置及计算机设备
US20220046261A1 (en) * 2019-10-08 2022-02-10 Tencent Technology (Shenzhen) Company Limited Encoding method and apparatus for screen sharing, storage medium, and electronic device
WO2022028124A1 (zh) * 2020-08-05 2022-02-10 腾讯科技（深圳）有限公司 投屏状态确定方法、装置、设备及计算机可读存储介质
CN114827712A (zh) * 2021-01-18 2022-07-29 中国移动通信有限公司研究院 一种视频播放检测方法、装置及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221979A (zh) * 2019-06-04 2019-09-10 广州虎牙信息科技有限公司 应用程序的性能测试方法、装置、设备及存储介质
US20220046261A1 (en) * 2019-10-08 2022-02-10 Tencent Technology (Shenzhen) Company Limited Encoding method and apparatus for screen sharing, storage medium, and electronic device
WO2022028124A1 (zh) * 2020-08-05 2022-02-10 腾讯科技（深圳）有限公司 投屏状态确定方法、装置、设备及计算机可读存储介质
CN114296675A (zh) * 2020-08-05 2022-04-08 腾讯科技（深圳）有限公司 投屏状态确定方法、装置、设备及计算机可读存储介质
CN112055198A (zh) * 2020-09-10 2020-12-08 百度在线网络技术（北京）有限公司 一种视频测试方法、装置、电子设备及存储介质
CN114827712A (zh) * 2021-01-18 2022-07-29 中国移动通信有限公司研究院 一种视频播放检测方法、装置及电子设备
CN113411642A (zh) * 2021-06-16 2021-09-17 北京字节跳动网络技术有限公司 投屏方法、装置、电子设备和存储介质
CN113448862A (zh) * 2021-07-12 2021-09-28 上海哔哩哔哩科技有限公司 软件版本测试方法、装置及计算机设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116684456A (zh) * 2023-08-03 2023-09-01 云账户技术(天津)有限公司 一种大屏的可视化部署方法、装置、设备及介质
CN116684456B (zh) * 2023-08-03 2023-10-03 云账户技术(天津)有限公司 一种大屏的可视化部署方法、装置、设备及介质
CN117197876A (zh) * 2023-11-07 2023-12-08 深圳凯升联合科技有限公司 一种基于深度学习的人脸识别安防系统及其方法
CN117197876B (zh) * 2023-11-07 2024-04-09 深圳凯升联合科技有限公司 一种基于深度学习的人脸识别安防系统及其方法

Also Published As

Publication number Publication date
CN115396705B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN110933490B (zh) 一种画质和音质的自动调整方法、智能电视机及存储介质
CN115396705B (zh) 投屏操作验证方法、平台及系统
KR20140045897A (ko) 시각적 이미지 매칭을 기반으로 한 미디어 스트림 식별 장치 및 방법
EP4191513A1 (en) Image processing method and apparatus, device and storage medium
CN111182359A (zh) 视频预览方法、视频抽帧方法、视频处理装置及存储介质
CN109271929B (zh) 检测方法和装置
WO2023056896A1 (zh) 清晰度的确定方法、装置及设备
CN110876079A (zh) 视频处理方法、装置和设备
CN111401238A (zh) 一种视频中人物特写片段的检测方法及装置
CN113573090A (zh) 游戏直播中的内容显示方法、装置、系统和存储介质
CN111583348A (zh) 图像数据编码方法及装置、显示方法及装置、电子设备
US10924637B2 (en) Playback method, playback device and computer-readable storage medium
CN115243073B (zh) 一种视频处理方法、装置、设备及存储介质
CN110209539B (zh) 一种测试方法、终端设备以及测试器
CN110806909A (zh) 一种应用程序页面掉帧信息确定方法、装置及电子设备
CN117014649A (zh) 视频处理方法、装置及电子设备
CN112312207B (zh) 智能电视终端与移动终端流量打通的方法、装置及设备
CN112770080B (zh) 一种抄表方法、抄表装置及电子设备
CN114745537A (zh) 音画延迟测试方法、装置、电子设备和存储介质
CN110958448B (zh) 一种视频质量评价方法、装置、介质及终端
JP6148785B1 (ja) 情報処理システム、情報処理装置及びプログラム
CN112843736A (zh) 拍摄图像的方法、装置、电子设备及存储介质
CN113762156B (zh) 观影数据处理方法、装置及存储介质
CN117475013B (zh) 一种计算机设备和视频数据处理方法
CN114173194B (zh) 页面流畅度的检测方法、装置、服务器和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant