CN112218155A - 一种切换耗时的自动检测方法、装置及电子设备 - Google Patents

一种切换耗时的自动检测方法、装置及电子设备 Download PDF

Info

Publication number
CN112218155A
CN112218155A CN202011017469.8A CN202011017469A CN112218155A CN 112218155 A CN112218155 A CN 112218155A CN 202011017469 A CN202011017469 A CN 202011017469A CN 112218155 A CN112218155 A CN 112218155A
Authority
CN
China
Prior art keywords
frame
frame image
determining
image
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011017469.8A
Other languages
English (en)
Inventor
程旭辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202011017469.8A priority Critical patent/CN112218155A/zh
Publication of CN112218155A publication Critical patent/CN112218155A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供一种切换耗时的自动检测方法、装置及电子设备,涉及计算机技术领域,用于提高确定切换耗时的准确度。该方法包括:接收待检测的视频流,所述待检测的视频流包括前后摄像头切换时的显示屏幕的视频内容;对待检测的视频流进行拆帧处理,获得帧图像序列,其中,帧图像序列包括多个帧图像和多个帧图像对应的帧序列号;对多个帧图像进行图像识别处理,确定起始帧图像和起始帧图像对应的帧序列号;以及,对多个帧图像进行清晰程度识别处理,确定结束帧图像和结束帧图像对应的帧序列号;根据起始帧图像对应的帧序列号和结束帧图像对应的帧序列号,确定待检测的视频流对应的前后摄像头切换的切换耗时。

Description

一种切换耗时的自动检测方法、装置及电子设备
技术领域
本公开涉及计算机技术领域,尤其涉及一种切换耗时的自动检测方法、装置及电子设备。
背景技术
目前,用户使用移动终端(例如手机、平板电脑等)的摄像头进行拍摄时,一般会涉及到摄像功能的转换设置,从而可以获得表达内容更为丰富的视频。
然而,相关技术中针对具有拍摄功能的应用程序,一般重点关注提升视频画面清晰度或者是保持视频拍摄的流畅度等其他拍摄体验上,而对应用程序中前置摄像头和后置摄像头的切换拍摄相关的用户体验很少关注,而作为提升摄像功能切换体验的基础,即计算前置摄像头拍摄转换为后置摄像头拍摄的整个切换过程的耗费时长的方案,相关技术中主要是依据人工使用秒表计时的方式来确定,这样的方式,由于依赖人工秒表计算获取的时长进行计算,导致计算切换耗时的准确率较低。
可见,相关技术中存在计算摄像功能切换耗时准确率较低的技术问题。
发明内容
本公开提供一种切换耗时的自动检测方法、装置及电子设备,以准确确定切换耗时。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种切换耗时的自动检测方法,所述方法包括:
接收待检测的视频流,所述待检测的视频流包括前后摄像头切换时的显示屏幕的视频内容;
对所述待检测的视频流进行拆帧处理,获得帧图像序列,其中,所述帧图像序列包括多个帧图像,且每个帧图像对应一个帧序列号;
对所述多个帧图像进行图像识别处理,确定起始帧图像和所述起始帧图像对应的帧序列号;以及,对所述多个帧图像进行清晰程度识别处理,确定结束帧图像和所述结束帧图像对应的帧序列号;其中,所述起始帧图像用于表征触发前后摄像头切换功能时对应的帧图像,所述结束帧图像用于表征切换后且拍摄状态达到预设状态的第一张帧图像;
根据所述起始帧图像对应的帧序列号和所述结束帧图像对应的帧序列号,确定所述待检测的视频流对应的前后摄像头切换的切换耗时。
在一种可能的实施方式中,对所述待检测的视频流进行拆帧处理,获得帧图像序列,包括:
确定所述待检测的视频流的视频帧率;
以所述视频帧率对所述待检测的视频流进行拆帧处理,获得帧图像序列。
在一种可能的实施方式中,对所述多个帧图像进行图像识别处理,确定起始帧图像和所述起始帧图像对应的帧序列号,包括:
对所述多个帧图像进行图像识别处理,确定所述多个帧图像的预定区域的像素颜色参数值是否属于预定范围,其中,所述预定区域用于表征所述帧图像中与功能键对应的区域,所述功能键为实现前后摄像头切换功能的功能键;
若第一帧图像的预定区域的像素颜色参数值属于预定范围,则确定所述第一帧图像为起始帧图像,并将所述第一帧图像对应的帧序列号确定为起始帧图像对应的帧序列号。
在一种可能的实施方式中,对所述多个帧图像进行清晰程度识别处理,确定结束帧图像和所述结束帧图像对应的帧序列号,包括:
对所述多个帧图像进行清晰程度识别处理,确定所述多个帧图像对应的多个清晰度值;
确定目标清晰度值,并将所述目标清晰度值对应的帧图像确定为所述结束帧图像,且将所述目标清晰度值对应的帧图像的帧序列号确定所述结束帧图像的帧序列号;
其中,所述目标清晰度值用于表征所述多个清晰度值中,与所述前后摄像头切换前所确定帧图像对应的清晰度值相同的清晰度值。
在一种可能的实施方式中,根据所述起始帧图像对应的帧序列号和所述结束帧图像对应的帧序列号,确定所述待检测的视频流对应的前后摄像头切换的切换耗时,包括:
根据所述视频帧率,确定所述帧图像集中每一个帧图像对应的时间间隔;
根据所述起始帧图像对应的帧序列号和所述结束帧图像对应的帧序列号,确定所述起始帧图像和所述结束帧图像之间帧图像的数量;
根据所述数量与所述每一个帧图像对应的时间间隔,确定所述待检测的视频流对应的前后摄像头切换的切换耗时。
根据本公开实施例的第二方面,提供一种切换耗时的自动检测装置,所述装置包括:
处理单元,被配置为执行接收待检测的视频流,所述待检测的视频流包括前后摄像头切换时的显示屏幕的视频内容;
获得单元,被配置为执行对所述待检测的视频流进行拆帧处理,获得帧图像序列,其中,所述帧图像序列包括多个帧图像,且每个帧图像对应一个帧序列号;
第一确定单元,被配置为执行对所述多个帧图像进行图像识别处理,确定起始帧图像和所述起始帧图像对应的帧序列号;以及,对所述多个帧图像进行清晰程度识别处理,确定结束帧图像和所述结束帧图像对应的帧序列号;其中,所述起始帧图像用于表征触发前后摄像头切换功能时对应的帧图像,所述结束帧图像用于表征切换后且拍摄状态达到预设状态的第一张帧图像;
第二确定单元,被配置为执行根据所述起始帧图像对应的帧序列号和所述结束帧图像对应的帧序列号,确定所述待检测的视频流对应的前后摄像头切换的切换耗时。
在一种可能的实施方式中,所述获得单元被配置为执行:
确定所述待检测的视频流的视频帧率;
以所述视频帧率对所述待检测的视频流进行拆帧处理,获得帧图像序列。
在一种可能的实施方式中,所述第一确定单元被配置为执行:
对所述多个帧图像进行图像识别处理,确定所述多个帧图像的预定区域的像素颜色参数值是否属于预定范围,其中,所述预定区域用于表征所述帧图像中与功能键对应的区域,所述功能键为实现前后摄像头切换功能的功能键;
若第一帧图像的预定区域的像素颜色参数值属于预定范围,则确定所述第一帧图像为起始帧图像,并将所述第一帧图像对应的帧序列号确定为起始帧图像对应的帧序列号。
在一种可能的实施方式中,所述第一确定单元被配置为执行:
对所述多个帧图像进行清晰程度识别处理,确定所述多个帧图像对应的多个清晰度值;
确定目标清晰度值,并将所述目标清晰度值对应的帧图像确定为所述结束帧图像,且将所述目标清晰度值对应的帧图像的帧序列号确定所述结束帧图像的帧序列号;
其中,所述目标清晰度值用于表征所述多个清晰度值中,与所述前后摄像头切换前所确定帧图像对应的清晰度值相同的清晰度值。
在一种可能的实施方式中,所述第二确定单元被配置为执行:
根据所述视频帧率,确定所述帧图像集中每一个帧图像对应的时间间隔;
根据所述起始帧图像对应的帧序列号和所述结束帧图像对应的帧序列号,确定所述起始帧图像和所述结束帧图像之间帧图像的数量;
根据所述数量与所述每一个帧图像对应的时间间隔,确定所述待检测的视频流对应的前后摄像头切换的切换耗时。
根据本公开实施例的第三方面,提供一种电子设备,所述电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,处理器被配置为执行指令,以实现本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。
根据本公开实施例的第四方面,提供一种存储介质,当存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行实现本公开实施例上述第一方面以及第一方面任一可能涉及的方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
在本公开实施例中,可以接收待检测的视频流,其中,待检测的视频流包括前后摄像头切换时的显示屏幕的视频内容,然后可以对待检测的视频流进行拆帧处理,获得帧图像序列,其中,帧图像序列包括多个帧图像,且每个帧图像对应一个帧序列号。
进一步地,可以对多个帧图像进行图像识别处理,确定起始帧图像和起始帧图像对应的帧序列号;以及,对多个帧图像进行清晰程度识别处理,确定结束帧图像和结束帧图像对应的帧序列号;其中,起始帧图像用于表征触发前后摄像头切换功能时对应的帧图像,结束帧图像用于表征切换后且拍摄状态达到预设状态的第一张帧图像,然后根据起始帧图像对应的帧序列号和结束帧图像对应的帧序列号,确定待检测的视频流对应的前后摄像头切换的切换耗时。
可见,在本发明实施例中,通过对终端前后摄像头切换时屏幕所显示的内容进行录制或从终端的数据库中获取前后摄像头切换时屏幕所显示的内容,则可以获得对应的视频流,然后对视频流进行拆帧处理,获得多个帧图像。进一步地,从多个帧图像中确定起始帧图像和结束帧图像,然后确定起始帧图像和结束帧图像之间的帧图像数量,从而确定切换耗时。这样的方式,由于采用对包括前后摄像头切换时屏幕所显示的内容的视频流进行自动检测的方式来替代人工的数据分析和统计,尽量消除由于分析人员的分析能力限制和主观性而导致的误判和统计不全面而导致的影响,从而可以在一定程度上提高检测的准确性,提高切换耗时的有效性和检测效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种应用场景的示意图;
图2是根据一示例性实施例示出的一种切换耗时的自动检测方法的流程示意图;
图3是根据一示例性实施例示出的一种切换耗时的自动检测装置的结构框图;
图4为根据一示例性实施例示出的电子设备的结构示意图;
图5为根据一示例性实施例示出的电子设备的另一结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
下面对本公开实施例的设计思想进行简要介绍:
目前,相关技术中对摄像功能切换耗时测试是使用秒表进行计时,并多次记录然后取均值,具体操作步骤如下:(以前置摄像头切换到后置摄像头拍摄为例):
a、对应用程序进行操作以进入到拍摄页面,待前置画面清晰且稳定为止;
b、一手操作摄像头切换按钮,一手操作秒表计时器,尽量使得点击摄像头切换按钮和按下计时器开始按钮的动作处于同一时间;
c、待后置画面变清晰时按下计时器结束按钮;
d、上述操作进行多次,去掉最大值和最小值取平均值。
可见,虽然上述方法操作简单,但是会存在严重的测试误差,首先是测试人员无法保证在开始对于点击摄像头切换按钮和按下秒表的操作是同时触发的,其次是无法精确的在切换后画面清晰的那一刻按下秒表结束按钮,这样的方式,导致无法精准确定切换耗时,即相关技术中确定切换耗时的准确度较低。
鉴于此,本公开实施例提供一种切换耗时的自动检测方法,通过该方法可以对接收的包括切换前后的内容的视频流进行处理,从而根据视频流的处理结果自动确定切换前后的时刻,进而准确的检测切换耗时。
介绍完本公开实施例的设计思想之后,下面对本公开实施例中的切换耗时的自动检测技术方案适用的应用场景做一些简单介绍,需要说明的是,本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案,并不构成对于本公开实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本公开实施例提供的技术方案对于类似的技术问题,同样适用。
在本公开实施例中,该技术方案可以应用于切换耗时检测的任一场景,例如前置摄像头切换后置摄像头的切换场景或者是进入摄像功能场景等,本公开实施例中不做限定,为了便于更好的理解方案,本公开后文中以对前置摄像头切换后置摄像头的切换场景为例进行说明。
在具体的实施过程中,请参见图1所示的一种应用场景示意图,应用场景图中包括1个终端101和一个电子设备102,可以通过终端101登录应用程序例如短视频应用程序。其中,终端101具备切换前置摄像头和后置摄像头的功能以及录制终端自身显示屏幕的功能。此外,为了便于描述,后文中将前置摄像头和后置摄像头对应的切换功能描述为前后摄像头切换。
需要说明的是,图1中仅以1个终端101和一个电子设备102进行交互为例进行示出,在具体实施过程中,可以是多个终端101与一个电子设备102之间进行交互,即一个电子设备102可以对多个终端101对应的切换场景的视频流进行处理,也可以是多个终端101和多个电子设备102之间进行交互。此外,还可以是其它设备(例如高速相机)与电子设备102进行交互,其中,其它设备可以录制终端对应切换场景的视频。
在具体的实施过程中,终端101和电子设备102之间可以通过一个或者多个通信网络103进行通信连接。该通信网络103可以是有线网络,也可以是无线网络,例如无线网络可以是移动蜂窝网络,或者可以是无线保真(WIreless-Fidelity,WIFI)网络,当然还可以是其他可能的网络,本公开实施例对此不做限定。
在本公开实施例中,用户可以通过终端101进行前后摄像头切换操作,或者是启动测试程序进行前后摄像头切换操作,并对前后摄像头切换时终端的显示屏幕内容进行视频录制,然后终端101可以将录制的视频发送给电子设备102,并触发检测指令,从而电子设备102可以接收到检测指令,并且根据检测指令实施切换耗时的自动化检测方法,即电子设备102可以对该视频流进行相关处理,进而可以获得录制的视频中的切换过程所对应的切换耗时。
下面结合说明书附图介绍本公开实施例提供的技术方案。
图2是本公开实施例提供的一示例性切换耗时的自动检测方法的流程图,如图2所示,该方法可以应用于前述的电子设备。图2所示的流程图描述如下。
步骤201:接收待检测的视频流,待检测的视频流包括前后摄像头切换时的显示屏幕的视频内容。
在本公开实施例中,当确定对终端的前后摄像头切换耗时进行检测时,可以采用但不限于以下两种方式进行切换过程的视频流的获取,具体为:
方式一:可以先启动终端的录制屏幕功能,然后再触发对前置摄像头转换为后置摄像头的切换功能。
在具体的实施过程中,可以先启动终端自带的录制屏幕的功能,再触发对前后摄像头的转换功能,从而可以录制从当前正在使用的第一功能(例如前置摄像头拍摄功能)到转换到第二功能(例如后置摄像头拍摄功能)后预定时间的终端显示屏幕的内容。具体的,该预定时间可以是根据经验确定的,预定时间例如是5秒、或者是3秒等,本公开实施例中不做限制。
采用前述的方式,可以较为准确且快速的实现对实现切换功能的整个过程的录制,且使用终端自带的录制功能,可以减少测试操作以及其它设备的消耗,增强了可操作性。
方式二:可以使用高速相机在准备启动切换功能前启动对终端的显示屏幕进行拍摄,并在确定完成切换后的预定时间内结束拍摄。
在本公开实施例中,当确定对终端的前后摄像头切换耗时进行检测时,可以将高速相机设置在终端的显示屏幕正对着的地方,或者是可以确保完整拍摄终端的显示屏幕的地方,并在启动对终端的前后摄像头切换功能之前,启动高速相机的拍摄功能,然后触发终端的前后摄像头切换功能,从而高速相机可以获得前后摄像头切换时的显示屏幕的视频内容。
具体的,使用高速相机拍摄的方式,可以捕捉到更细小的画面参数值,即使用高速相机拍摄获得的视频流,细节信息更为准确和丰富。
在本公开实施例中,可以采用多种方式采集待检测的视频流,且当采集视频流之后,可以将该视频流发送给电子设备,从而电子设备可以接收待检测的视频流。
步骤202:对待检测的视频流进行拆帧处理,获得帧图像序列,其中,帧图像序列包括多个帧图像和多个帧图像对应的帧序列号。
在本公开实施例中,可以确定待检测的视频流的视频帧率,然后以该视频帧率对待检测的视频流进行拆帧处理,获得帧图像序列。
在具体的实施过程中,可以基于FFmpeg开源计算机程序确定待检测的视频流的视频帧率,然后确定的适配帧率对对待检测的视频流进行拆帧处理,获得帧图像序列。具体的,帧图像序列中包括多个帧图像,且每个帧图像对应一个着呢顺序。
例如,对待检测的视频流进行拆帧处理,获得5个帧图像,且5个帧图像分别为帧图像A且对应的帧序列号为1、帧图像B且对应的帧序列号为2、帧图像C且对应的帧序列号为3、帧图像D且对应的帧序列号为4以及帧图像E且对应的帧序列号为5。
在本公开实施例中,采用确定待检测的视频流的视频帧率对待检测的视频流进行拆帧处理,可以实现对视频流中每个帧图像的时间间隔的确定以及每个帧图像顺序确定。
步骤203:对多个帧图像进行图像识别处理,确定起始帧图像和起始帧图像对应的帧序列号,其中,起始帧图像用于表征触发前后摄像头切换功能时对应的帧图像。
在具体的实施过程中,当实现前后摄像头切换功能时,需要触发点击实现前后摄像头切换功能的功能键,而在触发功能键之后,在前后摄像头切换时功能键的对应的区域颜色会发生参数值,例如功能键按钮变为灰色,当确定功能键按钮变为灰色时,则确定已实现切换功能。基于此,本公开实施例可以将包括功能键按钮颜色发生参数值的帧图像确定为起始帧图像。
在本公开实施例中,可以对多个帧图像进行图像识别处理,确定多个帧图像的预定区域的像素颜色参数值是否属于预定范围,其中,预定区域用于表征帧图像中与功能键对应的区域,功能键为实现前后摄像头切换功能的功能键。且若第一帧图像的预定区域的像素颜色参数值属于预定范围,则确定第一帧图像为起始帧图像,并将第一帧图像对应的帧序列号确定为起始帧图像对应的帧序列号。
可见,在本公开实施例中,可以对帧图像中预定区域的像素颜色进行检测,从而根据预定区域的像素颜色参数值属于预定范围,确定起始帧图像。
步骤204:对多个帧图像进行清晰程度识别处理,确定结束帧图像和结束帧图像对应的帧序列号,其中,结束帧图像用于表征切换后且拍摄状态达到预设状态的第一张帧图像。
在本公开实施例中,可以对多个帧图像进行清晰程度识别处理,确定多个帧图像对应的多个清晰度值,然后可以确定目标清晰度值,并将目标清晰度值对应的帧图像确定为结束帧图像,且将目标清晰度值对应的帧图像的帧序列号确定结束帧图像的帧序列号;其中,目标清晰度值用于表征多个清晰度值中,与前后摄像头切换前所确定帧图像对应的清晰度值相同的清晰度值。
在本公开实施例中,可以是基于方差算法、信息熵算法或者是模糊熵算法等算法对多个帧图像进行清晰程度识别处理,确定多个帧图像对应的多个清晰度值。具体的,采用不同的算法,对应确定的实际清晰度值也不相同。
在本公开实施例中,视频流中至少包括前后摄像头切换时的显示屏幕的视频内容,可见,视频流中包括的视频内容是第一功能(例如前置摄像头拍摄功能)对应拍摄的视频、第一功能转换为第二功能(例如后置摄像头拍摄功能)的功能以及第二功能对应拍摄的视频,在第一功能对应的拍摄视频的整体清晰程度是相同的,且第二功能对应拍摄的视频的整体清晰程度也是相同的,而在第一功能转换为第二功能的过程中拍摄的视频的清晰程度,是从不清晰到整体清晰程度相同的过程,而本公开实施例中是将多个帧图像中再次清晰程度一致的图片,取顺序排在第一顺位的帧图像作为结束帧图像。具体的,可以理解为从前后摄像头切换后所确定的多个帧图像对应的多个清晰度值中,确定与前后摄像头切换前所确定的帧图像对应的清晰度值相同的值确定为目标清晰度值,且将目标清晰度值对应的帧图像确定为结束帧图像。
步骤205:根据起始帧图像对应的帧序列号和结束帧图像对应的帧序列号,确定待检测的视频流对应的前后摄像头切换的切换耗时。
在本公开实施例中,可以根据视频帧率,确定帧图像集中每一个帧图像对应的时间间隔;然后根据起始帧图像对应的帧序列号和结束帧图像对应的帧序列号,确定起始帧图像和结束帧图像之间帧图像的数量;再根据数量与每一个帧图像对应的时间间隔,确定待检测的视频流对应的摄像头的切换耗时。
在本公开实施例中,当确定视频帧率之后,可以确定帧图像集中每一个帧图像对应的时间间隔,例如,用Fps_time表征每一个帧图像的时间间隔,则对于一个以视频帧率为30fps进行拆帧处理的视频,Fps_time=1s/30~=33.33ms。当确定每一个帧图像对应的时间间隔之后,可以确定起始帧图像和结束帧图像之间的帧图像数量,然后根据数量与每一个帧图像对应的时间间隔,确定待检测的视频流对应的摄像头的切换耗时。
例如,若Start_fps表征起始帧图像的帧序列号,且End_fps表征结束帧的帧序列号,Fps_time表征每一个帧图像的时间间隔,则可以根据(End_fps-Start_fps)*Fps_time确定出待检测的视频流对应的摄像头的切换耗时。
在本公开实施例中,当确定出待检测的视频流对应的摄像头的切换耗时之后,可以根据该切换耗时对摄像头的切换功能进行优化,还可以采用本公开实施例提供的切换耗时的自动检测方法对使用不同的应用程序或者同一应用程序新旧版本进行前后摄像头切换的切换耗时的检测,从而对对应产品进行优化或对比。
基于同一发明构思,本公开实施例提供了一种切换耗时的自动检测装置,该切换耗时的自动检测装置能够实现前述的切换耗时的自动检测方法对应的功能。该切换耗时的自动检测装置可以是硬件结构、软件模块、或硬件结构加软件模块。该切换耗时的自动检测装置可以由芯片系统实现,芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。请参见图3所示,该切换耗时的自动检测装置包括处理单元301、获得单元302、第一确定单元303以及第二确定单元304。其中:
处理单元301,被配置为执行接收待检测的视频流,所述待检测的视频流包括前后摄像头切换时的显示屏幕的视频内容;
获得单元302,被配置为执行对所述待检测的视频流进行拆帧处理,获得帧图像序列,其中,所述帧图像序列包括多个帧图像,且每个帧图像对应一个帧序列号;
第一确定单元303,被配置为执行对所述多个帧图像进行图像识别处理,确定起始帧图像和所述起始帧图像对应的帧序列号;以及,对所述多个帧图像进行清晰程度识别处理,确定结束帧图像和所述结束帧图像对应的帧序列号;其中,所述起始帧图像用于表征触发前后摄像头切换功能时对应的帧图像,所述结束帧图像用于表征切换后且拍摄状态达到预设状态的第一张帧图像;
第二确定单元304,被配置为执行根据所述起始帧图像对应的帧序列号和所述结束帧图像对应的帧序列号,确定所述待检测的视频流对应的前后摄像头切换的切换耗时。
在一种可能的实施方式中,所述获得单元302被配置为执行:
确定所述待检测的视频流的视频帧率;
以所述视频帧率对所述待检测的视频流进行拆帧处理,获得帧图像序列。
在一种可能的实施方式中,所述第一确定单元303被配置为执行:
对所述多个帧图像进行图像识别处理,确定所述多个帧图像的预定区域的像素颜色参数值是否属于预定范围,其中,所述预定区域用于表征所述帧图像中与功能键对应的区域,所述功能键为实现前后摄像头切换功能的功能键;
若第一帧图像的预定区域的像素颜色参数值属于预定范围,则确定所述第一帧图像为起始帧图像,并将所述第一帧图像对应的帧序列号确定为起始帧图像对应的帧序列号。
在一种可能的实施方式中,所述第一确定单元303被配置为执行:
对所述多个帧图像进行清晰程度识别处理,确定所述多个帧图像对应的多个清晰度值;
确定目标清晰度值,并将所述目标清晰度值对应的帧图像确定为所述结束帧图像,且将所述目标清晰度值对应的帧图像的帧序列号确定所述结束帧图像的帧序列号;
其中,所述目标清晰度值用于表征所述多个清晰度值中,与所述前后摄像头切换前所确定帧图像对应的清晰度值相同的清晰度值。
在一种可能的实施方式中,所述第二确定单元304被配置为执行:
根据所述视频帧率,确定所述帧图像集中每一个帧图像对应的时间间隔;
根据所述起始帧图像对应的帧序列号和所述结束帧图像对应的帧序列号,确定所述起始帧图像和所述结束帧图像之间帧图像的数量;
根据所述数量与所述每一个帧图像对应的时间间隔,确定所述待检测的视频流对应的前后摄像头切换的切换耗时。
前述如图2的切换耗时的自动检测方法的实施例涉及的各步骤的所有相关内容均可以援引到本公开实施例中的切换耗时的自动检测装置所对应的功能单元的功能描述,在此不再赘述。
本公开实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,另外,在本公开各个实施例中的各功能单元可以集成在一个处理器中,也可以是单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
基于同一发明构思,本公开实施例还提供一种电子设备,如图4所示,本公开实施例中的电子设备包括至少一个处理器401,以及与至少一个处理器401连接的存储器402和通信接口403,本公开实施例中不限定处理器401与存储器402之间的具体连接介质,图4中是以处理器401和存储器402之间通过总线400连接为例,总线400在图4中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线400可以分为地址总线、数据总线、控制总线等,为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
在本公开实施例中,存储器402存储有可被至少一个处理器401执行的指令,至少一个处理器401通过执行存储器402存储的指令,可以执行前述的切换耗时的自动检测方法中所包括的步骤。
其中,处理器401是电子设备的控制中心,可以利用各种接口和线路连接整个故障检测设备的各个部分,通过运行或执行存储在存储器402内的指令以及调用存储在存储器402内的数据,计算设备的各种功能和处理数据,从而对计算设备进行整体监控。可选的,处理器401可包括一个或多个处理单元,处理器401可集成应用处理器和调制解调处理器,其中,处理器401主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。在一些实施例中,处理器401和存储器402可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器401可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本公开实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器402作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器402可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器402是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本公开实施例中的存储器402还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
通信接口403是能够用于进行通信的传输接口,可以通过通信接口403接收数据或者发送数据。
参见图5所示的电子设备的进一步地的结构示意图,该电子设备还包括帮助电子设备内的各个器件之间传输信息的基本输入/输出系统(I/O系统)501、用于存储操作系统502、应用程序503和其他程序模块504的大容量存储设备505。
基本输入/输出系统501包括有用于显示信息的显示器506和用于用户输入信息的诸如鼠标、键盘之类的输入设备507。其中显示器506和输入设备507都通过连接到系统总线400的基本输入/输出系统501连接到处理器401。基本输入/输出系统501还可以包括输入输出控制器以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备505通过连接到系统总线400的大容量存储控制器(未示出)连接到处理器401。大容量存储设备505及其相关联的计算机可读介质为该服务器包提供非易失性存储。也就是说,大容量存储设备505可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
根据本公开的各种实施例,该计算设备包还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即该计算设备可以通过连接在系统总线400上的通信接口403连接到网络508,或者说,也可以使用通信接口403来连接到其他类型的网络或远程计算机系统(未示出)。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器402,上述指令可由装置的处理器401执行以完成上述方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在一些可能的实施方式中,本公开提供的切换耗时的自动检测方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在电子设备上运行时,程序代码用于使该电子设备执行本说明书上述描述的根据本公开各种示例性实施方式的切换耗时的自动检测方法中的步骤。
本领域内的技术人员应明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样,倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内,则本公开也意图包含这些改动和变型在内。

Claims (10)

1.一种切换耗时的自动化检测方法,其特征在于,所述方法包括:
接收待检测的视频流,所述待检测的视频流包括前后摄像头切换时的显示屏幕的视频内容;
对所述待检测的视频流进行拆帧处理,获得帧图像序列,其中,所述帧图像序列包括多个帧图像,且每个帧图像对应一个帧序列号;
对所述多个帧图像进行图像识别处理,确定起始帧图像和所述起始帧图像对应的帧序列号;
对所述多个帧图像进行清晰程度识别处理,确定结束帧图像和所述结束帧图像对应的帧序列号;其中,所述起始帧图像用于表征触发前后摄像头切换功能时对应的帧图像,所述结束帧图像用于表征切换后且拍摄状态达到预设状态的第一张帧图像;
根据所述起始帧图像对应的帧序列号和所述结束帧图像对应的帧序列号,确定所述待检测的视频流对应的前后摄像头切换的切换耗时。
2.如权利要求1所述的方法,其特征在于,对所述待检测的视频流进行拆帧处理,获得帧图像序列,包括:
确定所述待检测的视频流的视频帧率;
以所述视频帧率对所述待检测的视频流进行拆帧处理,获得帧图像序列。
3.如权利要求2所述的方法,其特征在于,对所述多个帧图像进行图像识别处理,确定起始帧图像和所述起始帧图像对应的帧序列号,包括:
对所述多个帧图像进行图像识别处理,确定所述多个帧图像的预定区域的像素颜色参数值是否属于预定范围,其中,所述预定区域用于表征所述帧图像中与功能键对应的区域,所述功能键为实现前后摄像头切换功能的功能键;
若第一帧图像的预定区域的像素颜色参数值属于预定范围,则确定所述第一帧图像为起始帧图像,并将所述第一帧图像对应的帧序列号确定为起始帧图像对应的帧序列号。
4.如权利要求2所述的方法,其特征在于,对所述多个帧图像进行清晰程度识别处理,确定结束帧图像和所述结束帧图像对应的帧序列号,包括:
对所述多个帧图像进行清晰程度识别处理,确定所述多个帧图像对应的多个清晰度值;
确定目标清晰度值,并将所述目标清晰度值对应的帧图像确定为所述结束帧图像,且将所述目标清晰度值对应的帧图像的帧序列号确定所述结束帧图像的帧序列号;
其中,所述目标清晰度值用于表征所述多个清晰度值中,与所述前后摄像头切换前所确定帧图像对应的清晰度值相同的清晰度值。
5.如权利要求3或4所述的方法,其特征在于,根据所述起始帧图像对应的帧序列号和所述结束帧图像对应的帧序列号,确定所述待检测的视频流对应的前后摄像头切换的切换耗时,包括:
根据所述视频帧率,确定所述帧图像集中每一个帧图像对应的时间间隔;
根据所述起始帧图像对应的帧序列号和所述结束帧图像对应的帧序列号,确定所述起始帧图像和所述结束帧图像之间帧图像的数量;
根据所述数量与所述每一个帧图像对应的时间间隔,确定所述待检测的视频流对应的前后摄像头切换的切换耗时。
6.一种切换耗时的自动检测装置,其特征在于,所述装置包括:
处理单元,被配置为执行接收待检测的视频流,所述待检测的视频流包括前后摄像头切换时的显示屏幕的视频内容;
获得单元,被配置为执行对所述待检测的视频流进行拆帧处理,获得帧图像序列,其中,所述帧图像序列包括多个帧图像,且每个帧图像对应一个帧序列号;
第一确定单元,被配置为执行对所述多个帧图像进行图像识别处理,确定起始帧图像和所述起始帧图像对应的帧序列号;以及,对所述多个帧图像进行清晰程度识别处理,确定结束帧图像和所述结束帧图像对应的帧序列号;其中,所述起始帧图像用于表征触发前后摄像头切换功能时对应的帧图像,所述结束帧图像用于表征切换后且拍摄状态达到预设状态的第一张帧图像;
第二确定单元,被配置为执行根据所述起始帧图像对应的帧序列号和所述结束帧图像对应的帧序列号,确定所述待检测的视频流对应的前后摄像头切换的切换耗时。
7.如权利要求6所述的装置,其特征在于,所述获得单元被配置为执行:
确定所述待检测的视频流的视频帧率;
以所述视频帧率对所述待检测的视频流进行拆帧处理,获得帧图像序列。
8.如权利要求7所述的装置,其特征在于,所述第一确定单元被配置为执行:
对所述多个帧图像进行图像识别处理,确定所述多个帧图像的预定区域的像素颜色参数值是否属于预定范围,其中,所述预定区域用于表征所述帧图像中与功能键对应的区域,所述功能键为实现前后摄像头切换功能的功能键;
若第一帧图像的预定区域的像素颜色参数值属于预定范围,则确定所述第一帧图像为起始帧图像,并将所述第一帧图像对应的帧序列号确定为起始帧图像对应的帧序列号。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至权利要求5中任一项所述的切换耗时的自动检测方法。
10.一种存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至权利要求5中任一项所述的切换耗时的自动检测方法。
CN202011017469.8A 2020-09-24 2020-09-24 一种切换耗时的自动检测方法、装置及电子设备 Pending CN112218155A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011017469.8A CN112218155A (zh) 2020-09-24 2020-09-24 一种切换耗时的自动检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011017469.8A CN112218155A (zh) 2020-09-24 2020-09-24 一种切换耗时的自动检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN112218155A true CN112218155A (zh) 2021-01-12

Family

ID=74051843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011017469.8A Pending CN112218155A (zh) 2020-09-24 2020-09-24 一种切换耗时的自动检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112218155A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866669A (zh) * 2021-01-15 2021-05-28 聚好看科技股份有限公司 待分析视频录制方法、数据切换时间确定方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170223359A1 (en) * 2016-01-29 2017-08-03 Markany Inc. Apparatus and method for detecting scene cut frame
CN108900776A (zh) * 2018-08-22 2018-11-27 北京百度网讯科技有限公司 用于确定响应时间的方法和装置
CN108984395A (zh) * 2018-06-21 2018-12-11 腾讯科技(北京)有限公司 一种应用程序启动耗时测试方法、装置和存储介质
CN110221979A (zh) * 2019-06-04 2019-09-10 广州虎牙信息科技有限公司 应用程序的性能测试方法、装置、设备及存储介质
CN111614990A (zh) * 2020-05-08 2020-09-01 北京达佳互联信息技术有限公司 加载时长的获取方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170223359A1 (en) * 2016-01-29 2017-08-03 Markany Inc. Apparatus and method for detecting scene cut frame
CN108984395A (zh) * 2018-06-21 2018-12-11 腾讯科技(北京)有限公司 一种应用程序启动耗时测试方法、装置和存储介质
CN108900776A (zh) * 2018-08-22 2018-11-27 北京百度网讯科技有限公司 用于确定响应时间的方法和装置
CN110221979A (zh) * 2019-06-04 2019-09-10 广州虎牙信息科技有限公司 应用程序的性能测试方法、装置、设备及存储介质
CN111614990A (zh) * 2020-05-08 2020-09-01 北京达佳互联信息技术有限公司 加载时长的获取方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴舰: "基于帧计算的精确App响应时间计算", 《HTTPS://WWW.SOHU.COM/A/168180235_744135》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866669A (zh) * 2021-01-15 2021-05-28 聚好看科技股份有限公司 待分析视频录制方法、数据切换时间确定方法及设备
CN112866669B (zh) * 2021-01-15 2023-09-15 聚好看科技股份有限公司 一种数据切换时间确定方法及设备

Similar Documents

Publication Publication Date Title
CN105979092B (zh) 一种异常监控方法及装置
US20240112470A1 (en) Methods and systems for detection of anomalous motion in a video stream and for creating a video summary
US9817484B2 (en) Method for capturing screen content of mobile terminal and device thereof
CN106919377B (zh) 确定应用程序的展示界面是否是白屏的方法及装置
CN105933577A (zh) 摄像机装置及操作方法
CN110049310B (zh) 视频图像获取、视频质量检测方法和装置
CN111666915A (zh) 监控方法、装置、设备以及存储介质
CN111447239A (zh) 视频流播放控制方法、设备及存储介质
CN112218155A (zh) 一种切换耗时的自动检测方法、装置及电子设备
CN107577973B (zh) 一种图像显示方法、图像识别方法及设备
CN112055237B (zh) 确定屏到屏延时的方法、系统、装置、设备和存储介质
CN112367465B (zh) 图像输出方法、装置及电子设备
CN112367486B (zh) 视频处理方法及装置
CN112162888A (zh) 显示器黑屏的原因的确定方法、装置和计算机存储介质
CN111797339A (zh) 页面渲染监控方法和装置
CN112887605B (zh) 图像防抖方法、装置及电子设备
CN111427642B (zh) 数据处理方法、装置、终端设备及计算机可读存储介质
CN114915851A (zh) 一种视频录制及播放方法、设备
CN114466140A (zh) 图像拍摄方法及装置
CN108572897B (zh) 人证一体机测试方法、装置及人证一体机
CN109062403B (zh) 一种pda设备
CN113421241A (zh) 异常事件上报方法、装置、计算机设备及存储介质
CN112363940A (zh) 一种数据处理方法、装置、存储介质及服务器
CN112988475B (zh) 容灾测试方法、装置、测试服务器及介质
CN116579964B (zh) 一种动帧渐入渐出动态融合方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210112