CN115220632A

CN115220632A - 点读设备的反应速度确定方法、装置、设备及介质

Info

Publication number: CN115220632A
Application number: CN202110406305.2A
Authority: CN
Inventors: 张�杰
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2021-04-15
Filing date: 2021-04-15
Publication date: 2022-10-21

Abstract

本申请公开了一种点读设备的反应速度确定方法、装置、设备及介质，属于点读技术领域。所述方法包括：获取第一视频，第一视频是对点读设备对点读操作进行响应的过程录制得到的；基于相邻视频帧之间的相似度从第一视频中，提取得到第一视频的第一触发帧和响应帧，其中，第一触发帧是点读设备识别到点读操作时的视频帧，响应帧是点读设备开始对点读操作进行响应时的视频帧；基于第一触发帧和响应帧，确定点读设备的反应速度。上述方法采用了图像处理技术，使得在确定点读设备的反应速度的过程中无需人工参与，不仅节约了人力投入，而且大大提高了确定点读设备的反应速度的效率，且最终确定得到的点读设备的反应速度剔除了人为引进的误差。

Description

点读设备的反应速度确定方法、装置、设备及介质

技术领域

本申请涉及点读技术领域，特别涉及一种点读设备的反应速度确定方法、装置、设备及介质。

背景技术

为实现点读功能，点读设备通过携带的摄像头对用户指定目标词语的过程进行拍摄，在点读设备的屏幕上显示与目标词语匹配的反应界面。

相关技术中，采用人工方式对上述点读设备的反应速度进行评测，首先，测试人员模拟用户与点读设备的交互过程，并对该交互过程进行录像，然后，测试人员对该录像进行分析，最后由测试人员根据经验判断点读设备的反应速度。

采用相关技术确定点读设备的反应速度需要人工多次评测，不仅耗时严重且耗费大量人力，同时，不同测试人员得到的评测结果差异较大，容易引入随机误差。

发明内容

本申请提供了一种点读设备的反应速度确定方法、装置、设备及介质，能够提高确定点读设备的反应速度的效率。所述技术方案如下：

根据本申请的一个方面，提供了一种点读设备的反应速度确定方法，所述方法包括：

获取第一视频，第一视频是对点读设备对点读操作进行响应的过程录制得到的；

基于相邻视频帧之间的相似度从第一视频中，提取得到第一视频的第一触发帧和响应帧，其中，第一触发帧是点读设备识别到点读操作时的视频帧，响应帧是点读设备开始对点读操作进行响应时的视频帧；

基于所述第一触发帧和所述响应帧，确定所述点读设备的反应速度。

根据本申请的一个方面，提供了一种点读设备的反应速度确定装置，所述装置包括：

获取模块，用于获取第一视频，第一视频携带有点读设备的反应速度的信息；

处理模块，用于通过对第一视频进行图像处理，提取得到第一视频的第一触发帧和响应帧，其中，第一触发帧是点读设备接收到点读操作时的视频帧，响应帧是点读设备开始对点读操作进行响应的视频帧；

确定模块，用于基于第一触发帧和响应帧，确定点读设备的反应速度。

根据本申请的一个方面，提供了一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上所述的点读设备的反应速度确定方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上所述的点读设备的反应速度确定方法。

根据本申请的另一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述点读设备的反应速度确定方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

通过对记录有用户与点读设备的交互过程的第一视频进行图像处理，终端得到点读设备接收到点读操作时的视频帧和点读设备开始对点读操作进行响应的视频帧，基于上述两个视频帧，终端确定点读设备的反应速度。上述点读设备的反应速度确定方法采用了图像处理技术，使得在确定点读设备的反应速度的过程中无需人工参与，在获取数据和分析结果上实现了全自动化，不仅节约了人力投入，而且大大提高了确定点读设备的反应速度的效率，且最终确定得到的点读设备的反应速度剔除了人为引进的误差。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一示例性实施例提供的点读设备的反应速度确定系统的示意图；

图2示出了本申请一个示例性实施例的点读设备的人机交互过程的示意图；

图3是本申请一个示例性实施例提供的点读设备的反应速度确定方法的流程图；

图4是本申请一个示例性实施例提供的一个第一视频帧的示意图；

图5是本申请一个示例性实施例提供的一个第二视频帧的示意图；

图6是本申请另一个示例性实施例提供的一个第二视频帧的示意图；

图7是本申请另一个示例性实施例提供的一个第二视频帧的示意图；

图8示出了本申请一个示例性实施例提供的获取第二视频的流程图；

图9示出了本申请一个示例性实施例提供的录制第一视频的流程图；

图10是本申请另一个示例性实施例提供的点读设备的反应速度确定方法的流程图；

图11是本申请一个示例性实施例提供的获取第一视频的第一触发帧的方法的流程图；

图12是本申请一个示例性实施例提供的获取第一视频的响应帧的方法的流程图；

图13是本申请一个示例性实施例提供的点读设备的反应速度确定装置的结构框图；

图14示出了本申请一个示例性实施例提供的电子设备的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

首先，对本申请实施例中涉及的名词进行简单介绍：

第一视频：指用于确定点读设备反应速度的视频。其中，第一视频是对点读设备对点读操作进行响应的过程录制得到的，第一视频上携带有点读设备的反应速度的信息。在一个实施例中，第一视频帧包括点读操作区域和点读响应区域。在一个实施例中，第一视频帧包括点读操作区域，可选的，点读操作区域包括点读操作子区域和类型标定区域，类型标定区域是预先采用人工标定的视觉特征来表示当前视频帧的视频帧类型的区域。在一个实施例中，第一视频帧包括点读响应区域，点读响应区域是用于对点读操作进行响应的区域，点读响应区域显示出点读设备的屏幕上显示与目标词语匹配的响应界面。

第二视频：其显示了用户指定目标词语的过程。在一个实施例中，第二视频是对点读设备的人机交互过程进行录制得到的视频，且第二视频上预先标定有类型标定区域；在一个实施例中，第二视频帧包括类型标定区域，类型标定区域用于标记第二视频帧。

第一触发帧：点读设备识别到点读操作时的视频帧，即用户点读目标词语的第一视频帧。

第二触发帧：即用户点读目标词语的第二视频帧。

响应帧：是点读设备开始对点读操作进行响应时的视频帧，即当点读设备的屏幕上显示与目标词语匹配的响应界面时的第一视频帧。在一个实施例中，当用户点读目标词语时，在点读设备的屏幕上显示与目标词语匹配的响应界面。

类型标定区域：是预先采用人工标定的视觉特征来表示当前视频帧的视频帧类型的区域，其中，视频帧类型包括：点读操作的在前帧、点读操作的触发帧、点读操作的在后帧中的至少一种。值得注意的是，本申请第一视频帧和第二视频帧均存在类型标定区域，其原因是第一视频是对第二视频、以及点读设备对第二视频中播放的点读操作进行响应的过程进行录制得到的，在接下来论述中类型标定区域仅由存在于第一视频帧或第二视频帧进行区分。

标定操作：指对待处理视频添加标记，减小或增大欲提取出的视频帧与部分视频帧之间的相似度。此处，部分视频帧可选为欲提取出的视频帧的前一帧或欲提取出的视频帧的后一帧。

图像处理：用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。

模板匹配：指将已有的模板图像与目标图像进行匹配。通过在目标图像上搜索，确定已有的模板图像在目标图像上的坐标。

特征点匹配：通过比对两幅图像上的特征点，确定两副图像的相似度。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

图1是本申请一个示例性实施例的点读设备的反应速度确定系统，如图1所示，点读设备的反应速度确定系统100包括第二视频生成系统101、第一视频生成系统102和图像处理系统103。

响应于将待处理视频输入至第二视频生成系统101，第二视频生成系统101输出第二视频。

在一个实施例中，待处理视频显示有用户点读目标词语的过程。首先，第二视频生成系统101将待处理视频进行分帧操作，得到待处理视频帧列表，然后，响应于标定操作，第二视频生成系统101设置待处理视频帧列表中的第二触发帧显示第一表现特征、第二触发帧的前一帧显示第二表现特征，以及第二触发帧的后一帧显示第一表现特征，最后，第二视频生成系统101将设置后的第二触发帧、设置后的第二触发帧的前一帧和设置后的第二触发帧的后一帧依次替换待处理视频帧列表的第二触发帧、第二触发帧的前一帧和第二触发帧的后一帧，并生成第二视频。

响应于第二视频生成系统101将第二视频输入至第一视频生成系统102，第一视频生成系统102输出第一视频。

在一个实施例中，第一视频生成系统102控制摄像机对点读设备的人机交互过程进行录制，将录制得到的视频作为所述第一视频。

在一个实施例中，首先，第一视频生成系统102控制显示设备在点读操作区域中播放第二视频，其中，第二视频是对点读设备的人机交互过程进行录制得到的视频，且第二视频上预先标定有类型标定区域；然后，第一视频生成系统102控制摄像机对第二视频，以及点读设备对第二视频中播放的点读操作进行响应的过程进行录制，将录制得到的视频作为第一视频。

响应于第一视频生成系统102将第一视频输入至图像处理系统103，图像处理系统103输出点读设备的反应速度。

在一个实施例中，图像处理系统103首先对第一视频设置时间戳，得到具有时间戳的第一视频；然后，图像处理系统103对具有时间戳的第一视频进行分帧操作，得到第一视频帧列表；接着，基于相邻视频帧中的点读操作区域的相似度，图像处理系统103从第一视频帧列表中提取到第一触发帧，其中，点读操作区域是用于识别点读操作的区域；再然后，基于相邻视频帧中的点读响应区域的相似度，图像处理系统103从第一视频帧列表中提取到响应帧，其中，点读响应区域是用于对点读操作进行响应的区域；接着，图像处理系统103获取第一触发帧的第一时间戳以及响应帧的第二时间戳；最后，基于第二时间戳与第一时间戳之间的差值，图像处理系统103确定点读设备的反应速度。

基于上述第二视频生成系统101、第一视频生成系统102和图像处理系统103，点读设备的反应速度确定系统100输出点读设备的反应速度。

在一个实施例中，上述点读设备的反应速度确定系统100可以至少运行在终端上，或运行在服务器上，或运行在终端和服务器上。

本领域技术人员可以知晓，上述终端和服务器的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量。上述服务器可以仅为一个，或者上述服务器为几十个或几百个，或者更多数量。本申请实施例对终端的数量和设备类型、服务器的数量不加以限定。

下述实施例以点读设备的反应速度确定系统100应用于终端为例，进行解释说明。

在一个实施例中，图2示出了本申请一个示例性实施例的点读设备的人机交互过程的示意图。

在一个实施例中，点读设备220为智能作业灯，可选的，智能作业灯包括摄像头、屏幕和底座，其中，摄像头用于获取用户的点读操作过程，屏幕用于显示与点读操作过程匹配的响应界面，底座用于支撑智能作业灯。值得说明的一点是，上述介绍的智能作业灯的结构仅为与本申请相关的智能作业灯的部分结构，实际中的智能作业灯还可能存在其他结构以支持其他功能，如灯泡(支持照明功能)、笔盒(支持收纳功能)。

如图2所示，点读设备220包括点读设备的屏幕221、点读设备的摄像头222和点读设备的底座223，图2还示出了书本上的词语“测试”240，以及正在使用点读设备的用户260。

响应于用户260点读书本中的词语240，点读设备的摄像头222录制用户260点读书本中的词语“测试”240的过程视频。点读设备220接收点读设备的摄像头222录制的视频，并对视频进行处理、分析，提取得到包含词语“测试”240的视频帧中的词语信息，之后，点读设备220在点读设备的屏幕221上显示与词语“测试”240匹配的响应界面。可选的，该响应界面的内容包括但不限于：目标词语、目标词语的拼音、释义、例句。

示意性的，点读设备的屏幕221上显示“测试”的拼音“Ce Shi”、“测试”的释义“测试是具有试验性质的测量，即测量和试验的综合。而测试手段就是仪器仪表。由于测试和测量密切相关，在实际使用中往往并不严格区分测试与测量”。

为提高确定点读设备的反应速度的效率，图3示出了本申请一个示例性实施例的点读设备的反应速度确定方法，以图3所示的方法应用于点读设备的反应速度确定系统举例说明，该方法包括：

步骤320，获取第一视频；

其中，第一视频是对点读设备对点读操作进行响应的过程录制得到的，且第一视频携带有点读设备的反应速度的信息。

在一个实施例中，响应于终端控制摄像机对点读设备的人机交互过程进行录制，终端将录制得到的视频作为所述第一视频。

在一个实施例中，首先，终端控制显示设备在点读操作区域中播放第二视频，其中，第二视频是对点读设备的人机交互过程进行录制得到的视频，且第二视频上预先标定有类型标定区域；然后，终端控制摄像机对第二视频，以及点读设备对第二视频中播放的点读操作进行响应的过程进行录制，将录制得到的视频作为第一视频。

在一个实施例中，第二视频指显示用户点读目标词语的过程的视频。

可选的，终端通过直接控制显示设备在点读操作区域播放第二视频，具体的，在终端内设置有控制显示设备的代码，由代码设置显示设备的控制参数，可选的，显示设备的控制参数包括但不限于：开始播放第二视频、停止播放第二视频、播放时长、播放第二视频的次数。

可选的，摄像机与终端之间无线/有线连接，通过终端实现对摄像机的直接控制，具体的，在终端内设置有控制摄像机的代码，由代码设置摄像机的控制参数，可选的，摄像机的控制参数包括但不限于：打开、关闭、光圈大小、快门速度、感光度，值得注意的是，此处提到的摄像机包括可直接进行录制的摄像机和终端的外设摄像头，本申请对此并不加以限定。

可选的，摄像机与终端之间并不连接，响应于摄像机对点读设备的人机交互过程进行录制，终端获取摄像机的录制视频作为第一视频。

步骤340，基于相邻视频帧之间的相似度从第一视频中提取得到第一视频的第一触发帧和响应帧；

其中，第一触发帧是点读设备识别到点读操作时的视频帧，响应帧是点读设备开始对点读操作进行响应时的视频帧；

在一个实施例中，点读操作为用户点读目标词语的操作。可选的，点读操作包括但不限于：指尖点读(用户通过手指指定目标词语)、虚拟点读(如用户控制鼠标停留在目标词语上)、真实物体点读(如用户使用铅笔指定目标词语)。在本申请中，以点读操作为指尖点读进行举例说明。

在一个实施例中，步骤340可以包括以下步骤：

第一，通过对第一视频设置时间戳，得到具有时间戳的第一视频；

时间戳用于标记第一视频帧精确的时间点。可选的，采用ffmpeg(一种视频预处理软件)对每帧第一视频帧加上时间戳。

在一个实施例中，终端采用ffmpeg对第一视频设置时间戳，终端得到具有时间戳的第一视频，示意性的，终端在第一视频帧的右上方设置时间戳“00：00：06：769”。

第二，对具有时间戳的第一视频进行分帧操作，得到第一视频帧列表；

在一个实施例中，视频是由许多图片按照一定频率和顺序刷新得到的，分帧即是从视频中提取出原始组成的图片。可选的，采用opencv(一种分帧软件)对第一视频进行分帧。可选的，终端采用ffmpeg对第一视频进行分帧。

第三，基于相邻视频帧中的点读操作区域的相似度从第一视频帧列表中提取到第一触发帧；

其中，点读操作区域是用于识别点读操作的区域。

在一个实施例中，基于相邻视频帧中的点读操作区域的相似度，终端从第一视频帧列表中提取到第一触发帧。

可选的，基于第一视频帧列表的相邻帧之间的相似度，终端获取第一触发帧。具体的，终端对第一视频帧列表的相邻帧之间的点读操作区域进行特征点匹配，响应于终端确定相邻帧之间的点读操作区域的相似度达到阈值，终端将当前视频帧作为第一触发帧。

第四，基于相邻视频帧中的点读响应区域的相似度从第一视频帧列表中提取到响应帧。

其中，点读响应区域是用于对点读操作进行响应的区域。

在一个实施例中，基于相邻视频帧中的点读响应区域的相似度，终端从第一视频帧列表中提取到响应帧。提取响应帧和提取第一触发帧的方法相类似，在此不再赘述。

步骤360，基于第一触发帧和响应帧，确定点读设备的反应速度。

在一个实施例中，基于第一触发帧和响应帧，终端确定点读设备的反应速度。

在一个实施例中，终端获取第一触发帧的第一时间戳以及响应帧的第二时间戳；基于第二时间戳与第一时间戳之间的差值，终端确定点读设备的反应速度。

示意性的，响应帧的第二时间戳为“00：00：06：769”，第一触发帧的第一时间戳为“00：00：04：566”，则差值为“00：00：02：203”。

综上所述，通过对记录有用户与点读设备的交互过程的第一视频进行图像处理，终端得到点读设备接收到点读操作时的视频帧和点读设备开始对点读操作进行响应的视频帧，基于上述两个视频帧，终端确定点读设备的反应速度。上述点读设备的反应速度确定方法采用了图像处理技术，使得在确定点读设备的反应速度的过程中无需人工参与，在获取数据和分析结果上实现了全自动化，不仅节约了人力投入，而且大大提高了确定点读设备的反应速度的效率，且最终确定得到的点读设备的反应速度剔除了人为引进的误差。

为实现获取第一视频的第一触发帧，在基于图3所示的可选实施例中，步骤340还包括以下步骤：

其中，第一视频帧列表包含N个视频帧。

步骤341，计算得到第一视频帧列表的第i帧与第i-1帧中的点读操作区域之间的第一相似度、以及第一视频帧列表的第i帧与第i+1帧中的点读操作区域之间的第二相似度；

其中，N为大于3的正整数，i为不大于N-2的正整数，且i大于或等于2。

在一个实施例中，终端采用正序依次获取第一视频帧列表中的视频帧，即，初始值i＝2，i的值逐渐增大。

在一个实施例中，终端计算得到第一视频帧列表的第i帧与第i-1帧中的点读操作区域之间的第一相似度、以及第一视频的第i帧与第i+1帧中的点读操作区域之间的第二相似度。

在一个实施例中，第一视频是对点读设备对点读操作进行响应的过程录制得到的，且第一视频携带有点读设备的反应速度的信息；第一视频的视频帧存在点读操作区域和点读响应区域，其中点读操作区域包括点读操作子区域和类型标定区域。其中，类型标定区域是预先采用人工标定的视觉特征来表示当前视频帧的视频帧类型的区域，即类型标定区域用于标记第一视频帧。

示意性的，第一视频的一个视频帧如图4所示，图4示出了点读操作子区域401、类型标定区域402和点读响应区域403。响应于在点读操作子区域401上播放第二视频，点读响应区域403显示相应界面。在一个实施例中，当点读操作子区域401显示用户点读目标词语时，点读响应区域403显示与目标词语匹配的响应界面。可选的，该响应界面的内容包括但不限于：目标词语、目标词语的拼音、释义、例句。

在一个实施例中，终端计算得到第一视频帧列表的第i帧的类型标定区域与第i-1帧的类型标定区域的第一相似度、以及第一视频帧列表的第i帧的类型标定区域与第i+1帧的类型标定区域的第二相似度。

其中，基于第一视频帧的坐标已知，终端对第一视频帧通过图像处理、裁剪、计算，终端获得类型标定区域。

步骤342，响应于第一相似度小于第一阈值，且第二相似度大于或等于第一阈值，确定第i帧为第一触发帧；

在一个实施例中，响应于第一相似度小于第一阈值，且第二相似度大于或等于第一阈值，终端确定第i帧为第一触发帧。

其中，第一阈值为第一人员预设的第一触发帧中的类型标定区域与相邻帧的类型标定区域的相似度阈值。

综上所述，通过计算第一视频相邻帧的相似度，当前一帧与当前帧的相似度小于第一阈值、且当前帧与后一帧的相似度大于等于第一阈值时，确定当前帧为第一视频的第一触发帧。上述方法实现了对第一视频的第一触发帧的全自动确定，无需人工参与，不仅节约了人力投入，而且大大提高了确定第一触发帧的效率。

为实现获取第一视频的响应帧，基于图3所示的可选实施例中，步骤340还包括以下步骤：

其中，第一视频帧列表包含N个视频帧。

步骤343，计算得到第一视频帧列表的第m帧与第m-1帧中的点读响应区域之间的第三相似度、以及第一视频帧列表的第m帧与第m+1帧中的点读响应区域之间的第四相似度；

其中，N为大于3的正整数，m为不大于N-1的正整数，且m大于等于3。

在一个实施例中，终端采用倒序获取第一视频帧列表中的视频帧，即，初始值m＝N-1，m的值逐渐减小。

在一个实施例中，终端计算得到第一视频帧列表的第m帧与第m-1帧中的点读响应区域之间的第三相似度、以及第一视频帧列表的第m帧与第m+1帧之间的第四相似度。

其中，基于第一视频帧的坐标已知，终端对第一视频帧通过图像处理、裁剪、计算，获得点读响应区域。

步骤344，响应于第三相似度小于第二阈值，且第四相似度大于或等于第二阈值，确定第m帧为响应帧；

在一个实施例中，响应于第三相似度小于第二阈值，且第四相似度大于或等于第二阈值，终端确定第m帧为响应帧。

其中，第二阈值为第一人员预设的响应帧与相邻帧的相似度阈值。

综上所述，通过计算第一视频相邻帧的相似度，当前一帧与当前帧的相似度小于第二阈值、且当前帧与后一帧的相似度大于等于第二阈值时，确定当前帧为第一视频的第一触发帧。上述方法实现了对第一视频的响应帧的全自动确定，无需人工参与，不仅节约了人力投入，而且大大提高了确定响应帧的效率。

为实现获取第一视频，在基于图3所示的实施例中，第二视频是采用如下方式得到的，即，上述步骤320还包括以下步骤：

S1：将待处理视频进行分帧操作，得到待处理视频帧列表；

其中，待处理视频显示有用户点读目标词语的过程；

在一个实施例中，终端将待处理视频进行分帧操作，得到待处理视频帧列表。

可选的，待处理视频通过获取视频库中已有的视频得到；可选的，待处理视频通过获取用户上传的视频得到；可选的，待处理视频通过第一人员录制用户点读目标词语的过程得到。值得注意的是，在录制时，第一人员应控制待处理视频的拍摄角度、场景光照强度等变量与实际情况相一致，以保证待处理视频显示的效果与真实生活中用户与点读设备的交互过程较为贴近。

S2：响应于标定操作，设置待处理视频帧列表中的第二触发帧显示第一表现特征、所述第二触发帧的前一帧显示第二表现特征，以及第二触发帧的后一帧显示第一表现特征。

其中，标定操作指第一人员对待处理视频添加标记，目的是减小或增大欲提取出的视频帧与部分视频帧之间的相似度。此处，部分视频帧可选为欲提取出的视频帧的前一帧或欲提取出的视频帧的后一帧。

在一个实施例中，响应于标定操作，终端设置待处理视频帧列表中的第二触发帧显示第一表现特征、所述第二触发帧的前一帧显示第二表现特征，以及第二触发帧的后一帧显示第一表现特征。

在一个实施例中，基于同一第一人员的经验，终端识别得到待处理视频上的第二触发帧。其中，第二触发帧为用户点读目标词语的待处理视频帧。

在一个实施例中，第二触发帧上存在类型标定区域，终端设置第二触发帧的类型标定区域显示第一表现特征、第二触发帧的前一帧的类型标定区域显示第二表现特征，以及第二触发帧的后一帧的类型标定区域显示第一表现特征。

可选的，表现特征包括图案表现特征、颜色表现特征、文字表现特征中的至少一种。结合参考图5和图6，表现特征为图案表现特征，可选的，图5示出了本申请一个示例性实施例的第二触发帧的类型标定区域的第一表现特征，图6示出了本申请一个示例性实施例的第二触发帧的前一帧的类型标定区域的第二表现特征，图7示出了本申请一个示例性实施例的第二触发帧的后一帧的类型标定区域的第一表现特征，其中，图5中的第二触发帧的类型标定区域501显示的第一表现特征为全黑的矩形，图6中的第二触发帧的前一帧的类型标定区域601显示的第一表现特征为带有斜线的矩形，图7中的第二触发帧的后一帧的类型标定区域701显示的第一表现特征为全黑的矩形。

S3：将设置后的第二触发帧、设置后的第二触发帧的前一帧和设置后的第二触发帧的后一帧依次替换待处理视频帧列表的第二触发帧、第二触发帧的前一帧和第二触发帧的后一帧，生成第二视频。

在一个实施例中，终端生成多段第二视频，且由代码控制多段第二视频的播放顺序、播放时间和播放次数中的至少一种。

在一个实施例中，上述第一视频由摄像机录制。可选的，响应于终端与摄像机连接，摄像机对第一视频进行录制。可选的，终端内存储有控制摄像机的代码，由代码设置摄像机的控制参数，可选的，摄像机的控制参数至少包括打开、关闭、光圈大小、快门速度、感光度中的至少一种。

在一个实施例中，响应于终端内存储有代码，当点读设备开始读取第二视频时，代码控制第二视频开始播放，且代码控制打开摄像机。

综上所述，上述方法通过对待处理视频进行打点操作，获取第二视频，通过在第二视频帧上设置类型标定区域，减小了第二视频第二触发帧和第二触发帧的前一帧的相似度，增大了第二视频第二触发帧和第二触发帧的后一帧的相似度。

为获取第二视频，执行如图8所示的方法。在一个实施例中，图8示出了本申请一个示例性实施例的获取第二视频的流程图，即，上述步骤320可以包括以下步骤：

步骤801，录制待处理视频；

在一个实施例中，终端录制手指指向教材、手指停止移动的基本交互视频作为待处理视频。值得注意的是，点读设备通过视频获取到的数据和通过真实交互过程获取到的数据不应该存在较大差距，因此需要根据实际情况调整合适的视频拍摄角度、亮度等变量。

在一个实施例中，待处理视频通过获取视频库中已有的视频得到；在一个实施例中，待处理视频通过获取用户上传的视频得到。

步骤802，分帧；

终端将录制到的视频进行分帧，得到帧列表F。在一个实施例中，视频是由许多图片按照一定频率和顺序刷新得到的，分帧即是从视频中提取出原始组成的图片。可选的，采用opencv对待处理视频进行分帧。可选的，终端采用ffmpeg对待处理视频进行分帧。

步骤803，分析素材，获取素材中的第二触发帧；

终端对获取到的待处理视频进行分析，通过专家经验确定帧列表中的第二触发帧，记为imagei。

步骤804，对第二触发帧及之后帧做打点处理；

终端对帧列表中的帧imagei进行打点处理，当j<i时，打点特征为f1,当j>＝i时，打点特征为f2。可选的，通过将帧中某一非关键区域的像素置为特定颜色，该特定颜色即为打点特征；可选的，通过将帧中某一非关键区域设置为特定图案，该特定图案即为打点特征。

通过上述打点处理，imagei帧的前后帧的打点区域并不相同。

步骤805，对处理之后的帧做视频合成；

终端将处理后的帧替换原有的视频帧，合成得到第二视频。

步骤806，保存至素材库。

终端将上述得到的第二视频保存至素材库。

为录制第一视频，执行如图9所示的方法。在一个实施例中，图9示出了本申请一个示例性实施例的录制第一视频的流程图，即，上述步骤320还包括以下步骤：

步骤901，第一人员将显示屏幕放置在合适位置；

第一人员将点读设备的显示屏幕放置在合适位置，可选的，点读设备的显示屏幕正对终端的显示屏幕。

步骤902，读取素材库第二视频；

终端读取素材库中的第二视频。

步骤903，自动打开摄像头开始录像；

终端通过程序自动打开摄像头开始录像。

步骤904，自动播放素材；

终端通过程序自动播放素材。

步骤905，结束录像；

响应于终端通过程序控制停止播放素材，或，终端通过程序控制关闭摄像头，或，第一人员关闭点读设备，终端结束录像。

步骤906，保存录制视频。

终端对录制得到的视频进行保存。

综上所述，上述方法实现了在不需要人参与的情况下，通过终端控制打开摄像头、控制自动播放素材，并最终完成对第一视频的录制，上述方法不仅节约了人力投入，而且大大提高了录制第一视频的效率。

为实现确定点读设备的反应速度，执行如图10所示的本申请一个示例性实施例的点读设备的反应速度确定方法的流程图。如图10所示，该方法包括：

步骤1001，读取第一视频；

终端读取录制好的视频作为第一视频。

步骤1002，在第一视频上添加时间戳；

终端在第一视频上添加时间戳。该步骤目的是对视频每一帧加上时间戳，方便后续定位到关键帧后，能够得到该帧精确的时间点，时间戳的起始时间为0.000s，可选的，终端通过ffmpeg在第一视频上添加时间戳。

步骤1003，第一视频分帧；

终端对第一视频进行分帧操作。在一个实施例中，第一视频是由许多图片按照一定频率和顺序刷新得到的，分帧即是从第一视频中，提取出原始组成的图片。采用分帧软件opencv或ffmpeg对第一视频进行分帧。

步骤1004，定位第一触发帧；

终端在第一视频上定位第一触发帧。

步骤1005，OCR(Optical Character Recognition，光学字符识别)识别第一触发帧时间戳，得到预期反应时间点；

终端利用OCR技术识别第一视频的第一触发帧时间戳，得到预期反应时间点T1。

步骤1006，定位响应帧；

终端在第一视频上定位响应帧。

步骤1007，OCR识别响应帧时间戳，得到实际反应时间点；

终端利用OCR技术识别第一视频的响应帧时间戳，得到实际反应时间点T2。

步骤1008，计算反应耗时；

终端计算实际反应时间点和预期反应时间点的差值T2-T1，将该差值作为点读设备的反应耗时。

步骤1009，输出结果。

终端将上述实际反应时间点和预期反应时间点的差值T2-T1作为点读设备的反应速度，并输出该反应速度。

为实现对第一视频的第一触发帧的定位，在一个实施例中，图11示出了本申请一个示例性实施例的获取第一视频上的第一触发帧的方法流程图，即，上述步骤1004包括以下步骤：

步骤1101，开始；

终端接收开始定位第一视频的第一触发帧的指令。

步骤1102，设i＝1，相似度阈值为t，帧列表为F，长度为N，定位pos＝null；

终端对第一视频的参数进行预先设置。

步骤1103，i＝i+1且i＜＝N-1；

终端对i＝i+1且i＜＝N-1判断条件进行判断，若是，则进入步骤1104，若否，则进入步骤1107。

步骤1104，获取f(i-1)，fi，f(i+1)三帧，并计算[f(i-1),fi]、[fi,f(i+1)]中第一触发帧的类型标定区域的相似度，依次为sim1,sim2；

终端计算f(i-1)，fi，f(i+1)三帧，并计算[f(i-1),fi]、[fi,f(i+1)]中第一触发帧的类型标定区域的相似度，依次为sim1,sim2。

步骤1105，sim1＜t且sim2>＝t；

终端对sim1＜t且sim2>＝t判断条件进行判断，若是，则进入步骤1106，若否，则进入步骤1103。

步骤1106，定位pos＝i；

终端定位得到第一视频的第一触发帧。

步骤1107，结束。

终端执行结束定位第一视频的第一触发帧的指令。

为实现对第一视频的响应帧的定位，在一个实施例中，图12示出了本申请一个示例性实施例的获取第一视频上的响应帧的方法流程图，即，上述步骤1006包括以下步骤：

步骤1201，开始；

终端接收开始定位第一视频的响应帧的指令。

步骤1202，设i＝N，相似度阈值为p，帧列表为F，长度为N，定位pos＝null；

终端对第一视频的参数进行预先设置。

步骤1203，i＝i-1且i>2；

终端对i＝i-1且i>2判断条件进行判断，若是，则进入步骤1204，若否，则进入步骤1207。

步骤1204，获取f(i-1)，fi，f(i+1)三帧，并计算[f(i-1),fi]、[fi,f(i+1)]中点读响应区域的相似度，依次为sim3，sim4；

终端计算f(i-1)，fi，f(i+1)三帧，并计算[f(i-1),fi]、[fi,f(i+1)]中点读响应区域的相似度，依次为sim3，sim4。

步骤1205，sim3＜p且sim4>＝p；

终端对sim3＜p且sim4>＝p判断条件进行判断，若是，则进入步骤1206，若否，则进入步骤1203。

步骤1206，定位pos＝i；

终端定位得到第一视频的响应帧。

步骤1207，结束。

终端执行结束定位第一视频的响应帧的指令。

值得注意的是，终端定位第一触发帧的帧列表为按时间顺序排列，即，图11所示的定位触发帧的方法为按时间顺序依次判断；终端定位响应帧的帧列表为逆时间顺序排列，即，图12所示的定位响应帧的方法为逆时间顺序依次判断。

在一个实施例中，定位触发帧的相似度阈值t，与，定位响应帧的相似度阈值p相同或不同。

图13是本申请一个示例性实施例提供的点读设备的反应速度确定装置的结构框图，如图13所示，该装置包括：

获取模块1301，用于获取第一视频，第一视频是对点读设备对点读操作进行响应的过程录制得到的；

处理模块1302，用于基于相邻视频帧之间的相似度从第一视频中，提取得到第一视频的第一触发帧和响应帧，其中，第一触发帧是点读设备识别到点读操作时的视频帧，响应帧是点读设备开始对点读操作进行响应时的视频帧；

确定模块1303，用于基于第一触发帧和响应帧，确定点读设备的反应速度。

在一个可选的实施例中，处理模块1302还用于对具有时间戳的第一视频进行分帧操作，得到第一视频帧列表。

在一个可选的实施例中，处理模块1302还用于基于相邻视频帧中的点读操作区域的相似度从第一视频帧列表中提取到第一触发帧，点读操作区域是用于识别点读操作的区域。

在一个可选的实施例中，处理模块1302还用于基于相邻视频帧中的点读响应区域的相似度从第一视频帧列表中提取到响应帧，点读响应区域是用于对点读操作进行响应的区域。

在一个可选的实施例中，第一视频帧列表包含N个视频帧。

在一个可选的实施例中，处理模块1302还用于计算得到第一视频帧列表的第i帧与第i-1帧中的点读操作区域之间的第一相似度、以及第一视频帧列表的第i帧与第i+1帧中的点读操作区域之间的第二相似度。

在一个可选的实施例中，处理模块1302还用于响应于第一相似度小于第一阈值，且第二相似度大于或等于第一阈值，确定第i帧为第一触发帧。

在一个可选的实施例中，点读操作区域包括：点读操作子区域和类型标定区域，类型标定区域是预先采用人工标定的视觉特征来表示当前视频帧的视频帧类型的区域，视频帧类型包括：点读操作的在前帧、点读操作的触发帧、点读操作的在后帧中的至少一种。

在一个可选的实施例中，处理模块1302还用于计算得到第一视频帧列表的第i帧的类型标定区域与第i-1帧的类型标定区域之间的第一相似度、以及第一视频的第i帧的类型标定区域与第i+1帧的类型标定区域之间的第二相似度。

在一个可选的实施例中，处理模块1302还用于计算得到第一视频帧列表的第m帧与第m-1帧中的点读响应区域之间的第三相似度、以及第一视频帧列表的第m帧与第m+1帧中的点读响应区域之间的第四相似度。

在一个可选的实施例中，处理模块1302还用于响应于第三相似度小于第二阈值，且第四相似度大于或等于第二阈值，确定第m帧为响应帧。

在一个可选的实施例中，处理模块1302还用于通过对第一视频设置时间戳，得到具有时间戳的第一视频。

在一个可选的实施例中，确定模块1303还用于获取第一触发帧的第一时间戳以及响应帧的第二时间戳。

在一个可选的实施例中，确定模块1303还用于基于第二时间戳与第一时间戳之间的差值，确定点读设备的反应速度。

在一个可选的实施例中，获取模块1301还用于控制摄像机对点读设备的人机交互过程进行录制，将录制得到的视频作为第一视频。

在一个可选的实施例中，获取模块1301还用于控制显示设备在点读操作区域中播放第二视频，第二视频是对点读设备的人机交互过程进行录制得到的视频，且第二视频上预先标定有类型标定区域。

在一个可选的实施例中，获取模块1301还用于控制摄像机对第二视频，以及点读设备对第二视频中播放的点读操作进行响应的过程进行录制，将录制得到的视频作为第一视频。

在一个可选的实施例中，获取模块1301还用于将待处理视频进行分帧操作，得到待处理视频帧列表，其中，待处理视频显示有用户点读目标词语的过程。

在一个可选的实施例中，获取模块1301还用于响应于标定操作，设置待处理视频帧列表中的第二触发帧显示第一表现特征、第二触发帧的前一帧显示第二表现特征，以及第二触发帧的后一帧显示第一表现特征。

在一个可选的实施例中，获取模块1301还用于将设置后的第二触发帧、设置后的第二触发帧的前一帧和设置后的第二触发帧的后一帧依次替换待处理视频帧列表的第二触发帧、第二触发帧的前一帧和第二触发帧的后一帧，生成第二视频。

在一个可选的实施例中，第二触发帧存在类型标定区域。

在一个可选的实施例中，获取模块1301还用于响应于标定操作，设置第二触发帧的类型标定区域显示第一表现特征、第二触发帧的前一帧的类型标定区域显示第二表现特征，以及第二触发帧的后一帧的类型标定区域显示第一表现特征。

在一个可选的实施例中，表现特征包括图案表现特征、颜色表现特征、文字表现特征中的至少一种。

综上所述，上述装置通过对记录有用户与点读设备的交互过程的第一视频进行图像处理，上述装置得到点读设备识别到点读操作时的视频帧和点读设备开始对点读操作进行响应时的视频帧，基于上述两个视频帧，上述装置确定点读设备的反应速度。上述点读设备的反应速度确定装置采用了图像处理技术，使得在确定点读设备的反应速度的过程中无需人工参与，在获取数据和分析结果上实现了全自动化，不仅节约了人力投入，而且大大提高了确定点读设备的反应速度的效率，且最终确定得到的点读设备的反应速度剔除了人为引进的误差。

图14示出了本申请一个示例性实施例提供的电子设备1400的结构框图。该电子设备1400可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving PictureExperts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备1400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，电子设备1400包括有：处理器1401和存储器1402。

处理器1401可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1401可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1401可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1401还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1401所执行以实现本申请中方法实施例提供的图像修复方法。

在一些实施例中，电子设备1400还可选包括有：外围设备接口1403和至少一个外围设备。处理器1401、存储器1402和外围设备接口1403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1403相连。具体地，外围设备包括：射频电路1404、显示屏1405、摄像头组件1406、音频电路1407、定位组件1408和电源1409中的至少一种。

外围设备接口1403可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1401和存储器1402。在一些实施例中，处理器1401、存储器1402和外围设备接口1403被集成在同一芯片或电路板上；在一些其他实施例中，处理器1401、存储器1402和外围设备接口1403中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1404用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1404将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1404包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1404还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1405用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1405是触摸显示屏时，显示屏1405还具有采集在显示屏1405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1401进行处理。此时，显示屏1405还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1405可以为一个，设置在电子设备1400的前面板；在另一些实施例中，显示屏1405可以为至少两个，分别设置在电子设备1400的不同表面或呈折叠设计；在另一些实施例中，显示屏1405可以是柔性显示屏，设置在电子设备1400的弯曲表面上或折叠面上。甚至，显示屏1405还可以设置成非矩形的不规则图形，也即异形屏。显示屏1405可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件1406用于采集图像或视频。可选地，摄像头组件1406包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1406还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1401进行处理，或者输入至射频电路1404以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备1400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1401或射频电路1404的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1407还可以包括耳机插孔。

定位组件1408用于定位电子设备1400的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件1408可以是基于美国的GPS(Global Positioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源1409用于为电子设备1400中的各个组件进行供电。电源1409可以是交流电、直流电、一次性电池或可充电电池。当电源1409包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，电子设备1400还包括有一个或多个传感器1410。该一个或多个传感器1410包括但不限于：加速度传感器1411、陀螺仪传感器1412、压力传感器1413、指纹传感器1414、光学传感器1415以及接近传感器1416。

加速度传感器1411可以检测以电子设备1400建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1411可以用于检测重力加速度在三个坐标轴上的分量。处理器1401可以根据加速度传感器1414采集的重力加速度信号，控制显示屏1405以横向视图或纵向视图进行用户界面的显示。加速度传感器1414还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1412可以检测电子设备1400的机体方向及转动角度，陀螺仪传感器1412可以与加速度传感器1411协同采集用户对电子设备1400的3D动作。处理器1401根据陀螺仪传感器1412采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1413以设置在电子设备1400的侧边框和/或显示屏1405的下层。当压力传感器1413设置在电子设备1400的侧边框时，可以检测用户对电子设备1400的握持信号，由处理器1401根据压力传感器1413采集的握持信号进行左右手识别或快捷操作。当压力传感器1413设置在显示屏1405的下层时，由处理器1401根据用户对显示屏1405的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1414用于采集用户的指纹，由处理器1401根据指纹传感器1414采集到的指纹识别用户的身份，或者，由指纹传感器1414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1401授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1414可以被设置在电子设备1400的正面、背面或侧面。当电子设备1400上设置有物理按键或厂商Logo时，指纹传感器1414可以与物理按键或厂商Logo集成在一起。

光学传感器1415用于采集环境光强度。在一个实施例中，处理器1401可以根据光学传感器1415采集的环境光强度，控制显示屏1405的显示亮度。具体地，当环境光强度较高时，调高显示屏1405的显示亮度；当环境光强度较低时，调低显示屏1405的显示亮度。在另一个实施例中，处理器1401还可以根据光学传感器1415采集的环境光强度，动态调整摄像头组件1406的拍摄参数。

接近传感器1416，也称距离传感器，通常设置在电子设备1400的前面板。接近传感器1416用于采集用户与电子设备1400的正面之间的距离。在一个实施例中，当接近传感器1416检测到用户与电子设备1400的正面之间的距离逐渐变小时，由处理器1401控制显示屏1405从亮屏状态切换为息屏状态；当接近传感器1416检测到用户与电子设备1400的正面之间的距离逐渐变大时，由处理器1401控制显示屏1405从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图14中示出的结构并不构成对电子设备1400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本申请还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方法实施例提供的点读设备的反应速度确定方法。

本申请提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方法实施例提供的点读设备的反应速度确定方法。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种点读设备的反应速度确定方法，其特征在于，所述方法包括：

获取第一视频，所述第一视频是对所述点读设备对点读操作进行响应的过程录制得到的；

基于相邻视频帧之间的相似度从所述第一视频中，提取得到所述第一视频的第一触发帧和响应帧，其中，所述第一触发帧是所述点读设备识别到所述点读操作时的视频帧，所述响应帧是所述点读设备开始对所述点读操作进行响应时的视频帧；

2.根据权利要求1所述的方法，其特征在于，所述基于相邻视频帧之间的相似度从所述第一视频中，提取得到所述第一视频的第一触发帧和响应帧，包括：

对所述具有时间戳的第一视频进行分帧操作，得到第一视频帧列表；

基于所述相邻视频帧中的点读操作区域的相似度从所述第一视频帧列表中提取到所述第一触发帧，所述点读操作区域是用于识别所述点读操作的区域；

基于所述相邻视频帧中的点读响应区域的相似度从所述第一视频帧列表中提取到所述响应帧，所述点读响应区域是用于对所述点读操作进行响应的区域。

3.根据权利要求2所述的方法，其特征在于，所述第一视频帧列表包含N个视频帧；

所述基于所述相邻视频帧中的点读操作区域的相似度从所述第一视频帧列表中提取到所述第一触发帧，包括：

计算得到所述第一视频帧列表的第i帧与第i-1帧中的点读操作区域之间的第一相似度、以及所述第一视频帧列表的第i帧与第i+1帧中的点读操作区域之间的第二相似度；

响应于所述第一相似度小于第一阈值，且所述第二相似度大于或等于所述第一阈值，确定所述第i帧为所述第一触发帧；

4.根据权利要求3所述的方法，其特征在于，所述点读操作区域包括：点读操作子区域和类型标定区域，所述类型标定区域是预先采用人工标定的视觉特征来表示当前视频帧的视频帧类型的区域，所述视频帧类型包括：所述点读操作的在前帧、所述点读操作的触发帧、所述点读操作的在后帧中的至少一种；

所述计算得到所述第一视频帧列表的第i帧与第i-1帧中的点读操作区域之间的第一相似度、以及所述第一视频帧列表的第i帧与第i+1帧中的点读操作区域之间的第二相似度，包括：

计算得到所述第一视频帧列表的第i帧的类型标定区域与第i-1帧的类型标定区域之间的第一相似度、以及所述第一视频的第i帧的类型标定区域与第i+1帧的类型标定区域之间的第二相似度。

5.根据权利要求2所述的方法，其特征在于，所述第一视频帧列表包含N个视频帧；

所述基于所述相邻视频帧中的点读响应区域的相似度从所述第一视频帧列表中提取到所述响应帧，包括：

计算得到所述第一视频帧列表的第m帧与第m-1帧中的点读响应区域之间的第三相似度、以及所述第一视频帧列表的所述第m帧与第m+1帧中的点读响应区域之间的第四相似度；

响应于所述第三相似度小于第二阈值，且所述第四相似度大于或等于所述第二阈值，确定所述第m帧为所述响应帧；

6.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：

通过对所述第一视频设置时间戳，得到具有时间戳的第一视频；

所述基于所述第一触发帧和所述响应帧，确定所述点读设备的反应速度，包括：

获取所述第一触发帧的第一时间戳以及所述响应帧的第二时间戳；

基于所述第二时间戳与所述第一时间戳之间的差值，确定所述点读设备的反应速度。

7.根据权利要求1至6任一所述的方法，其特征在于，所述获取第一视频，包括：

控制摄像机对所述点读设备的人机交互过程进行录制，将录制得到的视频作为所述第一视频。

8.根据权利要求7所述的方法，其特征在于，所述获取第一视频，还包括：

控制显示设备在所述点读操作区域中播放第二视频，所述第二视频是对所述点读设备的人机交互过程进行录制得到的视频，且所述第二视频上预先标定有所述类型标定区域；

控制所述摄像机对所述第二视频，以及所述点读设备对所述第二视频中播放的点读操作进行响应的过程进行录制，将录制得到的视频作为所述第一视频。

9.根据权利要求8所述的方法，其特征在于，所述第二视频是采用如下方式得到的：

将所述待处理视频进行分帧操作，得到待处理视频帧列表，其中，所述待处理视频显示有用户点读目标词语的过程；

响应于标定操作，设置所述待处理视频帧列表中的第二触发帧显示第一表现特征、所述第二触发帧的前一帧显示第二表现特征，以及所述第二触发帧的后一帧显示所述第一表现特征；

将设置后的第二触发帧、设置后的第二触发帧的前一帧和设置后的第二触发帧的后一帧依次替换所述待处理视频帧列表的所述第二触发帧、所述第二触发帧的前一帧和所述第二触发帧的后一帧，生成所述第二视频。

10.根据权利要求9所述的方法，其特征在于，所述第二触发帧存在所述类型标定区域；

所述响应于标定操作，设置所述待处理视频帧列表中的第二触发帧显示第一表现特征、所述第二触发帧的前一帧显示第二表现特征，以及所述第二触发帧的后一帧显示所述第一表现特征，包括：

响应于所述标定操作，设置所述第二触发帧的类型标定区域显示第一表现特征、所述第二触发帧的前一帧的类型标定区域显示第二表现特征，以及所述第二触发帧的后一帧的类型标定区域显示所述第一表现特征。

11.根据权利要求9或10所述的方法，其特征在于，所述表现特征包括图案表现特征、颜色表现特征、文字表现特征中的至少一种。

12.一种点读设备的反应速度确定装置，其特征在于，所述装置包括：

获取模块，用于获取第一视频，所述第一视频携带有点读设备的反应速度的信息；

处理模块，用于通过对所述第一视频进行图像处理，提取得到所述第一视频的第一触发帧和响应帧，其中，所述第一触发帧是所述点读设备接收到点读操作时的视频帧，所述响应帧是所述点读设备开始对所述点读操作进行响应的视频帧；

确定模块，用于基于所述第一触发帧和所述响应帧，确定所述点读设备的反应速度。

13.根据权利要求12所述的装置，其特征在于，

所述获取模块，还用于将所述待处理视频进行分帧操作，得到待处理视频帧列表，其中，所述待处理视频显示有用户点读目标词语的过程；

所述获取模块，还用于响应于标定操作，设置所述待处理视频帧列表中的第二触发帧显示第一表现特征、所述第二触发帧的前一帧显示第二表现特征，以及所述第二触发帧的后一帧显示所述第一表现特征；

所述获取模块，还用于将设置后的第二触发帧、设置后的第二触发帧的前一帧和设置后的第二触发帧的后一帧依次替换所述待处理视频帧列表的所述第二触发帧、所述第二触发帧的前一帧和所述第二触发帧的后一帧，生成所述第二视频。

14.一种计算机设备，其特征在于，所述计算机设备包括：处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至11任一所述的点读设备的反应速度确定方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至11任一所述的点读设备的反应速度确定方法。