CN111068333A - 基于视频的载具异常状态检测方法、装置、设备及介质 - Google Patents

基于视频的载具异常状态检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN111068333A
CN111068333A CN201911328150.4A CN201911328150A CN111068333A CN 111068333 A CN111068333 A CN 111068333A CN 201911328150 A CN201911328150 A CN 201911328150A CN 111068333 A CN111068333 A CN 111068333A
Authority
CN
China
Prior art keywords
video
target
feature point
carrier
map image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911328150.4A
Other languages
English (en)
Other versions
CN111068333B (zh
Inventor
王翔宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911328150.4A priority Critical patent/CN111068333B/zh
Publication of CN111068333A publication Critical patent/CN111068333A/zh
Application granted granted Critical
Publication of CN111068333B publication Critical patent/CN111068333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于视频的载具异常状态检测方法、装置、设备及介质，属于视频处理技术领域。本申请通过从目标视频的各个视频画面中获取显示有载具标识的多个视频画面，作为多个第一目标视频画面，基于该多个第一目标视频画面中所显示地图图像的位置变化信息，确定该载具的移动距离，当任一该移动距离大于距离阈值时，确定该载具处于异常状态。在上述方法中，基于视频画面中所显示的载具的行驶速度数值与载具的实际移动距离，确定载具是否处于异常状态，无需客户端将载具的行驶数据发送至服务器，避免被客户端的虚假数据所干扰，提高了载具异常状态检测的准确性。

Description

基于视频的载具异常状态检测方法、装置、设备及介质
技术领域
本申请涉及视频处理技术领域，特别涉及一种基于视频的载具异常状态检测方法、装置、设备及介质。
背景技术
随着网络游戏的普及，针对网络游戏的作弊行为也越来越多，一些玩家会通过外挂修改载具的性能，以增大胜出概率，例如，在游戏中使用外挂提高载具的行驶速度。游戏外挂的使用会影响游戏的公平性，降低正常玩家的游戏体验。
目前，在检测载具是否处于异常状态，即是否被外挂修改行驶速度时，通常由客户端向服务器发送游戏中载具的行驶数据，服务器通过计算载具在一局游戏内的总移动距离、赛季内的平均移动距离来判断载具是否处于异常状态，但是，客户端发送的行驶数据容易被外挂篡改，导致服务器无法确定载具的真实移动距离和行驶速度，进而导致检测失败。
发明内容
本申请实施例提供了一种基于视频的载具异常状态检测方法、装置、设备及介质，可以避免检测过程被虚假数据干扰，而导致检测失败。该技术方案如下：
一方面，提供了一种基于视频的载具异常状态检测方法，该方法包括：
从目标视频的各个视频画面中获取显示有载具标识的多个视频画面，作为多个第一目标视频画面；
基于该多个第一目标视频画面中所显示地图图像的位置变化信息，确定该载具的移动距离；
当任一该移动距离大于距离阈值时，确定该载具处于异常状态。
一方面，提供了一种基于视频的载具异常状态检测装置，该装置包括：
画面确定模块，用于从目标视频的各个视频画面中获取显示有载具标识的多个视频画面，作为多个第一目标视频画面；
距离确定模块，用于基于该多个第一目标视频画面中所显示地图图像的位置变化信息，确定该载具的移动距离；
状态确定模块，用于当任一该移动距离大于距离阈值时，确定该载具处于异常状态。
在一种可能实现方式中，该画面确定模块用于：
获取该目标视频的各个视频画面；
在该各个视频画面中，获取显示有载具标识的视频画面作为第一候选视频画面；
基于该第一候选视频画面中所显示的该载具的行驶速度数值，确定多个第一目标视频帧。
在一种可能实现方式中，该画面确定模块用于：
在该各个视频画面中，每隔预设数量的视频帧获取一个该视频画面，得到多个第一中间视频画面；
对每个该第一中间视频画面中第一区域的图像进行图像识别；
获取显示有该载具标识的多个该第一中间视频画面，作为第二中间视频画面；
获取多个该第二中间视频画面、相邻两个该第二中间视频画面之间的视频画面，作为该第一候选视频画面。
在一种可能实现方式中，该画面确定模块用于：
对该第一候选视频画面中的目标区域进行字符识别，得到该载具的行驶速度数值；
当任一该行驶速度数值小于速度阈值时，将任一该行驶速度数值所对应的第一候选视频画面确定为第一目标视频画面。
在一种可能实现方式中，该画面确定模块用于：
在各个该第一候选视频画面中，每隔目标数量的视频帧获取一个该第一候选视频画面，得到多个第二候选视频画面；
对各个该第二候选视频画面中的目标区域进行字符识别，得到该行驶速度数值。
在一种可能实现方式中，该画面确定模块用于：
获取该第二候选视频画面中目标区域的图像，作为第二图像；
基于多个候选框，对该第二图像进行切分，得到多个子图像；
将该多个子图像输入字符识别模型，由该字符识别模型对各个该子图像中的字符进行识别，基于该字符识别模型的识别结果，确定该行驶速度数值。
在一种可能实现方式中，该距离确定模块用于：
在该多个第一目标视频画面中，每隔目标数量的视频帧获取一个该第一目标视频画面，得到多个第二目标视频画面；
基于相邻的两个该第二目标视频画面中所显示地图图像的位置变化信息，确定该载具的移动距离。
在一种可能实现方式中，该距离确定模块用于：
将相邻的两个该第二目标视频画面的第二区域中所显示的地图图像，分别确定为第一地图图像和第二地图图像；
获取该第一地图图像中第一目标特征点与该第二地图图像中第二目标特征点之间的位置变化信息，作为该第一地图图像与该第二地图图像之间的位置变化信息；
基于该第一地图图像与该第二地图图像之间的位置变化信息，确定该载具的移动距离。
在一种可能实现方式中，该距离确定模块用于：
基于该第一地图图像中各个第一特征点与该第二地图图像中各个第二特征点的匹配度，得到多个特征对，一个该特征对包括一个该第一特征点以及一个该第二特征点；
基于各个该特征对中该第一特征点与该第二特征点的位置信息，计算该第一地图图像和该第二地图图像之间的像素差值；
获取数值最小的该像素差值所对应的一个特征对，作为目标特征对，将该目标特征对中的两个特征点作为该第一目标特征点、该第二目标特征点；
基于该第一目标特征点的位置信息以及该第二目标特征点的位置信息，确定该第一目标特征点与该第二目标特征点之间的位置变化信息。
在一种可能实现方式中，该距离确定模块用于：
对于一个该特征对，基于其中该第一特征点的位置、该第二特征点的位置，将该第一地图图像和该第二地图图像进行重叠，使该第一特征点与该第二特征点重合；
获取该第一地图图像与该第二地图图像重叠区域的像素差值。
在一种可能实现方式中，该装置还包括：
距离获取模块，用于获取大于该距离阈值的至少一个该移动距离；
画面获取模块，用于获取至少一个该移动距离所对应的多个该第二目标视频画面；
标注添加模块，用于基于多个该第二目标视频画面的播放时刻，在该目标视频的播放界面中添加标注信息，该标注信息用于指示该载具处于异常状态。
在一种可能实现方式中，该标注添加模块用于：
基于该多个该第二目标视频画面的播放时刻，确定该载具处于异常状态的起始时刻和结束时刻；
在该起始时刻和该结束时刻添加该标注信息。
一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器加载并执行以实现该直播媒体流获取方法所执行的操作。
一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行以实现该直播媒体流获取方法所执行的操作。
本申请实施例提供的技术方案，通过从目标视频的各个视频画面中获取显示有载具标识的多个视频画面，作为多个第一目标视频画面，基于该多个第一目标视频画面中所显示地图图像的位置变化信息，确定该载具的移动距离，当任一该移动距离大于距离阈值时，确定该载具处于异常状态。在上述方法中，基于视频画面中所显示的载具的行驶速度数值与载具的实际移动距离，确定载具是否处于异常状态，无需客户端将载具的行驶数据发送至服务器，避免被客户端的虚假数据所干扰，提高了载具异常状态检测的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于视频的载具异常状态检测方法的实施环境示意图；
图2是本发明实施例提供的一种基于视频的载具异常状态检测方法的流程图；
图3是本申请实施例提供的一种第一中间种视频画面的示意图；
图4是本申请实施例提供的一种第一候选视频画面的确定方法示意图；
图5是本申请实施例提供的一种候选框示意图；
图6是本申请实施例提供的一种行驶速度数值确定方法的示意图；
图7是本申请实施例提供的一种特征点示意图；
图8是本申请实施例提供的一种移动距离确定方式的示意图；
图9是本申请实施例提供的一种播放界面的示意图；
图10是本申请实施例提供的一种基于视频的载具异常状态检测方法示意图；
图11是本申请实施例提供的一种基于视频的载具异常状态检测装置的结构示意图；
图12是本申请实施例提供的一种终端的结构示意图；
图13是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。
为了便于理解本申请实施例的技术过程，下面对本申请实施例所涉及的一些名词进行解释：
载具：虚拟场景中的车辆，用户可以控制虚拟对象乘坐载具，以提高虚拟对象在虚拟场景中的移动速度。
外挂：是指通过修改游戏数据而为玩家谋取利益的作弊程序或软件，例如，这对游戏中载具的外挂有飞车外挂等，飞车外挂可以使游戏中的车辆，也即是载具在虚拟场景中飞行前进。
图1是本申请实施例提供的一种基于视频的载具异常状态检测方法的实施环境示意图。该实施环境可以包括：终端110和应用服务平台140。
终端110通过无线网络或有线网络与应用服务平台110相连。终端110可以是智能手机、台式计算机、平板电脑、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机中的至少一种。终端110安装和运行有支持视频播放的应用程序。该应用程序可以是载具状态检测类应用程序等，例如，可以为外挂检测应用程序。示例性的，终端110是用户使用的终端，终端110中运行的应用程序内登录有用户账号。
终端110通过无线网络或有线网络与应用服务平台140相连。
应用服务平台140包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。应用服务平台140用于为支持载具状态检测的应用程序提供后台服务。可选地，应用服务平台140承担主要检测工作，终端110承担次要检测工作；或者，应用服务平台140承担次要检测工作，终端110承担主要检测工作；或者，应用服务平台140或终端110分别可以单独承担检测工作。
可选地，应用服务平台140包括：接入服务器、载具状态检测服务器和数据库。接入服务器用于为终端110提供接入服务。载具状态检测服务器用于提供载具状态检测有关的后台服务。载具状态检测服务器可以是一台或多台。当载具状态检测服务器是多台时，可以存在至少两台载具状态检测服务器用于提供不同的服务，也可以存在至少两台载具状态检测服务器用于提供相同的服务，比如以负载均衡方式提供同一种服务，本申请实施例对此不加以限定。载具状态检测服务器中可以设置有图像识别模型、字符识别模型、移动距离计算模型等。
终端110可以泛指多个终端中的一个，本实施例仅以终端110来举例说明。
本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量，此时上述图像识别系统还包括其他终端。本申请实施例对终端的数量和设备类型不加以限定。
图2是本发明实施例提供的一种基于视频的载具异常状态检测方法的流程图。该方法可以应用于上述终端或者服务器，而终端和服务器均可以视为一种计算机设备，因此，本发明实施例基于计算机设备作为执行主体来进行介绍，参见图2，该方法具体可以包括以下步骤：
201、计算机设备获取目标视频的各个视频画面。
其中，该目标视频可以为游戏回放视频。
在一种可能实现方式中，用户在任一终端进行游戏时，该任一终端可以对预设区域内的游戏展示界面进行录制，该预设区域以该用户为中心，其具体大小可以由开发人员进行设置，该游戏展示界面可以包括该用户所控制的虚拟对象以及该虚拟对象所在的虚拟场景。在一种可能实现方式中，当该任一终端检测到该用户被击杀时，可以获取该用户被击杀时刻前后，目标时长内的视频片段作为该目标视频；当然，该计算机设备还可以接收用户的举报指令，获取接收到该举报指令时刻前后，目标时长内的视频片段作为该目标视频。其中，该目标时长可以由开发人员进行设置，本申请实施例对此不作限定。该任一终端可以将该目标视频发送至该游戏所对应的服务器，该计算机设备可以从该服务器中获取该目标视频，对该目标视频进行解析，得到多个视频画面。在游戏中，用户被击杀时或用户触发举报指令时，载具处于异常状态的概率较大，该计算机设备获取用户被击杀时刻前后的视频片段作为目标视频，或者获取接收到举报指令时刻前后的视频片段作为目标视频，基于该目标视频执行后续的载具异常状态检测步骤，可以大大降低计算机设备的数据处理量，提高检测速度。
需要说明的是，上述对获取目标视频过程的说明仅是一种目标视频获取方式的示例性说明，本申请实施例对具体采用哪种目标视频获取方式不作限定。
202、计算机设备在该各个视频画面中，获取显示有载具标识的视频画面作为第一候选视频画面。
在一种可能实现方式中，该计算机设备可以对该各个视频画面进行图像识别，判断各个视频画面中是否显示有载具标识，将显示有该载具标识的视频画面作为该第一候选画面。
在一种可能实现方式中，为提高视频数据的处理速度，该计算机设备可以通过跳帧的方式，从该各个视频帧中获取多个第一候选视频帧，在本申请实施例中，该过程具体可以包括以下步骤：
步骤一、该计算机设备在该各个视频画面中，每隔预设数量的视频帧获取一个该视频画面，得到多个第一中间视频画面。
其中，该预设数量可以由开发人员进行设置，例如，可以设置为每隔47帧获取一个视频画面，本申请实施例对该预设数量的具体数值不作限定。
步骤二、该计算机设备对每个该第一中间视频画面中第一区域的图像进行图像识别。
其中，该第一区域可以为该第一中间视频画面的任一区域，该第一区域可以显示有载具标识，参见图3，图3是本申请实施例提供的一种第一中间种视频画面的示意图，该第一中间种视频画面301中可以显示有用户所控制的虚拟对象所处的虚拟场景，以该第一区域为该第一中间视频画面301的左下方区域为例，该第一区域302中可以显示有载具标识303。
在一种可能实现方式中，该计算机设备可以截取各个第一中间视频画面中第一区域的图像，得到多个第一图像，通过图像识别模型对各个第一图像进行识别，判断各个第一图像中是否包括该载具标识。具体地，当该第一中间视频画面为宽1280像素、高720像素大小的图像，该第一区域的左上顶点坐标为(210，550)，该第一区域的大小为宽140像素、高80像素时，该计算机设备可以将坐标为(210，550)的像素点作为左上顶点，在各个第一中间视频画面中，截取宽140像素、高80像素的图像，得到多个第一图像，将各个第一图像输入该图像识别模型。
在本申请实施例中，该图像识别模型可以为二分类的CNN(Convolutional NeuralNetworks，卷积神经网络)模型，该CNN模型可以包括一个Input(输入)层、两个Conv2D(二维卷积)层、一个Max Pooling(最大池化)层、两个Dropout(随机失活)层、一个Flatten(扁平)层和两个Dense(全连接层)，该CNN模型中各个运算层输出矩阵或向量的大小以及各个运算层的参数量可以如表1所示。
表1
运算层 运算层输出 参数量
Input (None,80,140,3)
Conv2D (None,76,136,32) 896
Conv2D (None,76,136,64) 18496
Max Pooling (None,38,68,64) 0
Dropout (None,38,68,64) 0
Flatten (None,165376) 0
Dense (None,128) 21168256
Dropout (None,128) 0
Dense (None,2) 258
该CNN模型可以通过第一训练样本集进行训练，该第一训练样本集可以包括和属于不同类别的第一样本图像，例如，包含在载具标识的第一样本图像属于一类，不包含载具标识的第一样本图像属于另一类，该第一训练样本集可以包括1000张第一样本图像，每种类别的第一样本图像各500张，各个第一样本图像中可以添加有样本标注信息，该CNN模型可以基于该第一样本图像以及该样本标注信息，学习到各类图像的特征。以该图像识别模型对一个第一图像进行识别为例，在一种可能实现方式中，该计算机设备可以通过图像识别模型的输入层对该第一图像进行预处理，将该第一图像转化为由多个像素值组成的数字矩阵；由二维卷积层基于该数字矩阵进行卷积运算，以提取该第一图像的图像特征，得到该第一图像的第一特征图；该计算机设备可以将该第一特征图输入下一个二维卷积层，继续进行卷积运算，得到该第一图像的第二特征图；通过最大池化层对该第二特征图进行降维处理，再将降维处理后的第二特征图转换为一个特征向量；通过两个全连接层对图像特征进行整合、映射，得到该第一图像的所属类别，例如，该包含载具标识的第一图像属于一类，不包含载具标识的第一图像属于另一类。当然，该图像识别模型中，还可以通过两个随机失活层来避免过拟合问题。
具体地，以其中一个二维卷积层为例对上述卷积运算过程进行说明，一个二维卷积层可以包括一个或多个卷积核，每个卷积核对应一个扫描窗口，该扫描窗口的大小与该卷积核的大小相同，在卷积核进行卷积运算的过程中，该扫描窗口可以按照目标步长在该第一图像的特征图上滑动，依次扫描该特征图的各个区域，其中，该目标步长可以由开发人员进行设置。以一个卷积核为例，在卷积运算的过程中，当该卷积核的扫描窗口滑动至特征图的任一区域时，该计算机设备读取该区域中各个特征点对应的数值，将该卷积核与该各个特征点对应的数值进行点乘运算，再对各个乘积进行累加，将累加结果作为一个特征点。之后，该卷积核的扫描窗口按照目标步长滑动至特征图的下一区域，再次进行卷积运算，输出一个特征点，直至该特征图的全部区域扫描完毕，将输出的全部特征点组成一个特征图，作为下一个运算层的输入。
需要说明的是，上述通过图像识别模型对第一图像进行识别的描述，仅是一种图像识别方式的示例性说明，本申请实施例对应用哪种图像识别以及图像识别的具体方法不作限定。
步骤三、该计算机设备获取显示有该载具标识的多个该第一中间视频画面，作为第二中间视频画面。
在一种可能实现方式中，该计算机设备可以获取包含载具标识的多个第一图像，将各个第一图像所属于的第一中间视频画面作为第二中间视频画面。
步骤四、该计算机设备获取多个该第二中间视频画面、相邻两个该第二中间视频画面之间的视频画面，作为该第一候选视频画面。
参见图4，图4是本申请实施例提供的一种第一候选视频画面的确定方法示意图，该计算机设备可以采用跳帧的方式，从多个视频画面401中抽取第一中间视频画面402、第一中间视频画面403、第一中间视频画面404，对抽取出的各个第一中间视频画面进行图像识别，当第一中间视频画面403、第一中间视频画面404包含载具标识时，该计算机设备可以将第一中间视频画面403、第一中间视频画面404作为第二中间视频画面，将两个第二中间视频画面以及两者之间的视频画面，确定为第一候选视频画面405。
203、计算机设备对该第一候选视频画面中的目标区域进行字符识别，得到该载具的行驶速度数值。
其中，该目标区域可以为该第一候选视频画面中的任一区域，该目标区域中可以显示有该载具的行驶速度数值。
在一种可能实现方式中，该计算机设备可以对各个第一候选视频画面中的目标区域进行字符识别，将识别结果作为该载具的行驶速度数值。
在一种可能实现方式中，为提高视频数据的处理速度，该计算机设备可以通过跳帧的方式，从各个第一候选视频画面中获取部分视频画面进行字符识别，得到该载具的行驶速度数值，具体地，该计算机设备在各个该第一候选视频画面中，每隔目标数量的视频帧获取一个该第一候选视频画面，得到多个第二候选视频画面，其中，该目标数量可以由开发人员进行设置，例如，可以设置为每隔11帧获取一个第一候选视频画面。该计算机设备可以对各个该第二候选视频画面中的目标区域进行字符识别，得到该行驶速度数值。
需要说明的是，本申请实施例对该计算机设备对哪些第一候选视频画面进行识别不作限定，以该计算机设备对该第二候选视频画面中目标区域进行字符识别为例，在一种可能实现方式中，该过程可以包括以下步骤：
步骤一、该计算机设备获取该第二候选视频画面中目标区域的图像，作为第二图像。
其中，该目标区域可以为该第二候选视频画面中的任一区域，该目标区域中可以显示有载具的行驶速度数值。
该计算机设备可以截取各个第二候选视频画面中的目标区域的图像，得到多个第二图像。具体地，当该第二候选视频画面为宽1280像素、高720像素大小的图像，该目标区域的左上顶点坐标为(267，584)，该目标区域的大小为宽40像素、高20像素时，该计算机设备可以以坐标为(267，584)的像素点为左上顶点，在各个第二候选视频画面中，截取宽40像素、高20像素大小的图像，得到多个第二图像。
步骤二、该计算机设备基于多个候选框，对该第二图像进行切分，得到多个子图像。
其中，各个候选框的大小和位置可以由开发人员进行设置，本申请实施例对此不做限定。图5是本申请实施例提供的一种候选框示意图，参见图5，该计算机设备可以通过9个不同大小和位置的候选框，对该第二图像进行切分。其中，可以包括5个大小为高20像素、宽10像素的候选框H1、H2、H3、H5、H6，4个大小为高20像素、宽5像素的候选框H4、H7、H8、H9，各个候选框相对于该第二图像的位置可以是固定的。
步骤三、该计算机设备将该多个子图像输入字符识别模型，由该字符识别模型对各个该子图像中的字符进行识别，基于该字符识别模型的识别结果，确定该行驶速度数值。
在本申请实施例中，该字符识别模型可以对各个子图像中的数字进行识别，以该字符识别模型为CNN(Convolutional Neural Networks，卷积神经网络)模型为例，该CNN模型可以包括一个Input(输入)层、两个Conv2D(二维卷积)层、一个Max Pooling(最大池化)层、两个Dropout(随机失活)层、一个Flatten(扁平)层和两个Dense(全连接层)，该CNN模型中各个运算层输出矩阵或向量的大小以及各个运算层的参数量可以如表2所示。
表2
运算层 运算层输出 参数量
Input (None,20,10,3)
Conv2D (None,18,8,32) 896
Conv2D (None,16,6,64) 18496
Max Pooling (None,8,3,64) 0
Dropout (None,8,3,64) 0
Flatten (None,1536) 0
Dense (None,128) 196736
Dropout (None,128) 0
Dense (None,12) 1548
该CNN模型可以通过第二训练样本集进行训练，该第二训练样本集可以包括和属于不同类别的第二样本图像，例如，包含相同数字的第二样本图像属于同一类。一个第二样本图像可以对应于一个数字标签，该数字标签可以用于指示第二样本图像中所包含的数字，在本申请实施例中，可以设置12个数字标签，数字标签0至9分别对应数字0、1、2、3、4、5、6、7、8、9，数字标签11对应数字11，数字标签12对应unknown(未知字符)。该CNN模型可以基于该第二样本图像以及该数字标签，学习到各个数字的特征。该CNN模型对各个子图像进行字符识别的过程与步骤202中对第一图像进行图像识别的过程同理，在此不做赘述。
需要说明的是，上述通过字符识别模型对目标区域进行字符识别的描述，仅是一种字符识别方式的示例性说明，该计算机设备也可以基于OCR(Optical CharacterRecognition，光学字符识别)技术等对目标区域中的字符进行识别，本申请实施例对应用哪种字符识别模型以及字符识别的具体方法不作限定。
在一种可能实现方式中，该计算机设备可以基于各个子图像所对应的数字以及各个子图像在该第二图像中的位置，确定该第二图像中所显示的数字，即该载具的行驶速度数值。参见图6，图6是本申请实施例提供的一种行驶速度数值确定方法的示意图，该计算机设备可以基于各个子图像所对应的数字以及各个子图像在该第二图像中的位置，得到一个数字标签序列601，基于各个数字标签所指示的数字，确定该行驶速度数值，例如，该数字标签序列可以为(11，9，12，1，12，12，12，12，12)，根据该数字标签序列以及各个数字标签所指示的信息，可以确定该第二图像中所显示的数字为119。
204、当任一该行驶速度数值小于该速度阈值时，计算机设备将任一该行驶速度数值所对应的第一候选视频画面确定为第一目标视频画面。
其中，该速度阈值可以由开发人员进行设置，例如，可以设置为30km/h，本申请实施例对该速度阈值的具体数值不作限定。
当该计算机设备采用跳帧的方式，从多个第一候选视频画面中获取第二候选视频画面进行字符识别时，该计算机设备可以获取满足条件的至少一个第二候选视频画面以及相邻两个满足条件的第二候选视频画面之间的视频画面，作为第一目标视频画面。其中，任一第二候选视频画面中所显示的行驶速度数值小于速度阈值时，该任一第二候选视频画面即为满足条件的第二候选视频画面。
需要说明的是，上述步骤203和步骤204，是基于该第一候选视频画面中所显示的该载具的行驶速度数值，确定该多个第一目标视频帧的过程，上述步骤201、步骤202、步骤203和步骤204，是从目标视频的各个视频画面中获取显示有载具标识的多个视频画面，作为多个第一目标视频画面的过程。由于相邻两个视频画面中所显示的行驶速度数值变化较小，在本申请实施例中，通过跳帧的方式，抽取部分视频画面进行图像识别，识别出视频画面中是否包括载具标识以及视频画面中显示的行驶速度数值，可以降低计算机设备的数据处理量，提高检测效率。
205、计算机设备在该多个第一目标视频画面中，每隔目标数量的视频帧获取一个该第一目标视频画面，得到多个第二目标视频画面。
在一种可能实现方式中，该计算机设备可对各个相邻的均执行后续的载具的移动距离计算步骤，但是，由于相邻两个视频画面中，载具的位置变化较小，且对每一个第一目标视频画面都进行处理，会大大增加计算机设备的数据处理量，影响检测效率，在本申请实施例中，采用跳帧的方式，从多个第一目标视频画面中获取等间隔的多个第二目标视频画面。
206、计算机设备将相邻的两个该第二目标视频画面的第二区域中所显示的地图图像，分别确定为第一地图图像和第二地图图像。
其中，该第二区域可以为该第二目标视频画面中的任一区域，该第二区域中可以显示有地图图像，该地图图像可以为虚拟场景缩略图中的部分图像，例如，在射击类游戏中，该地图图像可以为游戏画面中所显示的小地图。
207、计算机设备获取该第一地图图像中第一目标特征点与该第二地图图像中第二目标特征点之间的位置变化信息，作为该第一地图图像与该第二地图图像之间的位置变化信息。
在一种可能实现方式中，该计算机设备计算该第一目标特征点与该第二目标特征点之间的位置变化信息，具体可以包括以下步骤：
步骤一、该计算机设备基于该第一地图图像中各个第一特征点与该第二地图图像中各个第二特征点的匹配度，得到多个特征对，一个该特征对包括一个该第一特征点以及一个该第二特征点。
其中，特征点可以为地图图像中比周围图像更亮或者更暗的像素点，以射击类游戏中的小地图为例，该特征点可以为房屋的边角、道路的转折点等。
该计算机设备可以基于SURF(Speeded Up Robust Features，加速稳健特征)算法、SIFT(Scale-invariant feature transform，尺度不变特征变换)算法、角点检测算法等，分别从该第一地图图像和该第二地图图像中提取多个特征点。图7是本申请实施例提供的一种特征点示意图，参见图7，该第一地图图像701中可以包括特征点KP11和特征点KP21，该第二地图图像702中可以包括特征点KP12和特征点KP22。需要说明的是，本申请实施例对具体采用哪种方式获取特征点不作限定。
该计算机设备可以对两个地图图像中的特征点进行匹配，得到多个特征对，具体地，该计算机社可以从第一地图图像中选取一个第一特征点，计算该第一特征点与第二地图图像中各个第二特征点之间匹配度，在一种可能实现方式中，该计算机设备可以计算该第一特征点与第二地图图像中各个第二特征点之间的距离，例如可以计算两个特征点之间的L2距离，两个特征点之间的距离越近，匹配度越大，该计算机设备可以从第二地图图像中获取与该第一特征点距离最近的一个第二特征点，将这两个特征点组成一个特征对。当然，该计算机设备也可以计算两个特征点之间的L1距离，本申请实施例对具体采用哪种距离计算方法不作限定。
以图7所示的特征点为例，该计算机设备可以分别计算特征点KP11和特征点KP12、特征点KP22之间的距离，分别计算特征点KP21和特征点KP12、特征点KP22之间的距离，若特征点KP11与特征点KP12之间的距离小于与特征点KP22之间的距离，特征点KP21与特征点KP22之间的距离小于与特征点KP12之间的距离，则该计算机设备可以将特征点KP11与特征点KP12组成一个特征对，将特征点KP21与特征点KP22组成一个特征对。
步骤二、该计算机设备基于各个该特征对中该第一特征点与该第二特征点的位置信息，计算该第一地图图像和该第二地图图像之间的像素差值。
在本申请实施例中，该计算机设备找到多个特征对后，需要筛选除符合条件的特征对，符合条件的特征对中，两个特征点在不同地图图像中实际指示的位置相同，也即是，当根据两个特征点对两个地图图像进行移动之后，两个地图图像的重叠部分是可以完全重合的，也即是两个地图图像的重叠部分的平均像素差趋近于0。
对于一个该特征对，该计算机设备可以基于其中该第一特征点的位置、该第二特征点的位置，将该第一地图图像和该第二地图图像进行重叠，使该第一特征点与该第二特征点重合，获取该第一地图图像与该第二地图图像重叠区域的像素差值。在一种可能实现方式中，该计算机设备可以通过下述公式(1)，计算两个地图图像重叠部分的像素差。
Figure BDA0002328910840000151
其中，MeanScore(平均值)可以表示平均像素差，G1可以表示第一地图图像对应的像素值矩阵，G2可以表示第二地图图像对应的像素值矩阵，OG可以用于表示第一地图图像与第二地图图像的重叠区域，p可以表示该重叠区域中的一个像素点。
步骤三、该计算机设备获取数值最小的该像素差值所对应的一个特征对，作为目标特征对，将该目标特征对中的两个特征点作为该第一目标特征点、该第二目标特征点。
以图7所示的特征点为例，该计算机设备可以基于特征点KP11与特征点KP12计算一个平均像素差数值KP1MeanScore，作为第一平均像素差，基于特征点KP21与特征点KP22计算一个平均像素差数值KP2MeanScore，作为第二平均像素差。当该第一平均像素差小于该第二平均像素差时，该计算机设备可以将特征点KP11与特征点KP12组成的特征对作为该目标特征对，特征点KP11为第一目标特征点，特征点KP12为第二目标特征点。
步骤四、该计算机设备基于该第一目标特征点的位置信息以及该第二目标特征点的位置信息，确定该第一目标特征点与该第二目标特征点之间的位置变化信息。
其中，该第一目标特征点与该第二目标特征点之间的位置变化信息，即为该第一特征点经过平移与该第二特征点进行重合时所需的移动距离。在一种可能实现方式中，该计算机设备可以获取该第一目标特征点在该第一地图图像中的位置坐标、该第二目标特征点在该第二地图图像中的位置坐标，基于两个位置坐标确定该移动距离。需要说明的是，本申请实施例对具体采用哪种方式获取该第一目标特征点与该第二目标特征点之间的位置变化信息不作限定。
在一种可能实现方式中，该计算机设备可以将该第一目标特征点与该第二目标特征点之间的位置变化信息，作为该第一地图图像与该第二地图图像之间的位置变化信息。
208、计算机设备基于该第一地图图像与该第二地图图像之间的位置变化信息，确定该载具的移动距离。
在一种可能实现方式中，该计算机设备可以将该第一目标特征点与该第二目标特征点之间的位置变化信息，作为该载具的移动距离。
图8是本申请实施例提供的一种移动距离确定方式的示意图，参见图8，该计算机设备可以从第一地图图像801中提取特征点KP11、特征点KP21，从第二地图图像802中提取特征点KP12、特征点KP22，对各个特征点进行匹配，得到特征对，基于各个特征对中特征点的位置信息，对第一地图图像和第二地图图像进行重叠，基于特征点KP11、特征点KP12，得到的重叠部分OG1如803所示，基于特征点KP21、特征点KP22，得到的重叠部分OG2如804所示，该计算机设备还可以获取各个特征对中特征点进行移动重合时，所对应的移动向量，该计算机设备可以分别计算重叠部分OG1、重叠部分OG2的平均像素差，若重叠部分OG1对应的平均像素差KP1MeanScore＝7.07，重叠部分OG2对应的平均像素差KP2MeanScore＝26.63，则基于特征点KP11、特征点KP12所对应的移动向量，确定两个特征点之间的位置变化信息，也即是两个地图图像之间的位置变化信息，也即是载具的移动距离。
需要说明的是，上述步骤206、步骤207和步骤208，是基于相邻的两个该第二目标视频画面中所显示地图图像的位置变化信息，确定该载具的移动距离的过程。在本申请实施例中，通过计算游戏界面中小地图的位置变化信息，来确定载具在游戏中的移动距离，可以确保得到的移动距离的准确性，获取到游戏中载具的真实行驶状态，提高载具异常状态检测结果的准确性。
上述步骤205至步骤208，是基于该多个第一目标视频画面中所显示地图图像的位置变化信息，确定该载具的移动距离的步骤。在本申请实施例中，通过跳帧的方式，获取多个第二目标视频画面，对相邻的两个第二目标视频画面进行处理，得到载具的实际移动距离，可以降低计算机设备的运算量，提高检测效率。
209、当任一该移动距离大于距离阈值时，计算机设备确定该载具处于异常状态。
其中，该距离阈值可以由开发人员进行设置，例如，可以设置为6，本申请实施例对该距离阈值的具体数值不作限定。
本申请实施例提供的技术方案，通过从目标视频的各个视频画面中获取显示有载具标识的多个视频画面，作为多个第一目标视频画面，基于该多个第一目标视频画面中所显示地图图像的位置变化信息，确定该载具的移动距离，当任一该移动距离大于距离阈值时，确定该载具处于异常状态。在上述方法中，基于视频画面中所显示的载具的行驶速度数值与载具的实际移动距离，确定载具是否处于异常状态，无需客户端将载具的行驶数据发送至服务器，避免被客户端的虚假数据所干扰，提高了载具异常状态检测的准确性。
上述实施例主要介绍了计算机设备基于目标视频检测载具是否处于异常状态的过程，在本申请实施例中，该计算机设备检测到载具处于异常状态后，可以在该目标视频的播放界面中，添加标注信息，便于开发人员对该计算机设备的检测结果进行复核。
在一种可能实现方式中，该计算机设备可以获取大于该距离阈值的至少一个该移动距离，获取至少一个该移动距离所对应的多个该第二目标视频画面，基于多个该第二目标视频画面的播放时刻，在该目标视频的播放界面中添加标注信息，该标注信息用于指示该载具处于异常状态。具体地，该计算机设备可以基于该多个该第二目标视频画面的播放时刻，确定该载具处于异常状态的起始时刻和结束时刻，在该起始时刻和该结束时刻添加该标注信息。参见图9，图9是本申请实施例提供的一种播放界面的示意图，该播放界面可以包括视频播放区域901和视频播放进度栏902，该计算机设备可以在视频播放进度栏902中添加标注信息，例如，可以将该载具处于异常状态的起始时刻和结束时刻，在视频播放进度栏中标注出，在该载具处于异常状态的起始时刻和结束时刻添加提示信息等。
参见图10，图10是本申请实施例提供的一种基于视频的载具异常状态检测方法示意图，该计算机设备可以基于图像识别模型1001对视频画面1002中的载具标识进行识别，当确定用户所控制的虚拟对象处于乘坐载具状态时，通过字符识别模型1003对视频画面1004中的字符进行识别，得到载具的行驶速度数值，该计算机设备通过移动距离计算模型1005，计算出载具的实际移动距离，当视频画面中所显示的行驶速度数值小于速度阈值，载具的实际移动距离大于距离阈值时，确定该载具处于异常状态。在上述检测过程中，通过多个模型的融合，确定载具的行驶速度和移动距离的问题，检测载具是否处于异常状态，根据检测结果在目标视频中进行标注，可以将标注后提供给开发人员，极大提高了开发人员处理这飞车外挂的速度，从而打击外挂行为，保护游戏环境的公平公正。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
图11是本申请实施例提供的一种基于视频的载具异常状态检测装置的结构示意图，参见图11，该装置包括：
画面确定模块1101，用于从目标视频的各个视频画面中获取显示有载具标识的多个视频画面，作为多个第一目标视频画面；
距离确定模块1102，用于基于该多个第一目标视频画面中所显示地图图像的位置变化信息，确定该载具的移动距离；
状态确定模块1103，用于当任一该移动距离大于距离阈值时，确定该载具处于异常状态。
在一种可能实现方式中，该画面确定模块1101用于：
获取该目标视频的各个视频画面；
在该各个视频画面中，获取显示有载具标识的视频画面作为第一候选视频画面；
基于该第一候选视频画面中所显示的该载具的行驶速度数值，确定多个第一目标视频帧。
在一种可能实现方式中，该画面确定模块1101用于：
在该各个视频画面中，每隔预设数量的视频帧获取一个该视频画面，得到多个第一中间视频画面；
对每个该第一中间视频画面中第一区域的图像进行图像识别；
获取显示有该载具标识的多个该第一中间视频画面，作为第二中间视频画面；
获取多个该第二中间视频画面、相邻两个该第二中间视频画面之间的视频画面，作为该第一候选视频画面。
在一种可能实现方式中，该画面确定模块1101用于：
对该第一候选视频画面中的目标区域进行字符识别，得到该载具的行驶速度数值；
当任一该行驶速度数值小于速度阈值时，将任一该行驶速度数值所对应的第一候选视频画面确定为第一目标视频画面。
在一种可能实现方式中，该画面确定模块1101用于：
在各个该第一候选视频画面中，每隔目标数量的视频帧获取一个该第一候选视频画面，得到多个第二候选视频画面；
对各个该第二候选视频画面中的目标区域进行字符识别，得到该行驶速度数值。
在一种可能实现方式中，该画面确定模块1101用于：
获取该第二候选视频画面中目标区域的图像，作为第二图像；
基于多个候选框，对该第二图像进行切分，得到多个子图像；
将该多个子图像输入字符识别模型，由该字符识别模型对各个该子图像中的字符进行识别，基于该字符识别模型的识别结果，确定该行驶速度数值。
在一种可能实现方式中，该距离确定模块1102用于：
在该多个第一目标视频画面中，每隔目标数量的视频帧获取一个该第一目标视频画面，得到多个第二目标视频画面；
基于相邻的两个该第二目标视频画面中所显示地图图像的位置变化信息，确定该载具的移动距离。
在一种可能实现方式中，该距离确定模块1102用于：
将相邻的两个该第二目标视频画面的第二区域中所显示的地图图像，分别确定为第一地图图像和第二地图图像；
获取该第一地图图像中第一目标特征点与该第二地图图像中第二目标特征点之间的位置变化信息，作为该第一地图图像与该第二地图图像之间的位置变化信息；
基于该第一地图图像与该第二地图图像之间的位置变化信息，确定该载具的移动距离。
在一种可能实现方式中，该距离确定模块1102用于：
基于该第一地图图像中各个第一特征点与该第二地图图像中各个第二特征点的匹配度，得到多个特征对，一个该特征对包括一个该第一特征点以及一个该第二特征点；
基于各个该特征对中该第一特征点与该第二特征点的位置信息，计算该第一地图图像和该第二地图图像之间的像素差值；
获取数值最小的该像素差值所对应的一个特征对，作为目标特征对，将该目标特征对中的两个特征点作为该第一目标特征点、该第二目标特征点；
基于该第一目标特征点的位置信息以及该第二目标特征点的位置信息，确定该第一目标特征点与该第二目标特征点之间的位置变化信息。
在一种可能实现方式中，该距离确定模块1102用于：
对于一个该特征对，基于其中该第一特征点的位置、该第二特征点的位置，将该第一地图图像和该第二地图图像进行重叠，使该第一特征点与该第二特征点重合；
获取该第一地图图像与该第二地图图像重叠区域的像素差值。
在一种可能实现方式中，该装置还包括：
距离获取模块，用于获取大于该距离阈值的至少一个该移动距离；
画面获取模块，用于获取至少一个该移动距离所对应的多个该第二目标视频画面；
标注添加模块，用于基于多个该第二目标视频画面的播放时刻，在该目标视频的播放界面中添加标注信息，该标注信息用于指示该载具处于异常状态。
在一种可能实现方式中，该标注添加模块用于：
基于该多个该第二目标视频画面的播放时刻，确定该载具处于异常状态的起始时刻和结束时刻；
在该起始时刻和该结束时刻添加该标注信息。
本申请实施例提供的装置，通过基于目标视频的多个视频画面中所显示的载具的行驶速度数值，确定多个第一目标视频画面，每个第一目标视频画面中所显示的该行驶速度数值小于速度阈值，基于该多个第一目标视频画面中所显示地图图像的位置变化信息，确定该载具的移动距离，当任一该移动距离大于距离阈值时，确定该载具处于异常状态。应用上述装置，基于视频画面中所显示的载具的行驶速度数值与载具的实际移动距离，确定载具是否处于异常状态，无需客户端将载具的行驶数据发送至服务器，避免被客户端的虚假数据所干扰，提高了载具异常状态检测的准确性。
需要说明的是：上述实施例提供的基于视频的载具异常状态检测装置在基于视频检测载具异常状态时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于视频的载具异常状态检测装置与基于视频的载具异常状态检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述技术方案所提供的计算机设备可以实现为终端或服务器，例如，图12是本申请实施例提供的一种终端的结构示意图。该终端1200可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1200还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1200包括有：一个或多个处理器1201和一个或多个存储器1202。
处理器1201可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编s程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储至少一条程序代码，该至少一条程序代码用于被处理器1201所执行以实现本申请中方法实施例提供的基于视频的载具异常状态检测方法。
在一些实施例中，终端1200还可选包括有：外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地，外围设备包括：射频电路1204、显示屏1205、摄像头组件1206、音频电路1207、定位组件1208和电源1209中的至少一种。
外围设备接口1203可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中，处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上；在一些其他实施例中，处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1204用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1204包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1204还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1205用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时，显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时，显示屏1205还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1205可以为一个，设置终端1200的前面板；在另一些实施例中，显示屏1205可以为至少两个，分别设置在终端1200的不同表面或呈折叠设计；在一些实施例中，显示屏1205可以是柔性显示屏，设置在终端1200的弯曲表面上或折叠面上。甚至，显示屏1205还可以设置成非矩形的不规则图形，也即异形屏。显示屏1205可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1206用于采集图像或视频。可选地，摄像头组件1206包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1201进行处理，或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1207还可以包括耳机插孔。
定位组件1208用于定位终端1200的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1208可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1209用于为终端1200中的各个组件进行供电。电源1209可以是交流电、直流电、一次性电池或可充电电池。当电源1209包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1200还包括有一个或多个传感器1210。该一个或多个传感器1210包括但不限于：加速度传感器1211、陀螺仪传感器1212、压力传感器1213、指纹传感器1214、光学传感器1215以及接近传感器1216。
加速度传感器1211可以检测以终端1200建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1211可以用于检测重力加速度在三个坐标轴上的分量。处理器1201可以根据加速度传感器1211采集的重力加速度信号，控制显示屏1205以横向视图或纵向视图进行用户界面的显示。加速度传感器1211还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1212可以检测终端1200的机体方向及转动角度，陀螺仪传感器1212可以与加速度传感器1211协同采集用户对终端1200的3D动作。处理器1201根据陀螺仪传感器1212采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1213可以设置在终端1200的侧边框和/或显示屏1205的下层。当压力传感器1213设置在终端1200的侧边框时，可以检测用户对终端1200的握持信号，由处理器1201根据压力传感器1213采集的握持信号进行左右手识别或快捷操作。当压力传感器1213设置在显示屏1205的下层时，由处理器1201根据用户对显示屏1205的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1214用于采集用户的指纹，由处理器1201根据指纹传感器1214采集到的指纹识别用户的身份，或者，由指纹传感器1214根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1201授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1214可以被设置终端1200的正面、背面或侧面。当终端1200上设置有物理按键或厂商Logo时，指纹传感器1214可以与物理按键或厂商Logo集成在一起。
光学传感器1215用于采集环境光强度。在一个实施例中，处理器1201可以根据光学传感器1215采集的环境光强度，控制显示屏1205的显示亮度。具体地，当环境光强度较高时，调高显示屏1205的显示亮度；当环境光强度较低时，调低显示屏1205的显示亮度。在另一个实施例中，处理器1201还可以根据光学传感器1215采集的环境光强度，动态调整摄像头组件1206的拍摄参数。
接近传感器1216，也称距离传感器，通常设置在终端1200的前面板。接近传感器1216用于采集用户与终端1200的正面之间的距离。在一个实施例中，当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变小时，由处理器1201控制显示屏1205从亮屏状态切换为息屏状态；当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变大时，由处理器1201控制显示屏1205从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图12中示出的结构并不构成对终端1200的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图13是本申请实施例提供的一种服务器的结构示意图，该服务器1300可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central Processing Units，CPU)1301和一个或多个的存储器1302，其中，该一个或多个存储器1302中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器1301加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器1300还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器1300还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条程序代码的存储器，上述至少一条程序代码可由处理器执行以完成上述实施例中的基于视频的载具异常状态检测方法。例如，该计算机可读存储介质可以是只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact DiscRead-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来至少一条程序代码相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
上述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种基于视频的载具异常状态检测方法，其特征在于，所述方法包括：
从目标视频的各个视频画面中获取显示有载具标识的多个视频画面，作为多个第一目标视频画面；
基于所述多个第一目标视频画面中所显示地图图像的位置变化信息，确定所述载具的移动距离；
当任一所述移动距离大于距离阈值时，确定所述载具处于异常状态。
2.根据权利要求1所述的方法，其特征在于，所述从目标视频的各个视频画面中获取显示有载具标识的多个视频画面，作为多个第一目标视频画面，包括：
获取所述目标视频的各个视频画面；
在所述各个视频画面中，获取显示有所述载具标识的视频画面作为第一候选视频画面；
基于所述第一候选视频画面中所显示的所述载具的行驶速度数值，确定所述多个第一目标视频帧。
3.根据权利要求2所述的方法，其特征在于，所述在所述各个视频画面中，获取显示有载具标识的视频画面作为第一候选视频画面，包括：
在所述各个视频画面中，每隔预设数量的视频帧获取一个所述视频画面，得到多个第一中间视频画面；
对每个所述第一中间视频画面中第一区域的图像进行图像识别；
获取显示有所述载具标识的多个所述第一中间视频画面，作为第二中间视频画面；
获取多个所述第二中间视频画面、相邻两个所述第二中间视频画面之间的视频画面，作为所述第一候选视频画面。
4.根据权利要求2所述的方法，其特征在于，所述基于所述第一候选视频画面中所显示的所述载具的行驶速度数值，确定所述多个第一目标视频帧，包括：
对所述第一候选视频画面中的目标区域进行字符识别，得到所述载具的行驶速度数值；
当任一所述行驶速度数值小于速度阈值时，将任一所述行驶速度数值所对应的第一候选视频画面确定为第一目标视频画面。
5.根据权利要求4所述的方法，其特征在于，所述对所述第一候选视频画面中的目标区域进行字符识别，得到所述载具的行驶速度数值，包括：
在各个所述第一候选视频画面中，每隔目标数量的视频帧获取一个所述第一候选视频画面，得到多个第二候选视频画面；
对各个所述第二候选视频画面中的目标区域进行字符识别，得到所述行驶速度数值。
6.根据权利要求5所述的方法，其特征在于，所述对各个所述第二候选视频画面中的目标区域进行字符识别，得到所述行驶数据数值，包括：
获取所述第二候选视频画面中目标区域的图像，作为第二图像；
基于多个候选框，对所述第二图像进行切分，得到多个子图像；
将所述多个子图像输入字符识别模型，由所述字符识别模型对各个所述子图像中的字符进行识别，基于所述字符识别模型的识别结果，确定所述行驶速度数值。
7.根据权利要求1所述的方法，其特征在于，所述基于所述多个第一目标视频画面中所显示地图图像的位置变化信息，确定所述载具的移动距离，包括：
在所述多个第一目标视频画面中，每隔目标数量的视频帧获取一个所述第一目标视频画面，得到多个第二目标视频画面；
基于相邻的两个所述第二目标视频画面中所显示地图图像的位置变化信息，确定所述载具的移动距离。
8.根据权利要求7所述的方法，其特征在于，所述基于相邻的两个所述第二目标视频画面中所显示地图图像的位置变化信息，确定所述载具的移动距离，包括：
将相邻的两个所述第二目标视频画面的第二区域中所显示的地图图像，分别确定为第一地图图像和第二地图图像；
获取所述第一地图图像中第一目标特征点与所述第二地图图像中第二目标特征点之间的位置变化信息，作为所述第一地图图像与所述第二地图图像之间的位置变化信息；
基于所述第一地图图像与所述第二地图图像之间的位置变化信息，确定所述载具的移动距离。
9.根据权利要求8所述的方法，其特征在于，所述获取所述第一地图图像中第一目标特征点与所述第二地图图像中第二目标特征点之间的位置变化信息，包括：
基于所述第一地图图像中各个第一特征点与所述第二地图图像中各个第二特征点的匹配度，得到多个特征对，一个所述特征对包括一个所述第一特征点以及一个所述第二特征点；
基于各个所述特征对中所述第一特征点与所述第二特征点的位置信息，计算所述第一地图图像和所述第二地图图像之间的像素差值；
获取数值最小的所述像素差值所对应的一个特征对，作为目标特征对，将所述目标特征对中的两个特征点作为所述第一目标特征点、所述第二目标特征点；
基于所述第一目标特征点的位置信息以及所述第二目标特征点的位置信息，确定所述第一目标特征点与所述第二目标特征点之间的位置变化信息。
10.根据权利要求9所述的方法，其特征在于，所述基于各个所述特征对中所述第一特征点与所述第二特征点的位置信息，计算所述第一地图图像和所述第二地图图像之间的像素差值，包括：
对于一个所述特征对，基于其中所述第一特征点的位置、所述第二特征点的位置，将所述第一地图图像和所述第二地图图像进行重叠，使所述第一特征点与所述第二特征点重合；
获取所述第一地图图像与所述第二地图图像重叠区域的像素差值。
11.根据权利要求1所述的方法，其特征在于，所述当任一所述移动距离大于距离阈值时，确定所述载具处于异常状态之后，所述方法还包括：
获取大于所述距离阈值的至少一个所述移动距离；
获取至少一个所述移动距离所对应的多个所述第二目标视频画面；
基于多个所述第二目标视频画面的播放时刻，在所述目标视频的播放界面中添加标注信息，所述标注信息用于指示所述载具处于异常状态。
12.根据权利要求11所述的方法，其特征在于，所述基于多个所述第二目标视频画面的播放时刻，在所述目标视频的播放界面中添加标注信息，包括：
基于所述多个所述第二目标视频画面的播放时刻，确定所述载具处于异常状态的起始时刻和结束时刻；
在所述起始时刻和所述结束时刻添加所述标注信息。
13.一种基于视频的载具异常状态检测装置，其特征在于，所述装置包括：
画面确定模块，用于从目标视频的各个视频画面中获取显示有载具标识的多个视频画面，作为多个第一目标视频画面；
距离确定模块，用于基于所述多个第一目标视频画面中所显示地图图像的位置变化信息，确定所述载具的移动距离；
状态确定模块，用于当任一所述移动距离大于距离阈值时，确定所述载具处于异常状态。
14.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求12任一项所述的基于视频的载具异常状态检测方法所执行的操作。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如权利要求1至权利要求12任一项所述的基于视频的载具异常状态检测方法所执行的操作。
CN201911328150.4A 2019-12-20 2019-12-20 基于视频的载具异常状态检测方法、装置、设备及介质 Active CN111068333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911328150.4A CN111068333B (zh) 2019-12-20 2019-12-20 基于视频的载具异常状态检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911328150.4A CN111068333B (zh) 2019-12-20 2019-12-20 基于视频的载具异常状态检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111068333A true CN111068333A (zh) 2020-04-28
CN111068333B CN111068333B (zh) 2021-12-21

Family

ID=70316405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911328150.4A Active CN111068333B (zh) 2019-12-20 2019-12-20 基于视频的载具异常状态检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111068333B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105806307A (zh) * 2016-05-13 2016-07-27 中国航空工业集团公司西安飞机设计研究所 一种载具相对目标运动的测试方法
US9517402B1 (en) * 2013-12-18 2016-12-13 Epic Games, Inc. System and method for uniquely identifying players in computer games based on behavior and other characteristics
CN106846491A (zh) * 2017-01-03 2017-06-13 腾讯科技（深圳）有限公司 一种图像绘制方法以及相关装置
CN108043027A (zh) * 2017-11-27 2018-05-18 腾讯科技（上海）有限公司 存储介质、电子装置、游戏画面的显示方法和装置
CN108629180A (zh) * 2018-03-29 2018-10-09 腾讯科技（深圳）有限公司 异常操作的确定方法和装置、存储介质、电子装置
CN110090446A (zh) * 2019-05-14 2019-08-06 腾讯科技(成都)有限公司 用于处理游戏中的举报信息的方法和设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9517402B1 (en) * 2013-12-18 2016-12-13 Epic Games, Inc. System and method for uniquely identifying players in computer games based on behavior and other characteristics
CN105806307A (zh) * 2016-05-13 2016-07-27 中国航空工业集团公司西安飞机设计研究所 一种载具相对目标运动的测试方法
CN106846491A (zh) * 2017-01-03 2017-06-13 腾讯科技（深圳）有限公司 一种图像绘制方法以及相关装置
CN108043027A (zh) * 2017-11-27 2018-05-18 腾讯科技（上海）有限公司 存储介质、电子装置、游戏画面的显示方法和装置
CN108629180A (zh) * 2018-03-29 2018-10-09 腾讯科技（深圳）有限公司 异常操作的确定方法和装置、存储介质、电子装置
CN110090446A (zh) * 2019-05-14 2019-08-06 腾讯科技(成都)有限公司 用于处理游戏中的举报信息的方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
盐局机: ""和平精英：各种外挂技能展示，穿墙、瞬移、锁血，这游戏还能玩吗"", 《HTTPS://V.YOUKU.COM/V_SHOW/ID_XNDE5MTAXNZKYOA==.HTML》 *

Also Published As

Publication number Publication date
CN111068333B (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN109086709B (zh) 特征提取模型训练方法、装置及存储介质
CN111079576B (zh) 活体检测方法、装置、设备及存储介质
CN110807361B (zh) 人体识别方法、装置、计算机设备及存储介质
WO2020224479A1 (zh) 目标的位置获取方法、装置、计算机设备及存储介质
CN110222789B (zh) 图像识别方法及存储介质
CN110572711B (zh) 视频封面生成方法、装置、计算机设备及存储介质
CN110650379B (zh) 视频摘要生成方法、装置、电子设备及存储介质
CN110059652B (zh) 人脸图像处理方法、装置及存储介质
CN109117635B (zh) 应用程序的病毒检测方法、装置、计算机设备及存储介质
CN110544272A (zh) 脸部跟踪方法、装置、计算机设备及存储介质
CN109360222B (zh) 图像分割方法、装置及存储介质
CN112749613B (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN110570460A (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN110933468A (zh) 播放方法、装置、电子设备及介质
CN111506758A (zh) 物品名称确定方法、装置、计算机设备及存储介质
CN113395542A (zh) 基于人工智能的视频生成方法、装置、计算机设备及介质
CN111897996A (zh) 话题标签推荐方法、装置、设备及存储介质
CN113918767A (zh) 视频片段定位方法、装置、设备及存储介质
CN111068323A (zh) 智能速度检测方法、装置、计算机设备及存储介质
CN114741559A (zh) 确定视频封面的方法、设备及存储介质
CN110675473A (zh) 生成gif动态图的方法、装置、电子设备及介质
CN110232417B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN111353513B (zh) 一种目标人群筛选的方法、装置、终端和存储介质
CN111754272A (zh) 广告推荐方法、推荐广告显示方法、装置及设备
CN111611414A (zh) 车辆检索方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022132

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant