CN110909630B - 一种异常游戏视频检测方法和装置 - Google Patents

一种异常游戏视频检测方法和装置 Download PDF

Info

Publication number
CN110909630B
CN110909630B CN201911076693.1A CN201911076693A CN110909630B CN 110909630 B CN110909630 B CN 110909630B CN 201911076693 A CN201911076693 A CN 201911076693A CN 110909630 B CN110909630 B CN 110909630B
Authority
CN
China
Prior art keywords
video frame
game
video
scene
continuous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911076693.1A
Other languages
English (en)
Other versions
CN110909630A (zh
Inventor
张宇楠
雷植程
童丽霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911076693.1A priority Critical patent/CN110909630B/zh
Publication of CN110909630A publication Critical patent/CN110909630A/zh
Application granted granted Critical
Publication of CN110909630B publication Critical patent/CN110909630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70Game security or game management aspects
    • A63F13/75Enforcing rules, e.g. detecting foul play or generating lists of cheating players
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55Details of game data or player data management
    • A63F2300/5586Details of game data or player data management for enforcing rights or rules, e.g. to prevent foul play

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机技术领域,尤其涉及一种异常游戏视频检测方法和装置,该方法为,获取游戏视频帧序列;分别对所述游戏视频帧序列中每一视频帧中的游戏场景进行识别,确定所述每一视频帧对应的场景类别;根据所述每一视频帧对应的场景类别,确定异常游戏视频片段,这样,基于游戏视频帧序列,并结合场景类别进行异常检测,无需依赖后台数据,提高检测的准确性和效率。

Description

一种异常游戏视频检测方法和装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种异常游戏视频检测方法和装置。
背景技术
在各种应用程序中可能会存在外挂的异常程序,外挂为一种通过修改应用程序数据而谋取某种利益的非官方作弊程序或软件,例如,游戏外挂,从而导致出现一些异常行为,影响应用程序的使用,也损害了他人利益,造成了不良影响。
现有技术中的游戏外挂或异常行为检测方法,主要是采用在应用程序客户端的宿主机中加装防护软件,以禁止外挂软件的运行及对客户端数据的篡改,或者在服务器端通过对客户端返回的数据进行分析及特征检测,但是目前这些方法主要是从后台应用程序数据角度进行异常行为检测,而后台应用程序数据容易隐藏和篡改,从而导致检测不准确,也增加了其维护及运营成本。
发明内容
本申请实施例提供一种异常游戏视频检测方法和装置,以提高游戏异常行为检测的准确性。
本申请实施例提供的具体技术方案如下:
本申请一个实施例提供了一种异常游戏视频检测方法,包括:
获取游戏视频帧序列;
分别对所述游戏视频帧序列中每一视频帧中的游戏场景进行识别,确定所述每一视频帧对应的场景类别;
根据所述每一视频帧对应的场景类别,确定异常游戏视频片段。
本申请另一个实施例提供了一种异常游戏视频检测装置,包括:
获取模块,用于获取游戏视频帧序列;
识别模块,用于分别对所述游戏视频帧序列中每一视频帧中的游戏场景进行识别,确定所述每一视频帧对应的场景类别;
确定模块,用于根据所述每一视频帧对应的场景类别,确定异常游戏视频片段。
本申请另一个实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任一种异常游戏视频检测方法的步骤。
本申请另一个实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种异常游戏视频检测方法的步骤。
本申请实施例中,获取游戏视频帧序列;分别对所述游戏视频帧序列中每一视频帧中的游戏场景进行识别,确定所述每一视频帧对应的场景类别,进而根据所述每一视频帧对应的场景类别,确定异常游戏视频片段,这样,基于行为游戏视频帧序列进行检测,而不依赖于后台数据,解决了后台数据隐匿性强不容易检测而导致检测困难的问题,确定游戏视频帧序列的场景类别,从而根据每一帧视频帧的场景类别,确定出异常游戏视频片段,可以有效检测出异常行为,确定出现异常的游戏视频片段,提高异常检测的准确性和效率,降低人工审核的成本。
附图说明
图1为本申请实施例中异常游戏视频检测方法的应用架构示意图;
图2为本申请实施例中异常游戏视频检测方法流程图;
图3为本申请实施例中一种高跳场景界面效果图;
图4为本申请实施例中另一种高跳场景界面效果图;
图5为本申请实施例中异常游戏视频检测装置结构示意图;
图6为本申请实施例中终端结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,并不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为便于对本申请实施例的理解,下面先对几个概念进行简单介绍:
外挂:一种通过修改应用程序数据而谋取某种利益的非官方作弊程序或软件,例如游戏外挂,外挂程序通过篡改游戏客户端数据或其他手段以达到欺骗服务器来实现某些在正常游戏中不能实现的操作。
高跳外挂:即描述玩家在游戏中利用外挂使得人物跳起的高度超过正常游戏的跳起高度。
人工智能(Artificial Intelligence,AI):是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、三维(3Dimensions,3D)技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。例如,本申请实施例中可以通过计算机视觉技术中图像语义理解技术,实现视频帧的特征提取、分类等,可以对视频帧进行游戏场景识别和检测,确定视频帧所属的场景类别。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。例如,本申请实施例中,用于识别视频帧所属的场景类别的图像分类模型可以通过机器学习训练获得,该图像分类模型可以基于构建的网络结构进行不断训练和迭代学习,以提高分类识别的准确性。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的方案主要涉及人工智能的计算机视觉、机器学习等技术,具体通过如下实施例进行说明:
现有技术中,对于游戏外挂或异常行为检测,主要是采用在游戏客户端的宿主机中加装防护软件,以禁止外挂软件的运行及对客户端数据的篡改,或者在服务器端中通过对游戏客户端返回的数据进行分析及特征检测,在服务器端识别出外挂行为,但是目前这些方法主要是从后台应用程序数据角度进行异常行为检测,而后台应用程序数据容易隐藏和篡改,从而会导致检测不准确,可能会被不断变化的外挂程序所绕过,增加了其维护及运营成本,并且在游戏业务高并发的情况下,服务器端也不可能检查及保存游戏客户端产生的所有数据,这也增加了异常检测的难度。
因此为解决上述问题,本申请实施例中提供了一种新的异常游戏视频检测方法,基于游戏视频帧的图像表现特征,获取游戏视频帧序列,分别对每一视频帧中游戏场景进行识别,确定每一视频帧对应的场景类别,根据每一视频帧对应的场景类别,确定异常游戏视频片段,这样,针对游戏视频帧进行检测,可以提高检测的感知能力,避免了在后台数据层面对隐匿性较强的异常外挂进行分析寻找,可以有效检测和判别异常行为,提高异常行为检测准确性。
参阅图1所示,为本申请实施例中异常游戏视频检测方法的应用架构示意图,包括终端100、服务器200。
终端100可以是智能手机、平板电脑、便携式个人计算机等任何智能设备,终端100上安装有各种应用程序(Application,APP),例如,游戏客户端,本申请实施例中,考虑到玩家使用外挂来帮助完成某种操作时,必然会在游戏视频画面中得到反馈,因此基于此,可以分析不同场景下连续的游戏视频帧序列,确定正常或异常时视频帧的图像反馈的不同,从而可以直接利用视频帧进行异常行为检测,确定出异常游戏视频片段。
服务器200能够为终端100提供各种网络服务,对于终端100上不同的应用程序,服务器200可以认为是提供相应网络服务的后台服务器。
其中,服务器200可以是一台服务器、若干台服务器组成的服务器集群或云计算中心。
终端100与服务器200之间以通过互联网相连,实现相互之间的通信。可选地,上述的互联网使用标准通信技术和/或协议。互联网通常为因特网、但也可以是任何网络,包括但不限于局域网(Local Area Network,LAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中,使用包括超文本标记语言(Hyper Text Mark-up Language,HTML)、可扩展标记语言(Extensible Markup Language,XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer,SSL)、传输层安全(Transport Layer Security,TLS)、虚拟专用网络(Virtual Private Network,VPN)、网际协议安全(Internet Protocol Security,IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
需要说明的是,本申请实施例中异常游戏视频检测方法可以由服务器200侧执行,也可以由终端100侧执行,本申请实施例中并不进行限制,另外,本申请实施例中的图像分类模型的预先训练通常由服务器200执行,训练完成后可以在服务器200使用,也可以在终端100中使用,具体地可以分为以下两种实施方式:
1)若本申请实施例中的异常游戏视频检测方法由服务器200侧执行,则终端100可以实时或按照一定周期向服务器200上传游戏视频,进而服务器200可以获取到游戏视频帧序列,并对每一视频帧中的游戏场景进行识别,确定所属的场景类别,根据每一视频帧所属的类别,确定检测结果,从而确定出异常游戏视频片段,进而还可以将异常游戏视频检测结果返回给终端100,终端100可以进行提示和告警等。
具体地,服务器200可以包括处理器210(Center Processing Unit,CPU)、存储器220、输入设备230和输出设备240等,输入设备230可以包括键盘、鼠标、触摸屏等,输出设备240可以包括显示设备,如液晶显示器(Liquid Crystal Display,LCD)、阴极射线管(Cathode Ray Tube,CRT)等。
存储器220可以包括只读存储器(ROM)和随机存取存储器(RAM),并向处理器210提供存储器220中存储的程序指令和数据。在本发明实施例中,存储器220可以用于存储本发明实施例中任一种异常游戏视频检测方法的程序。
处理器210通过调用存储器220存储的程序指令,处理器210用于按照获得的程序指令执行本发明实施例中任一种异常游戏视频检测方法的步骤。
2)若本申请实施例中异常游戏视频检测方法由终端100执行,该异常游戏视频检测方法主要应用在终端100的游戏客户端中,则可以实时获取游戏视频帧序列,也可以获取用户举报的游戏视频帧序列,可以实现实时高效的异常行为检测。但是,这时需要考虑终端的性能限制,对于异常游戏视频检测方法,关键需要考虑的是用于异常游戏视频识别的图像分类模型,在设计图像分类模型时,要求其计算量较小,从而可以稳定运行在游戏客户端中。
例如,针对游戏客户端,考虑到通常游戏图像场景均来自游戏中,其多样程度不及真实世界的图像,特征有限,不需要搭建太复杂的网络结构即能达到一定效果,并且异常游戏视频检测方法若直接部署在游戏客户端,需要保证游戏和图像分类模型较高的运行性能,因此,对于一些复杂度和计算量较小的网络结构即可以满足需求,实现将本申请实施例中的异常游戏视频检测方法部署在终端100,提高异常行为检测的高效性和准确性。
为便于确定合适的图像分类模型的网络结构,下面先对几种常见的图像分类模型进行简单介绍。针对图像分类,主要包括传统的基于人工特征工程的分类方法和基于深度神经网络的自动抽取高维抽象特征的分类方法,其中,由于后者的易用性、准确度等优点,目前应用比较广泛,以下介绍几种较常用的深度神经网络的图像分类模型。
(1)残差网络(Residual Network,ResNet):该网络在采用小卷积核、批归一化等技术上,引用了残差模块,使得该网络在具有深层结构时能避免梯度消失导致的网络退化问题。这样可以有效堆叠小卷积核及全连接层,并且提高分类准确度,也因此其网络层数达到了152层,但是其计算量巨大,不适合于资源有限的终端设备。
(2)Xception:该网络是对InceptionV3的一种改进,主要使用了可分离卷积来替换原来的卷积操作,其基本思想是将图像通道之间的相关性和空间相关性分开处理,使得网络的表达能力更强,但是其主要目的仍在于提高准确度而并非对模型进行精简以降低计算需求。
(3)ShuffleNet:该网络主要为了优化可分离卷积中的占据大量运算量的逐点卷积操作,提出逐点群卷积,将通道先进行分组,然后按组为单位进行运算,以降低计算复杂度,而后为了解决分组之后通道组之间的信息流通问题,进行了通道混洗,消除了组卷积带来的副作用。该网络是个轻量级网络,具有较少计算量,适用于终端设备要求,但是其网络结构没有采用更科学的神经架构搜索,并非是针对资源受限情况的最优结构。
因此,本申请实施例中,通过对相关技术中图像分类模型的网络结构进行分析和比较,确定出可以使用适配于终端的高性能图像分类模型MobileNetV3模型,MobileNetV3模型是一个专注于使用参数少且计算量小的模块来搭建适合用于终端设备部署的图像分类网络,其网络架构基于网络结构搜索(neural architecture search,NAS)技术,即其网络结构是通过神经架构搜索得来,且在搜索过程中融合考虑了终端设备的使用性能及分类精度,使得最终的网络架构能够适应终端设备部署的性能和精度要求。目前MobileNetV3网络结构还可以分为Large及Small两种类型,分别对应高和低的计算存储需求,考虑到本申请实施例中的需求,因此本申请实施中可以采用Small网络结构作为基础,并根据输入的视频帧的分辨率特点进行细微调整,最终获得适用于本发明实施例的图像分类模型的网络结构。
这样,本申请实施例中的图像分类模型,可以基于MobileNetV3模型为基础,并进行适当调整,确定出更满足所需的图像分类模型,从而再结合检测策略,以实现异常行为的检测,确定出异常游戏视频片段,提高异常行为检测的效率和准确性。
当然,本申请实施例中,并不仅限于MobileNetV3模型,还可以使用其它更有效的图像分类模型,本申请实施例中并不进行限制。
需要说明的是,本申请实施例中的应用架构图是为了更加清楚地说明本申请实施例中的技术方案,并不构成对本申请实施例提供的技术方案的限制,也并不仅限于游戏业务,对于其它的应用架构和业务应用,本申请实施例提供的技术方案对于类似的问题,同样适用。下面本申请各个实施例中,以异常游戏视频检测方法应用于图1所示的应用架构为例进行示意性说明。
基于上述实施例,下面对本申请实施例中的异常游戏视频检测方法进行说明,参阅图2所示,为本申请实施例中异常游戏视频检测方法流程图,该方法包括:
步骤200:获取游戏视频帧序列。
执行步骤200时,具体包括:
S1、接收玩家举报信息。
S2、提取玩家举报信息中游戏对局标识。
S3、获取与游戏对局标识对应的游戏视频帧序列。
其中,获取与游戏对局标识对应的游戏视频帧序列,具体包括:
S3.1、查询与游戏对局标识对应的游戏视频文件。
S3.2、按照预设分帧参数对游戏视频文件进行分帧处理,得到游戏视频帧序列。
本申请实施例中,考虑到通常正常行为和异常行为在图像上表现的不同,不仅仅是通过单一图像体现,而是从连续图像的变化中体现,因此,为获得连续的游戏视频帧序列,输入可以为游戏视频,从而对其进行分帧,转化为连续的游戏视频帧序列,例如,某游戏,获得游戏视频文件,该游戏视频文件是20帧每秒,则可以按照一帧时间大小,获得每一帧的图像,并按照时间排序,即可以获得游戏视频帧序列。
其中,游戏视频可以是玩家举报所提供的游戏视频,可以减少人工审核工作量,例如,某玩家在玩游戏时,发现对方有一些异常行为,认为可能是使用了外挂,可以将出现异常的这段视频上传或举报,从而可以根据举报信息,从举报信息中提取游戏对局标识,获取与游戏对局标识对应的游戏视频帧序列,对这段视频进行异常行为检测。也可以是游戏客户端的实时游戏视频画面,即可以实时获取该游戏的游戏视频并进行异常行为检测,可以提高异常行为检测的实时性和准确性。
进一步地,为提高后续对视频帧识别的有效性和简便性,本申请实施例中在获取游戏视频帧序列之后,还可以对游戏视频帧序列进行预处理,具体可以包括以下几种可能的实施方式:
1)分别对每一视频帧进行下采样处理,将每一视频帧的分辨率转换为预设大小。
例如,可以采用双线性插值方法进行下采样,这样可以减少锯齿噪点。
其中,预设大小可以根据实际情况进行设置,例如,原始游戏视频的分辨率大小为1280(宽)×720(高),对于图像分类任务,太高的分辨率容易导致过拟合,尤其在任务冷启动训练数据不够庞大的情况下会更严重,下采样即对视频帧的图像进行缩小,但太小的分辨率也会导致视频帧的信息缺失,图像分类模型难以提取有效特征,因此,可以基于实际情况进行权衡,确定出合适的分辨率大小,例如,将视频帧分辨率缩小为640(宽)×360(高)。
2)分别将每一视频帧的数值进行归一化处理,转换到预设取值范围内。
本申请实施例中对视频帧的数值进行归一化处理,这是因为,通常原始游戏视频的颜色通道为RGB三通道,转换为视频帧后也为RGB图像,每个通道的值为0-255的整数,但是对于图像分类模型,太大的输入数值会造成神经网络容易梯度消失或爆炸,因此可以预先对视频帧的图像的数值进行归一化处理,转换到预设取值范围内,例如,将视频帧的图像的数值转化为0-1的浮点数值。
步骤210:分别对游戏视频帧序列中每一视频帧中的游戏场景进行识别,确定每一视频帧对应的场景类别。
执行步骤210时,具体包括:
S1、分别对游戏视频帧序列中每一视频帧的游戏场景进行识别,获得每一视频帧对应于各预设场景类别的概率值。
其中,各预设场景类别可以根据实际应用场景进行设置,例如,针对游戏中高跳异常的行为检测,则预设场景类别可以针对不同的游戏场景进行设置。
具体地确定每一视频帧分别对应于各预设场景类别的概率值,包括:
S1.1、分别将每一视频帧输入到预先训练的图像分类模型中,其中,图像分类模型的网络结构至少包括卷积网络、线性瓶颈倒残差网络、全局平均池化网络。
本申请实施例中,可以基于MobileNetV3-Small网络结构进行适当调整后,获得图像分类模型的网络结构,MobileNetV3-Small的网络结构是根据神经架构搜索得到,其各模块类别、堆叠顺序及数量、各部分选项值等都可以适用于本申请实施例中的图像分类任务,但是基于输入的不同图像分辨率,可以对该MobileNetV3-Small的网络结构进行调整,例如,实际中MobileNetV3-Small的网络结构在进行神经架构搜索时所处理的任务的图像分辨率为224×224×3,而对于某些场景图像分辨率是比较高的,例如随着终端性能提高,在终端上运行的游戏的视频画面分辨率越来越高,而过低的下采样会导致信息缺失,因此可能进行下采样后图像分辨率仍高于该图像分辨率,本申请实施例中输入的图像分辨率以640×360×3为例,若直接按照原始结构会使最后一层全局平均池化网络层丢失较多的信息,经过试验调整确定,本申请实施例中可以将最后一层线性瓶颈倒残差网络的步长调整为2,可以达到最优效果,当然,本申请实施例中对于具体网络结构的设置并不进行限制,可以根据实际需求进行调整和设置。
进一步地,本申请实施例中图像分类模型的网络结构还可以包括其它结构,例如激活函数、归一化函数处理等。
S1.2、依次通过图像分类模型中卷积网络、线性瓶颈倒残差网络、卷积网络、全局平均池化网络和卷积网络,获得图像分类模型输出的每一视频帧分别对应于各预设场景类别的概率值。
其中,图像分类模型中各网络结构的堆叠顺序和数量可以为一层卷积网络、多层线性瓶颈倒残差网络、一层卷积网络、一层全局平均池化网络、二层卷积网络,具体并不进行限制,可以根据实际情况进行设置。
参阅表1所示,为本申请实施例中图像分类模型的网络结构示例。
表1.
Figure BDA0002262689760000121
其中,卷积网络为二维卷积网络(conv2d),本申请实施例中图像分类模型的网络结构,可以通过神经架构搜索确定,如表1所示,其网络结构的堆叠顺序和数量依次为一层二维卷积网络、11层线性瓶颈倒残差网络(bottleneck)、再连接一层二维卷积网络,全局平均池化(avg_pool)网络、二层二维卷积网络,并且整个网络结构中除了最后的两层二维卷积网络,其余均使用了批量归一化(Batch Normalization,BN)处理,其中,整个网络结构中各模块的扩张通道的数量、输出通道的数量、是否加SE、激活函数、步长等均是可选项,并且最后的k即为分类的标签数,即各预设场景类别的分类数目。
例如,针对一个视频帧,进行预处理后,将其大小转换为640×360×3,输入到图像分类模型中,依次通过二维卷积网络、11层线性瓶颈倒残差网络、二维卷积网络、全局平均池化网络、二层二维卷积网络进行特征提取和压缩,最后输出k个通道的数值,即分别对应于各预设场景类别的概率值。
S2、根据概率值分别确定每一视频帧对应的场景类别。
具体可以有以下几种策略方式:
1)针对每一视频帧,将对应于各预设场景类别的概率值中概率值大于等于预设阈值的场景类别,作为对应视频帧的场景类别。
例如,预设阈值为0.9,则在确定属于某场景类别的概率不小于0.9时,确定该视频帧属于该类别。
否则若确定均小于预设阈值,则可以确定该视频帧属于某个默认类别,例如,本申请实施例中的其它游戏场景类别,这样可以提高地面、屋顶和集装箱顶这三个关键场景类别判断的准确性。
其中,预设阈值,可以根据实际需求进行设置,本申请实施例中并不进行限制。
2)针对每一视频帧,将对应于各预设场景类别的概率值中最大的概率值的场景类别,作为对应视频帧的场景类别。
即本申请实施例中还可以比较各概率值的大小,将最大概率值的场景类别确定为该视频帧的场景类别。
3)进一步地,根据所述概率值分别确定每一视频帧对应的场景类别,还可以包括:
针对每一视频帧,确定大于预设概率阈值的概率值所对应的预测场景类别;当连续n个视频帧的预测场景类别相同时,则以相同的预测场景类别作为连续n个视频帧中每一视频帧对应的场景类别;n为大于等于1的正整数。
其中,n的取值不进行限制,可以根据实际情况进行设置,并且不同场景类别还可以相应设置n不同的取值。
本申请实施例中,由于是连续的游戏视频帧序列,游戏所处环境的场景类别变化通常也不会瞬间改变,因此若一个视频帧的场景类别与前一个和后一个视频帧的场景类别均不相同,则可能会出现场景类别识别错误的情况,这样,本申请实施例中可以在确定连续n个视频帧所属的场景类别相同时,才确定检测到了该场景类别,将该相同的预测场景类别作为这连续n个视频帧中每一视频帧对应的场景类别,可以降低视频帧分类的错误率,提高异常行为检测准确性。
这样,本申请实施例中,基于MobileNetV3-Small的网络结构,设计图像分类模型的网络结构,可以兼顾最终的性能和效果,提高分类的准确性。
步骤220:根据每一视频帧对应的场景类别,确定异常游戏视频片段。
本申请实施例中,基于不同的异常游戏视频检测的应用场景,可以通过分析比较游戏视频所表现的视频帧图像的差异,设置不同的检测策略,具体地,本申请实施例中提供了一种可能的实施方式,可以基于场景类别变化的间隔时长来判断,具体包括:当相邻的第一连续视频帧和第二连续视频帧对应的目标场景类别不同、且第一连续视频帧到第二连续视频帧的视频时长之和少于预设时长时,则确定由第一连续视频帧到第二连续视频帧组成的视频片段为异常游戏视频片段,其中,第一连续视频帧包括相同场景类别的至少两个连续的视频帧,第二连续视频帧包括相同场景类别的至少两个连续的视频帧。
其中,针对不同目标场景类别之间的视频时长之和分别对应设置一个时长大小。
具体地可以包括:
S1、当相邻的第一连续视频帧和第二连续视频帧对应的目标场景类别不同时,确定与第一连续视频帧对应的场景类别和第二连续视频帧对应的场景类别对应的预设时长。
S2、计算第一连续视频帧到第二连续视频帧的视频时长之和。
S3、当视频时长之和小于预设时长时,则确定由第一连续视频帧到第二连续视频帧组成的视频片段为异常游戏视频片段。
例如,预设场景类别有类别1、类别2和类别3,类别1和类别2对应设置的时长大小为A1,类别1和类别2对应n均为3,则若确定连续3个视频帧的场景类别均为类别1,则确定检测到类别1,连续3个视频帧的场景类别均为类别2,则确定检测到类别2,计算从类别1对应的第3个视频帧开始,到类别2对应的第3个视频帧结束,所对应的视频时长之和,若该视频时长之和小于A1,则确定游戏视频存在异常行为,该段游戏视频即为异常游戏视频片段。
以具体应用场景对该过程进行说明,若场景类别分别为第一目标物、第二目标物、第三目标物和其它游戏场景类别,其中,第二目标物所表示的游戏场景类别高度均大于第一目标物和第三目标物所表示的游戏场景类别,并第三目标物所表示的游戏场景类别高度大于第一目标物所表示的游戏场景类别,则当相邻的第一连续视频帧和第二连续视频帧对应的目标场景类别不同、且第一连续视频帧到第二连续视频帧的视频时长之和小于预设时长时,则确定由第一连续视频帧到第二连续视频帧组成的视频片段为异常游戏视频片段,可以包括以下两种情况:
第一种情况:当相邻的第一连续视频帧和第二连续视频帧对应的目标场景类别分别为第一目标物、第二目标物,并确定第一连续视频帧到第二连续视频帧的视频时长之和少于第一时长时,则确定由第一连续视频帧到第二连续视频帧组成的视频片段为高跳异常游戏视频片段。
例如,第一目标物为地面,第二目标物为屋顶,通常在游戏中从地面到屋顶的高跳是需要一定时间的,以帧连续划分为例,可以设置第一时长为40帧时长大小,若前后识别出地面和屋顶的相隔的帧数小于40帧,即视频时长之和小于40帧时长大小,则可以认为存在高跳异常行为。
第二种情况:当相邻的第一连续视频帧和第二连续视频帧对应的目标场景类别分别为第一目标物、第三目标物,并确定第一连续视频帧到第二连续视频帧的视频时长之和少于第二时长时,则确定由第一连续视频帧到第二连续视频帧组成的视频片段为高跳异常游戏视频片段,其中,第一时长大于第二时长。
例如,第一目标物为地面,第三目标物为集装箱顶,通常在游戏中从地面到集装箱顶的高跳需要一定时间的,并且通常从地面高跳到集装箱顶的时间间隔要小于从地面高跳到屋顶的时间间隔,因此设置第一时长大于第二时长,例如可以设置第二时长为10帧时长大小,若前后识别出地面和集装箱顶的相隔的帧数小于10帧,或视频时长之和小于10帧时长大小,则也可以认为存在高跳异常行为。
本申请实施例中,获取游戏视频帧序列,通过预先训练的图像分类模型,进行游戏场景识别,确定每一视频帧所属的场景类别,并结合预设的检测策略,确定异常游戏视频片段,这样,可以基于行为所表现的视频帧序列,即图像序列特征,进行异常行为检测,而不是依赖于后台数据,解决了后台数据可能隐匿性较强检测困难的问题,提高了行为检测的感知能力,并且可以通过分析异常行为的相应特点,结合图像分类识别和检测策略来进行检测,可以有效检测出异常行为,提高准确性,降低人工审核的成本,进一步地,本申请实施例中通过设计合适的图像分类模型,该异常游戏视频检测方法还可以应用在终端侧,可以实时获取游戏视频,从而实时获得游戏视频帧序列,实现对游戏中异常行为的实时检测。
基于上述实施例,下面采用具体应用场景,以游戏视频中异常为高跳异常行为的具体应用场景为例,对本申请实施例中的图像分类模型的训练过程进行简单说明。
第一部分:获取游戏视频帧序列训练集。
具体地,可以获取游戏视频,并进行分帧处理,获得游戏视频帧序列,进而可以通过人工预先对每个视频帧进行标注,获得行为游戏视频帧序列训练集。
例如,对于游戏中的高跳场景主要有从地面高跳到屋顶、从地面高跳到集装箱顶、从地面原地高跳再落地三种情况,则根据人物所处的环境,标注的场景类别标签可以分为四个类别,分别为:地面、屋顶、集装箱顶和其它游戏场景类别,进而人工可以预先对视频帧进行标注,以获得训练集。
进一步地,为提高图像分类模型的准确性和可靠性,还可以对游戏视频帧序列训练集进行预处理,具体包括:
1)下采样:将每个视频帧的图像的分辨率转换为预设大小。
本申请实施例中,可以综合考虑图像分类模型的过拟合问题和图像信息缺失的问题,转换为合适大小的分辨率。
2)数据增强。
在图像分类任务中,对训练集中的视频帧进行一定程度的等效变换,可以增广训练数据,提高图像分类模型的泛化能力,例如,可以对训练集中的视频帧进行随机的左右平移及随机水平翻转,其中,左右平移的平移范围随机,但不超过图像宽度的20%。
3)数值归一化:转换到预设取值范围内。
例如,可以将视频帧的图像的数值归一化到0-1取值范围内。
第二部分:图像分类模型训练。
具体地,将游戏视频帧序列训练集输入到图像分类模型进行训练,分别预测各视频帧对应于各预设场景类别的概率值,目标函数是预测的属于各预设场景类别的概率值与标注的场景类别之间的损失函数最小化。
其中,图像分类模型可以基于MobileNetV3-Small的网络结构,以利用其计算量小和使用参数少的特性,可以实现异常游戏视频检测方法直接部署在终端中的游戏客户端中的目的。
为便于更好地理解本申请实施例,下面先简单介绍下MobileNetV3的几种基本结构。
(1)深度可分离卷积网络(Depthwise Separable Convolutions):是一种参数量少、计算速度快的卷积网络,尤其适用于终端设备,其主要分为深度卷积(Depthwise)和逐点卷积(Pointwise)两步,其中,深度卷积通过在各个通道独立的条件下进行二维平面内单通道的卷积操作,卷积输出通道与图像输入通道相同,这大大减少了卷积核参数量;逐点卷积则是进行了卷积核大小1×1的多通道卷积操作,对多通道进行线性组合,弥补了深度卷积丢失通道间相关信息的缺点,相比于传统卷积神经网络,其参数量能降低60%以上并且能保持良好效果。该结构主要的可调节参数包括深度卷积的卷积核、步长及逐点卷积的输出通道数。
(2)线性瓶颈倒残差网络(Inverted Residual with Linear Bottleneck)也是使用了逐点卷积与深度卷积,主要原理是先使用逐点卷积扩张通道维度,之后经过深度卷积后再使用另外一个逐点卷积缩小通道维度,网络两边的输入和输出类似于两个瓶颈,整个结构就像进行了信息的解压、过滤、压缩操作,并且输出的瓶颈仅采用线性激活,以防止非线性激活破坏太多信息,最后对输入瓶颈和输出瓶颈进行残差连接。该结构主要的可调节参数包括输入瓶颈经第一个逐点卷积的扩张通道数、深度卷积的卷积核、步长及第二个逐点卷积到输出瓶颈的输出通道数。
(3)SE(Squeeze-and-Excitation)网络:MobileNetV3还针对线性瓶颈倒残差网络进行了改进,可在其中融合SE网络结构。SE网络主要原理类似于注意力机制,将重要特征的通道进行强化,非重要特征的通道进行弱化。具体操作为:首先对原始输入进行平面维度的全局平均池化网络,输出为1×1×通道数,仅保留了通道信息,此称为Squeeze;之后应用两层全连接层及非线性激活,将输出限制为0-1,大小同样是1×1×通道数,此称为Excitation,这时输出的每个值相当于原始输入中每个通道的重要性程度,将两者进行相乘以达到保留重要通道,抑制噪声通道的效果。在线性瓶颈倒残差网络中融合SE主要是通过在深度卷积之后先加入SE结构,之后才进行下一步逐点卷积缩小通道。这里主要可选项是否融入SE。
(4)还包括其中使用的激活函数类别,以及每层是否使用BN等可选项。
其中,激活函数例如为relu6激活函数或hswish激活函数等,本申请实施例中并不进行限制。
例如,relu6激活函数公式为:relu6(x)=min(max(x,0),6)。
该激活函数即对原始的relu函数进行进一步截断,使其最大的激活值小于等于6。目前终端设备通常采用半精度(float16)数据类型进行运算,对太大范围的数值不能精确表示,使用该激活函数能够有效降低该缺陷对图像分类模型性能的影响。
又例如,hswish激活函数公式为:
Figure BDA0002262689760000191
该激活函数实质上是对swish(x)=x*σ(x)激活函数的近似模拟,以减少计算原始σ(x),即sigmoid激活函数的计算量,在图像分类任务中,具有较好的效果。
基于MobileNetV3-Small的网络结构,本申请实施例中提供了一种如上述表1中的网络结构,通过人工标注的游戏视频帧序列训练集,训练基于该网络结构的图像分类模型,可以用于对视频帧进行游戏场景识别,可以有效适用于本申请实施例中的异常游戏视频检测方法。
第三部分:检测策略。
本申请实施例中,以高跳异常行为检测为例,对高跳场景进行分析从而设定检测策略。例如,在某游戏中,根据游戏中的高跳场景主要有从地面高跳到屋顶、从地面高跳到集装箱顶、从地面原地高跳再落地三种情况。
具体地,(1)从地面高跳到屋顶:这里屋顶的定义即可以理解为,在游戏中可从房子内到达或不可到达的阳台及房顶。
例如,参阅图3所示,为本申请实施例中一种高跳场景界面效果图,可知,如图3中左图所示,通常玩家从地面到屋顶的正常途径为:地面->入屋->上楼->到达屋顶,而如图3中右图所示,使用高跳外挂的玩家途径为:地面->跳跃->到达屋顶,通过分析比较可知,两者最明显的区别是所需的时间不同,正常情况下从地面到屋顶是需要一定时间,而外挂异常情况所需的时间更少,在游戏视频帧序列中即可以表现为:玩家在地面的与在屋顶的视频帧之间相隔的时间间隔或帧间隔数目是不同的。
(2)从地面高跳到集装箱顶:参阅图4所示,为本申请实施例中另一种高跳场景界面效果图,与从地面高跳到屋顶类似,正常情况下玩家可以使用集装箱旁边的辅助物品,例如木箱、木板等爬上集装箱顶,而使用高跳外挂的玩家则可以从地面直接跳跃到集装箱顶,当然,这里是针对正常情况下玩家无法直接从地面高跳到集装箱顶的场景,从地面高跳到集装箱顶超过了正常跳跃高度的情况,与从地面高跳到屋顶场景的唯一的区别在于正常情况下玩家从地面到集装箱顶的耗时也可能较短,因为游戏中玩家可以使用集装箱旁边的辅助物品爬上集装箱顶,因此,相较于玩家在地面与在屋顶的视频帧之间相隔的时间间隔或帧间隔数目,玩家在地面与在屋顶的视频帧之间相隔的时间间隔或帧间隔数目会较低,因此可以针对这两种情况设置不同的间隔大小或视频时长之和大小。
这样,本申请实施例中,通过分析游戏中不同高跳场景下的连续视频帧,可以将其拆解为跳跃前、跳跃中、跳跃落地后的三个过程,基于这三个过程中正常和异常行为所需耗时的不同,可以确定出外挂异常行为的检测策略,从而通过图像分类模型训练和检测策略,可以对存在高跳异常行为的游戏进行检测,并且还可以输出发生异常行为的游戏片段,以进行告警或其它相应处理,提高游戏外挂审核的效率。
第四部分:更新图像分类模型。
本申请实施例中还可以不断更新图像分类模型,以提高图像分类模型识别的准确性,行为检测、图像分类模型训练和类别标注均是一种持续的过程,可以采用主动学习技术,来解决任务冷启动时由于训练数据不足而导致图像分类模型预测不准的问题,并不断提高图像分类模型的准确性。
具体地,基于预先训练的图像分类模型和检测策略,对游戏视频进行检测时,可以筛选出预测的概率值大于一定阈值的地面、屋顶、集装箱顶的视频帧,对这部分视频帧的场景类别再进行人工确认及修正,并且修正后作为增量训练样本以使图像分类模型继续训练,这是因为这三个类别如果分错,则容易命中检测策略,而导致误检,因此针对这三个关键类别,再进行人工修正,能够进一步检查出图像分类模型容易识别错误的类别,例如一些地面类视频帧可能由于包含马路而具备某些屋顶类视频帧的特征被误识别为屋顶类别。
这样,通过采用该主动学习迭代方法,能有效提高图像分类模型检测的准确性,特别是对该三个关键类别的视频帧分类更加准确,并且可以与人工标注形成良性交互,即图像分类模型预测越准确,则人工修正成本越低,标注新视频帧更加简单,耗费的时间更短,同时对图像分类模型进行增量训练,也能逐渐提高图像分类模型的准确度。
基于同一发明构思,本申请实施例中还提供了一种异常游戏视频检测装置,该异常游戏视频检测装置例如可以是前述实施例中的服务器或终端,该异常游戏视频检测装置可以是硬件结构、软件模块、或硬件结构加软件模块。基于上述实施例,参阅图5所示,本申请实施例中异常游戏视频检测装置,具体包括:
获取模块50,用于获取游戏视频帧序列;
识别模块51,用于分别对所述游戏视频帧序列中每一视频帧中的游戏场景进行识别,确定所述每一视频帧对应的场景类别;
确定模块52,用于根据所述每一视频帧对应的场景类别,确定异常游戏视频片段。
可选的,所述获取游戏视频帧序列时,所述获取模块50具体用于:
接收玩家举报信息;
提取所述玩家举报信息中游戏对局标识;
获取与所述游戏对局标识对应的游戏视频帧序列。
可选的,所述获取与所述游戏对局标识对应的游戏视频帧序列时,获取模块50用于:
查询与所述游戏对局标识对应的游戏视频文件;
按照预设分帧参数对所述游戏视频文件进行分帧处理,得到游戏视频帧序列。
可选的,所述分别对所述游戏视频帧序列中每一视频帧中的游戏场景进行识别,确定所述每一视频帧对应的场景类别时,识别模块51用于:
分别对所述游戏视频帧序列中每一视频帧的游戏场景进行识别,获得所述每一视频帧对应于各预设场景类别的概率值;
根据所述概率值分别确定每一视频帧对应的场景类别。
可选的,所述分别对所述游戏视频帧序列中每一视频帧的游戏场景进行识别,获得所述每一视频帧对应于各预设场景类别的概率值时,识别模块51具体用于:
分别将所述每一视频帧输入到预先训练的图像分类模型中,其中,所述图像分类模型的网络结构至少包括卷积网络、线性瓶颈倒残差网络、全局平均池化网络;
依次通过所述图像分类模型中卷积网络、线性瓶颈倒残差网络、卷积网络、全局平均池化网络和卷积网络,获得所述图像分类模型输出的每一视频帧分别对应于各预设场景类别的概率值。
可选的,所述根据所述概率值分别确定每一视频帧对应的场景类别时,识别模块51用于:
针对每一视频帧,确定大于预设概率阈值的概率值所对应的预测场景类别;
当连续n个视频帧的预测场景类别相同时,则以相同的预测场景类别作为所述连续n个视频帧中每一视频帧对应的场景类别;n为大于等于1的正整数。
可选的,所述根据所述每一视频帧对应的场景类别,确定异常游戏视频片段时,确定模块52用于:当相邻的第一连续视频帧和第二连续视频帧对应的目标场景类别不同、且所述第一连续视频帧到第二连续视频帧的视频时长之和少于预设时长时,则确定由所述第一连续视频帧到所述第二连续视频帧组成的视频片段为异常游戏视频片段,其中,所述第一连续视频帧包括相同场景类别的至少两个连续的视频帧,所述第二连续视频帧包括相同场景类别的至少两个连续的视频帧。
可选的,所述当相邻的第一连续视频帧和第二连续视频帧对应的目标场景类别不同、且所述第一连续视频帧到第二连续视频帧的视频时长之和小于预设时长时,则确定由所述第一连续视频帧到所述第二连续视频帧组成的视频片段为异常游戏视频片段时,确定模块52用于:
当相邻的第一连续视频帧和第二连续视频帧对应的目标场景类别不同时,确定与所述第一连续视频帧对应的场景类别和所述第二连续视频帧对应的场景类别对应的预设时长;
计算所述第一连续视频帧到所述第二连续视频帧的视频时长之和;
当所述视频时长之和小于所述预设时长时,则确定由所述第一连续视频帧到所述第二连续视频帧组成的视频片段为异常游戏视频片段。
可选的,若所述场景类别分别为第一目标物、第二目标物、第三目标物和其它游戏场景类别,其中,所述第二目标物所表示的游戏场景类别高度均大于所述第一目标物和所述第三目标物所表示的游戏场景类别,并所述第三目标物所表示的游戏场景类别高度大于所述第一目标物所表示的游戏场景类别;
则所述当相邻的第一连续视频帧和第二连续视频帧对应的目标场景类别不同、且所述第一连续视频帧到第二连续视频帧的视频时长之和小于预设时长时,则确定由所述第一连续视频帧到所述第二连续视频帧组成的视频片段为异常游戏视频片段时,确定模块52用于:
当相邻的第一连续视频帧和第二连续视频帧对应的目标场景类别分别为所述第一目标物、所述第二目标物,并确定所述第一连续视频帧到第二连续视频帧的视频时长之和少于第一时长时,则确定由所述第一连续视频帧到所述第二连续视频帧组成的视频片段为高跳异常游戏视频片段;
当相邻的第一连续视频帧和第二连续视频帧对应的目标场景类别分别为所述第一目标物、所述第三目标物,并确定所述第一连续视频帧到第二连续视频帧的视频时长之和少于第二时长时,则确定由所述第一连续视频帧到所述第二连续视频帧组成的视频片段为高跳异常游戏视频片段,其中,所述第一时长大于所述第二时长。
本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,另外,在本申请实施例中的各功能模块可以集成在一个处理器中,也可以是单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
为便于说明,本申请实施例以包括触摸屏的便携式多功能装置600作示例性说明,本领域技术人员可以理解的,本申请中的实施例同样适用于其他装置,例如手持设备、车载设备、可穿戴设备、计算设备,以及各种形式的用户设备(User Equipment,UE),移动台(Mobile station,MS),终端(terminal),终端设备(Terminal Equipment)等等。
图6示出了根据一些实施例的包括触摸屏的便携式多功能装置600的框图,所述装置600可以包括输入单元630、显示单元640、重力加速度传感器651、接近光传感器652、环境光传感器653、存储器620、处理器690、射频单元610、音频电路660、扬声器661、麦克风662、WiFi(wireless fidelity,无线保真)模块670、蓝牙模块680、电源693、外部接口697等部件。
本领域技术人员可以理解,图6仅仅是便携式多功能装置的举例,并不构成对便携式多功能装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件。
所述输入单元630可用于接收输入的数字或字符信息,以及产生与所述便携式多功能装置的用户设置以及功能控制有关的键信号输入。具体地,输入单元630可包括触摸屏631以及其他输入设备632。所述触摸屏631可收集用户在其上或附近的触摸操作(比如用户使用手指、关节、触笔等任何适合的物体在触摸屏上或在触摸屏附近的操作),并根据预先设定的程序驱动相应的连接装置。触摸屏可以检测用户对触摸屏的触摸动作,将所述触摸动作转换为触摸信号发送给所述处理器690,并能接收所述处理器690发来的命令并加以执行;所述触摸信号至少包括触点坐标信息。所述触摸屏631可以提供所述装置600和用户之间的输入界面和输出界面。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触摸屏。除了触摸屏631,输入单元630还可以包括其他输入设备。具体地,其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
所述显示单元640可用于显示由用户输入的信息或提供给用户的信息以及装置600的各种菜单。在本申请实施例中,触摸屏631与显示单元640可以集成为一个部件而实现装置600的输入、输出、显示功能;在某些实施例中,触摸屏631与显示单元640也可以作为两个独立的部件。
所述重力加速度传感器651可检测各个方向上(一般为三轴)加速度的大小,同时,所述重力加速度传感器651还可用于检测终端静止时重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等。
装置600还可以包括一个或多个接近光传感器652,用于当所述装置600距用户较近时(例如当用户正在打电话时靠近耳朵)关闭并禁用触摸屏以避免用户对触摸屏的误操作;装置600还可以包括一个或多个环境光传感器653,用于当装置600位于用户口袋里或其他黑暗区域时保持触摸屏关闭,以防止装置600在锁定状态时消耗不必要的电池功耗或被误操作,在一些实施例中,接近光传感器和环境光传感器可以集成在一颗部件中,也可以作为两个独立的部件。至于装置600还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。虽然图6示出了接近光传感器和环境光传感器,但是可以理解的是,其并不属于装置600的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
所述存储器620可用于存储指令和数据,存储器620可主要包括存储指令区和存储数据区,存储数据区可存储关节触摸手势与应用程序功能的关联关系;存储指令区可存储操作系统、至少一个功能所需的指令等;所述指令可使处理器690执行本申请实施例中的异常游戏视频检测方法。
处理器690是装置600的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器620内的指令以及调用存储在存储器620内的数据,执行装置600的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器690可包括一个或多个处理单元;优选的,处理器690可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器690中。在一些实施例中,处理器、存储器、可以在单一芯片上实现,在一些实施例中,他们也可以在独立的芯片上分别实现。在本申请实施例中,处理器690还用于调用存储器中的指令以实现本申请实施例中的异常游戏视频检测方法。
所述射频单元610可用于收发信息或通话过程中信号的接收和发送,特别地,将基站的下行信息接收后,给处理器690处理;另外,将设计上行的数据发送给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,射频单元610还可以通过无线通信与网络设备和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(Global System of Mobile communication,GSM)、通用分组无线服务(General PacketRadio Service,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
音频电路660、扬声器661、麦克风662可提供用户与装置600之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号,传输到扬声器661,由扬声器661转换为声音信号输出;另一方面,麦克风662将收集的声音信号转换为电信号,由音频电路660接收后转换为音频数据,再将音频数据输出处理器690处理后,经射频单元610以发送给比如另一终端,或者将音频数据输出至存储器620以便进一步处理,音频电路也可以包括耳机插孔663,用于提供音频电路和耳机之间的连接接口。
WiFi属于短距离无线传输技术,装置600通过WiFi模块670可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图6示出了WiFi模块670,但是可以理解的是,其并不属于装置600的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
蓝牙是一种短距离无线通讯技术。利用蓝牙技术,能够有效地简化掌上电脑、笔记本电脑和手机等移动通信终端设备之间的通信,也能够成功地简化以上这些设备与因特网(Internet)之间的通信,装置600通过蓝牙模块680使装置600与因特网之间的数据传输变得更加迅速高效,为无线通信拓宽道路。蓝牙技术是能够实现语音和数据无线传输的开放性方案。然图6示出了WiFi模块670,但是可以理解的是,其并不属于装置600的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
装置600还包括给各个部件供电的电源693(比如电池),优选的,电源可以通过电源管理系统694与处理器690逻辑相连,从而通过电源管理系统694实现管理充电、放电、以及功耗管理等功能。
装置600还包括外部接口697,所述外部接口可以是标准的Micro USB接口,也可以使多针连接器,可以用于连接装置600与其他装置进行通信,也可以用于连接充电器为装置600充电。
尽管未示出,装置600还可以包括摄像头、闪光灯等,在此不再赘述。
基于上述实施例,本申请实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意方法实施例中的异常游戏视频检测方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样,倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种异常游戏视频检测方法,其特征在于,包括:
获取游戏视频帧序列;
分别对所述游戏视频帧序列中每一视频帧中的游戏场景进行识别,确定所述每一视频帧对应的场景类别;
当相邻的第一连续视频帧和第二连续视频帧对应的目标场景类别不同、且所述第一连续视频帧到第二连续视频帧的视频时长之和少于预设时长时,则确定由所述第一连续视频帧到所述第二连续视频帧组成的视频片段为异常游戏视频片段,其中,所述第一连续视频帧包括相同场景类别的至少两个连续的视频帧,所述第二连续视频帧包括相同场景类别的至少两个连续的视频帧。
2.根据权利要求1所述的方法,其特征在于,所述获取游戏视频帧序列,包括:
接收玩家举报信息;
提取所述玩家举报信息中游戏对局标识;
获取与所述游戏对局标识对应的游戏视频帧序列。
3.根据权利要求2所述的方法,其特征在于,所述获取与所述游戏对局标识对应的游戏视频帧序列,包括:
查询与所述游戏对局标识对应的游戏视频文件;
按照预设分帧参数对所述游戏视频文件进行分帧处理,得到游戏视频帧序列。
4.根据权利要求1所述的方法,其特征在于,所述分别对所述游戏视频帧序列中每一视频帧中的游戏场景进行识别,确定所述每一视频帧对应的场景类别,包括:
分别对所述游戏视频帧序列中每一视频帧的游戏场景进行识别,获得所述每一视频帧对应于各预设场景类别的概率值;
根据所述概率值分别确定每一视频帧对应的场景类别。
5.根据权利要求4所述的方法,其特征在于,所述分别对所述游戏视频帧序列中每一视频帧的游戏场景进行识别,获得所述每一视频帧对应于各预设场景类别的概率值,具体包括:
分别将所述每一视频帧输入到预先训练的图像分类模型中,其中,所述图像分类模型的网络结构至少包括卷积网络、线性瓶颈倒残差网络、全局平均池化网络;
依次通过所述图像分类模型中卷积网络、线性瓶颈倒残差网络、卷积网络、全局平均池化网络和卷积网络,获得所述图像分类模型输出的每一视频帧分别对应于各预设场景类别的概率值。
6.根据权利要求4所述的方法,其特征在于,所述根据所述概率值分别确定每一视频帧对应的场景类别,包括:
针对每一视频帧,确定大于预设概率阈值的概率值所对应的预测场景类别;
当连续n个视频帧的预测场景类别相同时,则以相同的预测场景类别作为所述连续n个视频帧中每一视频帧对应的场景类别;n为大于等于1的正整数。
7.根据权利要求1所述的方法,其特征在于,所述当相邻的第一连续视频帧和第二连续视频帧对应的目标场景类别不同、且所述第一连续视频帧到第二连续视频帧的视频时长之和小于预设时长时,则确定由所述第一连续视频帧到所述第二连续视频帧组成的视频片段为异常游戏视频片段,包括:
当相邻的第一连续视频帧和第二连续视频帧对应的目标场景类别不同时,确定与所述第一连续视频帧对应的场景类别和所述第二连续视频帧对应的场景类别对应的预设时长;
计算所述第一连续视频帧到所述第二连续视频帧的视频时长之和;
当所述视频时长之和小于所述预设时长时,则确定由所述第一连续视频帧到所述第二连续视频帧组成的视频片段为异常游戏视频片段。
8.根据权利要求1所述的方法,其特征在于,若所述场景类别分别为第一目标物、第二目标物、第三目标物和其它游戏场景类别,其中,所述第二目标物所表示的游戏场景类别高度均大于所述第一目标物和所述第三目标物所表示的游戏场景类别,并所述第三目标物所表示的游戏场景类别高度大于所述第一目标物所表示的游戏场景类别;
则所述当相邻的第一连续视频帧和第二连续视频帧对应的目标场景类别不同、且所述第一连续视频帧到第二连续视频帧的视频时长之和小于预设时长时,则确定由所述第一连续视频帧到所述第二连续视频帧组成的视频片段为异常游戏视频片段,包括:
当相邻的第一连续视频帧和第二连续视频帧对应的目标场景类别分别为所述第一目标物、所述第二目标物,并确定所述第一连续视频帧到第二连续视频帧的视频时长之和少于第一时长时,则确定由所述第一连续视频帧到所述第二连续视频帧组成的视频片段为高跳异常游戏视频片段;
当相邻的第一连续视频帧和第二连续视频帧对应的目标场景类别分别为所述第一目标物、所述第三目标物,并确定所述第一连续视频帧到第二连续视频帧的视频时长之和少于第二时长时,则确定由所述第一连续视频帧到所述第二连续视频帧组成的视频片段为高跳异常游戏视频片段,其中,所述第一时长大于所述第二时长。
9.一种异常游戏视频检测装置,其特征在于,包括:
获取模块,用于获取游戏视频帧序列;
识别模块,用于分别对所述游戏视频帧序列中每一视频帧中的游戏场景进行识别,确定所述每一视频帧对应的场景类别;
确定模块,用于当相邻的第一连续视频帧和第二连续视频帧对应的目标场景类别不同、且所述第一连续视频帧到第二连续视频帧的视频时长之和少于预设时长时,则确定由所述第一连续视频帧到所述第二连续视频帧组成的视频片段为异常游戏视频片段,其中,所述第一连续视频帧包括相同场景类别的至少两个连续的视频帧,所述第二连续视频帧包括相同场景类别的至少两个连续的视频帧。
10.根据权利要求9所述的装置,其特征在于,所述获取模块具体用于:
接收玩家举报信息;
提取所述玩家举报信息中游戏对局标识;
获取与所述游戏对局标识对应的游戏视频帧序列。
CN201911076693.1A 2019-11-06 2019-11-06 一种异常游戏视频检测方法和装置 Active CN110909630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911076693.1A CN110909630B (zh) 2019-11-06 2019-11-06 一种异常游戏视频检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911076693.1A CN110909630B (zh) 2019-11-06 2019-11-06 一种异常游戏视频检测方法和装置

Publications (2)

Publication Number Publication Date
CN110909630A CN110909630A (zh) 2020-03-24
CN110909630B true CN110909630B (zh) 2023-04-18

Family

ID=69814836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911076693.1A Active CN110909630B (zh) 2019-11-06 2019-11-06 一种异常游戏视频检测方法和装置

Country Status (1)

Country Link
CN (1) CN110909630B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111437609B (zh) * 2020-03-27 2021-05-14 腾讯科技(深圳)有限公司 一种外挂检测方法及装置
CN111914639A (zh) * 2020-06-30 2020-11-10 吴�荣 轻量级卷积时空简单循环单元模型的驾驶动作识别方法
CN111914797B (zh) * 2020-08-17 2022-08-12 四川大学 基于多尺度轻量级卷积神经网络的交通标志识别方法
CN111986690A (zh) * 2020-08-27 2020-11-24 三星电子(中国)研发中心 一种视频的语音降噪方法和装置
CN112418397B (zh) * 2020-11-19 2021-10-26 重庆邮电大学 一种基于轻量级卷积神经网络的图像分类方法
CN112784904A (zh) * 2021-01-26 2021-05-11 山西三友和智慧信息技术股份有限公司 一种基于MobileNet的煤矸石自动识别方法
CN112669316B (zh) * 2021-01-29 2023-05-30 南方电网调峰调频发电有限公司 电力生产异常监控方法、装置、计算机设备和存储介质
CN113111200B (zh) * 2021-04-09 2024-05-24 百度在线网络技术(北京)有限公司 审核图片文件的方法、装置、电子设备和存储介质
CN113181637B (zh) * 2021-05-10 2024-04-16 上海幻电信息科技有限公司 游戏回放方法和系统
CN113209628B (zh) * 2021-05-12 2022-09-06 郑州大学 基于ai的图像处理方法和装置
CN114245200B (zh) * 2021-11-02 2024-05-07 浙江大华技术股份有限公司 监控场景变化确定方法、装置、系统和电子装置
CN114422225B (zh) * 2022-01-13 2023-07-07 深圳市爱的番茄科技有限公司 一种基于网络信息安全的云游戏大数据分析方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187959A (zh) * 2006-11-17 2008-05-28 中兴通讯股份有限公司 基于决策树的游戏作弊检测方法
CN107019901A (zh) * 2017-03-31 2017-08-08 北京大学深圳研究生院 基于图像识别及自动化控制的棋牌类游戏自动博弈机器人的建立方法
CN108629180A (zh) * 2018-03-29 2018-10-09 腾讯科技(深圳)有限公司 异常操作的确定方法和装置、存储介质、电子装置
CN108769821A (zh) * 2018-05-25 2018-11-06 广州虎牙信息科技有限公司 游戏场景描述方法、装置、设备及存储介质
CN109045702A (zh) * 2018-07-24 2018-12-21 网易(杭州)网络有限公司 一种外挂检测方法、系统、装置、计算设备和介质
JP6473259B1 (ja) * 2018-05-01 2019-02-20 株式会社Cygames ゲームにおけるユーザの不正を検出するためのシステム、サーバ、プログラム及び方法
CN109389055A (zh) * 2018-09-21 2019-02-26 西安电子科技大学 基于混合卷积和注意力机制的视频分类方法
CN109453514A (zh) * 2018-10-25 2019-03-12 珠海市君天电子科技有限公司 一种游戏作弊检测方法及装置
CN109464807A (zh) * 2018-11-06 2019-03-15 网易(杭州)网络有限公司 检测游戏外挂的方法、装置和终端
CN110378264A (zh) * 2019-07-08 2019-10-25 Oppo广东移动通信有限公司 目标跟踪方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187959A (zh) * 2006-11-17 2008-05-28 中兴通讯股份有限公司 基于决策树的游戏作弊检测方法
CN107019901A (zh) * 2017-03-31 2017-08-08 北京大学深圳研究生院 基于图像识别及自动化控制的棋牌类游戏自动博弈机器人的建立方法
CN108629180A (zh) * 2018-03-29 2018-10-09 腾讯科技(深圳)有限公司 异常操作的确定方法和装置、存储介质、电子装置
JP6473259B1 (ja) * 2018-05-01 2019-02-20 株式会社Cygames ゲームにおけるユーザの不正を検出するためのシステム、サーバ、プログラム及び方法
CN108769821A (zh) * 2018-05-25 2018-11-06 广州虎牙信息科技有限公司 游戏场景描述方法、装置、设备及存储介质
CN109045702A (zh) * 2018-07-24 2018-12-21 网易(杭州)网络有限公司 一种外挂检测方法、系统、装置、计算设备和介质
CN109389055A (zh) * 2018-09-21 2019-02-26 西安电子科技大学 基于混合卷积和注意力机制的视频分类方法
CN109453514A (zh) * 2018-10-25 2019-03-12 珠海市君天电子科技有限公司 一种游戏作弊检测方法及装置
CN109464807A (zh) * 2018-11-06 2019-03-15 网易(杭州)网络有限公司 检测游戏外挂的方法、装置和终端
CN110378264A (zh) * 2019-07-08 2019-10-25 Oppo广东移动通信有限公司 目标跟踪方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Peter Laurens 等.A Novel Approach to the Detection of Cheating in Multiplayer Online Games.《12th IEEE International Conference on Engineering Complex Computer Systems》.2007,1-10. *
张亮 等.基于LSTM型RNN的CAPTCHA识别方法.《模式识别与人工智能》.2011,40-47. *
彭禹强.人工智能技术在网络游戏中的应用探究.《论述》.2018,291-292. *

Also Published As

Publication number Publication date
CN110909630A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN110909630B (zh) 一种异常游戏视频检测方法和装置
CN111461089B (zh) 一种人脸检测的方法、人脸检测模型的训练方法及装置
US20230334905A1 (en) Model training method and apparatus, face recognition method and apparatus, device, and storage medium
EP3944147A1 (en) Target detection method, model training method, device, apparatus and storage medium
CN111325258B (zh) 特征信息获取方法、装置、设备及存储介质
CN110704661B (zh) 一种图像分类方法和装置
CN110738211A (zh) 一种对象检测的方法、相关装置以及设备
CN112101329B (zh) 一种基于视频的文本识别方法、模型训练的方法及装置
CN112036331B (zh) 活体检测模型的训练方法、装置、设备及存储介质
CN111444826B (zh) 视频检测方法、装置、存储介质及计算机设备
CN110555337B (zh) 一种指示对象的检测方法、装置以及相关设备
CN110516113B (zh) 一种视频分类的方法、视频分类模型训练的方法及装置
CN111738403B (zh) 一种神经网络的优化方法及相关设备
CN113516227B (zh) 一种基于联邦学习的神经网络训练方法及设备
CN110968734A (zh) 一种基于深度度量学习的行人重识别方法及装置
CN113821720A (zh) 一种行为预测方法、装置及相关产品
CN114722937A (zh) 一种异常数据检测方法、装置、电子设备和存储介质
CN113723159A (zh) 场景识别模型训练方法、场景识别方法及模型训练装置
CN111126515A (zh) 基于人工智能的模型训练方法和相关装置
CN113822427A (zh) 一种模型训练的方法、图像匹配的方法、装置及存储介质
CN113723378A (zh) 一种模型训练的方法、装置、计算机设备和存储介质
CN113269279B (zh) 一种多媒体内容分类方法和相关装置
CN112995757B (zh) 视频剪裁方法及装置
CN113723168A (zh) 一种基于人工智能的主体识别方法、相关装置及存储介质
CN116453005A (zh) 一种视频封面的提取方法以及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022127

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant