CN111437607B - 图像处理方法及装置、电子设备和计算机可读存储介质 - Google Patents

图像处理方法及装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111437607B
CN111437607B CN202010203275.0A CN202010203275A CN111437607B CN 111437607 B CN111437607 B CN 111437607B CN 202010203275 A CN202010203275 A CN 202010203275A CN 111437607 B CN111437607 B CN 111437607B
Authority
CN
China
Prior art keywords
game
knowledge
sample
image
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010203275.0A
Other languages
English (en)
Other versions
CN111437607A (zh
Inventor
石贝
杜雪莹
王亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010203275.0A priority Critical patent/CN111437607B/zh
Publication of CN111437607A publication Critical patent/CN111437607A/zh
Application granted granted Critical
Publication of CN111437607B publication Critical patent/CN111437607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management

Abstract

本公开实施例提供了一种图像处理方法及装置、电子设备和计算机可读存储介质。该方法包括：获取目标游戏的样本图像，每帧样本图像中包括对象；从所述样本图像中获得样本数据，每个样本数据包括k帧样本图像中所述对象的真实第一游戏知识和真实第二游戏知识，k为大于1的正整数；根据每个样本数据的k帧样本图像中所述对象的真实第一游戏知识和真实第二游戏知识，获得每个样本数据的k‑1帧样本图像中所述对象的预测第一游戏知识；根据每个样本数据中所述对象的真实第一游戏知识及其预测第一游戏知识，获得所述目标游戏中的真实第二游戏知识的嵌入向量；利用所述目标游戏中的真实第二游戏知识的嵌入向量，对所述目标游戏的当前图像进行处理。

Description

图像处理方法及装置、电子设备和计算机可读存储介质
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种图像处理方法及装置、电子设备和计算机可读存储介质。
背景技术
随着网络技术的发展，网络游戏越来越成为人们生活中一种较为重要的娱乐休闲方式，甚至还可以用于测试和验证人工智能技术的发展水平。
在网络游戏中，通常会涉及到英雄所具备的基本属性、英雄所穿戴的装备、英雄所具有的技能等多种游戏知识，在相关技术中，还没有找到一种较为通用的方式来表达这些游戏知识。
因此，需要一种新的图像处理方法及装置、电子设备和计算机可读存储介质。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。
发明内容
本公开实施例提供一种图像处理方法及装置、电子设备和计算机可读存储介质，能够实现网络游戏中的游戏知识的通用表达。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
本公开实施例提供一种图像处理方法，所述方法包括：获取目标游戏的样本图像，每帧样本图像中包括对象；从所述样本图像中获得样本数据，每个样本数据包括k帧样本图像中所述对象的真实第一游戏知识和真实第二游戏知识，k为大于1的正整数；根据每个样本数据的k帧样本图像中所述对象的真实第一游戏知识和真实第二游戏知识，获得每个样本数据的k-1帧样本图像中所述对象的预测第一游戏知识；根据每个样本数据中所述对象的真实第一游戏知识及其预测第一游戏知识，获得所述目标游戏中的真实第二游戏知识的嵌入向量；利用所述目标游戏中的真实第二游戏知识的嵌入向量，对所述目标游戏的当前图像进行处理。
本公开实施例提供一种图像处理装置，所述装置包括：样本图像获取单元，用于获取目标游戏的样本图像，每帧样本图像中包括对象；样本数据获取单元，用于从所述样本图像中获得样本数据，每个样本数据包括k帧样本图像中所述对象的真实第一游戏知识和真实第二游戏知识，k为大于1的正整数；游戏知识预测单元，用于根据每个样本数据的k帧样本图像中所述对象的真实第一游戏知识和真实第二游戏知识，获得每个样本数据的k-1帧样本图像中所述对象的预测第一游戏知识；嵌入向量获得单元，用于根据每个样本数据中所述对象的真实第一游戏知识及其预测第一游戏知识，获得所述目标游戏中的真实第二游戏知识的嵌入向量；当前图像处理单元，用于利用所述目标游戏中的真实第二游戏知识的嵌入向量，对所述目标游戏的当前图像进行处理。
本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中所述的图像处理方法。
本公开实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的图像处理方法。
在本公开的一些实施例所提供的技术方案中，通过从样本图像中提取样本数据，其中每个样本数据包括k帧样本图像中对象的真实第一游戏知识和真实第二游戏知识，然后对这些样本数据进行处理，可以获得每个样本数据的k-1帧样本图像中对象的预测第一游戏知识，从而可以根据每个样本数据中该对象的真实第一游戏知识及其预测第一游戏知识，获得目标游戏中的真实第二游戏知识的嵌入(embedding)向量，这样，通过游戏知识的嵌入向量表达，能够将游戏知识中的概念实体映射到统一的向量空间中，同时将相似的游戏概念映射到相似的空间位置，从而将网络游戏中的先验知识表示出来，使得可以将获得的真实第二游戏知识的嵌入向量应用于对该目标游戏的当前图像的处理。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构的示意图；
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图；
图3示出了相关技术中基于端到端方式对游戏环境中的知识进行表达的模型结构图；
图4示意性示出了根据本公开的一实施例的图像处理方法的流程图；
图5示出了图4中所示的步骤S2在一实施例中的处理过程示意图；
图6示出了图4中所示的步骤S3在一实施例中的处理过程示意图；
图7示意性示出了根据本公开的一实施例的预测模型的网络结构图；
图8示出了图6中所示的步骤S31在一实施例中的处理过程示意图；
图9示出了图8中所示的步骤S314在一实施例中的处理过程示意图；
图10示出了图4中所示的步骤S4在一实施例中的处理过程示意图；
图11示意性示出了根据本公开的一实施例的游戏装备的嵌入向量的可视化结果的示意图；
图12示出了图4中所示的步骤S5在一实施例中的处理过程示意图；
图13示意性示出了根据本公开的一实施例的基于游戏装备的嵌入向量的强化学习策略训练的示意图；
图14示出了图4中所示的步骤S5在一实施例中的处理过程示意图；
图15示意性示出了根据本公开的一实施例的基于游戏知识表达的强化学习策略的整体流程图；
图16示出了图4中所示的步骤S5在一实施例中的处理过程示意图；
图17示意性示出了根据本公开的一实施例的图像处理装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构100的示意图。
如图1所示，系统架构100可以包括终端设备101、102，网络103和服务器104。网络103用以在终端设备101、102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102通过网络103与服务器104交互，以接收或发送消息等。其中，终端设备101、102可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、虚拟现实设备、智能家居等等。
服务器104可以是提供各种服务的服务器，例如对用户利用终端设备101、102所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。
服务器104可例如获取目标游戏的样本图像，每帧样本图像中包括对象；从所述样本图像中获得样本数据，每个样本数据包括k帧样本图像中所述对象的真实第一游戏知识和真实第二游戏知识，k为大于1的正整数；服务器104可例如根据每个样本数据的k帧样本图像中所述对象的真实第一游戏知识和真实第二游戏知识，获得每个样本数据的k-1帧样本图像中所述对象的预测第一游戏知识；服务器104可例如根据每个样本数据中所述对象的真实第一游戏知识及其预测第一游戏知识，获得所述目标游戏中的真实第二游戏知识的嵌入向量；利用所述目标游戏中的真实第二游戏知识的嵌入向量，对所述目标游戏的当前图像进行处理。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的，服务器104可以是一个实体的服务器，还可以为多个服务器组成的服务器集群，还可以是云端服务器，根据实际需要，可以具有任意数目的终端设备、网络和服务器。
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示，计算机系统200包括中央处理单元(CPU，Central Processing Unit)201，其可以根据存储在只读存储器(ROM，Read-Only Memory)202中的程序或者从储存部分208加载到随机访问存储器(RAM，Random Access Memory)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU 201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(input/output，I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分207；包括硬盘等的储存部分208；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入储存部分208。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法和/或装置中限定的各种功能。
需要说明的是，本公开所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM(Erasable Programmable Read Only Memory，可擦除可编程只读存储器)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF(RadioFrequency，射频)等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的方法、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图4或图5或图6或图8或图9或图10或图12或图14或图16所示的各个步骤。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本公开实施例提供的技术方案涉及人工智能技术的机器学习技术等方面，下面通过具体的实施例进行举例说明。
AI系统通过强化学习(Reinforcement Learning，RL)等方法，在围棋、多人在线战术竞技游戏(Multiplayer Online Battle Arena，MOBA)等网络游戏中战胜了最顶级的职业选手。然而与人类能力相比，该类方法依旧存在着对固定环境或者游戏场景过拟合严重，无法处理未探索状态，泛化性差等问题。
相关技术中的游戏AI系统在训练过程中，往往通过将网络游戏中的部分游戏知识进行表达，然后基于这部分游戏知识的表达来学习强化策略。在面对新的游戏场景或者改变游戏设定时，相关技术中的游戏AI系统因为在训练过程中存在部分未训练过的新的游戏知识，会导致该游戏AI存在没有探索过的新状态，从而不能够快速适应新的游戏场景，展现出较差的游戏性能，即相关技术中的游戏AI系统不具备很好的泛化性。本公开实施例中的游戏AI系统是指用计算机程序实现在网络游戏中打败真实的游戏玩家。
在一些多人在线战术竞技游戏(MOBA网络游戏)中，游戏AI系统训练强化学习智能体完成许多短期的目标(例如攻击对方，并保证自己存活)进而取得整场比赛的胜利，其主要是通过端到端方式(指的是输入是原始数据，输出是最后的结果)，对游戏环境中的游戏知识进行表达。
例如，图3示出了相关技术中基于端到端方式对游戏环境中的知识进行表达的模型结构图。如图3所示，强化学习模型包括游戏知识隐含表达模块和强化策略模块。先输入小兵、野怪、防御塔等原始特征，然后通过全连接等编码层输出的隐向量，表示游戏中所涉及的游戏装备、游戏技能、游戏状态等。随后，该种表示直接作为强化策略模块的输入，得到对应的动作输出，并与游戏环境不断的交互。
在实际场景中，将游戏知识隐含表达模块和强化策略模块共用同一个神经网络，通过端到端训练，游戏知识表达和强化策略共同优化，一起拟合游戏环境，在输入原始特征后便可直接输出动作(即游戏AI系统所选择的动作，包括移动、攻击、释放技能等)。
但是，上述技术方案至少存在以下技术问题：
第一，游戏知识隐含表达模块收敛速度慢。在端到端训练过程中，因为游戏知识隐含表达模块和强化策略模块相耦合，需要强化学习模型不断地做探索才能学习出相应的游戏知识表达，效率低下。
第二，强化学习模型泛化性差。同样，因为在端到端训练过程中，游戏知识隐含表达模块和强化策略模块相耦合，所学习到的游戏知识表达依赖于固定的强化学习策略和游戏环境。当面对新的游戏环境和游戏设定时，强化学习模型不能够表达新的游戏知识，从而造成强化策略泛化性差。
图4示意性示出了根据本公开的一实施例的图像处理方法的流程图。本公开实施例提供的方法可以由任意具备计算处理能力的电子设备执行，例如如图1中的终端设备101、102和/或服务器104。如图4所示，本公开实施例提供的图像处理方法可以包括以下步骤。
在步骤S1中，获取目标游戏的样本图像，每帧样本图像中包括对象。
本公开实施例中，目标游戏可以是任意的涉及单方、多方(例如我方和敌方两方，或者我方、敌方和友方三方等，本公开对多方的数量不做限定)参与的游戏，例如可以是卡牌游戏、MOBA(Multiplayer Online Battle Arena，多人在线战术竞技游戏)游戏、围棋游戏等。若目标游戏为单方参与的游戏，则每帧样本图像中的对象可以为该单方参与者，例如某个真实的游戏玩家控制的一个或者多个游戏角色。若目标游戏为多方参与的游戏，则每帧样本图像中的对象可以包括多方参与者，例如某个或某几个真实的游戏玩家各自控制的一个或者多个游戏角色，还可以包括计算机系统(即游戏AI系统)控制的一个或者多个游戏角色。
在下面的实施例中均以某款MOBA游戏为例进行举例说明，但本公开并不限定于此。该款MOBA游戏中不同类型的英雄，例如坦克、战士、刺客、法师、射手和辅助类英雄，例如战士类英雄中可以包括马超、哪吒、孙悟空等英雄，法师类英雄中可以包括女娲、姜子牙等英雄。这里假设是游戏AI系统(假设为我方)和真实的游戏玩家(假设为敌方)进行对战，游戏AI系统假设控制五个我方英雄，真实的游戏玩家控制五个敌方英雄，具体的英雄数量可以根据实际情况选择，本公开对此不做限定。这里的“英雄”通常是指网络游戏中的虚拟人物或者动物等游戏角色。
在步骤S2中，从所述样本图像中获得样本数据，每个样本数据包括k帧样本图像中所述对象的真实第一游戏知识和真实第二游戏知识，k为大于1的正整数。
本公开实施例中，游戏知识是指网络游戏中对游戏规律和游戏单位的刻画和认知，是网络游戏中与游戏有关的实体概念。还是以某款MOBA游戏为例，该游戏中总共包括95件游戏装备，2000多个游戏技能和5000多种游戏状态，这里的游戏知识可以包括游戏装备、游戏技能、游戏属性和游戏状态等，但本公开并不限定于此。
其中，游戏装备是指网络游戏中的游戏角色例如英雄可以选择的虚拟道具。可以根据装备的属性又进行不同的类型划分，还是以上述某款MOBA游戏为例，可以分为物理攻击(physical attack)装备、法术攻击(magic attack)装备、物理防御(physical defence)装备、辅助(support)装备、打野(jungle)装备和移动(shoes)装备。
其中物理攻击装备是指不用技能，直接攻击对敌方造成伤害的道具，可以包括“铁剑”、“匕首”、“搏击拳套”、“吸血之镰”、“冲能拳套”、“日冕”、“狂暴双刃”、“陨星”、“末世”、“名刀司命”、“冰霜长矛”、“速击之枪”、“泣血之刃”、“无尽战刃”、“宗师之力”、“闪电匕首”、“影刃”、“纯净苍穹”、“逐日之弓”、“破魔刀”、“穿云弓”、“雷鸣刃”、“风暴巨剑”、“暗影战斧”、“碎星锤”和“破晓”等。
其中法术攻击装备是指使用法术对敌方造成伤害的道具，可以包括“咒术典籍”、“蓝宝石”、“炼金护符”、“圣者法典”、“元素杖”、“大棒”、“破碎圣杯”、“光辉之剑”、“魅影面罩”、“进化水晶”、“血族之书”、“炽热支配者”、“梦魇之牙”、“虚无法杖”、“博学者之怒”、“辉月”、“回响之杖”、“冰霜法杖”、“痛苦面具”、“巫术法杖”、“圣杯”、“时之预言”、“贤者之书”和“噬神之书”等。
其中物理防御装备是用于减少像射手、刺客这样的英雄的伤害的道具，可以包括“红玛瑙”、“布甲”、“抗魔披风”、“提神水晶”、“力量腰带”、“熔炼之心”、“神隐斗篷”、“雪山圆盾”、“守护者之铠”、“反伤刺甲”、“血魔之怒”、“红莲斗篷”、“霸者重装”、“冲击铠甲”、“不祥征兆”、“不死鸟之眼”、“魔女斗篷”、“极寒风暴”、“冰痕之握”、“贤者的庇护”、“制裁之刃”和“暴烈之甲”等。
其中辅助装备是用于给英雄加大生命值和移速的，可以包括“近卫荣耀”、“奔狼纹章”、“鼓舞之盾”、“风灵纹章”、“救赎之翼”、“风之轻语”、“极影”、“凤鸣指环”和“学识宝石”等。
其中打野装备是指主要用于游走在野区打野怪升级用的道具，可以包括“狩猎宽刃”、“游击弯刀”、“巡守利斧”、“追击刀锋”、“符文大剑”、“巨人之握”和“贪婪之噬”等。
其中移动装备是指游戏中的鞋类道具，可以用于帮助英雄进行移速加成，可以包括“神速之靴”、“影忍之足”、“抵抗之靴”、“冷静之靴”、“秘法之靴”、“急速战靴”和“疾步之靴”等。
其中，对于某帧样本图像而言，其对应的装备列表中的游戏装备是属于各个英雄的，因此，游戏装备还可以加上所属英雄的英雄标识(identification，ID)。此外，游戏装备还可以包括装备名称、装备描述、装备ID等数据。
本公开实施例中，游戏技能可以帮助游戏角色例如英雄实现相应的功能，可以根据游戏类型、游戏角色的职业特性、游戏风格、角色动作等各个因素来设计。还是以某款MOBA游戏为例，敌方英雄和我方英雄会具有各自的技能。样本图像中具有英雄的技能区域，在技能区域中显示了英雄所拥有的各种技能，并可以用不同颜色来区别各种技能所处的状态，例如，显示为灰色的技能处于冷却状态(即不可用技能)，显示为彩色的技能处于可用状态(即可用技能)。
这里假设敌方英雄和我方英雄各自均具有6种技能，但本公开并不限定于此，敌我双方所具有的技能的数量、种类以及每种技能的具体含义，均可以根据目标游戏的不同而不同。若设置可用技能对应的位置为“1”，不可用技能对应的位置为“0”，假设样本图像中第一至第四种技能均为不可用技能，第五至第六种技能均为可用技能，则该样本图像中对应英雄的游戏技能可以表示为“000011”。但本公开并不限定于此。游戏技能还可以包括：技能名称、技能标识(identification，ID)等信息。
本公开实施例中，游戏属性是指样本图像中的游戏角色例如英雄的基本属性。例如，该英雄的血量、魔量、攻击力、防御力等。其中，血量可以通过检测样本图像中的红色的血条获得，血条通常用来指示游戏中英雄还剩余多少生命值，例如，初始时，一般设置各方英雄的血条是满格的，当某方英雄在遭到攻击时，可能受伤，此时会相应地减少该方英雄的血条的长度，当该方英雄的血条长度减为0时，代表该方英雄在游戏中的寿命结束了。魔量是指游戏角色例如英雄的魔法值，可以通过检测样本图像中的蓝色的条获得，如果蓝色的条消耗完了，对应的英雄就无法发出技能了，此时魔法值减为0。攻击力是指游戏角色例如我方英雄对其它游戏角色例如敌方英雄所具有的伤害力量。防御力是指游戏角色可以用来防御其它游戏角色对其进行伤害的力量。
本公开实施例中，游戏状态是指样本图像中的游戏角色例如英雄所处的状态，其中包括眩晕、减速等负面状态，以及增加攻击力等正面状态。
在下面的举例说明中，以第一游戏知识为游戏属性，第二游戏知识为游戏装备为例进行举例说明，但本公开并不限定于此，可以采用类似的方法得到任意一款网络游戏中的任意一种或者全部游戏知识的嵌入向量表示。其中，真实第一游戏知识是指样本图像中英雄当前所具有的基本属性，其是相对下文中提及的“预测第一游戏知识”而言的，通过预测模型预测输出的该英雄所具有的基本属性可能会与真实的基本属性之间存在一定的误差。类似的，真实第二游戏知识是指样本图像中英雄当前所穿戴的游戏装备。
具体如何获得样本数据可以参考下述图5实施例。
在步骤S3中，根据每个样本数据的k帧样本图像中所述对象的真实第一游戏知识和真实第二游戏知识，获得每个样本数据的k-1帧样本图像中所述对象的预测第一游戏知识。
例如，在下面的举例说明中，均以取k＝5为例进行举例说明，但本公开并不限定于此，可以根据实际需要进行自主调整。可以根据每个样本数据的5帧样本图像中某个英雄的真实游戏属性和真实游戏装备，获得每个样本数据的4帧样本图像中该英雄的预测游戏属性。
具体如何获得每个样本数据的4帧样本图像中该英雄的预测游戏属性可以参照下述图6-9实施例。
在步骤S4中，根据每个样本数据中所述对象的真实第一游戏知识及其预测第一游戏知识，获得所述目标游戏中的真实第二游戏知识的嵌入向量。
例如，可以根据每个样本数据中该英雄的真实游戏属性及其预测游戏属性，可以获得该款MOBA游戏中的真实游戏装备的嵌入向量。
具体如何获得该款MOBA游戏中的真实游戏装备的嵌入向量可以参照下图10实施例。
在步骤S5中，利用所述目标游戏中的真实第二游戏知识的嵌入向量，对所述目标游戏的当前图像进行处理。
本公开实施例中，当通过上述步骤获得目标游戏中的真实第二游戏知识的嵌入向量后，可以将其应用于各种各样的场景中。例如，利用上述获得的该款MOBA游戏中的真实游戏装备的嵌入向量，可以用来训练、测试该款MOBA游戏的游戏AI系统，也可以应用于在线对战过程中，使得游戏AI系统在与真人游戏玩家对战的过程中，能够准确、快速地获得当前正在对战的图像中的真实游戏装备的嵌入向量，从而可以通过训练获得的强化学习策略模型分析出游戏AI系统应该采取何种动作。再例如，还可以将上述获得的该款MOBA游戏中的真实游戏装备的嵌入向量，用于相似游戏装备的挖掘，可以获得真人游戏玩家当前图像中使用、购买、点击或者浏览的游戏装备，然后，可以查找到这些游戏装备的嵌入向量，根据这些游戏装备的嵌入向量，与其他游戏装备的嵌入向量进行相似度的计算，即可获得这些游戏装备的相似游戏装置，从而可以将这些相似游戏装置推荐给这个真人游戏玩家。
本公开实施方式提供的图像处理方法，通过从样本图像中提取样本数据，其中每个样本数据包括k帧样本图像中对象的真实第一游戏知识和真实第二游戏知识，然后对这些样本数据进行处理，可以获得每个样本数据的k-1帧样本图像中对象的预测第一游戏知识，从而可以根据每个样本数据中该对象的真实第一游戏知识及其预测第一游戏知识，获得目标游戏中的真实第二游戏知识的嵌入(Embedding)向量，这样，通过游戏知识的嵌入向量表达，能够将游戏知识中的概念实体映射到统一的向量空间中，同时将相似的游戏概念映射到相似的空间位置，从而将网络游戏中的先验知识表示出来，使得可以将获得的真实第二游戏知识的嵌入向量应用于对该目标游戏的当前图像的处理。
本发明将以某款MOBA游戏为例对上述图像处理方法进行举例说明，但本公开实施例提供的方法不局限于MOBA游戏，也适用于其他游戏。且以该款MOBA游戏中的游戏装备表示为例，学习基于嵌入向量的游戏装备如何表达。
图5示出了图4中所示的步骤S2在一实施例中的处理过程示意图。本公开实施例中，假设提取了目标游戏的M局样本图像，每局样本图像中可以包括连续的N帧样本图像，M和N均为大于1的正整数，M和N的具体取值可以根据实际需要进行选择，本公开对此不做限定。
例如，该款MOBA游戏拥有大量的高水平游戏玩家对战的样本图像，从中可以抽取固定长度的样本图像形成的帧序列来构建游戏知识的数据集。在本公开实施例中，数据集共包含M局样本图像，每一局的数据包括长度为N的样本图像形成的帧序列<x1,x2,…，xN>，xp表示第p帧样本图像中的数据，例如，这里假设为第p帧样本图像中某个英雄的真实游戏属性和真实游戏装备，其中p为大于或等于1且小于或等于N的正整数。
如图5所示，本公开实施例中，上述步骤S2可以进一步包括以下步骤。
在步骤S21中，从每局样本图像中的对象中确定目标对象。
例如，假设录下甲和乙两个游戏玩家在该款MOBA游戏中对战的样本图像，假设总共有10个英雄，甲控制了五个我方英雄，乙控制了五个敌方英雄，在每一局中，10个英雄无区别，每局可以从这10个英雄中随机采样一个英雄作为目标对象。
在步骤S22中，从每局样本图像的N帧样本图像中获得N/k个样本数据，其中第j个样本数据包括每局样本图像的N帧样本图像中的第k(j-1)+1至第kj帧样本图像中所述目标对象的真实第一游戏知识和真实第二游戏知识。
其中j为大于或等于1且小于或等于N/k的正整数。
为了便于学习游戏装备的嵌入向量表示，这里将每局的样本图像的帧序列＜x1,x2,…，xN>划分为包含了连续5(即假设k＝5)帧的样本图像，则每局可以获得N/k个样本数据，N/k为大于或等于1的正整数，每个样本数据包括了连续5帧的样本图像中的数据。
例如，第一个样本数据可以表示为＜x1,x2,x3,x4,x5>，即第一个样本数据包括了当前局所选择的英雄的第1至第5帧样本图像中的真实游戏属性和真实游戏装备所组成的向量，第二个样本数据可以表示为＜x6,x7,x8,x9,x10>，即第二个样本数据包括了该英雄的第6至第10帧样本图像中的真实游戏属性和真实游戏装备所组成的向量，第三个样本数据可以表示为<x11,x12,x13,x14,x15>，即第三个样本数据包括了该英雄的第11至第15帧样本图像中的真实游戏属性和真实游戏装备所组成的向量，…，第j个样本数据可以表示为<x5(j-1)+1,x5(j-1)+2,x5(j-1)+3,x5(j-1)+4,x5j>，即第j个样本数据包括了该英雄的第5(j-1)+1至第5j帧样本图像中该英雄的真实游戏属性和真实游戏装备所组成的向量，…，其他依此类推，获取当前局的多个样本数据，且获得每一个样本数据中每一帧样本图像中该英雄的游戏属性和游戏装备。
本公开实施例中，可以将每个样本数据中的第m(m为大于或等于1且小于或等于k，这里假设k＝5)帧样本图像中的该英雄的真实游戏属性以符号Hero_statem表示，该英雄所穿戴的真实游戏装备以符号Equipm表示。
其中，Hero_statem为一个一维向量，维度为Dhero，Dhero为大于或等于1的正整数，可以根据目标游戏中英雄可以具备的基本属性的种类数量来确定。Hero_statem中的每一位表示英雄归一化后的一种基本属性，例如，血量，魔量，攻击力，防御力等等。Equipm为“0”，“1”组成的一维向量，其维度为该目标游戏中的游戏装备的种类数量，当Equipm表示该英雄在该样本数据的第m帧样本图像所穿戴的游戏装备时，“0”表示该英雄在该样本数据的第m帧样本图像中未穿戴对应位的装备，“1”表示该英雄在该样本数据的第m帧样本图像中穿戴了对应位的装备，这里假设在该款MOBA游戏中，Equipm的维度为95，即一共有95种游戏装备。
图6示出了图4中所示的步骤S3在一实施例中的处理过程示意图。如图6所示，本公开实施例中，上述步骤S3可以进一步包括以下步骤。
在步骤S31中，将每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像中所述目标对象的真实第一游戏知识和真实第二游戏知识输入至预测模型的第i预测单元，获得每局样本图像的第j个样本数据的第k(j-1)+i+1帧样本图像中所述目标对象的预测第一游戏知识。
其中，所述预测模型包括第一至第k-1预测单元，i为大于或等于1且小于或等于k-1的正整数。
例如，在获得样本数据后，每个长度为5的样本数据<xt+1,xt+2,xt+3,xt+4,xt+5>可以输入至预测模型中，用于输出预测游戏属性，其中t为大于或等于0且小于或等于N-5的整数，且t为5的倍数。
下面以某一局中的第一个样本数据<x1,x2,x3,x4,x5＞为例，结合图7的预测模型的网络结构来说明游戏知识的嵌入向量表达。
图7示意性示出了根据本公开的一实施例的预测模型的网络结构图。本公开实施例中，预测模型可以采用时间循环神经网络。LSTM(Long Short-Term Memory，长短期记忆网络)是时间循环神经网络的一种。
在图7实施例中，当k＝5时，预测模型可以包括4个LSTM单元(unit)，即第一LSTM单元LSTM单元1、第二LSTM单元LSTM单元2、第三LSTM单元LSTM单元3和第四LSTM单元LSTM单元4。
利用该预测模型，通过LSTM单元1由x1中的真实游戏属性Hero_state1和真实游戏装备Equip1输出x2的预测游戏属性通过LSTM单元2由x2中的真实游戏属性Hero_state2和真实游戏装备Equip2输出x3的预测游戏属性/>通过LSTM单元3由x3中的真实游戏属性Hero_state3和真实游戏装备Equip3输出x4的预测游戏属性通过LSTM单元4由x4中的真实游戏属性Hero_state4和真实游戏装备Equip4输出x5的预测游戏属性/>以此类推。
下面结合图8和9的实施例进行举例说明。
图8示出了图6中所示的步骤S31在一实施例中的处理过程示意图。如图8所示，本公开实施例中，上述步骤S31可以进一步包括以下步骤。
在步骤S311中，获得初始化第二游戏知识嵌入矩阵和初始化权重矩阵。
例如，以第二游戏知识嵌入矩阵为装备嵌入矩阵为例，可以随机初始化获得初始化装备嵌入矩阵Equip_Embedding，该矩阵中的每一行可以表示为目标游戏的一种游戏装备的嵌入向量。以该款MOBA游戏为例，该矩阵维度可以为95*d，d为每个embedding向量的维度，d为大于或等于1的正整数。还可以对该预测模型的权重矩阵W进行随机初始化获得初始化权重矩阵W。
然后，该预测模型通过预测该样本数据的后面四帧的游戏属性来对Equip_Embedding进行优化，以获得目标Equip_Embedding。
在步骤S312中，根据所述初始化权重矩阵和每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像中所述目标对象的真实第一游戏知识，获得每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第一游戏知识信息。
还是以图7为例，当j＝1，i＝1时，对于第一个样本数据中的第一帧x1中该英雄的真实游戏属性Hero_state1而言，可以获得该局的第一个样本数据的第一帧x1的第一游戏知识信息为W*Hero_state1。当j＝1，i＝2时，对于第一个样本数据中的第二帧x2中该英雄的真实游戏属性Hero_state2而言，可以获得该局的第一个样本数据的第二帧x2的第一游戏知识信息为W*Hero_state2。当j＝1，i＝3时，对于第一个样本数据中的第三帧x3中该英雄的真实游戏属性Hero_state3而言，可以获得该局的第一个样本数据的第三帧x3的第一游戏知识信息为W*Hero_state3。当j＝1，i＝4时，对于第一个样本数据中的第四帧x4中该英雄的真实游戏属性Hero_state4而言，可以获得该局的第一个样本数据的第四帧x4的第一游戏知识信息为W*Hero_state4。
在步骤S313中，根据所述初始化第二游戏知识嵌入矩阵和每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像中所述目标对象的真实第二游戏知识，获得每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第二游戏知识信息。
还是以图7为例，当j＝1，i＝1时，对于第一个样本数据中的第一帧x1中该英雄的真实游戏装备Equip1而言，可以获得该局的第一个样本数据的第一帧x1的第二游戏知识信息为Equip1*Equip_Embedding。当j＝1，i＝2时，对于第一个样本数据中的第二帧x2中该英雄的真实游戏装备Equip2而言，可以获得该局的第一个样本数据的第二帧x2的第二游戏知识信息为Equip2*Equip_Embedding。当j＝1，i＝3时，对于第一个样本数据中的第三帧x3中该英雄的真实游戏装备Equip3而言，可以获得该局的第一个样本数据的第三帧x3的第二游戏知识信息为Equip3*Equip_Embedding。当j＝1，i＝4时，对于第一个样本数据中的第四帧x4中该英雄的真实游戏装备Equip4而言，可以获得该局的第一个样本数据的第四帧x4的第二游戏知识信息为Equip4*Equip_Embedding。
在步骤S314中，通过所述第i预测单元对每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第一游戏知识信息和第二游戏知识信息进行处理，获得每局样本图像的第j个样本数据的第k(j-1)+i+1帧样本图像中所述目标对象的预测第一游戏知识。
图9示出了图8中所示的步骤S314在一实施例中的处理过程示意图。如图9所示，本公开实施例中，上述步骤S314可以进一步包括以下步骤。
在步骤S3141中，对每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第二游戏知识信息进行池化处理，获得每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的池化后第二游戏知识。
还是以图7为例，当j＝1，i＝1时，对于第一个样本数据中的第一帧x1第二游戏知识信息为Equip1*Equip_Embedding进行平均池化操作，可以获得第一个样本数据中的第一帧x1的池化后第二游戏知识Average_Pool(Equip1*Equip_Embedding)。当j＝1，i＝2时，对于第一个样本数据中的第二帧x2的第二游戏知识信息Equip2*Equip_Embedding进行平均池化操作，可以获得第一个样本数据中的第二帧x2的池化后第二游戏知识Average_Pool(Equip2*Equip_Embedding)。当j＝1，i＝3时，对于第一个样本数据中的第三帧x3的第二游戏知识信息为Equip3*Equip_Embedding进行平均池化操作，可以获得第一个样本数据中的第三帧x3的池化后第二游戏知识Average_Pool(Equip3*Equip_Embedding)。当j＝1，i＝4时，对于第一个样本数据中的第四帧x4的第二游戏知识信息为Equip4*Equip_Embedding进行平均池化操作，可以获得第一个样本数据中的第四帧x4的池化后第二游戏知识Average_Pool(Equip4*Equip_Embedding)。
在步骤S3142中，根据每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第一游戏知识信息和池化后第二游戏知识，获得每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的融合游戏知识信息。
还是以图7为例，当j＝1，i＝1时，根据第一个样本数据中的第一帧x1的第一游戏知识信息W*Hero_state1和池化后第二游戏知识Average_Pool(Equip1*Equip_Embedding)，可以获得第一个样本数据中的第一帧x1的融合游戏知识信息为W*Hero_state1+Average_Pool(Equip1*Equip_Embedding)。当j＝1，i＝2时，根据第一个样本数据中的第二帧x2的第一游戏知识信息W*Hero_state2和池化后第二游戏知识Average_Pool(Equip2*Equip_Embedding)，可以获得第一个样本数据中的第二帧x2的融合游戏知识信息为W*Hero_state2+Average_Pool(Equip2*Equip_Embedding)。当j＝1，i＝3时，根据第一个样本数据中的第三帧x3的第一游戏知识信息W*Hero_state3和池化后第二游戏知识Average_Pool(Equip3*Equip_Embedding)，可以获得第一个样本数据中的第三帧x3的融合游戏知识信息为W*Hero_state3+Average_Pool(Equip3*Equip_Embedding)。当j＝1，i＝4时，根据第一个样本数据中的第四帧x4的第一游戏知识信息W*Hero_state4和池化后第二游戏知识Average_Pool(Equip4*Equip_Embedding)，可以获得第一个样本数据中的第四帧x4的融合游戏知识信息为W*Hero_state4+Average_Pool(Equip4*Equip_Embedding)。
在步骤S3143中，通过所述第i预测单元对每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的融合游戏知识信息进行处理，获得每局样本图像的第j个样本数据的第k(j-1)+i+1帧样本图像中所述目标对象的预测第一游戏知识。
还是以图7为例，每一个LSTM单元的输入为对应帧样本图像的真实游戏属性与真实游戏装备，输出为该对应帧的下一帧样本图像的预测游戏属性，可以分别通过以下公式计算获得：
上述公式(1)，Average_Pool表示平均池化，h0表示输入至LSTM1的随机初始化的隐变量。
上述公式(1)，h1表示从LSTM1输入至LSTM2的隐变量。
上述公式(3)，h2表示从LSTM2输入至LSTM3的隐变量。
/>
上述公式(4)，h3表示从LSTM3输入至LSTM4的隐变量。
图10示出了图4中所示的步骤S4在一实施例中的处理过程示意图。如图10所示，本公开实施例中，上述步骤S4可以进一步包括以下步骤。
在步骤S41中，根据每局样本图像的第j个样本数据的第k(j-1)+i+1帧至第kj帧样本图像中所述目标对象的真实第一游戏知识及其预测第一游戏知识，获得每局样本图像的第j个样本数据的损失值。
对于每局样本图像的第j个样本数据的损失值，可以通过以下公式计算获得：
以第一个样本数据<x1,x2,x3,x4,x5>为例，即当k＝5，j＝1时，该样本数据的损失值Loss可以通过以下公式计算获得：
在步骤S42中，根据每局样本图像的每个样本数据的损失值，获得所述预测模型的损失值。
例如，预测模型的损失值可以为每个样本数据的损失值的平均值或者加权平均值。
在步骤S43中，对所述预测模型的损失值进行优化处理，获得目标第二游戏知识嵌入矩阵和目标权重矩阵。
其中，所述目标第二游戏知识嵌入矩阵中包括所述目标游戏中的真实第二游戏知识的嵌入向量。
本公开实施例中，可以通过使用梯度优化算法对预测模型的损失值进行优化，可以获得W和Equip_Embedding的具体取值。
本公开实施方式提供的图像处理方法，采用多个LSTM构成的预测模型来获得游戏设备的embedding表示，LSTM可以对有价值的信息进行长期记忆，从而可以减小循环神经网络的学习难度。
需要说明的是，上述图6-10的实施例给出了一个具体实例用于举例说明，但本公开的保护范围并不限定于此。在其他实施例中，上述预测模型并不限于多个LSTM单元组成的模型，例如，还可以采用多个GRU(Gated Recurrent Unit，门控循环单元)组成该预测模型。
图11示意性示出了根据本公开的一实施例的游戏装备的嵌入向量的可视化结果的示意图。
可以使用t-SNE(t-distributed stochastic neighbor embedding，t-分布随机邻居嵌入，是用于降维的一种机器学习算法)方法对上述实施例中获得的目标Equip_Embedding进行降维处理，降维成2维的数据点坐标，每一个游戏装备的嵌入向量由一个数据点表示，获得可视化视图，可得到图11。
图11展示了每个游戏装备的二维可视化位置以及所属装备类型或者种类。游戏装备与游戏装备之间的相似度可以近似表示为两个点之间的距离。从图11可以看出，使用基于embedding的游戏知识通用表达方法，大部分相似的游戏装备会被映射到相似的位置上，从而表示学习出的游戏装备嵌入表示Equip_Embedding蕴含了游戏装备的属性特征。比如游戏装备“鼓舞之盾”与“凤鸣指环”之间的距离非常相近，且均为辅助装备。“虚无法杖”与“回响之杖”之间的位置也很相近，且均为法术攻击装备。
可以理解的是，虽然上述实施例中均以如何学习游戏装备的embedding为例进行举例说明，但本领域技术人员可以将其拓展到用嵌入向量表达游戏中的任意其他游戏知识，例如游戏技能、游戏状态。其他游戏知识的游戏概念也可通过类似方式，在更改预测游戏帧内容的情况下，学习出基于embedding的表达。
本公开实施方式提供的图像处理方法，提出了一种新的基于embedding的游戏知识通用表达方法，利用样本图像数据，通过对游戏属性的预测，对游戏中的游戏装备、游戏技能和游戏状态等进行embedding表示。得到的embedding将属性相似的游戏知识映射到相似的语义空间位置，保证了游戏知识表达的合理性和泛化性。
上述实施例中学习到的游戏知识的embedding表示，可用于后续的强化学习策略模型的训练，能够提高强化学习的鲁棒性。当面对新的游戏环境和游戏设定时，强化学习策略模型能够根据相似的游戏知识表达进行推断，得到合理的动作输出。下面以将该强化学习策略模型应用于该款MOBA游戏的游戏AI系统为例进行举例说明。
图12示出了图4中所示的步骤S5在一实施例中的处理过程示意图。图12实施例中，所述当前图像可以包括所述目标游戏的训练图像。如图12所示，本公开实施例中，上述步骤S5可以进一步包括以下步骤。
在步骤S51中，从所述训练图像中获得所述目标游戏的训练第二游戏知识。
这里的训练第二游戏知识是指用于训练强化学习策略模型的第二游戏知识，例如上述的游戏装备。
本公开实施例中，可以采用随机装备的方法来增强强化学习策略模型的鲁棒性。随机装备是指，在训练强化学习策略模型时，随机设定游戏环境中的游戏装备，强化策略与游戏环境不断交互，获取具有不同游戏装备的训练样本。
在步骤S52中，利用所述真实第二游戏知识的嵌入向量获得所述训练第二游戏知识的嵌入向量。
例如，针对每一帧训练样本的游戏装备，通过查找上述实施例获得的目标Equip_Embedding，可以获得每一帧训练样本的游戏装备的embedding向量。
在步骤S53中，利用所述训练第二游戏知识的嵌入向量训练强化学习策略模型。
例如，将每一帧训练样本的游戏装备的embedding向量输入至强化学习策略模型作为该目标游戏的特征，进行训练。
本公开实施方式提供的图像处理方法，与相关技术的方案的不同之处在于，不再采用端到端的训练方式，而是将游戏知识的embedding表达用独立的神经网络(例如LSTM单元组成的预测模型)来输出，然后再利用该预测模型的输出信息例如目标Equip_Embedding来获得当前的训练样本中的游戏知识的embedding表达，再将训练样本的游戏知识的embedding表达输入至强化学习策略模型的神经网络中，得到预测的输出动作。这里的强化学习策略模型可以采用任意一种合适的神经网络，本公开对此不做限定。
图13示意性示出了根据本公开的一实施例的基于游戏装备的嵌入向量的强化学习策略训练的示意图。
在得到游戏装备的embedding表示后，可以将其引入强化学习策略模型的训练过程中，以用于增强强化学习策略模型的泛化性，如图13所示。
其中，强化学习是通过不断与环境交互，利用环境给出的奖惩来不断的改进策略(即在什么状态下采取什么动作)，以求获得最大的累计奖惩。在训练强化学习策略模型时，强化学习策略模型需要通过与游戏环境的不断交互获得训练样本。然后通过这些样本训练强化学习策略模型的神经网络，获取最大的奖惩累积。强化学习策略模型的神经网络的输入可以包括游戏属性、游戏装备、游戏状态等特征，强化学习策略模型的输出为对应的游戏动作。
图13以游戏装备为例，这里假设一共有n(n为大于或等于1的正整数)帧的训练样本，则每一帧的训练样本对应一个游戏装备。训练过程中，强化学习策略模型的输入并不是直接的训练样本的游戏装备Equip，而是先通过该训练样本的游戏装备从目标Equip_Embedding中查询对应的游戏装备的embedding向量，它能够蕴含已有的游戏知识，然后将该向量输入强化学习策略模型进行训练。与相关技术中的游戏知识表达相比，使用本公开实施例的方法能够有效增强强化学习策略模型的泛化性，提高游戏AI系统在新的游戏场景或者游戏设定下的表现效果，在新的游戏场景或者游戏设定维持游戏AI系统的竞技能力，对于提升游戏AI系统的竞技水平至关重要。
图14示出了图4中所示的步骤S5在一实施例中的处理过程示意图。图14实施例中，所述当前图像还可以包括所述目标游戏的测试图像。如图14所示，本公开实施例中，上述步骤S5还可以进一步包括以下步骤。
在步骤S54中，从所述测试图像中获得不同于所述训练第二游戏知识的测试第二游戏知识。
这里的测试第二游戏知识是指用于测试强化学习策略模型的第二游戏知识，例如上述的游戏装备。但本公开并不限定于此，测试第二游戏知识也可以是任意的后续在线使用已经训练好的强化学习策略模型的任意第二游戏知识。
在步骤S55中，利用所述真实第二游戏知识的嵌入向量获得所述测试第二游戏知识的嵌入向量。
例如，针对每一帧测试样本的游戏装备，通过查找上述实施例获得的目标Equip_Embedding，可以获得每一帧测试样本的游戏装备的embedding向量。
在步骤S56中，利用所述测试第二游戏知识的嵌入向量测试训练后的所述强化学习策略模型。
例如，将每一帧测试样本的游戏装备的embedding向量输入至强化学习策略模型作为该目标游戏的特征，进行测试。
本公开实施方式提供的图像处理方法，在测试时，对训练过程中未见过的游戏装备，依然可以通过查找游戏装备embedding的方法作为特征进行输入，得到相应动作。以上述某款MOBA游戏为例，学习的目标Equip_Embedding矩阵包含了该目标游戏中的全部95种游戏装备。然而，训练过程中，强化学习策略模型并不能探索到全部95种游戏装备。假如遇到未探索的游戏装备“不死鸟之眼”时，可以首先通过查询目标Equip_Embedding中表示“不死鸟之眼”的embedding向量，然后将该embedding向量输入强化学习策略模型中，输出合理的游戏动作。
图15示意性示出了根据本公开的一实施例的基于游戏知识表达的强化学习策略的整体流程图。如图15所示，本公开实施例提出的图像处理方法，分为3个阶段：首先利用线下样本图像数据学习游戏知识的通用表达，具体地，利用提取的样本图像数据，将每一件游戏装备，每一个游戏技能和游戏状态均用统一的embedding向量表示。然后，将游戏知识的向量表达作为特征输入强化学习策略模型，学习游戏AI系统。在面对训练和测试环境中未探索的新游戏装备或者新游戏技能时，使用先验游戏知识表达来表示新的游戏知识，增强强化学习策略模型的泛化性。
本公开实施方式提供的图像处理方法，通过针对样本图像中的数据，对游戏知识比如游戏装备、游戏技能、游戏状态等进行表示。该表示能够将游戏知识中的所有概念实体映射到统一的向量空间中，同时将相似的游戏概念映射到相似的空间位置，从而将游戏中的先验知识表示出来。在训练游戏AI系统过程中，通过引入游戏知识通用表达作为特征，能够增强游戏AI系统的强化学习策略模型的泛化性。当游戏AI面对新的游戏场景时，通过对已有游戏知识表达进行推理，强化学习模型能够对新的游戏状态、游戏装备和游戏技能进行推断从而得到已探索的近似游戏状态、游戏装备和游戏技能，维持原有的竞技能力。
图16示出了图4中所示的步骤S5在一实施例中的处理过程示意图。
如图16所示，本公开实施例中，上述步骤S5可以进一步包括以下步骤。
在步骤S57中，从所述当前图像获得当前第二游戏知识。
本公开实施例中，当前第二游戏知识可以是任意的第二游戏知识，例如上述的游戏装备。
在步骤S58中，利用所述真实第二游戏知识的嵌入向量，获得所述当前第二游戏知识的相似第二游戏知识。
本公开实施例中，通过上述实施例学习出的游戏知识通用表达不仅仅可以用于强化学习策略的训练，也可用于游戏知识挖掘等相关应用。在输入当前游戏信息，例如某个游戏技能或者某种游戏装备时，可提供与其相似的游戏技能或者游戏装备，从而极大地提高了游戏策划及游戏分析者的工作效率。同时，也可用于游戏装备推荐等应用中，把相似的游戏装备推荐给游戏玩家。
以上述某款MOBA游戏为例，当玩家出“回响之杖”时，使用余弦相似度计算目标Equip_Embedding中与“回响之杖”的embedding向量最相似的embedding向量，将该最相似的embedding向量对应的游戏装备“虚无法杖”推荐给玩家。
图17示意性示出了根据本公开的一实施例的图像处理装置的框图。如图17所示，本公开实施方式提供的图像处理装置1700可以包括：样本图像获取单元1710、样本数据获取单元1720、游戏知识预测单元1730、嵌入向量获得单元1740以及当前图像处理单元1750。
其中，样本图像获取单元1710可以用于获取目标游戏的样本图像，每帧样本图像中包括对象。样本数据获取单元1720可以用于从所述样本图像中获得样本数据，每个样本数据包括k帧样本图像中所述对象的真实第一游戏知识和真实第二游戏知识，k为大于1的正整数。游戏知识预测单元1730可以用于根据每个样本数据的k帧样本图像中所述对象的真实第一游戏知识和真实第二游戏知识，获得每个样本数据的k-1帧样本图像中所述对象的预测第一游戏知识。嵌入向量获得单元1740可以用于根据每个样本数据中所述对象的真实第一游戏知识及其预测第一游戏知识，获得所述目标游戏中的真实第二游戏知识的嵌入向量。当前图像处理单元1750可以用于利用所述目标游戏中的真实第二游戏知识的嵌入向量，对所述目标游戏的当前图像进行处理。
在示例性实施例中，所述样本图像可以包括M局样本图像，每局样本图像可以包括连续的N帧样本图像，M和N均可以为大于1的正整数。其中，样本数据获取单元1720可以包括：目标对象确定单元，可以用于从每局样本图像中的对象中确定目标对象；样本数据获得单元，可以用于从每局样本图像的N帧样本图像中获得N/k个样本数据，其中第j个样本数据包括每局样本图像的N帧样本图像中的第k(j-1)+1至第kj帧样本图像中所述目标对象的真实第一游戏知识和真实第二游戏知识。其中j为大于或等于1且小于或等于N/k的正整数。
在示例性实施例中，游戏知识预测单元1730可以包括：第一知识预测单元，可以用于将每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像中所述目标对象的真实第一游戏知识和真实第二游戏知识输入至预测模型的第i预测单元，获得每局样本图像的第j个样本数据的第k(j-1)+i+1帧样本图像中所述目标对象的预测第一游戏知识。其中，所述预测模型可以包括第一至第k-1预测单元，i可以为大于或等于1且小于或等于k-1的正整数。
在示例性实施例中，第一知识预测单元可以包括：初始化单元，可以用于获得初始化第二游戏知识嵌入矩阵和初始化权重矩阵；第一知识信息获得单元，可以用于根据所述初始化权重矩阵和每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像中所述目标对象的真实第一游戏知识，获得每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第一游戏知识信息；第二知识信息获得单元，可以用于根据所述初始化第二游戏知识嵌入矩阵和每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像中所述目标对象的真实第二游戏知识，获得每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第二游戏知识信息；预测知识获得单元，可以用于通过所述第i预测单元对每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第一游戏知识信息和第二游戏知识信息进行处理，获得每局样本图像的第j个样本数据的第k(j-1)+i+1帧样本图像中所述目标对象的预测第一游戏知识。
在示例性实施例中，预测知识获得单元可以包括：池化操作单元，可以用于对每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第二游戏知识信息进行池化处理，获得每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的池化后第二游戏知识；知识融合单元，可以用于根据每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第一游戏知识信息和池化后第二游戏知识，获得每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的融合游戏知识信息；预测第一游戏知识获得单元，可以用于通过所述第i预测单元对每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的融合游戏知识信息进行处理，获得每局样本图像的第j个样本数据的第k(j-1)+i+1帧样本图像中所述目标对象的预测第一游戏知识。
在示例性实施例中，嵌入向量获得单元1740可以包括：样本损失值获得单元，可以用于根据每局样本图像的第j个样本数据的第k(j-1)+i+1帧至第kj帧样本图像中所述目标对象的真实第一游戏知识及其预测第一游戏知识，获得每局样本图像的第j个样本数据的损失值；模型损失值获得单元，可以用于根据每局样本图像的每个样本数据的损失值，获得所述预测模型的损失值；模型优化处理单元，可以用于对所述预测模型的损失值进行优化处理，获得目标第二游戏知识嵌入矩阵和目标权重矩阵。其中，所述目标第二游戏知识嵌入矩阵中可以包括所述目标游戏中的真实第二游戏知识的嵌入向量。
在示例性实施例中，所述预测模型可以为时间循环神经网络。
在示例性实施例中，所述当前图像可以包括所述目标游戏的训练图像。其中，当前图像处理单元1750可以包括：训练知识获得单元，可以用于从所述训练图像中获得所述目标游戏的训练第二游戏知识；训练知识向量获得单元，可以用于利用所述真实第二游戏知识的嵌入向量获得所述训练第二游戏知识的嵌入向量；强化模型训练单元，可以用于利用所述训练第二游戏知识的嵌入向量训练强化学习策略模型。
在示例性实施例中，所述当前图像还包括包括所述目标游戏的测试图像。其中，当前图像处理单元1750还可以包括：测试知识获得单元，可以用于从所述测试图像中获得不同于所述训练第二游戏知识的测试第二游戏知识；测试知识向量获得单元，可以用于利用所述真实第二游戏知识的嵌入向量获得所述测试第二游戏知识的嵌入向量；强化模型测试单元，可以用于利用所述测试第二游戏知识的嵌入向量测试训练后的所述强化学习策略模型。
在示例性实施例中，当前图像处理单元1750可以包括：第二游戏知识确定单元，可以用于从所述当前图像获得确定当前第二游戏知识；相似游戏知识获得单元，可以用于利用所述真实第二游戏知识的嵌入向量，获得所述当前第二游戏知识的相似第二游戏知识。
本公开实施例提供的图像处理装置中的各个单元的具体实现可以参照上述图像处理方法中的内容，在此不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种图像处理方法，其特征在于，包括：
获取目标游戏的样本图像，每帧样本图像中包括对象，所述样本图像包括M局样本图像，每局样本图像包括连续的N帧样本图像，M和N均为大于1的正整数；
从每局样本图像中的对象中确定目标对象；
从每局样本图像的N帧样本图像中获得N/k个样本数据，其中第j个样本数据包括每局样本图像的N帧样本图像中的第k(j-1)+1至第kj帧样本图像中所述目标对象的真实第一游戏知识和真实第二游戏知识，游戏知识是指网络游戏中对游戏规律和游戏单位的刻画和认知，是网络游戏中与游戏有关的实体概念，所述游戏知识包括游戏装备、游戏技能、游戏属性和游戏状态，所述真实第一游戏知识和所述真实第二游戏知识是指所述样本图像中所述目标对象当前所具备的游戏知识；k为大于1的正整数；j为大于或等于1且小于或等于N/k的正整数；
将每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像中所述目标对象的真实第一游戏知识和真实第二游戏知识输入至预测模型的第i预测单元，所述预测模型包括第一至第k-1预测单元，i为大于或等于1且小于或等于k-1的正整数，获得每局样本图像的第j个样本数据的第k(j-1)+i+1帧样本图像中所述目标对象的预测第一游戏知识，其包括：获得初始化第二游戏知识嵌入矩阵和初始化权重矩阵；根据所述初始化权重矩阵和每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像中所述目标对象的真实第一游戏知识，获得每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第一游戏知识信息；根据所述初始化第二游戏知识嵌入矩阵和每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像中所述目标对象的真实第二游戏知识，获得每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第二游戏知识信息；通过所述第i预测单元对每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第一游戏知识信息和第二游戏知识信息进行处理，获得每局样本图像的第j个样本数据的第k(j-1)+i+1帧样本图像中所述目标对象的预测第一游戏知识；
根据每个样本数据中所述对象的真实第一游戏知识及其预测第一游戏知识，获得所述目标游戏中的真实第二游戏知识的嵌入向量；
利用所述目标游戏中的真实第二游戏知识的嵌入向量，对所述目标游戏的当前图像进行处理。
2.根据权利要求1所述的图像处理方法，其特征在于，通过所述第i预测单元对每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第一游戏知识信息和第二游戏知识信息进行处理，获得每局样本图像的第j个样本数据的第k(j-1)+i+1帧样本图像中所述目标对象的预测第一游戏知识，包括：
对每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第二游戏知识信息进行池化处理，获得每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的池化后第二游戏知识；
根据每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第一游戏知识信息和池化后第二游戏知识，获得每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的融合游戏知识信息；
通过所述第i预测单元对每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的融合游戏知识信息进行处理，获得每局样本图像的第j个样本数据的第k(j-1)+i+1帧样本图像中所述目标对象的预测第一游戏知识。
3.根据权利要求1或2所述的图像处理方法，其特征在于，根据每个样本数据中所述对象的真实第一游戏知识及其预测第一游戏知识，获得所述目标游戏中的真实第二游戏知识的嵌入向量，包括：
根据每局样本图像的第j个样本数据的第k(j-1)+i+1帧至第kj帧样本图像中所述目标对象的真实第一游戏知识及其预测第一游戏知识，获得每局样本图像的第j个样本数据的损失值；
根据每局样本图像的每个样本数据的损失值，获得所述预测模型的损失值；
对所述预测模型的损失值进行优化处理，获得目标第二游戏知识嵌入矩阵和目标权重矩阵；
其中，所述目标第二游戏知识嵌入矩阵中包括所述目标游戏中的真实第二游戏知识的嵌入向量。
4.根据权利要求1所述的图像处理方法，其特征在于，所述预测模型为时间循环神经网络。
5.根据权利要求1所述的图像处理方法，其特征在于，所述当前图像包括所述目标游戏的训练图像；其中，利用所述目标游戏中的真实第二游戏知识的嵌入向量，对所述目标游戏的当前图像进行处理，包括：
从所述训练图像中获得所述目标游戏的训练第二游戏知识；
利用所述真实第二游戏知识的嵌入向量获得所述训练第二游戏知识的嵌入向量；
利用所述训练第二游戏知识的嵌入向量训练强化学习策略模型。
6.根据权利要求5所述的图像处理方法，其特征在于，所述当前图像还包括所述目标游戏的测试图像；其中，利用所述目标游戏中的真实第二游戏知识的嵌入向量，对所述目标游戏的当前图像进行处理，还包括：
从所述测试图像中获得不同于所述训练第二游戏知识的测试第二游戏知识；
利用所述真实第二游戏知识的嵌入向量获得所述测试第二游戏知识的嵌入向量；
利用所述测试第二游戏知识的嵌入向量测试训练后的所述强化学习策略模型。
7.根据权利要求1所述的图像处理方法，其特征在于，利用所述目标游戏中的真实第二游戏知识的嵌入向量，对所述目标游戏的当前图像进行处理，包括：
从所述当前图像获得确定当前第二游戏知识；
利用所述真实第二游戏知识的嵌入向量，获得所述当前第二游戏知识的相似第二游戏知识。
8.一种图像处理装置，其特征在于，包括：
样本图像获取单元，用于获取目标游戏的样本图像，每帧样本图像中包括对象，所述样本图像包括M局样本图像，每局样本图像包括连续的N帧样本图像，M和N均为大于1的正整数；
样本数据获取单元，用于从所述样本图像中获得样本数据，每个样本数据包括k帧样本图像中所述对象的真实第一游戏知识和真实第二游戏知识，游戏知识是指网络游戏中对游戏规律和游戏单位的刻画和认知，是网络游戏中与游戏有关的实体概念，所述游戏知识包括游戏装备、游戏技能、游戏属性和游戏状态，所述真实第一游戏知识和所述真实第二游戏知识是指所述样本图像中所述目标对象当前所具备的游戏知识；k为大于1的正整数；所述样本数据获取单元包括：目标对象确定单元，用于从每局样本图像中的对象中确定目标对象；样本数据获得单元，用于从每局样本图像的N帧样本图像中获得N/k个样本数据，其中第j个样本数据包括每局样本图像的N帧样本图像中的第k(j-1)+1至第kj帧样本图像中所述目标对象的真实第一游戏知识和真实第二游戏知识，其中j为大于或等于1且小于或等于N/k的正整数；
游戏知识预测单元，用于根据每个样本数据的k帧样本图像中所述对象的真实第一游戏知识和真实第二游戏知识，获得每个样本数据的k-1帧样本图像中所述对象的预测第一游戏知识；所述游戏知识预测单元包括：第一知识预测单元，用于将每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像中所述目标对象的真实第一游戏知识和真实第二游戏知识输入至预测模型的第i预测单元，获得每局样本图像的第j个样本数据的第k(j-1)+i+1帧样本图像中所述目标对象的预测第一游戏知识，其中，所述预测模型包括第一至第k-1预测单元，i为大于或等于1且小于或等于k-1的正整数；所述第一知识预测单元包括：初始化单元，用于获得初始化第二游戏知识嵌入矩阵和初始化权重矩阵；第一知识信息获得单元，用于根据所述初始化权重矩阵和每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像中所述目标对象的真实第一游戏知识，获得每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第一游戏知识信息；第二知识信息获得单元，用于根据所述初始化第二游戏知识嵌入矩阵和每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像中所述目标对象的真实第二游戏知识，获得每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第二游戏知识信息；预测知识获得单元，用于通过所述第i预测单元对每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第一游戏知识信息和第二游戏知识信息进行处理，获得每局样本图像的第j个样本数据的第k(j-1)+i+1帧样本图像中所述目标对象的预测第一游戏知识；
嵌入向量获得单元，用于根据每个样本数据中所述对象的真实第一游戏知识及其预测第一游戏知识，获得所述目标游戏中的真实第二游戏知识的嵌入向量；
当前图像处理单元，用于利用所述目标游戏中的真实第二游戏知识的嵌入向量，对所述目标游戏的当前图像进行处理。
9.根据权利要求8所述的图像处理装置，其特征在于，所述预测知识获得单元包括：
池化操作单元，用于对每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第二游戏知识信息进行池化处理，获得每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的池化后第二游戏知识；
知识融合单元，用于根据每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的第一游戏知识信息和池化后第二游戏知识，获得每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的融合游戏知识信息；
预测第一游戏知识获得单元，用于通过所述第i预测单元对每局样本图像的第j个样本数据的第k(j-1)+i帧样本图像的融合游戏知识信息进行处理，获得每局样本图像的第j个样本数据的第k(j-1)+i+1帧样本图像中所述目标对象的预测第一游戏知识。
10.根据权利要求8或9所述的图像处理装置，其特征在于，所述嵌入向量获得单元包括：
样本损失值获得单元，用于根据每局样本图像的第j个样本数据的第k(j-1)+i+1帧至第kj帧样本图像中所述目标对象的真实第一游戏知识及其预测第一游戏知识，获得每局样本图像的第j个样本数据的损失值；
模型损失值获得单元，用于根据每局样本图像的每个样本数据的损失值，获得所述预测模型的损失值；
模型优化处理单元，用于对所述预测模型的损失值进行优化处理，获得目标第二游戏知识嵌入矩阵和目标权重矩阵；
其中，所述目标第二游戏知识嵌入矩阵中包括所述目标游戏中的真实第二游戏知识的嵌入向量。
11.根据权利要求8所述的图像处理装置，其特征在于，所述预测模型为时间循环神经网络。
12.根据权利要求8所述的图像处理装置，其特征在于，所述当前图像包括所述目标游戏的训练图像；其中，所述当前图像处理单元包括：
训练知识获得单元，用于从所述训练图像中获得所述目标游戏的训练第二游戏知识；
训练知识向量获得单元，用于利用所述真实第二游戏知识的嵌入向量获得所述训练第二游戏知识的嵌入向量；
强化模型训练单元，用于利用所述训练第二游戏知识的嵌入向量训练强化学习策略模型。
13.根据权利要求12所述的图像处理装置，其特征在于，所述当前图像还包括所述目标游戏的测试图像；其中，所述当前图像处理单元还包括：
测试知识获得单元，用于从所述测试图像中获得不同于所述训练第二游戏知识的测试第二游戏知识；
测试知识向量获得单元，用于利用所述真实第二游戏知识的嵌入向量获得所述测试第二游戏知识的嵌入向量；
强化模型测试单元，用于利用所述测试第二游戏知识的嵌入向量测试训练后的所述强化学习策略模型。
14.根据权利要求8所述的图像处理装置，其特征在于，所述当前图像处理单元包括：
第二游戏知识确定单元，用于从所述当前图像获得确定当前第二游戏知识；
相似游戏知识获得单元，用于利用所述真实第二游戏知识的嵌入向量，获得所述当前第二游戏知识的相似第二游戏知识。
15.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的图像处理方法。
16.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理方法。
CN202010203275.0A 2020-03-20 2020-03-20 图像处理方法及装置、电子设备和计算机可读存储介质 Active CN111437607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010203275.0A CN111437607B (zh) 2020-03-20 2020-03-20 图像处理方法及装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010203275.0A CN111437607B (zh) 2020-03-20 2020-03-20 图像处理方法及装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111437607A CN111437607A (zh) 2020-07-24
CN111437607B true CN111437607B (zh) 2023-08-18

Family

ID=71629556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010203275.0A Active CN111437607B (zh) 2020-03-20 2020-03-20 图像处理方法及装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111437607B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101311947A (zh) * 2008-06-12 2008-11-26 浙江大学 基于自然视频的实时智能监控方法
CN107391503A (zh) * 2016-05-16 2017-11-24 刘洪波 具有兴趣引导功能的个性化推荐方法
CN108875827A (zh) * 2018-06-15 2018-11-23 广州深域信息科技有限公司 一种细粒度图像分类的方法及系统
CN109107161A (zh) * 2018-08-17 2019-01-01 深圳市腾讯网络信息技术有限公司 一种游戏对象的控制方法、装置、介质以及设备
CN109710804A (zh) * 2019-01-16 2019-05-03 信阳师范学院 一种教学视频图像知识点降维分析方法
JP2019136353A (ja) * 2018-02-13 2019-08-22 株式会社コナミデジタルエンタテインメント ゲーム制御装置、ゲームシステム、及びプログラム
CN110472107A (zh) * 2019-08-22 2019-11-19 腾讯科技（深圳）有限公司 多模态知识图谱构建方法、装置、服务器以及存储介质
CN110503160A (zh) * 2019-08-28 2019-11-26 北京达佳互联信息技术有限公司 图像识别方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101311947A (zh) * 2008-06-12 2008-11-26 浙江大学 基于自然视频的实时智能监控方法
CN107391503A (zh) * 2016-05-16 2017-11-24 刘洪波 具有兴趣引导功能的个性化推荐方法
JP2019136353A (ja) * 2018-02-13 2019-08-22 株式会社コナミデジタルエンタテインメント ゲーム制御装置、ゲームシステム、及びプログラム
CN108875827A (zh) * 2018-06-15 2018-11-23 广州深域信息科技有限公司 一种细粒度图像分类的方法及系统
CN109107161A (zh) * 2018-08-17 2019-01-01 深圳市腾讯网络信息技术有限公司 一种游戏对象的控制方法、装置、介质以及设备
CN109710804A (zh) * 2019-01-16 2019-05-03 信阳师范学院 一种教学视频图像知识点降维分析方法
CN110472107A (zh) * 2019-08-22 2019-11-19 腾讯科技（深圳）有限公司 多模态知识图谱构建方法、装置、服务器以及存储介质
CN110503160A (zh) * 2019-08-28 2019-11-26 北京达佳互联信息技术有限公司 图像识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111437607A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN109499068B (zh) 对象的控制方法和装置、存储介质、电子装置
Wu et al. Training agent for first-person shooter game with actor-critic curriculum learning
KR102523888B1 (ko) 가상 환경에서 가상 객체를 스케줄링하기 위한 방법, 장치 및 디바이스
CN111111220B (zh) 多人对战游戏的自对弈模型训练方法、装置和计算机设备
CN111282267B (zh) 信息处理方法、装置、介质及电子设备
WO2021160108A1 (zh) 一种动画视频处理方法、装置、电子设备及存储介质
CN108629422A (zh) 一种基于知识指导-战术感知的智能体学习方法
US20150273340A1 (en) Adaptive game enhancement for multiplayer online games
CN111632379A (zh) 游戏角色行为控制方法、装置、存储介质及电子设备
Ab. Rashid Tiki-taka algorithm: a novel metaheuristic inspired by football playing style
CN111111204A (zh) 交互模型训练方法、装置、计算机设备和存储介质
CN109529352A (zh) 虚拟环境中调度策略的评估方法、装置及设备
CN112791394A (zh) 游戏模型训练方法、装置、电子设备及存储介质
CN111282281B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
Cai et al. Groot: Learning to follow instructions by watching gameplay videos
CN111437607B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN113713374A (zh) 信息显示方法、装置、计算机设备及存储介质
Andersen et al. Towards a deep reinforcement learning approach for tower line wars
CN116956007A (zh) 人工智能模型的预训练方法、装置、设备及存储介质
CN113705828B (zh) 一种基于集群影响度的战场博弈策略强化学习训练方法
CN114611664A (zh) 一种多智能体学习方法、装置及设备
WO2021133039A1 (ko) 인공지능 기반 동적 게임환경을 생성하기 위한 아이템 생산 서비스 제공 시스템
CN114344916A (zh) 一种数据处理方法及相关装置
CN114404977A (zh) 行为模型的训练方法、结构扩容模型的训练方法
Jakhon et al. Agent grouping recommendation method in edge computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40025902

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant