CN112221160B - 一种基于随机博弈的角色分配系统 - Google Patents

一种基于随机博弈的角色分配系统 Download PDF

Info

Publication number
CN112221160B
CN112221160B CN202011135223.0A CN202011135223A CN112221160B CN 112221160 B CN112221160 B CN 112221160B CN 202011135223 A CN202011135223 A CN 202011135223A CN 112221160 B CN112221160 B CN 112221160B
Authority
CN
China
Prior art keywords
agent
behavior
server
competition field
role
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011135223.0A
Other languages
English (en)
Other versions
CN112221160A (zh
Inventor
洪万福
钱智毅
王旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Yuanting Information Technology Co ltd
Original Assignee
Xiamen Yuanting Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Yuanting Information Technology Co ltd filed Critical Xiamen Yuanting Information Technology Co ltd
Priority to CN202011135223.0A priority Critical patent/CN112221160B/zh
Publication of CN112221160A publication Critical patent/CN112221160A/zh
Application granted granted Critical
Publication of CN112221160B publication Critical patent/CN112221160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A63F13/795—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories for finding other players; for building a team; for providing a buddy list
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/816—Athletics, e.g. track-and-field sports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5566—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history by matching opponents or finding partners to build a team, e.g. by skill level, geographical area, background, play style
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8005—Athletics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8011—Ball

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于随机博弈的角色分配系统，包括服务器和至少10个agent客户端，服务器与每个agent客户端之间进行通信连接，10个agent客户端对应的agent的角色包括除守门员之外的前锋、中场和后卫三个角色；服务器生成赛场状态信息，并将其发送给各agent客户端；agent客户端根据接收的赛场状态信息决策出新的赛场行为，并将新的赛场行为转换为服务器对应的赛场动作后发送至服务器；服务器根据接收到的各agent客户端发送的赛场动作，采用多角色任务分配策略，随机改变各agent对应的角色分配情况，并发送至各agent客户端；agent客户端根据接收到的角色分配情况调整对应的agent的站位和队形。本发明采用多角色任务分配策略，随机改变角色分配方案，实现双方对战过程中的相互博弈。

Description

一种基于随机博弈的角色分配系统
技术领域
本发明涉及体育比赛领域，尤其涉及一种基于随机博弈的角色分配系统。
背景技术
多智能体强化学习为每个智能体通过与环境进行交互获取奖励值(reward)来学习改善自己的策略，从而获得该环境下最优策略的过程，体育比赛中个角色的分配即是一种多智能体强化学习的过程。在单智能体强化学习中，智能体所在的环境是稳定不变的。但是在多智能体强化学习中，环境是复杂的、动态的，因此给学习过程带来很大的困难。
发明内容
为了解决上述问题，本发明提出了一种基于随机博弈的角色分配系统。
具体方案如下：
一种基于随机博弈的角色分配系统，包括服务器和至少10个agent客户端，服务器与每个agent客户端之间进行通信连接，10个agent客户端对应的agent的角色包括除守门员之外的前锋、中场和后卫三个角色；
服务器生成赛场状态信息，并将其发送给各agent客户端；
agent客户端根据接收的赛场状态信息决策出新的赛场行为，并将新的赛场行为转换为服务器对应的赛场动作后发送至服务器；
服务器根据接收到的各agent客户端发送的赛场动作，采用多角色任务分配策略，随机改变各agent对应的角色分配情况，并发送至各agent客户端；
agent客户端根据接收到的角色分配情况调整对应的agent的站位和队形。
进一步的，服务器包括球场仿真模块、裁判模块和消息板模块三个模块，其中球场仿真模块用于控制球场对象的运动，裁判模块用于控制比赛过程，消息板模块用于控制服务器与客户端之间的通讯。
进一步的，agent客户端包括三个模块，分别为信息交互模块、顶层决策模块和行为执行模块；
信息交互模块接收服务器发送的实时赛场状态信息，并将其汇总为统一格式的赛场信息后发送至顶层决策模块；
顶层决策模块包括对应不同行为的不同行为生成器，顶层决策模块根据接收自信息交互模块的赛场信息和agent索引，使对应的行为生成器生成相应的行为集合并发送至行为执行模块；
行为执行模块将接收到的行为集合中的各行为转化为服务器端对应的动作，并发送至服务器端。
进一步的，行为生成器对应的行为包括射门、传球和盯人。
进一步的，行为生成器生成的行为集合按照以下公式进行收益评价：
Eva＝Succ_Poss*Succ_Eff+fail_Poss*Fail_Eff
其中，Eva表示行为集合的收益，Succ_Poss和Fail_Poss分别表示行为对应的成功和失败概率，Succ_Eff和Fail_Eff分别表示行为成功和失败执行时，对整个球队的收益。
进一步的，多角色任务分配策略包括以下步骤：
步骤一：设定三个参数NFMD,NFM和NDM，其中NFMD表示10个agent中角色可能为前锋、中场和后卫三者中的一者的个数，NFM表示10个agent中角色可能为前锋和中场两者中的一者的个数，NDM表示10个agent中角色可能为中场和后卫两者中的一者的个数；
步骤二：对每个agent分别进行三个角色对应的场景测试并获取测试得分，将10个agent中每个agent任选一个角色组成一种任务分配策略，将每个agent任选的角色的测试得分相加得到该种任务分配策略的总得分，提取总得分最高的N种任务分配策略；
步骤三：随机从提取的N种任务分配策略中选择一种任务分配策略作为最终任务分配策略，按照该最终任务分配策略设定每个agent对应的角色。
本发明采用如上技术方案，采用多角色任务分配策略，随机改变角色的分配方案，实现了双方在对战过程中的相互博弈。
附图说明
图1所示为本发明实施例中系统的功能示意图。
具体实施方式
为进一步说明实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
现结合附图和具体实施方式对本发明进一步说明。
实施例一：
本发明实施例提供了一种基于随机博弈的角色分配系统，包括服务器和至少10个agent客户端，服务器与每个agent客户端之间进行通信连接，10个agent客户端对应的agent的角色包括除守门员之外的前锋、中场和后卫三个角色。
如图1所示，系统实现的功能如下：
(1)服务器生成赛场状态信息，并将其发送给各agent客户端。
服务器包括球场仿真模块、裁判模块和消息板模块三个模块，其中球场仿真模块用于控制球场对象的运动，裁判模块用于控制比赛过程，消息板模块用于控制服务器与客户端之间的通讯。
需要说明的是，上述三个模块为服务器的主要组成部分，在其他的实施例中可以为其添加其他功能模块，在此不做限制。
(2)agent客户端根据接收的赛场状态信息决策出新的赛场行为，并将新的赛场行为转换为服务器对应的赛场动作后发送至服务器。
agent客户端包括三个模块，分别为信息交互模块、顶层决策模块和行为执行模块。
信息交互模块接收服务器发送的实时赛场状态信息，并将其汇总为统一格式的赛场信息后发送至顶层决策模块。该实施例中赛场状态信息包括拟人状态：触觉、视觉、听觉等。
行为生成器生成的行为集合按照以下公式进行收益评价：
Eva＝Succ_Poss*Succ_Eff+fail_Poss*Fail_Eff
其中，Eva表示行为集合的收益，Succ_Poss和Fail_Poss分别表示行为对应的成功和失败概率，Succ_Eff和Fail_Eff分别表示行为成功和失败执行时，对整个球队的收益。
顶层决策模块包括对应不同行为的不同行为生成器：进攻类如射门(Shoot)、传球(Pass)、盯人(Mark)等，顶层决策模块根据接收自信息交互模块的赛场信息和agent索引，使对应的行为生成器生成相应的行为集合并发送至行为执行模块。
行为执行模块将接收到的行为集合中的各行为转化为服务器端对应的动作，并发送至服务器端。
服务器端对应的动作包括踢球kick，转身turn，奔跑dash，铲球tackle和说话say等。
行为执行模块采用不同的方式将顶层决策模块输出的行为转化为Server端能够使用的动作，比如踢球kick：输入指定的agent索引和踢球的速度，进行回合间的kick规划；Dasher：输入指定的agent索引和移动终点坐标，进行回合间的dash和turn；Comunicator：输入指定的交互内容，对交互内容进行编码以作为say的参数。
(3)服务器根据接收到的各agent客户端发送的赛场动作，采用多角色任务分配策略，随机改变各agent对应的角色分配情况，并发送至各agent客户端。
多角色任务分配策略包括以下步骤：
步骤一：设定三个参数NFMD,NFM和NDM，其中NFMD表示10个agent中角色可能为前锋、中场和后卫三者中的一者的个数，NFM表示10个agent中角色可能为前锋和中场两者中的一者的个数，NDM表示10个agent中角色可能为中场和后卫两者中的一者的个数；
步骤二：对每个agent分别进行三个角色对应的场景测试并获取测试得分，将10个agent中每个agent任选一个角色组成一种任务分配策略，将每个agent任选的角色的测试得分相加得到该种任务分配策略的总得分，提取总得分最高的N种任务分配策略；
步骤三：随机从提取的N种任务分配策略中选择一种任务分配策略作为最终任务分配策略，按照该最终任务分配策略设定每个agent对应的角色。
上述多角色任务分配策略则为随机博弈，在该实施例中主要用于解决Mul-Mark问题，Mul-Mark问题为：在2D的体育比赛中，赛场为一个二维环境，不存在真实比赛中的高空球，因此球队的常规主要策略为盯人防守，通过卡防对手传球来阻止对手进攻，从而获得己方更多的进攻机会，去赢得比赛。在该问题的基础上，在盯人防守的策略种仅需要只要改变本方的阵型和agent的角色，而对方并不了解我方队员的角色变化，这样导致对方盯人出现缺陷。该实施例中针对该问题，采用多角色任务分配策略，随机改变角色的分配方案，实现了双方在对战过程中的相互博弈。
(4)agent客户端根据接收到的角色分配情况调整对应的agent的站位和队形。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (5)

1.一种基于随机博弈的角色分配系统，其特征在于，包括服务器和至少10个agent客户端，服务器与每个agent客户端之间进行通信连接，10个agent客户端对应的agent的角色包括除守门员之外的前锋、中场和后卫三个角色；
服务器生成赛场状态信息，并将其发送给各agent客户端；
agent客户端根据接收的赛场状态信息决策出新的赛场行为，并将新的赛场行为转换为服务器对应的赛场动作后发送至服务器；
服务器根据接收到的各agent客户端发送的赛场动作，采用多角色任务分配策略，随机改变各agent对应的角色分配情况，并发送至各agent客户端；多角色任务分配策略包括以下步骤：
步骤一：设定三个参数NFMD,NFM和NDM，其中NFMD表示10个agent中角色可能为前锋、中场和后卫三者中的一者的个数，NFM表示10个agent中角色可能为前锋和中场两者中的一者的个数，NDM表示10个agent中角色可能为中场和后卫两者中的一者的个数；
步骤二：对每个agent分别进行三个角色对应的场景测试并获取测试得分，将10个agent中每个agent任选一个角色组成一种任务分配策略，将每个agent任选的角色的测试得分相加得到该种任务分配策略的总得分，提取总得分从高到低排序中的前N种任务分配策略；
步骤三：随机从提取的N种任务分配策略中选择一种任务分配策略作为最终任务分配策略，按照该最终任务分配策略设定每个agent对应的角色；
agent客户端根据接收到的角色分配情况调整对应的agent的站位和队形。
2.根据权利要求1所述的基于随机博弈的角色分配系统，其特征在于：服务器包括球场仿真模块、裁判模块和消息板模块三个模块，其中球场仿真模块用于控制球场对象的运动，裁判模块用于控制比赛过程，消息板模块用于控制服务器与客户端之间的通讯。
3.根据权利要求1所述的基于随机博弈的角色分配系统，其特征在于：agent客户端包括三个模块，分别为信息交互模块、顶层决策模块和行为执行模块；
信息交互模块接收服务器发送的实时赛场状态信息，并将其汇总为统一格式的赛场信息后发送至顶层决策模块；
顶层决策模块包括对应不同行为的不同行为生成器，顶层决策模块根据接收自信息交互模块的赛场信息和agent索引，使对应的行为生成器生成相应的行为集合并发送至行为执行模块；
行为执行模块将接收到的行为集合中的各行为转化为服务器端对应的动作，并发送至服务器端。
4.根据权利要求1所述的基于随机博弈的角色分配系统，其特征在于：行为生成器对应的行为包括射门、传球和盯人。
5.根据权利要求3所述的基于随机博弈的角色分配系统，其特征在于：行为生成器生成的行为集合按照以下公式进行收益评价：
Eva＝Succ_Poss*Succ_Eff+fail_Poss*Fail_Eff
其中，Eva表示行为集合的收益，Succ_Poss和Fail_Poss分别表示行为对应的成功和失败概率，Succ_Eff和Fail_Eff分别表示行为成功和失败执行时，对整个球队的收益。
CN202011135223.0A 2020-10-22 2020-10-22 一种基于随机博弈的角色分配系统 Active CN112221160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011135223.0A CN112221160B (zh) 2020-10-22 2020-10-22 一种基于随机博弈的角色分配系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011135223.0A CN112221160B (zh) 2020-10-22 2020-10-22 一种基于随机博弈的角色分配系统

Publications (2)

Publication Number Publication Date
CN112221160A CN112221160A (zh) 2021-01-15
CN112221160B true CN112221160B (zh) 2022-05-17

Family

ID=74108989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011135223.0A Active CN112221160B (zh) 2020-10-22 2020-10-22 一种基于随机博弈的角色分配系统

Country Status (1)

Country Link
CN (1) CN112221160B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2474878C1 (ru) * 2012-01-11 2013-02-10 Виктор Иванович Соловьев Интеллектуальная система диагностирования и управления ходом футбольной игры
CN104063541A (zh) * 2014-06-18 2014-09-24 南京邮电大学 基于分层决策机制的多机器人协作方法
CN107479380A (zh) * 2017-08-25 2017-12-15 东北大学 基于演化博弈理论的多智能体协调控制方法
CN109254584A (zh) * 2018-09-13 2019-01-22 鲁东大学 基于多智能体的角色分配方法、装置、计算机设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166428B (zh) * 2019-04-12 2021-05-07 中国人民解放军战略支援部队信息工程大学 基于强化学习和攻防博弈的智能防御决策方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2474878C1 (ru) * 2012-01-11 2013-02-10 Виктор Иванович Соловьев Интеллектуальная система диагностирования и управления ходом футбольной игры
CN104063541A (zh) * 2014-06-18 2014-09-24 南京邮电大学 基于分层决策机制的多机器人协作方法
CN107479380A (zh) * 2017-08-25 2017-12-15 东北大学 基于演化博弈理论的多智能体协调控制方法
CN109254584A (zh) * 2018-09-13 2019-01-22 鲁东大学 基于多智能体的角色分配方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
团队对抗性游戏决策系统的研究与实现;赖天武;《万方》;20071022;第1-81页 *

Also Published As

Publication number Publication date
CN112221160A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN109499068B (zh) 对象的控制方法和装置、存储介质、电子装置
CN111744201B (zh) 视频游戏中的自动玩家控制接管
Lu et al. Fighting game artificial intelligence competition platform
US7806777B2 (en) Automatically adapting virtual equipment model
CN109960545B (zh) 虚拟对象控制方法、系统、装置、介质及电子设备
US20200324206A1 (en) Method and system for assisting game-play of a user using artificial intelligence (ai)
JP7376607B2 (ja) 対戦マッチのための人工知能モデルを訓練するためのシステム及び方法
CN111841018B (zh) 模型训练方法、模型使用方法、计算机设备及存储介质
CN111274151B (zh) 一种游戏测试的方法、相关装置以及存储介质
US10918937B2 (en) Dynamic gameplay session management system
US11364440B2 (en) Computer video game application performance result
Miedema et al. Superhuman sports in mixed reality: The multi-player game League of Lasers
CN111589120A (zh) 目标物控制方法、计算机设备及计算机可读存储介质
CN113209640B (zh) 解说的生成方法、装置、设备及计算机可读存储介质
Hou et al. Infinite Mario Bross AI using genetic algorithm
CN112221160B (zh) 一种基于随机博弈的角色分配系统
Prasetya Artificial neural network for bot detection system in MMOGs
CN112619157B (zh) 游戏对战交互方法及装置、电子设备、可读介质、产品
CN112870727B (zh) 一种游戏中智能体的训练及控制方法
CN101807229A (zh) 用于游戏和动画的自动打斗系统及打斗方法
CN115350473A (zh) 虚拟对象的技能控制方法、装置、电子设备及存储介质
KR101548489B1 (ko) 스크린 골프 제공 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 매체
Go et al. A Phase‐Change Memristive Reinforcement Learning for Rapidly Outperforming Champion Street‐Fighter Players
US8834246B1 (en) Methods and techniques for incorporating game play in a tournament format to develop thinking skills
Li Design and implement of soccer player AI training system using unity ML-agents

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant