CN115228092A - 游戏战力评估方法、装置以及计算机可读存储介质 - Google Patents
游戏战力评估方法、装置以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115228092A CN115228092A CN202211158147.4A CN202211158147A CN115228092A CN 115228092 A CN115228092 A CN 115228092A CN 202211158147 A CN202211158147 A CN 202211158147A CN 115228092 A CN115228092 A CN 115228092A
- Authority
- CN
- China
- Prior art keywords
- preset
- virtual
- virtual character
- game
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/70—Game security or game management aspects
- A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
- A63F13/798—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories for assessing skills or for ranking players, e.g. for generating a hall of fame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Computer Security & Cryptography (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种游戏战力评估方法、装置以及计算机可读存储介质,涉及人工智能技术领域。包括:响应于游戏运行状态为备战状态,对游戏的当前图像帧进行目标检测,获至少一个虚拟角色的位置信息和身份信息;对于每一虚拟角色,基于虚拟角色的位置信息获取包含虚拟角色的装备标志的第一预设区域图像,并对第一预设区域图像进行目标识别,获取虚拟角色的虚拟装备信息;基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,确定至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果。该方案能够准确的对不同的虚拟角色阵容进行战力评估,使得玩家能够准确的选取用于出战的虚拟角色阵容,降低对战失败率,提高游戏体验。
Description
技术领域
本申请涉及人工智能技术领域,具体而言,本申请涉及一种游戏战力评估方法、装置以及计算机可读存储介质。
背景技术
自走棋游戏在进入备战阶段后,玩家需要根据游戏的玩法,基于所拥有的虚拟角色以及各虚拟角色的所携带的装备进行战力分析,从而确定出战的虚拟角色阵容。但是,对于游戏玩家(尤其是新手玩家)来说,如果无法准确确定出不同虚拟角色阵容的战力,将会导致对战失败率高,游戏体验不佳。因此,有必要提供一种针对自走棋的游戏战力评估方法。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一,本申请实施例所提供的技术方案如下:
第一方面,本申请实施例提供了一种游戏战力评估方法,其特征在于,包括:
响应于游戏运行状态为备战状态,对游戏的玩家界面对应的当前图像帧进行目标检测,获取游戏中的至少一个虚拟角色的位置信息和身份信息;
对于至少一个虚拟角色中的每一虚拟角色,基于虚拟角色的位置信息获取包含虚拟角色的装备标志的第一预设区域图像,并对第一预设区域图像进行目标识别,获取虚拟角色的虚拟装备信息;
基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,从至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果。
在本申请的一种可选实施例中,对当前图像帧进行目标检测,获取至少一个虚拟角色的位置信息和身份信息,包括:
将当前图像帧输入预设目标检测模型,通过预设目标检测模型中的特征金字塔结构对当前图像帧进行特征提取,得到特征金字塔结构的各层对应的第一特征图;
按自顶向下的顺序,依次将上层的第一特征图经上采样后与下层的第一特征图基于通道维度进行拼接,得到各层对应第二特征图,将最底层的第二特征图经下采样后分别与上一层的第一特征图和第二特征图基于通道维度进行拼接,并将拼接得到的两个特征图按通道进行像素融合得到对应的第三特征图;
基于第三特征图获取至少一个预测框,并基于各预测框所携带的预测置信度、位置信息和各预测框内的虚拟角色的身份信息,确定各虚拟角色的位置信息和身份信息,每个预测框对应一个虚拟角色。
在本申请的一种可选实施例中,基于各预测框所携带的预测置信度、位置信息和各预测框内的虚拟角色的身份信息,确定各虚拟角色的位置信息和身份信息,包括:
对于携带有相同身份信息的至少两个预测框,采用预设非极大值抑制NMS方式确定身份信息对应的虚拟角色的至少一个目标预测框,预设NMS方式中对与最大预测置信度的预测框之间距离交并比DIoU值不小于第一预设交并比IoU的预测框进行抑制;
将各目标预测框所携带的位置信息和身份信息,确定为各目标预测框内的虚拟角色的位置信息和身份信息。
在本申请的一种可选实施例中,预设目标检测模型通过以下方式训练得到:
获取初始训练样本集,初始训练样本集中的初始样本图像标注有检测框,检测框携带有检测框内的虚拟角色的位置信息和身份信息;
通过马赛克增强方式或填鸭增强方式对初始训练样本集进行扩充,得到训练样本集;
利用训练样本集对初始目标检测模型进行训练,得到预设目标检测模型。
在本申请的一种可选实施例中,通过马赛克增强方式对初始训练样本集进行扩充,包括:
从初始训练样本集中获取至少两个初始样本图像,并对各初始样本图像进行缩放或裁剪后拼接得到拼接后的图像,且拼接后的图像的尺寸与初始样本图像相同;
基于拼接后的图像的顶点位置,修改各检测框携带的位置信息,得到对应的新的样本图像。
在本申请的一种可选实施例中,通过填鸭增强方式对初始训练样本集进行扩充,包括:
从初始训练样本集中各初始样本图像中,获取至少两个携带有不同身份信息的检测框,并获取游戏的至少一个背景图像帧;
将各检测框与各背景图像帧随机进行融合,得到多个新的样本图像。
在本申请的一种可选实施例中,将各检测框与各背景图像帧进行随机融合,得到多个新的样本图像,包括:
对于每一检测框,将检测框与任一背景图像帧进行融合时,基于检测框对应的初始样本图像的最长边与任一背景图像帧的最长边之间的比值,确定检测框在对应的新的样本图像中对应的位置信息,并基于预设权重系数,对检测框的像素值和任一背景图像帧的像素值中相应的像素值进行加权,得到检测框在对应的新的样本图像中对应的像素值;
基于检测框在对应的新的样本图像中对应的位置信息和像素值,对检测框和任一背景图像帧进行融合,得到对应的新的样本图像。
在本申请的一种可选实施例中,利用训练样本集对初始目标检测模型进行训练,得到预设目标检测模型,包括:
对于训练样本集中的每一样本图像,将样本图像输入初始目标检测模型得到至少一个预测框,并获取携带有相同身份信息的各预测框与对应的检测框之间的完全交并比CIoU损失值,预测框携带有位置信息和预测框内的虚拟角色的身份信息;
分别基于各样本图像对应的CIoU损失值对初始目标检测模型的模型参数进行调整,直至CIoU损失值不大于第二预设IoU阈值,则得到预设目标检测模型。
在本申请的一种可选实施例中,对第一预设区域图像进行目标识别,确定虚拟角色的虚拟装备信息,包括:
将第一预设区域图像输入预设目标识别模型,在至少一个特征提取阶段,将初始特征图分为通道数相同的第一特征子图和第二特征子图,对第一特征子图进行预设卷积处理得到与第一特征子图通道数相同的第三特征子图,并将第二特征子图和第三特征子图基于通道维度进行拼接,得到对应的特征图;
基于各阶段对应的特征图,获取第一预设区域图像中所包含的虚拟装备识别结果,并将虚拟装备识别结果确定为虚拟角色的虚拟装备信息。
在本申请的一种可选实施例中,通过如下方式确定游戏的运行状态为备战状态:
基于至少两个预设模板匹配系数,对预设对局标志模板图和当前图像帧中的第二预设区域图像进行模板匹配,得到第一模板匹配结果、目标模板匹配系数、以及对局标志在第二预设区域图像内的第一目标位置信息,第二预设区域图像中包含有对局标志,目标模板匹配系数为与当前图像帧最匹配的预设模板匹配系数;
若第一模板匹配结果指示游戏的运行状态为对局状态,则基于目标模板匹配系数,对预设备战标志模板图和当前图像帧中的第三预设区域图像进行模板匹配,得到第二模板匹配结果,第三预设区域图像中包含有备战标志;
基于第二模板匹配结果确定游戏的运行状态是否为备战状态。
在本申请的一种可选实施例中,若为首次确定游戏的运行状态是否为对局状态,则基于至少两个预设模板匹配系数,对预设对局标志模板图和当前图像帧中的第二预设区域图像进行模板匹配,得到第一模板匹配结果、目标模板匹配系数,以及对局标志在第二预设区域内的第一目标位置信息,包括:
基于至少两个预设模板匹配系数分别对预设对局标志模板图进行缩放;
将各缩放后的预设对局标志模板图分别与第二预设区域图像进行模板匹配,得到各缩放后的预设对局标志模板图与第二预设区域图像之间的第一相关系数;
若各第一相关系数中最大的第一相关系数不小于第一预设阈值,则确定游戏的运行状态为对局状态,并将最大的第一相关系数对应的预设模板匹配系数作为目标模板匹配系数进行预存,将最大的第一相关系数对应的对局标志在第二预设区域内的位置信息作为第一目标位置信息进行预存。
在本申请的一种可选实施例中,若不为首次确定游戏的运行状态是否为对局状态,则基于至少两个预设模板匹配系数,对预设对局标志模板图和当前图像帧中的第二预设区域图像进行模板匹配,得到第一模板匹配结果、目标模板匹配系数,以及对局标志在第二预设区域内的第一目标位置信息,包括:
获取上一次确定游戏的运行状态是否为对局状态时预存的目标模板匹配系数和第一目标位置信息;
基于目标模板匹配系数对预设对局标志模板图进行缩放,得到缩放后的预设对局标志模板图;
将缩放后的预设对局标志模板图与第一目标位置信息对应的区域进行模板匹配,得到缩放后的预设对局标志模板图与第一目标位置信息对应的区域之间的第二相关系数;
若第二相关系数不小于第一预设阈值,则确定游戏的运行状态为对局状态。
在本申请的一种可选实施例中,该方法还包括:
若第二相关系数小于第一预设阈值,则将缩放后的预设对局标志模板图与第二预设区域图像进行模板匹配,得到缩放后的预设对局标志模板图与第二预设区域图像之间的第三相关系数;
若第三相关系数不小于第一预设阈值,则确定游戏的运行状态为对局状态,并将对应的对局标志在第二预设区域图像中的位置信息作为第二目标位置信息进行预存,删除第一目标位置信息。
在本申请的一种可选实施例中,基于目标模板匹配系数,对预设备战标志模板图和当前图像帧中的第三预设区域进行模板匹配,得到第二模板匹配结果,包括
基于目标模板匹配系数对预设备战标志模板图进行缩放,得到缩放后的预设备战标志模板图;
将缩放后的预设备战标志模板图与当前图像帧中的第三预设区域图像进行模板匹配,得到缩放后的与预设备战标志模板图与第三预设区域图像之间的第四相关系数;
基于第二模板匹配结果确定游戏的运行状态是否为备战状态,包括:
若第四相关系数不小于第二预设阈值,则获取第三预设区域图像中的备战标志的图像,并获取备战标志的图像中包含指定颜色的像素的第一像素数量,若第一像素数量不小于第一像素数量阈值,则确定游戏的运行状态为备战状态。
在本申请的一种可选实施例中,该方法还包括:
基于目标模板匹配系数,对至少两个预设虚拟角色数量标志模板图进行缩放,得到对应的缩放后的预设虚拟角色数量标志模板图;
将各缩放后的预设虚拟角色数量标志模板图分别与当前图像帧中的第四预设区域图像进行模板匹配,得到各缩放后的预设虚拟角色数量标志模板图与第四预设区域图像之间的第五相关系数,第四预设区域图像中包含虚拟角色数量标志;
若各第五相关系数中最大的第五相关系数不小于第三预设阈值,则将最大的第五相关系数对应的预设虚拟角色数量标志模板图所指示的角色数量,确定为虚拟角色阵容中最大的角色数量;
基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,从至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果,包括:
基于预定的游戏执行方法、最大角色数量、各虚拟角色的位置信息、身份信息和虚拟装备信息,从至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果。
在本申请的一种可选实施例中,该方法还包括:
对于每一虚拟角色,基于虚拟角色的位置信息获取包含虚拟角色的属性标志的第五预设区域图像;
基于目标模板匹配系数,对至少两个预设虚拟角色属性标志模板图进行缩放,得到对应的缩放后的预设虚拟角色属性标志模板图;
将各缩放后的预设虚拟角色属性标志模板图分别与第五预设区域图像进行模板匹配,得到各缩放后的预设虚拟角色属性标志模板图与第五预设区域图像之间的第六相关系数;
若各第六相关系数中最大的第六相关系数不小于第四预设阈值,则获取第五预设区域图像中的虚拟角色属性标志的图像,并获取虚拟角色属性标志的图像中包含第二指定颜色的像素的第二像素数量;
若第二像素数量不小于第二像素数量阈值,则将最大第六相关系数对应的预设虚拟角色属性标志模板图所指示的角色属性,确定为虚拟角色的角色属性;
基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,从至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果,包括:
基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息、虚拟装备信息和角色属性,从至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果。
在本申请的一种可选实施例中,该方法还包括:
若当前图像帧的对战区域包含有至少一个虚拟角色,则基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,确定当前虚拟角色阵容的战力评估结果,当前虚拟角色阵容由位于对战区域的各虚拟角色组成。
第二方面,本申请实施例提供了一种游戏战力评估装置,包括:
目标检测模块,用于响应于游戏运行状态为备战状态,对游戏的玩家界面对应的当前图像帧进行目标检测,获取游戏中的至少一个虚拟角色的位置信息和身份信息;
目标识别模块,用于对于至少一个虚拟角色中的每一虚拟角色,基于虚拟角色的位置信息获取包含虚拟角色的装备标志的第一预设区域图像,并对第一预设区域图像进行目标识别,获取虚拟角色的虚拟装备信息;
战力评估结果获取模块,基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,从至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果,并确定当前虚拟角色阵容的战力评估结果。
在本申请的一种可选实施例中,目标检测模块具体用于:
将当前图像帧输入预设目标检测模型,通过预设目标检测模型中的特征金字塔结构对当前图像帧进行特征提取,得到特征金字塔结构的各层对应的第一特征图;
按自顶向下的顺序,依次将上层的第一特征图经上采样后与下层的第一特征图基于通道维度进行拼接,得到各层对应第二特征图,将最底层的第二特征图经下采样后分别与上一层的第一特征图和第二特征图基于通道维度进行拼接,并将拼接得到的两个特征图按通道进行像素融合得到对应的第三特征图;
基于第三特征图获取至少一个预测框,并基于各预测框所携带的预测置信度、位置信息和各预测框内的虚拟角色的身份信息,确定各虚拟角色的位置信息和身份信息,每个预测框对应一个虚拟角色。
在本申请的一种可选实施例中,目标检测模块进一步用于:
对于携带有相同身份信息的至少两个预测框,采用预设非极大值抑制NMS方式确定身份信息对应的虚拟角色的至少一个目标预测框,预设NMS方式中对与最大预测置信度的预测框之间距离交并比DIoU值不小于第一预设交并比IoU的预测框进行抑制;
将各目标预测框所携带的位置信息和身份信息,确定为各目标预测框内的虚拟角色的位置信息和身份信息。
在本申请的一种可选实施例中,该装置还包括模型训练模块,包括:
初始训练样本集获取子模块,用于获取初始训练样本集,初始训练样本集中的初始样本图像标注有检测框,检测框携带有检测框内的虚拟角色的位置信息和身份信息;
训练样本集获取子模块,用于通过马赛克增强方式或填鸭增强方式对初始训练样本集进行扩充,得到训练样本集;
模型训练子模块,用于利用训练样本集对初始目标检测模型进行训练,得到预设目标检测模型。
在本申请的一种可选实施例中,训练样本集获取子模块具体用于:
从初始训练样本集中获取至少两个初始样本图像,并对各初始样本图像进行缩放或裁剪后拼接得到拼接后的图像,且拼接后的图像的尺寸与初始样本图像相同;
基于拼接后的图像的顶点位置,修改各检测框携带的位置信息,得到对应的新的样本图像。
在本申请的一种可选实施例中,训练样本集获取子模块具体用于:
从初始训练样本集中各初始样本图像中,获取至少两个携带有不同身份信息的检测框,并获取游戏的至少一个背景图像帧;
将各检测框与各背景图像帧随机进行融合,得到多个新的样本图像。
在本申请的一种可选实施例中,训练样本集获取子模块进一步用于:
对于每一检测框,将检测框与任一背景图像帧进行融合时,基于检测框对应的初始样本图像的最长边与任一背景图像帧的最长边之间的比值,确定检测框在对应的新的样本图像中对应的位置信息,并基于预设权重系数,对检测框的像素值和任一背景图像帧的像素值中相应的像素值进行加权,得到检测框在对应的新的样本图像中对应的像素值;
基于检测框在对应的新的样本图像中对应的位置信息和像素值,对检测框和任一背景图像帧进行融合,得到对应的新的样本图像。
在本申请的一种可选实施例中,模型训练子模块具体用于:
对于训练样本集中的每一样本图像,将样本图像输入初始目标检测模型得到至少一个预测框,并获取携带有相同身份信息的各预测框与对应的检测框之间的完全交并比CIoU损失值,预测框携带有位置信息和预测框内的虚拟角色的身份信息;
分别基于各样本图像对应的CIoU损失值对初始目标检测模型的模型参数进行调整,直至CIoU损失值不大于第二预设IoU阈值,则得到预设目标检测模型。
在本申请的一种可选实施例中,目标识别模块具体用于:
将第一预设区域图像输入预设目标识别模型,在至少一个特征提取阶段,将初始特征图分为通道数相同的第一特征子图和第二特征子图,对第一特征子图进行预设卷积处理得到与第一特征子图通道数相同的第三特征子图,并将第二特征子图和第三特征子图基于通道维度进行拼接,得到对应的特征图;
基于各阶段对应的特征图,获取第一预设区域图像中所包含的虚拟装备识别结果,并将虚拟装备识别结果确定为虚拟角色的虚拟装备信息。
在本申请的一种可选实施例中,该装置包括备战状态确定模块,包括:
对局状态确定子模块,用于基于至少两个预设模板匹配系数,对预设对局标志模板图和当前图像帧中的第二预设区域图像进行模板匹配,得到第一模板匹配结果、目标模板匹配系数,以及对局标志在第二预设区域图像内的第一目标位置信息,第二预设区域图像中包含有对局标志,目标模板匹配系数为与当前图像帧最匹配的预设模板匹配系数;
第二模板匹配结果获取子模块,用于若第一模板匹配结果指示游戏的运行状态为对局状态,则基于目标模板匹配系数,对预设备战标志模板图和当前图像帧中的第三预设区域图像进行模板匹配,得到第二模板匹配结果,第三预设区域图像中包含有备战标志;
备战状态确定子模块,用于基于第二模板匹配结果确定游戏的运行状态是否为备战状态。
在本申请的一种可选实施例中,若为首次确定游戏的运行状态是否为对局状态,则对局状态确定子模块具体用于:
基于至少两个预设模板匹配系数分别对预设对局标志模板图进行缩放;
将各缩放后的预设对局标志模板图分别与第二预设区域图像进行模板匹配,得到各缩放后的预设对局标志模板图与第二预设区域图像之间的第一相关系数;
若各第一相关系数中最大的第一相关系数不小于第一预设阈值,则确定游戏的运行状态为对局状态,并将最大的第一相关系数对应的预设模板匹配系数作为目标模板匹配系数进行预存,将最大的第一相关系数对应的对局标志在第二预设区域内的位置信息作为第一目标位置信息进行预存。
在本申请的一种可选实施例中,若不为首次确定游戏的运行状态是否为对局状态,则对局状态确定子模块具体用于:
获取上一次确定游戏的运行状态是否为对局状态时预存的目标模板匹配系数和第一目标位置信息;
基于目标模板匹配系数对预设对局标志模板图进行缩放,得到缩放后的预设对局标志模板图;
将缩放后的预设对局标志模板图与第一目标位置信息对应的区域进行模板匹配,得到缩放后的预设对局标志模板图与第一目标位置信息对应的区域之间的第二相关系数;
若第二相关系数不小于第一预设阈值,则确定游戏的运行状态为对局状态。
在本申请的一种可选实施例中,对局状态确定子模块进一步用于:
若第二相关系数小于第一预设阈值,则将缩放后的预设对局标志模板图与第二预设区域图像进行模板匹配,得到缩放后的预设对局标志模板图与第二预设区域图像之间的第三相关系数;
若第三相关系数不小于第一预设阈值,则确定游戏的运行状态为对局状态,并将对应的对局标志在第二预设区域图像中的位置信息作为第二目标位置信息进行预存,删除第一目标位置信息。
在本申请的一种可选实施例中,第二模板匹配结果获取子模块具体用于:
基于目标模板匹配系数对预设备战标志模板图进行缩放,得到缩放后的预设备战标志模板图;
将缩放后的预设备战标志模板图与当前图像帧中的第三预设区域图像进行模板匹配,得到缩放后的与预设备战标志模板图与第三预设区域图像之间的第四相关系数;
备战状态确定子模块,具体用于:
若第四相关系数不小于第二预设阈值,则获取第三预设区域图像中的备战标志的图像,并获取备战标志的图像中包含指定颜色的像素的第一像素数量,若第一像素数量不小于第一像素数量阈值,则确定游戏的运行状态为备战状态。
在本申请的一种可选实施例中,该装置还包括最大的角色数量获取模块,用于:
基于目标模板匹配系数,对至少两个预设虚拟角色数量标志模板图进行缩放,得到对应的缩放后的预设虚拟角色数量标志模板图;
将各缩放后的预设虚拟角色数量标志模板图分别与当前图像帧中的第四预设区域图像进行模板匹配,得到各缩放后的预设虚拟角色数量标志模板图与第四预设区域图像之间的第五相关系数,第四预设区域图像中包含虚拟角色数量标志;
若各第五相关系数中最大的第五相关系数不小于第三预设阈值,则将最大的第五相关系数对应的预设虚拟角色数量标志模板图所指示的角色数量,确定为虚拟角色阵容中最大的角色数量;
战力评估结果获取模块具体用于:
基于预定的游戏执行方法、最大角色数量、各虚拟角色的位置信息、身份信息和虚拟装备信息,从至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果。
在本申请的一种可选实施例中,该装置还包括角色属性获取模块,用于:
对于每一虚拟角色,基于虚拟角色的位置信息获取包含虚拟角色的属性标志的第五预设区域图像;
基于目标模板匹配系数,对至少两个预设虚拟角色属性标志模板图进行缩放,得到对应的缩放后的预设虚拟角色属性标志模板图;
将各缩放后的预设虚拟角色属性标志模板图分别与第五预设区域图像进行模板匹配,得到各缩放后的预设虚拟角色属性标志模板图与第五预设区域图像之间的第六相关系数;
若各第六相关系数中最大的第六相关系数不小于第四预设阈值,则获取第五预设区域图像中的虚拟角色属性标志的图像,并获取虚拟角色属性标志的图像中包含第二指定颜色的像素的第二像素数量;
若第二像素数量不小于第二像素数量阈值,则将最大第六相关系数对应的预设虚拟角色属性标志模板图所指示的角色属性,确定为虚拟角色的角色属性;
战力评估结果获取模块具体用于:
基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息、虚拟装备信息和角色属性,从至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果。
在本申请的一种可选实施例中,战力评估结果获取模块进一步用于:
若当前图像帧的对战区域包含有至少一个虚拟角色,则基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,确定当前虚拟角色阵容的战力评估结果,当前虚拟角色阵容由位于对战区域的各虚拟角色组成。
第三方面,本申请实施例提供了一种电子设备,包括存储器和处理器;
存储器中存储有计算机程序;
处理器,用于执行计算机程序以实现第一方面实施例或第一方面任一可选实施例中所提供的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现第一方面实施例或第一方面任一可选实施例中所提供的方法。
第五方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行时实现第一方面实施例或第一方面任一可选实施例中所提供的方法。
本申请实施例提供的技术方案带来的有益效果是:
通过响应于游戏的运行状态为备战状态,在备战阶段,对玩家界面的当前图像帧进行目标检测获取游戏画面中各虚拟角色的位置信息和身份信息,然后通过对虚拟角色所在区域的预设区域进行目标识别获取各虚拟角色的装备信息,最后基于预定的游戏运行方法,利用在备战阶段获取的各虚拟角色的位置信息、身份信息和虚拟装备信息,确定出多个推荐虚拟角色阵容和对应的战力评估结果。由于该方案是在备战阶段通过目标检测和目标识别获取各虚拟角色的位置信息、身份信息和虚拟装备信息,从而能够准确的对不同的虚拟角色阵容进行战力评估,进而使得玩家能够准确的选取用于出战的虚拟角色阵容,降低对战失败率,提高游戏体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的实现游戏战力评估方法实施所依赖的系统架构示意图;
图2为本申请实施例提供的一种游戏战力评估方法的流程示意图;
图3为本申请实施例的一个示例中游戏战力评估方法的流程示意图;
图4为本申请实施例的一个示例中第二预设区域图像的示意图;
图5为本申请实施例的一个示例中第三预设区域图像的示意图;
图6为本申请实施例的一个示例中获取预设模板匹配系数的示意图;
图7为本申请实施例的一个示例中对局状态检测的流程示意图;
图8为本申请实施例的一个示例中确定备战状态的流程示意图;
图9为本申请实施例的一个示例中预设目标检测模型进行特征提取的示意图;
图10为本申请实施例的一个示例中通过马赛克增强方式获取新的样本图像的示意图;
图11为本申请实施例的一个示例中CSP结构示意图;
图12为本申请实施例的一个示例中删除CSP结构中的卷积的示意图;
图13为本申请实施例的一个示例中第四预设区域图像的示意图;
图14为本申请实施例的一个示例中第一预设区域图像和第五预设区域图像的示意图;
图15为本申请实施例的一个示例中备战阶段显示战力分析辅助悬浮界面的示意图;
图16为本申请实施例的一个示例中显示虚拟装备合成策略的界面的示意图;
图17为本申请实施例提供的一种游戏战力评估装置的结构框图;
图18为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合本申请中的附图描述本申请的实施例。应理解,下面结合附图所阐述的实施方式,是用于解释本申请实施例的技术方案的示例性描述,对本申请实施例的技术方案不构成限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件,但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解,当我们称一个元件被“连接”或“耦接”到另一元件时,该一个元件可以直接连接或耦接到另一元件,也可以指该一个元件和另一元件通过中间元件建立连接关系。此外,这里使用的“连接”或 “耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个,例如“A和/或B”可以实现为“A”,或者实现为“B”,或者实现为“A和B”。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请涉及的几个名词进行介绍和解释:
HSV:HSV是一种将RGB色彩空间中的点在倒圆锥体中的表示方法。HSV即色相(Hue)、饱和度(Saturation)、亮度(Value)。
Batch Normalization:批归一化,在每个批次中计算样本数据的均值和方差,将每个批次中的样本减均值除方差,并且做平移放缩操作,使训练时参数稳定,防止过拟合。
IoU:Intersection over Union,交并比,其值等于真实框和预测框交集与真实框和预测框并集的比值,用于评估预测框与真实框的贴合度,是深度学习目标检测中常用的评价指标。而IoU Loss是训练边框回归常用的损失函数,等于1-IoU。
NMS:非极大值抑制(Non-Maximum Suppression),常用于目标检测后处理操作,在单图预测出很多框时,置信度高的预测框会将与其IoU大于一定阈值的同类框抑制,从而输出最精简的预测框组合。
针对现有技术中存在的玩家无法准确确定出不同虚拟角色阵容的战力,导致对战失败率高的技术问题,本申请实施例提供了一种游戏战力评估方法、装置以及计算机可读存储介质。
下面通过对几个示例性实施方式的描述,对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是,下述实施方式之间可以相互参考、借鉴或结合,对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等,不再重复描述。
图1为本申请实施例提供的实现游戏战力评估方法实施所依赖的系统架构示意图,其中,该系统可以包括终端设备101,运行在终端设备上的游戏102,以及该游戏102对应的后台服务器103。具体来说,终端设备101可以是个人电脑、平板、手机等设备,玩家在终端设备101上启动游戏102之后,终端设备可以获取游戏102运行过程中的游戏画面(对应于一个或多个图像帧)。然后,终端设备101可以基于获取到的游戏画面进行游戏战力评估,然后将战力评估结果显示在游戏102的游戏画面中,以供玩家根据战力评估结果确定最终出战的虚拟角色阵容。或者,终端设备101将获取到的游戏画面上传至后台服务器103,后台服务器103基于获取到的游戏画面进行游戏战力评估,然后将战力评估结果下发至终端设备101,终端设备101将接收到的战力评估结果显示在游戏102的游戏画面中,以供玩家根据战力评估结果确定最终出战的虚拟角色阵容。
图2为本申请实施例提供的一种游戏战力评估方法的流程示意图,该方法的执行主体可以是图1中的终端设备101或后台服务器103,如图2所示,该方法可以包括:
步骤S201,响应于游戏运行状态为备战状态,对游戏的玩家界面对应的当前图像帧进行目标检测,获取游戏中的至少一个虚拟角色的位置信息和身份信息。
其中,以自走棋游戏为例,在玩家进行游戏对局时,游戏的运行状态至少可以包括备战状态(对应于备战阶段)和对战状态(对应于对战阶段)。具体来说,在备战阶段玩家可以根据所拥有的虚拟角色,选取多个虚拟角色作为虚拟角色阵容用于对战阶段出战,可以理解的是,玩家的大部分操作集中于备战阶段。如何确定出用于出战的虚拟角色阵容,关键在于对各种不同虚拟角色阵容的战力进行分析评估,本申请实施例即在备战阶段为玩家提供各个不同虚拟角色阵容的战力评估结果。
具体地,由于在游戏的备战阶段,包含有相对于其他游戏阶段最为丰富的游戏元素(即用于获取虚拟角色阵容战力评估结果的相关信息),且相对于其他游戏阶段画面干扰最小,本申请实施例的方案主要在此过程中执行。那么,若确定游戏的运行状态为备战状态,则可以获取玩家界面的当前游戏画面,即获取当前图像帧。可以理解的是,在备战阶段的玩家界面中仅包含有玩家自己的虚拟角色,即获取到的当前图像帧中仅包含玩家自身的虚拟角色,而不包含对手玩家的虚拟角色。然后,对该当前图像帧执行目标检测,目标检测的目的是为了获取当前图像帧中包含的各虚拟角色的位置和身份,即获取当前图像帧中各虚拟角色的位置信息和身份信息。
步骤S202,对于至少一个虚拟角色中的每一虚拟角色,基于虚拟角色的位置信息获取包含虚拟角色的装备标志的第一预设区域图像,并对第一预设区域图像进行目标识别,获取虚拟角色的虚拟装备信息。
具体地,在上一步骤中检测出了一个或多个虚拟角色,并且获取了各虚拟角色的位置信息。那么,可以根据每一虚拟角色的位置信息确定出该虚拟角色在当前图像帧中所占据的区域,又由于各虚拟角色的装备标志显示在对应的虚拟角色所占据的区域内的固定区域(即第一预设区域),因此可以从虚拟角色所占据的区域中裁剪出该固定区域,该固定区域对应的图像即为第一预设区域图像。例如,虚拟角色的装备标志可以显示在虚拟角色形象的头顶预设长度和预设宽度的区域内。在获取了包含有装备标志的第一预设区域图像后,对该第一预设区域图像进行目标识别,目标识别的目的是识别第一预设区域图像中包含的装备标志所指示的虚拟装备信息。其中,虚拟装备信息可以包括虚拟角色的虚拟装备的数量信息、虚拟装备的身份信息、虚拟装备的属性信息等。
步骤S203,基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,从至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果。
具体地,在获取了当前图像帧中各虚拟角色的位置信息、身份信息和虚拟装备信息之后,本申请实施例根据预定的游戏执行方法(即游戏玩法,不同游戏有其预定的游戏玩法),确定出对应的虚拟角色阵容评估规则,该评估规则中的变量为备战阶段的各游戏元素,具体来说,该评估规则中的变量至少包括虚拟角色阵容中各虚拟角色的位置信息、身份信息和虚拟装备信息。因此,在根据前述步骤确定出各虚拟角色的位置信息、身份信息和虚拟装备信息后,将这些信息代入预定的游戏执行方法,即可获取各种不同虚拟角色阵容和对应的战力评估结果(例如,可以是战力评分)。进而,可以将这些虚拟角色阵容中战力评估结果最高的几个虚拟角色阵容作为推荐虚拟角色阵容,并将这些推荐虚拟角色阵容和其对应的战力评估结果推送给玩家,以供玩家确定出用于出战的虚拟角色阵容。
另外,上述评估规则可以根据实际需求对变量进行增减,一般来说,设置的变量越多最终得到的战力评估结果越准确。进一步地,该评估规则的变量还可以包括虚拟角色阵容中各虚拟角色的角色属性(例如,星级等)以及虚拟角色的最大的角色数量(即一个虚拟角色阵容最多能够包含的虚拟角色数量)。
本申请实施例提供的方案,通过响应于游戏的运行状态为备战状态,在备战阶段,对玩家界面的当前图像帧进行目标检测获取游戏画面中各虚拟角色的位置信息和身份信息,然后通过对虚拟角色所在区域的预设区域进行目标识别获取各虚拟角色的装备信息,最后基于预定的游戏运行方法,利用在备战阶段获取的各虚拟角色的位置信息、身份信息和虚拟装备信息,确定出多个推荐虚拟角色阵容和对应的战力评估结果。由于该方案是在备战阶段通过目标检测和目标识别获取各虚拟角色的位置信息、身份信息和虚拟装备信息,从而能够准确的对不同的虚拟角色阵容进行战力评估,进而使得玩家能够准确的选取用于出战的虚拟角色阵容,降低对战失败率,提高游戏体验。
在本申请的一种可选实施例中,该方法还可以包括:
若当前图像帧的对战区域包含有至少一个虚拟角色,则基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,确定当前虚拟角色阵容的战力评估结果,当前虚拟角色阵容由位于对战区域的各虚拟角色组成。
具体地,虚拟角色的位置信息可以指示其在当前图像帧中所处的区域,而当前图像帧中虚拟角色可以设置的区域可以分为对战区域和候选区域。其中,对战区域中的虚拟角色为被玩家选取出来准备出战的虚拟角色,对战区域的各虚拟角色构成当前虚拟角色阵容。候选区域的虚拟角色为可供玩家选取而还未被选取出来的虚拟角色。可以理解的是,在目标检测时,获取的是对战区域和候选区域所有虚拟角色的位置信息和身份信息。那么,如果通过目标检测发现在对战区域存在虚拟角色,说明玩家已经自己选取了用于出战的虚拟角色阵容,即当前虚拟角色阵容。但是,该当前虚拟角色阵容相对于其他推荐虚拟角色阵容,可能是战力评估结果最高的虚拟角色阵容,也可能不是战力评估结果最高的虚拟角色阵容。因此,本申请实施例中也还可以对当前虚拟角色阵容进行战力评估,得到对应的战力评估结果,以供玩家将当前虚拟角色阵容的战力评估结果与各推荐虚拟角色阵容的战力评估结果进行比较,从而确定出用于出战的虚拟角色阵容。
由以上描述可知,如图3所示,本申请实施例中的战力评估方案主要可以分为两个部分:第一部分为备战检测部分,第二部分为战力评估部分。
备战检测部分主要是为了确定游戏的运行状态为备战状态。而确定游戏是否处于备战状态,首先要确定游戏是否处于对局状态,若处于对局状态,再进一步确定游戏是否处于备战状态,若不处于对局状态,则可以直接确定游戏不处于备战状态。
战力部分则是在确定游戏处于备战状态后,基于当前图像帧进行目标检测和目标识别等处理,获取备战阶段的游戏元素,可以包括各虚拟角色的位置信息、身份信息以及虚拟装备信息,或者还可以进一步包括各虚拟角色的角色属性以及虚拟角色阵容的最大的角色数量等信息。然后,将这些备战阶段的游戏元素,代入预定的游戏玩法获取的评估规则,获取多个推荐虚拟角色阵容及对应的战力评估结果。
那么,下面将对以上两个部分中的各个实现细节进行进一步详细说明。
第一部分,备战检测部分,需要进行对局状态检测和备战状态检测,本申请实施例的该部分可以采用多尺度模板匹配的方式来实现对局状态检测和备战状态检测。
在本申请的一种可选实施例中,通过如下方式确定游戏的运行状态为备战状态:
基于至少两个预设模板匹配系数,对预设对局标志模板图和当前图像帧中的第二预设区域图像进行模板匹配,得到第一模板匹配结果、目标模板匹配系数,以及对局标志在第二预设区域内的第一目标位置信息,第二预设区域图像中包含有对局标志,目标模板匹配系数为与当前图像帧最匹配的预设模板匹配系数;
若第一模板匹配结果指示游戏的运行状态为对局状态,则基于目标模板匹配系数,对预设备战标志模板图和当前图像帧中的第三预设区域图像进行模板匹配,得到第二模板匹配结果,第三预设区域图像中包含有备战标志;
基于第二模板匹配结果确定游戏的运行状态是否为备战状态。
其中,在当前图像帧(即当前的游戏画面)中,指示游戏的对局状态信息的标志和备战状态信息的标志所处的位置不变或在固定区域内变动,换言之,对局标志和备战标志的在当前图像帧中的位置不变或在固区域被变动。那么,可以将对局标志所在的固定区域(即第二预设区域)从当前图像帧中裁剪出来,得到包含对局标志的第二预设区域图像,可以将备战标志所在固定区域(即第三预设区域)从当前图像帧中裁剪出来,得到包含备战标注的第三预设区域图像帧。
因此,为了减小模板匹配的计算量、提高模板匹配的准确度,可以对预设对局标志模板图与对局标志所在的第二预设区域图像进行模板匹配,对预设备战标志模板图与备战标志所在的第三预设区域图像进行模板匹配。
举例来说,如图4所示,第二预设区域图像位于当前图像帧的左上方的固定位置,其中,若第二预设区域图像中包含对局标志401,则说明游戏处于对局阶段,而若第二预设区域图像中不包含对局标志401,则说明游戏不处于对局阶段。如图5所示,第三预设区域图像位于当前图像帧的上方中间的固定位置,其中,若第三预设区域图像中包含备战标志501,且该备战标志501被“点亮”,则说明游戏处于备战阶段,而若第三预设区域图像中包含备战标志501,且该备战标志501没有被“点亮”,则说明游戏不处于备战阶段。需要说明的是,本申请实施例中为了判断备战状态的准确性,除了进行模板匹配外还需要进行备战标志的图像的颜色数量的计算(用于确定备战标志是否被“点亮”),后文将进行详细说明。
另外,考虑到终端设备的分辨率的差异,为了尽可能减少模板匹配上的耗时,在进行对局检测时,采用多个预设模板匹配系数来进行预设对局标志模板图和第二预设区域图像之间的模板匹配。其中,预设模板匹配系数可以为用于缩放图像尺寸的系数,可以利用预设模板匹配系数对模板图进行缩放,也可以利用模板匹配系数对待匹配的目标图像(例如,第二预设区域图像或第三预设区域图像)进行缩放,本身实施例中为了减少计算量,利用预设模板匹配系数对模板图进行缩放。可以理解的是,由于这里的模板匹配采用了多个预设模板匹配系数,因此,该模板匹配过程可以称为“多尺度模板匹配”。
在完成了预设对局标志模板图与第二预设区域图像之间的模板匹配后,得到第一模板匹配结果,若第一模板匹配结果指示游戏处于对局状态,则存储与当前图像帧最匹配的预设模板匹配系数,即存储目标模板匹配系数。可以理解的是,相较于其他预设模板匹配系数,在利用目标模板匹配系数对模板图进行缩放后,得到的缩放后的模板图在与对应的目标图像进行匹配时耗时最少。因此,在后续进行预设备战标志模板图与第三预设区域图像之间的模板匹配时,为了减少计算耗时,可以直接采用预存的目标模板匹配系数进行模板匹配。
在完成了预设对局标志模板图与第二预设区域图像之间的模板匹配后,得到第一模板匹配结果,若第一模板匹配结果指示游戏处于对局状态,还可以对第二预设区域图像中对局标志的位置信息进行存储,即存储对局标志在第二预设区域图像内的第一目标位置信息,在下次进行对局检测时则可以直接将预设对局标志模板图与第一目标位置信息对应的区域进行模板匹配,由于缩小了匹配范围,可以进一步减小模板匹配的计算量和计算耗时。
在本申请的一种可选实施例中,若为首次确定游戏的运行状态是否为对局状态,则基于至少两个预设模板匹配系数,对预设对局标志模板图和当前图像帧中的第二预设区域图像进行模板匹配,得到第一模板匹配结果、目标模板匹配系数,以及对局标志在第二预设区域内的第一目标位置信息,包括:
基于至少两个预设模板匹配系数分别对预设对局标志模板图进行缩放;
将各缩放后的预设对局标志模板图分别与第二预设区域图像进行模板匹配,得到各缩放后的预设对局标志模板图与第二预设区域图像之间的第一相关系数;
若各第一相关系数中最大的第一相关系数不小于第一预设阈值,则确定游戏的运行状态为对局状态,并将最大的第一相关系数对应的预设模板匹配系数作为目标模板匹配系数进行预存,将最大的第一相关系数对应的对局标志在第二预设区域内的位置信息作为第一目标位置信息进行预存。
其中,每一预设模板匹配系数可以包括横坐标缩放系数和纵坐标缩放系数,或长度缩放系数和宽度缩放系数。举例来说,获取一个缩放系数区间[1.1,1.3],如图6所示,按步长为0.1分别获取长度缩放系数和宽度缩放系数进行两两组合,得到一系列的模板匹配系数(或称模板匹配系数矩阵),若需要使得长度缩放系数不小于宽度缩放系数,则可以选取图6中模板匹配系数矩阵的下三角对应的模板匹配系数作为预设模板匹配系数。同理,获取一个缩放系数区间[0.7,0.9],按步长为0.1分别获取长度缩放系数和宽度缩放系数进行两两组合,得到对应的模板匹配匹配系数矩阵,若需要长度缩放系数不大于宽度缩放系数,则可以选取该模板匹配系数矩阵中的上三角对应的模板匹配系数作为预设模板匹配系数。
其中,对缩放后的模板图和对应的目标图像进行模板匹配,实际上是获取缩放后的模板图和对应的目标图像之间的相关系数(可以是归一化的相关系数)。举例来说,归一化的相关系数的计算公式可以如下:
其中,为模板图中指定像素点的像素值,为目
标图像中与模板图进行匹配的区域的指定像素点的像素值,为模板图中像素数量,为模板图中任一像素点的像素值,为目标图像中
与模板图进行匹配的区域的任一像素点的像素值。
具体地,如图7所示,若为首次确定所述游戏的运行状态是否为对局状态,则说明没有预存的目标模板匹配系数和对应第一目标位置信息,则需要分别利用多个预设模板匹配系数对预设对局标志模板图进行缩放后,再分别与第二预设区域图像进行模板匹配,得到多个第一相关系数,并从中确定出最大的第一相关系数。若该最大的第一相关系数不小于第一预设阈值,则说明游戏处于对局状态,进而将该最大的第一相关系数对应的预设模板匹配系数作为目标模板匹配系数进行存储,同时,将最大的第一相关系数对应的匹配位置(即第一目标位置信息)进行存储。若该最大的第一相关系数小于第一预设阈值,则说明游戏不处于对局状态。
在本申请的一种可选实施例中,若不为首次确定游戏的运行状态是否为对局状态,则基于至少两个预设模板匹配系数,对预设对局标志模板图和当前图像帧中的第二预设区域图像进行模板匹配,得到第一模板匹配结果、目标模板匹配系数,以及对局标志在第二预设区域内的第一目标位置信息,包括:
获取上一次确定游戏的运行状态是否为对局状态时预存的目标模板匹配系数和第一目标位置信息;
基于目标模板匹配系数对预设对局标志模板图进行缩放,得到缩放后的预设对局标志模板图;
将缩放后的预设对局标志模板图与第一目标位置信息对应的区域进行模板匹配,得到缩放后的预设对局标志模板图与第一目标位置信息对应的区域之间的第二相关系数;
若第二相关系数不小于第一预设阈值,则确定游戏的运行状态为对局状态。
具体地,再次参考图7,若不为首次确定游戏的运行状态是否为对局状态,说明可以获取预存的目标模板匹配系数和对应的第一目标位置信息。然后,利用目标模板匹配系数对预设对局标志模板图进行缩放后,再与第一目标位置信息对应的区域进行模板匹配,即将缩放后预设对局标志模板图于第二预设区域图像中的对局标志进行模板匹配,获取对应的第二相关系数。若该第二相关系数不小于第一预设阈值,说明游戏处于对局状态。若该第二相关系数小于第一预设阈值,说明游戏不处于对局状态或第一目标位置信息对应的区域中没有包含对局标志。
在本申请的一种可选实施例中,方法还包括:
若第二相关系数小于第一预设阈值,则将缩放后的预设对局标志模板图与第二预设区域图像进行模板匹配,得到缩放后的预设对局标志模板图与第二预设区域图像之间的第三相关系数;
若第三相关系数不小于第一预设阈值,则确定游戏的运行状态为对局状态,并将对应的对局标志在第二预设区域图像中的位置信息作为第二目标位置信息进行预存,删除第一目标位置信息。
具体地,再次参考图7,若第二相关系数小于第一预设阈值,且确定第一目标位置信息对应的区域中没有包含对局标志,而在第二预设图像区域包含对局标志,则需要对对局标志在第二预设区域图像中所处的位置信息进行修正。那么,可以将缩放后的预设对局标志模板图与第二预设区域图像进行模板匹配,进而得到对应的匹配位置,即得到对局标志在第二预设区域图像中的第二目标位置信息,利用该第二目标位置信息替换之前的第一目标位置信息。
在本申请的一种可选实施例中,基于目标模板匹配系数,对预设备战标志模板图和当前图像帧中的第三预设区域进行模板匹配,得到第二模板匹配结果,包括
基于目标模板匹配系数对预设备战标志模板图进行缩放,得到缩放后的预设备战标志模板图;
将缩放后的预设备战标志模板图与当前图像帧中的第三预设区域图像进行模板匹配,得到缩放后的与预设备战标志模板图与第三预设区域图像之间的第四相关系数;
基于第二模板匹配结果确定游戏的运行状态是否为备战状态,包括:
若第四相关系数不小于第二预设阈值,则获取第三预设区域图像中的备战标志的图像,并获取备战标志的图像中包含指定颜色的像素的第一像素数量,若第一像素数量不小于第一像素数量阈值,则确定游戏的运行状态为备战状态。
具体地,进行备战检测,说明对局检测通过,那么在进行备战检测时,可以直接采用目标模板匹配系数对预设备战标志模板图进行缩放后,再与第三预设区域图像进行模板匹配,得到对应的第四相关系数。如图8所示,若第四相关系数小于第二预设阈值,则说明游戏不处于备战阶段。若第四相关系数不小于第二预设阈值,则说明游戏可能处于备战状态。由于一个对局阶段下可能有多个备战阶段,那么第三预设区域图像内可能包含有多个备战标志,且这多个备战标志中可能有相同形状的备战标志,其中只有当前备战阶段的备战标志是“点亮”的,即当前备战阶段的备战标志的图像是彩色图像,而其他备战极端的备战标志是“熄灭”的,即其他备战阶段的备战标志的图像是灰度图像。因此,为了确定当前是否处于备战阶段,还需要进一步确定当前的备战标志的图像中包含指定颜色的像素的第一像素数量是否不小于第一像素数量阈值。若第一像素数量不小于第一像素数量阈值,则确定游戏处于备战阶段。若第一像素数量小于第一像素数量阈值,则确定游戏不处于备战阶段。
进一步地,在确定备战标志的图像中包含指定颜色的像素的数量时,首先将备战标志的图像(RGB图像)转换至HSV空间,并获取指定颜色对应的颜色范围阈值,统计HSV空间下备战标志的图像中该阈值范围内的像素个数,即得到第一像素数量。
第二部分,战力评估部分,该部分需要进行目标检测和目标识别,本申请实施例中可以利用人工智能模型来实现目标检测和目标识别。另外,战力评估部分还可以进一步获取个虚拟角色的角色属性以及虚拟角色阵容的最大的角色数量,本申请实施例中可以通过前述多尺度模板匹配方法来获取角色属性和最大角色数量。
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
在本申请的一种可选实施例中,对当前图像帧进行目标检测,获取至少一个虚拟角色的位置信息和身份信息,包括:
将当前图像帧输入预设目标检测模型,通过预设目标检测模型中的特征金字塔结构对当前图像帧进行特征提取,得到特征金字塔结构的各层对应的第一特征图;
按自顶向下的顺序,依次将上层的第一特征图经上采样后与下层的第一特征图基于通道维度进行拼接,得到各层对应第二特征图,将最底层的第二特征图经下采样后分别与上一层的第一特征图和第二特征图基于通道维度进行拼接,并将拼接得到的两个特征图按通道进行像素融合得到对应的第三特征图;
基于第三特征图获取至少一个预测框,并基于各预测框所携带的预测置信度、位置信息和各预测框内的虚拟角色的身份信息,确定各虚拟角色的位置信息和身份信息,每个预测框对应一个虚拟角色。
其中,现有技术中一般会采用模板匹配或特征点匹配等方法进行目标检测。一方面,由于自走棋游戏中虚拟角色数量较多,若采用模板匹配的方式需要模板图数量较多,匹配的时间开销非常大。另一方面,在备战阶段当前图像帧中的虚拟角色数量较多,且摆放位置各异,虚拟角色之间会有不同程度的遮挡,同时虚拟角色的一些特效显示,也会进一步对虚拟角色本身产生遮挡。这些遮挡会导致虚拟角色大量关键点的丢失,从而导致特征点匹配无法匹配或匹配错误。
具体地,针对上述问题,本申请实施例采用预设目标检测模型来进行目标检测,其输入为当前图像帧,输出为对应的预测框,且该预测框携带有位置信息和预测框内包含的虚拟角色的身份信息。基于各预测框携带的位置信息可以确定当前图像帧中各虚拟角色的位置信息,基于各预测框携带的其内的身份信息可以确定各虚拟角色的身份信息。
其中,预设目标检测模型可以是通过改进基于深度学习的目标检测框架yolo-fastest得到。yolo-fastest骨干网采用的是EfficientNet,其保留了原始的特征金字塔(FPN,Feature Pyramid Networks)结构,这是一种自顶向下的方式,与原版FPN不同的是,这里上层的特征图上采样与下层特征的融合方式为通道维度上的拼接,而不是对应像素相加。具体来说,按自顶向下的顺序,依次将上层的第一特征图经上采样后与下层的第一特征图基于通道维度进行拼接,得到各层对应第二特征图。举例来说,如图9的左图所示,FPN分别获取自顶向下的三层对应的不同尺寸的第一特征图:第一层的尺寸为19×19、第二层的尺寸为38×38、第三层的尺寸为76×76,将第一层的19×19的第一特征图进行上采样后,得到38×38的特特征图与第二层的38×38第一特征图进行通道维度的拼接,得到尺寸不变通道数为进行拼接的两个特征图通道数之和的第二特征图,即得到第二层的尺寸为38×38第二特征图。同样的方式还可以获取第三层的对应的第二特征图。
本申请实施例的方案中,为了增大预设目标检测模型的感受野(ReceptiveField),提升卷积神经网络的学习能力,在上述FPN基础路径上又加入一条自底向上的网络传播路径。换言之,将最底层的第二特征图经下采样后分别与上一层的第一特征图和第二特征图基于通道维度进行拼接,并将拼接得到的两个特征图按通道进行像素融合得到对应的第三特征图。举例来说,如图9的右图所示,在获取了第一层、第二层和第三层的第二特征图以后,将第三层对应的第二特征图(76×76)经过下采样得到的特征图(38×38)分别与第二层对应的第一特征图(38×38)和第二特征图(38×38)进行通道维度的拼接,然后再将拼接得到的两个特征图(38×38)按通道进行像素融合得到对应的第三特征图。其中,所谓按通道进行像素融合,即将两个特征图中相应的通道内的图的对应像素点的像素值分别相加,得到该通道内融合后的图。
那么,在得到第三特征图后,即预设目标检测模型完成了特征提取,然后基于提取到的第三特征进行目标检测结果的预测,即获取多个预测框,这些预测框都携带有自身的位置信息和框内的虚拟角色的身份信息。可以理解的是,预测框的位置信息可认为是框内的虚拟角色的位置信息。
另外,由于当前图像帧中虚拟角色之间的遮挡的存在,本申请实施例需要对预设目标检测模型输出的各预测框进行后处理,即从输出的各预测框中确定出哪些是各虚拟角色的准确预测框。在预设目标检测模型的部署后的在线预测阶段,该后处理过程成为非极大值抑制阶段。
在本申请的一种可选实施例中,基于各预测框所携带的预测置信度、位置信息和各预测框内的虚拟角色的身份信息,确定各虚拟角色的位置信息和身份信息,包括:
对于携带有相同身份信息的至少两个预测框,采用预设非极大值抑制NMS方式确定身份信息对应的虚拟角色的至少一个目标预测框,预设NMS方式中对与最大预测置信度的预测框之间距离交并比DIoU(Distance-IoU)值不小于第一预设交并比IoU的预测框进行抑制;
将各目标预测框所携带的位置信息和身份信息,确定为各目标预测框内的虚拟角色的位置信息和身份信息。
具体地,在预设目标检测模型的部署后的在线预测阶段,对预设目标检测模型输出的多个预测框,首先,按携带的身份信息进行分类,并将身份信息相同的预测框作为一类。可以理解的是,每一类对应于一个虚拟角色,也即一个虚拟角色对应于一个或多个预测框,对于一个虚拟角色对应于多个预测框的情形,则需要通过对该虚拟角色对应的各预测框进行后处理来删除一些重复且不准确的预测框。具体来说,本申请实施例是将现有技术中的NMS方式所采用的IoU替换成DIoU得到预设NMS方式,换言之,预设NMS方式中对与最大预测置信度的预测框之间DIoU值不小于第一预设IoU的预测框进行抑制。其中DIoU值计算公式可以如下:
在本申请的一种可选实施例中,预设目标检测模型通过以下方式训练得到:
获取初始训练样本集,初始训练样本集中的初始样本图像标注有检测框,检测框携带有检测框内的虚拟角色的位置信息和身份信息;
通过马赛克增强方式或填鸭增强方式对初始训练样本集进行扩充,得到训练样本集;
利用训练样本集对初始目标检测模型进行训练,得到预设目标检测模型。
其中,检测框是样本图像中真实框,即其所携带的位置信息和身份信息被认为是真实值。
具体地,在部署预设目标检测模型用于在线预测之前,需要通过训练得到该训练好的预设目标检测模型。本申请的训练阶段的关键点在于:通过马赛克增强方式或填鸭增强方式中的一种或多种方式获取数据量更大的训练数据集,以及在训练过程中采用CIoU损失或DIoU损失。
在本申请的一种可选实施例中,通过马赛克增强方式对初始训练样本集进行扩充,包括:
从初始训练样本集中获取至少两个初始样本图像,并对各初始样本图像进行缩放或裁剪后拼接得到拼接后的图像,且拼接后的图像的尺寸与初始样本图像相同;
基于拼接后的图像的顶点位置,修改各检测框携带的位置信息,得到对应的新的样本图像。
具体地,首先,从初始训练样本集中获取至少两个初始样本图像,对这些初始样本图像进行缩放或裁剪后进行拼接,使得拼接后的图像的尺寸与初始样本图像保持一致。然后,由于拼接后图像中的检测框的位置信息都是在对应的初始样本图像中的位置信息,需要对这些检测框的位置信息进行修改,即修改为各检测框在拼接后的图像中的位置信息。具体来说,可以以拼接后的图像的左上角的顶点为起点重新计算各检测框的位置信息。最后,利用修改后的位置信息标注各检测框,并保持各检测框携带的身份信息不变,即可得到对应的新的样本图像。举例来说,如图10所示,从初始训练样本集中获取4张初始样本图像:图A、图B、图C和图D,对着4张图分别进行裁剪或缩放,然后拼接得到新的样本图像,并对其上各检测框的位置信息进行修改后重新标注,即可得到对应的新的样本图像。
该增强方式增加了样本图像的数量,同时能够丰富目标检测的背景,增加训练数据的多样性,并多张初始样本图像拼接成一张新的样本图像等于变相提高训练的batchsize(批大小),有利于batch normalization(批归一化)的计算更加符合整个数据集的分布,从而加快网络收敛速度。
在本申请的一种可选实施例中,通过填鸭增强方式对初始训练样本集进行扩充,包括:
从初始训练样本集中各初始样本图像中,获取至少两个携带有不同身份信息的检测框,并获取游戏的至少一个背景图像帧;
将各检测框与各背景图像帧随机进行融合,得到多个新的样本图像。
具体地,首先,从初始训练样本集中各初始样本图像中,获取所有虚拟角色对应的检测框,并获取游戏的多个背景图像帧。然后,随机获取一个或多个虚拟角色的检测框,与任一背景图像帧进行融合。该方案的关键点在于检测框与背景图像帧融合时,对检测框的缩放以及检测框与背景图像帧融合后的融合区域的像素值的确定。
在本申请的一种可选实施例中,将各检测框与各背景图像帧进行随机融合,得到多个新的样本图像,包括:
对于每一检测框,将检测框与任一背景图像帧进行融合时,基于检测框对应的初始样本图像的最长边与任一背景图像帧的最长边之间的比值,确定检测框在对应的新的样本图像中对应的位置信息,并基于预设权重系数,对检测框的像素值和任一背景图像帧的像素值中相应的像素值进行加权,得到检测框在对应的新的样本图像中对应的像素值;
基于检测框在对应的新的样本图像中对应的位置信息和像素值,对检测框和任一背景图像帧进行融合,得到对应的新的样本图像。
具体地,检测框在对应的新的样本图像中对应的位置信息的计算公式可以如下:
检测框在对应的新的样本图像中对应的像素值的计算公式可以如下:
其中,为预设权重系数,可以去0.5至1之间的随机系数,为融合后的检
测框在新的样本图像中所处区域的像素值,为检测框在初始样本图像中所处区
域的像素值,为检测框在新的样本图像中的位置信息在背景图
像帧中对应的区域的像素值。
在本申请的一种可选实施例中,利用训练样本集对初始目标检测模型进行训练,得到预设目标检测模型,包括:
对于训练样本集中的每一样本图像,将样本图像输入初始目标检测模型得到至少一个预测框,并获取携带有相同身份信息的各预测框与对应的检测框之间的完全交并比CIoU损失值,预测框携带有位置信息和预测框内的虚拟角色的身份信息;
分别基于各样本图像对应的CIoU损失值对初始目标检测模型的模型参数进行调整,直至CIoU损失值不大于第二预设IoU阈值,则得到预设目标检测模型。
具体地,在训练过程中,本申请实施例采用CIoU损失值或DIoU损失值。DIoU算是考
虑重叠面积和中心距离,当预测框在真实框(即检测框)内部时,直接度量两个框的中心点
距离和较大框的对角线距离比值,加快边框回归收敛。CIoU损失在DIoU损失的基础上又加
入对预测框和真实框长宽比的考量,额外加入一项衡量长宽比一致性的参数,依赖于真
实框先验信息计算得出。两者的计算公式可以如下:
具体来说,在获取了携带有相同身份信息的各预测框与对应的检测框之间的CIoU损失值之后,可以获取各损失值的算术平均值,然后利用该算术平均值对模型参数进行调整,直至后续训练中对应的算术平均值不大于第二预设IoU阈值。
另外,为了减小模型的复杂度和体积,并保证其检测精度,可以训练好的预设目标检测模型转换至ncnn格式(一种深度学习框架)并进行int8量化(一种模型量化方法)后存入终端设备。
需要说明的是,前文所述“第一预设IoU”是预先设定的用于衡量DIoU值大小的阈值,“第二预设IoU”是预先设定的用于衡量CIoU损失值大小和DIoU损失值大小的阈值,这些阈值都可以根据实际需求进行设定。
在本申请的一种可选实施例中,对第一预设区域图像进行目标识别,确定虚拟角色的虚拟装备信息,包括:
将第一预设区域图像输入预设目标识别模型,在至少一个特征提取阶段,将初始特征图分为通道数相同的第一特征子图和第二特征子图,对第一特征子图进行预设卷积处理得到与第一特征子图通道数相同的第三特征子图,并将第二特征子图和第三特征子图基于通道维度进行拼接,得到对应的特征图;
基于各阶段对应的特征图,获取第一预设区域图像中所包含的虚拟装备识别结果,并将虚拟装备识别结果确定为虚拟角色的虚拟装备信息。
具体地,在检测到虚拟角色的位置信息后,既可以获取虚拟角色所在区域的图像,该图像包含有虚拟角色的虚拟装备标志,且该虚拟装备标志处于该图像的固定区域,该固定区域对应的图像即为第一预设区域图像。那么对第一预设区域图像进行目标识别,即可识别出其中包含的虚拟角色的虚拟装备标志,即获取对应的虚拟装备信息。同样,由于虚拟角色之间存在遮挡,导致虚拟角色装备也可能被遮挡,因此在进行目标识别时,现有技术中的模板匹配或特征匹配方式不在适用,本申请实施例采用预设目标识别模型进行目标识别,获取虚拟装备信息。
其中,预设目标识别模型骨干网可以采用ShuffleNet v2轻量网络,为进一步降低计算量,本申请实施例在ShuffleNet的每个阶段加入CSP(Cross Stage Partial Network,跨级部分网络)结构。如图11所示,将输入特征图(即初始特征图)在通道维度上一分为二,后半部分的特征图(即第二特征子图)可以经过残差块或dense块(可根据需求进行设定),得到通道数不变的特征图(即第三特征子图)再与前半部分的特征图(即第一特征子图)合并为一个与分离前通道数一致的特征图。这既降低了计算量,又丰富了梯度信息,减少梯度的重用。
另外,本申请实施例还可以对CSP结构中的右半部分的分支进行简化,以进一步节省计算量。在深度可分离卷积(Depthwise Separable Convolution)的前后使用1*1的卷积有两个方面的目的。一方面是融合通道间的信息,弥补深度可分离卷积对通道间信息融合功能的缺失。另一方面是为了特征图的降维升维。前文所述ShuffleNet中的CSP结构,在第二个分支(即右半部分分支)中用了2个1*1卷积,而此处没有升维降维的需求,有一个1*1卷积融合深度可分离卷积的通道间信息即可。如图12所示,为了剪裁的方便,可以将图中虚线框中的1*1卷积模块删除,使得在几乎不丢失精度的情况下节省约30%的计算量。
另外,可以训练好的预设目标识别模型转换至ncnn格式并进行int8量化后存入终端设备。
在战力分析部分除了进行目标检测和目标识别,还可以进一步获取各虚拟角色的角色属性,以及虚拟角色阵容的最大的角色数量。两者都可以采用前述多尺度模板匹配的方式进行获取。
在本申请的一种可选实施例中,该方法还可以包括:
基于目标模板匹配系数,对至少两个预设虚拟角色数量标志模板图进行缩放,得到对应的缩放后的预设虚拟角色数量标志模板图;
将各缩放后的预设虚拟角色数量标志模板图分别与当前图像帧中的第四预设区域图像进行模板匹配,得到各缩放后的预设虚拟角色数量标志模板图与第四预设区域图像之间的第五相关系数,第四预设区域图像中包含虚拟角色数量标志;
若各第五相关系数中最大的第五相关系数不小于第三预设阈值,则将最大的第五相关系数对应的预设虚拟角色数量标志模板图所指示的角色数量,确定为虚拟角色阵容中最大的角色数量;
基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,从至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果,包括:
基于预定的游戏执行方法、最大角色数量、各虚拟角色的位置信息、身份信息和虚拟装备信息,从至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果。
其中,在当前图像帧中的固定区域(即第四预设区域)包含有虚拟角色数量标志,可以将该固定区域从当前图像帧中裁剪出来,该固定区域的图像即为地第四预设区域图像,该虚拟角色数量标志所指示的角色数量即为玩家当前能够出战的虚拟角色阵容中的最大的角色数量。举例来说,如图13所示,第四预设区域图像位于当前图像帧的左下角,其中包含有虚拟角色数量标志1301,其指示的数字为“5”,那么对应的最大的角色数量即为5个。
具体地,该多尺度模板匹配过程与前文非首次进行对局状态检测时的模板匹配方案一致,同样采用目标模板匹配系数进行模板匹配。区别之处在于这里的模板图包括多个,即多个不同的预设虚拟角色数量标志模板图,且每个预设虚拟角色数量标志模板图对应一个角色数量。
在本申请的一种可选实施例中,该方法还可以包括:
对于每一虚拟角色,基于虚拟角色的位置信息获取包含虚拟角色的属性标志的第五预设区域图像;
基于目标模板匹配系数,对至少两个预设虚拟角色属性标志模板图进行缩放,得到对应的缩放后的预设虚拟角色属性标志模板图;
将各缩放后的预设虚拟角色属性标志模板图分别与第五预设区域图像进行模板匹配,得到各缩放后的预设虚拟角色属性标志模板图与第五预设区域图像之间的第六相关系数;
若各第六相关系数中最大的第六相关系数不小于第四预设阈值,则获取第五预设区域图像中的虚拟角色属性标志的图像,并获取虚拟角色属性标志的图像中包含第二指定颜色的像素的第二像素数量;
若第二像素数量不小于第二像素数量阈值,则将最大第六相关系数对应的预设虚拟角色属性标志模板图所指示的角色属性,确定为虚拟角色的角色属性;
基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,从至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果,包括:
基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息、虚拟装备信息和角色属性,从至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果。
其中,在获取了各虚拟角色的位置信息后,即可获取虚拟角色所处区域对应的图像,该图像中包含有虚拟角色的虚拟角色属性标志,该虚拟角色属性标志能够指示虚拟角色的角色属性。该虚拟角色属性标志位于该图像的固定区域(即第五预设区域),可以将该固定区域从虚拟角色所处区域中裁剪出来,该固定区域对应的图像即第五预设区域图像。举例来说,如图14所示,在第五预设区域图像中包含有虚拟角色属性标志1401,该虚拟角色属性标志1401指示对应的角色属性为“三星”。由图中还可以获知,第一预设区域图像中包含有三种虚拟装备标志,分别指示该虚拟角色携带的装备包括:甲、乙和丙。
具体地,该多尺度模板匹配过程与前文中进行备战状态检测时的模板匹配一致,都是采用目标模板匹配系数进行模板匹配,并对匹配到的虚拟角色属性标志的图像进行颜色数量检测。区别之处在于,这里的模板图包括多个,不同的预设虚拟角色属性标志模板图指示不同的角色属性。
需要说明的是,前文所述“第一预设阈值”、“第二预设阈值”、“第三预设阈值”以及“第四预设阈值”都是预先设定的用于衡量模板匹配得到的相关系数大小的阈值,这些阈值都可以根据实际需求进行设定。
下面再通过一个具体示例对本申请实施例方案的具体应用进行详细说明,如图15所示,某一个正在运行的自走棋游戏,在游戏处于备战状态时,在游戏画面的右上角会显示悬浮界面1501,该界面中显示有根据本申请实施例提供的方法得到的当前虚拟角色阵容的组成和战力值、两个推荐虚拟角色阵容的组成和战力值,玩家可以根据悬浮界面1501显示的内容辅助选取最终用于出战的虚拟角色阵容。另外,本申请实施例中在获取了玩家所拥有的各个虚拟角色的虚拟装备信息之后,还可以根据预定的游戏运行方法获取各虚拟角色的虚拟装备合成策略。如图16所示,当玩家点击悬浮界面1501中的任一虚拟角色对应的头像图标时,则会显示该虚拟角色对应的虚拟装备合成策略。
图17为本申请实施例提供的一种游戏战力评估装置的结构框图,如图17所示,该装置1700可以包括:目标检测模块1701、目标检测模块1702和战力评估结果获取模块1703,其中:
目标检测模块1701用于响应于游戏运行状态为备战状态,对游戏的玩家界面对应的当前图像帧进行目标检测,获取游戏中的至少一个虚拟角色的位置信息和身份信息;
目标识别模块1702用于对于至少一个虚拟角色中的每一虚拟角色,基于虚拟角色的位置信息获取包含虚拟角色的装备标志的第一预设区域图像,并对第一预设区域图像进行目标识别,获取虚拟角色的虚拟装备信息;
战力评估结果获取模块1703基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,从至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果,并确定当前虚拟角色阵容的战力评估结果。
本申请提供的方案,通过响应于游戏的运行状态为备战状态,在备战阶段,对玩家界面的当前图像帧进行目标检测获取游戏画面中各虚拟角色的位置信息和身份信息,然后通过对虚拟角色所在区域的预设区域进行目标识别获取各虚拟角色的装备信息,最后基于预定的游戏运行方法,利用在备战阶段获取的各虚拟角色的位置信息、身份信息和虚拟装备信息,确定出多个推荐虚拟角色阵容和对应的战力评估结果。由于该方案是在备战阶段通过目标检测和目标识别获取各虚拟角色的位置信息、身份信息和虚拟装备信息,从而能够准确的对不同的虚拟角色阵容进行战力评估,进而使得玩家能够准确的选取用于出战的虚拟角色阵容,降低对战失败率,提高游戏体验。
在本申请的一种可选实施例中,目标检测模块具体用于:
将当前图像帧输入预设目标检测模型,通过预设目标检测模型中的特征金字塔结构对当前图像帧进行特征提取,得到特征金字塔结构的各层对应的第一特征图;
按自顶向下的顺序,依次将上层的第一特征图经上采样后与下层的第一特征图基于通道维度进行拼接,得到各层对应第二特征图,将最底层的第二特征图经下采样后分别与上一层的第一特征图和第二特征图基于通道维度进行拼接,并将拼接得到的两个特征图按通道进行像素融合得到对应的第三特征图;
基于第三特征图获取至少一个预测框,并基于各预测框所携带的预测置信度、位置信息和各预测框内的虚拟角色的身份信息,确定各虚拟角色的位置信息和身份信息,每个预测框对应一个虚拟角色。
在本申请的一种可选实施例中,目标检测模块进一步用于:
对于携带有相同身份信息的至少两个预测框,采用预设非极大值抑制NMS方式确定身份信息对应的虚拟角色的至少一个目标预测框,预设NMS方式中对与最大预测置信度的预测框之间距离交并比DIoU(Distance-IoU)值不小于第一预设交并比IoU的预测框进行抑制;
将各目标预测框所携带的位置信息和身份信息,确定为各目标预测框内的虚拟角色的位置信息和身份信息。
在本申请的一种可选实施例中,该装置还包括模型训练模块,包括:
初始训练样本集获取子模块,用于获取初始训练样本集,初始训练样本集中的初始样本图像标注有检测框,检测框携带有检测框内的虚拟角色的位置信息和身份信息;
训练样本集获取子模块,用于通过马赛克增强方式或填鸭增强方式对初始训练样本集进行扩充,得到训练样本集;
模型训练子模块,用于利用训练样本集对初始目标检测模型进行训练,得到预设目标检测模型。
在本申请的一种可选实施例中,训练样本集获取子模块具体用于:
从初始训练样本集中获取至少两个初始样本图像,并对各初始样本图像进行缩放或裁剪后拼接得到拼接后的图像,且拼接后的图像的尺寸与初始样本图像相同;
基于拼接后的图像的顶点位置,修改各检测框携带的位置信息,得到对应的新的样本图像。
在本申请的一种可选实施例中,训练样本集获取子模块具体用于:
从初始训练样本集中各初始样本图像中,获取至少两个携带有不同身份信息的检测框,并获取游戏的至少一个背景图像帧;
将各检测框与各背景图像帧随机进行融合,得到多个新的样本图像。
在本申请的一种可选实施例中,训练样本集获取子模块进一步用于:
对于每一检测框,将检测框与任一背景图像帧进行融合时,基于检测框对应的初始样本图像的最长边与任一背景图像帧的最长边之间的比值,确定检测框在对应的新的样本图像中对应的位置信息,并基于预设权重系数,对检测框的像素值和任一背景图像帧的像素值中相应的像素值进行加权,得到检测框在对应的新的样本图像中对应的像素值;
基于检测框在对应的新的样本图像中对应的位置信息和像素值,对检测框和任一背景图像帧进行融合,得到对应的新的样本图像。
在本申请的一种可选实施例中,模型训练子模块具体用于:
对于训练样本集中的每一样本图像,将样本图像输入初始目标检测模型得到至少一个预测框,并获取携带有相同身份信息的各预测框与对应的检测框之间的完全交并比CIoU损失值,预测框携带有位置信息和预测框内的虚拟角色的身份信息;
分别基于各样本图像对应的CIoU损失值对初始目标检测模型的模型参数进行调整,直至CIoU损失值不大于第二预设IoU阈值,则得到预设目标检测模型。
在本申请的一种可选实施例中,目标识别模块具体用于:
将第一预设区域图像输入预设目标识别模型,在至少一个特征提取阶段,将初始特征图分为通道数相同的第一特征子图和第二特征子图,对第一特征子图进行预设卷积处理得到与第一特征子图通道数相同的第三特征子图,并将第二特征子图和第三特征子图基于通道维度进行拼接,得到对应的特征图;
基于各阶段对应的特征图,获取第一预设区域图像中所包含的虚拟装备识别结果,并将虚拟装备识别结果确定为虚拟角色的虚拟装备信息。
在本申请的一种可选实施例中,该装置包括备战状态确定模块,包括:
对局状态确定子模块,用于基于至少两个预设模板匹配系数,对预设对局标志模板图和当前图像帧中的第二预设区域图像进行模板匹配,得到第一模板匹配结果、目标模板匹配系数,以及对局标志在第二预设区域图像内的第一目标位置信息,第二预设区域图像中包含有对局标志,目标模板匹配系数为与当前图像帧最匹配的预设模板匹配系数;
第二模板匹配结果获取子模块,用于若第一模板匹配结果指示游戏的运行状态为对局状态,则基于目标模板匹配系数,对预设备战标志模板图和当前图像帧中的第三预设区域图像进行模板匹配,得到第二模板匹配结果,第三预设区域图像中包含有备战标志;
备战状态确定子模块,用于基于第二模板匹配结果确定游戏的运行状态是否为备战状态。
在本申请的一种可选实施例中,若为首次确定游戏的运行状态是否为对局状态,则对局状态确定子模块具体用于:
基于至少两个预设模板匹配系数分别对预设对局标志模板图进行缩放;
将各缩放后的预设对局标志模板图分别与第二预设区域图像进行模板匹配,得到各缩放后的预设对局标志模板图与第二预设区域图像之间的第一相关系数;
若各第一相关系数中最大的第一相关系数不小于第一预设阈值,则确定游戏的运行状态为对局状态,并将最大的第一相关系数对应的预设模板匹配系数作为目标模板匹配系数进行预存,将最大的第一相关系数对应的对局标志在第二预设区域内的位置信息作为第一目标位置信息进行预存。
在本申请的一种可选实施例中,若不为首次确定游戏的运行状态是否为对局状态,则对局状态确定子模块具体用于:
获取上一次确定游戏的运行状态是否为对局状态时预存的目标模板匹配系数和第一目标位置信息;
基于目标模板匹配系数对预设对局标志模板图进行缩放,得到缩放后的预设对局标志模板图;
将缩放后的预设对局标志模板图与第一目标位置信息对应的区域进行模板匹配,得到缩放后的预设对局标志模板图与第一目标位置信息对应的区域之间的第二相关系数;
若第二相关系数不小于第一预设阈值,则确定游戏的运行状态为对局状态。
在本申请的一种可选实施例中,对局状态确定子模块进一步用于:
若第二相关系数小于第一预设阈值,则将缩放后的预设对局标志模板图与第二预设区域图像进行模板匹配,得到缩放后的预设对局标志模板图与第二预设区域图像之间的第三相关系数;
若第三相关系数不小于第一预设阈值,则确定游戏的运行状态为对局状态,并将对应的对局标志在第二预设区域图像中的位置信息作为第二目标位置信息进行预存,删除第一目标位置信息。
在本申请的一种可选实施例中,第二模板匹配结果获取子模块具体用于:
基于目标模板匹配系数对预设备战标志模板图进行缩放,得到缩放后的预设备战标志模板图;
将缩放后的预设备战标志模板图与当前图像帧中的第三预设区域图像进行模板匹配,得到缩放后的与预设备战标志模板图与第三预设区域图像之间的第四相关系数;
备战状态确定子模块,具体用于:
若第四相关系数不小于第二预设阈值,则获取第三预设区域图像中的备战标志的图像,并获取备战标志的图像中包含指定颜色的像素的第一像素数量,若第一像素数量不小于第一像素数量阈值,则确定游戏的运行状态为备战状态。
在本申请的一种可选实施例中,该装置还包括最大的角色数量获取模块,用于:
基于目标模板匹配系数,对至少两个预设虚拟角色数量标志模板图进行缩放,得到对应的缩放后的预设虚拟角色数量标志模板图;
将各缩放后的预设虚拟角色数量标志模板图分别与当前图像帧中的第四预设区域图像进行模板匹配,得到各缩放后的预设虚拟角色数量标志模板图与第四预设区域图像之间的第五相关系数,第四预设区域图像中包含虚拟角色数量标志;
若各第五相关系数中最大的第五相关系数不小于第三预设阈值,则将最大的第五相关系数对应的预设虚拟角色数量标志模板图所指示的角色数量,确定为虚拟角色阵容中最大的角色数量;
战力评估结果获取模块具体用于:
基于预定的游戏执行方法、最大角色数量、各虚拟角色的位置信息、身份信息和虚拟装备信息,从至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果。
在本申请的一种可选实施例中,该装置还包括角色属性获取模块,用于:
对于每一虚拟角色,基于虚拟角色的位置信息获取包含虚拟角色的属性标志的第五预设区域图像;
基于目标模板匹配系数,对至少两个预设虚拟角色属性标志模板图进行缩放,得到对应的缩放后的预设虚拟角色属性标志模板图;
将各缩放后的预设虚拟角色属性标志模板图分别与第五预设区域图像进行模板匹配,得到各缩放后的预设虚拟角色属性标志模板图与第五预设区域图像之间的第六相关系数;
若各第六相关系数中最大的第六相关系数不小于第四预设阈值,则获取第五预设区域图像中的虚拟角色属性标志的图像,并获取虚拟角色属性标志的图像中包含第二指定颜色的像素的第二像素数量;
若第二像素数量不小于第二像素数量阈值,则将最大第六相关系数对应的预设虚拟角色属性标志模板图所指示的角色属性,确定为虚拟角色的角色属性;
战力评估结果获取模块具体用于:
基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息、虚拟装备信息和角色属性,从至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果。
在本申请的一种可选实施例中,战力评估结果获取模块进一步用于:
若当前图像帧的对战区域包含有至少一个虚拟角色,则基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,确定当前虚拟角色阵容的战力评估结果,当前虚拟角色阵容由位于对战区域的各虚拟角色组成。
下面参考图18,其示出了适于用来实现本申请实施例的电子设备(例如执行图2所示方法的终端设备或服务器)1800的结构示意图。本申请实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)、可穿戴设备等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图18示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
电子设备包括:存储器以及处理器,存储器用于存储执行上述各个方法实施例所述方法的程序;处理器被配置为执行存储器中存储的程序。其中,这里的处理器可以称为下文所述的处理装置1801,存储器可以包括下文中的只读存储器(ROM)1802、随机访问存储器(RAM)1803以及存储装置1808中的至少一项,具体如下所示:
如图18所示,电子设备1800可以包括处理装置(例如中央处理器、图形处理器等)1801,其可以根据存储在只读存储器(ROM)1802中的程序或者从存储装置1808加载到随机访问存储器(RAM)1803中的程序而执行各种适当的动作和处理。在RAM1803中,还存储有电子设备1800操作所需的各种程序和数据。处理装置1801、ROM 1802以及RAM1803通过总线1804彼此相连。输入/输出(I/O)接口1805也连接至总线1804。
通常,以下装置可以连接至I/O接口1805:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1806;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1807;包括例如磁带、硬盘等的存储装置1808;以及通信装置1809。通信装置1809可以允许电子设备1800与其他设备进行无线或有线通信以交换数据。虽然图18示出了具有各种装置的电子设备,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置1809从网络上被下载和安装,或者从存储装置1808被安装,或者从ROM 1802被安装。在该计算机程序被处理装置1801执行时,执行本申请实施例的方法中限定的上述功能。
需要说明的是,本申请上述的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:
响应于游戏运行状态为备战状态,对游戏的玩家界面对应的当前图像帧进行目标检测,获取游戏中的至少一个虚拟角色的位置信息和身份信息;对于至少一个虚拟角色中的每一虚拟角色,基于虚拟角色的位置信息获取包含虚拟角色的装备标志的第一预设区域图像,并对第一预设区域图像进行目标识别,获取虚拟角色的虚拟装备信息;基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,从至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块或单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块或单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一约束获取模块还可以被描述为“获取第一约束的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行时实现如下情况:
响应于游戏运行状态为备战状态,对游戏的玩家界面对应的当前图像帧进行目标检测,获取游戏中的至少一个虚拟角色的位置信息和身份信息;对于至少一个虚拟角色中的每一虚拟角色,基于虚拟角色的位置信息获取包含虚拟角色的装备标志的第一预设区域图像,并对第一预设区域图像进行目标识别,获取虚拟角色的虚拟装备信息;基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,从至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (20)
1.一种游戏战力评估方法,其特征在于,包括:
响应于所述游戏运行状态为备战状态,对所述游戏的玩家界面对应的当前图像帧进行目标检测,获取所述游戏中的至少一个虚拟角色的位置信息和身份信息;
对于所述至少一个虚拟角色中的每一虚拟角色,基于所述虚拟角色的位置信息获取包含所述虚拟角色的装备标志的第一预设区域图像,并对所述第一预设区域图像进行目标识别,获取所述虚拟角色的虚拟装备信息;
基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,从所述至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果。
2.根据权利要求1所述的方法,其特征在于,对所述当前图像帧进行目标检测,获取至少一个虚拟角色的位置信息和身份信息,包括:
将所述当前图像帧输入预设目标检测模型,通过所述预设目标检测模型中的特征金字塔结构对所述当前图像帧进行特征提取,得到所述特征金字塔结构的各层对应的第一特征图;
按自顶向下的顺序,依次将上层的第一特征图经上采样后与下层的第一特征图基于通道维度进行拼接,得到各层对应第二特征图,将最底层的第二特征图经下采样后分别与上一层的第一特征图和第二特征图基于通道维度进行拼接,并将拼接得到的两个特征图按通道进行像素融合得到对应的第三特征图;
基于所述第三特征图获取至少一个预测框,并基于各预测框所携带的预测置信度、位置信息和各预测框内的虚拟角色的身份信息,确定各虚拟角色的位置信息和身份信息,每个预测框对应一个虚拟角色。
3.根据权利要求2所述的方法,其特征在于,所述基于各预测框所携带的预测置信度、位置信息和各预测框内的虚拟角色的身份信息,确定各虚拟角色的位置信息和身份信息,包括:
对于携带有相同身份信息的至少两个预测框,采用预设非极大值抑制NMS方式确定所述身份信息对应的虚拟角色的至少一个目标预测框,所述预设NMS方式中对与最大预测置信度的预测框之间距离交并比DIoU值不小于第一预设交并比IoU的预测框进行抑制;
将各目标预测框所携带的位置信息和身份信息,确定为各目标预测框内的虚拟角色的位置信息和身份信息。
4.根据权利要求2所述的方法,其特征在于,所述预设目标检测模型通过以下方式训练得到:
获取初始训练样本集,所述初始训练样本集中的初始样本图像标注有检测框,所述检测框携带有所述检测框内的虚拟角色的位置信息和身份信息;
通过马赛克增强方式或填鸭增强方式对所述初始训练样本集进行扩充,得到训练样本集;
利用所述训练样本集对初始目标检测模型进行训练,得到所述预设目标检测模型。
5.根据权利要求4所述的方法,其特征在于,通过马赛克增强方式对初始训练样本集进行扩充,包括:
从所述初始训练样本集中获取至少两个初始样本图像,并对各初始样本图像进行缩放或裁剪后拼接得到拼接后的图像,且所述拼接后的图像的尺寸与所述初始样本图像相同;
基于所述拼接后的图像的顶点位置,修改各检测框携带的位置信息,得到对应的新的样本图像。
6.根据权利要求4所述的方法,其特征在于,通过填鸭增强方式对初始训练样本集进行扩充,包括:
从所述初始训练样本集中各初始样本图像中,获取至少两个携带有不同身份信息的检测框,并获取所述游戏的至少一个背景图像帧;
将各检测框与各背景图像帧随机进行融合,得到多个新的样本图像。
7.根据权利要求6所述的方法,其特征在于,所述将各检测框与各背景图像帧进行随机融合,得到多个新的样本图像,包括:
对于每一检测框,将所述检测框与任一背景图像帧进行融合时,基于所述检测框对应的初始样本图像的最长边与所述任一背景图像帧的最长边之间的比值,确定所述检测框在对应的新的样本图像中对应的位置信息,并基于预设权重系数,对所述检测框的像素值和所述任一背景图像帧的像素值中相应的像素值进行加权,得到所述检测框在对应的新的样本图像中对应的像素值;
基于所述检测框在对应的新的样本图像中对应的位置信息和像素值,对所述检测框和所述任一背景图像帧进行融合,得到对应的新的样本图像。
8.根据权利要求4所述的方法,其特征在于,所述利用所述训练样本集对初始目标检测模型进行训练,得到所述预设目标检测模型,包括:
对于所述训练样本集中的每一样本图像,将所述样本图像输入所述初始目标检测模型得到至少一个预测框,并获取携带有相同身份信息的各预测框与对应的检测框之间的完全交并比CIoU损失值,所述预测框携带有位置信息和所述预测框内的虚拟角色的身份信息;
分别基于各样本图像对应的CIoU损失值对所述初始目标检测模型的模型参数进行调整,直至所述CIoU损失值不大于第二预设IoU阈值,则得到所述预设目标检测模型。
9.根据权利要求1所述的方法,其特征在于,所述对所述第一预设区域图像进行目标识别,确定所述虚拟角色的虚拟装备信息,包括:
将所述第一预设区域图像输入预设目标识别模型,在至少一个特征提取阶段,将初始特征图分为通道数相同的第一特征子图和第二特征子图,对所述第一特征子图进行预设卷积处理得到与所述第一特征子图通道数相同的第三特征子图,并将所述第二特征子图和第三特征子图基于通道维度进行拼接,得到对应的特征图;
基于各阶段对应的所述特征图,获取所述第一预设区域图像中所包含的虚拟装备识别结果,并将所述虚拟装备识别结果确定为所述虚拟角色的虚拟装备信息。
10.根据权利要求1所述的方法,其特征在于,通过如下方式确定所述游戏的运行状态为备战状态:
基于至少两个预设模板匹配系数,对预设对局标志模板图和所述当前图像帧中的第二预设区域图像进行模板匹配,得到第一模板匹配结果、目标模板匹配系数,以及对局标志在所述第二预设区域图像内的第一目标位置信息,所述第二预设区域图像中包含有所述对局标志,所述目标模板匹配系数为与所述当前图像帧最匹配的预设模板匹配系数;
若所述第一模板匹配结果指示所述游戏的运行状态为对局状态,则基于所述目标模板匹配系数,对预设备战标志模板图和所述当前图像帧中的第三预设区域图像进行模板匹配,得到第二模板匹配结果,所述第三预设区域图像中包含有所述备战标志;
基于所述第二模板匹配结果确定所述游戏的运行状态是否为备战状态。
11.根据权利要求10所述的方法,其特征在于,若为首次确定所述游戏的运行状态是否为对局状态,则基于至少两个预设模板匹配系数,对预设对局标志模板图和所述当前图像帧中的第二预设区域图像进行模板匹配,得到第一模板匹配结果、目标模板匹配系数,以及对局标志在所述第二预设区域内的第一目标位置信息,包括:
基于至少两个预设模板匹配系数分别对所述预设对局标志模板图进行缩放;
将各缩放后的预设对局标志模板图分别与所述第二预设区域图像进行模板匹配,得到各缩放后的预设对局标志模板图与所述第二预设区域图像之间的第一相关系数;
若各第一相关系数中最大的第一相关系数不小于第一预设阈值,则确定所述游戏的运行状态为对局状态,并将所述最大的第一相关系数对应的预设模板匹配系数作为所述目标模板匹配系数进行预存,将所述最大的第一相关系数对应的所述对局标志在所述第二预设区域内的位置信息作为第一目标位置信息进行预存。
12.根据权利要求10所述的方法,其特征在于,若不为首次确定所述游戏的运行状态是否为对局状态,则基于至少两个预设模板匹配系数,对预设对局标志模板图和所述当前图像帧中的第二预设区域图像进行模板匹配,得到第一模板匹配结果、目标模板匹配系数,以及对局标志在所述第二预设区域内的第一目标位置信息,包括:
获取上一次确定所述游戏的运行状态是否为对局状态时预存的所述目标模板匹配系数和所述第一目标位置信息;
基于所述目标模板匹配系数对预设对局标志模板图进行缩放,得到缩放后的预设对局标志模板图;
将所述缩放后的预设对局标志模板图与所述第一目标位置信息对应的区域进行模板匹配,得到所述缩放后的预设对局标志模板图与所述第一目标位置信息对应的区域之间的第二相关系数;
若所述第二相关系数不小于第一预设阈值,则确定所述游戏的运行状态为对局状态。
13.根据权利要求12所述的方法,其特征在于,所述方法还包括:
若所述第二相关系数小于所述第一预设阈值,则将所述缩放后的预设对局标志模板图与所述第二预设区域图像进行模板匹配,得到所述缩放后的预设对局标志模板图与所述第二预设区域图像之间的第三相关系数;
若所述第三相关系数不小于所述第一预设阈值,则确定所述游戏的运行状态为对局状态,并将对应的对局标志在所述第二预设区域图像中的位置信息作为第二目标位置信息进行预存,删除所述第一目标位置信息。
14.根据权利要求10所述的方法,其特征在于,所述基于所述目标模板匹配系数,对预设备战标志模板图和所述当前图像帧中的第三预设区域进行模板匹配,得到第二模板匹配结果,包括
基于所述目标模板匹配系数对所述预设备战标志模板图进行缩放,得到缩放后的预设备战标志模板图;
将所述缩放后的预设备战标志模板图与所述当前图像帧中的第三预设区域图像进行模板匹配,得到所述缩放后的与预设备战标志模板图与所述第三预设区域图像之间的第四相关系数;
所述基于所述第二模板匹配结果确定所述游戏的运行状态是否为备战状态,包括:
若所述第四相关系数不小于第二预设阈值,则获取所述第三预设区域图像中的备战标志的图像,并获取所述备战标志的图像中包含指定颜色的像素的第一像素数量,若所述第一像素数量不小于第一像素数量阈值,则确定所述游戏的运行状态为备战状态。
15.根据权利要求10所述的方法,其特征在于,所述方法还包括:
基于所述目标模板匹配系数,对至少两个预设虚拟角色数量标志模板图进行缩放,得到对应的缩放后的预设虚拟角色数量标志模板图;
将各缩放后的预设虚拟角色数量标志模板图分别与所述当前图像帧中的第四预设区域图像进行模板匹配,得到各缩放后的预设虚拟角色数量标志模板图与所述第四预设区域图像之间的第五相关系数,所述第四预设区域图像中包含所述虚拟角色数量标志;
若各第五相关系数中最大的第五相关系数不小于第三预设阈值,则将所述最大的第五相关系数对应的预设虚拟角色数量标志模板图所指示的角色数量,确定为虚拟角色阵容中最大的角色数量;
所述基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,从所述至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果,包括:
基于所述预定的游戏执行方法、所述最大角色数量、各虚拟角色的位置信息、身份信息和虚拟装备信息,从所述至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果。
16.根据权利要求10所述的方法,其特征在于,所述方法还包括:
对于每一虚拟角色,基于所述虚拟角色的位置信息获取包含所述虚拟角色的属性标志的第五预设区域图像;
基于所述目标模板匹配系数,对至少两个预设虚拟角色属性标志模板图进行缩放,得到对应的缩放后的预设虚拟角色属性标志模板图;
将各缩放后的预设虚拟角色属性标志模板图分别与所述第五预设区域图像进行模板匹配,得到各缩放后的预设虚拟角色属性标志模板图与所述第五预设区域图像之间的第六相关系数;
若各第六相关系数中最大的第六相关系数不小于第四预设阈值,则获取所述第五预设区域图像中的虚拟角色属性标志的图像,并获取所述虚拟角色属性标志的图像中包含第二指定颜色的像素的第二像素数量;
若所述第二像素数量不小于第二像素数量阈值,则将所述最大第六相关系数对应的预设虚拟角色属性标志模板图所指示的角色属性,确定为所述虚拟角色的角色属性;
所述基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,从所述至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果,包括:
基于所述预定的游戏执行方法、各虚拟角色的位置信息、身份信息、虚拟装备信息和角色属性,从所述至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果。
17.根据权利要求1至16中任一项所述的方法,其特征在于,所述方法还包括:
若所述当前图像帧的对战区域包含有至少一个虚拟角色,则基于所述预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,确定当前虚拟角色阵容的战力评估结果,所述当前虚拟角色阵容由位于所述对战区域的各虚拟角色组成。
18.一种游戏战力评估装置,其特征在于,包括:
目标检测模块,用于响应于所述游戏运行状态为备战状态,对游戏的玩家界面对应的当前图像帧进行目标检测,获取所述游戏中的至少一个虚拟角色的位置信息和身份信息;
目标识别模块,用于对于所述至少一个虚拟角色中的每一虚拟角色,基于所述虚拟角色的位置信息获取包含所述虚拟角色的装备标志的第一预设区域图像,并对所述第一预设区域图像进行目标识别,获取所述虚拟角色的虚拟装备信息;
战力评估结果获取模块,基于预定的游戏执行方法、各虚拟角色的位置信息、身份信息和虚拟装备信息,从所述至少一个虚拟角色中确定出至少一个推荐虚拟角色阵容和各推荐虚拟角色阵容的战力评估结果,并确定当前虚拟角色阵容的战力评估结果。
19.一种电子设备,其特征在于,包括存储器和处理器;
所述存储器中存储有计算机程序;
所述处理器,用于执行所述计算机程序以实现权利要求1至17中任一项所述的方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至17中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211158147.4A CN115228092B (zh) | 2022-09-22 | 2022-09-22 | 游戏战力评估方法、装置以及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211158147.4A CN115228092B (zh) | 2022-09-22 | 2022-09-22 | 游戏战力评估方法、装置以及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115228092A true CN115228092A (zh) | 2022-10-25 |
CN115228092B CN115228092B (zh) | 2022-12-23 |
Family
ID=83667345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211158147.4A Active CN115228092B (zh) | 2022-09-22 | 2022-09-22 | 游戏战力评估方法、装置以及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115228092B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117138355A (zh) * | 2023-09-08 | 2023-12-01 | 深圳魔力数娱网络科技有限公司 | 一种虚拟对象的对象要素切换方法和系统 |
CN117138355B (zh) * | 2023-09-08 | 2024-05-31 | 深圳魔力数娱网络科技有限公司 | 一种虚拟对象的对象要素切换方法和系统 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130051616A1 (en) * | 2011-08-31 | 2013-02-28 | Nintendo Co., Ltd. | Information processing program, information processing system, information processing apparatus, and information processing method, utilizing augmented reality technique |
CN108211363A (zh) * | 2018-02-08 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 一种信息处理方法及装置 |
CN110025956A (zh) * | 2019-04-24 | 2019-07-19 | 杭州威佩网络科技有限公司 | 一种电竞数据推送方法、装置及服务器 |
CN111282274A (zh) * | 2020-02-14 | 2020-06-16 | 腾讯科技(深圳)有限公司 | 虚拟对象的布局方法、装置、终端及存储介质 |
CN111617478A (zh) * | 2020-05-29 | 2020-09-04 | 腾讯科技(深圳)有限公司 | 游戏阵容强度的预测方法、装置、电子设备及存储介质 |
CN112734747A (zh) * | 2021-01-21 | 2021-04-30 | 腾讯科技(深圳)有限公司 | 一种目标检测方法、装置、电子设备和存储介质 |
CN112843737A (zh) * | 2021-01-28 | 2021-05-28 | 腾讯科技(深圳)有限公司 | 虚拟对象的显示方法、装置、终端及存储介质 |
KR102267330B1 (ko) * | 2020-11-24 | 2021-06-22 | (유)에이스톰 | 실제 지도를 바탕으로 한 GPS (Global Positioning System) 기반의 건물 점령 게임을 제공하는 방법 및 이를 이용한 서버 |
EP3852008A2 (en) * | 2020-12-11 | 2021-07-21 | Beijing Baidu Netcom Science and Technology Co., Ltd. | Image detection method and apparatus, device, storage medium and computer program product |
CN113591872A (zh) * | 2020-04-30 | 2021-11-02 | 华为技术有限公司 | 一种数据处理系统、物体检测方法及其装置 |
CN113730906A (zh) * | 2021-09-14 | 2021-12-03 | 腾讯科技(深圳)有限公司 | 虚拟对局的控制方法、装置、设备、介质及计算机产品 |
EP3928222A1 (en) * | 2019-02-19 | 2021-12-29 | Mursion, Inc. | Rating interface for behavioral impact assessment during interpersonal interactions |
CN114067431A (zh) * | 2021-11-05 | 2022-02-18 | 创优数字科技(广东)有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN114140732A (zh) * | 2021-12-09 | 2022-03-04 | 安徽大学 | 面向小样本条件下的消防火源检测方法、装置及存储介质 |
CN114419588A (zh) * | 2022-01-17 | 2022-04-29 | 杭州研极微电子有限公司 | 一种车辆检测方法、装置、边缘设备和存储介质 |
CN114602182A (zh) * | 2022-02-10 | 2022-06-10 | 腾讯科技(深圳)有限公司 | 一种游戏信息处理方法、装置和计算机设备 |
-
2022
- 2022-09-22 CN CN202211158147.4A patent/CN115228092B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130051616A1 (en) * | 2011-08-31 | 2013-02-28 | Nintendo Co., Ltd. | Information processing program, information processing system, information processing apparatus, and information processing method, utilizing augmented reality technique |
CN108211363A (zh) * | 2018-02-08 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 一种信息处理方法及装置 |
EP3928222A1 (en) * | 2019-02-19 | 2021-12-29 | Mursion, Inc. | Rating interface for behavioral impact assessment during interpersonal interactions |
CN110025956A (zh) * | 2019-04-24 | 2019-07-19 | 杭州威佩网络科技有限公司 | 一种电竞数据推送方法、装置及服务器 |
CN111282274A (zh) * | 2020-02-14 | 2020-06-16 | 腾讯科技(深圳)有限公司 | 虚拟对象的布局方法、装置、终端及存储介质 |
CN113591872A (zh) * | 2020-04-30 | 2021-11-02 | 华为技术有限公司 | 一种数据处理系统、物体检测方法及其装置 |
CN111617478A (zh) * | 2020-05-29 | 2020-09-04 | 腾讯科技(深圳)有限公司 | 游戏阵容强度的预测方法、装置、电子设备及存储介质 |
KR102267330B1 (ko) * | 2020-11-24 | 2021-06-22 | (유)에이스톰 | 실제 지도를 바탕으로 한 GPS (Global Positioning System) 기반의 건물 점령 게임을 제공하는 방법 및 이를 이용한 서버 |
EP3852008A2 (en) * | 2020-12-11 | 2021-07-21 | Beijing Baidu Netcom Science and Technology Co., Ltd. | Image detection method and apparatus, device, storage medium and computer program product |
CN112734747A (zh) * | 2021-01-21 | 2021-04-30 | 腾讯科技(深圳)有限公司 | 一种目标检测方法、装置、电子设备和存储介质 |
CN112843737A (zh) * | 2021-01-28 | 2021-05-28 | 腾讯科技(深圳)有限公司 | 虚拟对象的显示方法、装置、终端及存储介质 |
CN113730906A (zh) * | 2021-09-14 | 2021-12-03 | 腾讯科技(深圳)有限公司 | 虚拟对局的控制方法、装置、设备、介质及计算机产品 |
CN114067431A (zh) * | 2021-11-05 | 2022-02-18 | 创优数字科技(广东)有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN114140732A (zh) * | 2021-12-09 | 2022-03-04 | 安徽大学 | 面向小样本条件下的消防火源检测方法、装置及存储介质 |
CN114419588A (zh) * | 2022-01-17 | 2022-04-29 | 杭州研极微电子有限公司 | 一种车辆检测方法、装置、边缘设备和存储介质 |
CN114602182A (zh) * | 2022-02-10 | 2022-06-10 | 腾讯科技(深圳)有限公司 | 一种游戏信息处理方法、装置和计算机设备 |
Non-Patent Citations (2)
Title |
---|
HZM326: ""模板匹配(Match Template)"", 《CSDN博客》 * |
连理O: ""目标检测(一):边界框、锚框、多尺度目标检测"", 《CSDN博客》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117138355A (zh) * | 2023-09-08 | 2023-12-01 | 深圳魔力数娱网络科技有限公司 | 一种虚拟对象的对象要素切换方法和系统 |
CN117138355B (zh) * | 2023-09-08 | 2024-05-31 | 深圳魔力数娱网络科技有限公司 | 一种虚拟对象的对象要素切换方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115228092B (zh) | 2022-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
CN106650630B (zh) | 一种目标跟踪方法及电子设备 | |
WO2017206400A1 (zh) | 图像处理方法、装置及电子设备 | |
CN110246181B (zh) | 基于锚点的姿态估计模型训练方法、姿态估计方法和系统 | |
CN112749609B (zh) | 人体图像分割方法、装置、计算机设备及存储介质 | |
CN111091166B (zh) | 图像处理模型训练方法、图像处理方法、设备及存储介质 | |
CN110826411B (zh) | 一种基于无人机图像的车辆目标快速识别方法 | |
CN112221143B (zh) | 一种控制虚拟对象移动的方法、装置及存储介质 | |
CN114511041B (zh) | 模型训练方法、图像处理方法、装置、设备和存储介质 | |
CN109670517A (zh) | 目标检测方法、装置、电子设备和目标检测模型 | |
CN111325107A (zh) | 检测模型训练方法、装置、电子设备和可读存储介质 | |
JP2023131117A (ja) | 結合感知モデルのトレーニング、結合感知方法、装置、機器および媒体 | |
CN113411550A (zh) | 视频上色方法、装置、设备及存储介质 | |
CN112819008B (zh) | 实例检测网络的优化方法、装置、介质及电子设备 | |
US20230298324A1 (en) | Image acquisition model training method and apparatus, image detection method and apparatus, and device | |
CN115228092B (zh) | 游戏战力评估方法、装置以及计算机可读存储介质 | |
CN115410173B (zh) | 多模态融合的高精地图要素识别方法、装置、设备及介质 | |
CN113628349B (zh) | 基于场景内容自适应的ar导航方法、设备及可读存储介质 | |
CN113496225B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN112862840B (zh) | 图像分割方法、装置、设备及介质 | |
CN115187497A (zh) | 吸烟检测方法、系统、设备及介质 | |
CN110866508B (zh) | 识别目标对象的形态的方法、装置、终端及存储介质 | |
CN112949571A (zh) | 识别年龄的方法、年龄识别模型的训练方法和装置 | |
CN114748872B (zh) | 一种基于信息融合的游戏渲染更新方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40076007 Country of ref document: HK |