CN113853243A - 游戏道具分类及神经网络的训练方法和装置 - Google Patents

游戏道具分类及神经网络的训练方法和装置 Download PDF

Info

Publication number
CN113853243A
CN113853243A CN202180002742.6A CN202180002742A CN113853243A CN 113853243 A CN113853243 A CN 113853243A CN 202180002742 A CN202180002742 A CN 202180002742A CN 113853243 A CN113853243 A CN 113853243A
Authority
CN
China
Prior art keywords
network
initial
sample image
classification
game
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180002742.6A
Other languages
English (en)
Inventor
马佳彬
陈景焕
刘春亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime International Pte Ltd
Original Assignee
Sensetime International Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime International Pte Ltd filed Critical Sensetime International Pte Ltd
Priority claimed from PCT/IB2021/058828 external-priority patent/WO2023047173A1/en
Publication of CN113853243A publication Critical patent/CN113853243A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5526—Game data structure

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例提供一种游戏道具分类及神经网络的训练方法和装置，通过对第一初始分类网络和第二初始分类网络进行联合训练，得到第一目标分类网络与第二目标分类网络，由于第一初始分类网络与第二初始分类网络共用同一个特征提取网络，所述第一初始分类网络用于基于所述初始特征提取网络从输入图像中提取的特征对所述输入图像中的游戏道具进行分类；且第二初始分类网络能够基于所述特征提取网络从输入图像中提取的特征对所述输入图像中的游戏道具所处的游戏环境进行分类。

Description

游戏道具分类及神经网络的训练方法和装置
相关申请的交叉引用
本公开要求于2021年9月26日提交的、申请号为10202110639U的新加坡专利申请的优先权，该新加坡专利申请的全部内容以引用的方式并入本文中。
技术领域
本公开涉及计算机视觉技术领域，尤其涉及游戏道具分类及神经网络的训练方法和装置。
背景技术
在游戏场景下，需要对游戏道具进行分类。上述过程一般通过神经网络来实现。然而，游戏道具往往有很多的类别，且实际的游戏区域中灯光、游戏区域的背景、阴影等游戏环境往往也是复杂多变的。为了训练出较为鲁棒的神经网络，需要同时考虑上述两个因素，这样一来，用于训练神经网络的样本图像就需要包括多个不同游戏环境下、多个不同类别的游戏道具，样本图像的采集和标注复杂度较高。
发明内容
本公开提供一种游戏道具分类及神经网络的训练方法和装置。
根据本公开实施例的第一方面，提供一种游戏道具分类方法，所述方法包括：将包括目标游戏道具的待处理图像输入预先训练的第一目标分类网络；获取所述第一目标分类网络输出的所述目标游戏道具的类别；所述第一目标分类网络与第二目标分类网络通过对第一初始分类网络和第二初始分类网络进行联合训练得到，且所述第一初始分类网络与第二初始分类网络共用同一个初始特征提取网络；所述第一初始分类网络用于基于所述初始特征提取网络从输入图像中提取的特征对所述输入图像中的游戏道具进行分类；所述第二初始分类网络用于基于所述初始特征提取网络从输入图像中提取的特征对所述输入图像中的游戏道具所处的游戏环境进行分类。
在一些实施例中，所述第一初始分类网络基于道具分类损失进行训练，所述道具分类损失为所述第一初始分类网络基于第一样本图像的特征对所述第一样本图像中的游戏道具进行分类的分类损失；所述第二初始分类网络基于环境分类损失进行训练，所述环境分类损失为所述第二初始分类网络基于所述第一样本图像以及第二样本图像的特征对所述第一样本图像以及所述第二样本图像中的游戏道具所处的游戏环境进行分类的分类损失；所述第一样本图像的特征和所述第二样本图像的特征均通过所述初始特征提取网络提取得到。
在一些实施例中，所述第一初始分类网络包括初始特征提取网络，用于对输入图像进行特征提取；以及初始道具分类网络，用于基于所述初始特征提取网络提取的特征对输入图像中的游戏道具进行分类；所述第二初始分类网络包括所述初始特征提取网络，以及初始环境分类网络，用于基于所述初始特征提取网络提取的特征，对输入图像中游戏道具所处的游戏环境进行分类；所述方法还包括：基于所述第一样本图像以及所述道具分类损失，对所述初始特征提取网络和所述初始道具分类网络进行第一训练，得到包括中间特征提取网络和目标道具分类网络的中间分类网络；基于所述第一样本图像、所述第二样本图像以及所述环境分类损失，对所述中间特征提取网络和初始环境分类网络进行第二训练，得到目标特征提取网络和目标环境分类网络，所述第一目标分类网络包括所述目标特征提取网络和所述目标道具分类网络。
在一些实施例中，所述环境分类损失包括第一损失和第二损失，所述第一损失用于表征所述初始环境分类网络预测的游戏环境的类别与所述第一样本图像以及所述第二样本图像中游戏道具所处的游戏环境的真实类别之间的差异，所述第二损失用于表征所述初始环境分类网络对所述中间特征提取网络提取出的特征所属的游戏环境的类别的分辨能力。
在一些实施例中，所述基于所述第一样本图像、所述第二样本图像以及所述环境分类损失，对所述中间特征提取网络和初始环境分类网络进行第二训练，得到目标特征提取网络和目标环境分类网络，包括：固定所述中间特征提取网络，并基于所述第一损失、所述第一样本图像和所述第二样本图像对所述初始环境分类网络进行训练，得到所述目标环境分类网络；固定所述目标环境分类网络，并基于所述第二损失、所述第一样本图像和所述第二样本图像对所述中间特征提取网络进行训练，得到所述目标特征提取网络。
在一些实施例中，所述第一样本图像和所述第二样本图像基于预设条件从游戏图像中筛选得到，所述游戏图像通过对游戏区域成像得到，所述预设条件包括：从所述游戏图像中检测到所述游戏区域内发生与游戏道具相关的预设事件。
在一些实施例中，所述方法还包括：获取图像集合，所述图像集合中包括第一图像子集和第二图像子集，所述第一图像子集中的图像包括第一标签，所述第二图像子集中的图像不包括第一标签，所述第一标签用于表征游戏道具的类别；将所述第一图像子集中的图像的第二标签与所述第二图像子集中的图像的第二标签标注为不同的第二标签，所述第二标签用于表征游戏道具所处的游戏环境的类别；将所述第一图像子集中的图像确定为所述第一样本图像，将所述第二图像子集中的图像确定为所述第二样本图像。
根据本公开实施例的第二方面，提供一种神经网络的训练方法，用于对第一初始分类网络进行训练，得到第一目标分类网络，所述第一目标分类网络用于对游戏道具进行分类；所述方法包括：获取第一样本图像以及第二样本图像；基于所述第一样本图像和第二样本图像对所述第一初始分类网络和第二初始分类网络进行联合训练，得到所述第一目标分类网络，所述第一初始分类网络与第二初始分类网络共用同一个初始特征提取网络；所述第一初始分类网络用于基于所述初始特征提取网络从所述第一样本图像中提取的特征对所述第一样本图像中的游戏道具进行分类；所述第二初始分类网络用于基于所述初始特征提取网络从所述第一样本图像以及所述第二样本图像中提取的特征对所述第一样本图像以及所述第二样本图像中的游戏道具所处的游戏环境进行分类。
在一些实施例中，所述第一初始分类网络基于道具分类损失进行训练，所述道具分类损失为所述第一初始分类网络基于第一样本图像的特征对所述第一样本图像中的游戏道具进行分类的分类损失；所述第二初始分类网络基于环境分类损失进行训练，所述环境分类损失为所述第二初始分类网络基于所述第一样本图像以及第二样本图像的特征对所述第一样本图像以及所述第二样本图像中的游戏道具所处的游戏环境进行分类的分类损失。
在一些实施例中，所述第一初始分类网络包括初始特征提取网络，用于对输入图像进行特征提取；以及初始道具分类网络，用于基于所述初始特征提取网络提取出的特征对输入图像中的游戏道具进行分类；所述第二初始分类网络包括所述初始特征提取网络，以及初始环境分类网络，用于基于所述初始特征提取网络提取出的特征，对输入图像中游戏道具所处的游戏环境进行分类；所述对所述第一初始分类网络和第二初始分类网络进行联合训练，包括：基于所述第一样本图像以及所述道具分类损失，对所述初始特征提取网络和所述初始道具分类网络进行第一训练，得到包括中间特征提取网络和目标道具分类网络的中间分类网络；基于所述第一样本图像、所述第二样本图像以及所述环境分类损失，对所述中间特征提取网络和初始环境分类网络进行第二训练，得到目标特征提取网络和目标环境分类网络，所述第一目标分类网络包括所述目标特征提取网络和所述目标道具分类网络。
在一些实施例中，所述环境分类损失包括第一损失和第二损失，所述第一损失用于表征所述初始环境分类网络预测的游戏环境的类别与所述第一样本图像以及所述第二样本图像中游戏道具所处的游戏环境的真实类别之间的差异，所述第二损失用于表征所述初始环境分类网络对所述中间特征提取网络提取出的特征所属的游戏环境的类别的分辨能力。
在一些实施例中，所述基于所述第一样本图像、所述第二样本图像以及所述环境分类损失，对所述中间特征提取网络和初始环境分类网络进行第二训练，得到目标特征提取网络和目标环境分类网络，包括：固定所述中间特征提取网络，并基于所述第一损失、所述第一样本图像和所述第二样本图像对所述初始环境分类网络进行训练，得到所述目标环境分类网络；固定所述目标环境分类网络，并基于所述第二损失、所述第一样本图像和所述第二样本图像对所述中间特征提取网络进行训练，得到所述目标特征提取网络。
在一些实施例中，所述第一样本图像和所述第二样本图像基于预设条件从游戏图像中筛选得到，所述游戏图像通过对游戏区域成像得到，所述预设条件包括：从所述游戏图像中检测到所述游戏区域内发生与游戏道具相关的预设事件。
在一些实施例中，所述方法还包括：获取图像集合，所述图像集合中包括第一图像子集和第二图像子集，所述第一图像子集中的图像包括第一标签，所述第二图像子集中的图像不包括第一标签，所述第一标签用于表征游戏道具的类别；将所述第一图像子集中的图像的第二标签与所述第二图像子集中的图像的第二标签标注为不同的第二标签，所述第二标签用于表征游戏道具所处的游戏环境的类别；将所述第一图像子集中的图像确定为所述第一样本图像，将所述第二图像子集中的图像确定为所述第二样本图像。
根据本公开实施例的第三方面，提供一种游戏道具分类装置，所述装置包括：输入模块，用于将包括目标游戏道具的待处理图像输入预先训练的第一目标分类网络；分类模块，用于获取所述第一目标分类网络输出的所述目标游戏道具的类别；所述第一目标分类网络与第二目标分类网络通过对第一初始分类网络和第二初始分类网络进行联合训练得到，且所述第一初始分类网络与第二初始分类网络共用同一个初始特征提取网络；所述第一初始分类网络用于基于所述初始特征提取网络从输入图像中提取的特征对所述输入图像中的游戏道具进行分类；所述第二初始分类网络用于基于所述初始特征提取网络从输入图像中提取的特征对所述输入图像中的游戏道具所处的游戏环境进行分类。
在一些实施例中，所述第一初始分类网络基于道具分类损失进行训练，所述道具分类损失为所述第一初始分类网络基于第一样本图像的特征对所述第一样本图像中的游戏道具进行分类的分类损失；所述第二初始分类网络基于环境分类损失进行训练，所述环境分类损失为所述第二初始分类网络基于所述第一样本图像以及第二样本图像的特征对所述第一样本图像以及所述第二样本图像中的游戏道具所处的游戏环境进行分类的分类损失；所述第一样本图像的特征和所述第二样本图像的特征均通过所述初始特征提取网络提取得到。
在一些实施例中，所述第一初始分类网络包括初始特征提取网络，用于对输入图像进行特征提取；以及初始道具分类网络，用于基于所述初始特征提取网络提取的特征对输入图像中的游戏道具进行分类；所述第二初始分类网络包括所述初始特征提取网络，以及初始环境分类网络，用于基于所述初始特征提取网络提取的特征，对输入图像中游戏道具所处的游戏环境进行分类；所述装置还包括：第一训练模块，用于基于所述第一样本图像以及所述道具分类损失，对所述初始特征提取网络和所述初始道具分类网络进行第一训练，得到包括中间特征提取网络和目标道具分类网络的中间分类网络；第二训练模块，用于基于所述第一样本图像、所述第二样本图像以及所述环境分类损失，对所述中间特征提取网络和初始环境分类网络进行第二训练，得到目标特征提取网络和目标环境分类网络，所述第一目标分类网络包括所述目标特征提取网络和所述目标道具分类网络。
在一些实施例中，所述环境分类损失包括第一损失和第二损失，所述第一损失用于表征所述初始环境分类网络预测的游戏环境的类别与所述第一样本图像以及所述第二样本图像中游戏道具所处的游戏环境的真实类别之间的差异，所述第二损失用于表征所述初始环境分类网络对所述中间特征提取网络提取出的特征所属的游戏环境的类别的分辨能力。
在一些实施例中，所述第二训练模块用于：固定所述中间特征提取网络，并基于所述第一损失、所述第一样本图像和所述第二样本图像对所述初始环境分类网络进行训练，得到所述目标环境分类网络；固定所述目标环境分类网络，并基于所述第二损失、所述第一样本图像和所述第二样本图像对所述中间特征提取网络进行训练，得到所述目标特征提取网络。
在一些实施例中，所述第一样本图像和所述第二样本图像基于预设条件从游戏图像中筛选得到，所述游戏图像通过对游戏区域成像得到，所述预设条件包括：从所述游戏图像中检测到所述游戏区域内发生与游戏道具相关的预设事件。
在一些实施例中，所述装置还包括：图像集合获取模块，用于获取图像集合，所述图像集合中包括第一图像子集和第二图像子集，所述第一图像子集中的图像包括第一标签，所述第二图像子集中的图像不包括第一标签，所述第一标签用于表征游戏道具的类别；标注模块，用于将所述第一图像子集中的图像的第二标签与所述第二图像子集中的图像的第二标签标注为不同的第二标签，所述第二标签用于表征游戏道具所处的游戏环境的类别；样本图像确定模块，用于将所述第一图像子集中的图像确定为所述第一样本图像，将所述第二图像子集中的图像确定为所述第二样本图像。
根据本公开实施例的第四方面，提供一种神经网络的训练装置，用于对第一初始分类网络进行训练，得到第一目标分类网络，所述第一目标分类网络用于对游戏道具进行分类；所述装置包括：样本图像获取模块，用于获取第一样本图像以及第二样本图像；训练模块，用于基于所述第一样本图像和第二样本图像对所述第一初始分类网络和第二初始分类网络进行联合训练，得到所述第一目标分类网络，所述第一初始分类网络与第二初始分类网络共用同一个初始特征提取网络；所述第一初始分类网络用于基于所述初始特征提取网络从所述第一样本图像中提取的特征对所述第一样本图像中的游戏道具进行分类；所述第二初始分类网络用于基于所述初始特征提取网络从所述第一样本图像以及所述第二样本图像中提取的特征对所述第一样本图像以及所述第二样本图像中的游戏道具所处的游戏环境进行分类。
在一些实施例中，所述第一初始分类网络基于道具分类损失进行训练，所述道具分类损失为所述第一初始分类网络基于第一样本图像的特征对所述第一样本图像中的游戏道具进行分类的分类损失；所述第二初始分类网络基于环境分类损失进行训练，所述环境分类损失为所述第二初始分类网络基于所述第一样本图像以及第二样本图像的特征对所述第一样本图像以及所述第二样本图像中的游戏道具所处的游戏环境进行分类的分类损失。
在一些实施例中，所述第一初始分类网络包括初始特征提取网络，用于对输入图像进行特征提取；以及初始道具分类网络，用于基于所述初始特征提取网络提取出的特征对输入图像中的游戏道具进行分类；所述第二初始分类网络包括所述初始特征提取网络，以及初始环境分类网络，用于基于所述初始特征提取网络提取出的特征，对输入图像中游戏道具所处的游戏环境进行分类；所述训练模块包括：第一训练单元，用于基于所述第一样本图像以及所述道具分类损失，对所述初始特征提取网络和所述初始道具分类网络进行第一训练，得到包括中间特征提取网络和目标道具分类网络的中间分类网络；第二训练单元，用于基于所述第一样本图像、所述第二样本图像以及所述环境分类损失，对所述中间特征提取网络和初始环境分类网络进行第二训练，得到目标特征提取网络和目标环境分类网络，所述第一目标分类网络包括所述目标特征提取网络和所述目标道具分类网络。
在一些实施例中，所述环境分类损失包括第一损失和第二损失，所述第一损失用于表征所述初始环境分类网络预测的游戏环境的类别与所述第一样本图像以及所述第二样本图像中游戏道具所处的游戏环境的真实类别之间的差异，所述第二损失用于表征所述初始环境分类网络对所述中间特征提取网络提取出的特征所属的游戏环境的类别的分辨能力。
在一些实施例中，所述第二训练单元用于：固定所述中间特征提取网络，并基于所述第一损失、所述第一样本图像和所述第二样本图像对所述初始环境分类网络进行训练，得到所述目标环境分类网络；固定所述目标环境分类网络，并基于所述第二损失、所述第一样本图像和所述第二样本图像对所述中间特征提取网络进行训练，得到所述目标特征提取网络。
在一些实施例中，所述第一样本图像和所述第二样本图像基于预设条件从游戏图像中筛选得到，所述游戏图像通过对游戏区域成像得到，所述预设条件包括：从所述游戏图像中检测到所述游戏区域内发生与游戏道具相关的预设事件。
在一些实施例中，所述装置还包括：图像集合获取模块，用于获取图像集合，所述图像集合中包括第一图像子集和第二图像子集，所述第一图像子集中的图像包括第一标签，所述第二图像子集中的图像不包括第一标签，所述第一标签用于表征游戏道具的类别；标注模块，用于将所述第一图像子集中的图像的第二标签与所述第二图像子集中的图像的第二标签标注为不同的第二标签，所述第二标签用于表征游戏道具所处的游戏环境的类别；样本图像确定模块，用于将所述第一图像子集中的图像确定为所述第一样本图像，将所述第二图像子集中的图像确定为所述第二样本图像。
根据本公开实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。
根据本公开实施例的第六方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。
根据本公开实施例的第七方面，提供一种计算机程序，包括计算机可读代码，所述计算机可读代码在电子设备中执行时，使得所述电子设备中的处理器执行本公开任一实施例所述的方法。
本公开实施例通过对第一初始分类网络和第二初始分类网络进行联合训练，得到第一目标分类网络与第二目标分类网络，由于第一初始分类网络与第二初始分类网络共用同一个特征提取网络，且第二初始分类网络能够基于所述特征提取网络从输入图像中提取的特征对所述输入图像中的游戏道具所处的游戏环境进行分类，因此，可以利用第二初始分类网络从输入图像中确定的游戏环境的类别信息来辅助第一初始分类网络的训练。这样，能够提高训练出的第一目标分类网络的鲁棒性，使第一目标分类网络能够适配多种不同的游戏环境，从而无需大量采集包括不同游戏环境下、不同类别的游戏道具的样本图像，降低了样本图像的采集和标注复杂度较高，从而降低了神经网络的训练成本。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1A、图1B、图1C和图1D分别是不同的游戏道具的示意图。
图2A和图2B分别是不同游戏环境下的游戏道具的示意图。
图3是本公开实施例的游戏道具分类方法的流程图。
图4A是本公开实施例的神经网络的训练流程的总体示意图。
图4B是本公开实施例的神经网络的训练过程中网络结构的示意图。
图5是本公开实施例的神经网络的训练方法的流程图。
图6是本公开实施例的游戏道具分类装置的框图。
图7是本公开实施例的神经网络的训练装置的框图。
图8是本公开实施例的计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类别的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本技术领域的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
游戏场景中往往包括多种类别的游戏道具，例如，游戏币、卡牌、游戏标志物(marker)、骰子。不同的游戏道具可能进一步包括多个子类别，例如，卡牌包括不同点数或者不同图案的多种卡牌，游戏币包括不同面值的多种游戏币。如图1A和图1B所示，分别是两种不同类别的卡牌的示意图；如图1C和图1D所示，分别是两种不同类别的游戏币的示意图。可以看出，不同类别的卡牌所采用的图案不同，不同类别的游戏币的颜色和图案都不同。当然，在实际应用中，除了颜色、图案之外，不同类别的游戏道具的其他属性(例如，尺寸、材质等)也可能不同。
除此之外，游戏场景的不同区域，或者游戏场景在不同时间段可能有不同类别的游戏环境。影响游戏环境类别的因素可以包括但不限于游戏区域的类别、灯光颜色、阴影面积，不同的游戏环境类别对应一种或多种不同的因素，例如，游戏环境A与游戏环境B具有相同的游戏区域类别、相同的灯光颜色和不同的阴影面积，游戏环境B与游戏环境C具有不同的游戏区域类别、相同的灯光颜色和不同的阴影面积。
为了训练出性能较为鲁棒的神经网络来对游戏场景中的游戏道具进行识别，通常需要样本图像中尽可能包括不同游戏环境下不同类别的游戏道具所构成的图像。例如，游戏道具的类别总数为M，游戏环境的类别总数为N，则所需的样本图像的类别为M×N，以便神经网络能够学习到不同的游戏道具在不同游戏环境下的特征。如图2A和图2B所示，是不同游戏环境下的游戏道具的示意图。图中以不同的阴影类别对游戏环境进行举例，可以看出，在图2A所示的游戏环境下，灯光近似在游戏币的正上方，因此游戏币的阴影面积较小，游戏币A的阴影对游戏币B的遮挡较少。而在图2B所示的游戏环境下，灯光在游戏币的左上方，因此游戏币的阴影面积较大，游戏币A的阴影对游戏币B的遮挡较多。可见，游戏环境对神经网络的识别可能存在一定影响。因此，为了提高神经网络的鲁棒性，用来训练神经网络的样本图像中需要同时包括游戏币在图2A所示的游戏环境下的样本图像，以及游戏币在图2B所示的游戏环境下的样本图像。
然而，上述方式需要在多种不同的游戏场景下采集样本图像，且采集的样本图像均需要进行标注，导致样本图像的采集和标注复杂度较高，从而导致神经网络的训练成本较高。
基于此，本公开实施例提供一种游戏道具分类方法，如图3所示，所述方法包括：
步骤301：将包括目标游戏道具的待处理图像输入预先训练的第一目标分类网络；
步骤302：获取所述第一目标分类网络输出的所述目标游戏道具的类别；
所述第一目标分类网络与第二目标分类网络通过对第一初始分类网络和第二初始分类网络进行联合训练得到，且所述第一初始分类网络与第二初始分类网络共用同一个初始特征提取网络；
所述第一初始分类网络用于基于所述初始特征提取网络从输入图像中提取的特征对所述输入图像中的游戏道具进行分类；
所述第二初始分类网络用于基于所述初始特征提取网络从输入图像中提取的特征对所述输入图像中的游戏道具所处的游戏环境进行分类。
在步骤301中，目标游戏道具可以是游戏区域内的游戏道具，例如，游戏币、卡牌等。可以通过对游戏区域进行成像，得到包括游戏道具的待处理图像。在一些实施例中，可以在游戏区域周围设置图像采集装置，用来在游戏进行过程中，实时采集游戏过程中的视频，并将采集到的视频中包括目标游戏道具的视频帧作为待处理图像输入到第一目标分类网络中。或者，也可以将采集到的视频中的所有视频帧都输入第一目标分类网络，通过第一目标分类网络筛选出包括目标游戏道具的待处理图像，再进行后续处理。
在步骤302中，第一目标分类网络可以输出目标游戏道具的类别，例如，该目标游戏道具是游戏币还是卡牌。还可以输出目标游戏道具的子类别，例如，在目标游戏道具为游戏币的情况下，每种子类别的游戏币对应一种面值，则第一目标分类网络可以输出游戏币的面值类别；又例如，在目标游戏道具为卡牌的情况下，每种子类别的卡牌对应一种点数和一种花色，则第一目标分类网络可以输出卡牌的点数和花色。进一步地，第一目标分类网络还可以输出目标游戏道具的数量，例如，一堆沿着竖直方向进行堆叠的游戏币，第一目标分类网络可以输出这堆游戏币由多少片游戏币堆叠而成。
在本实施例中，第一目标分类网络可以通过多任务联合训练的方式获取。即，通过对第一初始分类网络和第二初始分类网络进行联合训练，得到第一目标分类网络与第二目标分类网络。其中，第一目标分类网络为第一初始分类网络进行联合训练后得到的神经网络，第二目标分类网络为第二初始分类网络进行联合训练后得到的神经网络。
第一初始分类网络用于执行道具分类任务，即，基于所述初始特征提取网络从输入图像中提取的特征对所述输入图像中的游戏道具进行分类。第二初始分类网络用于执行环境分类任务，即，基于所述初始特征提取网络从输入图像中提取的特征对所述输入图像中的游戏道具所处的游戏环境进行分类。其中，所述输入图像泛指输入到特征提取网络的图像，在不同的训练阶段，所述输入图像可以指第一样本图像或第二样本图像。
通过多任务联合训练，可以利用第二初始分类网络从输入图像中确定的游戏环境的类别信息来辅助第一初始分类网络的训练。这样，能够提高训练出的第一目标分类网络的鲁棒性，使第一目标分类网络能够适配多种不同的游戏环境，从而无需大量采集包括不同游戏环境下、不同类别的游戏道具的样本图像，降低了样本图像的采集和标注复杂度，从而降低了神经网络的训练成本。
在一些实施例中，所述第一初始分类网络基于道具分类损失进行训练，所述道具分类损失为所述第一初始分类网络基于第一样本图像的特征对所述第一样本图像中的游戏道具进行分类的分类损失。所述第二初始分类网络基于环境分类损失进行训练，所述环境分类损失为所述第二初始分类网络基于第一样本图像以及第二样本图像的特征对所述第一样本图像以及第二样本图像中的游戏道具所处的游戏环境进行分类的分类损失。其中，所述第一样本图像的特征和所述第二样本图像的特征均通过所述初始特征提取网络提取得到。
通过采用道具分类损失训练第一初始分类网络，能够使训练得到的第一目标分类网络学习到用于区分不同类别的游戏道具的特征，从而使第一目标分类网络获得足够的分类准确度。通过采用环境分类损失训练第二初始分类网络，能够在训练过程中利用第二初始分类网络的分类结果来约束第二初始分类网络与第一初始分类网络之间的公共部分(即特征提取网络)，从而减少不同的游戏环境对第一目标分类网络的影响，进而提高第一目标分类网络在不同游戏环境下的鲁棒性。
第一样本图像可以携带第一标签以及第二标签，所述第一标签用于表征所述第一样本图像中的游戏道具的类别。第二样本图像可以仅携带第二标签，所述第二标签用于表征所述第二样本图像中的游戏道具所处的游戏环境的类别。在一些实施例中，可以采集一些图像，将这些图像打标上第一标签后作为第一样本图像，并采集另一些图像，将另一些图像打标上第二标签后作为第二样本图像。即，第一样本图像与第二样本图像为不同的图像。
在另一些实施例中，也可以获取图像集合，所述图像集合中包括第一图像子集和第二图像子集，所述第一图像子集中的图像可以包括第一标签以及第二标签，所述第二图像子集中的图像不包括第一标签。可以将所述第一图像子集中的图像的第二标签与所述第二图像子集中的图像的第二标签标注为不同的第二标签，并将所述第一图像子集中的图像确定为所述第一样本图像，将所述第二图像子集中的图像确定为所述第二样本图像。
例如，第一图像子集中的图像可以预先采集并标注有第一标签，其中，第一图像子集中的图像可以包括多个不同的游戏环境下采集的图像。可以将第一图像子集中的所有图像的第二标签标注为相同的标签，例如，均标注为“1”。第二图像子集中的图像也可以包括多个不同的游戏环境下采集的图像。第二图像子集中的图像可以不包括第一标签，可以将第二图像子集中的所有图像的第二标签标注为相同的标签，且第二图像子集中的图像的第二标签与第一图像子集中的图像的第二标签不同，例如，第二图像子集中的图像的第二标签均标注为“0”。通过这种方式，只需要直接指定两种不同的第二标签，不需要分别确定图像集合中各个图像对应的具体游戏环境的类别，且只需要标注第一图像子集中的图像的第一标签，第二图像子集中的图像无需标注第一标签，降低了样本图像的标注复杂度。
第一图像子集中的图像和第二图像子集中的图像可以是从游戏区域现场实时采集的视频中回流得到的视频帧，也可以是通过模拟真实的游戏场景，并在模拟的游戏场景下集中采集得到的图像。
本公开实施例无需对各种不同的游戏道具与各种不同的游戏环境的组合对应的样本图像进行采集和标注，只需要采集和标注一些具有第一标签的第一样本图像，并将标注有第一标签的第一样本图像与未标注有第一标签的第二样本图像的第二标签指定为不同的标签。在相关技术中，假设游戏道具的类别总数为M，游戏环境的类别总数为N，假设每种样本图像的数量为1，则所需采集和标注的样本图像的数量为M×N。而在本实施例中，可以仅采集和标注M张携带第一标签和第二标签的第一样本图像以及n(1＜n≤N)张不携带第一标签、仅携带第二标签的第二样本图像，有效减少了所需的样本图像的数量，从而减少了样本图像的采集和标注复杂度。
为了获取对训练过程更有价值的样本图像，以提高第一目标分类网络的分类准确度，可以基于预设条件从游戏图像中筛选出第一样本图像和第二样本图像。所述预设条件包括：从所述游戏图像中检测到所述游戏区域内发生与游戏道具相关的预设事件。所述预设事件可以是对游戏道具的操作发生错误的事件。在一种应用场景中，对游戏区域成像得到的游戏图像的检测和识别结果可以输出到业务层进行业务处理，从而使业务层确定对游戏道具的操作是否发生错误。例如，可以从一张游戏图像中识别出特定游戏道具的摆放位置，并将该摆放位置发送给业务层，业务层可以判断游戏道具的摆放位置是否处于预设的可摆放区域内，如果不在可摆放区域内，则业务层报错。又例如，可以从多张游戏图像中识别出特定游戏道具的摆放顺序，并将摆放顺序发送给业务层，业务层可以判断游戏道具的摆放顺序是否符合预设顺序，如果不符合预设顺序，则业务层报错。可以对业务层报错的游戏图像中的部分或全部图像进行标注，从而得到第一样本图像和/或第二样本图像。
在一些实施例中，所述第一初始分类网络包括初始特征提取网络，用于对输入至所述第一初始分类网络的图像进行特征提取；以及初始道具分类网络，用于基于所述初始特征提取网络提取出的特征对输入至所述第一初始分类网络的图像中的游戏道具进行分类。所述第二初始分类网络包括所述初始特征提取网络，以及初始环境分类网络，用于基于所述初始特征提取网络提取出的特征，对输入至所述第二初始分类网络的图像中游戏道具所处的游戏环境进行分类。可选地，所述初始特征提取网络为卷积神经网络，初始特征提取网络的网络结构可以是resnet网络主体。所述初始道具分类网络包括全连接层与softmax层，用于输出单个游戏道具的类别，或者所述初始道具分类网络包括全连接层与CTC(Connectionist Temporal Classification)网络，用于对堆叠的游戏币等游戏道具进行识别，输出序列识别结果。
下面参考图4A和图4B对第一目标分类网络的训练过程进行说明。
首先，基于所述第一样本图像以及道具分类损失，对所述初始特征提取网络和所述初始道具分类网络进行第一训练，得到包括中间特征提取网络和目标道具分类网络的中间分类网络。可以基于目标道具分类网络的分类结果与第一样本图像中游戏道具的真实类别之间的差异来确定所述道具分类损失。在一些实施例中，所述道具分类损失为交叉熵损失。
然后，基于所述第一样本图像、所述第二样本图像以及所述环境分类损失，对所述中间特征提取网络和初始环境分类网络进行第二训练，得到目标特征提取网络和目标环境分类网络，所述第一目标分类网络包括所述目标特征提取网络和所述目标道具分类网络。在第二训练过程中，通过初始环境分类网络与中间特征提取网络进行对抗训练，使训练得到的目标环境分类网络难以区分出目标特征提取网络提取出的特征对应的环境类别，即目标特征提取网络提取出的特征在不同的游戏环境下具有相同的分布特征。通过这种方式，能够减少不同类别的游戏环境对游戏道具的分类结果的影响，从而提高第一目标分类网络的鲁棒性。
在一些实施例中，所述第二分类损失包括第一损失和第二损失，所述第一损失用于表征所述初始环境分类网络预测的游戏环境的类别与所述第一样本图像以及所述第二样本图像中游戏道具所处的游戏环境的真实类别之间的差异，所述第二损失用于表征所述初始环境分类网络对所述中间特征提取网络提取出的特征所属的游戏环境的类别的分辨能力。通过采用第一损失，能够训练出一个具有较好的分类性能的目标环境分类网络。通过采用第二损失，能够训练出一个具有较好的特征提取性能的目标特征提取网络。通过使第一样本图像和第二样本图像的第二标签不同、即使两者涉及相同的游戏环境，通过基于第一样本图像以及第二样本图像对仅基于第一样本图像预训练出的中间特征提取网络进行训练得到的该目标特征提取网络所提取出的特征能够混淆基于第一样本图像以及第二样本图像训练的目标环境分类网络的分类性能，使得目标环境分类网络无法区分出目标特征提取网络提取出的特征对应的环境类别。
第二训练包括两个阶段，在第一阶段，固定所述中间特征提取网络，并基于所述第一损失、所述第一样本图像、和所述第二样本图像对所述初始环境分类网络进行训练，从而训练出具有较好的分类性能的目标环境分类网络。在第二阶段，固定所述目标环境分类网络，并基于所述第二损失、所述第一样本图像、和所述第二样本图像对所述中间特征提取网络进行训练，从而训练出具有较好的特征提取性能的目标特征提取网络。通过两阶段的训练方式，能够提高训练过程中的收敛速度，并使得训练出的第一目标分类网络更加稳定。
整个第一目标分类网络的训练过程通过交替迭代各个训练步骤，直到收敛(目标环境分类网络无法区分环境类别，目标道具分类网络发挥作用)。具体过程如下：
A)利用第一样本图像和道具分类损失(loss3)训练初始道具分类网络，更新初始特征提取网络和初始道具分类网络的网络参数，得到包括中间特征提取网络和目标道具分类网络的中间神经网络。该步骤中不训练初始环境分类网络。
B)固定中间特征提取网络，利用第一样本图像、第二样本图像和第一损失(loss1)训练初始环境分类网络，得到中间特征提取网络和目标环境分类网络。该步骤中不训练目标道具分类网络。第一损失可采用交叉熵损失。在环境类别为2的情况下，第一损失记为：
Figure BDA0003288272140000131
其中，p(i)为真实的环境类别概率向量，[1,0]表示第二标签为1，[0,1]表示第二标签为0，q(i)为初始环境分类网络预测的游戏环境的类别。
C)固定目标环境分类网络，利用第一样本图像、第二样本图像和第二损失(loss2)训练中间特征提取网络，得到目标特征提取网络。该步骤中不训练目标道具分类网络。本步骤的目的是使目标特征提取网络不能区分游戏环境的类别，即优化目标p(i)为均匀分布[0.5,0.5]，第二损失记为：
Figure BDA0003288272140000141
通过上述训练过程得到包括目标特征提取网络和目标道具分类网络的第一目标分类网络，以及包括目标特征提取网络和目标环境分类网络的第二目标分类网络。在推理阶段，可以仅采用第一目标分类网络对待处理图像中的游戏道具进行分类，而不需要采用第二目标分类网络。
进一步地，还可以通过从真实的游戏场景中采集和标注的测试图像，对第一目标分类网络的性能进行测试。如果第一目标分类网络的分类准确度高于预设的准确度阈值，则将第一目标分类网络确定为最终用于对游戏道具进行分类的神经网络；否则重新训练第一目标分类网络。
在实际应用中，不同的游戏场景往往具有不同的游戏环境，将一种游戏场景下的第一目标分类网络用于另一种游戏场景时，往往需要重新采集和标注样本图像来对第一目标分类网络进行训练，通过本公开实施例的方式则能够使第一目标分类网络适应各种不同的游戏场景。本公开实施例对于在限定场景下已经达到高精度，但是在新测试环境容易出错的第一目标分类网络，可以做到快速的泛化性能提升，适配多种全新和不同的测试环境，提升第一目标分类网络的鲁棒性。
如图5所示，本公开实施例还提供一种神经网络的训练方法，用于对第一初始分类网络进行训练，得到第一目标分类网络，所述第一目标分类网络用于对游戏道具进行分类；所述方法包括：
步骤501：获取第一样本图像以及第二样本图像；
步骤502：基于所述第一样本图像和第二样本图像对所述第一初始分类网络和第二初始分类网络进行联合训练，得到所述第一目标分类网络，所述第一初始分类网络与第二初始分类网络共用同一个初始特征提取网络；
所述第一初始分类网络用于基于所述初始特征提取网络从所述第一样本图像中提取的特征对所述第一样本图像中的游戏道具进行分类；
所述第二初始分类网络用于基于所述初始特征提取网络从所述第一样本图像以及所述第二样本图像中提取的特征对所述第一样本图像以及所述第二样本图像中的游戏道具所处的游戏环境进行分类。
在一些实施例中，所述第一初始分类网络基于道具分类损失进行训练，所述道具分类损失为所述第一初始分类网络基于第一样本图像的特征对所述第一样本图像中的游戏道具进行分类的分类损失；所述第二初始分类网络基于环境分类损失进行训练，所述环境分类损失为所述第二初始分类网络基于所述第一样本图像以及第二样本图像的特征对所述第一样本图像以及所述第二样本图像中的游戏道具所处的游戏环境进行分类的分类损失。
在一些实施例中，所述第一初始分类网络包括初始特征提取网络，用于对输入图像进行特征提取；以及初始道具分类网络，用于基于所述初始特征提取网络提取出的特征对输入图像中的游戏道具进行分类；所述第二初始分类网络包括所述初始特征提取网络，以及初始环境分类网络，用于基于所述初始特征提取网络提取出的特征，对输入图像中游戏道具所处的游戏环境进行分类；所述对所述第一初始分类网络和第二初始分类网络进行联合训练，包括：基于所述第一样本图像以及所述道具分类损失，对所述初始特征提取网络和所述初始道具分类网络进行第一训练，得到包括中间特征提取网络和目标道具分类网络的中间分类网络；基于所述第一样本图像、所述第二样本图像以及所述环境分类损失，对所述中间特征提取网络和初始环境分类网络进行第二训练，得到目标特征提取网络和目标环境分类网络，所述第一目标分类网络包括所述目标特征提取网络和所述目标道具分类网络。
在一些实施例中，所述环境分类损失包括第一损失和第二损失，所述第一损失用于表征所述初始环境分类网络预测的游戏环境的类别与所述第一样本图像以及所述第二样本图像中游戏道具所处的游戏环境的真实类别之间的差异，所述第二损失用于表征所述初始环境分类网络对所述中间特征提取网络提取出的特征所属的游戏环境的类别的分辨能力。
在一些实施例中，所述基于所述第一样本图像、所述第二样本图像以及所述环境分类损失，对所述中间特征提取网络和初始环境分类网络进行第二训练，得到目标特征提取网络和目标环境分类网络，包括：固定所述中间特征提取网络，并基于所述第一损失、所述第一样本图像和所述第二样本图像对所述初始环境分类网络进行训练，得到所述目标环境分类网络；固定所述目标环境分类网络，并基于所述第二损失、所述第一样本图像和所述第二样本图像对所述中间特征提取网络进行训练，得到所述目标特征提取网络。
在一些实施例中，所述第一样本图像和所述第二样本图像基于预设条件从游戏图像中筛选得到，所述游戏图像通过对游戏区域成像得到，所述预设条件包括：从所述游戏图像中检测到所述游戏区域内发生与游戏道具相关的预设事件。
在一些实施例中，所述方法还包括：获取图像集合，所述图像集合中包括第一图像子集和第二图像子集，所述第一图像子集中的图像包括第一标签，所述第二图像子集中的图像不包括第一标签，所述第一标签用于表征游戏道具的类别；将所述第一图像子集中的图像的第二标签与所述第二图像子集中的图像的第二标签标注为不同的第二标签，所述第二标签用于表征游戏道具所处的游戏环境的类别；将所述第一图像子集中的图像确定为所述第一样本图像，将所述第二图像子集中的图像确定为所述第二样本图像。
上述神经网络的训练方法的细节详见前述游戏道具分类方法的实施例，此处不再赘述。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
如图6所示，本公开实施例还提供一种游戏道具分类装置，所述装置包括：
输入模块601，用于将包括目标游戏道具的待处理图像输入预先训练的第一目标分类网络；
分类模块602，用于获取所述第一目标分类网络输出的所述目标游戏道具的类别；
所述第一目标分类网络与第二目标分类网络通过对第一初始分类网络和第二初始分类网络进行联合训练得到，且所述第一初始分类网络与第二初始分类网络共用同一个初始特征提取网络；
所述第一初始分类网络用于基于所述初始特征提取网络从输入图像中提取的特征对所述输入图像中的游戏道具进行分类；
所述第二初始分类网络用于基于所述初始特征提取网络从输入图像中提取的特征对所述输入图像中的游戏道具所处的游戏环境进行分类。
在一些实施例中，所述第一初始分类网络基于道具分类损失进行训练，所述道具分类损失为所述第一初始分类网络基于第一样本图像的特征对所述第一样本图像中的游戏道具进行分类的分类损失；所述第二初始分类网络基于环境分类损失进行训练，所述环境分类损失为所述第二初始分类网络基于所述第一样本图像以及第二样本图像的特征对所述第一样本图像以及所述第二样本图像中的游戏道具所处的游戏环境进行分类的分类损失；所述第一样本图像的特征和所述第二样本图像的特征均通过所述初始特征提取网络提取得到。
在一些实施例中，所述第一初始分类网络包括初始特征提取网络，用于对输入图像进行特征提取；以及初始道具分类网络，用于基于所述初始特征提取网络提取的特征对输入图像中的游戏道具进行分类；所述第二初始分类网络包括所述初始特征提取网络，以及初始环境分类网络，用于基于所述初始特征提取网络提取的特征，对输入图像中游戏道具所处的游戏环境进行分类；所述装置还包括：第一训练模块，用于基于所述第一样本图像以及所述道具分类损失，对所述初始特征提取网络和所述初始道具分类网络进行第一训练，得到包括中间特征提取网络和目标道具分类网络的中间分类网络；第二训练模块，用于基于所述第一样本图像、所述第二样本图像以及所述环境分类损失，对所述中间特征提取网络和初始环境分类网络进行第二训练，得到目标特征提取网络和目标环境分类网络，所述第一目标分类网络包括所述目标特征提取网络和所述目标道具分类网络。
在一些实施例中，所述环境分类损失包括第一损失和第二损失，所述第一损失用于表征所述初始环境分类网络预测的游戏环境的类别与所述第一样本图像以及所述第二样本图像中游戏道具所处的游戏环境的真实类别之间的差异，所述第二损失用于表征所述初始环境分类网络对所述中间特征提取网络提取出的特征所属的游戏环境的类别的分辨能力。
在一些实施例中，所述第二训练模块用于：固定所述中间特征提取网络，并基于所述第一损失、所述第一样本图像和所述第二样本图像对所述初始环境分类网络进行训练，得到所述目标环境分类网络；固定所述目标环境分类网络，并基于所述第二损失、所述第一样本图像和所述第二样本图像对所述中间特征提取网络进行训练，得到所述目标特征提取网络。
在一些实施例中，所述第一样本图像和所述第二样本图像基于预设条件从游戏图像中筛选得到，所述游戏图像通过对游戏区域成像得到，所述预设条件包括：从所述游戏图像中检测到所述游戏区域内发生与游戏道具相关的预设事件。
在一些实施例中，所述装置还包括：图像集合获取模块，用于获取图像集合，所述图像集合中包括第一图像子集和第二图像子集，所述第一图像子集中的图像包括第一标签，所述第二图像子集中的图像不包括第一标签，所述第一标签用于表征游戏道具的类别；标注模块，用于将所述第一图像子集中的图像的第二标签与所述第二图像子集中的图像的第二标签标注为不同的第二标签，所述第二标签用于表征游戏道具所处的游戏环境的类别；样本图像确定模块，用于将所述第一图像子集中的图像确定为所述第一样本图像，将所述第二图像子集中的图像确定为所述第二样本图像。
如图7所示，本公开实施例还提供一种神经网络的训练装置，用于对第一初始分类网络进行训练，得到第一目标分类网络，所述第一目标分类网络用于对游戏道具进行分类；所述装置包括：
样本图像获取模块701，用于获取第一样本图像以及第二样本图像；
训练模块702，用于基于所述第一样本图像和第二样本图像对所述第一初始分类网络和第二初始分类网络进行联合训练，得到所述第一目标分类网络，所述第一初始分类网络与第二初始分类网络共用同一个初始特征提取网络；
所述第一初始分类网络用于基于所述初始特征提取网络从所述第一样本图像中提取的特征对所述第一样本图像中的游戏道具进行分类；所述第二初始分类网络用于基于所述初始特征提取网络从所述第一样本图像以及所述第二样本图像中提取的特征对所述第一样本图像以及所述第二样本图像中的游戏道具所处的游戏环境进行分类。
在一些实施例中，所述第一初始分类网络基于道具分类损失进行训练，所述道具分类损失为所述第一初始分类网络基于第一样本图像的特征对所述第一样本图像中的游戏道具进行分类的分类损失；所述第二初始分类网络基于环境分类损失进行训练，所述环境分类损失为所述第二初始分类网络基于所述第一样本图像以及第二样本图像的特征对所述第一样本图像以及所述第二样本图像中的游戏道具所处的游戏环境进行分类的分类损失。
在一些实施例中，所述第一初始分类网络包括初始特征提取网络，用于对输入图像进行特征提取；以及初始道具分类网络，用于基于所述初始特征提取网络提取出的特征对输入图像中的游戏道具进行分类；所述第二初始分类网络包括所述初始特征提取网络，以及初始环境分类网络，用于基于所述初始特征提取网络提取出的特征，对输入图像中游戏道具所处的游戏环境进行分类；所述训练模块包括：第一训练单元，用于基于所述第一样本图像以及所述道具分类损失，对所述初始特征提取网络和所述初始道具分类网络进行第一训练，得到包括中间特征提取网络和目标道具分类网络的中间分类网络；第二训练单元，用于基于所述第一样本图像、所述第二样本图像以及所述环境分类损失，对所述中间特征提取网络和初始环境分类网络进行第二训练，得到目标特征提取网络和目标环境分类网络，所述第一目标分类网络包括所述目标特征提取网络和所述目标道具分类网络。
在一些实施例中，所述环境分类损失包括第一损失和第二损失，所述第一损失用于表征所述初始环境分类网络预测的游戏环境的类别与所述第一样本图像以及所述第二样本图像中游戏道具所处的游戏环境的真实类别之间的差异，所述第二损失用于表征所述初始环境分类网络对所述中间特征提取网络提取出的特征所属的游戏环境的类别的分辨能力。
在一些实施例中，所述第二训练单元用于：固定所述中间特征提取网络，并基于所述第一损失、所述第一样本图像和所述第二样本图像对所述初始环境分类网络进行训练，得到所述目标环境分类网络；固定所述目标环境分类网络，并基于所述第二损失、所述第一样本图像和所述第二样本图像对所述中间特征提取网络进行训练，得到所述目标特征提取网络。
在一些实施例中，所述第一样本图像和所述第二样本图像基于预设条件从游戏图像中筛选得到，所述游戏图像通过对游戏区域成像得到，所述预设条件包括：从所述游戏图像中检测到所述游戏区域内发生与游戏道具相关的预设事件。
在一些实施例中，所述装置还包括：图像集合获取模块，用于获取图像集合，所述图像集合中包括第一图像子集和第二图像子集，所述第一图像子集中的图像包括第一标签，所述第二图像子集中的图像不包括第一标签，所述第一标签用于表征游戏道具的类别；标注模块，用于将所述第一图像子集中的图像的第二标签与所述第二图像子集中的图像的第二标签标注为不同的第二标签，所述第二标签用于表征游戏道具所处的游戏环境的类别；样本图像确定模块，用于将所述第一图像子集中的图像确定为所述第一样本图像，将所述第二图像子集中的图像确定为所述第二样本图像。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述任一实施例所述的方法。
图8示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器801、存储器802、输入/输出接口803、通信接口804和总线805。其中处理器801、存储器802、输入/输出接口803和通信接口804通过总线805实现彼此之间在设备内部的通信连接。
处理器801可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。处理器801还可以包括显卡，所述显卡可以是Nvidia titan X显卡或者1080Ti显卡等。
存储器802可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器802可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器802中，并由处理器801来调用执行。
输入/输出接口803用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口804用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线805包括一通路，在设备的各个组件(例如处理器801、存储器802、输入/输出接口803和通信接口804)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器801、存储器802、输入/输出接口803、通信接口804以及总线805，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类别的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本公开实施例还提供一种计算机程序，包括计算机可读代码，所述计算机可读代码在电子设备中执行时，可以使得所述电子设备中的处理器执行前述任一实施例所述的方法。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims (19)

1.一种游戏道具分类方法，所述方法包括：
将包括目标游戏道具的待处理图像输入预先训练的第一目标分类网络；
获取所述第一目标分类网络输出的所述目标游戏道具的类别；
所述第一目标分类网络与第二目标分类网络通过对第一初始分类网络和第二初始分类网络进行联合训练得到，且所述第一初始分类网络与第二初始分类网络共用同一个初始特征提取网络；
所述第一初始分类网络用于基于所述初始特征提取网络从输入图像中提取的特征对所述输入图像中的游戏道具进行分类；
所述第二初始分类网络用于基于所述初始特征提取网络从输入图像中提取的特征对所述输入图像中的游戏道具所处的游戏环境进行分类。
2.根据权利要求1所述的方法，
所述第一初始分类网络基于道具分类损失进行训练，所述道具分类损失为所述第一初始分类网络基于第一样本图像的特征对所述第一样本图像中的游戏道具进行分类的分类损失；
所述第二初始分类网络基于环境分类损失进行训练，所述环境分类损失为所述第二初始分类网络基于所述第一样本图像和第二样本图像的特征对所述第一样本图像和所述第二样本图像中的游戏道具所处的游戏环境进行分类的分类损失；
所述第一样本图像的特征和所述第二样本图像的特征均通过所述初始特征提取网络提取得到。
3.根据权利要求2所述的方法，
所述第一初始分类网络包括初始特征提取网络，用于对输入图像进行特征提取；以及初始道具分类网络，用于基于所述初始特征提取网络提取的特征对输入图像中的游戏道具进行分类；
所述第二初始分类网络包括所述初始特征提取网络，以及初始环境分类网络，用于基于所述初始特征提取网络提取的特征，对输入图像中游戏道具所处的游戏环境进行分类；
所述方法还包括：
基于所述第一样本图像以及所述道具分类损失，对所述初始特征提取网络和所述初始道具分类网络进行第一训练，得到包括中间特征提取网络和目标道具分类网络的中间分类网络；
基于所述第一样本图像、所述第二样本图像以及所述环境分类损失，对所述中间特征提取网络和初始环境分类网络进行第二训练，得到目标特征提取网络和目标环境分类网络，所述第一目标分类网络包括所述目标特征提取网络和所述目标道具分类网络。
4.根据权利要求3所述的方法，所述环境分类损失包括：
第一损失，用于表征所述初始环境分类网络预测的游戏环境的类别与所述第一样本图像以及所述第二样本图像中游戏道具所处的游戏环境的真实类别之间的差异，
第二损失，用于表征所述初始环境分类网络对所述中间特征提取网络提取出的特征所属的游戏环境的类别的分辨能力。
5.根据权利要求4所述的方法，所述基于所述第一样本图像、所述第二样本图像以及所述环境分类损失，对所述中间特征提取网络和初始环境分类网络进行第二训练，得到目标特征提取网络和目标环境分类网络，包括：
固定所述中间特征提取网络，并基于所述第一损失、所述第一样本图像和所述第二样本图像对所述初始环境分类网络进行训练，得到所述目标环境分类网络；
固定所述目标环境分类网络，并基于所述第二损失、所述第一样本图像和所述第二样本图像对所述中间特征提取网络进行训练，得到所述目标特征提取网络。
6.根据权利要求2-5任一所述的方法，所述第一样本图像和所述第二样本图像基于预设条件从游戏图像中筛选得到，所述游戏图像通过对游戏区域成像得到，所述预设条件包括：从所述游戏图像中检测到所述游戏区域内发生与游戏道具相关的预设事件。
7.根据权利要求2-6任一所述的方法，所述方法还包括：
获取图像集合，所述图像集合中包括第一图像子集和第二图像子集，所述第一图像子集中的图像均包括第一标签，所述第二图像子集中的图像均不包括第一标签，所述第一标签用于表征游戏道具的类别；
将所述第一图像子集中的图像的第二标签与所述第二图像子集中的图像的第二标签标注为不同的第二标签，所述第二标签用于表征游戏道具所处的游戏环境的类别；
将所述第一图像子集中的图像确定为所述第一样本图像，
将所述第二图像子集中的图像确定为所述第二样本图像。
8.一种神经网络的训练方法，用于对第一初始分类网络进行训练，得到第一目标分类网络，所述第一目标分类网络用于对游戏道具进行分类；所述方法包括：
获取第一样本图像以及第二样本图像；
基于所述第一样本图像和第二样本图像对所述第一初始分类网络和第二初始分类网络进行联合训练，得到所述第一目标分类网络，所述第一初始分类网络与第二初始分类网络共用同一个初始特征提取网络；
所述第一初始分类网络用于基于所述初始特征提取网络从所述第一样本图像中提取的特征对所述第一样本图像中的游戏道具进行分类；
所述第二初始分类网络用于基于所述初始特征提取网络从所述第一样本图像以及所述第二样本图像中提取的特征对所述第一样本图像以及所述第二样本图像中的游戏道具所处的游戏环境进行分类。
9.根据权利要求8所述的方法，
所述第一初始分类网络基于道具分类损失进行训练，所述道具分类损失为所述第一初始分类网络基于第一样本图像的特征对所述第一样本图像中的游戏道具进行分类的分类损失；
所述第二初始分类网络基于环境分类损失进行训练，所述环境分类损失为所述第二初始分类网络基于所述第一样本图像以及所述第二样本图像的特征对所述第一样本图像以及所述第二样本图像中的游戏道具所处的游戏环境进行分类的分类损失。
10.根据权利要求9所述的方法，
所述第一初始分类网络包括初始特征提取网络，用于对输入图像进行特征提取；以及初始道具分类网络，用于基于所述初始特征提取网络提取出的特征对输入图像中的游戏道具进行分类；
所述第二初始分类网络包括所述初始特征提取网络，以及初始环境分类网络，用于基于所述初始特征提取网络提取出的特征，对输入图像中游戏道具所处的游戏环境进行分类；
所述对所述第一初始分类网络和第二初始分类网络进行联合训练，包括：
基于所述第一样本图像以及所述道具分类损失，对所述初始特征提取网络和所述初始道具分类网络进行第一训练，得到包括中间特征提取网络和目标道具分类网络的中间分类网络；
基于所述第一样本图像、所述第二样本图像以及所述环境分类损失，对所述中间特征提取网络和初始环境分类网络进行第二训练，得到目标特征提取网络和目标环境分类网络，所述第一目标分类网络包括所述目标特征提取网络和所述目标道具分类网络。
11.根据权利要求10所述的方法，所述环境分类损失包括：
第一损失，用于表征所述初始环境分类网络预测的游戏环境的类别与所述第一样本图像以及所述第二样本图像中游戏道具所处的游戏环境的真实类别之间的差异，
第二损失，用于表征所述初始环境分类网络对所述中间特征提取网络提取出的特征所属的游戏环境的类别的分辨能力。
12.根据权利要求11所述的方法，所述基于所述第一样本图像、所述第二样本图像以及所述环境分类损失，对所述中间特征提取网络和初始环境分类网络进行第二训练，得到目标特征提取网络和目标环境分类网络，包括：
固定所述中间特征提取网络，并基于所述第一损失、所述第一样本图像和所述第二样本图像对所述初始环境分类网络进行训练，得到所述目标环境分类网络；
固定所述目标环境分类网络，并基于所述第二损失、所述第一样本图像和所述第二样本图像对所述中间特征提取网络进行训练，得到所述目标特征提取网络。
13.根据权利要求9-12任一所述的方法，所述第一样本图像和所述第二样本图像基于预设条件从游戏图像中筛选得到，所述游戏图像通过对游戏区域成像得到，所述预设条件包括：从所述游戏图像中检测到所述游戏区域内发生与游戏道具相关的预设事件。
14.根据权利要求9-13任一所述的方法，所述方法还包括：
获取图像集合，所述图像集合中包括第一图像子集和第二图像子集，所述第一图像子集中的图像包括第一标签，所述第二图像子集中的图像不包括第一标签，所述第一标签用于表征游戏道具的类别；
将所述第一图像子集中的图像的第二标签与所述第二图像子集中的图像的第二标签标注为不同的第二标签，所述第二标签用于表征游戏道具所处的游戏环境的类别；
将所述第一图像子集中的图像确定为所述第一样本图像，
将所述第二图像子集中的图像确定为所述第二样本图像。
15.一种游戏道具分类装置，所述装置包括：
输入模块，用于将包括目标游戏道具的待处理图像输入预先训练的第一目标分类网络；
分类模块，用于获取所述第一目标分类网络输出的所述目标游戏道具的类别；
所述第一目标分类网络与第二目标分类网络通过对第一初始分类网络和第二初始分类网络进行联合训练得到，且所述第一初始分类网络与第二初始分类网络共用同一个初始特征提取网络；
所述第一初始分类网络用于基于所述初始特征提取网络从输入图像中提取的特征对所述输入图像中的游戏道具进行分类；
所述第二初始分类网络用于基于所述初始特征提取网络从输入图像中提取的特征对所述输入图像中的游戏道具所处的游戏环境进行分类。
16.一种神经网络的训练装置，用于对第一初始分类网络进行训练，得到第一目标分类网络，所述第一目标分类网络用于对游戏道具进行分类；所述装置包括：
样本图像获取模块，用于获取第一样本图像以及第二样本图像；
训练模块，用于基于所述第一样本图像和第二样本图像对所述第一初始分类网络和第二初始分类网络进行联合训练，得到所述第一目标分类网络，所述第一初始分类网络与第二初始分类网络共用同一个初始特征提取网络；
所述第一初始分类网络用于基于所述初始特征提取网络从所述第一样本图像中提取的特征对所述第一样本图像中的游戏道具进行分类；
所述第二初始分类网络用于基于所述初始特征提取网络从所述第一样本图像以及所述第二样本图像中提取的特征对所述第一样本图像以及所述第二样本图像中的游戏道具所处的游戏环境进行分类。
17.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至14任意一项所述的方法。
18.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至14任意一项所述的方法。
19.一种计算机程序，包括计算机可读代码，所述计算机可读代码在电子设备中执行时，使得所述电子设备中的处理器执行权利要求1至14任意一项所述的方法。
CN202180002742.6A 2021-09-27 2021-09-28 游戏道具分类及神经网络的训练方法和装置 Pending CN113853243A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10202110639U 2021-09-27
SG10202110639U 2021-09-27
PCT/IB2021/058828 WO2023047173A1 (en) 2021-09-27 2021-09-28 Methods and apparatuses for classifying game props and training neural network

Publications (1)

Publication Number Publication Date
CN113853243A true CN113853243A (zh) 2021-12-28

Family

ID=78982719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180002742.6A Pending CN113853243A (zh) 2021-09-27 2021-09-28 游戏道具分类及神经网络的训练方法和装置

Country Status (2)

Country Link
CN (1) CN113853243A (zh)
AU (1) AU2021240277A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023178205A1 (en) * 2022-03-16 2023-09-21 Aviagames, Inc. Automated computer game application classification based on a mixed effects model

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018211647A1 (en) * 2017-01-24 2019-08-08 Angel Group Co., Ltd. Chip recognizing and learning system
US11205319B2 (en) * 2019-06-21 2021-12-21 Sg Gaming, Inc. System and method for synthetic image training of a neural network associated with a casino table game monitoring system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023178205A1 (en) * 2022-03-16 2023-09-21 Aviagames, Inc. Automated computer game application classification based on a mixed effects model

Also Published As

Publication number Publication date
AU2021240277A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
CN109214421B (zh) 一种模型训练方法、装置、及计算机设备
CN108280455B (zh) 人体关键点检测方法和装置、电子设备、程序和介质
CN110008984B (zh) 一种基于多任务样本的目标欺诈交易模型训练方法和装置
US11294047B2 (en) Method, apparatus, and system for recognizing target object
CN111175318A (zh) 屏幕划痕碎裂检测方法及设备
CN109102324B (zh) 模型训练方法、基于模型的红包物料铺设预测方法及装置
CN112364851B (zh) 一种自动调制识别方法、装置、电子设备及存储介质
CN112861842A (zh) 基于ocr的案件文本识别方法及电子设备
CN110059212A (zh) 图像检索方法、装置、设备及计算机可读存储介质
CN113853243A (zh) 游戏道具分类及神经网络的训练方法和装置
CN113255766B (zh) 一种图像分类方法、装置、设备和存储介质
CN113454649B (zh) 目标检测方法、装置、电子设备和计算机可读存储介质
CN113129298B (zh) 文本图像的清晰度识别方法
CN116152576B (zh) 图像处理方法、装置、设备及存储介质
CN113111734B (zh) 一种水印分类模型训练方法及装置
CN114067401A (zh) 目标检测模型的训练及身份验证方法和装置
CN115620005A (zh) 一种图像识别方法、装置、设备及存储介质
CN115168575A (zh) 应用于审计领域的主语补全方法及相关设备
CN115004245A (zh) 目标检测方法、装置、电子设备和计算机存储介质
CN114240928A (zh) 板卡质量的分区检测方法、装置、设备及可读存储介质
CN113508391A (zh) 一种数据处理方法、装置和系统、介质和计算机设备
CN113228116A (zh) 图像识别方法和装置、图像生成方法和装置、神经网络的训练方法和装置
WO2023047173A1 (en) Methods and apparatuses for classifying game props and training neural network
CN115937617B (zh) 一种风险识别模型训练、风险控制方法、装置和设备
CN117094986B (zh) 基于小样本的自适应缺陷检测方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination