CN116391213A - 图像生成及检测方法和装置 - Google Patents

Abstract

本公开实施例提供一种图像生成及检测方法和装置，通过对包括非游戏道具对象作为目标对象的图像进行变换处理得到变换图像，再将变换图像叠加到游戏场景图像中，从而能够快速地生成包含所述目标对象的游戏场景图像，降低了图像采集成本。

Description

图像生成及检测方法和装置

相关申请的交叉引用

本专利申请要求于2021年9月23日提交的、申请号为10202110575V、发明名称为“图像生成及检测方法和装置”的新加坡专利申请的优先权，该申请的全文以引用的方式并入本文中。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及图像生成及检测方法和装置。

背景技术

目标检测是智能视频分析系统的重要一环。在游戏场景下，需要对游戏道具对象进行高准确率的检测，而对于非游戏道具对象(统称为foreign things)，不希望有误检的情况发生而影响系统的分析。

传统的方法通过采集包括的foreign things样本图像来对神经网络进行训练，提高神经网络的鲁棒性，从而减少误检。但是由于foreign things本身在真实场景中出现的概率较低，导致样本图像采集的成本较高。

发明内容

本公开提供一种图像生成及检测方法和装置。

根据本公开实施例的第一方面，提供一种图像生成方法，所述方法包括：获取游戏区域的第一图像；从所述第一图像中分割出包含目标对象的第二图像，其中，所述目标对象包括所述游戏区域内的非游戏道具对象；对所述第二图像进行变换处理，得到变换图像，所述变换图像中的目标对象与所述第二图像中的目标对象具有不同的展示状态属性；将所述变换图像叠加到预设的游戏场景图像中，得到包含所述目标对象的游戏场景图像，所述包含所述目标对象的游戏场景图像用于对初始神经网络进行训练，得到目标神经网络，所述目标神经网络用于基于图像检测游戏区域内的游戏道具对象。

在一些实施例中，所述获取游戏区域的第一图像，包括：获取对所述游戏区域进行成像得到的所述游戏区域的图像作为所述第一图像。

在一些实施例中，所述从所述第一图像中分割出包含目标对象的第二图像，包括：基于所述第一图像中所述目标对象的位置信息，从所述第一图像中分割出包含目标对象的第二图像；其中，所述位置信息通过对所述第一图像进行目标检测得到，或者根据预先标注的位置确定。

在一些实施例中，所述从所述第一图像中分割出包含目标对象的第二图像，包括：获取所述目标对象的参考图像；从所述第一图像中检测候选对象，并确定所述候选对象与所述参考图像中所述目标对象的相似度；在所述相似度大于预设的相似度阈值的情况下，将所述候选对象确定为所述目标对象，并从所述第一图像中分割出包含目标对象的第二图像。

在一些实施例中，所述目标对象包括所述游戏区域内的游戏道具对象；所述获取第一图像，包括：获取通过对所述游戏区域进行成像得到的候选图像对应的图像检测结果；在所述图像检测结果指示所述游戏区域内游戏道具对象的操作存在错误的情况下，将所述候选图像确定为所述第一图像。

在一些实施例中，所述图像检测结果中包括被操作错误的游戏道具对象的信息；所述从所述第一图像中分割出包含目标对象的第二图像，包括：基于所述被操作错误的游戏道具对象的信息，从所述第一图像中截取包括所述被操作错误的游戏道具对象的图像，并将所述被操作错误的游戏道具对象的图像作为所述第二图像。

在一些实施例中，通过以下至少一种方式对所述第二图像进行变换处理，得到变换图像：从所述第二图像中截取所述目标对象上的目标元素，对所述目标元素进行变换处理，将经变换处理的目标元素叠加到所述第二图像上，得到变换图像，经变换处理的所述目标元素与所述第二图像中的所述目标元素具有不同的展示状态属性；从图像库中获取与所述目标对象属于同一类别的同类对象的图像，并将所述同类对象的图像确定为所述变换图像。

在一些实施例中，所述方法还包括：基于包含所述目标对象的游戏场景图像对所述初始神经网络进行训练，得到所述目标神经网络。

在一些实施例中，所述基于包含所述目标对象的游戏场景图像对所述初始神经网络进行训练，得到所述目标神经网络，包括：基于游戏道具对象的图像对所述初始神经网络进行第一训练，得到中间神经网络；基于包含所述目标对象的游戏场景图像对所述中间神经网络进行第二训练，得到所述目标神经网络。

根据本公开实施例的第二方面，提供一种检测方法，所述方法包括：获取包括游戏道具对象的待处理图像；将所述待处理图像输入预先训练的目标神经网络，获取所述目标神经网络输出的所述游戏道具对象的检测结果；其中，所述目标神经网络基于样本图像训练得到，所述样本图像基于本公开任一实施例所述的图像生成方法生成。

根据本公开实施例的第三方面，提供一种图像生成装置，所述装置包括：第一获取模块，用于获取游戏区域的第一图像；图像分割模块，用于从所述第一图像中分割出包含目标对象的第二图像，其中，所述目标对象包括所述游戏区域内的非游戏道具对象；图像变换模块，用于对所述第二图像进行变换处理，得到变换图像，所述变换图像中的目标对象与所述第二图像中的目标对象具有不同的属性；叠加模块，用于将所述变换图像叠加到预设的游戏场景图像中，得到包含所述目标对象的游戏场景图像，所述包含所述目标对象的游戏场景图像用于对初始神经网络进行训练，得到目标神经网络，所述目标神经网络用于基于图像检测游戏区域内的游戏道具对象。

在一些实施例中，所述第一获取模块用于：获取对所述游戏区域进行成像得到的所述游戏区域的图像作为所述第一图像。

在一些实施例中，所述图像分割模块用于：基于所述第一图像中所述目标对象的位置信息，从所述第一图像中分割出包含目标对象的第二图像；其中，所述位置信息通过对所述第一图像进行目标检测得到，或者根据预先标注的位置确定。

在一些实施例中，所述图像分割模块包括：参考图像获取单元，用于获取所述目标对象的参考图像；相似度确定单元，用于从所述第一图像中检测候选对象，并确定所述候选对象与所述参考图像中所述目标对象的相似度；分割单元，用于在所述相似度大于预设的相似度阈值的情况下，将所述候选对象确定为所述目标对象，并从所述第一图像中分割出包含目标对象的第二图像。

在一些实施例中，所述目标对象包括所述游戏区域内的游戏道具对象；所述第一获取模块包括：检测结果获取单元，用于获取通过对所述游戏区域进行成像得到的候选图像对应的图像检测结果；图像确定单元，用于在所述图像检测结果指示所述游戏区域内游戏道具对象的操作存在错误的情况下，将所述候选图像确定为所述第一图像。

在一些实施例中，所述图像检测结果中包括被操作错误的游戏道具对象的信息；所述图像分割模块用于：基于所述被操作错误的游戏道具对象的信息，从所述第一图像中截取包括所述被操作错误的游戏道具对象的图像，并将所述被操作错误的游戏道具对象的图像作为所述第二图像。

在一些实施例中，所述图像变换模块用于通过以下至少一种方式对所述第二图像进行变换处理，得到变换图像：从所述第二图像中截取所述目标对象上的目标元素，对所述目标元素进行变换处理，将经变换处理的目标元素叠加到所述第二图像上，得到变换图像，经变换处理的所述目标元素与所述第二图像中的所述目标元素具有不同的展示状态属性；从图像库中获取与所述目标对象属于同一类别的同类对象的图像，并将所述同类对象的图像确定为所述变换图像。

在一些实施例中，所述装置还包括：训练模块，用于基于包含所述目标对象的游戏场景图像对所述初始神经网络进行训练，得到所述目标神经网络。

在一些实施例中，所述训练模块包括：第一训练单元，用于基于游戏道具对象的图像对所述初始神经网络进行第一训练，得到中间神经网络；第二训练单元，用于基于包含所述目标对象的游戏场景图像对所述中间神经网络进行第二训练，得到所述目标神经网络。

根据本公开实施例的第四方面，提供一种检测装置，所述装置包括：第二获取模块，用于获取包括游戏道具对象的待处理图像；输入模块，用于将所述待处理图像输入预先训练的目标神经网络，获取所述目标神经网络输出的所述游戏道具对象的检测结果；其中，所述目标神经网络基于样本图像训练得到，所述样本图像基于本公开任一实施例所述的图像生成装置生成。

根据本公开实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。

根据本公开实施例的第六方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。

本公开实施例通过对包括非游戏道具对象作为目标对象的图像进行变换处理得到变换图像，再将变换图像叠加到游戏场景图像中，从而能够快速地生成包含所述目标对象的游戏场景图像，降低了图像采集成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1A是一些实施例的游戏场景的示意图。

图1B是一些实施例的游戏区域的示意图。

图2是本公开实施例的图像生成方法的流程图。

图3A、图3B和图3C分别是本公开实施例的变换图像的示意图。

图4是本公开实施例的检测方法的流程图。

图5是本公开实施例的图像生成装置的框图。

图6是本公开实施例的检测装置的框图。

图7是本公开实施例的计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使本技术领域的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。

如图1A所示，是一种游戏场景的示意图。玩家A和玩家B可分别落座于桌前进行游戏，桌面上包括一游戏区域103，如图中灰色椭圆形区域所示。可以在游戏区域周围设置一个或多个图像采集装置101，用于对游戏区域成像，以获取玩家A和玩家B游戏过程中的游戏区域的图像。例如，本实施例中共设置3个图像采集装置101，分别位于游戏区域的上方以及游戏区域的两侧。图像采集装置101可以将采集到的图像发送至服务器102进行处理，以便基于图像检测游戏道具对象的信息，并基于检测出的游戏道具对象的信息，判断对游戏道具对象执行的操作是否符合预设的游戏规则。例如，可以基于1帧图像确定游戏道具对象的摆放位置是否符合游戏规则，或者基于多帧图像确定游戏道具对象的摆放顺序是否符合游戏规则。本领域技术人员可以理解，本实施例仅为示例性说明，并非用于限制本公开，本公开实施例的方案还可应用于其他游戏场景。

在游戏场景下，需要对游戏道具对象进行高准确率的检测。然而，检测过程可能受到非游戏道具对象的干扰。如图1B所示，在游戏道具对象为扑克牌的情况下，游戏区域103内可能包括会员卡，检测系统可能将会员卡误检为扑克牌，从而判定游戏区域内摆放的扑克牌的数量和位置错误。尤其是在游戏道具对象和/或非游戏道具对象存在遮挡，环境光线较暗，或者非游戏道具对象的特征与游戏道具对象的特征比较相似等情况下，误检率会大大提高。为了减少误检的情况，可以采用包括非游戏道具对象的样本图像对神经网络进行训练，再通过训练好的神经网络从游戏区域的图像中检测游戏道具对象。然而，由于非游戏道具对象在游戏场景中出现的概率较低，相关技术中一般是通过从海量的真实图像中捞取获取包括非游戏道具对象的样本图像，或者构造真实的游戏场景，通过人工摆放非游戏道具对象来采集样本图像。上述方式的图像采集难度较大，采集成本较高，难以在短时间内采集到足够数量的包括非游戏道具对象的样本图像来训练神经网络。

基于此，本公开实施例提供一种检测方法，如图2所示，所述方法包括：

步骤201：获取游戏区域的第一图像；

步骤202：从所述第一图像中分割出包含目标对象的第二图像，其中，所述目标对象包括所述游戏区域内的非游戏道具对象；

步骤203：对所述第二图像进行变换处理，得到变换图像，变换图像中的目标对象与所述第二图像中的目标对象具有不同的展示状态属性；

步骤204：将所述变换图像叠加到预设的游戏场景图像中，得到包含所述目标对象的游戏场景图像，所述包含所述目标对象的游戏场景图像用于对初始神经网络进行训练，得到目标神经网络，所述目标神经网络用于基于图像检测游戏区域内的游戏道具对象。

在步骤201中，游戏区域可以包括游戏道具的操作区域，所述游戏道具是与游戏内容相关的对象，包括但不限于扑克牌、骰子、游戏币、用于表示游戏币赔付比例的游戏标志物等中的至少一种。

游戏区域的第一图像中可能包括游戏道具对象，也可能包括非游戏道具对象，所述非游戏道具对象可以包括但不限于会员卡、手机、钱包、钥匙、水杯、瓶盖、烟灰缸等中的一者或多者。非游戏道具对象是与游戏内容无关的对象，一般来说，非游戏道具对象在游戏区域出现的概率低于游戏道具对象在游戏区域出现的概率。例如，100张游戏场景的图像中可能只有1张图像包括非游戏道具对象。可以将非游戏道具对象确定为目标对象，也可以将非游戏道具对象与特定的游戏道具对象均确定为目标对象。所述特定的游戏道具对象可以包括但不限于以下至少一者：识别错误率高于预设错误率阈值的游戏道具对象、在游戏区域的图像中出现频率低于预设频率的游戏道具对象、游戏区域的特定子区域中的游戏道具对象等。

可选地，所述游戏区域的第一图像中不包括所述游戏道具对象，只包括非游戏道具对象。由于一般不需要对非游戏道具对象的具体类别进行识别，只需要知道图像中的对象是或者不是游戏道具对象，因此，可以将非游戏道具对象的类别确定为同一类别，而各种游戏道具对象则分别确定具体类别。例如，在游戏区域包括会员卡、手机、钱包、扑克牌、游戏币这5种物品的情况下，可以将扑克牌确定为第一类别，将游戏币确定为第二类别，将会员卡、手机和钱包确定为第三类别。在这种情况下，无需对游戏区域的第一图像中非游戏道具的类别进行标注，降低了图像处理成本。

在一些实施例中，游戏区域的第一图像可以通过设置在游戏区域周围的图像采集装置对所述游戏区域进行成像得到。所述第一图像可以是单张图像，也可以是视频流中的一帧图像帧。可以通过单个图像采集装置采集得到第一图像，也可以由多个图像采集装置采集原始图像，并对各个图像采集装置采集的原始图像进行同步，再对同步后的原始图像进行融合，得到一张第一图像。

第一图像可以是游戏区域进行游戏的过程中实时采集到的图像，也可以是在游戏区域未进行游戏的情况下，在游戏区域内摆放目标对象后，从游戏区域采集到的图像。这里只需要获取少量的包含目标对象的图像，图像获取难度和成本都较低。

在另一些实施例中，也可以将对所述游戏区域进行成像得到的图像作为候选图像，并获取候选图像对应的图像检测结果。在所述图像检测结果指示所述游戏区域内游戏道具对象的操作存在错误的情况下，将所述候选图像确定为所述第一图像。本实施例中的候选图像可以是在游戏过程中实时采集到的图像，也可以是对游戏过程进行录制并保存的图像。

所述图像检测结果可以是对候选图像中的游戏道具的操作的检测结果，例如，包括但不限于游戏道具的摆放位置、摆放顺序、数量等中的至少一项的检测结果。每获取到至少一帧候选图像，可以对获取的候选图像进行检测。如果检测到该候选图像中的游戏道具对象的操作存在错误，则输出报警信息。因此，在获取到针对候选图像的报警信息的情况下，可以将该候选图像确定为第一图像。

报警信息所针对的图像一般包括两类，第一类是该图像中对游戏道具对象的操作确实不符合游戏规则，第二类是将图像中的目标对象误认为游戏道具对象，从而导致误检(即检测结果与真实结果不符)。可以从报警信息所针对的图像中筛选出第二类图像，将第二类图像确定为包含目标对象的第二图像。所述筛选过程可以由人工实现。例如，获取到针对图像P1的报警信息和针对图像P2的报警信息。经过人工排查发现，在图像P1中，游戏参与者将游戏道具(例如扑克牌)摆放到了错误的位置；在图像P2中，游戏参与者在游戏区域内的道具操作区域之外摆放了一张会员卡，这张会员卡被错误地识别为扑克牌，导致检测程序误认为扑克牌被摆放到了道具操作区域之外，从而输出了游戏道具位置摆放错误的报警信息。因此，可以仅将图像P2确定为第一图像，而不将图像P1确定为第一图像。

在其他实施例中，还可以获取目标对象对应的关键字，基于所述关键字从图像数据库中搜索得到包含目标对象的第二图像。所述图像数据库中的图像可以预先与所述关键字相关联。所述关键字可以包括用于表征目标对象的类别的关键字，例如，“钱包”、“钥匙”等，还可以包括用于表征目标对象的形状、尺寸、颜色、材质、纹理等特征的关键字，例如，“圆形薄片”、“小于10cm”、“金属”、“条纹”等。

在步骤202中，在直接通过对游戏区域进行成像得到第一图像的情况下，可以从所述第一图像中分割出包含目标对象的第二图像。在一些实施例中，可以直接基于第一图像中目标对象的位置信息，从所述第一图像中分割出包含目标对象的第二图像。所述位置信息可以通过对第一图像进行目标检测确定，也可以根据预先标注的位置确定。其中，所述目标检测可以由神经网络实现，所述预先标注的位置可以是人工标注或者自动标注的位置。可以通过上述任意一种方式获取目标对象的检测框的位置，再基于检测框的位置从第一图像中截取出包含目标对象的第二图像。所述包含目标对象的第二图像中可以仅包括目标对象，而不包括目标对象以外的其他对象。

在一些实施例中，可以获取所述目标对象的参考图像；从所述第一图像中检测候选对象，并确定所述候选对象与所述参考图像中所述目标对象的相似度；在所述相似度大于预设的相似度阈值的情况下，将所述候选对象确定为所述目标对象，并从所述第一图像中分割出包含目标对象的第二图像。通过这种方式，可以获取特定类别的包含目标对象的第二图像。例如，可以将会员卡的图像作为参考图像，并选取与会员卡的参考图像相似度较高的候选对象作为目标对象，这样，可以从第一图像中分割出会员卡的图像。

在将对游戏区域进行成像得到的图像作为候选图像，并基于图像检测结果从候选图像中确定第一图像的情况下，可以基于所述被操作错误的游戏道具对象的信息，从所述第一图像中截取包括所述被操作错误的游戏道具对象的图像，并将所述被操作错误的游戏道具对象的图像作为所述第二图像。其中，被操作错误的游戏道具对象的信息可以包括被操作错误的游戏道具对象的位置信息，还可以包括其他信息，例如，数量信息和/或类别信息。可以将被操作错误的游戏道具对象的信息写入图像检测日志，以便在需要时从图像检测日志中读取相应的信息。例如，在被操作错误的游戏道具对象的信息包括被操作错误的游戏道具对象的位置信息的情况下，可以从图像检测日志中读取该位置信息，并基于读取到的位置信息从第一图像中的对应位置处截取游戏道具对象的图像。

在步骤203中，可以对所述第二图像进行变换处理，得到变换图像。通过变换处理，可以生成具有不同的展示状态属性的多张变换图像。如图3A所示，对所述第二图像中的目标对象进行变换处理，得到所述变换图像。例如，可以对第二图像进行旋转，例如将第二图像顺时针旋转90度，得到编号为(A1)的图像。可以对第二图像进行色彩变换，得到编号为(A2)的图像。对第二图像进行水平翻转，得到编号为(A3)的图像。对第二图像进行尺度变换，得到编号为(A4)的图像。对第二图像进行裁剪(即更改第二图像的完整度)，得到编号为(A5)的图像。更改第二图像的畸变程度，得到编号为(A6)的图像。更改第二图像的透明度，得到编号为(A7)的图像。

上述变换处理方式仅为示例性说明，本公开所采用的变换处理方式不限于此。例如，图像中的旋转方向除了顺时针旋转之外，还可以是逆时针旋转，旋转角度除了90度之外，还可以是其他角度。又例如，图像的颜色除了图中所示的颜色之外，还可以是其他颜色。图像的翻转方向除了水平翻转以外，还可以是垂直翻转，或者以任意角度的直线为转轴进行翻转。图像的尺度变换方式除了缩小尺寸，还可以是放大尺寸。图像还可以采用其他裁剪方式进行裁剪。图像的畸变方式除了桶形畸变，还可以是枕形畸变或者其他类型的畸变。图像的透明度除了图中所示之外，还可以是其他透明度。除了上述变换处理方式之外，还可以通过更改图像的对比度、亮度为所述第二图像随机添加噪声等方式获取变换图像。每张变换图像可以通过上述一种或多种处理方式得到。例如，可以对第二图像进行旋转，得到一张变换图像；还可以对第二图像进行旋转和色彩变换，得到另一张变换图像。

如图3B所示，可以从所述第二图像中截取所述目标对象上的目标元素，对所述目标元素进行变换处理，将经变换处理的目标元素叠加到所述第二图像上，得到变换图像，经变换处理的所述目标元素与所述第二图像中的所述目标元素具有不同的展示状态属性。所述目标元素可以是构成目标对象的任意元素，例如，可以是目标对象边缘轮廓的一部分，或者是目标对象包括的多个字符中的部分字符，或者是人、动物等目标对象的某个身体部位(例如眼睛、头部)等。

以目标元素是目标对象包括的多个字符中的部分字符为例，通过减少第二图像中的字母元素“VIP”的数量，并增加图像中菱形符号元素的数量，得到编号为(B1)的图像。通过对第二图像中的字母元素“VIP”进行旋转，得到编号为(B2)的图像。通过对第二图像中的菱形符号元素进行色彩变换，得到编号为(B3)的图像。通过对第二图像中的字母元素“VIP”进行平移，得到编号为(B4)的图像。通过对第二图像中的字母元素“VIP”进行尺度变换，得到编号为(B5)的图像。通过对第二图像中的菱形符号元素进行裁剪(即更改菱形符号元素的完整度)，得到编号为(B6)的图像。通过更改第二图像中的字母元素“VIP”所在图像区域的透明度，得到编号为(B7)的图像。除了图中所示的方式之外，还可以通过其他方式获取变换图像，例如，更改目标对象的亮度、为目标对象所在的图像区域添加随机噪声、改变目标对象的畸变程度等。对目标对象的旋转、翻转、平移、数量变换、尺度变换等方式也不限于图中所示。

还可以从图像库中获取与所述目标对象属于同一类别的同类对象的图像，并将所述同类对象的图像确定为所述变换图像。如图3C所示，在目标对象为会员卡的情况下，可以从图像数据库中搜索其他的会员卡，分别如图中编号为(C1)、(C2)和(C3)的图像所示。搜索到的会员卡与作为目标对象的会员卡具有不同的特征，所述特征包括但不限于字体、字号、颜色、尺寸、图案等中的至少一者。

在步骤204中，可以将变换图像叠加到预设的游戏场景图像中，得到包含所述目标对象的游戏场景图像。所述游戏场景图像可以是在游戏过程中采集得到的游戏区域的图像，游戏场景图像中既可以包括游戏场景的背景图像，又可以包括游戏道具的图像，还可以包括非游戏道具的图像。

在一些实施例中，针对非游戏道具类的目标对象，在目标对象的属性与游戏道具对象的属性相似的情况下，目标对象造成误检的概率较高。因此，可以基于所述游戏道具对象的属性对所述第二图像进行变换处理，得到变换图像，以使所述变换图像中所述目标对象的属性与所述游戏道具对象的属性之间的相似度大于预设的第一相似度阈值。其中，所述相似度可以是一个维度的属性的相似度，也可以是各个维度的属性的综合相似度。例如，游戏道具对象的形状是长度为A，宽度为B的矩形，则生成的变换图像中所述目标对象的长度与A的邻域范围内，宽度在B的邻域范围内。又例如，游戏道具对象的透明度为50％，则生成的增广图像中所述目标对象的透明度可以在40％到60％之间。

在另一些实施例中，针对非游戏道具类的目标对象，还可以基于游戏道具对象的属性对所述第二图像进行变换处理，得到变换图像，以使所述变换图像中第一变换图像所占的比例达到预设的比例阈值，其中，第一变换图像中所述目标对象的属性与所述游戏道具对象的属性之间的相似度大于预设的第一相似度阈值。例如，游戏道具对象的图像透明度为50％，则生成的增广图像中透明度可以在40％到60％之间的增广图像占全部增广图像的70％。

在一些实施例中，目标对象既包括与游戏道具对象特征相似的非游戏道具对象，又包括与游戏道具对象特征差异较大的非游戏道具对象，而将与游戏道具对象特征差异较大的非游戏道具对象误检测为游戏道具对象的概率较小。例如，通常不会将瓶盖误检为扑克牌。因此，样本图像中并不需要包括所有的非游戏道具对象。可以仅筛选出与游戏道具对象相似度较高的非游戏道具对象作为目标对象。

具体来说，可以从所述第一图像中检测候选对象，所述候选对象为非游戏道具对象；确定所述候选对象与所述游戏道具对象的相似度；在所述相似度大于预设的第二相似度阈值的情况下，将所述候选对象确定为所述目标对象。所述相似度可以是一个维度的属性的相似度，也可以是各个维度的属性的综合相似度。例如，所述相似度可以是形状维度的相似度，也可以包括形状维度和色彩维度这两个维度的相似度。

在得到变换图像之后，还可以对变换图像进行高斯滤波等图像处理，使得变换图像与游戏场景图像的叠加部分更加平滑真实。

在一些实施例中，可以基于包含所述目标对象的游戏场景图像对所述初始神经网络进行训练，得到所述目标神经网络。由于包含所述目标对象的游戏场景图像通过目标对象对应的变换图像与游戏场景图像叠加得到，因此，本公开实施例的方案可以在不增加成本情况下，短时间内获得数量足够的包含所述目标对象的游戏场景图像用于神经网络的训练，降低了样本图像的获取成本，提高了目标神经网络的训练效率。此外，通过使所述变换图像中所述目标对象的属性与所述游戏道具对象的属性之间具有较高的相似度，可以生成导致误检的概率较高的样本图像，从而提高训练得到的目标神经网络的准确度。

在训练过程中，可以基于游戏道具对象的图像对所述初始神经网络进行第一训练，得到中间神经网络，再基于包含所述目标对象的游戏场景图像对所述中间神经网络进行第二训练，得到所述目标神经网络。这样，可以减少训练过程中所需的包含所述目标对象的游戏场景图像的数量，并提高目标神经网络的准确度。

本公开实施例可用于游戏场所场景，在游戏场所场景中，游戏道具对象可以包括扑克牌、游戏币、标志物(marker)等，这些道具在图像中出现的概率较高，而瓶盖、会员卡等与赌局无关的其他物品(foreign things)在图像中出现的概率较低。通过本公开实施例的方案可以从已有的少量foreign things图像中将包含foreign things样本的部分截取下来，再通过数据增强方法对foreign things样本图像进行复制，生成具有细微差别的多个样本图像，最后将生成的样本图像随机叠加到其他不包含foreign things样本的图像中，形成虚拟的foreign things样本图像。

本公开实施例还提供一种检测方法，如图4所示，所述方法包括：

步骤401：获取包括游戏道具对象的待处理图像；

步骤402：将所述待处理图像输入预先训练的目标神经网络，获取所述目标神经网络输出的所述游戏道具对象的检测结果；

其中，所述目标神经网络基于样本图像训练得到，所述样本图像基于本公开任一实施例所述的图像生成方法生成。

上述检测方法的具体细节详见前述图像生成方法的实施例，此处不再赘述。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

如图5所示，本公开实施例还提供一种图像生成装置，所述装置包括：

第一获取模块501，用于获取游戏区域的第一图像；

图像分割模块502，用于从所述第一图像中分割出包含目标对象的第二图像，其中，所述目标对象包括所述游戏区域内的非游戏道具对象；

图像变换模块503，用于对所述第二图像进行变换处理，得到变换图像，所述变换图像中的目标对象与所述第二图像中的目标对象具有不同的属性；

叠加模块504，用于将所述变换图像叠加到预设的游戏场景图像中，得到包含所述目标对象的游戏场景图像，所述包含所述目标对象的游戏场景图像用于对初始神经网络进行训练，得到目标神经网络，所述目标神经网络用于基于图像检测游戏区域内的游戏道具对象。

在一些实施例中，所述第一获取模块501用于：获取对所述游戏区域进行成像得到的所述游戏区域的图像作为所述第一图像。

在一些实施例中，所述图像分割模块502用于：基于所述第一图像中所述目标对象的位置信息，从所述第一图像中分割出包含目标对象的第二图像；其中，所述位置信息通过对所述第一图像进行目标检测得到，或者根据预先标注的位置确定。

在一些实施例中，所述图像分割模块502包括：参考图像获取单元，用于获取所述目标对象的参考图像；相似度确定单元，用于从所述第一图像中检测候选对象，并确定所述候选对象与所述参考图像中所述目标对象的相似度；分割单元，用于在所述相似度大于预设的相似度阈值的情况下，将所述候选对象确定为所述目标对象，并从所述第一图像中分割出包含目标对象的第二图像。

在一些实施例中，所述目标对象包括所述游戏区域内的游戏道具对象；所述第一获取模块包括：检测结果获取单元，用于获取通过对所述游戏区域进行成像得到的候选图像对应的图像检测结果；图像确定单元，用于在所述图像检测结果指示所述游戏区域内游戏道具对象的操作存在错误的情况下，将所述候选图像确定为所述第一图像。

在一些实施例中，所述图像检测结果中包括被操作错误的游戏道具对象的信息；所述图像分割模块用于：基于所述被操作错误的游戏道具对象的信息，从所述第一图像中截取包括所述被操作错误的游戏道具对象的图像，并将所述被操作错误的游戏道具对象的图像作为所述第二图像。

在一些实施例中，所述图像变换模块用于通过以下至少一种方式对所述第二图像进行变换处理，得到变换图像：从所述第二图像中截取所述目标对象上的目标元素，对所述目标元素进行变换处理，将经变换处理的目标元素叠加到所述第二图像上，得到变换图像，经变换处理的所述目标元素与所述第二图像中的所述目标元素具有不同的展示状态属性；从图像库中获取与所述目标对象属于同一类别的同类对象的图像，并将所述同类对象的图像确定为所述变换图像。

在一些实施例中，所述装置还包括：训练模块，用于基于包含所述目标对象的游戏场景图像对所述初始神经网络进行训练，得到所述目标神经网络。

在一些实施例中，所述训练模块包括：第一训练单元，用于基于游戏道具对象的图像对所述初始神经网络进行第一训练，得到中间神经网络；第二训练单元，用于基于包含所述目标对象的游戏场景图像对所述中间神经网络进行第二训练，得到所述目标神经网络。

如图6所示，本公开实施例还提供一种检测装置，所述装置包括：

第二获取模块601，用于获取包括游戏道具对象的待处理图像；

输入模块602，用于将所述待处理图像输入预先训练的目标神经网络，获取所述目标神经网络输出的所述游戏道具对象的检测结果；

其中，所述目标神经网络基于样本图像训练得到，所述样本图像基于本公开任一实施例所述的图像生成装置生成。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述任一实施例所述的方法。

图7示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器701、存储器702、输入/输出接口703、通信接口704和总线705。其中处理器701、存储器702、输入/输出接口703和通信接口704通过总线705实现彼此之间在设备内部的通信连接。

处理器701可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。处理器701还可以包括显卡，所述显卡可以是Nvidia titan X显卡或者1080Ti显卡等。

存储器702可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器702可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器702中，并由处理器701来调用执行。

输入/输出接口703用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口704用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线705包括一通路，在设备的各个组件(例如处理器701、存储器702、输入/输出接口703和通信接口704)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器701、存储器702、输入/输出接口703、通信接口704以及总线705，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的方法。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims (15)

1.一种图像生成方法，所述方法包括：

获取游戏区域的第一图像；

从所述第一图像中分割出包含目标对象的第二图像，其中，所述目标对象包括所述游戏区域内的非游戏道具对象；

对所述第二图像进行变换处理，得到变换图像，所述变换图像中的目标对象与所述第二图像中的目标对象具有不同的展示状态属性；

将所述变换图像叠加到预设的游戏场景图像中，得到包含所述目标对象的游戏场景图像，所述包含所述目标对象的游戏场景图像用于对初始神经网络进行训练，得到目标神经网络，所述目标神经网络用于基于图像检测游戏区域内的游戏道具对象。

2.根据权利要求1所述的方法，其中，所述获取游戏区域的第一图像，包括：

获取对所述游戏区域进行成像得到的所述游戏区域的图像作为所述第一图像。

3.根据权利要求2所述的方法，其中，所述从所述第一图像中分割出包含目标对象的第二图像，包括：

基于所述第一图像中所述目标对象的位置信息，从所述第一图像中分割出包含目标对象的第二图像；

其中，所述位置信息通过以下方式之一得到：对所述第一图像进行目标检测，以及根据预先标注的位置确定。

4.根据权利要求2所述的方法，其中，所述从所述第一图像中分割出包含目标对象的第二图像，包括：

获取所述目标对象的参考图像；

从所述第一图像中检测候选对象，并确定所述候选对象与所述参考图像中所述目标对象的相似度；

在所述相似度大于预设的相似度阈值的情况下，将所述候选对象确定为所述目标对象，并从所述第一图像中分割出包含目标对象的第二图像。

5.根据权利要求1所述的方法，其中，所述获取游戏区域的第一图像，包括：

获取候选图像对应的图像检测结果，所述候选图像通过对所述游戏区域进行成像得到；

在所述图像检测结果指示所述游戏区域内游戏道具对象的操作存在错误的情况下，将所述候选图像确定为所述第一图像。

6.根据权利要求5所述的方法，其中，所述图像检测结果中包括被操作错误的游戏道具对象的信息；所述从所述第一图像中分割出包含目标对象的第二图像，包括：

基于所述被操作错误的游戏道具对象的信息，从所述第一图像中截取包括所述被操作错误的游戏道具对象的图像，并

将所述被操作错误的游戏道具对象的图像作为所述第二图像。

7.根据权利要求1-6任一所述的方法，其中，通过以下至少一种方式对所述第二图像进行变换处理，得到变换图像：

从所述第二图像中截取所述目标对象上的目标元素，对所述目标元素进行变换处理，将经变换处理的目标元素叠加到所述第二图像上，得到变换图像，经变换处理的所述目标元素与所述第二图像中的所述目标元素具有不同的展示状态属性；

从图像库中获取与所述目标对象属于同一类别的同类对象的图像，并将所述同类对象的图像确定为所述变换图像。

8.根据权利要求1-7任一所述的方法，其中，所述方法还包括：

基于包含所述目标对象的游戏场景图像对所述初始神经网络进行训练，得到所述目标神经网络。

9.根据权利要求8所述的方法，其中，所述基于包含所述目标对象的游戏场景图像对所述初始神经网络进行训练，得到所述目标神经网络，包括：

基于游戏道具对象的图像对所述初始神经网络进行第一训练，得到中间神经网络；

基于包含所述目标对象的游戏场景图像对所述中间神经网络进行第二训练，得到所述目标神经网络。

10.一种检测方法，所述方法包括：

获取包括游戏道具对象的待处理图像；

将所述待处理图像输入预先训练的目标神经网络，获取所述目标神经网络输出的所述游戏道具对象的检测结果；

其中，所述目标神经网络基于样本图像训练得到，所述样本图像基于权利要求1-9任一所述的图像生成方法生成。

11.一种图像生成装置，所述装置包括：

第一获取模块，用于获取游戏区域的第一图像；

图像分割模块，用于从所述第一图像中分割出包含目标对象的第二图像，其中，所述目标对象包括所述游戏区域内的非游戏道具对象；

图像变换模块，用于对所述第二图像进行变换处理，得到变换图像，所述变换图像中的目标对象与所述第二图像中的目标对象具有不同的属性；

叠加模块，用于将所述变换图像叠加到预设的游戏场景图像中，得到包含所述目标对象的游戏场景图像，所述包含所述目标对象的游戏场景图像用于对初始神经网络进行训练，得到目标神经网络，所述目标神经网络用于基于图像检测游戏区域内的游戏道具对象。

12.一种检测装置，所述装置包括：

第二获取模块，用于获取包括游戏道具对象的待处理图像；

输入模块，用于将所述待处理图像输入预先训练的目标神经网络，获取所述目标神经网络输出的所述游戏道具对象的检测结果；

其中，所述目标神经网络基于样本图像训练得到，所述样本图像基于权利要求11所述的图像生成装置生成。

13.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至10任意一项所述的方法。

14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至10任意一项所述的方法。

15.一种计算机程序，包括计算机可读代码，当所述计算机可读代码在电子设备中的处理器上运行时，所述处理器执行用于实现权利要求1至10任意一项所述的方法。

Images