CN116077924A - 游戏灯效控制方法、装置、设备及介质 - Google Patents

游戏灯效控制方法、装置、设备及介质 Download PDF

Info

Publication number
CN116077924A
CN116077924A CN202310385556.6A CN202310385556A CN116077924A CN 116077924 A CN116077924 A CN 116077924A CN 202310385556 A CN202310385556 A CN 202310385556A CN 116077924 A CN116077924 A CN 116077924A
Authority
CN
China
Prior art keywords
game
skill
light effect
action
icons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310385556.6A
Other languages
English (en)
Other versions
CN116077924B (zh
Inventor
刘世杰
由杰
吴文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhiyan Technology Co Ltd
Shenzhen Qianyan Technology Co Ltd
Original Assignee
Shenzhen Zhiyan Technology Co Ltd
Shenzhen Qianyan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhiyan Technology Co Ltd, Shenzhen Qianyan Technology Co Ltd filed Critical Shenzhen Zhiyan Technology Co Ltd
Priority to CN202310385556.6A priority Critical patent/CN116077924B/zh
Publication of CN116077924A publication Critical patent/CN116077924A/zh
Application granted granted Critical
Publication of CN116077924B publication Critical patent/CN116077924B/zh
Priority to US18/473,225 priority patent/US12011661B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/20—Controlling the colour of the light
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/155—Coordinated control of two or more light sources
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及一种游戏灯效控制方法、装置、设备及介质，所述方法包括：获取连续时序中呈现的各个游戏画面，对所述各个游戏画面中的游戏动作图标进行目标检测以确定所述游戏动作图标处于触发状态；基于预设的游戏动作识别模型识别处于触发状态中的所述游戏动作图标相对应的图框内容，所述图框内容表征各个游戏人物相对应的游戏动作；基于所述游戏动作图标相对应的图框内容的识别结果确定相应的灯效类型；基于所述灯效类型生成相对应的灯效控制指令，调用所述灯效控制指令输入至照明设备中的灯效控制电路以展示与所述灯效类型相对应的游戏灯效。本申请能够将灯光效果与实时的游戏技能动作进行适应性匹配，带给用户独特的游戏灯光效果互动体验。

Description

游戏灯效控制方法、装置、设备及介质
技术领域
本申请涉及照明设备控制技术领域，尤其涉及一种游戏灯效控制方法、装置、设备及介质。
背景技术
随着人们生活质量的提高，对物质生活有了更高的要求，因此智能家居得以迅猛发展，越来越多的人开始使用智能家居。而照明设备作为智能家居的重要组成部分，人们对它的要求逐渐不再满足于单纯的照明功能。
现有技术中，通过检测电子设备上运行的游戏应用程序，获取游戏用户的鼠标、键盘以及游戏手柄等操作信息，根据游戏用户的操作信息确定电竞显示器上灯具的灯光效果，由于操作信息反映游戏状态及用户在游戏中的实际动作等信息，因此，根据操作信息确定灯光效果，可以使灯光效果与实时的游戏状态相适应，使得灯光效果与实时的游戏状态相适应，从而营造更好的游戏氛围。
按照现有技术进行灯效控制和展示，其占用的电脑使用空间较大，从而消耗游戏终端的各项性能指标,同时，对于鼠标、键盘以及游戏手柄等操作信息的捕获帧率也比较低,无法保证灯光效果与游戏画面内容相匹配地实时展示，其灯光效果存在较高的时延性，导致游戏灯效的控制和展示效果一般，而且游戏灯效的兼容性差,只能兼容PC端游戏主机，无法兼容PS5、Switch等各种游戏终端，通过传统技术控制和展示的灯光效果形式单一，不具备根据游戏画面内容进行适应性控制灯效的效果，在灯效反馈上用户体验较差，无法丰富用户体验。
发明内容
本申请的目的在于解决上述问题而提供一种游戏灯效控制方法、相应的装置、设备及计算机可读存储介质。
为满足本申请的各个目的，本申请采用如下技术方案：
适应本申请的目的之一而提供的一种游戏灯效控制方法，包括如下步骤：
获取连续时序中呈现的各个游戏画面，对所述各个游戏画面中的游戏动作图标进行目标检测以确定所述游戏动作图标处于触发状态；
基于预设的游戏动作识别模型识别处于触发状态中的所述游戏动作图标相对应的图框内容，所述图框内容表征各个游戏人物相对应的游戏动作；
基于所述游戏动作图标相对应的图框内容的识别结果确定相应的灯效类型；
基于所述灯效类型生成相对应的灯效控制指令，调用所述灯效控制指令输入至照明设备中的灯效控制电路以展示与所述灯效类型相对应的游戏灯效。
可选的，对所述各个游戏画面中的游戏动作图标进行目标检测以确定所述游戏动作图标处于触发状态的步骤，包括如下步骤：
基于预设的目标检测模型检测所述各个游戏画面相对应的游戏技能图标处于触发状态，所述游戏动作图标包括表征游戏技能图标；
检测各个游戏画面中所述游戏技能图标相对应的所述图框内容是否发生变化，若检测到所述图框内容与所述游戏技能图标相对应的原始图框内容对比存在图像差异信息，则基于所述图像差异信息确定所述游戏技能图标处于触发状态；
基于处于触发状态中的游戏技能图标确定所述游戏技能图标相对应的图框位置。
可选的，检测各个游戏画面中所述游戏技能图标相对应的所述图框内容是否发生变化的步骤之后，还包括如下步骤：
若检测到所述图框内容与所述游戏技能图标相对应的原始图框内容相同，则确定所述游戏技能图标处于初始或冷却状态；
不再执行对所述各个游戏画面中的游戏技能图标进行目标检测之后的步骤。
可选的，基于预设的游戏动作识别模型识别处于触发状态中的所述游戏动作图标相对应的图框内容的步骤之后，还包括如下步骤：
识别出处于触发状态中的所述游戏技能图标相对应的游戏技能动作；
对所述游戏技能动作进行分类，确定所述游戏技能动作相对应的游戏技能类型，所述游戏技能类型包括直接性触发型、分段释放型、技能释放状态型、储存触发性刷新型或释放状态冷却型中任意一项或多项；
基于所述游戏技能类型的预设优先级展示所述游戏技能类型相对应的游戏灯效，将优先级低的游戏灯效覆盖在优先级高的所述游戏灯效中或将优先级低的游戏灯效和优先级高的游戏灯效进行混合展示。
可选的，基于预设的游戏动作识别模型识别处于触发状态中的所述游戏动作图标相对应的图框内容的步骤，包括如下步骤：
基于预设的游戏动作识别模型的人物技能识别模型中的卷积神经网络提取所述各个游戏画面的图像特征信息；
基于预设的人物技能识别模型中的分类器对所述图像特征信息进行全连接，获得其映射到预设的多个所述游戏技能图标中的游戏技能动作相对应的分类概率；
将所述分类概率最大的所述游戏技能动作确定为处于触发状态中的所述游戏技能图标相对应的图框内容。
可选的，基于所述游戏动作图标相对应的图框内容的识别结果确定相应的灯效类型的步骤，包括如下步骤：
基于取色算法提取所述游戏技能图标中的图框内容相对应的颜色得到各种颜色组合，并基于所述各种颜色组合确定相应的灯效类型；
提取所述游戏技能图标中的游戏技能动作相对应区域的图片像素数据，所述图片像素数据包括色调、饱和度和明度；
过滤掉所述游戏技能动作相对应区域中所述图片像素数据的饱和度和明度；
根据所述游戏技能动作相对应区域中各个颜色的色调比重进行色相对比得到所述各种颜色组合。
可选的，所述人物技能识别模型的训练过程，包括如下步骤：
从预备的训练集中获取单个训练样本及其监督标签，所述训练样本包括存在所述游戏技能动作的图像帧，所述监督标签表征所述训练样本中的图像帧存在的各个游戏人物相对应的游戏技能动作；
将所述训练样本输入至所述人物技能识别模型的卷积层提取所述训练样本的图像特征信息；
基于所述人物技能识别模型的分类器对所述图像特征信息进行全连接，获得其映射到预设的多个所述游戏技能动作相对应的分类概率；
基于所述训练样本的监督标签，确定出所述分类概率最大的所述游戏技能动作相对应的损失值，在所述损失值未达到预设阈值时，对所述人物技能识别模型实施权重更新，并继续调用其他训练样本实施迭代训练直至模型收敛。
适应本申请的另一目的而提供的一种游戏灯效控制装置，包括：
游戏画面检测模块，设置为获取连续时序中呈现的各个游戏画面，对所述各个游戏画面中的游戏动作图标进行目标检测以确定所述游戏动作图标处于触发状态；
人物动作识别模块，设置为基于预设的游戏动作识别模型识别处于触发状态中的所述游戏动作图标相对应的图框内容，所述图框内容表征各个游戏人物相对应的游戏动作；
灯效类型确定模块，设置为基于所述游戏动作图标相对应的图框内容的识别结果确定相应的灯效类型；
灯效控制模块，设置为基于所述灯效类型生成相对应的灯效控制指令，调用所述灯效控制指令输入至照明设备中的灯效控制电路以展示与所述灯效类型相对应的游戏灯效。
适应本申请的另一目的而提供的一种游戏灯效控制设备，包括控制单元、照明设备，所述照明设备内置灯效控制电路，所述控制单元用于运行计算机程序产品，当所述计算机程序产品运行时，执行本申请所述游戏灯效控制方法的步骤。
适应本申请的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据本申请所述游戏灯效控制方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。
相对于现有技术，本申请针对现有技术控制和展示的灯光效果形式单一，不具备根据游戏画面内容进行适应性控制灯效的效果，在灯效反馈上用户体验较差，无法丰富用户体验等问题，对各个游戏画面中的游戏技能图标进行目标检测以确定游戏技能图标的状态类别，在确定游戏技能图标的状态类别的基础上，基于人物技能识别模型识别出游戏技能图标相对应的图框内容，无需占用的游戏终端的使用空间和各项性能指标，可以实时有效地识别出游戏画面内容，从而使灯光效果与游戏画面内容相匹配地实时展示，保证灯光效果的实时性和低时延性，基于取色算法提取游戏技能图标中的图框内容相对应的颜色得到各种颜色组合，根据各种颜色组合确定相应的灯光效果，基于游戏中各种游戏人物的具体游戏技能动作相对应的各种颜色组合确定相应的灯光效果，大大丰富了灯光效果的控制和展示，根据游戏技能动作的实时变化及时调整灯光效果，将灯光效果与实时的游戏技能动作及相应的技能类型进行适应性匹配，带给用户独特的游戏灯光效果互动体验，极大地丰富了用户的电竞视觉感官，从而增强用户的游戏体验。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例中游戏灯效控制设备的电路原理示意图；
图2为本申请实施例中游戏灯效控制方法的流程示意图；
图3为本申请实施例中对各个游戏画面中的游戏技能图标进行目标检测以确定游戏技能图标处于触发状态的流程示意图；
图4为本申请实施例中对各个游戏画面中的游戏技能图标进行目标检测以确定游戏技能图标处于初始或冷却状态的流程示意图；
图5为本申请实施例中不同优先级的游戏技能类型相对应的游戏灯效进行展示的流程示意图；
图6为本申请实施例中基于预设的人物技能识别模型识别处于触发状态中的游戏技能图标相对应的图框内容的流程示意图；
图7为本申请实施例中基于取色算法提取游戏技能图标中的图框内容相对应的颜色得到各种颜色组合以得到各种灯效类型的流程示意图；
图8为本申请实施例中人物技能识别模型的训练过程的流程示意图；
图9为本申请实施例中游戏灯效控制装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语），具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
请参阅图1，本申请所述游戏灯效控制方法可以基于游戏灯效控制设备10予以实施，所述游戏灯效控制设备10包括控制单元11以及照明设备12，所述控制单元11和照明设备12之间可以进行网络连接，所述网络可以为因特网，也可以为局域网(LocalAreaNetwork，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide AreaNetwork，WAN)、移动、有线或无线网络、专用网络或虚拟专用网络中任意一项或多项的组合，所述网络还可以包括路由器、网关等网络实体。
在一些实施例中，所述控制单元11和照明设备12之间可以通过特定的通信协议进行通信传输，所述通信协议包括BLE(Bluetooth low energy，低功耗蓝牙)协议、WLAN(Wireless Local Area Network，无线局域网)协议、蓝牙协议、ZigBee(紫蜂)协议或Wi Fi(Wireless Fidelity，无线保真)协议等。
在一些实施例中，所述控制单元11包括硬件接口，所述控制单元11可以通过硬件接口与XBOX(家用电视游戏机)，PS(PlayStation，电子游戏机)等设备相连，以获取原始视频流连续时序中呈现的各个游戏画面，所述硬件接口可以是VGA(Video Graphics Array，视频图形阵列)、DP(DisplayPort，显示接口)、HDMI(High Definition MultimediaInterface，高清多媒体接口)或DVI (Digital Visual Interface，数字视频接口)等。
在一些实施例中，所述控制单元11可以采用SOC(System on Chip，系统级芯片)、CPU(central processing unit，中央处理器)、MPU(Microcontroller Unit，微控制单元)等，可以根据实际需要进行设置，在此不作限定。
在一些实施例中，照明设备12可以是带状、条状灯、灯柱或平面灯(含有多个灯珠)等，所述照明设备12可以包括一个或多个灯光单元，本领域技术人员可以根据实际需要进行对应的组合。每个灯光单元可以包含一个或者多个灯珠，且控制单元11可以控制灯光单元的灯珠的亮度、颜色等，还可以控制亮灯的数量，从而实现照明设备12的不同灯效，本领域技术人员可以根据实际使用需要，设置所述照明设备12的位置和数量。
在参考以上示例性场景的基础上，请参阅图2，本申请的游戏灯效控制方法在其一个实施例中，包括如下步骤：
步骤S10、获取连续时序中呈现的各个游戏画面，对所述各个游戏画面中的游戏动作图标进行目标检测以确定所述游戏动作图标处于触发状态；
需要通过本申请的技术方案进行灯效控制的画面，可以视为本申请的所述游戏画面，本申请所述游戏画面的类型及来源广泛，可以根据实际应用场景而定，在此不作限定。所述游戏动作图标包括表征游戏技能图标和游戏浮动图标，所述游戏画面可以是游戏应用程序中实时渲染的游戏画面、网络直播中的游戏画面或视频中的游戏画面等任意一种，所述控制单元可以通过硬件接口与显示设备相连接，以实现与显示设备中连续时序中呈现的各个游戏画面的接入，所述控制单元获取连续时序中呈现的各个游戏画面之后，可以将其一分为二生成至少两路游戏画面，对连续时序中呈现的各个游戏画面的环出可以调用视频采集卡实现，将其中一路所述游戏画面发送至显示设备，以使显示设备根据所述游戏画面进行显示，对另一路所述游戏画面进行格式化处理，以将其转换为控制单元中的多媒体处理芯片接收的图像格式，所述多媒体处理芯片可以是SOC(System on Chip，系统级芯片)芯片或NPU（neural-network processing unit，嵌入式神经网络处理器）芯片等，对所述游戏画面进行格式化处理之后，对所述各个游戏画面中的游戏技能图标进行目标检测以确定所述游戏技能图标处于触发状态。
在一些实施例中，可以在所述灯效控制设备现有结构的基础上，接入摄像单元，通过摄像单元摄录显示设备上在播放的游戏画面而生成相应的游戏画面，由所述控制单元获取所述游戏画面。
在一些实施例中，以MOBA类游戏为例，并不对本申请构成限定，所述MOBA类游戏为多人在线战术竞技游戏，对于MOBA类游戏中的固定技能栏，所述固定技能栏具有选定的游戏人物的各种游戏技能图标，例如：Q技能、W技能、E技能、R技能、D技能或F技能，即不同的游戏人物会有不同的技能动作，不同的游戏人物中所述游戏技能图标相对应的图框内容各不相同，游戏玩家可以触发所述游戏技能图标单独或组合释放选定的游戏人物的技能动作。
在一些实施例中，游戏玩家在进行游戏操作中有对战交流信息，可以基于所述游戏浮动图标主动发送不同类型的信息提示，通过目标检测模型进行检测所述游戏浮动图标，以判断游戏中玩家触发所述游戏浮动图标的类型，根据触发所述游戏浮动图标的不同类型，例如：危险，撤退，进攻等信息提示,触发与所述游戏浮动图标相对应的预设游戏灯效，将游戏中所述游戏浮动图标需要展示的内容，生成灯光预设模板,将所述游戏浮动图标和灯光动作匹配，通过颜色、亮度、速度、时长等一系列参数展示灯光效果。所述灯光效果包括呼吸、闪烁、滚动、渐变位移、渐变流动等一系列效果，且预设颜色与所述游戏浮动图标的类型相关联，将每款游戏中场景和特征变化对应的灯光效果和所述游戏浮动图标的类型相匹配，以完成灯光效果展示。
具体地，用户对MOBA类游戏场景中选定的游戏人物进行相应的技能操作，可以通过键盘或游戏手柄点击Q技能、W技能、E技能、R技能、D技能或F技能等相应的按键，以触发Q技能、W技能、E技能、R技能、D技能或F技能等相对应的所述游戏技能图标，所述Q技能、W技能、E技能、R技能、D技能或F技能表征游戏玩家选定的游戏人物所对应的游戏技能，触发选定的游戏人物所对应的所述游戏技能图标之后，基于所述目标检测模型对所述游戏技能图标进行目标检测，以确定所述游戏技能图标处于触发状态及相应的图框位置，游戏画面中产生所述游戏技能图标相对应的单独或组合技能动作进行释放、攻击或击杀对方游戏玩家或队伍所选定的游戏人物。
步骤S20、基于预设的游戏动作识别模型识别处于触发状态中的所述游戏动作图标相对应的图框内容，所述图框内容表征各个游戏人物相对应的游戏动作；
所述游戏动作识别模型包括表征人物技能识别模型，所述人物技能识别模型可以基于一个图像特征提取器后接一个分类器来实现，对所述人物技能识别模型实施训练时，可预先采集存在处于触发状态的游戏技能图标的游戏画面作为样本图片，为各个训练样本对应标注其样本标签，标注所述训练样本的处于触发状态的游戏技能图标相对应的技能动作以及所述技能动作相对应的技能类型，在完成各个训练样本的标注的基础上，便可将各个训练样本及其监督标签相映射构造出训练集，输入样本数据集中的样本图片及其样本标签，所述样本标签表征所述处于触发状态的游戏技能图标相对应的技能动作以及所述技能动作相对应的技能类型，图像特征提取器提取出所述样本图片的深层语义信息，根据深层语义信息分类映射出其相对应的分类结果是否表征所述处于触发状态的游戏技能图标相对应的技能动作以及所述技能动作相对应的技能类型,根据所述样本标签计算所述分类结果的分类损失值，在所述分类损失值表征未收敛时对所述人物技能识别模型实施梯度更新，继续从样本数据集中调用下一样本图片及其样本标签实施迭代训练，直至所述模型达至收敛为止，迭代训练到收敛后，就可以用来预测表征处于触发状态中的所述游戏技能图标相对应的图框内容，即识别出处于触发状态中的所述游戏技能图标相对应的技能动作和技能类型。
不难理解，对触发状态中的所述游戏技能图标进行人物技能识别，首先获取处于触发状态的游戏技能图标的游戏画面，将所述游戏画面输入至训练好的所述人物技能识别模型，从而得到处于触发状态中的所述游戏技能图标相对应的技能动作和技能类型。
在一些实施例中，游戏玩家通过键盘或游戏手柄对选定的游戏人物的Q技能、W技能、E技能、R技能、D技能或F技能等相应的按键进行单独或组合释放技能动作，游戏画面中渲染单独或组合的技能动作，选定的游戏人物相对应的所述游戏技能图标处于触发状态中，基于预设的人物技能识别模型识别处于触发状态中的所述游戏技能图标相对应的图框内容，即识别出处于触发状态中的所述游戏技能图标相对应技能动作以及技能类型，所述图框内容表征各个游戏人物相对应的游戏技能动作。
步骤S30、基于所述游戏动作图标相对应的图框内容的识别结果确定相应的灯效类型；
由于不同游戏人物的游戏技能图标内容各不相同，当触发选定的游戏人物的所述游戏技能图标之后，所述游戏技能图标相对应技能动作以及技能类型所渲染的色彩会产生相应的变化，触发中的所述游戏技能图标的色彩变化极具游戏人物特色，可以根据触发中的所述游戏技能图标的色彩变化实时确定相应的灯效类型，呈现所述游戏技能图标相应的灯光效果，从而使灯光效果与游戏画面内容相匹配地实时展示，显著提高用户的游戏体验。识别出处于触发状态中的所述游戏技能图标相对应技能动作以及技能类型之后，基于取色算法提取处于触发状态中的所述游戏技能图标相对应的图框内容，提取所述游戏技能图标相对应的图框内容的图片像素数据，获取图片像素数据中颜色数据的占比较重的颜色色块，输出相应的各个色块HSV值，将相应的各个色块HSV值进行组合得到各种颜色组合，并基于所述各种颜色组合确定相应的灯效类型。
在一些实施例中，游戏玩家触发选定的游戏人物所对应的游戏技能图标之后，基于预设的人物技能识别模型识别出处于触发状态中的所述游戏技能图标相对应技能动作以及技能类型，基于所述取色算法提取触发状态中的所述游戏技能图标相对应技能动作以及技能类型所渲染的色彩，对触发状态中的所述游戏技能图标相对应技能动作以及技能类型所渲染的色彩进行取色确定对应的颜色色值和颜色数量，根据所述颜色色值和颜色数量得到各种颜色组合的灯效类型。
步骤S40、基于所述灯效类型生成相对应的灯效控制指令，调用所述灯效控制指令输入至照明设备中的灯效控制电路以展示与所述灯效类型相对应的游戏灯效。
基于取色算法提取处于触发状态中的所述游戏技能图标相对应的图框内容确定各种颜色组合，将所述各种颜色组合确定为所述灯效类型，基于所述灯效类型生成相对应的灯效控制指令，控制单元通过与照明设备相连接，将所述灯效控制指令输出至该照明设备，使得照明设备的灯效控制电路得以生成相应的灯效控制信号，控制照明设备内设的发光元件进行相应的发光，呈现与所述灯效类型相应的游戏灯效。所述发光元件可以是能够发出单色光的发光元件，也可以是能够发出RGB（红、绿、蓝）三种色光的三种发光元件。
具体地，将所述灯效控制指令输出至该照明设备，使得照明设备的灯效控制电路得以生成相应的灯效控制信号，首先获取所述灯效控制指令相对应的脉冲编码信息，所述脉冲编码信息用于表示相应的二进制数值所对应的电平类型序列，所述电平类型可以是高电平和低电平等，基于所述灯效控制指令中的二进制数值，按照其所对应的脉冲编码信息生成灯效控制信号。
由上述实施例可知，本申请针对现有技术控制和展示的灯光效果形式单一，不具备根据游戏画面内容进行适应性控制灯效的效果，在灯效反馈上用户体验较差，无法丰富用户体验等问题，对各个游戏画面中的游戏技能图标进行目标检测以确定游戏技能图标的状态类别，在确定游戏技能图标的状态类别的基础上，基于人物技能识别模型识别出游戏技能图标相对应的图框内容，无需占用的游戏终端的使用空间和各项性能指标，可以实时有效地识别出游戏画面内容，从而使灯光效果与游戏画面内容相匹配地实时展示，保证灯光效果的实时性和低时延性，基于取色算法提取游戏技能图标中的图框内容相对应的颜色得到各种颜色组合，根据各种颜色组合确定相应的灯光效果，基于游戏中各种游戏人物的具体游戏技能动作相对应的各种颜色组合确定相应的灯光效果，大大丰富了灯光效果的控制和展示，根据游戏技能动作的实时变化及时调整灯光效果，将灯光效果与实时的游戏技能动作及相应的技能类型进行适应性匹配，带给用户独特的游戏灯光效果互动体验，极大地丰富了用户的电竞视觉感官，从而增强用户的游戏体验。
在本申请任意实施例的基础上，请参阅图3，对所述各个游戏画面中的游戏动作图标进行目标检测以确定所述游戏动作图标处于触发状态的步骤，包括如下步骤：
步骤S101、基于预设的目标检测模型检测所述各个游戏画面相对应的游戏技能图标处于触发状态，所述游戏动作图标包括表征游戏技能图标；
对所述各个游戏画面中的游戏技能图标进行目标检测可以基于目标检测模型实施，基于目标检测模型对各个游戏画面实施目标检测以确定各个游戏画面中当前游戏画面中所述游戏技能图标处于触发状态及相对应的图框位置。
具体地，可预先采集存在游戏技能图标的游戏画面作为训练样本，为各个训练样本对应标注其监督标签，标注所述训练样本的游戏画面中游戏技能图标的位置信息以及所述游戏技能图标相对应的状态类别，在完成各个训练样本的标注的基础上，便可将各个训练样本及其监督标签相映射构造出训练集，获取所述训练集中的单个训练样本及其监督标签，将所述训练样本输入至目标检测模型，提取出所述训练样本的游戏画面中相应的监督标签所标注的坐标对应的区域的图像特征信息，将所述图像特征信息分类映射至预设的表征多个所述游戏技能图标的状态类别相对应的分类空间，获得映射至各个分类空间相对应的分类概率，确定分类概率最大的分类空间表征的所述游戏技能图标的状态类别，采用损失函数基于所述监督标签所标注的游戏技能图标的位置信息以及所述游戏技能图标的状态类别，计算所述分类概率最大的分类空间表征的所述游戏技能图标的状态类别以及游戏技能图标的位置信息对应的损失值，当各项所述损失值达到预设阈值时，表明目标检测模型已被训练至收敛状态，从而可以终止模型训练，否则，表明模型未收敛，可以根据各项损失值对模型实施梯度更新，通常通过反向传播修正模型各个环节的权重参数使模型进一步逼近收敛，然后，继续调用所述训练集中的下一个训练样本对该模型实施迭代训练，直至模型训练至收敛状态为止，不难理解，训练至收敛后的目标检测模型可以检测出游戏画面中检测出当前游戏画面中所述游戏技能图标处于触发状态及相对应的图框位置。
步骤S103、检测各个游戏画面中所述游戏技能图标相对应的所述图框内容是否发生变化，若检测到所述图框内容与所述游戏技能图标相对应的原始图框内容对比存在图像差异信息，则基于所述图像差异信息确定所述游戏技能图标处于触发状态；
检测所述游戏技能图标的状态类别，可以检测各个游戏画面中所述游戏技能图标相对应的所述图框内容是否发生变化，当游戏玩家触发选定的游戏人物相对应的所述游戏技能图标之后，所述游戏技能图标相对应技能动作以及技能类型所渲染的色彩会随着技能动作的释放产生相应的变化，触发中的所述游戏技能图标的色彩变化极具游戏人物特色，若检测到所述图框内容与所述游戏技能图标相对应的原始图框内容对比存在图像差异信息，则基于所述图像差异信息确定所述游戏技能图标处于触发状态。
步骤S105、基于处于触发状态中的游戏技能图标确定所述游戏技能图标相对应的图框位置。
对所述各个游戏画面中的游戏技能图标进行目标检测可以基于目标检测模型实施，通过目标检测模型对各个游戏画面中的游戏技能图标实施目标检测，确定出所述游戏技能图标处于触发状态。所述目标检测模型可以从Yolo系列模型或SSD系列模型中选型，由于网络游戏的对实时性和低时延性要求较高，而Yolo模型具有检测速度快等优点，本申请以Yolo模型为例，并不对本申请构成限定，对所述游戏画面进行目标检测，首先获取连续时序中呈现的各个游戏画面，将所述当前游戏画面输入至训练好的Yolo模型，从而得到所述当前游戏画面中所述游戏技能图标处于触发状态及相对应的图框位置。此类模型能够对图像进行相应的目标检测，获得检测目标所在的图像区域的位置信息，例如：所述游戏技能图标相对应的图框位置信息，通常所述图框位置信息以一个矩形框坐标进行表示，例如表示为（x0,y0,x1,y1），其中，（x0,y0）表示矩形框的左上角坐标，（x1，y1）表示矩形框的右下角坐标，由此可以确定出所述游戏技能图标相对应的图框位置。
由上述实施例可知，基于对各个游戏画面中的游戏技能图标进行目标检测以确定游戏技能图标的状态类别及图框位置，可以实时准确地检测到游戏玩家选定的游戏人物相对应的游戏技能图标处于触发状态，无需占用的游戏终端的使用空间和各项性能指标，能够实时准确地响应灯光效果与游戏画面内容相匹配，保证灯光效果的实时性和低时延性。
在本申请任意实施例的基础上，请参阅图4，检测各个游戏画面中所述游戏技能图标相对应的所述图框内容是否发生变化的步骤之后，还包括如下步骤：
步骤S1051、若检测到所述图框内容与所述游戏技能图标相对应的原始图框内容相同，则确定所述游戏技能图标处于初始或冷却状态；
当游戏玩家选定的游戏人物相对应的所述游戏技能图标处于初始或冷却状态，所述游戏技能图标相对应技能动作以及技能类型所渲染的色彩与所述游戏技能图标相对应的原始图框内容相同，当检测到所述图框内容与所述游戏技能图标相对应的原始图框内容相同时，说明游戏玩家选定的游戏人物还没有进行相应的技能动作释放或技能动作释放完毕，所述游戏技能图标相对应技能动作以及技能类型所渲染的色彩没有产生相应的变化，则确定所述游戏技能图标处于初始或冷却状态，不展示相应的游戏灯效。
步骤S1053、不再执行对所述各个游戏画面中的游戏技能图标进行目标检测之后的步骤。
为了减少不必要的运算，不再执行对所述各个游戏画面中的游戏技能图标进行目标检测之后的步骤，不难理解，如果所述游戏技能图标处于初始或冷却状态，说明游戏玩家选定的游戏人物还没有进行相应的技能动作释放或技能动作释放完毕，则没有进行下一步处理的必要，不需要展示相应的游戏灯效展示。
由上述实施例可知，基于游戏技能图标的不同状态类别从而控制游戏灯效展示，将灯光效果与用户实时的游戏技能动作进行适应性匹配，带给用户独特的游戏灯光效果互动体验，当检测游戏技能图标处于初始或冷却状态时，不进行相应的游戏灯效展示，减少不必要的运算。
在本申请任意实施例的基础上，请参阅图5，基于预设的游戏动作识别模型识别处于触发状态中的所述游戏动作图标相对应的图框内容的步骤之后，还包括如下步骤：
步骤S201、识别出处于触发状态中的所述游戏技能图标相对应的游戏技能动作；
获取处于触发状态的游戏技能图标的游戏画面，将所述游戏画面输入至训练好的所述人物技能识别模型，从而得到处于触发状态中的所述游戏技能图标相对应的技能动作。
步骤S203、对所述游戏技能动作进行分类，确定所述游戏技能动作相对应的游戏技能类型，所述游戏技能类型包括直接性触发型、分段释放型、技能释放状态型、储存触发性刷新型或释放状态冷却型中任意一项或多项；
游戏玩家通过键盘或游戏手柄对选定的游戏人物的Q技能、W技能、E技能、R技能、D技能或F技能等相应的按键进行单独或组合释放技能动作，从而产生不同的游戏技能类型，所述游戏技能类型可以是直接性触发型、分段释放型、技能释放状态型、储存触发性刷新型或释放状态冷却型等，当游戏玩家触发不同的游戏技能类型时，所述游戏技能类型相对应的技能动作的释放时长以及产生相应的色彩变化各不相同。
步骤S205、基于所述游戏技能类型的预设优先级展示所述游戏技能类型相对应的游戏灯效，将优先级低的游戏灯效覆盖在优先级高的所述游戏灯效中或将优先级低的游戏灯效和优先级高的游戏灯效进行混合展示。
所述预设优先级可以根据所述游戏技能类型相对应的技能动作的触发时间进行确定，所述技能动作的触发时间越早，其相应的优先级越高，所述技能动作的触发时间越晚，其相应的优先级越低，本领域技术人员可以根据实际使用需要确定所述预设优先级，由于不同游戏技能类型的技能释放效果时长不同，优先级低的游戏灯效可以叠加在优先级高的所述游戏灯效中，对已释放的所有游戏技能类型相对应的游戏灯效进行综合展示。
具体地，游戏玩家通过键盘或游戏手柄对选定的游戏人物的Q技能、W技能、E技能、R技能、D技能或F技能等相应的按键进行组合释放技能动作，从而产生技能释放状态型、分段释放型和直接性触发型等不同的游戏技能类型，按照技能释放状态型、分段释放型和直接性触发型的触发时间先后展示所述游戏技能类型相对应的游戏灯效，例如：技能释放状态型的触发时间早于分段释放型和直接性触发型，分段释放型的触发时间早于直接性触发型，其优先展示所述技能释放状态型相对应的游戏灯效，如果所述技能释放状态型相对应的游戏灯效在释放分段释放型和直接性触发型相对应的技能动作时尚未结束，则将分段释放型和直接性触发型相对应的游戏灯效叠加在所述技能释放状态型相对应的游戏灯效中。不难理解，如果展示所述游戏技能类型相对应的游戏灯效的优先级较低，但其展示的游戏灯效较为丰富，可以直接覆盖尚未结束的优先级高的所述游戏技能类型相对应的游戏灯效。
由上述实施例可知，基于游戏技能类型的预设优先级展示游戏技能类型相对应的游戏灯效，将优先级低的游戏灯效叠加在优先级高的所述游戏灯效中，能够根据游戏技能类型相对应游戏技能动作释放的实时变化及时调整灯光效果，将灯光效果与用户实时的游戏技能动作进行适应性匹配，极大地丰富了用户的电竞视觉感官，从而增强用户的游戏体验。
在本申请任意实施例的基础上，请参阅图6，基于预设的游戏动作识别模型识别处于触发状态中的所述游戏动作图标相对应的图框内容的步骤，包括如下步骤：
步骤S2001、基于预设的游戏动作识别模型的人物技能识别模型中的卷积神经网络提取所述各个游戏画面的图像特征信息；
采用预设的游戏动作识别模型的人物技能识别模型对各个图像帧进行游戏人物技能动作识别，所述模型中的卷积网络通常包括多个卷积层，每个卷积层包含多个卷积核（又被称为过滤器），每个卷积核对应的权重不同，用于提取出不同的图像特征，这些卷积核从左向右、从上往下依次扫描整个所述图像帧，提取出其对应的图像特征信息，在此过程中，卷积网络中浅层即前面的卷积层提取出图像帧对应的浅层图像特征包括局部、细节信息，例如：图像帧的颜色、纹理、边缘、轮廓等信息，其具备小的感受野逐层，即输出特征图的每个像素只利用输入图像帧很小的一个范围，在此之后，将后面的卷积层的感受野逐层放大作为深层，提取出图像帧对应的深层图像特征包括更复杂、抽象的信息，据此，经过所有卷积层的运算，融合所述浅层图像特征及深层图像特征之后，获得图像帧在各个不同尺度的抽象表示即所述图像特征信息。
步骤S2003、基于预设的人物技能识别模型中的分类器对所述图像特征信息进行全连接，获得其映射到预设的多个所述游戏技能动作相对应的分类概率；
所述分类器可为MLP（多层感知机），其中包括输入层、隐藏层、输出层，隐藏层具体层数可由本领域技术人员灵活变通设置，多层感知机中层与层之间是全连接的。所述输入层接收所述图像特征信息输入至隐藏层，经过隐藏层相对应的激活函数，将所述图像特征信息分类映射至预设的二分类空间，经过输出层的激活函数对最后一层隐藏层的输出进行归一化，计算出映射至所述二分类空间中的第一类空间及第二类空间相对应的分类概率，所述第一类空间表征二进制数值“1”，所述第二类空间表征二进制数值“0”。所述激活函数可由本领域技术人员灵活变通设置，所述隐藏层相对应的激活函数可以为ReLU（RectifiedLinear Unit）函数等，所述输出层的激活函数可以为Softmax 函数或 Sigmord函数等。
步骤S2005、将所述分类概率最大的所述游戏技能动作确定为处于触发状态中的所述游戏技能图标相对应的图框内容。
判断最大的分类概率是否超过预设阈值，当超过预设阈值，确定该最大的分类概率的所述游戏技能动作作为当前图像帧的动作识别结果，将所述分类概率最大的所述游戏技能动作确定为处于触发状态中的所述游戏技能图标相对应的图框内容。
在本申请任意实施例的基础上，请参阅图7，基于所述游戏动作图标相对应的图框内容的识别结果确定相应的灯效类型的步骤之后，包括如下步骤：
步骤S301、基于取色算法提取所述游戏技能图标中的图框内容相对应的颜色得到各种颜色组合，并基于所述各种颜色组合确定相应的灯效类型；
步骤S303、提取所述游戏技能动作相对应区域的图片像素数据，所述图片像素数据包括色调、饱和度和明度；
当触发选定的游戏人物的所述游戏技能图标之后，所述游戏技能图标相对应技能动作以及技能类型所渲染的色彩会产生相应的变化，触发中的所述游戏技能图标的色彩变化极具游戏人物特色，提取所述游戏技能图标相对应的图框内容的图片像素数据，即提取所述游戏技能图标相对应技能动作以及技能类型所渲染的色彩的图片像素数据，所述图片像素数据可以是色调、饱和度和明度等。
步骤S305、过滤掉所述游戏技能动作相对应区域中所述图片像素数据的饱和度和明度；
将所述游戏技能图标相对应技能动作以及技能类型所渲染的色彩的图片像素数据中的饱和度和明度，以确定图片像素数据中色调的占比较重的颜色色块。
步骤S307、根据所述游戏技能动作相对应区域中各个颜色的色调比重进行色相对比得到所述各种颜色组合。
根据所述游戏技能动作相对应区域中各个颜色的色调比重输出相应的各个色块HSV值，所述HSV值包括色调、饱和度和明度等，将相应的各个色块进行色相对比，基于色相对比结果将相应的各个色块HSV值进行组合得到各种颜色组合，并基于所述各种颜色组合确定相应的灯效类型。
由上述实施例可知，根据触发中的所述游戏技能图标的色彩变化实时确定相应的灯效类型，呈现所述游戏技能图标相应的游戏灯效，从而使游戏灯效与游戏画面内容相匹配地展示，可以使游戏灯效实时与游戏状态相适应，从而营造更好的游戏氛围，增强用户的游戏体验。
在本申请任意实施例的基础上，请参阅图8，所述人物技能识别模型的训练过程，包括如下步骤：
步骤S100、从预备的训练集中获取单个训练样本及其监督标签，所述训练样本包括存在所述游戏技能动作的图像帧，所述监督标签表征所述训练样本中的图像帧存在的各个游戏人物相对应的游戏技能动作；
对所述人物技能识别模型实施训练时，可预先采集存在处于触发状态的游戏技能图标的游戏画面作为样本图片，为各个训练样本对应标注其样本标签，标注所述训练样本的处于触发状态的游戏技能图标相对应的技能动作以及所述技能动作相对应的技能类型，在完成各个训练样本的标注的基础上，便可将各个训练样本及其监督标签相映射构造出训练集，输入样本数据集中的样本图片及其样本标签，所述样本标签表征所述处于触发状态的游戏技能图标相对应的技能动作以及所述技能动作相对应的技能类型。
步骤S200、将所述训练样本输入至所述人物技能识别模型的卷积层提取所述训练样本的图像特征信息；
采用预设的人物技能识别模型对所述训练样本进行技能识别，所述模型中的卷积网络通常包括多个卷积层，每个卷积层包含多个卷积核（又被称为过滤器），每个卷积核对应的权重不同，用于提取出不同的图像特征，这些卷积核从左向右、从上往下依次扫描整个所述训练样本的图像帧，提取出其对应的图像特征信息，在此过程中，卷积网络中浅层即前面的卷积层提取出所述图像帧对应的浅层图像特征包括局部、细节信息，例如所述图像帧的颜色、纹理、边缘、轮廓等信息，其具备小的感受野逐层，即输出特征图的每个像素只利用输入所述图像帧很小的一个范围，在此之后，将后面的卷积层的感受野逐层放大作为深层，提取出所述图像帧对应的深层图像特征包括更复杂、抽象的信息，据此，经过所有卷积层的运算，融合所述浅层图像特征及深层图像特征之后，获得图像帧在各个不同尺度的抽象表示即所述图像特征信息。
步骤S300、基于所述人物技能识别模型的分类器对所述图像特征信息进行全连接，获得其映射到预设的多个所述游戏技能动作相对应的分类概率；
所述分类器可为MLP（多层感知机），其中包括输入层、隐藏层、输出层，隐藏层具体层数可由本领域技术人员灵活变通设置，多层感知机中层与层之间是全连接的。所述输入层接收所述图像特征信息输入至隐藏层，经过隐藏层相对应的激活函数，将所述图像特征信息分类映射至预设的多个所述游戏技能动作及相应的技能类型相对应的分类空间，经过输出层的激活函数对最后一层隐藏层的输出进行归一化，计算出映射至各个分类空间相对应的分类概率。所述激活函数可由本领域技术人员灵活变通设置，所述隐藏层相对应的激活函数可以为ReLU（Rectified Linear Unit）函数等，所述输出层的激活函数可以为Softmax函数等。
步骤S400、基于所述训练样本的监督标签，确定出所述分类概率最大的所述游戏技能动作相对应的损失值，在所述损失值未达到预设阈值时，对所述人物技能识别模型实施权重更新，并继续调用其他训练样本实施迭代训练直至模型收敛。
调用预设的交叉熵损失函数，根据所述训练样本的监督标签，计算所述分类概率最大的所述游戏技能动作及相应的技能类型相对应的交叉熵损失值，当该损失值达到预设阈值时，表明人物技能识别模型达到收敛状态，从而可以终止模型训练；当损失值未达到预设阈值时，表明模型未达到收敛状态，于是根据所述损失值对模型实施梯度更新，通常基于反向传播修正模型各个环节的权重参数以使模型进一步逼近收敛，然后，继续调用所述训练集中的下一训练样本对动作识别模型实施迭代训练，直至人物技能识别模型达到收敛状态为止。
本实施例中，揭示了人物技能识别模型的训练过程，在训练至收敛后，人物技能识别模型习得根据各个游戏画面的图像特征信息精确地确定出其映射至预设的多个所述游戏技能动作及相应的技能类型相对应的分类概率的能力。
请参阅图9，适应本申请的目的之一而提供的一种游戏灯效控制装置，包括游戏画面检测模块1100、人物技能识别模块1200、灯效类型确定模块1300、灯效控制模块1400。其中，游戏画面检测模块1100，设置为获取连续时序中呈现的各个游戏画面，对所述各个游戏画面中的游戏动作图标进行目标检测以确定所述游戏动作图标处于触发状态；人物动作识别模块1200，设置为基于预设的游戏动作识别模型识别处于触发状态中的所述游戏动作图标相对应的图框内容，所述图框内容表征各个游戏人物相对应的游戏动作；灯效类型确定模块1300，设置为基于所述游戏动作图标相对应的图框内容的识别结果确定相应的灯效类型；灯效控制模块1400，设置为基于所述灯效类型生成相对应的灯效控制指令，调用所述灯效控制指令输入至照明设备中的灯效控制电路以展示与所述灯效类型相对应的游戏灯效。
在本申请任意实施例的基础上，所述游戏画面检测模块1100，包括：目标检测单元，设置为基于预设的目标检测模型检测所述各个游戏画面相对应的游戏技能图标处于触发状态，所述游戏动作图标包括表征游戏技能图标；触发状态检测单元，设置为检测各个游戏画面中所述游戏技能图标相对应的所述图框内容是否发生变化，若检测到所述图框内容与所述游戏技能图标相对应的原始图框内容对比存在图像差异信息，则基于所述图像差异信息确定所述游戏技能图标处于触发状态；图框位置确定单元，设置为基于处于触发状态中的游戏技能图标确定所述游戏技能图标相对应的图框位置。
在本申请任意实施例的基础上，所述游戏画面检测模块1100，还包括：冷却状态确定单元，设置为若检测到所述图框内容与所述游戏技能图标相对应的原始图框内容相同，则确定所述游戏技能图标处于初始或冷却状态，不再执行对所述各个游戏画面中的游戏技能图标进行目标检测之后的步骤。
在本申请任意实施例的基础上，所述游戏灯效控制装置，还包括：技能识别单元，设置为识别出处于触发状态中的所述游戏技能图标相对应的游戏技能动作；技能分类单元，设置为对所述游戏技能动作进行分类，确定所述游戏技能动作相对应的游戏技能类型，所述游戏技能类型包括直接性触发型、分段释放型、技能释放状态型、储存触发性刷新型或释放状态冷却型中任意一项或多项；灯效叠加单元，设置为基于所述游戏技能类型的预设优先级展示所述游戏技能类型相对应的游戏灯效，将优先级低的游戏灯效叠加在优先级高的所述游戏灯效中。
在本申请任意实施例的基础上，所述人物动作识别模块1200，包括：特征提取单元，设置为基于预设的游戏动作识别模型的人物技能识别模型中的卷积神经网络提取所述各个游戏画面的图像特征信息；分类器单元，设置为基于预设的人物技能识别模型中的分类器对所述图像特征信息进行全连接，获得其映射到预设的多个所述游戏技能动作相对应的分类概率；确定单元，设置为将所述分类概率最大的所述游戏技能动作确定为处于触发状态中的所述游戏技能图标相对应的图框内容。
在本申请任意实施例的基础上，所述灯效类型确定模块1300，包括：确定单元，设置为基于取色算法提取所述游戏技能图标中的图框内容相对应的颜色得到各种颜色组合，并基于所述各种颜色组合确定相应的灯效类型；图片像素提取单元，设置为提取所述游戏技能动作相对应区域的图片像素数据，所述图片像素数据包括色调、饱和度和明度；过滤单元，设置为过滤掉所述游戏技能动作相对应区域中所述图片像素数据的饱和度和明度；颜色组合单元，设置为根据所述游戏技能动作相对应区域中各个颜色的色调比重进行色相对比得到所述各种颜色组合。
在本申请任意实施例的基础上，所述人物技能识别模型，包括：获取单元，设置为从预备的训练集中获取单个训练样本及其监督标签，所述训练样本包括存在所述游戏技能动作的图像帧，所述监督标签表征所述训练样本中的图像帧存在的各个游戏人物相对应的游戏技能动作；图像特征提取单元，设置为将所述训练样本输入至所述人物技能识别模型的卷积层提取所述训练样本的图像特征信息；分类概率确定单元，设置为基于所述人物技能识别模型的分类器对所述图像特征信息进行全连接，获得其映射到预设的多个所述游戏技能动作相对应的分类概率；权重更新单元，设置为基于所述训练样本的监督标签，确定出所述分类概率最大的所述游戏技能动作相对应的损失值，在所述损失值未达到预设阈值时，对所述人物技能识别模型实施权重更新，并继续调用其他训练样本实施迭代训练直至模型收敛。
本申请还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本申请任一实施例所述游戏灯效控制方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被一个或多个处理器执行时实现本申请任一实施例所述游戏灯效控制方法的步骤。
本领域普通技术人员可以理解实现本申请上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）等计算机可读存储介质，或随机存储记忆体（Random Access Memory，RAM）等。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
综上所述，根据游戏技能图标相对应的技能动作和技能类型中确定各种颜色组合，基于游戏中各种游戏人物的具体游戏技能动作相对应的各种颜色组合确定相应的灯光效果，极大地丰富了灯光效果的控制和展示，根据游戏技能动作的实时变化及时调整灯光效果，将灯光效果与用户实时的游戏技能动作进行适应性匹配，带给用户独特的游戏灯光效果互动体验，极大地丰富了用户的电竞视觉感官，从而增强用户的游戏体验。

Claims (10)

1.一种游戏灯效控制方法，其特征在于，包括如下步骤：
获取连续时序中呈现的各个游戏画面，对所述各个游戏画面中的游戏动作图标进行目标检测以确定所述游戏动作图标处于触发状态；
基于预设的游戏动作识别模型识别处于触发状态中的所述游戏动作图标相对应的图框内容，所述图框内容表征各个游戏人物相对应的游戏动作；
基于所述游戏动作图标相对应的图框内容的识别结果确定相应的灯效类型；
基于所述灯效类型生成相对应的灯效控制指令，调用所述灯效控制指令输入至照明设备中的灯效控制电路以展示与所述灯效类型相对应的游戏灯效。
2.根据权利要求1所述的游戏灯效控制方法，其特征在于，对所述各个游戏画面中的游戏动作图标进行目标检测以确定所述游戏动作图标处于触发状态的步骤，包括如下步骤：
基于预设的目标检测模型检测所述各个游戏画面相对应的游戏技能图标处于触发状态，所述游戏动作图标包括表征游戏技能图标；
检测各个游戏画面中所述游戏技能图标相对应的所述图框内容是否发生变化，若检测到所述图框内容与所述游戏技能图标相对应的原始图框内容对比存在图像差异信息，则基于所述图像差异信息确定所述游戏技能图标处于触发状态；
基于处于触发状态中的游戏技能图标确定所述游戏技能图标相对应的图框位置。
3.根据权利要求2所述的游戏灯效控制方法，其特征在于，检测各个游戏画面中所述游戏技能图标相对应的所述图框内容是否发生变化的步骤之后，还包括如下步骤：
若检测到所述图框内容与所述游戏技能图标相对应的原始图框内容相同，则确定所述游戏技能图标处于初始或冷却状态；
不再执行对所述各个游戏画面中的游戏技能图标进行目标检测之后的步骤。
4.根据权利要求2所述的游戏灯效控制方法，其特征在于，基于预设的游戏动作识别模型识别处于触发状态中的所述游戏动作图标相对应的图框内容的步骤之后，还包括如下步骤：
识别出处于触发状态中的所述游戏技能图标相对应的游戏技能动作；
对所述游戏技能动作进行分类，确定所述游戏技能动作相对应的游戏技能类型，所述游戏技能类型包括直接性触发型、分段释放型、技能释放状态型、储存触发性刷新型或释放状态冷却型中任意一项或多项；
基于所述游戏技能类型的预设优先级展示所述游戏技能类型相对应的游戏灯效，将优先级低的游戏灯效覆盖在优先级高的所述游戏灯效中或将优先级低的游戏灯效和优先级高的游戏灯效进行混合展示。
5.根据权利要求2所述的游戏灯效控制方法，其特征在于，基于预设的游戏动作识别模型识别处于触发状态中的所述游戏动作图标相对应的图框内容的步骤，包括如下步骤：
基于预设的游戏动作识别模型的人物技能识别模型中的卷积神经网络提取所述各个游戏画面的图像特征信息；
基于预设的人物技能识别模型中的分类器对所述图像特征信息进行全连接，获得其映射到预设的多个所述游戏技能图标中的游戏技能动作相对应的分类概率；
将所述分类概率最大的所述游戏技能动作确定为处于触发状态中的所述游戏技能图标相对应的图框内容。
6.根据权利要求2所述的游戏灯效控制方法，其特征在于，基于所述游戏动作图标相对应的图框内容的识别结果确定相应的灯效类型的步骤，包括如下步骤：
基于取色算法提取所述游戏技能图标中的图框内容相对应的颜色得到各种颜色组合，并基于所述各种颜色组合确定相应的灯效类型；
提取所述游戏技能图标中的游戏技能动作相对应区域的图片像素数据，所述图片像素数据包括色调、饱和度和明度；
过滤掉所述游戏技能动作相对应区域中所述图片像素数据的饱和度和明度；
根据所述游戏技能动作相对应区域中各个颜色的色调比重进行色相对比得到所述各种颜色组合。
7.根据权利要求5所述的游戏灯效控制方法，其特征在于，所述人物技能识别模型的训练过程，包括如下步骤：
从预备的训练集中获取单个训练样本及其监督标签，所述训练样本包括存在所述游戏技能动作的图像帧，所述监督标签表征所述训练样本中的图像帧存在的各个游戏人物相对应的游戏技能动作；
将所述训练样本输入至所述人物技能识别模型的卷积层提取所述训练样本的图像特征信息；
基于所述人物技能识别模型的分类器对所述图像特征信息进行全连接，获得其映射到预设的多个所述游戏技能动作相对应的分类概率；
基于所述训练样本的监督标签，确定出所述分类概率最大的所述游戏技能动作相对应的损失值，在所述损失值未达到预设阈值时，对所述人物技能识别模型实施权重更新，并继续调用其他训练样本实施迭代训练直至模型收敛。
8.一种游戏灯效控制装置，其特征在于，包括：
游戏画面检测模块，设置为获取连续时序中呈现的各个游戏画面，对所述各个游戏画面中的游戏动作图标进行目标检测以确定所述游戏动作图标处于触发状态；
人物动作识别模块，设置为基于预设的游戏动作识别模型识别处于触发状态中的所述游戏动作图标相对应的图框内容，所述图框内容表征各个游戏人物相对应的游戏动作；
灯效类型确定模块，设置为基于所述游戏动作图标相对应的图框内容的识别结果确定相应的灯效类型；
灯效控制模块，设置为基于所述灯效类型生成相对应的灯效控制指令，调用所述灯效控制指令输入至照明设备中的灯效控制电路以展示与所述灯效类型相对应的游戏灯效。
9.一种游戏灯效控制设备，包括控制单元、照明设备，所述照明设备内置灯效控制电路，其特征在于，所述控制单元用于运行计算机程序产品，当所述计算机程序产品运行时，执行如权利要求1至7中任意一项所实现的游戏灯效控制方法的步骤。
10.一种计算机可读存储介质，其特征在于，其以计算机可读指令的形式存储有计算机程序，该计算机程序被计算机调用运行时，执行如权利要求1至7中任意一项所实现的游戏灯效控制方法的步骤。
CN202310385556.6A 2023-04-12 2023-04-12 游戏灯效控制方法、装置、设备及介质 Active CN116077924B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310385556.6A CN116077924B (zh) 2023-04-12 2023-04-12 游戏灯效控制方法、装置、设备及介质
US18/473,225 US12011661B1 (en) 2023-04-12 2023-09-23 Game lighting-effect control method, device, equipment, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310385556.6A CN116077924B (zh) 2023-04-12 2023-04-12 游戏灯效控制方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116077924A true CN116077924A (zh) 2023-05-09
CN116077924B CN116077924B (zh) 2023-06-30

Family

ID=86199569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310385556.6A Active CN116077924B (zh) 2023-04-12 2023-04-12 游戏灯效控制方法、装置、设备及介质

Country Status (2)

Country Link
US (1) US12011661B1 (zh)
CN (1) CN116077924B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117138317A (zh) * 2023-10-27 2023-12-01 深圳市千岩科技有限公司 运动动作监督提示方法及其装置、设备、介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017029063A1 (en) * 2015-08-20 2017-02-23 Philips Lighting Holding B.V. Lighting for games
CN109999496A (zh) * 2019-04-08 2019-07-12 深圳市腾讯信息技术有限公司 虚拟对象的控制方法、装置和电子装置
CN112742029A (zh) * 2020-04-15 2021-05-04 腾讯科技（深圳）有限公司 一种模拟操作的方法、游戏测试的方法以及相关装置
CN115525563A (zh) * 2022-10-19 2022-12-27 北京字跳网络技术有限公司 一种测试方法、装置、计算机设备和存储介质
CN115776750A (zh) * 2022-11-30 2023-03-10 深圳市千岩科技有限公司 灯效控制方法、装置、产品、介质及灯效控制设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411029B2 (en) * 2007-06-05 2013-04-02 Dell Products L.P. Gaming keyboard and related methods
CN101568213A (zh) * 2008-04-23 2009-10-28 鸿富锦精密工业（深圳）有限公司 声控照明系统
KR101595958B1 (ko) * 2014-08-27 2016-02-18 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작방법
WO2016040450A1 (en) * 2014-09-09 2016-03-17 Voyetra Turtle Beach, Inc. A passive headset with dynamically controlled leds
US9558527B2 (en) * 2014-10-24 2017-01-31 Dell Products L.P. Systems and methods for orchestrating external graphics
CN104766597A (zh) * 2015-04-13 2015-07-08 施政 数字键盘乐器的发光控制方法和装置
US9763021B1 (en) * 2016-07-29 2017-09-12 Dell Products L.P. Systems and methods for display of non-graphics positional audio information
JP6364054B2 (ja) * 2016-10-31 2018-07-25 シャープ株式会社 光出力システム
WO2018144884A1 (en) * 2017-02-03 2018-08-09 Taunt Inc. System and method for synchronizing and predicting game data from game video and audio data
US20210096656A1 (en) * 2018-11-20 2021-04-01 Matthew Ryan Gilg System and Method for an End-Device Modulation Based on a Hybrid Trigger
US11210911B2 (en) * 2019-03-04 2021-12-28 Timothy T. Murphy Visual feedback system
US11141658B2 (en) * 2020-01-30 2021-10-12 Dell Products L.P. Gameplay event detection and gameplay enhancement operations
US20210339132A1 (en) * 2020-04-27 2021-11-04 Steven Shakespeare Method and System for Visual Display of Audio Cues in Video Games
US11324093B1 (en) * 2021-01-15 2022-05-03 Dell Products L.P. Adjusting underlighting of a keyboard input device
US20220353435A1 (en) * 2021-04-29 2022-11-03 Cloudinary Ltd. System, Device, and Method for Enabling High-Quality Object-Aware Zoom-In for Videos
US11833418B2 (en) * 2021-05-14 2023-12-05 Dell Products L.P. Discrete haptics for keyboard palm rest
CN114241396A (zh) * 2021-12-31 2022-03-25 深圳市智岩科技有限公司 灯效控制方法、系统、装置、电子设备及存储介质
US12010157B2 (en) * 2022-03-29 2024-06-11 Rovi Guides, Inc. Systems and methods for enabling user-controlled extended reality
CN116033014B (zh) * 2023-03-28 2023-06-23 深圳市智岩科技有限公司 发光数据传输方法、发光控制方法、装置、介质及产品
CN116033638B (zh) * 2023-03-30 2023-06-13 深圳市智岩科技有限公司 灯光控制方法、装置、产品、介质及灯光控制设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017029063A1 (en) * 2015-08-20 2017-02-23 Philips Lighting Holding B.V. Lighting for games
CN109999496A (zh) * 2019-04-08 2019-07-12 深圳市腾讯信息技术有限公司 虚拟对象的控制方法、装置和电子装置
CN112742029A (zh) * 2020-04-15 2021-05-04 腾讯科技（深圳）有限公司 一种模拟操作的方法、游戏测试的方法以及相关装置
CN115525563A (zh) * 2022-10-19 2022-12-27 北京字跳网络技术有限公司 一种测试方法、装置、计算机设备和存储介质
CN115776750A (zh) * 2022-11-30 2023-03-10 深圳市千岩科技有限公司 灯效控制方法、装置、产品、介质及灯效控制设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117138317A (zh) * 2023-10-27 2023-12-01 深圳市千岩科技有限公司 运动动作监督提示方法及其装置、设备、介质
CN117138317B (zh) * 2023-10-27 2024-01-09 深圳市千岩科技有限公司 运动动作监督提示方法及其装置、设备、介质

Also Published As

Publication number Publication date
US12011661B1 (en) 2024-06-18
CN116077924B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
US11475666B2 (en) Method of obtaining mask frame data, computing device, and readable storage medium
CN109614996A (zh) 基于生成对抗网络的弱可见光与红外图像融合的识别方法
WO2017092431A1 (zh) 基于肤色的人手检测方法及装置
CN116077924B (zh) 游戏灯效控制方法、装置、设备及介质
US11871086B2 (en) Method of displaying comment information, computing device, and readable storage medium
CN115776750A (zh) 灯效控制方法、装置、产品、介质及灯效控制设备
CN113377198B (zh) 一种屏保交互方法、装置、电子设备和存储介质
US20230021533A1 (en) Method and apparatus for generating video with 3d effect, method and apparatus for playing video with 3d effect, and device
CN109598891A (zh) 一种利用深度学习分类模型实现烟雾检测的方法和系统
CN110399888B (zh) 一种基于mlp神经网络和计算机视觉的围棋裁判系统
CN106060653A (zh) 一种对互联网视频直播中的不雅动作过滤的方法
CN108737878A (zh) 用于结合视频呈现来修改用户界面颜色的方法和系统
CN113497946A (zh) 视频处理方法、装置、电子设备和存储介质
US20230030260A1 (en) Systems and methods for improved player interaction using augmented reality
CN101388067B (zh) 一种互动娱乐商标广告的植入方法
WO2021147473A1 (zh) 一种模型训练方法、内容生成方法以及相关装置
CN115884472A (zh) 灯效控制方法、装置、产品、介质及灯效控制设备
CN108737851A (zh) 用于针对视频内容项的调色板提取的方法、系统和介质
US11737192B2 (en) Lighting effect control method, system, apparatus, electronic device, and storage medium
CN109919890B (zh) 一种应用于医药识别的数据增强方法
JP2022542185A (ja) ダイナミック性レベルの比較に基づく画像解析領域の選択
CN115802557A (zh) 灯效控制方法、装置、产品、介质及灯效控制设备
CN108040239A (zh) 基于图像识别的知识训练系统及方法
US20120178059A1 (en) Method for creating combined characters in a chinese character learning game
CN111954081B (zh) 获取蒙版数据的方法、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant