CN114241396A - 灯效控制方法、系统、装置、电子设备及存储介质 - Google Patents

灯效控制方法、系统、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114241396A
CN114241396A CN202111672897.9A CN202111672897A CN114241396A CN 114241396 A CN114241396 A CN 114241396A CN 202111672897 A CN202111672897 A CN 202111672897A CN 114241396 A CN114241396 A CN 114241396A
Authority
CN
China
Prior art keywords
video frame
frame image
detected
virtual object
target virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111672897.9A
Other languages
English (en)
Inventor
由杰
吴文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhiyan Technology Co Ltd
Original Assignee
Shenzhen Zhiyan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhiyan Technology Co Ltd filed Critical Shenzhen Zhiyan Technology Co Ltd
Priority to CN202111672897.9A priority Critical patent/CN114241396A/zh
Publication of CN114241396A publication Critical patent/CN114241396A/zh
Priority to US18/066,568 priority patent/US11737192B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/155—Coordinated control of two or more light sources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

本申请实施例公开了一种灯效控制方法、系统、装置、存储介质及计算机设备。本申请实施例通过对待测视频流进行分帧处理以获得视频帧图像序列；依序获取视频帧图像序列中未遍历的其中一个视频帧图像作为检测视频帧图像；若根据检测视频帧图像的识别结果确定检测视频帧图像存在目标虚拟对象，则确定检测视频帧图像中目标虚拟对象的状态信息；其中，检测视频帧图像的识别结果为检测视频帧图像通过图像识别处理得到；根据状态信息控制灯光设备的灯效，从而使得灯效根据图像中显示的内容进行变换，极大地丰富了灯效的控制方式。

Description

灯效控制方法、系统、装置、电子设备及存储介质
技术领域
本申请涉及照明设备控制领域，更具体地，涉及一种灯效控制方法、系统、装置、电子设备及存储介质。
背景技术
目前，随着人们生活条件的改善，对物质生活有了更高的要求，因此智能家居得以迅速发展，越来越多的人开始使用智能家居。而照明设备作为智能家居中重要的组成部分，人们对它的要求也逐渐不再满足于单纯的照明功能。
在对现有技术的研究和实践中，本申请的发明人发现，现有技术中只能根据显示装置显示的图像的整体颜色控制灯效，灯效控制单一，影响用户的体验。
发明内容
鉴于上述问题，本申请提出了一种灯效控制方法、系统、装置、存储介质及计算机设备。
为了解决上述的技术问题，本申请实施例提供以下技术方案：
第一方面，本申请实施例提供了一种灯效控制方法，该方法包括：对待测视频流进行分帧处理以获得视频帧图像序列；依序获取视频帧图像序列中未遍历的其中一个视频帧图像作为检测视频帧图像；若根据检测视频帧图像的识别结果确定检测视频帧图像存在目标虚拟对象，则确定检测视频帧图像中目标虚拟对象的状态信息；其中，检测视频帧图像的识别结果为检测视频帧图像通过图像识别处理得到；根据状态信息控制灯光设备的灯效，并返回执行获取视频帧图像序列中未遍历的视频帧图像作为检测视频图像的步骤。
可选地，本申请实施例的灯效控制方法还包括：确定检测视频帧图像对应的实时场景。根据状态信息控制灯光设备的灯效，包括：基于实时场景和状态信息控制灯光设备的灯效。
可选地，目标虚拟对象的状态信息至少包括目标虚拟对象的数量和/或与预设虚拟对象的距离。
可选地，若根据检测视频帧图像的识别结果确定检测视频帧图像存在目标虚拟对象，则确定检测视频帧图像中目标虚拟对象的状态信息，包括：若根据检测视频帧图像的识别结果确定检测视频帧图像中存在目标虚拟对象，则获取检测视频帧之前预设数量的视频帧图像作为状态视频帧图像；确定状态视频帧图像中目标虚拟对象的状态信息以及检测视频图像中目标虚拟对象的状态信息。根据状态信息控制灯设备的灯效，包括：确定目标虚拟对象的变化信息；根据变化信息控制灯光设备的灯效。
可选地，本申请实施例的灯效控制方法还包括：根据检测视频帧图像的识别结果与上一帧视频帧图像的识别结果确定目标虚拟对象的状态信息的差值。根据状态信息控制灯光设备的灯效，包括：若差值大于预设阈值，则根据状态信息控制灯光设备的灯效。
可选地，对待测视频流进行分帧处理以获得视频帧图像序列之前，还包括：获取原始视频流；基于原始视频流生成至少两路待测视频流；将其中一路待测视频流发送至显示设备，以使显示设备根据待测视频流进行显示；对待测视频流进行分帧处理以获得视频帧图像序列，包括：对其中另一路待测视频流进行分帧处理以获得视频帧图像序列。
可选地，灯效控制方法，还包括：当显示设备响应于控制操作，进入与控制操作对应的显示状态时，控制灯光设备显示与控制操作对应的灯效状态。
可选地，灯光设备包括一个或多个灯光单元。
第二方面，本申请实施例还提供了一种灯效控制装置，该装置包括图像获取模块、检测视频帧图像确定模块、状态信息确定模块和灯效控制模块。其中，图像获取模块用于对待测视频流进行分帧处理以获得视频帧图像序列。检测视频帧图像确定模块用于依序获取视频帧图像序列中未遍历的其中一个视频帧图像作为检测视频帧图像。状态信息确定模块用于若根据检测视频帧图像的识别结果确定检测视频帧图像存在目标虚拟对象，则确定检测视频帧图像中目标虚拟对象的状态信息；其中，检测视频帧图像的识别结果为检测视频帧图像通过图像识别处理得到。灯效控制模块用于根据状态信息控制灯光设备的灯效。
第三方面，本申请实施例还提供了一种灯效控制系统，该系统包括：控制设备和与控制设备连接的灯光设备；其中，控制设备用于执行灯效控制方法。
第四方面，本申请实施例还提供了一种电子设备，该电子设备包括：一个或多个处理器、存储器以及一个或多个应用程序。其中，一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序配置用于执行灯效控制方法。
第五方面，本申请实施例也提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行灯效控制方法。
本申请实施例通过对待测视频流进行分帧处理以获得视频帧图像序列；依序获取视频帧图像序列中未遍历的其中一个视频帧图像作为检测视频帧图像；若根据检测视频帧图像的识别结果确定检测视频帧图像存在目标虚拟对象，则确定检测视频帧图像中目标虚拟对象的状态信息；根据状态信息控制灯光设备的灯效。以此，灯光设备可以根据图像中存在的目标虚拟对象的状态控制灯效变换，从而使得灯效根据图像中显示的内容进行变换，极大地丰富了灯效的控制方式。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例所涉及的一种应用环境的示意图。
图2示出了本申请一实施例所涉及的另一种应用环境的示意图。
图3示出了本申请一实施例提出的一种灯效控制方法的流程示意图。
图4示出了本申请一实施例提出的一种生成待测视频流的流程示意图。
图5示出了本申请一实施例提出的一种灯效控制装置的结构框图。
图6示出了本申请一实施例提出的一种电子设备的结构框图。
图7示出了本申请一实施例提出的一种计算机存储介质的结构框。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
目前随着智能家居的不断发展，各种智能家居设备的应用也得到了普及，而照明设备作为智能家居中重要的组成部分，已不再只是起照明功能。
随着人们对照明设备的需求方向的改变，照明设备朝着灯效越来越丰富，反应越来越灵敏的方向发展。人们开始将照明设备与其他设备结合起来，例如通过音响中的音频、电视上的显示内容等来控制照明设备的灯效变化。
而伴随着互联网的普及，网络游戏成为越来越多年轻人的娱乐方式，因此，为了让用户在游戏过程中更好地沉浸在游戏的氛围中，使照明设备的灯效能够灵敏地跟随游戏界面的变化成为新的挑战。在对现有技术的研究和实践中，本申请的发明人发现，现有技术中只能根据显示装置显示的图像的整体颜色控制灯效，灯效控制单一，影响用户体验。
为了改善上述问题，本申请的发明人提出了本申请提供的灯效控制方法、装置、电子设备及存储介质，通过对待测视频流进行分帧处理以获得视频帧图像序列；依序获取视频帧图像序列中未遍历的其中一个视频帧图像作为检测视频帧图像；若根据检测视频帧图像的识别结果确定检测视频帧图像存在目标虚拟对象，则确定检测视频帧图像中目标虚拟对象的状态信息；其中，检测视频帧图像的识别结果为检测视频帧图像通过图像识别处理得到；根据状态信息控制灯光设备的灯效，从而使得灯效可以根据图像中显示的内容进行变换，极大地丰富了灯效的控制方式。
下面将针对本发明实施例提供的灯效控制系统的应用坏境进行介绍。
请参阅图1，图1为本申请实施例所提供的灯效控制系统的场景示意图，其中，本申请实施例的灯效控制系统A包括：控制设备B和灯光设备C。
在一些实施方式中，控制设备B可以用于获取待测视频流。控制设备B可以包括硬件接口，用于获取待测视频流。
在一些实施方式中，控制设备B可以通过硬件接口与XBOX(家用电视游戏机)，PS(PlayStation，电子游戏机)等设备相连，以获取待测视频流。
在一些实施方式中，控制设备B还可以包括控制单元。示例性地，控制单元可以采用SOC(System on Chip，系统级芯片)、CPU(central processing unit，中央处理器)、MPU(Microcontroller Unit，微控制单元)等，具体可以根据实际使用需要进行设置，本申请对此不作限制。
在一些实施方式中，灯光设备C可以是带状、条状灯、灯柱、平面灯(含有多个灯珠)或者空间布置的灯。
在一些实施方式中，灯光设备C可以包括控制单元和灯光单元，控制单元可以用于根据控制设备B的控制灯光单元的灯效。
在一些实施方式中，灯光设备C可以包括一个或多个灯光单元，以根据实际使用需要进行对应的组合。
在一些实施方式中，每个灯光单元可以包含一个或者多个灯珠，且控制单元可以控制灯光单元的灯珠的亮度、颜色等，还可以控制亮灯的数量，从而实现灯光设备的不同灯效。
在一些实施方式中，可以根据实际使用需要，设置灯光设备的位置和数量，根据灯光设备的位置，还可以控制长度、高度以及面积上灯效的控制。
请参阅图2，在一些实施方式中，灯光控制系统A还可以包括显示设备D，显示设备D与控制设备B通过有线或无线的方式进行连接。
其中，显示设备D可以包括但不限于平板电脑、手机、电视等可显示图像的设备，具体可根据需要进行选择，本申请对此不做限制。
显示设备D、灯光设备C和控制设备B之间可以通过网络连接。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施方式中，显示设备D、灯光设备C和控制设备B之间也可以通过特定的通信协议进行通信传输，通信协议包括但不限于BLE(Bluetooth low energy，低功耗蓝牙)协议、WLAN(Wireless Local Area Network，无线局域网)协议、蓝牙协议、ZigBee(紫蜂)协议或者Wi-Fi(Wireless Fidelity，无线保真)协议等。网络中还可以包括路由器、网关等等网络实体，图中并未示意出。
在图2中，显示设备D可以显示待测视频流，控制设备B通过对显示设备D中显示的待测视频流进行分帧处理以获得视频帧图像序列，并对视频帧图像序列中的视频帧图像进行图像识别处理以获得视频帧图像对应的识别结果，若基于识别结果确定视频帧图像存在目标虚拟对象，则根据目标虚拟对象的状态信息控制灯光设备C的灯效进行变化。
需要说明的是，图1、2所示的灯效控制系统的场景示意图仅仅作为示例，本申请实施例描述的灯效控制系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着灯效控制系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
在本申请的实施例中，控制设备B还可以执行下述实施例中涉及到的灯光控制方法，下面将结合具体的实施例进行阐述。
请参阅图3，图3是本申请实施例提供的灯效控制方法的流程示意图。本申请实施例的灯效控制方法可以应用于控制设备，该灯效控制方法可以包括步骤S110至步骤S130：
步骤S110、对待测视频流进行分帧处理以获得视频帧图像序列。
在相关照明设备控制技术中，当显示设备中显示图像时，会根据图像控制灯效变化。但目前只能根据图像的整体颜色控制灯效进行变化，灯效无法根据图像中具体对象的变化进行对应的展示，影响用户的沉浸式体验。
因此，为了解决上述问题，本申请实施例提供了一种根据图像中具体内容控制灯效进行变化的灯效控制方法，可以使灯效的变化与图像中显示内容的关联程度更高，从而更好地达到根据显示的图像中的具体内容控制灯效变化的目的。
在本实施例中，控制设备通过对待测视频流进行分帧处理，即把待测视频流分为多帧视频帧图像，从而得到视频帧图像序列。具体地，可以将视频帧图像按时间顺序进行排列，获得视频帧图像序列。
对待测视频流进行分帧处理也可以通过调用例如AE(Adobe After Effects，非线性特效合成软件)、PR(Adobe Premiere，视频编辑软件)以及各种可以进行视频剪辑的软件得到，具体实际使用哪种或哪几种软件可根据需求进行选择，在此不作限制。
在一些实施方式中，该对待测视频流进行分帧处理以获得视频帧图像序列之前，还包括：
(1)获取原始视频流；
(2)基于原始视频流生成至少两路待测视频流；
(3)将其中一路待测视频流发送至显示设备，以使显示设备根据待测视频流进行显示；
该对待测视频流进行分帧处理以获得视频帧图像序列，包括：
(4)对其中另一路待测视频流进行分帧处理以获得视频帧图像序列。
其中，控制设备获得原始视频流后，根据获得的原始视频流生成至少两路待测视频流，其中，生成的至少两路待测视频流中的内容一样，其中一路待测视频流用于控制显示设备进行显示待测视频流中的图像内容，另一路待测视频流进行分帧处理得到组成该待测视频流的视频帧图像序列。例如，控制设备获得一个有关游戏内容的原始视频流后，根据该视频流生成两路待测视频流，一路待测视频流控制显示设备显示游戏内容，另一路待测视频流中由于内容一样也是游戏内容，对其进行分帧处理会得到组成显示设备中显示的游戏内容的视频帧图像序列。
如图4所示，控制设备中通过硬件接口实现视频流的接入，获取到原始视频流后再将其一分为二生成至少两路待测视频流，其中一路用来控制显示设备显示具体图像内容，另一路用来通过视频接口转换成多媒体处理芯片能够接收的视频流类型，然后将待测视频流通过多媒体处理芯片对其进行分帧处理获得视频帧图像序列，从而控制灯光设备的灯效进行变换。其中，硬件接口可以例如是VGA(Video Graphics Array，视频图形阵列)、DP(DisplayPort，显示接口)、HDMI(High Definition Multimedia Interface，高清多媒体接口)、DVI(Digital Visual Interface，数字视频接口)等；视频接口可以例如是MIPI(Mobile Industry Processor Interface，移动行业处理器接口)、LVDS(Low-VoltageDifferential Signaling，低压差分信号传输接口)等；多媒体处理芯片可以例如是SOC(System on Chip，系统级芯片)芯片。进一步地，对原始视频流环出可以通过调用视频采集卡实现。
在一些实施方式中，该灯效控制方法，还包括：
(2.1)当显示设备响应于控制操作，进入与控制操作对应的显示状态时，控制灯光设备显示与控制操作对应的灯效状态。
其中，当用户对显示设备进行控制操作后，显示设备进入与控制操作对应的显示状态(例如关机、暂停等)，控制设备控制灯光设备显示与用户控制操作对应的灯效状态。例如，用户将显示设备关闭使其不显示图像后，控制设备控制灯光设备关闭使其不再发光。
根据用户对显示设备的控制操作来控制灯光设备的灯效状态，可以避免出现显示设备关闭但仍在进行灯效变化的情况，使得灯光设备能更好地跟随显示设备中显示的视频帧图像进行灯效变化。
在一些实施方式中，该灯光设备包括一个或多个灯光单元。
其中，灯光设备中可以包括一个或多个灯光单元，可以理解地，灯光单元越多，灯效展示越丰富，用户的沉浸式体验感越好。
步骤S120、依序获取视频帧图像序列中未遍历的其中一个视频帧图像作为检测视频帧图像。
在本申请的实施例中，控制设备可以按照时间先后顺序依次获取视频图像序列中未遍历的其中一个视频帧图像作为检测视频帧图像，以根据检测视频帧图像对灯光设备当前的灯效进行控制。
示例性地，若视频帧图像序列中包括第一图像、第二图像以及第三图像。其中，第一图像的时间早于第二图像的时间，第二图像的时间早于第三图像的时间。控制设备已根据第一图像对灯光设备的灯效进行控制，则视频帧图像序列中未遍历的视频帧图像为第二图像和第三图像，由于第二图像的时间早于第三图像的时间，因此，可以获取第二图像作为检测视频帧图像。
步骤S130、若根据检测视频图像的识别结果确定检测视频帧图像存在目标虚拟图像，则确定检测视频帧图像中目标虚拟对应的状态信息。
其中，检测视频帧图像的识别结果为检测视频帧图像通过图像识别处理得到。
在本申请的实施例中，控制设备对待测视频流分帧处理得到视频帧图像序列后，对视频帧图像序列中的视频帧图像进行图像识别处理，以使得到视频帧图像的识别结果。例如，对某视频帧图像进行图像识别处理后，发现识别结果为该图像中存在8只小鸟和一棵大树。
具体地，控制设备可以通过端侧部署的AI(Artificial Intelligence，人工智能)目标检测模型对视频帧图像进行图像识别处理以获得视频帧图像对应的识别结果。其中，AI目标检测模型中可以采用SSD、yolo系列、R-CNN家族等目标检测算法。例如，当待测视频流视频内容为射击游戏时，通过AI目标检测模型可以分辨出敌人分布位置的密集程度和数目变化等。
在一些实施例中，控制设备也可以通过调用其他可进行图像识别的软件来对视频帧图像进行识别，从而根据识别结果控制灯光设备进行灯效变化。
可选地，控制设备可以依次识别视频帧图像，即每次只得到一个视频帧图像对应的识别结果。
可选地，当控制设备采用多线程进行图像识别时，可以一次识别多张视频帧图像，从而加快视频帧图像图像识别速度。
可选地，还可以将多张视频帧图像合并成一张大视频帧图像进行识别，每个大视频帧图像的识别结果中包括多个视频帧图像对应的识别结果，从而减少图像识别次数。
在一些实施方式中，控制设备可以按照时间先后顺序依次对视频帧图像序列中的视频帧图像进行图像识别处理以获得每个视频帧图像对应的识别结果。
其中，为了使灯光设备的灯效变化与显示设备中显示的内容对应，可以根据时间先后顺序获取视频帧图像识别结果，以使控制灯光设备根据识别结果进行灯效变化。
在一些实施例中，由于可能相邻帧的视频帧图像的内容相差不大，因此为了使灯效变化趋于适中，可以将下一帧视频帧图像的识别结果与上一帧视频帧图像的识别结果进行比较，若识别结果中目标虚拟对象的状态信息之间差别小于或等于预设阈值，则不改变灯效。
在本申请的实施例中，可以根据检测视频帧图像的识别结果确定检测视频帧图像是否存在目标虚拟对象。其中，控制设备可以根据检测视频帧图像的识别结果确定检测视频帧图像是否存在目标虚拟对象，即是否存在用户预设的图像信息，例如可以是人、物品、动物、怪兽等。若根据识别结果确定该识别的检测视频帧图像中存在目标虚拟对象，则根据目标虚拟对象的状态信息控制灯光设备的灯效。
在一些实施例中，目标虚拟对象可以是攻击特效。例如，当主角通过撒毒攻击怪兽，撒毒成功时的产生的攻击特效为绿色，则控制灯光设备的灯效显示为绿色。
在一些实施方式中，状态信息可以例如是目标虚拟对象的数量、高度、大小、位置等。
在一些实施例中，目标虚拟对象的状态信息可以是目标虚拟对象的位置。例如，当目标虚拟对象为怪兽时，可以设置怪兽的位置处于警戒区域时，控制灯光设备的灯效，例如，提高灯光设备的闪烁频率等。
进一步地，目标虚拟对象的状态信息还可以是攻击的方向、攻击的蓄力时间、攻击的范围等。
在一些实施方式中，该灯效控制方法，还包括：
(1.1)确定检测视频帧图像对应的实时场景；
该根据状态信息控制灯光设备的灯效，包括：
(1.2)基于实时场景和状态信息控制灯光设备的灯效。
其中，为了使灯光设备的变化与检测视频帧图像符合，丰富灯效变化，从而带给用户更好的体验感，还可以结合图像中的实时场景控制灯效变化。控制设备可以根据检测视频帧的图像识别结果，确定检测视频帧图像对应的实时场景(例如：白天、夜晚、森林、草地等)，根据识别得到的实时场景和目标虚拟对象的状态信息控制灯光设备的灯效变化。例如，当识别确定视频帧图像中对应的实时场景为夜晚，则可以控制随着目标虚拟对象数量的增多，灯光设备的灯光的亮度随之调高。
在一些实施方式中，该目标虚拟对象的状态信息至少包括目标虚拟对象的数量和/或与预设虚拟对象的距离。
其中，预设虚拟对象为用户预设的另一图像信息，控制设备根据目标虚拟对象的数量和/或与预设虚拟对象之间的距离控制灯光设备的灯效。例如，可以设置数量越多、距离越近，灯光亮度越暗。
在一些实施方式中，该若根据检测视频帧图像的识别结果确定检测视频帧图像存在目标虚拟对象，则确定检测视频帧图像中目标虚拟对象的状态信息，包括：
(2.1)若根据检测视频帧图像的识别结果确定检测视频帧图像中存在目标虚拟对象，则获取检测视频帧之前预设数量的视频帧图像作为状态视频帧图像。
(2.2)确定状态视频帧图像中目标虚拟对象的状态信息以及检测视频帧图像中目标虚拟对象的状态信息。
在一些实施方式中，根据状态信息控制灯光设备的灯效。
(3.1)根据状态视频帧图像中目标虚拟对象的状态信息以及检测视频帧图像中目标虚拟对象的状态信息确定目标虚拟对象的变化信息。
(3.2)根据变化信息控制灯光设备的灯效。
其中，控制设备若根据检测视频帧图像的识别结果确定检测视频帧图像中存在目标虚拟对象，则按照在显示设备中显示的时间先后顺组依次获取检测视频帧之前预设数量的视频帧图像作为状态视频帧图像，依次确定每个状态视频帧图像中目标虚拟对象的状态信息，再根据状态视频帧图像中目标虚拟对象的状态信息以及检测设置图像中目标虚拟对象的状态信息确定目标虚拟对象的变化信息(例如数量变化、种类变化、距离变化等)，最后根据得到的变化信息控制灯光设备的灯效变化。
示例性地，当待测视频流的内容为末日生存游戏时，可以将目标虚拟对象设为丧尸、变异的动植物中的一种或多种，可以将主角设为预设虚拟对象，根据丧尸、变异的动植物等的数量以及与主角的距离远近控制灯光设备的灯效变化。主角安全状态下灯光显示舒缓的颜色，例如蓝色、白色等。获取预设数量的视频帧图像后通过图像识别处理确定变化信息为数量越来越多，距离主角的距离越来越近，因此可以设置随着丧尸、变异的动植物数量增多，灯光显示的颜色开始逐渐过渡变成表示危险的红色，离主角越近，灯光的闪烁频率越快。
由上可知，本申请实施例通过对待测视频流进行分帧处理以获得视频帧图像序列；依序获取视频帧图像序列中未遍历的其中一个视频帧图像作为检测视频帧图像；若根据检测视频帧图像的识别结果确定检测视频帧图像存在目标虚拟对象，则确定检测视频帧图像中目标虚拟对象的状态信息；其中，检测视频帧图像的识别结果为检测视频帧图像通过图像识别处理得到；根据状态信息控制灯光设备的灯效。以此，灯光设备可以根据图像中存在的目标虚拟对象的状态控制灯效变换，从而使得灯效根据图像中显示的内容进行变换，极大地丰富了灯效的控制方式。
请参阅图5，图5为本申请实施例提供的灯效控制装置100的结构示意图，该灯效控制装置100可以包括图像获取模块110、检测视频帧图像确定模块120、状态信息确定模块130和灯效控制模块140：
图像获取模块110，用于对待测视频流进行分帧处理以获得视频帧图像序列。
检测视频帧图像确定模块120用于依序获取视频帧图像序列中未遍历的其中一个视频帧图像作为检测视频帧图像。
状态信息确定模块130，用于若根据检测视频帧图像的识别结果确定检测视频帧图像存在目标虚拟对象，则确定检测视频帧图像中目标虚拟对象的状态信息；其中，检测视频帧图像的识别结果为检测视频帧图像通过图像识别处理得到。
灯效控制模块140，用于根据状态信息控制灯光设备的灯效。
在一些实施例中，该灯效控制装置，还包括：
场景确认模块，用于确定视频帧图像对应的实时场景。
在一些实施方式中，灯效控制模块140还用于基于实时场景和状态信息控制灯光设备的灯效。
在一些实施例中，该目标虚拟对象的状态信息至少包括目标虚拟对象的数量和/或与预设虚拟对象的距离。
在一些实施例中，该状态信息确定模块130，包括：
状态视频帧图像获取单元，用于若根据检测视频帧图像的识别结果确定检测视频帧图像中存在目标虚拟对象，则获取检测视频帧之前预设数量的视频帧图像作为状态视频帧图像。
变化信息确定单元，用于根据状态视频帧图像中目标虚拟对象的状态信息以及检测视频帧图像中目标虚拟对象的状态信息确定目标虚拟对象的变化信息。
在一些实施方式中，灯效控制模块140，还用于根据变化信息控制灯光设备的灯效。
在一些实施方式中，该灯效控制装置还包括：
差值确定模块，用于根据检测视频帧图像的识别结果与上一帧视频帧图像的识别结果确定目标虚拟对象的状态信息的差值。
在一些实施方式中，灯效控制模块140，还用于若差值大于预设阈值，则根据所述状态信息控制灯光设备的灯效。
在一些实施例中，该灯效控制装置，还包括：
视频流获取模块，用于获取原始视频流；
待测视频流生成模块，用于基于原始视频流生成至少两路待测视频流；
显示模块，用于基于其中一路待测视频流控制显示设备进行显示；
该图像获取模块110，还用于对其中另一路待测视频流进行分帧处理以获得视频帧图像序列。
在一些实施例中，该灯效控制装置，还包括：
控制模块，用于响应于对显示设备的控制操作，控制显示设备进入与控制操作对应的显示状态，且同时控制灯光设备显示与控制操作对应的灯效状态。
在一些实施例中，该灯光设备包括一个或多个灯光单元。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参阅图6，本申请实施例提供了一种电子设备200，该电子设备200可以是智能手机、平板电脑、电子书、触摸屏等能够运行应用程序的电子设备200。本申请中的电子设备200可以包括一个或多个如下部件：处理器210、存储器220、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器220中并被配置为由一个或多个处理器210执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器210可以包括一个或者多个处理核。处理器210利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行电子设备的各种功能和处理数据。可选地，处理器210可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器210可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器中，单独通过一块通信芯片进行实现。
存储器220可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器可用于存储指令、程序、代码、代码集或指令集。存储器可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如图像识别功能、分帧处理功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端在使用中所创建的数据(比如视频帧图像、状态信息、变化信息等)等。
请参考图7，其示出了本申请实施例提供的一种计算机可读取存储介质300的结构框图。该计算机可读取介质300中存储有程序代码310，所述程序代码310可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读取存储介质300可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读取存储介质300具有执行上述方法中的任何方法步骤的程序代码的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码可以例如以适当形式进行压缩。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施方式中描述的灯效控制方法。
综上所述，本申请提供的一种灯效控制方法、系统、装置、存储介质及计算机设备。依序获取视频帧图像序列中未遍历的其中一个视频帧图像作为检测视频帧图像；若根据检测视频帧图像的识别结果确定检测视频帧图像存在目标虚拟对象，则确定检测视频帧图像中目标虚拟对象的状态信息；其中，检测视频帧图像的识别结果为检测视频帧图像通过图像识别处理得到；根据状态信息控制灯光设备的灯效，从而使得灯效根据图像中显示的内容进行变换，极大地丰富了灯效的控制方式。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种灯效控制方法，其特征在于，所述方法包括：
对待测视频流进行分帧处理以获得视频帧图像序列；
依序获取所述视频帧图像序列中未遍历的其中一个视频帧图像作为检测视频帧图像；
若根据所述检测视频帧图像的识别结果确定所述检测视频帧图像存在目标虚拟对象，则确定所述检测视频帧图像中所述目标虚拟对象的状态信息；其中，所述检测视频帧图像的识别结果为所述检测视频帧图像通过图像识别处理得到；
根据所述状态信息控制灯光设备的灯效，并返回执行依序获取所述视频帧图像序列中未遍历的其中一个视频帧图像作为检测视频帧图像的步骤。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定所述检测视频帧图像对应的实时场景；
所述根据所述状态信息控制所述灯光设备的灯效，包括：
基于所述实时场景和所述状态信息控制所述灯光设备的灯效。
3.根据权利要求1所述的方法，其特征在于，所述目标虚拟对象的状态信息至少包括目标虚拟对象的数量和/或与预设虚拟对象的距离。
4.根据权利要求1所述的方法，其特征在于，所述若根据所述检测视频帧图像的识别结果确定所述检测视频帧图像存在目标虚拟对象，则确定所述检测视频帧图像中所述目标虚拟对象的状态信息，包括：
若根据所述检测视频帧图像的识别结果确定所述检测视频帧图像中存在目标虚拟对象，则获取所述检测视频帧之前预设数量的视频帧图像作为状态视频帧图像；
确定所述状态视频帧图像中所述目标虚拟对象的状态信息以及所述检测视频帧图像中所述目标虚拟对象的状态信息；
所述根据所述状态信息控制灯光设备的灯效，包括：
根据所述状态视频帧图像中所述目标虚拟对象的状态信息以及所述检测视频帧图像中所述目标虚拟对象的状态信息确定所述目标虚拟对象的变化信息；
根据所述变化信息控制所述灯光设备的灯效。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述检测视频帧图像的识别结果与上一帧视频帧图像的识别结果确定目标虚拟对象的状态信息的差值；
所述根据所述状态信息控制灯光设备的灯效，包括：
若所述差值大于预设阈值，则根据所述状态信息控制灯光设备的灯效。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述对待测视频流进行分帧处理以获得视频帧图像序列之前，所述方法还包括：
获取原始视频流；
基于所述原始视频流生成至少两路所述待测视频流；
将其中一路所述待测视频流发送至显示设备，以使所述显示设备根据所述待测视频流进行显示；
所述对待测视频流进行分帧处理以获得视频帧图像序列，包括：
对其中另一路所述待测视频流进行分帧处理以获得视频帧图像序列。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
当所述显示设备响应于控制操作，进入与所述控制操作对应的显示状态时，控制所述灯光设备显示所述控制操作对应的灯效状态。
8.根据权利要求1至5任一项所述的方法，其特征在于，所述灯光设备包括一个或多个灯光单元。
9.一种灯效控制系统，其特征在于，包括：控制设备和与所述控制设备连接的灯光设备；
其中，所述控制设备用于执行如权利要求1至8任一项所述的灯效控制方法。
10.一种灯效控制装置，其特征在于，包括：
图像获取模块，用于对待测视频流进行分帧处理以获得视频帧图像序列；
检测视频帧图像确定模块，用于依序获取所述视频帧图像序列中未遍历的其中一个视频帧图像作为检测视频帧图像；
状态信息确定模块，用于若根据所述检测视频帧图像的识别结果确定所述检测视频帧图像存在目标虚拟对象，则确定所述检测视频帧图像中所述目标虚拟对象的状态信息；其中，所述检测视频帧图像的识别结果为所述检测视频帧图像通过图像识别处理得到；
灯效控制模块，用于根据所述状态信息控制灯光设备的灯效。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如权利要求1-8任一项所述的灯效控制方法。
12.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-8任一项所述的灯效控制方法。
CN202111672897.9A 2021-12-31 2021-12-31 灯效控制方法、系统、装置、电子设备及存储介质 Pending CN114241396A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111672897.9A CN114241396A (zh) 2021-12-31 2021-12-31 灯效控制方法、系统、装置、电子设备及存储介质
US18/066,568 US11737192B2 (en) 2021-12-31 2022-12-15 Lighting effect control method, system, apparatus, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111672897.9A CN114241396A (zh) 2021-12-31 2021-12-31 灯效控制方法、系统、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114241396A true CN114241396A (zh) 2022-03-25

Family

ID=80745402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111672897.9A Pending CN114241396A (zh) 2021-12-31 2021-12-31 灯效控制方法、系统、装置、电子设备及存储介质

Country Status (2)

Country Link
US (1) US11737192B2 (zh)
CN (1) CN114241396A (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396385B2 (en) * 2010-08-26 2016-07-19 Blast Motion Inc. Integrated sensor and video motion analysis method
CN108780228B (zh) * 2016-01-19 2021-04-20 奇跃公司 利用映像的增强现实系统和方法
US10248863B2 (en) * 2016-06-15 2019-04-02 International Business Machines Corporation Augemented video analytics for testing internet of things (IoT) devices
EP3563215A4 (en) * 2016-12-29 2020-08-05 Magic Leap, Inc. AUTOMATIC CONTROL OF A WEARABLE DISPLAY DEVICE BASED ON EXTERNAL CONDITIONS
US11785180B2 (en) * 2017-09-11 2023-10-10 Reelay Meetings, Inc. Management and analysis of related concurrent communication sessions
EP3818530A4 (en) * 2018-07-02 2022-03-30 Magic Leap, Inc. METHODS AND SYSTEMS FOR INTERPOLATION OF VARIOUS INPUTS
US11030458B2 (en) * 2018-09-14 2021-06-08 Microsoft Technology Licensing, Llc Generating synthetic digital assets for a virtual scene including a model of a real-world object
US11714890B2 (en) * 2020-04-16 2023-08-01 Capital One Services, Llc Systems and methods for authenticating users
US20220066544A1 (en) * 2020-09-01 2022-03-03 Georgia Tech Research Corporation Method and system for automatic extraction of virtual on-body inertial measurement units
US11481960B2 (en) * 2020-12-30 2022-10-25 Meta Platforms Technologies, Llc Systems and methods for generating stabilized images of a real environment in artificial reality

Also Published As

Publication number Publication date
US11737192B2 (en) 2023-08-22
US20230217570A1 (en) 2023-07-06

Similar Documents

Publication Publication Date Title
CN108053381B (zh) 动态色调映射方法、移动终端及计算机可读存储介质
US11409794B2 (en) Image deformation control method and device and hardware device
CN113677071A (zh) 灯具控制方法、装置、电子设备及存储介质
CN113299245B (zh) 显示设备局部背光调节方法、装置、显示设备及存储介质
CN105556574A (zh) 渲染设备、其渲染方法、程序和记录介质
CN114266838A (zh) 图像数据处理方法、装置、电子设备及存储介质
CN113377198A (zh) 一种屏保交互方法、装置、电子设备和存储介质
CN115776750A (zh) 灯效控制方法、装置、产品、介质及灯效控制设备
CN113597061A (zh) 控制幻彩灯带的方法、设备和计算机可读存储介质
CN109710255A (zh) 特效处理方法、特效处理装置、电子设备及存储介质
CN111627076B (zh) 换脸方法、装置及电子设备
CN112884665A (zh) 一种动画播放方法、装置、计算机设备及存储介质
EP4018646B1 (en) Selecting an image analysis area based on a comparison of dynamicity levels
US20140161173A1 (en) System and method for controlling video encoding using content information
CN114241396A (zh) 灯效控制方法、系统、装置、电子设备及存储介质
CN113411537A (zh) 视频通话方法、装置、终端及存储介质
CN109885172B (zh) 一种基于增强现实ar的对象互动展示方法及系统
CN115604887A (zh) 一种氛围灯组控制方法、控制台及装置
CN111340931A (zh) 场景处理方法、装置、用户端及存储介质
CN114422846A (zh) 灯效控制方法、系统、装置、电子设备及存储介质
CN117412452B (zh) 氛围灯设备及其配色方法和相应的装置、介质
CN117412450B (zh) 氛围灯设备及其灯效配色方法和相应的装置、介质
CN117459792B (zh) 基于视觉算法的视频处理方法和ai盒子
CN117412451B (zh) 氛围灯设备及其映射配色方法和相应的装置、介质
CN115814406A (zh) 虚拟场景的图像处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination