CN116437539B - 多自由度的舞美灯光控制方法及系统 - Google Patents

多自由度的舞美灯光控制方法及系统 Download PDF

Info

Publication number
CN116437539B
CN116437539B CN202310688381.6A CN202310688381A CN116437539B CN 116437539 B CN116437539 B CN 116437539B CN 202310688381 A CN202310688381 A CN 202310688381A CN 116437539 B CN116437539 B CN 116437539B
Authority
CN
China
Prior art keywords
stage
information
target
target object
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310688381.6A
Other languages
English (en)
Other versions
CN116437539A (zh
Inventor
包珊陌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liangye Technology Group Co ltd
Original Assignee
Liangye Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liangye Technology Group Co ltd filed Critical Liangye Technology Group Co ltd
Priority to CN202310688381.6A priority Critical patent/CN116437539B/zh
Publication of CN116437539A publication Critical patent/CN116437539A/zh
Application granted granted Critical
Publication of CN116437539B publication Critical patent/CN116437539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

本公开提供一种多自由度的舞美灯光控制方法及系统，包括获取目标舞台中多个运动对象的运动图像信息，基于所述运动图像信息通过姿态估计算法以及预设标记信息确定所述目标舞台中目标对象的姿态信息；根据所述姿态信息，通过动态跟踪算法在所述运动图像信息中锁定所述目标对象，并实时获取所述目标对象在所述目标舞台的位置信息；基于预先确定的舞台位置与舞台灯光角度的对应关系，根据所述目标对象在所述目标舞台的位置信息，调用偏转角度最小的舞台灯光对所述目标对象进行跟踪照射。本公开的方法能够提供沉浸式舞台灯光效果。

Description

多自由度的舞美灯光控制方法及系统
技术领域
本公开涉及舞台灯光控制技术领域，尤其涉及一种多自由度的舞美灯光控制方法及系统。
背景技术
在舞美灯光设计中，通常需要控制灯光的亮度、颜色、位置、运动、形状等多个参数，以创造出丰富多样的灯光效果。在舞台表演中，灯光是其中关键的一环，这决定了舞台上的表演者是否能够为台下观众所见。例如，灯光追随表演者移动，观众就可根据所述灯光来寻找表演者，当舞台灯光机构出现故障或控制不佳而偏离表演者时，就会导致观众因视线被灯光影响而错过表演者，这就会影响舞台表演的质量。目前的舞台灯光均是由专业的灯光师以人工的方式进行调节，易产生误差，且具有专业水平的灯光师的数量难以满足日益增多的舞台演出。
发明内容
本公开实施例提供一种多自由度的舞美灯光控制方法及系统，能够至少解决现有技术中的部分问题，也即解决需要专业的灯光师控制舞台灯光才能跟随表演者的问题。
本公开实施例的第一方面，
提供一种多自由度的舞美灯光控制方法，包括：
获取目标舞台中多个运动对象的运动图像信息，基于所述运动图像信息通过姿态估计算法以及预设标记信息确定所述目标舞台中目标对象的姿态信息；
根据所述姿态信息，通过动态跟踪算法在所述运动图像信息中锁定所述目标对象，并实时获取所述目标对象在所述目标舞台的位置信息；
基于预先确定的舞台位置与舞台灯光角度的对应关系，根据所述目标对象在所述目标舞台的位置信息，调用偏转角度最小的舞台灯光对所述目标对象进行跟踪照射。
在一种可选的实施方式中，
所述基于所述运动图像信息通过姿态估计算法以及预设标记信息确定所述目标舞台中目标对象的姿态信息包括：
对所述运动图像信息的每一帧进行运动目标检测，并提取每一帧的运动目标的运动特征，基于所述姿态估计算法确定所述运动特征对应的人体关键点信息；
基于所述人体关键点信息，以及预设标记信息，分别构建所述人体关键点信息对应的关键点向量场矩阵以及所述预设标记信息对应的标记向量场矩阵，根据所述人体关键点信息、所述预设标记信息以及所述关键点向量场矩阵、所述标记向量场矩阵确定所述人体关键点信息与人体关节点信息的亲合度；
将亲合度大于预设关节阈值的人体关键点信息进行连接构建为所述目标舞台中目标对象的姿态信息。
在一种可选的实施方式中，
根据所述姿态信息，通过动态跟踪算法在所述运动图像信息中锁定所述目标对象包括：
对于所获取的运动图像信息的每一帧进行运动目标检测，确定所述运动目标的运动轨迹，计算当前帧运动目标与前一帧运动目标的外观特征的外观相似度以及运动特征的运动相似度，并根据所述外观相似度以及所述运动相似度确定关联关系得分矩阵；
将所述每一帧的运动目标作为节点，并连接相邻的节点形成连接边，根据所述关联关系得分矩阵设置所述节点的权重，遍历所有的节点，通过节点搜索算法确定增广路径，对所述增广路径进行图分割，将图分割为包括节点关联部分和节点不关联部分；
对增广路径进行迭代分割，直至节点关联部分节点权重最小，实现对运动目标进行动态跟踪。
在一种可选的实施方式中，
所述计算当前帧运动目标与前一帧运动目标的外观特征的外观相似度以及运动特征的运动相似度，并根据所述外观相似度以及所述运动相似度确定关联关系得分矩阵包括：
其中，W、V分别表示外观相似度和运动相似度的数量，wi、vj分别表示外观相似度对应的第i个权重系数和运动相似度对应的第j个权重系数，h表示正则化系数，Reg()表示正则化项，SIM(I,K)表示外观相似度，SF表示运动相似度；
其中，SIM(I,K)表示外观相似度，uI表示当前帧的像素均值，uK表示前一帧的像素均值，C表示外观属性值，其为常数；
其中，SF表示运动相似度，Imax表示光流向量的数量，Fi、分别表示当前帧的光流向量和前一帧的光流向量。
在一种可选的实施方式中，
所述基于预先确定的舞台位置与舞台灯光角度的对应关系，根据所述目标对象在所述目标舞台的位置信息，调用偏转角度最小的舞台灯光对所述目标对象进行跟踪照射包括：
根据预设的坐标系分别确定所述目标舞台中每个区域的坐标信息，以及舞台灯光的坐标信息，基于所述目标对象在所述目标舞台的位置信息以及预先确定的舞台位置与舞台灯光角度的对应关系，分别确定所述舞台灯光与所述目标对象的第一方向向量、所述舞台灯光与所述目标舞台的中心的第二方向向量以及每个舞台灯光与所述目标对象的距离信息；
基于所述第一方向向量、所述第二方向向量以及每个舞台灯光与所述目标对象的距离信息，确定每个舞台灯光与目标对象的方向夹角；
遍历所述方向夹角，调用偏转角度最小的舞台灯光对所述目标对象进行跟踪照射。
在一种可选的实施方式中，
所述基于所述第一方向向量、所述第二方向向量以及每个舞台灯光与所述目标对象的距离信息，确定每个舞台灯光与目标对象的方向夹角包括：
按照如下公式确定每个舞台灯光与目标对象的方向夹角：
；
；
；
；
其中，angle表示舞台灯光与目标对象的方向夹角，表示所述第一方向向量，/>表示第二方向向量，/>表示所述舞台灯光与所述目标对象的距离信息，目标对象的中心坐标为(x_target,y_target)，舞台灯光的坐标表示为(x_light,y_light)，舞台中心的坐标为（x_stage，y_stage）；
在一种可选的实施方式中，
所述方法还包括：
将与舞美灯光适配的舞美音乐转换为时域信号，并对所述时域信号进行采样，确定所采样的时域信号对应的自相关序列以及所述时域信号中每一帧信号的能量序列；
将所述自相关序列和所述能量序列进行合并去重后，筛选出所述时域信号对应的音频特征，其中，所述音频特征包括音频节拍频率、音频节拍强度以及音频节拍稳定性中至少一种；
根据所述音频特征，以及预设的音频映射函数，将所述音频特征映射为舞美灯光控制策略，并通过所述舞美灯光控制策略控制所述舞美灯光与所述舞美音乐适配。
在一种可选的实施方式中，
所述确定所采样的时域信号对应的自相关序列以及所述时域信号中每一帧信号的能量序列如下公式所示：
其中，E(n)表示第n帧时域信号对应的能量序列，N表示窗口长度，x[i]表示时域信号的第i个采样值，M表示对音频信息进行音频帧划分的数量，S（n）表示第n帧时域信号的滤波序列；
其中，R(n)表示第n帧时域信号对应的自相关序列，k表示延迟步长，K表示延迟总时长，r(k)表示延迟步长为k的离散信号序列，r(k+1)表示延迟步长为k的离散信号序列的相邻序列，T表示时域信号峰值，R表示自相关系数；
所述根据所述音频特征，以及预设的音频映射函数，将所述音频特征映射为舞美灯光控制策略如下公式所示：
其中，CL表示舞美灯光控制策略，U(n)=[E(n),R(n)]表示所述音频特征，Umax、Umin分别表示音频特征的最大值和最小值，f()表示音频映射函数，FRE、RGB、LIG分别表示灯光频率、灯光颜色以及灯光强度。
本公开实施例的第二方面，
提供一种多自由度的舞美灯光控制系统，包括：
第一单元，用于获取目标舞台中多个运动对象的运动图像信息，基于所述运动图像信息通过姿态估计算法以及预设标记信息确定所述目标舞台中目标对象的姿态信息；
第二单元，用于根据所述姿态信息，通过动态跟踪算法在所述运动图像信息中锁定所述目标对象，并实时获取所述目标对象在所述目标舞台的位置信息；
第三单元，用于基于预先确定的舞台位置与舞台灯光角度的对应关系，根据所述目标对象在所述目标舞台的位置信息，调用偏转角度最小的舞台灯光对所述目标对象进行跟踪照射。
本公开实施例的第三方面，
提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本公开实施例的第四方面，
提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
本公开实施例的有益效果，可以参考具体实施方式中对应技术方案所能实现的技术效果，在此不再赘述。
附图说明
图1为本公开实施例多自由度的舞美灯光控制方法的流程示意图；
图2为本公开实施例多自由度的舞美灯光控制系统的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
下面以具体地实施例对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本公开实施例多自由度的舞美灯光控制方法的流程示意图，如图1所示，所述方法包括：
S101.获取目标舞台中多个运动对象的运动图像信息，基于所述运动图像信息通过姿态估计算法以及预设标记信息确定所述目标舞台中目标对象的姿态信息；
示例性地，在舞台表演过程中，往往是演唱者与其他舞台人员共同出现在舞台上，并且表演过程中，人物会出现快速移动以及互相遮挡的情况，导致灯光难以进行跟踪，从而降低观众的观看体验。此外，在多人同时演出的情况下，舞台中会出现多个演唱者或者主要表演者，这时需要同时控制多个灯光对演唱者或者表演者进行跟踪，对于操作人员的要求较高。
基于上述问题，本申请实施例通过获取目标舞台中多个运动对象的运动图像信息，并且对运动图像信息进行姿态估计，结合预设标记信息确定目标舞台中目标对象的姿态信息，用于后续跟踪，降低操作所需难度，并且可以实现全程跟踪，保证目标对象不会丢失。
可选地，本申请可以通过专业摄像机等获取目标舞台中多个运动对象的运动图像信息，其中，专业摄像机通常具有较大的感光元件和更高的动态范围，能够提供出色的图像质量和低噪声性能。它们通常用于专业舞台演出或拍摄，具备丰富的功能和调节选项。
在一种可选的实施方式中，所述基于所述运动图像信息通过姿态估计算法以及预设标记信息确定所述目标舞台中目标对象的姿态信息包括：
对所述运动图像信息的每一帧进行运动目标检测，并提取每一帧的运动目标的运动特征，基于所述姿态估计算法确定所述运动特征对应的人体关键点信息；
基于所述人体关键点信息，以及预设标记信息，分别构建所述人体关键点信息对应的关键点向量场矩阵以及所述预设标记信息对应的标记向量场矩阵，根据所述人体关键点信息、所述预设标记信息以及所述关键点向量场矩阵、所述标记向量场矩阵确定所述人体关键点信息与人体关节点信息的亲合度；
将亲合度大于预设关节阈值的人体关键点信息进行连接构建为所述目标舞台中目标对象的姿态信息。
示例性地，本申请实施例中人体关键点信息可以包括头部、手、脚等人体主要肢体，预设标记信息可以包括人体的关节点（如肩膀、膝盖等）和连接关系（如肩膀到手腕、膝盖到脚踝等）等，通过预设标记信息可以确定实际的关节点信息。
具体地，通过对所述运动图像信息的每一帧进行运动目标检测，并提取每一帧的运动目标的运动特征，基于所述姿态估计算法确定所述运动特征对应的人体关键点信息；其中，运动目标检测可以包括基于背景差分的方法将运动目标从背景信息中分割出来，将所提取的运动目标进行特征提取，确定运动特征。本申请实施例的姿态估计算法可以包括OpenPose、AlphaPose等算法，用于确定人体关键点信息，预测关节点信息。
可选地，可以确定人体关键点信息与人体关节点信息的亲合度，根据亲合度判断当前所提取的人体关键点信息是否与关节点信息相吻合。
示例性地，基于所述人体关键点信息，以及预设标记信息，分别构建所述人体关键点信息对应的关键点向量场矩阵以及所述预设标记信息对应的标记向量场矩阵，根据所述人体关键点信息、所述预设标记信息以及所述关键点向量场矩阵、所述标记向量场矩阵确定所述人体关键点信息与人体关节点信息的亲合度；
其中，向量场矩阵用于描述向量场的矩阵表示形式，它是一个二维矩阵，其中每个元素代表了在给定位置上的向量值。本申请实施例分别为人体关键点信息以及预设标记信息设置对应的向量场矩阵，用于后续计算亲合度；示例性地，计算亲合度的公式可以包括：
其中，INT表示亲合度，m、n分别表示向量场矩阵的行数和列数，Kp、Lp分别表示人体关键点信息和预设标记信息对应的向量值，Kij、Lij分别表示关键点向量场矩阵和标记向量场矩阵在位置（i,j）处的元素值。
若亲合度大于预设关节阈值的人体关键点进行连接，构建为目标舞台中目标对象的姿态信息。
亲合度可以帮助验证关键点信息是否与预设标记一致，从而评估关键点检测或姿态估计算法的准确性，通过比较不同预设标记与关键点信息的亲合度，可以识别和匹配特定的姿态，例如动作识别或动作重建；较大的亲合度值可能表示关键点信息与预设标记存在较大差异，这可能指示出异常情况，如异常姿态或不正常的人体动作。
通过实时跟踪舞台上的人物，可以实现对其位置和姿态的持续监测和更新，这样可以使舞台灯光、投影、特效等舞美元素能够更加准确地跟随和呼应人物的动作，从而营造出更加沉浸式和互动性强的舞台表演效果。
在一种可选的实施方式中，
所述根据所述姿态信息，通过动态跟踪算法在所述运动图像信息中锁定所述目标对象包括：
根据所述姿态信息，对于所获取的运动图像信息中与所述姿态信息对应的每一帧进行运动目标检测，确定所述运动目标的运动轨迹，计算当前帧运动目标与前一帧运动目标的外观特征的外观相似度以及运动特征的运动相似度，并根据所述外观相似度以及所述运动相似度确定关联关系得分矩阵；
将所述每一帧的运动目标作为节点，并连接相邻的节点形成连接边，根据所述关联关系得分矩阵设置所述节点的权重，遍历所有的节点，通过节点搜索算法确定增广路径，对所述增广路径进行图分割，将图分割为包括节点关联部分和节点不关联部分；
对增广路径进行迭代分割，直至节点关联部分节点权重最小，实现对运动目标进行动态跟踪。
示例性地，使用目标检测算法（如基于深度学习的目标检测算法，如YOLO、FasterR-CNN等）对每一帧的运动图像进行目标检测，识别出图像中的运动目标；对于连续的帧，根据目标的唯一标识（如目标ID或运动目标的特征向量）进行目标匹配，可以使用多种目标匹配算法（如卡尔曼滤波、匈牙利算法等）来确定每个运动目标在连续帧之间的对应关系。
使用目标检测算法检测每一帧中的目标对象，得到目标对象的边界框信息，然后，通过目标匹配算法，将每个目标对象在连续帧之间进行匹配，确定每个目标对象的轨迹，轨迹可以表示为边界框序列，例如[(x1,y1,w1,h1), (x2,y2,w2,h2),...]，其中(x,y)表示边界框的左上角坐标，(w,h)表示边界框的宽度和高度。
在实际舞台表演过程中，为了区分主要表演者和舞台人员，主要表演者的服装以及造型往往不同，为了提高跟踪准确率，可以确定运动目标的外观特征，结合运动特征从而实现动态跟踪。外观特征可以是目标的外观描述子，如颜色直方图、纹理特征等，运动特征可以包括目标的速度、加速度、运动方向等。
示例性地，计算当前帧运动目标与前一帧运动目标的外观特征的外观相似度以及运动特征的运动相似度，并根据所述外观相似度以及所述运动相似度确定关联关系得分矩阵如下公式所示：
其中，W、V分别表示外观相似度和运动相似度的数量，wi、vj分别表示外观相似度对应的第i个权重系数和运动相似度对应的第j个权重系数，h表示正则化系数，Reg()表示正则化项，SIM(I,K)表示外观相似度，SF表示运动相似度；
其中，SIM(I,K)表示外观相似度，uI表示当前帧的像素均值，uK表示前一帧的像素均值，C表示外观属性值，其为常数；
其中，SF表示运动相似度，Imax表示光流向量的数量，Fi、分别表示当前帧的光流向量和前一帧的光流向量，其中，光流向量可以参考现有的光流算法，本申请实施例在此不再赘述。
将所述每一帧的运动目标作为节点，并连接相邻的节点形成连接边，根据所述关联关系得分矩阵设置所述节点的权重，遍历所有的节点，通过节点搜索算法确定增广路径，对所述增广路径进行图分割，将图分割为包括节点关联部分和节点不关联部分；
对增广路径进行迭代分割，直至节点关联部分节点权重最小，实现对运动目标进行动态跟踪。
将每一帧的运动目标作为节点，并通过连接相邻节点形成连接边。每个节点表示一个运动目标；根据关联关系得分矩阵设置节点的权重，较高的权重表示更强的关联关系；使用节点搜索算法（如深度优先搜索或广度优先搜索）遍历所有的节点，以寻找增广路径。增广路径是从初始节点到目标节点的路径，通过增加或减少边的权重来最大化路径的总权重；对增广路径进行图分割，将图分割为节点关联部分和节点不关联部分，确保关联部分中的节点与目标对象相关联。
通过结合姿态信息和运动目标信息，利用关联关系得分矩阵和图分割算法，实现了动态跟踪算法对目标对象的锁定和跟踪，该算法能够自适应地处理不同的运动目标，并根据姿态信息进行准确的目标关联，提高目标跟踪的鲁棒性和准确性。
本申请将连续的两帧图片作为输入，将目标关联问题转化为两帧检测框对回归的问题，增强了目标之间的关联性；采用运动增强模块，利用相邻帧级特征的时间差分运算来增强通道中的运动相关特征；采用互相关注意力模块将检测任务和身份识别任务解耦，以平衡并减少这两个任务之间的竞争。此外，将目标检测、特征提取和数据关联三个模块融合到一个网络中，实现端到端的优化，提高了跟踪准确性，降低了跟踪耗时。
在一种可选的实施方式中，
所述基于预先确定的舞台位置与舞台灯光角度的对应关系，根据所述目标对象在所述目标舞台的位置信息，调用偏转角度最小的舞台灯光对所述目标对象进行跟踪照射包括：
根据预设的坐标系分别确定所述目标舞台中每个区域的坐标信息，以及舞台灯光的坐标信息，基于所述目标对象在所述目标舞台的位置信息以及预先确定的舞台位置与舞台灯光角度的对应关系，分别确定所述舞台灯光与所述目标对象的第一方向向量、所述舞台灯光与所述目标舞台的中心的第二方向向量以及每个舞台灯光与所述目标对象的距离信息；
基于所述第一方向向量、所述第二方向向量以及每个舞台灯光与所述目标对象的距离信息，确定每个舞台灯光与目标对象的方向夹角；
遍历所述方向夹角，调用偏转角度最小的舞台灯光对所述目标对象进行跟踪照射。
示例性地，所述目标对象在所述目标舞台的位置信息可以通过目标对象的中心坐标确定，也即，目标对象的姿态信息对应的中心坐标。实际应用中，可以为目标对象标定方框，将方框的中心点作为目标对象的中心坐标。
假设目标对象的中心坐标为(x_target,y_target)，舞台灯光的坐标表示为(x_light,y_light)，舞台中心的坐标为（x_stage，y_stage）。
确定舞台灯光与所述目标对象的距离信息如下公式所示：
其中，表示舞台灯光与所述目标对象的距离信息；
确定舞台灯光与目标对象的第一方向向量如下公式所示：
其中，表示第一方向向量；
确定舞台灯光与舞台中心的第二方向向量如下公式所示：
其中，表示第二方向向量，/>表示预先确定的舞台位置与舞台灯光角度的对应关系；
根据所述第一方向向量和所述的第二方向向量，以及舞台灯光与所述目标对象的距离信息确定舞台灯光与目标对象的方向夹角如下公式所示：
需要说明的是，上述公式均以某一具体位置为例进行计算，实际应用中，可以根据舞台灯光的数量、目标舞台的区域数量以及目标对象所在舞台中位置，进行迭代计算，并不局限于某一具体位置或者坐标。
考虑目标对象在舞台中的位置信息和舞台灯光角度的对应关系，能够根据目标对象的位置实时调整舞台灯光的照射方向；这样，无论目标对象在舞台中的位置如何变化，都可以保持良好的照明效果，提供一致的视觉体验；此外，还考虑了多个舞台灯光共同照射同一目标对象的情况，通过遍历方向夹角并选择偏转角度最小的舞台灯光进行照射，可以最大程度地利用多个舞台灯光的优势，提供更均衡和全面的照明效果。通过综合考虑目标对象位置、舞台灯光角度和距离信息，并选择偏转角度最小的舞台灯光进行照射，可以实现精确、自适应和全面的目标跟踪照射效果。
在一种可选的实施方式中，
所述方法还包括：
将与舞美灯光适配的舞美音乐转换为时域信号，并对所述时域信号进行采样，确定所采样的时域信号对应的自相关序列以及所述时域信号中每一帧信号的能量序列；
示例性地，为了能够将音乐与舞美灯光相适配，实现音乐与舞美灯光的协调和呼应，可以将与舞美灯光适配的舞美音乐转换为时域信号，通过将音乐转换为时域信号，能够便于后续进行音频特征处理，降低计算量。进一步地，可以将音频信号进行预处理，包括去除噪声、音频增益调整等，这可以提高音频信号的质量，减少噪声对节拍检测的影响。进一步地，可以对所述时域信号进行采样，确定所采样的时域信号对应的自相关序列以及所述时域信号中每一帧信号的能量序列。
在一种可选的实施方式中，
所述确定所采样的时域信号对应的自相关序列以及所述时域信号中每一帧信号的能量序列如下公式所示：
其中，E(n)表示第n帧时域信号对应的能量序列，N表示窗口长度，x[i]表示时域信号的第i个采样值，M表示对音频信息进行音频帧划分的数量，S（n）表示第n帧时域信号的滤波序列；
其中，R(n)表示第n帧时域信号对应的自相关序列，k表示延迟步长，K表示延迟总时长，r(k)表示延迟步长为k的离散信号序列，r(k+1)表示延迟步长为k的离散信号序列的相邻序列，T表示时域信号峰值，R表示自相关系数。
结合能量变化法和自相关法，可以提高节拍点检测的准确性。能量变化法能够捕捉到音频信号中的能量变化，而自相关法能够分析信号的周期性和相关性。结合两种方法可以充分利用它们的优势，提高节拍点检测的精确度。
此外，可以适应不同类型的音乐，包括快节奏、慢节奏、复杂节奏等。能量变化法可以根据音频信号的能量变化检测节拍点，而自相关法可以分析信号的周期性，适用于各种类型的音乐。可以快速响应音频信号的能量变化，实时检测节拍点，通过分析信号的周期性，稳定地检测节拍点。结合两者可以获得即时、稳定的节拍检测结果。
将所述自相关序列和所述能量序列进行合并去重后，筛选出所述时域信号对应的音频特征，其中，所述音频特征包括音频节拍频率、音频节拍强度以及音频节拍稳定性中至少一种；
示例性地，本申请实施例的音频特征可以包括音频节拍频率：每分钟的节拍数，即BPM（Beats Per Minute）；音频节拍强度：衡量每个节拍的强弱程度，可以通过节拍点的能量或幅度进行计算；音频节拍稳定性：测量节拍间隔的稳定性，即节拍点之间的时间差的标准差或方差中至少一种。其中，将自相关序列和能量序列进行合并，可以包括直接将两种序列进行拼接，去重是为了筛除两种序列中相同的信息，降低计算量。
根据所述音频特征，以及预设的音频映射函数，将所述音频特征映射为舞美灯光控制策略，并通过所述舞美灯光控制策略控制所述舞美灯光与所述舞美音乐适配。
将提取的节拍特征应用于舞台灯光控制中。根据音乐的节奏特征，可以调整灯光的闪烁频率、颜色切换速度等参数，以与音乐的节奏相协调。例如，快节奏的音乐可以对应较快的灯光闪烁速度，而慢节奏的音乐可以对应较慢的灯光变化。
在一种可选的实施方式中，
所述根据所述音频特征，以及预设的音频映射函数，将所述音频特征映射为舞美灯光控制策略如下公式所示：
其中，CL表示舞美灯光控制策略，U(n)=[E(n),R(n)]表示所述音频特征，Umax、Umin分别表示音频特征的最大值和最小值，f()表示音频映射函数，FRE、RGB、LIG分别表示灯光频率、灯光颜色以及灯光强度。其中，音频映射函数可以包括线性映射函数等。
示例性地，定义闪烁频率范围和颜色切换速度范围。例如，假设闪烁频率范围为1-10次/秒，颜色切换速度范围为1-5秒/次。根据节拍频率特征将其映射到闪烁频率范围和颜色切换速度范围。可以使用线性映射或者根据经验定义的映射规则来进行映射。例如，假设节拍频率为100 BPM，根据线性映射，将其映射到闪烁频率范围为5次/秒，颜色切换速度范围为2秒/次。将映射后的闪烁频率和颜色切换速度应用于舞台灯光控制系统，根据应用的闪烁频率和颜色切换速度，控制舞台灯光进行相应的调整。例如，如果映射后的闪烁频率为5次/秒，则可以让灯光以每秒5次的频率进行闪烁。如果映射后的颜色切换速度为2秒/次，则可以让灯光每隔2秒切换一次颜色。
根据音乐的节奏特征提取的节拍频率，将其映射到闪烁频率和颜色切换速度范围，然后将这些参数应用于舞台灯光控制，可以实现舞台灯光与音乐的协调效果。
本公开实施例的第二方面，
提供一种多自由度的舞美灯光控制系统，图2为本公开实施例多自由度的舞美灯光控制系统的结构示意图，包括：
第一单元，用于获取目标舞台中多个运动对象的运动图像信息，基于所述运动图像信息通过姿态估计算法以及预设标记信息确定所述目标舞台中目标对象的姿态信息；
第二单元，用于根据所述姿态信息，通过动态跟踪算法在所述运动图像信息中锁定所述目标对象，并实时获取所述目标对象在所述目标舞台的位置信息；
第三单元，用于基于预先确定的舞台位置与舞台灯光角度的对应关系，根据所述目标对象在所述目标舞台的位置信息，调用偏转角度最小的舞台灯光对所述目标对象进行跟踪照射。
本公开实施例的第三方面，
提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本公开实施例的第四方面，
提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (8)

1.一种多自由度的舞美灯光控制方法，其特征在于，包括：
获取目标舞台中多个运动对象的运动图像信息，基于所述运动图像信息通过姿态估计算法以及预设标记信息确定所述目标舞台中目标对象的姿态信息；
根据所述姿态信息，通过动态跟踪算法在所述运动图像信息中锁定所述目标对象，并实时获取所述目标对象在所述目标舞台的位置信息；
所述根据所述姿态信息，通过动态跟踪算法在所述运动图像信息中锁定所述目标对象包括：
根据所述姿态信息，对于所获取的运动图像信息中与所述姿态信息对应的每一帧进行运动目标检测，确定所述运动目标的运动轨迹，计算当前帧运动目标与前一帧运动目标的外观特征的外观相似度以及运动特征的运动相似度，并根据所述外观相似度以及所述运动相似度确定关联关系得分矩阵；
将所述每一帧的运动目标作为节点，并连接相邻的节点形成连接边，根据所述关联关系得分矩阵设置所述节点的权重，遍历所有的节点，通过节点搜索算法确定增广路径，对所述增广路径进行图分割，将图分割为包括节点关联部分和节点不关联部分；
对增广路径进行迭代分割，直至节点关联部分节点权重最小，实现对运动目标进行动态跟踪；
基于预先确定的舞台位置与舞台灯光角度的对应关系，根据所述目标对象在所述目标舞台的位置信息，调用偏转角度最小的舞台灯光对所述目标对象进行跟踪照射。
2.根据权利要求1所述的方法，其特征在于，所述基于所述运动图像信息通过姿态估计算法以及预设标记信息确定所述目标舞台中目标对象的姿态信息包括：
对所述运动图像信息的每一帧进行运动目标检测，并提取每一帧的运动目标的运动特征，基于所述姿态估计算法确定所述运动特征对应的人体关键点信息；
基于所述人体关键点信息，以及预设标记信息，分别构建所述人体关键点信息对应的关键点向量场矩阵以及所述预设标记信息对应的标记向量场矩阵，根据所述人体关键点信息、所述预设标记信息以及所述关键点向量场矩阵、所述标记向量场矩阵确定所述人体关键点信息与人体关节点信息的亲合度；
将亲合度大于预设关节阈值的人体关键点信息进行连接构建为所述目标舞台中目标对象的姿态信息。
3.根据权利要求1所述的方法，其特征在于，所述计算当前帧运动目标与前一帧运动目标的外观特征的外观相似度以及运动特征的运动相似度，并根据所述外观相似度以及所述运动相似度确定关联关系得分矩阵包括：
；
其中，W、V分别表示外观相似度和运动相似度的数量，wi、vj分别表示外观相似度对应的第i个权重系数和运动相似度对应的第j个权重系数，h表示正则化系数，Reg()表示正则化项，SIM(I,K)表示外观相似度，SF表示运动相似度；
；
其中，uI表示当前帧的像素均值，uK表示前一帧的像素均值，C表示外观属性值，其为常数；
；
其中，SF表示运动相似度，Imax表示光流向量的数量，Fi、分别表示当前帧的光流向量和前一帧的光流向量。
4.根据权利要求1所述的方法，其特征在于，所述基于预先确定的舞台位置与舞台灯光角度的对应关系，根据所述目标对象在所述目标舞台的位置信息，调用偏转角度最小的舞台灯光对所述目标对象进行跟踪照射包括：
根据预设的坐标系分别确定所述目标舞台中每个区域的坐标信息，以及舞台灯光的坐标信息，基于所述目标对象在所述目标舞台的位置信息以及预先确定的舞台位置与舞台灯光角度的对应关系，分别确定所述舞台灯光与所述目标对象的第一方向向量、所述舞台灯光与所述目标舞台的中心的第二方向向量以及每个舞台灯光与所述目标对象的距离信息；
基于所述第一方向向量、所述第二方向向量以及每个舞台灯光与所述目标对象的距离信息，确定每个舞台灯光与目标对象的方向夹角；
遍历所述方向夹角，调用偏转角度最小的舞台灯光对所述目标对象进行跟踪照射。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一方向向量、所述第二方向向量以及每个舞台灯光与所述目标对象的距离信息，确定每个舞台灯光与目标对象的方向夹角包括：
按照如下公式确定每个舞台灯光与目标对象的方向夹角：
；
；
；
；
其中，angle表示舞台灯光与目标对象的方向夹角，表示所述第一方向向量，/>表示第二方向向量，/>表示所述舞台灯光与所述目标对象的距离信息，/>表示预先确定的舞台位置与舞台灯光角度的对应关系；目标对象的中心坐标为(x_target,y_target)，舞台灯光的坐标表示为(x_light,y_light)，舞台中心的坐标为（x_stage，y_stage）。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将与舞美灯光适配的舞美音乐转换为时域信号，并对所述时域信号进行采样，确定所采样的时域信号对应的自相关序列以及所述时域信号中每一帧信号的能量序列；
将所述自相关序列和所述能量序列进行合并去重后，筛选出所述时域信号对应的音频特征，其中，所述音频特征包括音频节拍频率、音频节拍强度以及音频节拍稳定性中至少一种；
根据所述音频特征，以及预设的音频映射函数，将所述音频特征映射为舞美灯光控制策略，并通过所述舞美灯光控制策略控制所述舞美灯光与所述舞美音乐适配。
7.根据权利要求6所述的方法，其特征在于，所述确定所采样的时域信号对应的自相关序列以及所述时域信号中每一帧信号的能量序列如下公式所示：
；
其中，E(n)表示第n帧时域信号对应的能量序列，N表示窗口长度，x[i]表示时域信号的第i个采样值，M表示对音频信息进行音频帧划分的数量，S（n）表示第n帧时域信号的滤波序列；
；
其中，R(n)表示第n帧时域信号对应的自相关序列，k表示延迟步长，K表示延迟总时长，r(k)表示延迟步长为k的离散信号序列，r(k+1)表示延迟步长为k的离散信号序列的相邻序列，T表示时域信号峰值，R表示自相关系数；
所述根据所述音频特征，以及预设的音频映射函数，将所述音频特征映射为舞美灯光控制策略如下公式所示：
；
其中，CL表示舞美灯光控制策略，U(n)=[E(n),R(n)]表示所述音频特征，Umax、Umin分别表示音频特征的最大值和最小值，f()表示音频映射函数，FRE、RGB、LIG分别表示灯光频率、灯光颜色以及灯光强度。
8.一种多自由度的舞美灯光控制设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至7中任意一项所述的方法。
CN202310688381.6A 2023-06-12 2023-06-12 多自由度的舞美灯光控制方法及系统 Active CN116437539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310688381.6A CN116437539B (zh) 2023-06-12 2023-06-12 多自由度的舞美灯光控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310688381.6A CN116437539B (zh) 2023-06-12 2023-06-12 多自由度的舞美灯光控制方法及系统

Publications (2)

Publication Number Publication Date
CN116437539A CN116437539A (zh) 2023-07-14
CN116437539B true CN116437539B (zh) 2023-08-29

Family

ID=87081809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310688381.6A Active CN116437539B (zh) 2023-06-12 2023-06-12 多自由度的舞美灯光控制方法及系统

Country Status (1)

Country Link
CN (1) CN116437539B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1177747A (zh) * 1996-06-19 1998-04-01 松下电工株式会社 自动跟踪照明设备、照明控制器和跟踪设备
CN108513414A (zh) * 2018-03-26 2018-09-07 中国地质大学（武汉） 一种焦点自跟踪的舞台追光灯系统及方法
WO2019062423A1 (zh) * 2017-09-30 2019-04-04 广州市浩洋电子股份有限公司 一种舞台灯光自动跟踪系统及其控制方法
CN110602843A (zh) * 2019-08-07 2019-12-20 杭州友邦演艺设备有限公司 一种舞台灯光云智能控制方法
CN110608416A (zh) * 2019-09-17 2019-12-24 深圳市中孚泰文化建筑建设股份有限公司 剧院用灯光调节系统及调节方法
CN111586942A (zh) * 2020-05-07 2020-08-25 中国传媒大学 舞台灯具的控制方法及装置
CN112533335A (zh) * 2020-11-24 2021-03-19 杭州浙大中软智能科技有限公司 一种舞台灯光控制方法、装置以及系统
CN112800868A (zh) * 2021-01-13 2021-05-14 华南理工大学 一种基于事件相机采集分析装置的高空抛物监测方法
CN114071842A (zh) * 2021-11-23 2022-02-18 横店集团得邦照明股份有限公司 一种基于目标检测和跟踪的智能舞台照明系统
CN114549549A (zh) * 2022-02-10 2022-05-27 北京工业大学 一种动态环境下基于实例分割的动态目标建模跟踪方法
CN115426752A (zh) * 2022-11-08 2022-12-02 同力科技发展有限公司 一种舞台集成控制系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9921058B2 (en) * 2014-05-19 2018-03-20 Stmicroelectronics International N.V. Tracking dynamic on-stage objects
CN109724035B (zh) * 2019-01-11 2023-06-30 广州市浩洋电子股份有限公司 一种防止日照损坏的舞台灯

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1177747A (zh) * 1996-06-19 1998-04-01 松下电工株式会社 自动跟踪照明设备、照明控制器和跟踪设备
WO2019062423A1 (zh) * 2017-09-30 2019-04-04 广州市浩洋电子股份有限公司 一种舞台灯光自动跟踪系统及其控制方法
CN108513414A (zh) * 2018-03-26 2018-09-07 中国地质大学（武汉） 一种焦点自跟踪的舞台追光灯系统及方法
CN110602843A (zh) * 2019-08-07 2019-12-20 杭州友邦演艺设备有限公司 一种舞台灯光云智能控制方法
CN110608416A (zh) * 2019-09-17 2019-12-24 深圳市中孚泰文化建筑建设股份有限公司 剧院用灯光调节系统及调节方法
CN111586942A (zh) * 2020-05-07 2020-08-25 中国传媒大学 舞台灯具的控制方法及装置
CN112533335A (zh) * 2020-11-24 2021-03-19 杭州浙大中软智能科技有限公司 一种舞台灯光控制方法、装置以及系统
CN112800868A (zh) * 2021-01-13 2021-05-14 华南理工大学 一种基于事件相机采集分析装置的高空抛物监测方法
CN114071842A (zh) * 2021-11-23 2022-02-18 横店集团得邦照明股份有限公司 一种基于目标检测和跟踪的智能舞台照明系统
CN114549549A (zh) * 2022-02-10 2022-05-27 北京工业大学 一种动态环境下基于实例分割的动态目标建模跟踪方法
CN115426752A (zh) * 2022-11-08 2022-12-02 同力科技发展有限公司 一种舞台集成控制系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
舞台灯光控制技术及其发展;俞健;;艺术科技(第01期);全文 *

Also Published As

Publication number Publication date
CN116437539A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN109076198B (zh) 基于视频的对象跟踪遮挡检测系统、方法和设备
Jain et al. Real-time upper-body human pose estimation using a depth camera
US6400830B1 (en) Technique for tracking objects through a series of images
US9275472B2 (en) Real-time player detection from a single calibrated camera
KR20120138627A (ko) 안면 추적 장치 및 방법
CN109325456A (zh) 目标识别方法、装置、目标识别设备及存储介质
AU2020300067B2 (en) Layered motion representation and extraction in monocular still camera videos
CN105469427B (zh) 一种用于视频中目标跟踪方法
CN107203743B (zh) 一种人脸深度跟踪装置及实现方法
CN109769326B (zh) 一种追光方法、装置及设备
Arseneau et al. Real-time image segmentation for action recognition
CN109711267A (zh) 一种行人重识别、行人运动轨迹生成方法及装置
KR20190009006A (ko) 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
CN112185515A (zh) 一种基于动作识别的病患辅助系统
KR20020017576A (ko) 화상을 이용한 모션 캡처 시스템과 모션 캡처 방법
Karbasi et al. Real-time hands detection in depth image by using distance with Kinect camera
Kerdvibulvech et al. Vision-based detection of guitar players' fingertips without markers
JP6080572B2 (ja) 通行物体検出装置
CN116437539B (zh) 多自由度的舞美灯光控制方法及系统
CN110111368B (zh) 一种基于人体姿态识别的相似移动目标的检测跟踪方法
KR101124560B1 (ko) 동영상 내의 자동 객체화 방법 및 객체 서비스 저작 장치
JP5217917B2 (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
Li et al. Robust object tracking guided by top-down spectral analysis visual attention
KR20050052657A (ko) 비젼기반 사람 검출방법 및 장치
Qin et al. Body motion detection technology in video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant