CN113691900A - 一种具有情感分析的灯光音响管理方法和系统 - Google Patents

Abstract

本发明提供了一种具有情感分析的灯光音响管理系统，所述具有情感分析的灯光音响管理系统对场景的灯光音响调控，包括：图像采集模块；音频采集模块；分析处理模块；调度模块；其中所述图像采集模块采集每一目标的眼动数据、人脸数据，所述音频采集模块采集目标的语音数据，所述图像采集模块和音频采集模块将所述眼动数据、人脸数据和语音数据输入所述分析处理模块，以获取每一目标的兴趣信息和情感信息，用于调整灯光音响设计，所述调度模块根据获取的兴趣信息、情感信息调度终端音响和灯光设备；所述情感信息包括语音信息和人脸表情信息，所述分析处理模块计算人脸表情信息和语音信息中符合主题场景的个数和比例。

Description

一种具有情感分析的灯光音响管理方法和系统

技术领域

本发明涉及一种智能灯光音响领域，特别涉及一种具有情感分析的灯光音响管理方法和系统。

背景技术

现有音响管理系统基本是基于音响灯光师进行调节，一般的音响灯光师需要进行音乐、灯光设计等美学设计的培训，需要付出较多的人工成本，而且在音乐灯光的排布，组合设计通常是基于灯光师个人的设计经验，而对于大多数观众来说，灯光、音响设计和排布通常是只能被动接受来自音响灯光师自身的设计审美，无法从观众的角度完成更加符合观众和场景的灯光设计审美，另外由于采访观众对于灯光音响美学评价费时费力，而且相当一部分观众由于表达能力原因，可能无法准确地表述对灯光音响美学的兴趣点，无法系统的评价音响灯光在一场表演中的价值。藉此本发明将根据具体地场景分析多个观众的人脸表情和语音信息，分析出观众对于灯光音响表演的兴趣时段、兴趣区域，从而以系统地评价灯光音响在场景中的设计效果。当然本发明涉及的管理系统可辅助灯光音响师对场景的灯光音响的设计，一方面提高设计效果，另一方面降低设计门槛。

发明内容

本发明其中一个主要目的在于提供一种具有情感分析的灯光音响管理方法和系统，所述灯光音响管理系统采用计算机视觉技术和语音识别技术获取观众人脸的表情信息、眼动信息和语音信息，根据获取的表情信息、眼动信息和语音信息对观众灯光音响设计的兴趣点和评价，可用于辅助灯光音响师对舞台和场景的设计，提高灯光音响设计效果。

本发明其中一个主要目的在于提供一种具有情感分析的灯光音响管理方法和系统，所述灯光音响管理系统和方法可根据不同场景需求做不同的评价体系，比如在一游乐园中的紧张主题下获取的紧张的人脸表情和尖叫语音信息，用于评价场景灯光音响设计的紧张效果。

本发明其中一个主要目的在于提供一种具有情感分析的灯光音响管理方法和系统，所述灯光音响管理系统和方法通过发现人在自然状态下灯光和音响对人的精神状态，挖掘出大多数观众对灯光音响的兴趣点、兴趣区域和兴趣时段等，从而可以根据观众的兴趣点、兴趣区域、和兴趣时段做组合布局。

本发明其中一个主要目的在于提供一种具有情感分析的灯光音响管理方法和系统，所述灯光音响管理系统可根据不同年龄段、不同民族、性别的测试者，计算出不同年龄段、民族和性别的观众对灯光音响的偏好，可进行个性化的设计和管理。

本发明其中一个主要目的在于提供一种具有情感分析的灯光音响管理方法和系统，所述灯光音响管理系统通过辅助设计师对灯光音响效果，从而可以提高设计对观众的适应性，从原来抽象的表述，转化为较为精准的数据，避免了语言表述的缺陷。

本发明其中一个主要目的在于提供一种具有情感分析的灯光音响管理方法和系统，所述灯光音响管理系统和方法通过获取每一观众的表情信息、眼动信息和语音信息，通过大数据分析每一场景灯光音响的观众适应度。

为了实现至少一个上述发明目的，本发明进一步提供一种具有情感分析的灯光音响管理系统，所述灯光音响管理系统对场景的灯光音响调控，包括：

图像采集模块；

音频采集模块；

分析处理模块；

调度模块；

其中所述图像采集模块采集每一目标的眼动数据、人脸数据，所述音频采集模块采集目标的语音数据，所述图像采集模块和音频采集模块将所述眼动数据、表情数据和语音数据输入所述分析处理模块，以获取每一目标的兴趣信息和情感信息，用于调整灯光音响设计，所述调度模块根据获取的兴趣信息、情感信息调度终端音响和灯光设备。

根据本发明一个较佳实施例，所述图像采集模块将获取的人脸数据转化为特征向量，将所述特征向量输入到Emotion-recognition模型，输出并统计表情类型和数目。

根据本发明另一个较佳实施例，所述图像采集模块将将采集到的眼动数据输入所述分析处理模块的眼动分析系统，记录每一时刻每一观众的眼动数据，以获取观众对场景灯光的兴趣点、兴趣区域、兴趣顺序和兴趣时段，用于所述调度模块调度灯光音响终端。

根据本发明另一个较佳实施例，所述音频采集模块采集观众的语音信息，将采集到的语音信息输入所述分析处理模块，用于获取语音信息中的评价信息和语气信息。

根据本发明另一个较佳实施例，采用包括Tobii Studio系统、Eyeso系统和VivePro Eye系统中的任意一种分析眼动数据。

根据本发明另一个较佳实施例，所述分析处理模块还用于预设定一主题场景，所述分析处理模块计算人脸表情信息和语音信息中符合主题场景的个数和比例，用于评价场景灯光和音响的设计和管理效果。

根据本发明另一个较佳实施例，所述具有情感分析的灯光音响管理系统还包括一评价模块，所述评价模块接受所述分析处理模块的统计信息，输出灯光音响设计的场景主题符合度。

为了实现至少一个上述发明目的，本发明进一步提供一种具有情感分析的灯光音响管理方法，包括如下步骤：

预设一场景主题，所述主题包括悲伤、喜悦、兴奋、刺激、恐惧的情感标签；

获取该主题场景下每一测试人员的眼动数据、人脸数据和语音数据分析目标人表情信息、语音信息，兴趣信息和语气信息；

计算表情信息、语音信息和语气信息中符合主题场景的个数和比例；

根据眼动数据统计每一测试者对灯光和音响兴趣信息中的兴趣点、兴趣区域、兴趣顺序和兴趣时段；

根据所述兴趣信息、语音信息、表情信息和语气信息调度主题场景中灯光和音响设计；

情感信息包括语音信息和人脸表情信息，所述分析处理模块计算人脸表情信息和语音信息中符合主题场景的个数和比例，用于评价场景灯光和音响的设计和管理效果。

根据本发明一个较佳实施例，所述分析处理模块将分析处理的表情信息、语音信息、语气信息分别打上情感标签，并计算符合预设主题标签的比例。

根据本发明另一较佳实施例，所述分析处理模块设定第一比例阈值，若检测计算单位时间内的表情信息、语音信息和语气信息符合预设场景主题比例小于所述第一比例阈值，则重建该单位时间内的灯光和音响设计。

根据本发明另一较佳实施例，所述分析处理模块设定第二比例阈值，其中所述第二比例阈值大于所述第一比例阈值，若检测计算单位时间内的表情信息、语音信息和语气信息符合预设场景主题比例大于所述第二比例阈值，则保存该单位时间内的灯光和音响设计，用于所述调度模块优先调度保存的该单位时间灯光和音响设计。

根据本发明另一较佳实施例，若所述检测计算单位时间内的表情信息、语音信息和语气信息符合预设场景主题比例在所述第一比例阈值和第二比例阈值之间，部分删除或间隔一定的时间删除该单位时间类灯光和音响设计。

根据本发明另一较佳实施例，若分析处理模块计算并形成单位时间内灯光设计中眼动数据热点图，所述分析处理模块根据热点保存灯光设计布局，以供所述调度模块随机调取。

附图说明

图1显示的是本发明一种具有情感分析的灯光音响管理方法的示意图。

图2显示的是本发明一种具有情感分析的灯光音响管理系统中图像采集装置和音频采集装置的安装示意图。

图3显示的是本发明一种具有情感分析的灯光音响管理系统的模块示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

请参考图3显示的本发明一种具有情感分析的音响灯光管理系统的模块示意图，所述音响管理系统包括：

图像采集模块；

音频采集模块；

分析处理模块；

调度模块；

其中所述图像采集模块包括但不仅限于至少一摄像头、红外线发射和接收器，用于获取目标的人脸信息，所述频采集模块包括至少一麦克风，所述摄像头和麦克风通讯连接所述分析处理模块，所述分析处理模块包括但不仅限于中央处理器、GPU。所述分析处理模块通过所述图像采集模块和音频采集模块的人脸信息的和语音信息，并保存所述人脸和语音信息，所述分析处理模块将所述人脸信息编码形成人脸特征向量，将人脸特征向量输入到表情识别模型中，用于识别每一测试者的表情信息。所述调度模块通讯连接所述分析处理模块，根据分析处理模块的输出结果调度灯光和音响设计。

具体地，请参考图2，本发明提供一种具体地实施例，在一确定的主题的场景中设置若干排座椅，其中测试人员坐在座椅上，在每一座椅的靠背顶部设有一摄像头和麦克风，用于获取每一座椅测试人员的脸部信息和语音信息，其中在其他可行实施方式中，可提供一种头套式装置，在头套的前方设有一适当长度的安装杆，在安装杆的端部安装一摄像头和麦克风，从而可以使得所述图像采集模块和音频采集模块可以实时采集测试人员的正脸信息，避免受到测试人员的头部姿态和位置而影响图像和音频采集结果。

进一步地，测试人员被要求观看一主题场景的灯光和音响表演，比如大型灯光秀、音乐喷泉等，在启动表演时，所述图像采集模块采集测试人员脸部信息和语音信息，并将脸部信息和语音信息输入至所述分析处理模块，用于识别脸部信息中的表情信息，语音信息中的文字表达信息和语气信息，值得一提的是所述分析处理模块采用ASR语音转文字技术，将每一测试者的语音信息转化为文字信息，并将筛选的文字进行关键词匹配查找，获取符合主题的关键词，所述分析处理模块采用Emotion-recognition模型计算单位间隔时间的测试人员表情信息，并将对应的表情打上对应的标签，表情标签包括但不仅限于惊叹、恐惧、兴奋、快乐、悲伤和刺激，每一表情标签分别对应于脸部表情信息，以反映每一测试者的心理状态。举例来说：一场以星空为主题灯光秀，其关键词可选定为：梦幻、漂亮、闪烁、缥缈等关键词，其主题符合的表情可以设定为兴奋、惊叹、快乐；所述图像采集模块和音频采集模块采集测试者的脸部信息和语音信息，计算出符合选取关键词的语音片段和主题表情的数目，用于评价灯光秀的表演效果。

在本发明一个较佳实施例中，所述分析处理模块采用词嵌入的方式计算测试者表达的语音信息中接近预选主题的关键词数目，方法包括如下步骤：

获取每一测试者的语音信息，采用ASR技术将语音信息转化为文本信息；

提取所有文本中的关键词，计算关键词特征向量；

将文本中关键词信息和预选的主题关键词进行对比，计算两关键词的特征向量距离；

设定距离阈值，将大于该阈值的关键词提取并归类为最接近的主题关键词；

计算所有主题关键词的数目和占比。

在本实施例中，统计了所有表达的关键词信息，通过词嵌入的方式计算最接近关键词信息，通过将关键词分类的方式获取语音信息中符合主题表达语音数目和时长，可避免表达方式的不同而造成无法归类的现象。

进一步地，所述音频采集模块获取语音信息中的语气信息，具体的语气信息包括但不仅限于“喔”“啊”和“哇”等感叹词，并记录上述感叹词在主题场景中出现的频率和时长，更具体地，在本发明另一较佳实施例中，为了适应演唱会等以刺激为主题的场景，所述分析处理模块进一步分析感叹词的发生时长、最高分贝数以及发声时段等信息，进一步地，设定以5分钟为单位时间检测并记录刺激场景的每一观众的感叹词发声频率和分贝数，设定一感叹词分贝阈值、频率阈值、时长阈值，若在单位时间内感叹词检测的时长和频率大于所述阈值，则将该单位时间内的灯光音响表演定义为符合要求的片段，保存该单位时间内的灯光和音响设计。

需要说明的是，所述分析处理模块将获取的人脸信息编码成特征向量，将特征向量输入到所述Emotion-recognition模型中以计算各类表情，并记录每一表情发生的时钟，本领域技术人员可以理解的是，Emotion-recognition模型为现有模型，本发明所述表情识别的具体方法皆以公开，本实施例不在赘述。

进一步地，所述分析处理模块计算每所有测试者在单位时间内的表情变化，并记录每一表情对应的情感标签，统计指定主题下情感标签数目和比例，举例来说，在上述星空主题下的情感标签为兴奋、惊叹、快乐，计算单位时间内所有测试者兴奋、惊叹和快乐表情标签的数目，计算获取的表情标签总数，并统计符合星空主题的表情比例，用于评价星空主题下的灯光音响效果。

值得一提的是，由于场景主题可能由多个灯光和音响的设计组合，因此所述分析处理模块统计所有时间段表情信息、语音信息和语气信息，并统计表情信息和语音信息中符合场景的标签和关键词总数和比例，结合语气信息综合评价灯光音响效果。

进一步地，为了实现更符合观众审美的设计保留，不符合观众审美的设计逐步去除，所述分析处理模块分别设定一情感标签、关键词和感叹词单位时间内的第一频率阈值第二频率阈值，其中所述第一频率阈值大于所述第二频率阈值，若测试的单位时间内情感标签、关键词和感叹词的频率大于所述第一频率阈值，则所述分析处理模块保存该单位时间内的灯光和音响设计，以供所述调度模块随机调取灯光和音响设计，若单位时间内频率小于所述第一频率阈值，并大于所述第二频率阈值，则所述分析处理模块用于间隔一段时间调取该时段的灯光和音响设计，若单位时间内频率小于所述第二频率阈值，则所述分析处理模块将间隔一段时间随机删除该类灯光和音响设计，藉此通过精准的数据控制可优化灯光和音响设计的进步，从观众感知的角度对灯光设计取其精华，去其糟粕。

需要说明的是所述灯光和音响设计包括但不仅限灯光颜色、形状、移动方式、组合方式、位置、视频画面等；音响设计包括但不仅限于音响排列、音效、音调、变音等。

由于灯光设计在视觉上的感受无法令每位测试者准确表达优点和缺点，因此本发明进一步提供一种根据测试者眼动数据获取观众对灯光的兴趣信息，所述摄像头获取测试者的眼动数据，将所述眼动数据输入所述分析处理模块，所述分析处理模块采用TobiiStudio系统、Eyeso系统和Vive Pro Eye系统中任意一种眼动分析系统对眼动数据进行分析，需要说明的是，在此情况下，需要要求测试则保持相对固定的姿势，可采用视频截取画面的方式对测试者进行测试，所述分析处理模块根据获取的眼动数据进行处理，计算眼球转动频率和眼动曲线，获取某一时段画面的眼动兴趣热点图，所述分析处理模块根据热点图分析兴趣灯光设计，需要说明的是，在本发明另一较佳实施例中，所述摄像头获取一段时间内的眼动轨迹，比如在一场5分钟的音乐喷泉表演中，记录该段时间内眼动轨迹，其中每一眼动轨迹代表着不同灯光表演模式，记录每一轨迹的出现的频率，以获取测试者的偏好轨迹，以获取具有较高关注和兴趣的灯光表演设计。

所述分析处理模块根据所述眼动数据获取的灯光设计进行综合评价，获取热点轨迹较高的灯光设计，将该设计的具体场景布局保存，用于所述调度模块随机调度和分配，并且所述分析处理模块将热点轨迹较低的灯光布局设计间隔一段时间删除，并重新加入相关的灯光设计。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明，本发明的目的已经完整并有效地实现，本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (12)

1.一种具有情感分析的灯光音响管理系统，所述具有情感分析的灯光音响管理系统对场景的灯光音响调控，其特征在于，包括：

图像采集模块；

音频采集模块；

分析处理模块；

调度模块；

其中所述图像采集模块采集每一目标的眼动数据、人脸数据，所述音频采集模块采集目标的语音数据，所述图像采集模块和音频采集模块将所述眼动数据、人脸数据和语音数据输入所述分析处理模块，以获取每一目标的兴趣信息和情感信息，用于调整灯光音响设计，所述调度模块根据获取的兴趣信息、情感信息调度终端音响和灯光设备；

所述分析处理模块还用于预设定一主题场景，所述情感信息包括语音信息和人脸表情信息，所述分析处理模块计算人脸表情信息和语音信息中符合主题场景的个数和比例，用于评价场景灯光和音响的设计和管理效果。

2.根据权利要求1所述的一种具有情感分析的灯光音响管理系统，其特征在于，所述图像采集模块将获取的人脸数据转化为特征向量，将所述特征向量输入到Emotion-recognition模型，输出并统计表情类型和数目。

3.根据权利要求1所述的一种具有情感分析的灯光音响管理系统，其特征在于，所述音频采集模块采集观众的语音信息，将采集到的语音信息输入所述分析处理模块，用于获取语音信息中的评价信息和语气信息。

4.根据权利要求1所述的一种具有情感分析的灯光音响管理系统，其特征在于，采用包括Tobii Studio系统、Eyeso系统和Vive Pro Eye系统中的任意一种分析眼动数据。

5.根据权利要求1所述的一种具有情感分析的灯光音响管理系统，其特征在于，所述图像采集模块将将采集到的眼动数据输入所述分析处理模块的眼动分析系统，记录每一时刻每一观众的眼动数据，以获取观众对场景灯光的兴趣点、兴趣区域、兴趣顺序和兴趣时段，用于所述调度模块调度灯光音响终端。

6.根据权利要求1所述的一种具有情感分析的灯光音响管理系统，其特征在于，所述具有情感分析的灯光音响管理系统还包括一评价模块，所述评价模块接收所述分析处理模块的统计信息，输出灯光音响设计的场景主题符合度。

7.一种具有情感分析的灯光音响管理方法，其特征在于，包括如下步骤：

预设一场景主题，所述主题包括悲伤、喜悦、兴奋、刺激、恐惧的情感标签；

获取该场景主题下每一测试人员的眼动数据、人脸数据和语音数据分析目标人表情信息、语音信息，兴趣信息和语气信息；

计算表情信息、语音信息和语气信息中符合主题场景的个数和比例；

根据眼动数据统计每一测试者对灯光和音响兴趣信息中的兴趣点、兴趣区域、兴趣顺序和兴趣时段；

根据所述兴趣信息、语音信息、表情信息和语气信息调度主题场景中灯光和音响设计；

情感信息包括语音信息和人脸表情信息，所述分析处理模块计算人脸表情信息和语音信息中符合主题场景的个数和比例，用于评价场景灯光和音响的设计和管理效果。

8.根据权利要求7所述的一种具有情感分析的灯光音响管理方法，其特征在于，通过分析处理模块将分析处理的表情信息、语音信息、语气信息分别打上对应主题的标签，并计算符合预设主题标签的比例。

9.根据权利要求8所述的一种具有情感分析的灯光音响管理方法，其特征在于，所述分析处理模块设定第一比例阈值，若检测计算单位时间内的表情信息、语音信息和语气信息符合预设场景主题比例小于所述第一比例阈值，则重建该单位时间内的灯光和音响设计。

10.根据权利要求9所述的一种具有情感分析的灯光音响管理方法，其特征在于，所述分析处理模块设定第二比例阈值，其中所述第二比例阈值大于所述第一比例阈值，若检测计算单位时间内的表情信息、语音信息和语气信息符合预设场景主题比例大于所述第二比例阈值，则保存该单位时间内的灯光和音响设计，用于调度模块优先调度保存的该单位时间灯光和音响设计。

11.根据权利要求10所述的一种具有情感分析的灯光音响管理方法，其特征在于，若所述检测计算单位时间内的表情信息、语音信息和语气信息符合预设场景主题比例在所述第一比例阈值和第二比例阈值之间，部分删除或间隔一定的时间删除该单位时间类灯光和音响设计。

12.根据权利要求10所述的一种具有情感分析的灯光音响管理方法，其特征在于，若分析处理模块计算并形成单位时间内灯光设计中眼动数据热点图，所述分析处理模块根据热点保存灯光设计布局，以供所述调度模块随机调取。

Images