CN116916497A - 基于嵌套态势识别的落地柱形氛围灯光照控制方法及系统 - Google Patents

基于嵌套态势识别的落地柱形氛围灯光照控制方法及系统 Download PDF

Info

Publication number
CN116916497A
CN116916497A CN202311169934.3A CN202311169934A CN116916497A CN 116916497 A CN116916497 A CN 116916497A CN 202311169934 A CN202311169934 A CN 202311169934A CN 116916497 A CN116916497 A CN 116916497A
Authority
CN
China
Prior art keywords
emotion
user
floor
atmosphere lamp
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311169934.3A
Other languages
English (en)
Other versions
CN116916497B (zh
Inventor
宋磊
叶渊渊
冯英
彭赛龙
吴成杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cononlux Technology Co ltd
Original Assignee
Cononlux Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cononlux Technology Co ltd filed Critical Cononlux Technology Co ltd
Priority to CN202311169934.3A priority Critical patent/CN116916497B/zh
Priority to CN202311673850.3A priority patent/CN117641667B/zh
Publication of CN116916497A publication Critical patent/CN116916497A/zh
Application granted granted Critical
Publication of CN116916497B publication Critical patent/CN116916497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/12—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by detecting audible sound
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于嵌套态势识别的落地柱形氛围灯光照控制方法及系统，涉及智能照明技术领域，以解决现有技术中情感映射的灵活性差，无法通过氛围灯传达情感变化的连续性的问题。所述方法包括获取氛围灯对应的照明区域的视频图像；根据视频图像确定照明区域是否存在用户；当照明区域存在用户时，获取用户的情感图像信息和语音信息；将用户的情感图像信息或语音信息输入预设机器学习模型获取所述用户的情感状态标签和对应的置信度；根据情感状态标签、对应的置信度以及情感‑光照映射函数，调节落地柱形氛围灯对应的控制参数。本申请可以使得一个情感状态到另一个情感状态之间的照明变化可以更加连贯和自然，从而提供更舒适的照明体验。

Description

基于嵌套态势识别的落地柱形氛围灯光照控制方法及系统
技术领域
本申请涉及智能照明技术领域，尤其是一种基于嵌套态势识别的落地柱形氛围灯光照控制方法及系统。
背景技术
照明在我们日常生活和工作中起着重要的作用，而照明控制技术则致力于提供灵活、智能和个性化的照明方案，以满足不同场景和需求的要求。氛围灯是一种用于创造舒适氛围和提升环境体验的照明装置。它不仅仅是传统照明的一种替代，还通过调整颜色、亮度和光效等参数，能够产生多种不同的光影效果，从而营造出适合不同情境和情绪的灯光环境。
现有技术中，氛围灯的设计和控制已经越来越智能，一些氛围灯采用可调光LED技术，甚至可以通过智能手机应用进行远程控制和定制，并且可以通过使用各种传感器，如光敏传感器、温度传感器和人体感应传感器等，感知环境的变化并根据预设规则调整灯光的亮度和色温，并且能够通过使用智能手机、平板电脑或网络连接等方式，便于用户远程控制照明灯具，实现灯光的定时、开关、调光和调色等常见的功能。
然而，照明是环境的重要组成部分，而环境可以对人的情绪产生影响。亮度、色彩和光线的温暖度等照明参数都可以影响人的情绪和心理状态，现有技术中，申请号为CN201910959325.5的专利公开了一种基于情绪感知的车内氛围灯调节方法、系统、介质及终端，其方案为获取车内人员的面部图像；对所述面部图像加以分析，以识别出所述车内人员的当前情绪；按照与当前情绪相匹配的预设情绪所对应的预设氛围灯显示配置调节车内氛围灯的灯光状态，但是此方案中，采用了固定的情感到颜色的映射，例如，将烦躁映射为深蓝色，将消极映射为红色等，固定的颜色调控往往只能覆盖一些主要情感状态，无法适用于多样的情感和复杂的情感变化，并且固定的颜色调控往往使用离散的颜色状态来表示情感，导致颜色之间的转换过于突兀，无法实现平滑的情感过渡；
申请号为CN202310590569.7的专利公开了一种基于智能氛围灯条的颜色调控方法及系统，其方案通过综合考虑用户情感、语音情感、和用户的个人喜好，以调节氛围灯的颜色，但方案中涉及多种数据源，包括用户情感特征、语音情感特征和生活购物数据等，计算喜爱系数和颜色合并比例，这会增加算法的复杂性和主观性，并且，其方案通过用户情感特征、语音情感特征和生活购物数据对应的情感颜色进行合并，从而对氛围灯进行颜色的调控，颜色的合并可能不总是产生满意的效果，因为不同的颜色可能在混合时产生不可预测的结果，例如，不同颜色的合并可能会产生色彩冲突，使得合并后的颜色看起来杂乱无章，不再传达清晰的情感意义，导致用户对氛围灯的颜色感到不满意。
发明内容
本申请提供了一种基于嵌套态势识别的落地柱形氛围灯光照控制方法及系统，用以解决现有技术中情感映射的灵活性差，无法通过氛围灯传达情感变化的连续性的问题。
第一方面，本申请提供了一种基于嵌套态势识别的落地柱形氛围灯光照控制方法，所述方法包括：
获取落地柱形氛围灯对应的照明区域的视频图像；
根据所述视频图像，确定所述照明区域是否存在用户；
当所述照明区域存在用户时，获取所述用户的情感图像信息和语音信息，其中，所述情感图像信息包括用户的面部表情和动作行为；
将所述用户的情感图像信息或语音信息输入预设机器学习模型获取所述用户的情感状态标签和对应的置信度；
根据所述情感状态标签、对应的置信度以及预先构建的情感-光照映射函数，调节所述落地柱形氛围灯对应的控制参数，以控制所述落地柱形氛围灯进行照明，其中，所述情感-光照映射函数基于非线性函数构建。
作为本申请的一可选实施例，所述将所述用户的情感图像信息或语音信息输入预设机器学习模型获取所述用户的情感状态标签和对应的置信度的步骤，包括：
根据已训练的目标检测模型对所述情感图像信息进行目标检测，确定所述情感图像信息中是否存在人脸，其中，所述目标检测模型基于YOLO算法进行构建；
若存在人脸，根据所述情感图像信息和已训练的第一情感识别模型，获取所述用户的第一情感状态标签和第一置信度；
若不存在人脸，根据所述语音信息和已训练的第二情感识别模型，获取所述用户的第二情感状态标签和第二置信度；
其中，所述第一情感识别模型基于ResNet模型构建；所述第二情感识别模块基于RNN模型构建，所述第一情感状态标签和所述第二情感标签均包括：1、2、3、4和5，分别对应兴奋、高兴、平静、悲伤和愤怒，所述第一置信度和所述第二置信度的取值范围分别为0~1。
作为本申请的一可选实施例，所述若存在人脸，根据所述情感图像信息和已训练的第一情感识别模型，获取所述用户的第一情感状态标签和第一置信度的步骤，包括：
当所述情感图像信息中人脸的数量为1时，将所述情感图像信息输入已训练的第一情感识别模型，得到所述人脸对应的用户的第一情感状态标签和第一置信度；
当所述情感图像信息中人脸的数量大于1时，根据预设特征提取方法，获取所述情感图像信息中每一人脸的人脸特征信息；
计算每一人脸特征信息和目标人脸特征信息之间的相似度，其中，所述目标人脸特征信息预先储存于人脸特征数据库中，所述人脸特征数据库储存有至少一个目标用户的人脸特征信息；
当存在相似度大于相似度阈值的人脸特征信息时，在所述情感图像信息中获取对应的目标用户图像；
将所述目标用户图像输入已训练的第一情感识别模型，得到所述用户图像对应的目标用户的第一情感状态标签和第一置信度；
当不存在相似度大于相似度阈值的人脸特征信息时，从所述情感图像信息中获取每一人脸对应的目标用户图像；
将所有所述用户图像依次输入已训练的第一情感识别模型，得到每一所述用户图像对应的用户的第一情感状态标签和第一置信度；
对每一用户的所述第一置信度进行归一化处理，得到归一化置信度；
根据所述归一化置信度和对应的第一情感状态标签，获取加权情感标签；
根据所述加权情感标签和所述归一化置信度进行加权平均，得到所述情感图像信息对应的用户的第一情感状态标签和对应的第一置信度。
作为本申请的一可选实施例，所述根据所述情感状态标签、对应的置信度以及预先构建的情感-光照映射函数，调节所述落地柱形氛围灯对应的控制参数，以控制所述落地柱形氛围灯进行照明的步骤包括：
根据预设量化公式对所述情感状态标签和对应的置信度对用户的情感状态进行量化，得到情感值；
根据预设情感-亮度非线性映射函数和所述情感值，获取亮度参数；
根据所述亮度参数，控制所述落地柱形氛围灯的亮度；
其中，所述预设情感-亮度非线性映射函数基于sigmoid函数构建，所述预设量化公式如下所示：
式中，x为所述情感值，E_label为所述第一情感状态标签，p为所述第一置信度，或者，所述E_label为所述第二情感状态标签，p为所述第二置信度。
作为本申请的一可选实施例，所述预设情感-亮度非线性映射函数如下所示：
式中，Lu为所述亮度参数，Lmax为所述落地柱形氛围灯的最大亮度，k为预设斜率参数，x0为预设中心参数，x为所述情感值。
作为本申请的一可选实施例，所述控制参数还包括色彩参数，所述根据所述情感状态标签、对应的置信度以及预先构建的情感-光照映射函数，调节所述落地柱形氛围灯对应的控制参数，以控制所述落地柱形氛围灯进行照明的步骤还包括：
根据情感值和预设情感-色彩映射函数，得到色彩参数，其中，所述预设情感-色彩映射函数如下所示：
其中，x为所述情感值，RGB为所述色彩参数，RGB1为第一初始颜色的RGB值，RGB2为第一结束颜色的RGB值，RGB3为第二初始颜色的RGB值，RGB4为第二结束颜色的RGB值；
根据所述色彩参数，调节所述落地柱形氛围灯的色彩。
作为本申请的一可选实施例，所述第一初始颜色为淡蓝色，其RGB值为(173, 216,230)，所述第一结束颜色为深蓝色，RGB值为（0,0,128），所述第二初始颜色为淡黄色，其RGB值为(255, 255, 153)，所述第二结束颜色为橙色，其RGB值为(255, 204, 153)。
作为本申请的一可选实施例，若不存在人脸，根据所述语音信息和已训练的第二情感识别模型，获取所述用户的第二情感状态标签和第二置信度的步骤，包括：
获取语音数据集，其中，所述语音数据集包括若干条语音数据以及对应的第二情感状态标签；
对所述语音数据集进行归一化处理，得到初始语音数据集；
提取所述初始语音数据集中每一条语音数据的梅尔频率倒谱系数特征，得到目标语音数据集；
根据第二预设比例对所述目标语音数据集进行划分，得到语音训练集和语音测试集；
根据所述训练集和所述测试集对所述第二情感识别模型进行训练，使得第二情感识别模型的准确率达到预设准确率，以得到已训练的第二情感识别模型；
将所述语音信息的梅尔频率倒谱系数特征的输入已训练的第二情感识别模型，得到所述用户的第二情感状态标签和对应的第二置信度。
作为本申请的一可选实施例，所述根据所述视频图像，确定所述照明区域是否存在用户的步骤，包括：
对所述视频图像进行分解，得到一系列帧图像；
根据已训练的目标检测模型对所有所述帧图像进行目标检测，判断每一所述帧图像是否包括用户，其中，所述目标检测模型基于YOLO算法构建。
第二方面，本申请还提供了一种基于嵌套态势识别的落地柱形氛围灯光照控制系统，所述系统包括：摄像装置、控制器和落地柱形氛围灯，其中，所述摄像装置以及落地柱形氛围灯与所述控制器电性连接，所述摄像装置用于对落地柱形氛围灯对应的照明区域进行图像采集并识别视频图像的信息，所述控制器用于控制所述摄像装置与所述落地柱形氛围灯执行第一方面所述的基于嵌套态势识别的落地柱形氛围灯光照控制方法。
综上所述，本申请的有益效果如下：
本申请的基于嵌套态势识别的落地柱形氛围灯光照控制方法及系统，通过获取落地柱形氛围灯对应的照明区域的视频图像，通过视频图像获得照明区域的实时信息，这为后续情感感知和照明控制提供了实时数据基础；根据所述视频图像，判断所述照明区域是否存在用户，能够确定是否需要进行情感感知和照明调节，避免不必要的计算和操作；当所述照明区域存在用户时，获取所述用户的情感图像信息和语音信息，并根据所述情感图像信息或语音信息和预设机器学习模型，获取所述用户的情感状态标签和对应的置信度，通过预设机器学习模型，基于情感图像信息或语音信息，识别用户的情感状态。情感状态标签表示用户的情感，置信度表示对该情感判断的程度，使得用户情感能被感知，为后续照明控制提供依据；根据所述情感状态标签和对应的置信度以及基于非线性函数构建的情感-光照映射函数调节所述落地柱形氛围灯对应的控制参数，以控制所述落地柱形氛围灯进行照明，从而创造出与用户情感匹配的灯光效果，通过实时监控和情感感知，能够自动感知用户在照明区域的存在和情感状态，从而自动调节照明参数，非线性函数的主要特点是其在输入值和输出值之间不遵循线性关系，因此可以表现出更加复杂的映射关系，适当的非线性函数可以使颜色或亮度在情感状态之间平滑地过渡，从而避免了不连续性的情感变化，从而提供无需人工干预的照明控制，使得一个情感状态到另一个情感状态之间的照明变化可以更加连贯和自然，从而提供更舒适的照明体验。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例落地柱形氛围灯的结构示意图。
图2是本申请基于嵌套态势识别的落地柱形氛围灯光照控制方法的流程示意图。
图3是本申请情感图像信息获取的流程示意图。
图4是本申请获取情感状态标签和置信度的流程示意图。
图5是本申请亮度调节的流程示意图。
图6是本申请色彩调节的流程示意图。
图7是本申请基于嵌套态势识别的落地柱形氛围灯光照控制系统的结构示意图。
图8是本申请实施例包括预设图案的落地柱形氛围灯的结构示意图。
图9是本申请实施例包括中央控制器的落地柱形氛围灯光照控制系统结构示意图。
附图标记说明：
1、摄像头；2、灯体；21、调节按键；22、开关键31、第一预设图案；32、第二预设图案；33、第三预设图案。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本申请，并不被配置为限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
实施例一
参见图1，本申请实施例提供了一种落地柱形氛围灯，所述落地柱形氛围灯包括摄像头1、灯体2、调节按键21和设置于灯体底部的开关键22，其中，灯体是氛围灯的主要物理结构为圆柱形，调节按键21设置在氛围灯表面，通常用于手动调节氛围灯的亮度、颜色或其他照明参数，用户可以使用这些按键来个性化设置氛围灯的照明效果，开关键22位于氛围灯的底部，用于控制氛围灯的开关状态，用户可以使用这个开关键来打开或关闭氛围灯；
所述落地柱形氛围灯还包括控制器，用于控制落地柱形氛围灯的照明参数；
基于上述落地柱形氛围灯，参见图2，本申请提供了一种基于嵌套态势识别的落地柱形氛围灯光照控制方法，所述方法包括：
S1、获取落地柱形氛围灯对应的照明区域的视频图像；
具体的，所述照明区域指的是氛围灯照明的目标区域，可以是房间内的某个区域或者特定位置，视频图像是通过成像设备捕捉的实时视频流，包括图像数据和语音数据，涵盖了照明区域的视野，所述视频图像具有预设分辨率和预设帧率，其中所述预设分辨率大于等于720p，所述预设帧率大于等于30fps；
S2、根据所述视频图像，确定所述照明区域是否存在用户；
具体的，根据视频图像判断照明区域是否存在用户是情感感知照明控制的一部分，其目的是为了实现智能化的照明调节，根据用户的存在与否进行相应的灯光控制，如果照明区域没有用户存在，可以将灯光调暗或关闭，以节省能源，智能地根据人的存在情况来控制灯光，有助于降低能耗，减少不必要的照明消耗；
在一实施例中，根据所述视频图像，判断所述照明区域是否存在用户可通过运动检测算法，例如如光流法、帧差法等，检测帧与帧之间的像素变化，根据像素变化的位置和幅度，判断是否存在运动的区域，从而判断照明区域是否存在用户；
但上述实施例的方案适用于不需要精确人体位置的情况，能够快速判断是否存在运动，比如有人经过、走动等，但可能会受到环境因素的影响，如摄像头的抖动、背景变化等，可能导致误判，作为本申请的一可选实施例，参见图3，所述根据所述视频图像，判断所述照明区域是否存在用户的步骤，包括：
S21、对所述视频图像进行分解，得到一系列帧图像；
具体的，首先将视频图像逐帧分解为连续的图像帧，每个图像帧表示视频中的一个时间点，视频分解为图像帧，为后续的目标检测和分析提供了连续的图像数据流，每一帧都可以代表特定时间点的状况，为判断照明区域是否存在用户提供了输入；
S22、根据已训练的目标检测模型对所有所述帧图像进行目标检测，判断每一所述帧图像是否包括用户，其中，所述目标检测模型基于YOLO算法构建；
具体的，首先，对所有分解的帧图像进行遍历，对每一帧图像进行预处理，所述预处理包括包括图像尺寸调整、归一化等，以符合目标检测模型的输入要求，对预处理后的每一帧图像，使用目标检测模型进行目标检测。目标检测模型会输出目标的位置信息和类别标签，分析目标检测的结果，判断是否在检测结果中存在被识别为用户的目标。可以根据模型输出的类别标签判断是否为用户，也可以设置阈值来确定是否存在用户；
在本实施例中，所述目标检测模型基于YOLO算法构建，YOLO算法的基本思想是将输入图像划分成一个固定大小的网格，每个网格负责预测其中是否存在目标以及目标的边界框和类别。每个网格预测多个边界框，每个边界框包括目标的位置（边界框的坐标）、大小和对应的类别概率。通过对每个网格的预测结果进行综合，可以获得整幅图像中所有目标的检测结果。
所述目标检测模型基于YOLO算法构建，它的作用是对输入的图像进行分析和处理，快速且准确地检测图像中的目标物体，并标识出目标的位置和类别。在情感感知照明控制中，该模型的作用是判断照明区域是否存在用户。通过将已训练好的模型应用于每一帧图像，可以检测出图像中是否存在用户（目标），从而为后续的情感感知和照明控制提供判断依据。
当所述帧图像存在用户时，将对应的帧图像作为情感图像信息。
目标检测模型判断存在用户的帧图像进行筛选，将判断为存在用户的帧图像选取为情感图像信息，以供后续情感感知和照明控制使用。
S3、当所述照明区域存在用户时，获取所述用户的情感图像信息和语音信息，其中，所述情感图像信息包括用户的面部表情和动作行为；
具体的，当所述照明区域存在用户时，通过现有图像处理技术，根据所述视频图像，获取所述用户的情感图像信息和语音信息，情感图像信息用于识别和分析用户的面部表情和动作行为，面部表情可通过检测面部特征点、脸部轮廓以及嘴唇、眼睛的状态得到，用于推测出用户当前的表情，如微笑、愤怒、惊讶等，便于后续情感识别，动作行为包括如头部的转动、眨眼频率、手势等，这些动作行为也可以反映出用户的情感状态，如焦虑、放松、好奇等也可通过视频图像获取用户在照明区域内的语音信息，这些语音信息将用于分析用户在语音中表现出的情感特征，如音调、语速、声音情感等。
S4、将所述用户的情感图像信息或语音信息输入预设机器学习模型获取所述用户的情感状态标签和对应的置信度；
具体的，将步骤S3中获取情感图像信息或语音信息作为输入数据，输入预设机器学习模型获取所述用户的情感状态标签和对应的置信度，首先对输入的情感图像信息进行预处理，如图像尺寸调整、归一化等，以适应预设的机器学习模型的输入要求。如果是语音信息，则可能需要进行声音信号处理，如傅里叶变换、特征提取等，使用预设的机器学习模型，根据情感图像信息或语音信息进行推断，模型可能是分类模型或回归模型，将输入数据转化为用户的情感状态标签和对应的置信度，模型输出的置信度可以表明模型对所输出情感状态的信心程度。高置信度有助于后续决策的可靠性；
作为本申请的一可选实施例，参见图4，所述当所述照明区域存在用户时，根据所述视频图像和预设机器学习模型，获取所述用户的情感状态的步骤，包括：
S41、根据已训练的目标检测模型对所述情感图像信息进行目标检测，确定所述情感图像信息中是否存在人脸，其中，所述目标检测模型基于YOLO进行构建；
具体的，通过预训练的目标检测模型，对情感图像信息进行处理，模型会检测图像中是否存在人脸，并标识出人脸的位置和边界框，如果模型检测到了人脸，就可以判定情感图像信息中存在人脸，否则认为不存在人脸；通过目标检测模型的应用，可以快速准确地确定情感图像信息中是否存在人脸，为后续情感识别提供准确的数据基础，在本实施例中，所述目标检测模型基于YOLO算法构建。
S42、若存在人脸，根据所述情感图像信息和已训练的第一情感识别模型，获取所述用户的第一情感状态标签和对应的第一置信度；
如果在情感图像信息中检测到了人脸，将使用已训练的第一情感识别模型来推测用户的情感状态，所述第一情感识别模型基于ResNet模型构建，以图像为输入，以情感状态标签和对应的置信度为输出，ResNet模型是一种深度卷积神经网络，适用于处理复杂的图像数据，情感识别需要对图像中的情感特征进行提取，而深度模型能够更好地捕捉图像中的抽象特征；
所述第一情感识别模型通过如下步骤进行训练：
S0421、获取图像数据集，其中，所述图像数据集包括多张图像数据以及对应的第一情感状态标签；
首先，收集包含各种面部表情和动作的图像数据集。数据集应包含多个类别的表情，这里主要包含兴奋、高兴、平静、悲伤、愤怒等五个情绪，分别标记为1，2，3，4，5；
S0422、对所述图像数据集进行预处理，得到目标图像数据集；
具体的，对图像数据集中每一图像进行预处理，包括图像大小调整、归一化、数据增强等操作，所述数据增强包括随机裁剪、旋转、翻转等，数据增强可以增加数据的多样性，有助于模型的泛化能力。
S0423、根据第一预设比例对所述目标图像数据集进行划分，得到图像训练集和图像测试集；
根据预设比例，将目标图像数据集划分为图像训练集和图像测试集。通常，数据集会按照一定比例（如70%训练集、30%测试集）进行划分，以便在训练过程中进行模型的训练和验证。
S0424、根据所述图像训练集和所述图像测试集对所述第一情感识别模型进行训练，使得第一情感识别模型的准确率达到预设准确率，以得到已训练的第二情感识别模型；
使用所述图像训练集对第一情感识别模型进行训练。训练过程中，模型会根据图像的情感状态标签来学习图像与情感之间的关联，优化模型的参数以提高模型的预测准确率；
所述第一情感状态标签包括：1、2、3、4和5，分别对应兴奋、高兴、平静、悲伤和愤怒，采用这样的标签设置，使得用户或研究者能够直观地理解情感状态的变化，标签的顺序和含义与人类情感的一般认知相符，易于沟通和理解；标签的依次增加对应了情感状态的情绪强度递增，从兴奋到高兴再到平静，再到悲伤和愤怒，形成了一种有序的情感强度排列。这有助于对情感状态之间的差异和变化进行更细致的分析，并且，数值化的情感状态标签允许模型或系统对情感进行定量表示和比较，不同情感状态的数值差异可以用于量化情感强度的不同程度，使用有序的情感状态标签进行模型训练可以帮助模型更好地理解情感状态之间的层次和关联，有助于模型学习情感特征的分布和变化。
S43、若不存在人脸，根据所述视频图像的音频数据和已训练的第二情感识别模型，获取所述用户的第二情感状态标签和第二置信度；
如果在情感图像信息中未检测到人脸，将使用已训练的第二情感识别模型来推测用户的情感状态，在这种情况下，无法从图像中获取情感信息，因此将视频图像的音频数据送入模型中，模型会根据音频特征预测用户的第二情感状态标签，并输出对应的第二置信度。
其中，所述第一情感识别模型基于ResNet模型构建；所述第二情感识别模块基于RNN模型构建，所述第一情感状态标签和所述第二情感标签均包括：1、2、3、4和5，分别对应兴奋、高兴、平静、悲伤和愤怒，所述第一置信度和所述第二置信度的取值范围分别为0~1。
作为本申请的一可选实施例，所述若存在人脸，根据所述情感图像信息和已训练的第一情感识别模型，获取所述用户的第一情感状态标签和第一置信度的步骤，包括：
S421、当所述情感图像信息中人脸的数量为1时，将所述情感图像信息输入已训练的第一情感识别模型，得到所述人脸对应的用户的第一情感状态标签和第一置信度；
具体的，情感图像信息中人脸的数量可以通过已训练的目标检测模型获取，目标检测模型将对图像进行分析，找到其中的人脸位置，每个检测到的人脸都会被标记为一个矩形框，通过计算被检测到的人脸矩形框的数量，即可得到情感图像信息中人脸的数量；
当情感图像信息中人脸数量为1时，将图像输入第一情感识别模型，获取该人脸对应的第一情感状态标签和第一情感状态标签。这一步骤基于已训练的模型，将图像信息转化为情感状态信息；
当图像中只有一个人脸时，直接将其输入第一情感识别模型可以有效地进行情感分析，获得该人脸对应的第一情感状态标签和第一置信度，而无需考虑多个人脸之间的干扰；
S422、当所述情感图像信息中人脸的数量大于1时，根据预设特征提取方法，获取所述情感图像信息中每一人脸的人脸特征信息；
当情感图像信息中存在多张人脸时，需要对每张人脸提取其特征信息，以便在后续的相似度计算中进行人脸匹配。这一步骤的目的是为了准确区分每个人脸，并将其与预先存储的目标人脸特征进行比较，从而判断是否为目标用户。
首先，选择合适的人脸特征提取方法，如基于深度学习的人脸特征提取模型（如Facenet、ArcFace等），或使用传统的人脸特征提取算法（如LBPH、Eigenfaces等），将情感图像信息中每张人脸分别输入特征提取模型，获取其对应的人脸特征向量，这些特征向量会具体描述每个人脸在特征空间中的位置。
S423、计算每一人脸特征信息和目标人脸特征信息之间的相似度，其中，所述目标人脸特征信息预先储存于人脸特征数据库中，所述人脸特征数据库储存有至少一个目标用户的人脸特征信息；
将每张人脸的特征向量与预先存储在人脸特征数据库中的目标人脸特征进行比较，计算相似度。通常采用余弦相似度或欧氏距离等进行比较，相似度越高表示两个人脸在特征空间中越接近；
人脸特征数据库的设置是为了实现人脸识别和相似度匹配，从而找到与目标用户人脸特征相似的人脸，并进一步获取其情感状态，在一些情况下，系统可能希望分析特定群体的情感状态，比如一群会议参与者、观众或活动参与者。系统可以提前获取该群体成员的人脸特征信息，存储在人脸特征数据库中，以便在视频图像中识别并分析情感状态，所述目标用户也可以针对公共人物，比如政治家、演讲者、艺人等，系统可以在人脸特征数据库中存储这些公共人物的人脸特征，以便在视频图像中识别并分析他们的情感状态。
不同的用户可能有不同的情感体验和偏好，通过设置不同的目标用户，系统可以根据他们的情感状态进行个性化的灯光调节，从而创造出更适合他们的情感环境，提供更好的用户体验。
S424、当存在相似度大于相似度阈值的人脸特征信息时，在所述情感图像信息中获取对应的目标用户图像；
通过计算每个人脸特征与目标人脸特征之间的相似度，找到相似度大于阈值的人脸特征信息。一旦找到这些相似的人脸，就可以在情感图像信息中剪裁出这些人脸对应的用户图像，以便后续的情感分析；
在一实施例中，所述人脸特征数据库存有至少一个目标用户的人脸特征信息和对应的优先级，每一目标用户的优先级不同；
在一些情况下，相似度大于相似度阈值的人脸特征信息数量可能大于一，即所述情感图像信息中存在多个目标用户，此时根据所述优先级对多个目标用户进行排序，获取优先级最高的目标用户，并对其对应的用户图像进行剪裁，以进行后续处理；
S425、将所述用户图像输入已训练的第一情感识别模型，得到所述用户图像对应的目标用户的第一情感状态标签和第一置信度；
对于已剪裁的用户图像，将其输入已训练的第一情感识别模型中。这个模型会对每个用户图像进行情感分析，得到每个用户图像对应的目标用户的第一情感状态标签和第一置信度；
S426、当不存在相似度大于相似度阈值的人脸特征信息时，对所述情感图像信息进行裁剪，获取每一人脸对应的用户图像；
当没有找到相似度大于阈值的人脸特征信息时，对情感图像信息进行裁剪，以获取每个人脸对应的用户图像。这样可以确保每个用户都被考虑在内，以进行情感分析；
S427、将所有所述用户图像依次输入已训练的第一情感识别模型，得到每一所述用户图像对应的用户的第一情感状态标签和第一置信度；
将裁剪得到的每个用户图像依次输入已训练的第一情感识别模型。针对每个用户图像，得到它们对应的用户的情感状态标签和置信度；
S428、对每一用的所述第一置信度进行归一化处理，得到归一化置信度；
在这一步骤中，对每个用户的第一置信度进行归一化处理。归一化的目的是将置信度值映射到0到1的范围内，使得不同人脸的置信度能够更好地比较。常见的归一化方法是使用最小-最大归一化，将置信度值映射到0到1之间。这样做可以确保所有置信度值具有相同的尺度，以便后续的加权处理
S429、根据所述归一化置信度和对应的第一情感状态标签，获取加权情感标签；
在这一步骤中，根据归一化的置信度和对应的第一情感状态标签，计算每个用户的加权情感标签；加权情感标签的计算可以根据置信度来调整每个用户对最终情感状态的贡献。较高的置信度可以使对应的情感标签更有权重，从而更好地反映该人脸的情感状态；
S4210、根据所述加权情感标签和所述归一化置信度进行加权平均，得到所述情感图像信息对应的第一情感状态标签和对应的第一置信度。
具体的，对于每个用户，假设第一情感状态标签为Ei，对应的置信度为Ci，对每个人脸的置信度进行归一化，使得所有置信度值之和为 1。这可以通过将每个置信度除以总置信度之和来实现，对于每个人脸，计算加权情感标签Wi，即情感标签乘以对应的归一化置信度：Wi=Ei×Ci，对所有加权情感标签进行加平均，得到综合情感状态标签Eavg；
加权平均将考虑到每个用户的情感标签和置信度，根据不同用户情感分析的置信程度，对综合情感状态的影响进行了加权处理。通过这种方式，可以将多个用户的情感分析结果综合为一个整体情感状态，同时考虑到每个用户的贡献和置信度。
综上所述，在本实施例中，当情感图像信息仅存在一个人脸时，直接获取该用户的情感状态标签和置信度，可以根据用户的情感状态调整灯光，创造出符合用户情感的个性化照明效果，提升用户的情感体验；在情感图像信息中存在多个人脸的情况下，通过获取每个人脸的特征信息并与数据库中的目标用户进行匹配，计算相似度，可以准确地判断是否存在目标用户。这可以防止误判和确保灯光控制的精准性；当情感图像信息中不存在相似度大于阈值的人脸特征时，根据每个用户的情感状态标签和置信度进行加权运算，得到整体情感状态标签和置信度，这种加权运算可以在多人脸情况下保持照明的普适性，同时兼顾每个用户的情感需求；
该方案在个性化照明控制方面具有高度的灵活性和准确性，能够根据不同情况为用户创造出更符合情感需求的灯光照明效果，增强用户体验。同时，在多人脸情况下能够平衡不同用户的需求，确保整体的照明效果既有普适性又有个性化。
作为本申请的一可选实施例，若不存在人脸，根据所述语音信息和已训练的第二情感识别模型，获取所述用户的第二情感状态标签和第二置信度的步骤，包括：
S431、获取语音数据集，其中，所述语音数据集包括多条语音数据以及对应的第二情感状态标签；
在这一步骤中，收集包含多条语音数据的数据集。每条语音数据都应附带对应的情感状态标签，标识该语音数据所传达的情感。例如，一个语音数据可能是一段说话、歌唱或其他声音，而情感状态标签则可能表示该语音数据所传达的情感如快乐、悲伤、愤怒等。
S432、对所述语音数据集进行归一化处理，得到初始语音数据集；
在这一步骤中，对所收集的语音数据集进行预处理，以确保数据在特征提取和模型训练过程中的一致性。归一化可能包括对音频信号进行均衡、去除噪声等操作，以获得一致的音频质量和干净的数据。
S433、提取所述初始语音数据集中每一条语音数据的梅尔频率倒谱系数特征，得到目标语音数据集；
梅尔频率倒谱系数（MFCC）是音频信号的一种常用特征表示方法。在这一步骤中，从初始语音数据集中提取每一条语音数据的MFCC特征，将音频信号转换为一系列代表频谱特性的系数。
S434、根据第二预设比例对所述目标语音数据集进行划分，得到语音训练集和语音测试集；
在这一步骤中，根据预设的比例，将目标语音数据集划分为用于训练的语音训练集和用于测试的语音测试集。这样做是为了在模型训练和评估时保持数据集的独立性和准确性。
S435、根据所述训练集和所述测试集对所述第二情感识别模型进行训练，使得第二情感识别模型的准确率达到预设准确率，以得到已训练的第二情感识别模型；
在这一步骤中，使用语音训练集和情感状态标签，对第二情感识别模型进行训练，使模型能够从音频数据中学习情感状态的特征并进行分类。
S436、将所述语音信息的梅尔频率倒谱系数特征的输入已训练的第二情感识别模型，得到所述用户的第二情感状态标签和第二置信度。
在这一步骤中，使用语音训练集和情感状态标签，对第二情感识别模型进行训练。这可能涉及到各种机器学习算法、深度学习模型或其他技术，以使模型能够从音频数据中学习情感状态的特征并进行分类。
S5、根据所述情感状态标签和对应的置信度，调节所述落地柱形氛围灯对应的控制参数，以控制所述落地柱形氛围灯进行照明，其中，所述情感-光照映射函数基于非线性函数构建。
具体的，所述控制参数可以包括氛围灯的亮度参数、颜色参数和色温参数，每一个参数对应一映射函数，该函数将情感状态标签和置信度映射到合适的控制参数，这个映射函数可以根据实际需求设计，例如线性、非线性等；在本实施例中，所述情感-光照映射函数基于非线性函数构建，非线性函数可以更灵活地表达情感与光照之间的关系。情感通常是复杂且多维的，线性映射函数可能无法准确捕捉情感的复杂性。非线性函数能够更好地适应情感的多样性，从而提供更丰富的照明变化，非线性函数可以更灵活地表达情感与光照之间的关系。情感通常是复杂且多维的，线性映射函数可能无法准确捕捉情感的复杂性。非线性函数能够更好地适应情感的多样性，从而提供更丰富的照明变化，非线性函数可以根据不同情感的特点调整光照效果。不同情感可能需要不同程度的亮度、颜色和变化速度，非线性函数可以根据情感的要求自适应地调整这些参数，实现更加个性化的照明效果；
并且由于情感通常不是线性的，使用非线性函数可以更好地将情感状态与光照特性相匹配。这有助于提高情感驱动照明的效果，让用户更加准确地感受到照明和情感之间的联系；
根据映射函数，将情感状态标签和置信度作为输入，经过映射计算，得到对应的照明控制参数。使用计算得到的控制参数，将其应用于氛围灯系统。根据参数调整灯光的亮度、颜色和色温等属性，从而营造出符合用户情感状态的照明效果。
作为本申请的一可选实施例，所述控制参数包括亮度参数，所述情感-光照映射函数包括预设情感-亮度非线性映射函数，参见图5，所述根据所述情感状态标签、对应的置信度以及预先构建的情感-光照映射函数，调节所述落地柱形氛围灯对应的控制参数，以控制所述落地柱形氛围灯进行照明的步骤包括：
S51、根据预设量化公式对所述情感状态标签和对应的置信度对用户的情感状态进行量化，得到情感值；
情感状态标签和置信度被转化为一个具体的情感值，可以是数值化的表示，例如，将情感状态标签和置信度进行加权平均得到情感值。量化后的情感值将作为输入，用于后续步骤中，在一优选实施例中，所述预设量化公式如下所示：
式中，x为所述情感值，E_label为所述第一情感状态标签，p为所述第一置信度，或者，所述E_label为所述第二情感状态标签，p为所述第二置信度。
具体的， E_label表示所检测出的第一情感状态标签或第二情感状态标签，对应为1，2，3，4，5，标签越大，对应情感值x越小，表示情感状态越负面；标签越小，对应情感值x越大，表示对应的情感状态越积极，置信度即为情绪系数，如标签1对应的是兴奋，置信度P1或者P2为1.0，表示兴奋度越高，越积极；而标签5表示愤怒，情绪越负面，置信度为1.0表示愤怒成都越高，越负面；
通过上述预设量化公式，将情感值表示为介于0到1之间的归一化值，可以确保不同情感状态的表示具有一致的尺度，使得情感值可以更容易地进行比较和解释，采用情感标签和置信度，可以更准确地刻画不同情感状态的强度。情感标签的不同取值对应了不同情感状态，而置信度可以表示用户对于情感状态的确定程度，从而提供了更丰富的情感信息。
S52、根据预设情感-亮度非线性映射函数和所述情感值，获取亮度参数；
具体的，预设的情感-亮度非线性映射函数被使用，将情感值映射到相应的亮度参数上。这个函数可以根据情感值的变化设计成非线性的，以更好地捕捉不同情感状态对亮度的影响。映射后的亮度参数将在下一步中用于控制氛围灯的亮度；
在本实施例中，所述预设情感-亮度非线性映射函数基于sigmoid函数构建，sigmoid函数具有平滑的S形曲线，能够在输入值的不同范围内产生平滑的输出变化。这使得在不同情感值范围内，亮度的变化更加连续和平滑，减少了突变和不连贯的感觉，并且，sigmoid函数的曲线形状与人类感知的亮度和情感之间的关系相对接近。这种自然性能够使得灯光的亮度调整更符合人的主观感受。
综上所述，基于sigmoid函数构建情感-亮度非线性映射函数具有平滑、边界控制、自然性、可调节性和广泛应用等多种好处，有助于更好地实现情感状态和灯光亮度之间的关联，以提升氛围灯的情感影响效果；
作为本申请的一可选实施例，所述预设情感-亮度非线性映射函数如下所示：
式中，Lu为所述亮度参数，Lmax为所述落地柱形氛围灯的最大亮度，k为预设斜率参数，x0为预设中心参数，x为所述情感值。
具体的，参数x0代表情感值为x0时，灯光亮度达到Lmax的一半。通常情况下，可以将x0设置为情感值的平均值或中间值，这样在情感值偏离中间值时，灯光亮度会相应地变化。例如，如果情感值范围是0到1，可以设置x0为0.5；
参数k决定了sigmoid函数的陡峭程度。较大的k值会导致函数在中心点附近变化迅速，而较小的k值会导致函数在中心点附近变化缓慢。根据用户的情感敏感度和期望的光照变化速度，可以逐步调整k值。较大的k值可能适合情感波动较大的场景，而较小的k值可能适合情感变化较缓慢的场景；
在一实施例中，k的取值范围为（1，5），可以在情感值有所变化时，产生适度的灯光变化。这种设置可以满足大多数用户的情感体验需求，同时保持了一定的变化幅度。优点是可以在情感状态变化不大时，仍能感知到灯光的变化，提升了与情感状态的联系；
参数x0和参数k可以实际测试和用户反馈来确定，例如，可以设计实验，让用户体验不同k值下的情感灯光控制效果，并收集他们的主观反馈。最终的最优k值应该能够在情感变化和灯光变化之间找到一个平衡点，既能够体现情感状态的变化，又不会引起过于剧烈的灯光反应，从而提升用户体验。
所述的sigmoid函数在不同情感值范围内有不同的灵敏度。当情感值接近x0时，灯光亮度变化较小，当情感值偏离x0时，灯光亮度变化较大。这种自适应性使得氛围灯能够更好地反映用户情感状态的变化，使其更加真实和自然，由于sigmoid函数的特性，当情感数值接近x0时，灯光亮度会呈现平稳的状态，这符合情感状态的渐变过程。这种自适应性能够更好地反映情感变化，并避免剧烈的光照变化。
S53、根据所述亮度参数，控制所述落地柱形氛围灯的亮度；
根据映射得到的亮度参数，对氛围灯进行控制，调整其亮度。
在另一实施例中，所述控制参数还包括色彩参数，所述情感-光照映射函数包括预设情感-色彩非线性映射函数参见图6，所述根据所述情感状态标签、对应的置信度以及预先构建的情感-光照映射函数，调节所述落地柱形氛围灯对应的控制参数，以控制所述落地柱形氛围灯进行照明的步骤还包括：
S54、根据情感值和预设情感-色彩映射函数，得到色彩参数，其中，所述预设情感-色彩映射函数如下所示：
其中，x为所述情感值，RGB为所述色彩参数，RGB1为第一初始颜色的RGB值，RGB2为第一结束颜色的RGB值，RGB3为第二初始颜色的RGB值，RGB4为第二结束颜色的RGB值；
即所述预设情感-色彩映射函数对于负面情绪（情感值范围0到0.5）：
RGB = 第一初始颜色 + (情感值 - 0) / (0.5 - 0) * (第一结束颜色 - 第一初始颜色)
对于正面情绪（情感值范围0.5到1）：
RGB = 第二初始颜色 + (情感值 - 0.5) / (1 - 0.5) * (第二结束颜色 - 第二初始颜色)
在这些公式中，RGB值的每个分量（红色、绿色、蓝色）都根据情感值在对应情感范围内进行线性插值，以生成最终的颜色。这样的设计可以根据情感值的变化实现颜色的平滑过渡，从而改善用户的情绪体验；
具体的，负面情绪情的第一情感值范围为[0 , 0.5），正面情绪的第二情感值范围为[0.5, 1]，首先根据情感值获取初始颜色和结束颜色，其中，当所述情感值在第一情感值范围内时，所述初始颜色为淡蓝色，即RGB值为(173, 216, 230)，所述结束颜色为深蓝色，即RGB值为（0,0,128），当所述情感值在第二情感值范围内时，所述初始颜色为淡黄色，即RGB值为(255, 255, 153)，所述结束颜色为橙色，即RGB值为(255, 204, 153)；
选择淡蓝色作为负面情绪的初始颜色和深蓝色作为结束颜色，以及淡黄色作为正面情绪的初始颜色和淡橙色作为结束颜色，符合一般的情感关联，即蓝色通常被认为是冷静、安静的颜色，而黄色和橙色则常常与温暖、愉悦的情感联系在一起；从淡蓝色过渡到深蓝色，再从淡黄色过渡到淡橙色，呈现出从负面情绪到正面情绪的过渡，使用户能够感受到情感的改变和转变；蓝色作为冷静和安静的颜色，有助于在负面情绪时平衡用户的情感，减轻愤怒或不安的情感。而黄色和橙色作为温暖和愉悦的颜色，有助于增强积极情绪；这样的颜色选择与心理学中颜色对情感和心理状态的影响相符合，可以在一定程度上引导用户的情感状态。
S55、根据色彩参数，控制氛围灯的照明效果；
最后，根据色彩参数，对氛围等的色彩进行调节，以实现对应的效果。
综上所述，本申请的有益效果如下：
本申请的基于嵌套态势识别的落地柱形氛围灯光照控制方法及，通过获取落地柱形氛围灯对应的照明区域的视频图像，通过视频图像获得照明区域的实时信息，这为后续情感感知和照明控制提供了实时数据基础；根据所述视频图像，判断所述照明区域是否存在用户，能够确定是否需要进行情感感知和照明调节，避免不必要的计算和操作；当所述照明区域存在用户时，获取所述用户的情感图像信息和语音信息，并根据所述情感图像信息或语音信息和预设机器学习模型，获取所述用户的情感状态标签和对应的置信度，通过预设机器学习模型，基于情感图像信息或语音信息，识别用户的情感状态。情感状态标签表示用户的情感，置信度表示对该情感判断的程度，使得用户情感能被感知，为后续照明控制提供依据；根据所述情感状态标签和对应的置信度以及基于非线性函数构建的情感-光照映射函数调节所述落地柱形氛围灯对应的控制参数，以控制所述落地柱形氛围灯进行照明，从而创造出与用户情感匹配的灯光效果，通过实时监控和情感感知，能够自动感知用户在照明区域的存在和情感状态，从而自动调节照明参数，非线性函数的主要特点是其在输入值和输出值之间不遵循线性关系，因此可以表现出更加复杂的映射关系，适当的非线性函数可以使颜色或亮度在情感状态之间平滑地过渡，从而避免了不连续性的情感变化，从而提供无需人工干预的照明控制，使得一个情感状态到另一个情感状态之间的照明变化可以更加连贯和自然，从而提供更舒适的照明体验。
实施例二
在实施例一的基础上，本实施例进一步提供了一种基于嵌套态势识别的落地柱形氛围灯光照控制系统，所述系统包括：摄像装置、控制器和落地柱形氛围灯，其中，所述摄像装置以及落地柱形氛围灯与所述控制器电性连接，所述摄像装置用于对落地柱形氛围灯对应的照明区域进行图像采集并识别视频图像的信息，所述控制器用于控制所述摄像装置与所述落地柱形氛围灯执行实施例一述的基于嵌套态势识别的落地柱形氛围灯光照控制方法。
该摄像头安装在系统中，用于捕捉落地柱形氛围灯对应的照明区域的视频图像。摄像头负责获取照明区域的实时画面，以便后续进行嵌套态势识别。
控制器是系统的中央处理单元，负责执行基于嵌套态势识别的落地柱形氛围灯光照控制方法，它与摄像装置和落地柱形氛围灯电性连接，能够接收摄像头拍摄的视频图像，并根据识别出的用户情感和态势，控制落地柱形氛围灯的照明效果，所述基于嵌套态势识别的落地柱形氛围灯光照控制方法为上述实施例一中的方法，在此不再赘述。
落地柱形氛围灯是照明系统的主要输出设备，它通过调整灯光的亮度、色彩和光线温暖度等参数，实现情感驱动的照明效果。根据控制器传递的控制参数，落地柱形氛围灯可以调整其照明状态，以传达用户的情感状态和态势。
在一实施例中，所述落地柱形氛围灯如图1所示，所述摄像头设置于落地柱形氛围灯的灯体的上方，这个位置能够为摄像头提供更好的视野，以便捕捉到照明区域的实时画面，控制器集成于落地柱形氛围灯的内部，落地柱形氛围灯还设有开关按键和调节按键，开关按键用于控制落地柱形氛围灯的开关，调节按键用于调节落地柱形氛围灯的亮度/色彩/色温，所述落地柱形氛围灯还可包括一切换按键用于切换不同的模式或设置，以适应不同的使用场景或用户偏好。
在另一实施例中，所述落地柱形氛围灯的灯体上还设置有具有多个设置于不同位置的预设图案，不同位置的预设图案的表情不同，如图8所示，所述预设图案包括第一预设图案31、第二预设图案32和第三预设图案33，在这个设计中，落地柱形氛围灯的灯体上还装有多个预设图案，这些预设图案被设置在不同的位置。每个预设图案都具有不同的表情或图形，以传达特定的情感或意境。根据之前描述的情感照明控制方法，根据所得到的情感值，不同位置的预设图案可以被高亮显示，以更加准确地表达和强调用户的情感状态。
例如，假设某个预设图案是一个笑脸，另一个预设图案是一个泪脸，还有一个是一个心形等等。当情感值表达积极的情感时，可能会高亮显示笑脸或心形等积极的预设图案，以进一步强调用户的积极情感。相反，当情感值表达消极的情感时，可能会高亮显示泪脸或其他消极的预设图案，以更准确地反映用户的情感状态；
这种设计可以通过多个预设图案和高亮显示来增强情感照明的效果，使得氛围灯能够更直观地传达用户的情感状态，同时也提供了一种富有创意和个性化的氛围灯照明体验；
在另一实施例中，基于嵌套态势识别的落地柱形氛围灯光照控制系统还包括中央控制器，所述中央控制器与多个落地柱形氛围灯无线连接，每个落地柱形氛围灯都配备了与控制器进行无线连接的技术，例如Wi-Fi、蓝牙等。这些灯可以位于不同的位置，如不同房间、不同区域等，控制器用于管理和控制所有与之连接的氛围灯，控制器可以是一个物理设备，也可以是一个移动应用程序，控制器可以确保所有连接的氛围灯之间的效果是协调一致的，以创造一个统一的氛围照明体验，这意味着，无论这些氛围灯分布在不同的区域，它们的照明效果都会根据情感状态进行同步调整。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种基于嵌套态势识别的落地柱形氛围灯光照控制方法，其特征在于，所述方法包括：
获取落地柱形氛围灯对应的照明区域的视频图像；
根据所述视频图像，确定所述照明区域是否存在用户；
当所述照明区域存在用户时，获取所述用户的情感图像信息和语音信息，其中，所述情感图像信息包括用户的面部表情和动作行为；
将所述用户的情感图像信息或语音信息输入预设机器学习模型获取所述用户的情感状态标签和对应的置信度；
根据所述情感状态标签、对应的置信度以及预先构建的情感-光照映射函数，调节所述落地柱形氛围灯对应的控制参数，以控制所述落地柱形氛围灯进行照明，其中，所述情感-光照映射函数基于非线性函数构建。
2.根据权利要求1所述的基于嵌套态势识别的落地柱形氛围灯光照控制方法，其特征在于，所述将所述用户的情感图像信息或语音信息输入预设机器学习模型获取所述用户的情感状态标签和对应的置信度的步骤，包括：
根据已训练的目标检测模型对所述情感图像信息进行目标检测，确定所述情感图像信息中是否存在人脸，其中，所述目标检测模型基于YOLO算法进行构建；
若存在人脸，根据所述情感图像信息和已训练的第一情感识别模型，获取所述用户的第一情感状态标签和第一置信度；
若不存在人脸，根据所述语音信息和已训练的第二情感识别模型，获取所述用户的第二情感状态标签和第二置信度；
其中，所述第一情感识别模型基于ResNet模型构建；所述第二情感识别模块基于RNN模型构建，所述第一情感状态标签和所述第二情感状态标签均包括：1、2、3、4和5，分别对应兴奋、高兴、平静、悲伤和愤怒，所述第一置信度和所述第二置信度的取值范围分别为0~1。
3.据权利要求2所述的基于嵌套态势识别的落地柱形氛围灯光照控制方法，其特征在于，所述若存在人脸，根据所述情感图像信息和已训练的第一情感识别模型，获取所述用户的第一情感状态标签和第一置信度的步骤，包括：
当所述情感图像信息中人脸的数量为1时，将所述情感图像信息输入已训练的第一情感识别模型，得到所述人脸对应的用户的第一情感状态标签和第一置信度；
当所述情感图像信息中人脸的数量大于1时，根据预设特征提取方法，获取所述情感图像信息中每一人脸的人脸特征信息；
计算每一人脸特征信息和目标人脸特征信息之间的相似度，其中，所述目标人脸特征信息预先储存于人脸特征数据库中，所述人脸特征数据库储存有至少一个目标用户的人脸特征信息；
当存在相似度大于相似度阈值的人脸特征信息时，在所述情感图像信息中获取对应的目标用户图像；
将所述目标用户图像输入已训练的第一情感识别模型，得到所述用户图像对应的目标用户的第一情感状态标签和第一置信度；
当不存在相似度大于相似度阈值的人脸特征信息时，从所述情感图像信息中获取每一人脸对应的目标用户图像；
将所有所述用户图像依次输入已训练的第一情感识别模型，得到每一所述用户图像对应的用户的第一情感状态标签和第一置信度；
对每一用户的所述第一置信度进行归一化处理，得到归一化置信度；
根据所述归一化置信度和对应的第一情感状态标签，获取加权情感标签；
根据所述加权情感标签和所述归一化置信度进行加权平均，得到所述情感图像信息对应的用户的第一情感状态标签和对应的第一置信度。
4.根据权利要求2所述的基于嵌套态势识别的落地柱形氛围灯光照控制方法，其特征在于，所述根据所述情感状态标签、对应的置信度以及预先构建的情感-光照映射函数，调节所述落地柱形氛围灯对应的控制参数，以控制所述落地柱形氛围灯进行照明的步骤包括：
根据预设量化公式对所述情感状态标签和对应的置信度对用户的情感状态进行量化，得到情感值；
根据预设情感-亮度非线性映射函数和所述情感值，获取亮度参数；
根据所述亮度参数，控制所述落地柱形氛围灯的亮度；
其中，所述预设情感-亮度非线性映射函数基于sigmoid函数构建，所述预设量化公式如下所示：
式中，x为所述情感值，E_label为所述第一情感状态标签，p为所述第一置信度，或者，所述E_label为所述第二情感状态标签，p为所述第二置信度。
5.根据权利要求4所述的基于嵌套态势识别的落地柱形氛围灯光照控制方法，其特征在于，所述预设情感-亮度非线性映射函数如下所示：
式中，Lu为所述亮度参数，Lmax为所述落地柱形氛围灯的最大亮度，k为预设斜率参数，x0为预设中心参数，x为所述情感值。
6.根据权利要求4所述的基于嵌套态势识别的落地柱形氛围灯光照控制方法，其特征在于，所述控制参数还包括色彩参数，所述根据所述情感状态标签、对应的置信度以及预先构建的情感-光照映射函数，调节所述落地柱形氛围灯对应的控制参数，以控制所述落地柱形氛围灯进行照明的步骤还包括：
根据情感值和预设情感-色彩映射函数，得到色彩参数，其中，所述预设情感-色彩映射函数如下所示：
其中，x为所述情感值，RGB为所述色彩参数，RGB1为第一初始颜色的RGB值，RGB2为第一结束颜色的RGB值，RGB3为第二初始颜色的RGB值，RGB4为第二结束颜色的RGB值；
根据所述色彩参数，调节所述落地柱形氛围灯的色彩。
7.根据权利要求6所述的基于嵌套态势识别的落地柱形氛围灯光照控制方法，其特征在于，所述第一初始颜色为淡蓝色，其RGB值为(173, 216, 230)，所述第一结束颜色为深蓝色，RGB值为（0,0,128），所述第二初始颜色为淡黄色，其RGB值为(255, 255, 153)，所述第二结束颜色为橙色，其RGB值为(255, 204, 153)。
8.根据权利要求2所述的基于嵌套态势识别的落地柱形氛围灯光照控制方法，若不存在人脸，根据所述语音信息和已训练的第二情感识别模型，获取所述用户的第二情感状态标签和第二置信度的步骤，包括：
获取语音数据集，其中，所述语音数据集包括若干条语音数据以及对应的第二情感状态标签；
对所述语音数据集进行归一化处理，得到初始语音数据集；
提取所述初始语音数据集中每一条语音数据的梅尔频率倒谱系数特征，得到目标语音数据集；
根据第二预设比例对所述目标语音数据集进行划分，得到语音训练集和语音测试集；
根据所述训练集和所述测试集对所述第二情感识别模型进行训练，使得第二情感识别模型的准确率达到预设准确率，以得到已训练的第二情感识别模型；
将所述语音信息的梅尔频率倒谱系数特征的输入已训练的第二情感识别模型，得到所述用户的第二情感状态标签和对应的第二置信度。
9.根据权利要求1-8任一项所述的基于嵌套态势识别的落地柱形氛围灯光照控制方法，其特征在于，所述根据所述视频图像，确定所述照明区域是否存在用户的步骤，包括：
对所述视频图像进行分解，得到一系列帧图像；
根据已训练的目标检测模型对所有所述帧图像进行目标检测，判断每一所述帧图像是否包括用户，其中，所述目标检测模型基于YOLO算法构建。
10.一种基于嵌套态势识别的落地柱形氛围灯光照控制系统，其特征在于，所述系统包括：摄像装置、控制器和落地柱形氛围灯，其中，所述摄像装置以及落地柱形氛围灯与所述控制器电性连接，所述摄像装置用于对落地柱形氛围灯对应的照明区域进行图像采集并识别视频图像的信息，所述控制器用于控制所述摄像装置与所述落地柱形氛围灯执行权利要求1-9任一项所述的基于嵌套态势识别的落地柱形氛围灯光照控制方法。
CN202311169934.3A 2023-09-12 2023-09-12 基于嵌套态势识别的落地柱形氛围灯光照控制方法及系统 Active CN116916497B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202311169934.3A CN116916497B (zh) 2023-09-12 2023-09-12 基于嵌套态势识别的落地柱形氛围灯光照控制方法及系统
CN202311673850.3A CN117641667B (zh) 2023-09-12 2023-09-12 氛围灯亮度智能控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311169934.3A CN116916497B (zh) 2023-09-12 2023-09-12 基于嵌套态势识别的落地柱形氛围灯光照控制方法及系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311673850.3A Division CN117641667B (zh) 2023-09-12 2023-09-12 氛围灯亮度智能控制方法及系统

Publications (2)

Publication Number Publication Date
CN116916497A true CN116916497A (zh) 2023-10-20
CN116916497B CN116916497B (zh) 2023-12-26

Family

ID=88356927

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311673850.3A Active CN117641667B (zh) 2023-09-12 2023-09-12 氛围灯亮度智能控制方法及系统
CN202311169934.3A Active CN116916497B (zh) 2023-09-12 2023-09-12 基于嵌套态势识别的落地柱形氛围灯光照控制方法及系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311673850.3A Active CN117641667B (zh) 2023-09-12 2023-09-12 氛围灯亮度智能控制方法及系统

Country Status (1)

Country Link
CN (2) CN117641667B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117336928A (zh) * 2023-10-23 2024-01-02 深圳市德尔尚科技有限公司 一种落地氛围灯及其控制方法
CN117412450A (zh) * 2023-12-13 2024-01-16 深圳市千岩科技有限公司 氛围灯设备及其灯效配色方法和相应的装置、介质
CN118042689A (zh) * 2024-04-02 2024-05-14 深圳市华电照明有限公司 光学图像识别的灯光控制方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118338510B (zh) * 2024-06-13 2024-09-13 深圳市华电照明有限公司 照明灯光亮度自适应调节方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102948256A (zh) * 2009-11-26 2013-02-27 辛智烨 具有变暗功能和情绪-照明控制功能的节能led
CN105050247A (zh) * 2015-06-24 2015-11-11 河北工业大学 基于表情模型识别的灯光智能调节系统及其方法
CN109429416A (zh) * 2017-08-29 2019-03-05 美的智慧家居科技有限公司 用于多用户场景的照明控制方法、装置及系统
CN114445888A (zh) * 2022-01-21 2022-05-06 常州大学 基于情绪感知和语音交互的车载交互系统
CN116600452A (zh) * 2023-05-24 2023-08-15 江西联创南分科技有限公司 一种基于智能氛围灯条的颜色调控方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101663911B1 (ko) * 2015-09-04 2016-10-07 송현상 스마트 감정조명장치
KR20190074730A (ko) * 2017-12-20 2019-06-28 울산대학교 산학협력단 날씨 기반 하이브리드 감성 무드등
CN109817246B (zh) * 2019-02-27 2023-04-18 平安科技（深圳）有限公司 情感识别模型的训练方法、情感识别方法、装置、设备及存储介质
CN110287766B (zh) * 2019-05-06 2024-07-05 平安科技（深圳）有限公司 一种基于人脸识别自适应调节方法、系统和可读存储介质
CN115440196A (zh) * 2022-09-23 2022-12-06 深圳通联金融网络科技服务有限公司 基于用户面部表情的语音识别方法、装置、介质及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102948256A (zh) * 2009-11-26 2013-02-27 辛智烨 具有变暗功能和情绪-照明控制功能的节能led
CN105050247A (zh) * 2015-06-24 2015-11-11 河北工业大学 基于表情模型识别的灯光智能调节系统及其方法
CN109429416A (zh) * 2017-08-29 2019-03-05 美的智慧家居科技有限公司 用于多用户场景的照明控制方法、装置及系统
CN114445888A (zh) * 2022-01-21 2022-05-06 常州大学 基于情绪感知和语音交互的车载交互系统
CN116600452A (zh) * 2023-05-24 2023-08-15 江西联创南分科技有限公司 一种基于智能氛围灯条的颜色调控方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117336928A (zh) * 2023-10-23 2024-01-02 深圳市德尔尚科技有限公司 一种落地氛围灯及其控制方法
CN117412450A (zh) * 2023-12-13 2024-01-16 深圳市千岩科技有限公司 氛围灯设备及其灯效配色方法和相应的装置、介质
CN117412450B (zh) * 2023-12-13 2024-04-02 深圳市千岩科技有限公司 氛围灯设备及其灯效配色方法和相应的装置、介质
CN118042689A (zh) * 2024-04-02 2024-05-14 深圳市华电照明有限公司 光学图像识别的灯光控制方法及系统
CN118042689B (zh) * 2024-04-02 2024-06-11 深圳市华电照明有限公司 光学图像识别的灯光控制方法及系统

Also Published As

Publication number Publication date
CN117641667A (zh) 2024-03-01
CN117641667B (zh) 2024-07-02
CN116916497B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN116916497B (zh) 基于嵌套态势识别的落地柱形氛围灯光照控制方法及系统
CN117156635A (zh) 一种智能交互的节能灯控平台
CN108898579B (zh) 一种图像清晰度识别方法、装置和存储介质
US11151383B2 (en) Generating visual event detectors
US11748980B2 (en) Makeup evaluation system and operating method thereof
CN110110653A (zh) 多特征融合的情绪识别方法、装置和存储介质
KR101872635B1 (ko) 메이크업 자동 평가 시스템 및 그의 동작 방법
KR100983346B1 (ko) Ｉｒ조명을 이용한 얼굴인식 시스템 및 방법
KR20100032699A (ko) 사용자의 제스춰 정보 인식을 기반으로 하여 디스플레이장치의 동작을 제어하는 시스템
KR20100001928A (ko) 감정인식에 기반한 서비스 장치 및 방법
WO2012137046A1 (en) Adaptive illumination
CN118338510B (zh) 照明灯光亮度自适应调节方法、装置、设备及存储介质
CN112074062A (zh) 一种基于场景的灯光调节方法及智能照明装置
JP2010224715A (ja) 画像表示システム、デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体
US10791607B1 (en) Configuring and controlling light emitters
CN117545144A (zh) 一种基于物联网的舞台灯光调控方法、系统及存储介质
CN118226967B (zh) 一种多模态交互智能控制系统
CN111428666A (zh) 基于快速人脸检测的智能家庭陪伴机器人系统及方法
CN116600452A (zh) 一种基于智能氛围灯条的颜色调控方法及系统
CN118488180A (zh) 投影仪自动调光方法、装置、设备及存储介质
KR20180082950A (ko) 디스플레이 장치 및 그의 서비스 제공 방법
KR20110002338A (ko) 하라이크 특징점을 이용한 사람 검출 장치 및 그 방법
CN109976703B (zh) 指引说明方法、计算机可读存储介质和烹饪设备
JP2005199373A (ja) コミュニケーション装置及びコミュニケーション方法
KR20210048271A (ko) 복수 객체에 대한 자동 오디오 포커싱 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant