CN117315749A - 用于台灯的灯光智能调控方法及系统 - Google Patents
用于台灯的灯光智能调控方法及系统 Download PDFInfo
- Publication number
- CN117315749A CN117315749A CN202311242299.7A CN202311242299A CN117315749A CN 117315749 A CN117315749 A CN 117315749A CN 202311242299 A CN202311242299 A CN 202311242299A CN 117315749 A CN117315749 A CN 117315749A
- Authority
- CN
- China
- Prior art keywords
- face
- feature map
- desk lamp
- local
- global context
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000008451 emotion Effects 0.000 claims abstract description 13
- 230000001105 regulatory effect Effects 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 57
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 21
- 230000001815 facial effect Effects 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 230000036961 partial effect Effects 0.000 claims description 5
- 230000001276 controlling effect Effects 0.000 claims description 2
- 230000002996 emotional effect Effects 0.000 abstract description 18
- 230000008921 facial expression Effects 0.000 abstract description 12
- 238000012545 processing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 206010063659 Aversion Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000010195 expression analysis Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241001085205 Prenanthella exigua Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003860 sleep quality Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
公开了一种用于台灯的灯光智能调控方法及系统。其首先获取部署于智能台灯的摄像头采集的用户人脸图像,接着,对所述用户人脸图像进行图像特征提取以得到全局上下文人脸特征图,然后,基于所述全局上下文人脸特征图,调整所述智能台灯的色温模式。这样,可以利用人脸表情图像作为用户情绪状态的直接反映,通过分析人脸表情的特征来判断用户是快乐、悲伤、惊讶、厌恶等,并根据用户的情绪状态特征来调节台灯的色温模式,以帮助用户放松、减轻压力或改善情绪。
Description
技术领域
本申请涉及灯光调控领域,且更为具体地,涉及一种用于台灯的灯光智能调控方法及系统。
背景技术
台灯是一种常见的照明设备,它可以为用户提供舒适的光线。对台灯的灯光进行调控的目的是为了提供更加舒适和适应用户需求的照明环境。通过调节灯光的亮度、色温和色彩等参数,可以影响人们的情绪和注意力。合适的灯光调控可以提高工作效率、改善睡眠质量、增强专注力,同时也可以为特定场景创造更好的氛围。
但是,传统的调光方式通常只提供有限的亮度和色温选项,无法满足不同用户对灯光的个性化需求。因此,期待一种优化的用于台灯的灯光调控方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种用于台灯的灯光智能调控方法及系统。其可以利用人脸表情图像作为用户情绪状态的直接反映,通过分析人脸表情的特征来判断用户是快乐、悲伤、惊讶、厌恶等,并根据用户的情绪状态特征来调节台灯的色温模式,以帮助用户放松、减轻压力或改善情绪。
根据本申请的一个方面,提供了一种用于台灯的灯光智能调控方法,其包括:
获取部署于智能台灯的摄像头采集的用户人脸图像;
对所述用户人脸图像进行图像特征提取以得到全局上下文人脸特征图;以及
基于所述全局上下文人脸特征图,调整所述智能台灯的色温模式。
根据本申请的另一个方面,提供了一种用于台灯的灯光智能调控系统,其包括:
图像采集模块,用于获取部署于智能台灯的摄像头采集的用户人脸图像;
图像特征提取模块,用于对所述用户人脸图像进行图像特征提取以得到全局上下文人脸特征图;以及
色温模式调整模块,用于基于所述全局上下文人脸特征图,调整所述智能台灯的色温模式。
与现有技术相比,本申请提供的用于台灯的灯光智能调控方法及系统,其首先获取部署于智能台灯的摄像头采集的用户人脸图像,接着,对所述用户人脸图像进行图像特征提取以得到全局上下文人脸特征图,然后,基于所述全局上下文人脸特征图,调整所述智能台灯的色温模式。这样,可以利用人脸表情图像作为用户情绪状态的直接反映,通过分析人脸表情的特征来判断用户是快乐、悲伤、惊讶、厌恶等,并根据用户的情绪状态特征来调节台灯的色温模式,以帮助用户放松、减轻压力或改善情绪。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,以下附图并未刻意按实际尺寸等比例缩放绘制,重点在于示出本申请的主旨。
图1为根据本申请实施例的用于台灯的灯光智能调控方法的流程图。
图2为根据本申请实施例的用于台灯的灯光智能调控方法的架构示意图。
图3为根据本申请实施例的用于台灯的灯光智能调控方法的子步骤S120的流程图。
图4为根据本申请实施例的用于台灯的灯光智能调控方法的子步骤S121的流程图。
图5为根据本申请实施例的用于台灯的灯光智能调控方法的子步骤S130的流程图。
图6为根据本申请实施例的用于台灯的灯光智能调控系统的框图。
图7为根据本申请实施例的用于台灯的灯光智能调控方法的应用场景图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述,显而易见地,所描述的实施例仅仅是本申请的部分实施例,而不是全部的实施例。基于本申请实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,也属于本申请保护的范围。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的,并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
针对上述技术问题,本申请的技术构思为基于用户脸部图像来识别用户情绪状态,并基于用户情绪状态来智能地调整色温模式。应可以理解,不同的用户在不同的情境下可能有不同的情绪状态,例如快乐、悲伤、紧张等,这些情绪状态会影响用户对光线的需求和偏好。例如,当用户感到快乐时,他们可能更喜欢明亮的白光,而当用户感到悲伤时,他们可能更喜欢暖色的黄光。也就是,在本申请的技术方案中,期待利用人脸表情图像作为用户情绪状态的直接反映,通过分析人脸表情的特征来判断用户是快乐、悲伤、惊讶、厌恶等,并根据用户的情绪状态特征来调节台灯的色温模式,以帮助用户放松、减轻压力或改善情绪。
基于此,图1为根据本申请实施例的用于台灯的灯光智能调控方法的流程图。图2为根据本申请实施例的用于台灯的灯光智能调控方法的架构示意图。如图1和图2所示,根据本申请实施例的用于台灯的灯光智能调控方法,包括步骤:S110,获取部署于智能台灯的摄像头采集的用户人脸图像;S120,对所述用户人脸图像进行图像特征提取以得到全局上下文人脸特征图;以及,S130,基于所述全局上下文人脸特征图,调整所述智能台灯的色温模式。应可以理解,在步骤S110中,该步骤的目的是通过智能台灯上的摄像头获取用户的人脸图像,这个步骤是整个方法的起点,它提供了后续步骤所需的输入数据。在步骤S120中,对用户人脸图像进行图像特征提取的处理,通过提取人脸图像中的特征,可以获取到全局上下文人脸特征图,这些特征可能包括人脸的轮廓、眼睛、嘴巴等信息,用于后续步骤中的分析和处理。在步骤S130中,根据全局上下文人脸特征图来调整智能台灯的色温模式,色温是指光源的颜色偏暖或偏冷的程度,通常用单位为开尔文(K)的色温值表示,根据人脸特征图中提取的信息,可以判断用户的情绪、疲劳程度等,然后根据这些信息来调整台灯的色温,以提供更适合用户需求的光照环境。该方法通过获取用户人脸图像、提取人脸特征并基于这些特征来调整智能台灯的色温模式,以提供更符合用户需求的灯光环境。
相应地,在本申请的技术方案中,首先,获取部署于智能台灯的摄像头采集的用户人脸图像。接着,提取所述用户人脸图像的局部邻域特征以得到多个人脸局部特征向量。这里,考虑到所述用户人脸图像中单独的一个像素并不能表征用户的情绪状态特征,对局部邻域区域进行特征抽取可以反映用户脸部的局部区域的特征信息,例如眼睛区域、嘴巴区域、眉毛区域等,这些区域在表达情绪时具有重要的特征信息。更具体地,眼睛的皱纹程度可以传达出人的愉悦或悲伤,嘴巴的张开程度可以反映人的表情状态,例如吃惊或愤怒。
在本申请的一个具体示例中,提取所述用户人脸图像的局部邻域特征以得到多个人脸局部特征向量的编码过程,包括:先将所述用户人脸图像通过基于卷积神经网络模型的人脸局部特征提取器以得到人脸局部特征图;随后,将所述人脸局部特征图通过通道注意力模块以得到通道显著性强化人脸局部特征图;再将所述通道显著性强化人脸局部特征图的沿通道维度的各个特征矩阵进行特征展平以得到多个人脸局部特征向量。
然后,提取所述多个人脸局部特征向量间的上下文关联特征以得到所述全局上下文人脸特征图。也就是,构建所述各个人脸局部特征向量之间的关联关系,例如眼睛与嘴巴之间的上下文关联关系,以更全面地表达用户的情绪状态特征。
在本申请的一个具体示例中,提取所述多个人脸局部特征向量间的上下文关联特征以得到所述全局上下文人脸特征图的编码过程,包括:将所述多个人脸局部特征向量通过基于转换器的上下文编码器以得到全局上下文人脸特征图。
相应地,如图3所示,对所述用户人脸图像进行图像特征提取以得到全局上下文人脸特征图,包括:S121,提取所述用户人脸图像的局部邻域特征以得到多个人脸局部特征向量;以及,S122,提取所述多个人脸局部特征向量间的上下文关联特征以得到所述全局上下文人脸特征图。应可以理解,在步骤S121中,算法会对用户人脸图像进行处理,提取出人脸图像中的局部邻域特征,这些局部特征可能包括人脸的眼睛、鼻子、嘴巴等部位的特征信息,通过提取多个人脸局部特征向量,可以捕捉到人脸图像中不同区域的特征信息,这有助于后续的上下文关联特征提取。在步骤S122中,算法会对多个人脸局部特征向量进行处理,提取它们之间的上下文关联特征,上下文关联特征可以包括人脸局部特征之间的相对位置、尺度、方向等信息,以及它们之间的语义关联。通过提取这些上下文关联特征,可以获得全局上下文人脸特征图,该图像提供了更全面、更丰富的人脸特征信息,有助于后续的人脸识别、人脸表情分析等任务。换言之,步骤S121和步骤S122分别用于提取用户人脸图像的局部特征和上下文关联特征,以获得全局上下文人脸特征图,从而提供更准确、更全面的人脸特征信息,这些特征可以用于人脸识别、人脸表情分析等领域的任务。
更具体地,在步骤S121中,如图4所示,提取所述用户人脸图像的局部邻域特征以得到多个人脸局部特征向量,包括:S1211,将所述用户人脸图像通过基于卷积神经网络模型的人脸局部特征提取器以得到人脸局部特征图;S1212,将所述人脸局部特征图通过通道注意力模块以得到通道显著性强化人脸局部特征图;以及,S1213,将所述通道显著性强化人脸局部特征图的沿通道维度的各个特征矩阵进行特征展平以得到所述多个人脸局部特征向量。
值得一提的是,在步骤S1221中,卷积神经网络(Convolutional Neural Network,CNN)是一种深度学习模型,专门用于处理具有网格结构数据的任务。卷积神经网络的主要特点是它的层级结构和权值共享机制,它由多个卷积层、池化层和全连接层组成,每个卷积层通过卷积操作提取输入数据的局部特征,池化层则对特征图进行下采样,减少参数数量并保持特征的空间不变性。全连接层用于将提取的特征映射到输出类别。卷积神经网络的优势在于它能够自动学习图像中的特征表示。通过在训练过程中通过反向传播算法优化网络权值,卷积神经网络可以从大量的图像数据中学习到具有判别性的特征。这些特征可以捕捉到图像中的局部结构、纹理、边缘等信息,从而实现对图像的语义理解和表达。卷积神经网络在图像处理任务中有许多应用。例如,对于图像分类任务,卷积神经网络可以通过学习图像中的特征表示,将输入图像分为不同的类别。对于目标检测任务,卷积神经网络可以识别图像中的目标位置并进行标记。对于人脸识别任务,卷积神经网络可以学习到人脸图像中的特征表示,实现对人脸的准确识别。总之,卷积神经网络是一种强大的深度学习模型,特别适用于处理图像和视频等视觉任务。它能够自动学习图像中的特征表示,为图像处理和分析任务提供了有效的工具。
值得一提的是,在步骤S1222中,通道注意力模块(Channel Attention Module)是一种注意力机制,用于增强深度神经网络中不同通道之间的重要性。它主要应用于图像处理任务中,通过自适应地学习通道之间的权重,提高网络对不同通道特征的关注度,从而增强特征的表达能力和判别性。通道注意力模块的作用是根据输入特征图中每个通道的重要性,自动调整不同通道的权重,以增强重要通道的特征响应。通过这种机制,网络可以自动学习到哪些通道对于任务的执行更为重要,从而提高特征的判别能力。通道注意力模块通常由两个主要组件组成:全局平均池化和全连接层。全局平均池化用于对输入特征图进行空间维度的降维,得到每个通道的全局特征表示。然后,全连接层用于学习通道之间的权重,以自适应地调整通道的重要性。最终,通过将调整后的权重应用于输入特征图的每个通道,可以得到增强后的特征图。通道注意力模块的优势在于它能够自动学习到不同通道的重要性,而无需人工设计权重。这使得网络可以根据任务的需求,自适应地调整通道的权重,从而提高特征的表达能力。通道注意力模块在图像分类、目标检测、图像分割等任务中都取得了显著的性能提升。即,通道注意力模块是一种用于增强深度神经网络中不同通道特征的注意力机制,它通过自适应地学习通道之间的权重,提高网络对重要通道特征的关注度,从而增强特征的表达能力和判别性。在图像处理任务中,通道注意力模块可以提高网络的性能和鲁棒性。
值得一提的是,在步骤S1223中,特征展平(Flattening)是指将多维的特征矩阵转换为一维向量的操作。在深度学习中,特征展平通常是在卷积神经网络的卷积层和池化层之后进行的。特征展平的目的是将高维的特征表示转换为一维向量,以便于后续的全连接层进行处理。在卷积神经网络中,卷积层和池化层提取图像的局部特征并逐渐减小特征图的尺寸,但保留了特征的通道信息。通过特征展平操作,将特征图中的每个位置的特征矩阵展开成一维向量,可以将局部特征与全局特征结合起来,提供更全面的特征表示。通过特征展平将高维特征矩阵转换为一维向量,可以减少数据的维度,降低模型的复杂度和计算开销。特征展平后的一维向量可以作为全连接层的输入,全连接层可以学习到更高层次的特征表示,并将其映射到输出类别,特征展平将卷积层提取的局部特征与全连接层的全局特征结合起来,提供更丰富的特征表示能力。换言之,特征展平是将多维特征矩阵转换为一维向量的操作,用于将局部特征与全局特征结合起来,并提供更全面的特征表示。它在卷积神经网络中起到连接卷积层和全连接层的作用,为后续的分类、回归等任务提供输入。
更具体地,在步骤S122中,提取所述多个人脸局部特征向量间的上下文关联特征以得到所述全局上下文人脸特征图,包括:将所述多个人脸局部特征向量通过基于转换器的上下文编码器以得到所述全局上下文人脸特征图。值得一提的是,在提取多个人脸局部特征向量之间的上下文关联特征以得到全局上下文人脸特征图的过程中,转换器(Transformer)被用作上下文编码器。Transformer是一种基于自注意力机制(Self-Attention)的神经网络模型,它在处理序列数据时具有优秀的建模能力,并且能够捕捉序列中不同位置之间的关联性。在人脸特征提取中,转换器被应用于上下文编码器,用于对多个人脸局部特征向量进行编码,以得到全局上下文人脸特征图。转换器通过自注意力机制,可以学习到不同人脸局部特征向量之间的关联性和重要性,从而捕捉到全局上下文信息。转换器的主要优势在于它能够在不引入循环结构的情况下,对序列数据进行全局关联性建模。它通过计算每个位置与其他位置之间的注意力权重,从而实现对全局上下文的建模。这使得转换器能够有效地捕捉到人脸局部特征之间的关联性,并生成全局上下文人脸特征图。总结而言,转换器是一种基于自注意力机制的神经网络模型,用于对多个人脸局部特征向量进行上下文编码,以得到全局上下文人脸特征图。它能够捕捉到人脸特征之间的关联性,提供更全面的特征表示,从而在人脸图像处理任务中发挥重要作用。
进一步地,将所述全局上下文人脸特征图通过分类器以得到分类结果,所述分类结果用于表示用户情绪状态标签;并基于所述分类结果,调整所述智能台灯的色温模式。
相应地,如图5所示,基于所述全局上下文人脸特征图,调整所述智能台灯的色温模式,包括:S131,对所述全局上下文人脸特征图进行特征分布优化以得到优化全局上下文人脸特征图;S132,将所述优化全局上下文人脸特征图通过分类器以得到分类结果,所述分类结果用于表示用户情绪状态标签;以及,S133,基于所述分类结果,调整所述智能台灯的色温模式。
在本申请的技术方案中,考虑到将所述人脸局部特征图通过通道注意力模块时,可以强化所述通道显著性强化人脸局部特征图的某些特征矩阵所表达的所述用户人脸图像的图像语义特征,但同时也增大了各个特征矩阵间的图像语义特征表达的显式差异,因此通过基于转换器的上下文编码器来进行上下文关联编码。而所述上下文关联编码也会改变所述多个人脸局部特征向量的向量内特征分布,从而使得所述全局上下文人脸特征图偏离所述人脸局部特征图的每个特征矩阵所表达的所述用户人脸图像的源图像空间语义特征分布,因此,需要基于所述人脸局部特征图的源图像空间语义特征分布来对所述全局上下文人脸特征图进行优化。
基于此,本申请的申请人对所述人脸局部特征图,例如记为,和所述全局上下文人脸特征图,例如记为/>进行平滑响应参数化解耦融合,来获得优化后的全局上下文人脸特征图,例如记为/>。
相应地,在一个具体示例中,对所述全局上下文人脸特征图进行特征分布优化以得到优化全局上下文人脸特征图,包括:以如下优化公式对所述全局上下文人脸特征图进行特征分布优化以得到所述优化全局上下文人脸特征图;其中,所述优化公式为:
,
其中,表示所述人脸局部特征图,/>表示所述全局上下文人脸特征图,表示所述人脸局部特征图和所述全局上下文人脸特征图之间的余弦距离,且/>为以2为底的对数函数,/>表示按位置点乘,/>表示按位置减法,/>表示所述优化全局上下文人脸特征图。
这里,所述平滑响应参数化解耦融合通过使用平滑参数化函数的解耦原则,基于所述人脸局部特征图和所述全局上下文人脸特征图/>之间的余弦距离的非负对称性来编译所述人脸局部特征图/>和所述全局上下文人脸特征图/>的特征之间的逐点嵌入,从而以特征之间的空间变换(transformation)来推断所述人脸局部特征图/>和所述全局上下文人脸特征图/>之间的信息分布转移(information distribution shift),从而表达特征之间的平滑响应在分类规则下的信息结构化融合,从而提升优化后的全局上下文人脸特征图/>对于源图像空间语义特征分布的基于分类规则的表达效果,以提升所述优化后的全局上下文人脸特征图的用于分类的源图像空间语义特征的表达效果,从而提升其通过分类器得到的分类结果的准确性。
进一步地,在步骤S132中,将所述优化全局上下文人脸特征图通过分类器以得到分类结果,所述分类结果用于表示用户情绪状态标签,包括:将所述优化全局上下文人脸特征图按照行向量或者列向量展开为优化分类特征向量;使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量;以及,将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
应可以理解,分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器,然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题,对于多分类问题(multi-class classification),同样也可以用逻辑回归或SVM,只是需要多个二分类来组成多分类,但这样容易出错且效率不高,常用的多分类方法有Softmax分类函数。
值得一提的是,在提取优化的全局上下文人脸特征图后,需要通过分类器对其进行分类,以得到表示用户情绪状态标签的分类结果。在这个过程中,全连接编码(FullyConnected Encoding)被用于对优化的分类特征向量进行编码。全连接编码是指将优化的全局上下文人脸特征图按照行向量或者列向量展开为一维向量,并通过全连接层对其进行编码。全连接层是深度神经网络中的一种常见层结构,其中每个神经元与上一层的所有神经元相连。全连接编码的目的是将高维的优化分类特征向量转换为更紧凑的表示形式,以提供给分类器进行分类。通过全连接层的编码过程,可以学习到更高层次的特征表示,将输入特征映射到分类结果所需的空间。全连接层通常包含多个神经元,每个神经元都有一组权重和偏差,用于对输入特征进行线性变换和非线性激活。全连接层的输出可以看作是对输入特征的抽象表示,其中每个神经元对应于不同的特征。在分类任务中,全连接编码后的特征向量可以被输入到分类器的Softmax分类函数中,以得到最终的分类结果。Softmax函数将特征向量映射到一个概率分布上,表示每个可能类别的概率。分类结果可以根据概率大小确定最终的情绪状态标签。换言之,全连接编码是将优化的全局上下文人脸特征图转换为紧凑表示的过程,通过全连接层对特征向量进行编码。它提供了更高层次的特征表示能力,为分类器提供输入,最终得到情绪状态标签的分类结果。
综上,基于本申请实施例的用于台灯的灯光智能调控方法被阐明,其可以利用人脸表情图像作为用户情绪状态的直接反映,通过分析人脸表情的特征来判断用户是快乐、悲伤、惊讶、厌恶等,并根据用户的情绪状态特征来调节台灯的色温模式,以帮助用户放松、减轻压力或改善情绪。
图6为根据本申请实施例的用于台灯的灯光智能调控系统100的框图。如图6所示,根据本申请实施例的用于台灯的灯光智能调控系统100,包括:图像采集模块110,用于获取部署于智能台灯的摄像头采集的用户人脸图像;图像特征提取模块120,用于对所述用户人脸图像进行图像特征提取以得到全局上下文人脸特征图;以及,色温模式调整模块130,用于基于所述全局上下文人脸特征图,调整所述智能台灯的色温模式。
在一个示例中,在上述用于台灯的灯光智能调控系统100中,所述图像特征提取模块120,包括:局部邻域特征提取单元,用于提取所述用户人脸图像的局部邻域特征以得到多个人脸局部特征向量;以及,上下文关联特征提取单元,用于提取所述多个人脸局部特征向量间的上下文关联特征以得到所述全局上下文人脸特征图。
在一个示例中,在上述用于台灯的灯光智能调控系统100中,所述局部邻域特征提取单元,包括:卷积神经网络编码子单元,用于将所述用户人脸图像通过基于卷积神经网络模型的人脸局部特征提取器以得到人脸局部特征图;通道注意力编码子单元,用于将所述人脸局部特征图通过通道注意力模块以得到通道显著性强化人脸局部特征图;以及,特征展平子单元,用于将所述通道显著性强化人脸局部特征图的沿通道维度的各个特征矩阵进行特征展平以得到所述多个人脸局部特征向量。
在一个示例中,在上述用于台灯的灯光智能调控系统100中,所述上下文关联特征提取单元,进一步用于:将所述多个人脸局部特征向量通过基于转换器的上下文编码器以得到所述全局上下文人脸特征图。
这里,本领域技术人员可以理解,上述用于台灯的灯光智能调控系统100中的各个模块的具体功能和操作已经在上面参考图1到图5的用于台灯的灯光智能调控方法的描述中得到了详细介绍,并因此,将省略其重复描述。
如上所述,根据本申请实施例的用于台灯的灯光智能调控系统100可以实现在各种无线终端中,例如具有用于台灯的灯光智能调控算法的服务器等。在一个示例中,根据本申请实施例的用于台灯的灯光智能调控系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如,该用于台灯的灯光智能调控系统100可以是该无线终端的操作系统中的一个软件模块,或者可以是针对于该无线终端所开发的一个应用程序;当然,该用于台灯的灯光智能调控系统100同样可以是该无线终端的众多硬件模块之一。
替换地,在另一示例中,该用于台灯的灯光智能调控系统100与该无线终端也可以是分立的设备,并且该用于台灯的灯光智能调控系统100可以通过有线和/或无线网络连接到该无线终端,并且按照约定的数据格式来传输交互信息。
图7为根据本申请实施例的用于台灯的灯光智能调控方法的应用场景图。如图7所示,在该应用场景中,首先,获取部署于智能台灯(例如,图7中所示意的N)的摄像头(例如,图7中所示意的C)采集的用户人脸图像(例如,图7中所示意的D),然后,将所述用户人脸图像输入至部署有用于台灯的灯光智能调控算法的服务器中(例如,图7中所示意的S),其中,所述服务器能够使用所述用于台灯的灯光智能调控算法对所述用户人脸图像进行处理以得到用于表示用户情绪状态标签的分类结果。
此外,本领域技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
除非另有定义,这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解,诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。
上面是对本发明的说明,而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例,但本领域技术人员将容易地理解,在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此,所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解,上面是对本发明的说明,而不应被认为是限于所公开的特定实施例,并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。
Claims (10)
1.一种用于台灯的灯光智能调控方法,其特征在于,包括:
获取部署于智能台灯的摄像头采集的用户人脸图像;
对所述用户人脸图像进行图像特征提取以得到全局上下文人脸特征图;以及
基于所述全局上下文人脸特征图,调整所述智能台灯的色温模式。
2.根据权利要求1所述的用于台灯的灯光智能调控方法,其特征在于,对所述用户人脸图像进行图像特征提取以得到全局上下文人脸特征图,包括:
提取所述用户人脸图像的局部邻域特征以得到多个人脸局部特征向量;以及
提取所述多个人脸局部特征向量间的上下文关联特征以得到所述全局上下文人脸特征图。
3.根据权利要求2所述的用于台灯的灯光智能调控方法,其特征在于,提取所述用户人脸图像的局部邻域特征以得到多个人脸局部特征向量,包括:
将所述用户人脸图像通过基于卷积神经网络模型的人脸局部特征提取器以得到人脸局部特征图;
将所述人脸局部特征图通过通道注意力模块以得到通道显著性强化人脸局部特征图;以及
将所述通道显著性强化人脸局部特征图的沿通道维度的各个特征矩阵进行特征展平以得到所述多个人脸局部特征向量。
4.根据权利要求3所述的用于台灯的灯光智能调控方法,其特征在于,提取所述多个人脸局部特征向量间的上下文关联特征以得到所述全局上下文人脸特征图,包括:
将所述多个人脸局部特征向量通过基于转换器的上下文编码器以得到所述全局上下文人脸特征图。
5.根据权利要求4所述的用于台灯的灯光智能调控方法,其特征在于,基于所述全局上下文人脸特征图,调整所述智能台灯的色温模式,包括:
对所述全局上下文人脸特征图进行特征分布优化以得到优化全局上下文人脸特征图;
将所述优化全局上下文人脸特征图通过分类器以得到分类结果,所述分类结果用于表示用户情绪状态标签;以及
基于所述分类结果,调整所述智能台灯的色温模式。
6.根据权利要求5所述的用于台灯的灯光智能调控方法,其特征在于,对所述全局上下文人脸特征图进行特征分布优化以得到优化全局上下文人脸特征图,包括:
以如下优化公式对所述全局上下文人脸特征图进行特征分布优化以得到所述优化全局上下文人脸特征图;
其中,所述优化公式为:
,
其中,表示所述人脸局部特征图,/>表示所述全局上下文人脸特征图,/>表示所述人脸局部特征图和所述全局上下文人脸特征图之间的余弦距离,且/>为以2为底的对数函数,/>表示按位置点乘,/>表示按位置减法,/>表示所述优化全局上下文人脸特征图。
7.一种用于台灯的灯光智能调控系统,其特征在于,包括:
图像采集模块,用于获取部署于智能台灯的摄像头采集的用户人脸图像;
图像特征提取模块,用于对所述用户人脸图像进行图像特征提取以得到全局上下文人脸特征图;以及
色温模式调整模块,用于基于所述全局上下文人脸特征图,调整所述智能台灯的色温模式。
8.根据权利要求7所述的用于台灯的灯光智能调控系统,其特征在于,所述图像特征提取模块,包括:
局部邻域特征提取单元,用于提取所述用户人脸图像的局部邻域特征以得到多个人脸局部特征向量;以及
上下文关联特征提取单元,用于提取所述多个人脸局部特征向量间的上下文关联特征以得到所述全局上下文人脸特征图。
9.根据权利要求8所述的用于台灯的灯光智能调控系统,其特征在于,所述局部邻域特征提取单元,包括:
卷积神经网络编码子单元,用于将所述用户人脸图像通过基于卷积神经网络模型的人脸局部特征提取器以得到人脸局部特征图;
通道注意力编码子单元,用于将所述人脸局部特征图通过通道注意力模块以得到通道显著性强化人脸局部特征图;以及
特征展平子单元,用于将所述通道显著性强化人脸局部特征图的沿通道维度的各个特征矩阵进行特征展平以得到所述多个人脸局部特征向量。
10.根据权利要求9所述的用于台灯的灯光智能调控系统,其特征在于,所述上下文关联特征提取单元,进一步用于:
将所述多个人脸局部特征向量通过基于转换器的上下文编码器以得到所述全局上下文人脸特征图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311242299.7A CN117315749A (zh) | 2023-09-25 | 2023-09-25 | 用于台灯的灯光智能调控方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311242299.7A CN117315749A (zh) | 2023-09-25 | 2023-09-25 | 用于台灯的灯光智能调控方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117315749A true CN117315749A (zh) | 2023-12-29 |
Family
ID=89259665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311242299.7A Withdrawn CN117315749A (zh) | 2023-09-25 | 2023-09-25 | 用于台灯的灯光智能调控方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117315749A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118334724A (zh) * | 2024-04-16 | 2024-07-12 | 北京热芒科技有限公司 | 基于图像数据处理的智能台灯 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107423707A (zh) * | 2017-07-25 | 2017-12-01 | 深圳帕罗人工智能科技有限公司 | 一种基于复杂环境下的人脸情绪识别方法 |
CN108875464A (zh) * | 2017-05-16 | 2018-11-23 | 南京农业大学 | 一种基于三维人脸情绪识别的灯光音乐控制系统及控制方法 |
CN112254098A (zh) * | 2020-11-02 | 2021-01-22 | 广东技术师范大学 | 一种具有情绪识别功能照明系统及方法 |
CN112533328A (zh) * | 2020-12-25 | 2021-03-19 | 广东技术师范大学 | 一种具有人工智能的家居照明装置及其实现方法 |
CN115035581A (zh) * | 2022-06-27 | 2022-09-09 | 闻泰通讯股份有限公司 | 面部表情识别方法、终端设备及存储介质 |
CN115346259A (zh) * | 2022-08-17 | 2022-11-15 | 浙江工商大学 | 一种结合上下文信息的多粒度学业情绪识别方法 |
CN115512420A (zh) * | 2022-10-08 | 2022-12-23 | 杭州韵度信息科技有限公司 | 访客管理系统及其方法 |
CN116758360A (zh) * | 2023-08-21 | 2023-09-15 | 江西省国土空间调查规划研究院 | 土地空间用途管理方法及其系统 |
CN116765925A (zh) * | 2023-06-12 | 2023-09-19 | 深圳市捷辉创科技有限公司 | 基于cnc的模具切割加工控制系统及其方法 |
-
2023
- 2023-09-25 CN CN202311242299.7A patent/CN117315749A/zh not_active Withdrawn
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875464A (zh) * | 2017-05-16 | 2018-11-23 | 南京农业大学 | 一种基于三维人脸情绪识别的灯光音乐控制系统及控制方法 |
CN107423707A (zh) * | 2017-07-25 | 2017-12-01 | 深圳帕罗人工智能科技有限公司 | 一种基于复杂环境下的人脸情绪识别方法 |
CN112254098A (zh) * | 2020-11-02 | 2021-01-22 | 广东技术师范大学 | 一种具有情绪识别功能照明系统及方法 |
CN112533328A (zh) * | 2020-12-25 | 2021-03-19 | 广东技术师范大学 | 一种具有人工智能的家居照明装置及其实现方法 |
CN115035581A (zh) * | 2022-06-27 | 2022-09-09 | 闻泰通讯股份有限公司 | 面部表情识别方法、终端设备及存储介质 |
CN115346259A (zh) * | 2022-08-17 | 2022-11-15 | 浙江工商大学 | 一种结合上下文信息的多粒度学业情绪识别方法 |
CN115512420A (zh) * | 2022-10-08 | 2022-12-23 | 杭州韵度信息科技有限公司 | 访客管理系统及其方法 |
CN116765925A (zh) * | 2023-06-12 | 2023-09-19 | 深圳市捷辉创科技有限公司 | 基于cnc的模具切割加工控制系统及其方法 |
CN116758360A (zh) * | 2023-08-21 | 2023-09-15 | 江西省国土空间调查规划研究院 | 土地空间用途管理方法及其系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118334724A (zh) * | 2024-04-16 | 2024-07-12 | 北京热芒科技有限公司 | 基于图像数据处理的智能台灯 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108376267B (zh) | 一种基于类别转移的零样本分类方法 | |
CN111582044B (zh) | 基于卷积神经网络和注意力模型的人脸识别方法 | |
Chai et al. | Boosting palmprint identification with gender information using DeepNet | |
CN117315749A (zh) | 用于台灯的灯光智能调控方法及系统 | |
CN117202430B (zh) | 用于智慧灯杆的节能控制方法及系统 | |
Moallem et al. | Fuzzy inference system optimized by genetic algorithm for robust face and pose detection | |
CN116110089A (zh) | 一种基于深度自适应度量学习的面部表情识别方法 | |
Bari et al. | AestheticNet: deep convolutional neural network for person identification from visual aesthetic | |
Dagher et al. | Improving the SVM gender classification accuracy using clustering and incremental learning | |
Yang et al. | Multiple features fusion for facial expression recognition based on ELM | |
Zia et al. | An adaptive training based on classification system for patterns in facial expressions using SURF descriptor templates | |
Wani et al. | Supervised deep learning in face recognition | |
CN109508640A (zh) | 一种人群情感分析方法、装置和存储介质 | |
Okokpujie et al. | Predictive modeling of trait-aging invariant face recognition system using machine learning | |
Bhattacharyya et al. | Recognizing gender from human facial regions using genetic algorithm | |
CN112016592B (zh) | 基于交叉领域类别感知的领域适应语义分割方法及装置 | |
CN117998712B (zh) | 台灯灯光的节能控制方法及系统 | |
Sharma et al. | Machine learning techniques for real-time emotion detection from facial expressions | |
Lu et al. | Cost-effective real-time recognition for human emotion-age-gender using deep learning with normalized facial cropping preprocess | |
Upadhyay et al. | Face Recognition Using EfficientNet | |
Tang et al. | Eigen-aging reference coding for cross-age face verification and retrieval | |
KR101913140B1 (ko) | 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 장치 및 방법 | |
Chen et al. | Comparison and fusion of multiple types of features for image-based facial beauty prediction | |
Srinivas et al. | E-CNN-FFE: An Enhanced Convolutional Neural Network for Facial Feature Extraction and Its Comparative Analysis with FaceNet, DeepID, and LBPH Methods | |
Pandey et al. | Face Detection Using Convolutional Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20231229 |
|
WW01 | Invention patent application withdrawn after publication |