CN115294639B - 色温可调灯带及其控制方法 - Google Patents

色温可调灯带及其控制方法 Download PDF

Info

Publication number
CN115294639B
CN115294639B CN202210809347.5A CN202210809347A CN115294639B CN 115294639 B CN115294639 B CN 115294639B CN 202210809347 A CN202210809347 A CN 202210809347A CN 115294639 B CN115294639 B CN 115294639B
Authority
CN
China
Prior art keywords
feature
eye
matrix
eye state
color temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210809347.5A
Other languages
English (en)
Other versions
CN115294639A (zh
Inventor
黄欣贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou Wisva Optoelectronics Co ltd
Original Assignee
Huizhou Wisva Optoelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou Wisva Optoelectronics Co ltd filed Critical Huizhou Wisva Optoelectronics Co ltd
Priority to CN202210809347.5A priority Critical patent/CN115294639B/zh
Publication of CN115294639A publication Critical patent/CN115294639A/zh
Application granted granted Critical
Publication of CN115294639B publication Critical patent/CN115294639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/20—Controlling the colour of the light
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及色温智能控制的领域，其具体地公开了一种色温可调灯带及其控制方法，其基于人工智能控制技术，通过深度神经网络模型来提取出室内环境光照强度的动态隐含变化特征以及多个人员监控图像中的聚焦于人员眼部状态的变化特征，并基于这两者的融合特征信息来对于色温可调灯带的当前时间点的色温值进行智能控制，这样就能够使得人眼舒适感较好，提升人们的体验感。

Description

色温可调灯带及其控制方法
技术领域
本发明涉及色温智能控制的领域，且更为具体地，涉及一种色温可调灯带及其控制方法。
背景技术
LED照明具有发光效率高、方向性好、能效小、寿命长、可靠性好、安全环保等优点，成为照明的第三代革命。充分利用LED的照明能力及集成控制能力的优势，能够最大程度满足人体舒适度要求，为人们所求。
但是，现有的LED照明灯无法智能地调节色温，从而导致人眼舒适度差，导致照明体验的下降。
因此，期待一种具有色温智能调控功能的色温可调灯带及其控制方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种色温可调灯带及其控制方法，其基于人工智能控制技术，通过深度神经网络模型来提取出室内环境光照强度的动态隐含变化特征以及多个人员监控图像中的聚焦于人员眼部状态的变化特征，并基于这两者的融合特征信息来对于色温可调灯带的当前时间点的色温值进行智能控制，这样就能够使得人眼舒适感较好，提升人们的体验感。
根据本申请的一个方面，提供了一种色温可调灯带，其包括：
环境数据和人员监控数据采集模块，用于获取包含当前时间点在内的多个预定时间点的室内环境光照强度值和由部署于室内的相机采集的所述包含当前时间点在内的多个预定时间点的多个人员监控图像；
眼部感兴趣区域提取模块，用于将所述多个人员监控图像分别通过目标检测网络以得到多个眼部感兴趣区域特征图；
眼部状态编码模块，用于将所述多个眼部感兴趣区域特征图排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络以得到眼部状态特征图；
特征分布降维模块，用于对所述眼部状态特征图进行基于特征矩阵的全局均值池化以得到眼部状态特征向量；
环境数据时序编码模块，用于将所述包含当前时间点在内的多个预定时间点的室内环境光照强度值通过包含一维卷积层的序列编码器以得到环境光强特征向量；
特征融合模块，用于融合所述环境光强特征向量和所述眼部状态特征向量以得到分类特征矩阵；以及
色温控制结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的色温值应增大或应减小。
在上述色温可调灯带中，所述眼部感兴趣区域提取模块，进一步用于使用所述目标检测网络以如下公式分别对所述多个人员监控图像进行处理以得到所述多个眼部感兴趣区域特征图；
其中，所述公式为：
Dets＝H(ψdet，B)＝(cls(ψdet，B)，Regr(ψdet，B))
其中ψdet表示给定特征图，B表示锚框，Dets表示所述多个眼部感兴趣区域特征图。
在上述色温可调灯带中，所述眼部状态编码模块，进一步用于：所述使用三维卷积核的第一卷积神经网络在层的正向传递中对输入数据分别进行：基于所述三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络的最后一层的输出为所述眼部状态特征图，所述第一卷积神经网络的第一层的输入为所述三维输入张量。
在上述色温可调灯带中，所述特征分布降维模块，进一步用于对所述眼部动态特征图进行基于语义推理信息显式泛化的全局均值池化以得到所述眼部动态特征向量，其中，所述基于语义推理信息显式泛化的全局均值池化基于以所述眼部动态特征图中各个通道维度的各个特征矩阵中各个位置的特征值为幂的自然指数函数值以特征矩阵为单独的加和值与所述眼部动态特征图中各个通道维度的各个特征矩阵中各个位置的特征值的加和值之间的差值来进行。
在上述色温可调灯带中，所述特征分布降维模块，进一步用于：以如下公式对所述眼部动态特征图进行基于语义推理信息显式泛化的全局均值池化以得到所述眼部动态特征向量；
其中，所述公式为：
Figure GDA0003868045360000031
其中fi，j，k表示所述眼部动态特征图的映射到概率空间的各个位置的特征值，且∑i，jfi，j，k表示对沿通道的每个特征矩阵的各个位置的特征值求和。
在上述色温可调灯带中，所述特征融合模块，进一步用于：以如下公式融合所述环境光强特征向量和所述眼部状态特征向量以得到所述分类特征矩阵；
其中，所述公式为：
Figure GDA0003868045360000032
其中M表示所述分类特征矩阵，V1表示所述环境光强特征向量，V2表示所述眼部状态特征向量，V1和V2均为列向量，||·||F表示矩阵的Frobenius范数，exp(·)表示矩阵的指数运算，对矩阵进行指数运算表示以矩阵中各个位置的特征值为幂的自然指数函数值，矩阵除法表示以分子矩阵中各个位置的特征值分别除以分母。
在上述色温可调灯带中，所述色温控制结果生成模块，进一步用于：使用所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：softmax{(Wn，Bn)：...：(W1，B1)|Project(F)}，其中Project(F)表示将所述分类特征矩阵投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵。
根据本申请的另一方面，一种色温可调灯带的控制方法，其包括：
获取包含当前时间点在内的多个预定时间点的室内环境光照强度值和由部署于室内的相机采集的所述包含当前时间点在内的多个预定时间点的多个人员监控图像；
将所述多个人员监控图像分别通过目标检测网络以得到多个眼部感兴趣区域特征图；
将所述多个眼部感兴趣区域特征图排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络以得到眼部状态特征图；
对所述眼部状态特征图进行基于特征矩阵的全局均值池化以得到眼部状态特征向量；
将所述包含当前时间点在内的多个预定时间点的室内环境光照强度值通过包含一维卷积层的序列编码器以得到环境光强特征向量；
融合所述环境光强特征向量和所述眼部状态特征向量以得到分类特征矩阵；以及
将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的色温值应增大或应减小。
在上述色温可调灯带的控制方法中，将所述多个人员监控图像分别通过目标检测网络以得到多个眼部感兴趣区域特征图，包括：使用所述目标检测网络以如下公式分别对所述多个人员监控图像进行处理以得到所述多个眼部感兴趣区域特征图；
其中，所述公式为：
Dets＝H(ψdet，B)＝(cls(ψdet，B)，Regr(ψdet，B))
其中ψdet表示给定特征图，B表示锚框，Dets表示所述多个眼部感兴趣区域特征图。
在上述色温可调灯带的控制方法中，将所述多个眼部感兴趣区域特征图排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络以得到眼部状态特征图，包括：所述使用三维卷积核的第一卷积神经网络在层的正向传递中对输入数据分别进行：基于所述三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络的最后一层的输出为所述眼部状态特征图，所述第一卷积神经网络的第一层的输入为所述三维输入张量。
在上述色温可调灯带的控制方法中，对所述眼部状态特征图进行基于特征矩阵的全局均值池化以得到眼部状态特征向量，包括：对所述眼部动态特征图进行基于语义推理信息显式泛化的全局均值池化以得到所述眼部动态特征向量，其中，所述基于语义推理信息显式泛化的全局均值池化基于以所述眼部动态特征图中各个通道维度的各个特征矩阵中各个位置的特征值为幂的自然指数函数值以特征矩阵为单独的加和值与所述眼部动态特征图中各个通道维度的各个特征矩阵中各个位置的特征值的加和值之间的差值来进行。
在上述色温可调灯带的控制方法中，对所述眼部状态特征图进行基于特征矩阵的全局均值池化以得到眼部状态特征向量，包括：以如下公式对所述眼部动态特征图进行基于语义推理信息显式泛化的全局均值池化以得到所述眼部动态特征向量；
其中，所述公式为：
Figure GDA0003868045360000051
其中fi，j，k表示所述眼部动态特征图的映射到概率空间的各个位置的特征值，且∑i，jfi，j，k表示对沿通道的每个特征矩阵的各个位置的特征值求和。
在上述色温可调灯带的控制方法中，融合所述环境光强特征向量和所述眼部状态特征向量以得到分类特征矩阵，包括：以如下公式融合所述环境光强特征向量和所述眼部状态特征向量以得到所述分类特征矩阵；
其中，所述公式为：
Figure GDA0003868045360000052
其中M表示所述分类特征矩阵，V1表示所述环境光强特征向量，V2表示所述眼部状态特征向量，V1和V2均为列向量，||·||F表示矩阵的Frobenius范数，exp(·)表示矩阵的指数运算，对矩阵进行指数运算表示以矩阵中各个位置的特征值为幂的自然指数函数值，矩阵除法表示以分子矩阵中各个位置的特征值分别除以分母。
在上述色温可调灯带的控制方法中，将所述分类特征矩阵通过分类器以得到分类结果，包括：使用所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：softmax{(Wn，Bn)：...：(W1，B1)|Project(F)}，其中Project(F)表示将所述分类特征矩阵投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵。
与现有技术相比，本申请提供的色温可调灯带及其控制方法，其基于人工智能控制技术，通过深度神经网络模型来提取出室内环境光照强度的动态隐含变化特征以及多个人员监控图像中的聚焦于人员眼部状态的变化特征，并基于这两者的融合特征信息来对于色温可调灯带的当前时间点的色温值进行智能控制，这样就能够使得人眼舒适感较好，提升人们的体验感。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的色温可调灯带的应用场景图。
图2为根据本申请实施例的色温可调灯带的框图。
图3为根据本申请实施例的色温可调灯带的控制方法的流程图。
图4为根据本申请实施例的色温可调灯带的控制方法的架构示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如前所述，LED照明具有发光效率高、方向性好、能效小、寿命长、可靠性好、安全环保等优点，成为照明的第三代革命。充分利用LED的照明能力及集成控制能力的优势，能够最大程度满足人体舒适度要求，为人们所求。
但是，现有的LED照明灯无法智能地调节色温，从而导致人眼舒适度差，导致照明体验的下降。
因此，期待一种具有色温智能调控功能的色温可调灯带及其控制方案。
目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展为色温可调灯带的色温智能调控提供了新的解决思路和方案。
相应地，本申请发明人考虑到对于色温可调灯带来说，色温的调控与环境的光照强度有关，并且还与照明场所内人的眼部状况有关，因此，在本申请的技术方案中，期望通过环境的光照改变特征信息以及人体的眼部情况变化特征信息来综合进行色温可调灯带的自适应色温调节。
具体地，在本申请的技术方案中，首先，获取包含当前时间点在内的多个预定时间点的室内环境光照强度值和由部署于室内的相机采集的所述包含当前时间点在内的多个预定时间点的多个人员监控图像。应可以理解，由于对于色温可调灯带的调节来说，其关于人体的舒适感与照明场所内人的眼部状况有关，因此在对于所述多个人员监控图像来说，需要更加聚焦于人员的眼部特征，因此，在本申请的技术方案中，进一步使用目标检测网络分别对所述多个人员监控图像进行处理以得到所述多个眼部感兴趣区域特征图。
这里，由于基于深度学习的目标检测方法依据网络中是否使用锚窗将网络分为基于锚窗(Anchor-based)与无锚窗(Anchor-free)两大类，基于锚窗的方法如Fast R-CNN、Faster R-CNN、RetinaNet等。而Anchor-base的模型在进行预测之前会设定好一组anchor，然后在推理过程中会在特征图上使这些anchor进行滑动来提取n个候选框，最后再做进一步的分类和回归。也就是，具体地，在本申请的技术方案中，首先对所述多个人员监控图像进行编码处理以生成给定特征图ψdet，然后，基于所述给定特征图以锚框B来进行滑动提取所述多个眼部感兴趣区域特征图，表示为：
Dets＝H(ψdet，B)＝(cls(ψdet，B)，Regr(ψdet，B))
其中ψdet表示给定特征图，B表示锚框，Dets表示所述多个眼部感兴趣区域特征图。
然后，考虑到在所述包含当前时间点在内的多个预定时间点的多个人员监控图像中，存在着多个人员的眼部动态特征，因此，为了提取出在时序维度上的所述多个人员的眼部动态特征信息，进一步将所述多个眼部感兴趣区域特征图排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络中进行处理以得到眼部状态特征图。
进一步地，考虑到所述眼部状态特征图在后续特征融合时特征尺度较大的问题，因此，将所述眼部状态特征图进行全局均值池化处理，以将特征图进行降维，从而获得眼部状态特征向量。但是，在对所述眼部动态特征图进行基于特征矩阵的全局均值池化以得到眼部状态特征向量时，由于全局均值池化的特征语义信息表达的局限性，使得所述眼部状态特征向量相对于所述眼部动态特征图的特征表达能力降低。因此，在一个优选的实施例中，对所述眼部动态特征图进行基于语义推理信息显式泛化的全局均值池化，表示为：
Figure GDA0003868045360000071
其中fi，j，k表示所述眼部动态特征图的映射到概率空间的各个位置的特征值，且∑i，jfi，j，k表示对沿通道的每个特征矩阵的各个位置的特征值求和。
该基于语义推理信息显式泛化的全局均值池化可以通过将特征值所对应的语义概念自下而上地显式泛化为通道方向上的组，并进行基于通道分组实例(channel groupedinstance)的信息解耦，来基于对特征语义的信息化推理获得特征沿通道维度的信息表达在特征图所对应的高维流形的高维语义空间内的空间复杂度下的可塑性，从而提升所述眼部状态特征向量相对于所述眼部动态特征图的特征表达能力。
对于所述包含当前时间点在内的多个预定时间点的室内环境光照强度值，考虑到其在时间维度上具有着关联的特征，因此，在本申请的技术方案中，使用包含一维卷积层的序列编码器对所述多个预定时间点的室内环境光照强度值进行处理，以提取出所述多个预定时间点的室内环境光照强度值的高维隐含特征以及所述多个预定时间点的室内环境光照强度值间的隐含关联特征信息，从而得到环境光强特征向量。
这样，就可以将所述环境光强特征向量和所述眼部状态特征向量进行融合来生成分类特征矩阵，考虑到针对作为所述室内环境光照强度实时变化的所述环境光强特征向量V1，和作为所述多个人员监控图像中人员的眼部动态变化的所述眼部状态特征向量V2，由于其具有关联属性，因此计算两者的关联矩阵来融合两者的特征信息以获得分类特征矩阵M，表示为：
Figure GDA0003868045360000081
其中M表示所述分类特征矩阵，V1表示所述环境光强特征向量，V2表示所述眼部状态特征向量，V1和V2均为列向量，||·||F表示矩阵的Frobenius范数，exp(·)表示矩阵的指数运算，对矩阵进行指数运算表示以矩阵中各个位置的特征值为幂的自然指数函数值，矩阵除法表示以分子矩阵中各个位置的特征值分别除以分母。
进而，就可以将所述分类特征矩阵通过分类器中进行分类处理，以获得用于表示当前时间点的色温值应增大或应减小的分类结果。
基于此，本申请提出了一种色温可调灯带，其包括：环境数据和人员监控数据采集模块，用于获取包含当前时间点在内的多个预定时间点的室内环境光照强度值和由部署于室内的相机采集的所述包含当前时间点在内的多个预定时间点的多个人员监控图像；眼部感兴趣区域提取模块，用于将所述多个人员监控图像分别通过目标检测网络以得到多个眼部感兴趣区域特征图；眼部状态编码模块，用于将所述多个眼部感兴趣区域特征图排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络以得到眼部状态特征图；特征分布降维模块，用于对所述眼部状态特征图进行基于特征矩阵的全局均值池化以得到眼部状态特征向量；环境数据时序编码模块，用于将所述包含当前时间点在内的多个预定时间点的室内环境光照强度值通过包含一维卷积层的序列编码器以得到环境光强特征向量；特征融合模块，用于融合所述环境光强特征向量和所述眼部状态特征向量以得到分类特征矩阵；以及，色温控制结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的色温值应增大或应减小。
图1图示了根据本申请实施例的色温可调灯带的应用场景图。如图1所示，在该应用场景中，首先，通过部署于室内(例如，如图1中所示意的H)的光照度传感器(例如，如图1中所示意的T)获取包含当前时间点在内的多个预定时间点的室内环境光照强度值，并且通过部署于室内的相机(例如，如图1中所示意的C)采集的所述包含当前时间点在内的多个预定时间点的多个人员监控图像。然后，将获得的所述多个预定时间点的室内环境光照强度值以及所述多个预定时间点的多个人员监控图像输入至部署有色温可调灯带算法的服务器中(例如，如图1中所示意的云服务器S)，其中，所述服务器能够以色温可调灯带算法对所述多个预定时间点的室内环境光照强度值以及所述多个预定时间点的多个人员监控图像进行处理，以生成用于表示当前时间点的色温值应增大或应减小的分类结果。进而，基于所述分类结果对于色温可调灯带(例如，如图1中所示意的L)的色温值进行智能控制。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2图示了根据本申请实施例的色温可调灯带的框图。如图2所示，根据本申请实施例的色温可调灯带200，包括：环境数据和人员监控数据采集模块210，用于获取包含当前时间点在内的多个预定时间点的室内环境光照强度值和由部署于室内的相机采集的所述包含当前时间点在内的多个预定时间点的多个人员监控图像；眼部感兴趣区域提取模块220，用于将所述多个人员监控图像分别通过目标检测网络以得到多个眼部感兴趣区域特征图；眼部状态编码模块230，用于将所述多个眼部感兴趣区域特征图排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络以得到眼部状态特征图；特征分布降维模块240，用于对所述眼部状态特征图进行基于特征矩阵的全局均值池化以得到眼部状态特征向量；环境数据时序编码模块250，用于将所述包含当前时间点在内的多个预定时间点的室内环境光照强度值通过包含一维卷积层的序列编码器以得到环境光强特征向量；特征融合模块260，用于融合所述环境光强特征向量和所述眼部状态特征向量以得到分类特征矩阵；以及，色温控制结果生成模块270，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的色温值应增大或应减小。
具体地，在本申请实施例中，所述环境数据和人员监控数据采集模块210和所述眼部感兴趣区域提取模块220，用于获取包含当前时间点在内的多个预定时间点的室内环境光照强度值和由部署于室内的相机采集的所述包含当前时间点在内的多个预定时间点的多个人员监控图像，并将所述多个人员监控图像分别通过目标检测网络以得到多个眼部感兴趣区域特征图。如前所述，考虑到对于色温可调灯带来说，色温的调控与环境的光照强度有关，并且还与照明场所内人的眼部状况有关，因此，在本申请的技术方案中，期望通过环境的光照改变特征信息以及人体的眼部情况变化特征信息来综合进行色温可调灯带的自适应色温调节。
也就是，具体地，在本申请的技术方案中，首先，获取包含当前时间点在内的多个预定时间点的室内环境光照强度值和由部署于室内的相机采集的所述包含当前时间点在内的多个预定时间点的多个人员监控图像。应可以理解，由于对于色温可调灯带的调节来说，其关于人体的舒适感与照明场所内人的眼部状况有关，因此在对于所述多个人员监控图像来说，需要更加聚焦于人员的眼部特征。因此，在本申请的技术方案中，进一步使用目标检测网络分别对所述多个人员监控图像进行处理以得到所述多个眼部感兴趣区域特征图。
这里，由于基于深度学习的目标检测方法依据网络中是否使用锚窗将网络分为基于锚窗(Anchor-based)与无锚窗(Anchor-free)两大类，基于锚窗的方法如Fast R-CNN、Faster R-CNN、RetinaNet等。而Anchor-base的模型在进行预测之前会设定好一组anchor，然后在推理过程中会在特征图上使这些anchor进行滑动来提取n个候选框，最后再做进一步的分类和回归。也就是，具体地，在本申请的技术方案中，首先对所述多个人员监控图像进行编码处理以生成给定特征图ψdet，然后，基于所述给定特征图以锚框B来进行滑动提取所述多个眼部感兴趣区域特征图。
更具体地，在本申请实施例中，所述眼部感兴趣区域提取模块，进一步用于：使用所述目标检测网络以如下公式分别对所述多个人员监控图像进行处理以得到所述多个眼部感兴趣区域特征图；
其中，所述公式为：
Dets＝H(ψdet，B)＝(cls(ψdet，B)，Regr(ψdet，B))
其中ψdet表示给定特征图，B表示锚框，Dets表示所述多个眼部感兴趣区域特征图。
具体地，在本申请实施例中，所述眼部状态编码模块230，用于将所述多个眼部感兴趣区域特征图排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络以得到眼部状态特征图。应可以理解，考虑到在所述包含当前时间点在内的多个预定时间点的多个人员监控图像中，存在着多个人员的眼部动态特征，因此，在本申请的技术方案中，为了提取出在时序维度上的所述多个人员的眼部动态特征信息，进一步将所述多个眼部感兴趣区域特征图排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络中进行处理以得到眼部状态特征图。
更具体地，在本申请实施例中，所述眼部状态编码模块，进一步用于：所述使用三维卷积核的第一卷积神经网络在层的正向传递中对输入数据分别进行：基于所述三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络的最后一层的输出为所述眼部状态特征图，所述第一卷积神经网络的第一层的输入为所述三维输入张量。
具体地，在本申请实施例中，所述特征分布降维模块240，用于对所述眼部状态特征图进行基于特征矩阵的全局均值池化以得到眼部状态特征向量。应可以理解，考虑到所述眼部状态特征图在后续特征融合时特征尺度较大的问题，因此，在本申请的技术方案中，将所述眼部状态特征图进行全局均值池化处理以将特征图进行降维，从而获得眼部状态特征向量。但是，由于在对所述眼部动态特征图进行基于特征矩阵的全局均值池化以得到眼部状态特征向量时，由于全局均值池化的特征语义信息表达的局限性，使得所述眼部状态特征向量相对于所述眼部动态特征图的特征表达能力降低。因此，在一个优选的实施例中，对所述眼部动态特征图进行基于语义推理信息显式泛化的全局均值池化。特别地，该所述基于语义推理信息显式泛化的全局均值池化可以通过将特征值所对应的语义概念自下而上地显式泛化为通道方向上的组，并进行基于通道分组实例(channel grouped instance)的信息解耦，来基于对特征语义的信息化推理获得特征沿通道维度的信息表达在特征图所对应的高维流形的高维语义空间内的空间复杂度下的可塑性，从而提升所述眼部状态特征向量相对于所述眼部动态特征图的特征表达能力。
更具体地，在本申请实施例中，所述特征分布降维模块，进一步用于：对所述眼部动态特征图进行基于语义推理信息显式泛化的全局均值池化以得到所述眼部动态特征向量，其中，所述基于语义推理信息显式泛化的全局均值池化基于以所述眼部动态特征图中各个通道维度的各个特征矩阵中各个位置的特征值为幂的自然指数函数值以特征矩阵为单独的加和值与所述眼部动态特征图中各个通道维度的各个特征矩阵中各个位置的特征值的加和值之间的差值来进行。相应地，在一个具体示例中，以如下公式对所述眼部动态特征图进行基于语义推理信息显式泛化的全局均值池化以得到所述眼部动态特征向量；
其中，所述公式为：
Figure GDA0003868045360000121
其中fi，j，k表示所述眼部动态特征图的映射到概率空间的各个位置的特征值，且∑i，jfi，j，k表示对沿通道的每个特征矩阵的各个位置的特征值求和。
具体地，在本申请实施例中，所述环境数据时序编码模块250，用于将所述包含当前时间点在内的多个预定时间点的室内环境光照强度值通过包含一维卷积层的序列编码器以得到环境光强特征向量。应可以理解，对于所述包含当前时间点在内的多个预定时间点的室内环境光照强度值，考虑到其在时间维度上具有着关联的特征，因此，在本申请的技术方案中，使用包含一维卷积层的序列编码器对所述多个预定时间点的室内环境光照强度值进行处理，以提取出所述多个预定时间点的室内环境光照强度值的高维隐含特征以及所述多个预定时间点的室内环境光照强度值间的隐含关联特征信息，从而得到环境光强特征向量。
具体地，在本申请实施例中，所述特征融合模块260，用于融合所述环境光强特征向量和所述眼部状态特征向量以得到分类特征矩阵。也就是，在本申请的技术方案中，这样，就可以将所述环境光强特征向量和所述眼部状态特征向量进行融合来生成分类特征矩阵，但是，应可以理解，考虑到针对作为所述室内环境光照强度实时变化的所述环境光强特征向量V1，和作为所述多个人员监控图像中人员的眼部动态变化的所述眼部状态特征向量V2，由于其具有关联属性，因此计算两者的关联矩阵来融合两者的特征信息以获得分类特征矩阵M。
更具体地，在本申请实施例中，所述特征融合模块，进一步用于：以如下公式融合所述环境光强特征向量和所述眼部状态特征向量以得到所述分类特征矩阵；
其中，所述公式为：
Figure GDA0003868045360000131
其中M表示所述分类特征矩阵，V1表示所述环境光强特征向量，V2表示所述眼部状态特征向量，V1和V2均为列向量，||·||F表示矩阵的Frobenius范数，exp(·)表示矩阵的指数运算，对矩阵进行指数运算表示以矩阵中各个位置的特征值为幂的自然指数函数值，矩阵除法表示以分子矩阵中各个位置的特征值分别除以分母。
具体地，在本申请实施例中，所述色温控制结果生成模块270，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的色温值应增大或应减小。也就是，在本申请的技术方案中，进一步就可以将所述分类特征矩阵通过分类器中进行分类处理，以获得用于表示当前时间点的色温值应增大或应减小的分类结果。
相应地，在一个具体示例中，所述色温控制结果生成模块，进一步用于：使用所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：softmax{(Wn，Bn)：...：(W1，B1)|Project(F)}，其中Project(F)表示将所述分类特征矩阵投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵。
综上，基于本申请实施例的所述色温可调灯带200被阐明，其基于人工智能控制技术，通过深度神经网络模型来提取出室内环境光照强度的动态隐含变化特征以及多个人员监控图像中的聚焦于人员眼部状态的变化特征，并基于这两者的融合特征信息来对于色温可调灯带的当前时间点的色温值进行智能控制，这样就能够使得人眼舒适感较好，提升人们的体验感。
如上所述，根据本申请实施例的色温可调灯带200可以实现在各种终端设备中，例如无线访问点算法的服务器等。在一个示例中，根据本申请实施例的色温可调灯带200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该色温可调灯带200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该色温可调灯带200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该色温可调灯带200与该终端设备也可以是分立的设备，并且该色温可调灯带200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法
图3图示了色温可调灯带的控制方法的流程图。如图3所示，根据本申请实施例的色温可调灯带的控制方法，包括步骤：S110，获取包含当前时间点在内的多个预定时间点的室内环境光照强度值和由部署于室内的相机采集的所述包含当前时间点在内的多个预定时间点的多个人员监控图像；S120，将所述多个人员监控图像分别通过目标检测网络以得到多个眼部感兴趣区域特征图；S130，将所述多个眼部感兴趣区域特征图排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络以得到眼部状态特征图；S140，对所述眼部状态特征图进行基于特征矩阵的全局均值池化以得到眼部状态特征向量；S150，将所述包含当前时间点在内的多个预定时间点的室内环境光照强度值通过包含一维卷积层的序列编码器以得到环境光强特征向量；S160，融合所述环境光强特征向量和所述眼部状态特征向量以得到分类特征矩阵；以及，S170，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的色温值应增大或应减小。
图4图示了根据本申请实施例的色温可调灯带的控制方法的架构示意图。如图4所示，在所述色温可调灯带的控制方法的网络架构中，首先，将获得的所述多个人员监控图像(例如，如图4中所示意的P1)分别通过目标检测网络(例如，如图4中所示意的TDN)以得到多个眼部感兴趣区域特征图(例如，如图4中所示意的F1)；接着，将所述多个眼部感兴趣区域特征图排列为三维输入张量(例如，如图4中所示意的T)后通过使用三维卷积核的第一卷积神经网络(例如，如图4中所示意的CNN)以得到眼部状态特征图(例如，如图4中所示意的F2)；然后，对所述眼部状态特征图进行基于特征矩阵的全局均值池化以得到眼部状态特征向量(例如，如图4中所示意的VF1)；接着，将获得的所述包含当前时间点在内的多个预定时间点的室内环境光照强度值(例如，如图4中所示意的P2)通过包含一维卷积层的序列编码器(例如，如图4中所示意的E)以得到环境光强特征向量(例如，如图4中所示意的VF2)；然后，融合所述环境光强特征向量和所述眼部状态特征向量以得到分类特征矩阵(例如，如图4中所示意的MF)；以及，最后，将所述分类特征矩阵通过分类器(例如，如图4中所示意的分类器)以得到分类结果，所述分类结果用于表示当前时间点的色温值应增大或应减小。使用语义理解模型分别将获取的多个无线AP同时申报注册时的所述多个无线AP的申报注册信息转化为语义特征向量；接着，将所述多个眼部感兴趣区域特征图排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络以得到眼部状态特征图；然后，使用卷积神经网络从所述注册信息矩阵中提取出注册信息特征图，所述注册信息特征图的尺度为L*S*C，L代表语义特征向量的长度，S代表无线AP的数目，且C代表通道数；接着，将所述注册信息特征图在S维度上的每个L*C的特征矩阵进行特征值分解，以获得对应于每个所述L*C的特征矩阵的对角本征值矩阵和本征向量矩阵；然后，融合所述环境光强特征向量和所述眼部状态特征向量以得到分类特征矩阵；以及，最后，将所述本征值向量作为分类向量输入分类器以获得分类结果，所述分类结果用于表示无线AP的申报注册是否正确。
更具体地，在步骤S110和步骤S120中，获取包含当前时间点在内的多个预定时间点的室内环境光照强度值和由部署于室内的相机采集的所述包含当前时间点在内的多个预定时间点的多个人员监控图像，并将所述多个人员监控图像分别通过目标检测网络以得到多个眼部感兴趣区域特征图。应可以理解，考虑到对于色温可调灯带来说，色温的调控与环境的光照强度有关，并且还与照明场所内人的眼部状况有关，因此，在本申请的技术方案中，期望通过环境的光照改变特征信息以及人体的眼部情况变化特征信息来综合进行色温可调灯带的自适应色温调节。
也就是，具体地，在本申请的技术方案中，首先，获取包含当前时间点在内的多个预定时间点的室内环境光照强度值和由部署于室内的相机采集的所述包含当前时间点在内的多个预定时间点的多个人员监控图像。应可以理解，由于对于色温可调灯带的调节来说，其关于人体的舒适感与照明场所内人的眼部状况有关，因此在对于所述多个人员监控图像来说，需要更加聚焦于人员的眼部特征。因此，在本申请的技术方案中，进一步使用目标检测网络分别对所述多个人员监控图像进行处理以得到所述多个眼部感兴趣区域特征图。
这里，由于基于深度学习的目标检测方法依据网络中是否使用锚窗将网络分为基于锚窗(Anchor-based)与无锚窗(Anchor-free)两大类，基于锚窗的方法如Fast R-CNN、Faster R-CNN、RetinaNet等。而Anchor-base的模型在进行预测之前会设定好一组anchor，然后在推理过程中会在特征图上使这些anchor进行滑动来提取n个候选框，最后再做进一步的分类和回归。也就是，具体地，在本申请的技术方案中，首先对所述多个人员监控图像进行编码处理以生成给定特征图ψdet，然后，基于所述给定特征图以锚框B来进行滑动提取所述多个眼部感兴趣区域特征图。
更具体地，在步骤S130中，将所述多个眼部感兴趣区域特征图排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络以得到眼部状态特征图。应可以理解，考虑到在所述包含当前时间点在内的多个预定时间点的多个人员监控图像中，存在着多个人员的眼部动态特征，因此，在本申请的技术方案中，为了提取出在时序维度上的所述多个人员的眼部动态特征信息，进一步将所述多个眼部感兴趣区域特征图排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络中进行处理以得到眼部状态特征图。
更具体地，在步骤S140中，对所述眼部状态特征图进行基于特征矩阵的全局均值池化以得到眼部状态特征向量。应可以理解，考虑到所述眼部状态特征图在后续特征融合时特征尺度较大的问题，因此，在本申请的技术方案中，将所述眼部状态特征图进行全局均值池化处理以将特征图进行降维，从而获得眼部状态特征向量。但是，由于在对所述眼部动态特征图进行基于特征矩阵的全局均值池化以得到眼部状态特征向量时，由于全局均值池化的特征语义信息表达的局限性，使得所述眼部状态特征向量相对于所述眼部动态特征图的特征表达能力降低。因此，在一个优选的实施例中，对所述眼部动态特征图进行基于语义推理信息显式泛化的全局均值池化。特别地，该所述基于语义推理信息显式泛化的全局均值池化可以通过将特征值所对应的语义概念自下而上地显式泛化为通道方向上的组，并进行基于通道分组实例(channel grouped instance)的信息解耦，来基于对特征语义的信息化推理获得特征沿通道维度的信息表达在特征图所对应的高维流形的高维语义空间内的空间复杂度下的可塑性，从而提升所述眼部状态特征向量相对于所述眼部动态特征图的特征表达能力。
更具体地，在步骤S150中，将所述包含当前时间点在内的多个预定时间点的室内环境光照强度值通过包含一维卷积层的序列编码器以得到环境光强特征向量。应可以理解，对于所述包含当前时间点在内的多个预定时间点的室内环境光照强度值，考虑到其在时间维度上具有着关联的特征，因此，在本申请的技术方案中，使用包含一维卷积层的序列编码器对所述多个预定时间点的室内环境光照强度值进行处理，以提取出所述多个预定时间点的室内环境光照强度值的高维隐含特征以及所述多个预定时间点的室内环境光照强度值间的隐含关联特征信息，从而得到环境光强特征向量。
更具体地，在步骤S160中，融合所述环境光强特征向量和所述眼部状态特征向量以得到分类特征矩阵。也就是，在本申请的技术方案中，这样，就可以将所述环境光强特征向量和所述眼部状态特征向量进行融合来生成分类特征矩阵，但是，应可以理解，考虑到针对作为所述室内环境光照强度实时变化的所述环境光强特征向量V1，和作为所述多个人员监控图像中人员的眼部动态变化的所述眼部状态特征向量V2，由于其具有关联属性，因此计算两者的关联矩阵来融合两者的特征信息以获得分类特征矩阵M。
更具体地，在步骤S170中，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的色温值应增大或应减小。也就是，在本申请的技术方案中，进一步就可以将所述分类特征矩阵通过分类器中进行分类处理，以获得用于表示当前时间点的色温值应增大或应减小的分类结果。
综上，基于本申请实施例的所述色温可调灯带的控制方法被阐明，其基于人工智能控制技术，通过深度神经网络模型来提取出室内环境光照强度的动态隐含变化特征以及多个人员监控图像中的聚焦于人员眼部状态的变化特征，并基于这两者的融合特征信息来对于色温可调灯带的当前时间点的色温值进行智能控制，这样就能够使得人眼舒适感较好，提升人们的体验感。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (8)

1.一种色温可调灯带，其特征在于，包括：
环境数据和人员监控数据采集模块，用于获取包含当前时间点在内的多个预定时间点的室内环境光照强度值和由部署于室内的相机采集的所述包含当前时间点在内的多个预定时间点的多个人员监控图像；
眼部感兴趣区域提取模块，用于将所述多个人员监控图像分别通过目标检测网络以得到多个眼部感兴趣区域特征图；
眼部状态编码模块，用于将所述多个眼部感兴趣区域特征图排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络以得到眼部状态特征图；
特征分布降维模块，用于对所述眼部状态特征图进行基于特征矩阵的全局均值池化以得到眼部状态特征向量；
环境数据时序编码模块，用于将所述包含当前时间点在内的多个预定时间点的室内环境光照强度值通过包含一维卷积层的序列编码器以得到环境光强特征向量；
特征融合模块，用于融合所述环境光强特征向量和所述眼部状态特征向量以得到分类特征矩阵；以及
色温控制结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的色温值应增大或应减小；
其中，所述眼部状态编码模块，进一步用于：所述使用三维卷积核的第一卷积神经网络在层的正向传递中对输入数据分别进行：
基于所述三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；
对所述卷积特征图进行均值池化处理以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述第一卷积神经网络的最后一层的输出为所述眼部状态特征图，所述第一卷积神经网络的第一层的输入为所述三维输入张量。
2.根据权利要求1所述的色温可调灯带，其特征在于，所述眼部感兴趣区域提取模块，进一步用于使用所述目标检测网络以如下公式分别对所述多个人员监控图像进行处理以得到所述多个眼部感兴趣区域特征图；
其中，所述公式为：
Dets＝H(ψdet,B)＝(cls(ψdet,B)，Regr(ψdet,B))
其中ψdet表示给定特征图，B表示锚框，Dets表示所述多个眼部感兴趣区域特征图。
3.根据权利要求2所述的色温可调灯带，其特征在于，所述特征分布降维模块，进一步用于对所述眼部状态特征图进行基于语义推理信息显式泛化的全局均值池化以得到所述眼部状态特征向量，其中，所述基于语义推理信息显式泛化的全局均值池化基于以所述眼部状态特征图中各个通道维度的各个特征矩阵中各个位置的特征值为幂的自然指数函数值以特征矩阵为单独的加和值与所述眼部状态特征图中各个通道维度的各个特征矩阵中各个位置的特征值的加和值之间的差值来进行。
4.根据权利要求3所述的色温可调灯带，其特征在于，所述特征分布降维模块，进一步用于：以如下公式对所述眼部状态特征图进行基于语义推理信息显式泛化的全局均值池化以得到所述眼部状态特征向量；
其中，所述公式为：
Figure FDA0004211999990000021
其中fi,j,k表示所述眼部状态特征图的映射到概率空间的各个位置的特征值，且∑i, jfi,j,k表示对沿通道的每个特征矩阵的各个位置的特征值求和。
5.根据权利要求4所述的色温可调灯带，其特征在于，所述特征融合模块，进一步用于：以如下公式融合所述环境光强特征向量和所述眼部状态特征向量以得到所述分类特征矩阵；
其中，所述公式为：
Figure FDA0004211999990000022
其中M表示所述分类特征矩阵，V1表示所述环境光强特征向量,V2表示所述眼部状态特征向量，V1和V2均为列向量，||·||F表示矩阵的Frobenius范数，exp(·)表示矩阵的指数运算，对矩阵进行指数运算表示以矩阵中各个位置的特征值为幂的自然指数函数值，矩阵除法表示以分子矩阵中各个位置的特征值分别除以分母。
6.根据权利要求5所述的色温可调灯带，其特征在于，所述色温控制结果生成模块，进一步用于：使用所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|Project(F)}，其中Project(F)表示将所述分类特征矩阵投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵。
7.一种色温可调灯带的控制方法，其特征在于，包括：
获取包含当前时间点在内的多个预定时间点的室内环境光照强度值和由部署于室内的相机采集的所述包含当前时间点在内的多个预定时间点的多个人员监控图像；
将所述多个人员监控图像分别通过目标检测网络以得到多个眼部感兴趣区域特征图；
将所述多个眼部感兴趣区域特征图排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络以得到眼部状态特征图；
对所述眼部状态特征图进行基于特征矩阵的全局均值池化以得到眼部状态特征向量；
将所述包含当前时间点在内的多个预定时间点的室内环境光照强度值通过包含一维卷积层的序列编码器以得到环境光强特征向量；
融合所述环境光强特征向量和所述眼部状态特征向量以得到分类特征矩阵；以及
将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的色温值应增大或应减小；
其中，将所述多个眼部感兴趣区域特征图排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络以得到眼部状态特征图，包括：
所述使用三维卷积核的第一卷积神经网络在层的正向传递中对输入数据分别进行：
基于所述三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；
对所述卷积特征图进行均值池化处理以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述第一卷积神经网络的最后一层的输出为所述眼部状态特征图，所述第一卷积神经网络的第一层的输入为所述三维输入张量。
8.根据权利要求7所述的色温可调灯带的控制方法，其中，对所述眼部状态特征图进行基于特征矩阵的全局均值池化以得到眼部状态特征向量，包括：
对所述眼部状态特征图进行基于语义推理信息显式泛化的全局均值池化以得到所述眼部状态特征向量，其中，所述基于语义推理信息显式泛化的全局均值池化基于以所述眼部状态特征图中各个通道维度的各个特征矩阵中各个位置的特征值为幂的自然指数函数值以特征矩阵为单独的加和值与所述眼部状态特征图中各个通道维度的各个特征矩阵中各个位置的特征值的加和值之间的差值来进行。
CN202210809347.5A 2022-07-11 2022-07-11 色温可调灯带及其控制方法 Active CN115294639B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210809347.5A CN115294639B (zh) 2022-07-11 2022-07-11 色温可调灯带及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210809347.5A CN115294639B (zh) 2022-07-11 2022-07-11 色温可调灯带及其控制方法

Publications (2)

Publication Number Publication Date
CN115294639A CN115294639A (zh) 2022-11-04
CN115294639B true CN115294639B (zh) 2023-07-07

Family

ID=83821966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210809347.5A Active CN115294639B (zh) 2022-07-11 2022-07-11 色温可调灯带及其控制方法

Country Status (1)

Country Link
CN (1) CN115294639B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116026528A (zh) * 2023-01-14 2023-04-28 慈溪市远辉照明电器有限公司 一种高防水安全型三防灯
CN116782451B (zh) * 2023-08-25 2023-11-14 深圳市东陆科技有限公司 具有自适应亮度和色彩的led氛围灯控制方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114564993A (zh) * 2022-02-28 2022-05-31 上海济垚软件科技有限公司 基于多源信息融合的疲劳检测系统及其操作方法
CN114596622A (zh) * 2022-03-17 2022-06-07 吉林大学 基于对比知识驱动的虹膜与眼周对抗自适应融合识别方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8428305B2 (en) * 2008-04-24 2013-04-23 GM Global Technology Operations LLC Method for detecting a clear path through topographical variation analysis
CN103576861A (zh) * 2013-11-18 2014-02-12 谢元澄 非接触手势控制系统
CN103716204B (zh) * 2013-12-20 2017-02-08 中国科学院信息工程研究所 一种基于维纳过程的异常入侵检测集成学习方法及装置
CN107463949B (zh) * 2017-07-14 2020-02-21 北京协同创新研究院 一种视频动作分类的处理方法及装置
CN108090447A (zh) * 2017-12-19 2018-05-29 青岛理工大学 双分支深层结构下的高光谱图像分类方法及装置
CN108416288A (zh) * 2018-03-04 2018-08-17 南京理工大学 基于全局与局部网络融合的第一视角交互动作识别方法
CN109765946B (zh) * 2019-02-01 2021-04-20 高爱祥 一种变压器温度控制器及控制方法
CN110063736B (zh) * 2019-05-06 2022-03-08 苏州国科视清医疗科技有限公司 基于MOD-Net网络的眼动参数监测的疲劳检测及促醒系统
CN113221683A (zh) * 2021-04-27 2021-08-06 北京科技大学 教学场景下基于cnn模型的表情识别方法
CN113181016A (zh) * 2021-05-13 2021-07-30 云南白药集团无锡药业有限公司 一种照度动态变化的眼调节训练灯
CN114283299A (zh) * 2021-08-09 2022-04-05 腾讯科技（深圳）有限公司 图像聚类方法、装置、计算机设备及存储介质
CN114475350A (zh) * 2022-02-14 2022-05-13 杭州鸽然科技有限公司 智能充电系统及其工作方法
CN114519394A (zh) * 2022-02-21 2022-05-20 杭州谣佐科技有限公司 基于路由器的物联网设备的配置方法及其系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114564993A (zh) * 2022-02-28 2022-05-31 上海济垚软件科技有限公司 基于多源信息融合的疲劳检测系统及其操作方法
CN114596622A (zh) * 2022-03-17 2022-06-07 吉林大学 基于对比知识驱动的虹膜与眼周对抗自适应融合识别方法

Also Published As

Publication number Publication date
CN115294639A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN115294639B (zh) 色温可调灯带及其控制方法
CN110738309A (zh) Ddnn的训练方法和基于ddnn的多视角目标识别方法和系统
CN115150984B (zh) Led灯带及其控制方法
CN116343330A (zh) 一种红外-可见光图像融合的异常行为识别方法
Sankaran et al. Representation learning through cross-modality supervision
CN109766828A (zh) 一种车辆目标分割方法、装置及通信设备
CN116645917A (zh) Led显示屏亮度调节系统及其方法
CN114202740A (zh) 一种基于多尺度特征融合的行人重识别方法
CN115100709B (zh) 一种特征分离的图像人脸识别与年龄估计方法
KR20080067793A (ko) 부분공간과 선형벡터양자화 분류기에 기반한 실시간 얼굴인식
CN115731579A (zh) 基于交叉注意力Transformer网络的陆生动物个体识别方法
CN115731574A (zh) 基于中间模态的参数共享和特征学习的跨模态行人重识别方法
CN115908896A (zh) 基于带自注意力机制脉冲神经网络的图片识别系统
CN113537243A (zh) 一种基于se模块和自注意力机制网络的图像分类方法
CN116152768A (zh) 基于路况识别的智能驾驶预警系统及方法
CN116133215A (zh) 建筑物夜景的照明控制方法及其系统
Sankaran et al. Domain adaptive representation learning for facial action unit recognition
CN114445816A (zh) 一种基于二维图像和三维点云的花粉分类方法
CN114627369A (zh) 环境监测系统、方法及其计算机装置
CN113343770B (zh) 一种基于特征筛选的人脸防伪方法
Zhao et al. Research on human behavior recognition in video based on 3DCCA
CN111126310B (zh) 一种基于场景迁移的行人性别识别方法
CN114005468A (zh) 一种基于全局工作空间的可解释情绪识别方法和系统
Heidemann et al. A system for various visual classification tasks based on neural networks
CN112633229A (zh) 一种基于spd流形的行人重识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant