CN116887487B - 灯珠的智能控制方法及其系统 - Google Patents

Abstract

本申请公开了一种灯珠的智能控制方法及其系统，其通过采用基于深度学习的机器视觉技术来对于客流量监控视频进行分析，从而对于客流量进行监测，以此来进行灯珠亮度的自适应控制。

Description

灯珠的智能控制方法及其系统

技术领域

本申请涉及智能控制领域，且更为具体地，涉及一种灯珠的智能控制方法及其系统。

背景技术

在夜晚的街道中，商家为了吸引顾客的视线和提高店铺的知名度，常采用LED灯珠和跑马灯等方式进行装饰和展示。然而，传统的灯光设置普遍采用定时和手动控制的方式，且只具有开关控制，难以适应不同时间段和客流变化，容易造成客户的视觉疲劳和能源浪费等问题。

因此，期望一种优化的灯珠的智能控制方案，其能够根据实时的客流量和环境情况进行自适应调节，避免不必要的能源浪费和视觉疲劳。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种灯珠的智能控制方法及其系统，其通过采用基于深度学习的机器视觉技术来对于客流量监控视频进行分析，从而对于客流量进行监测，以此来进行灯珠亮度的自适应控制。

根据本申请的一个方面，提供了一种灯珠的智能控制方法，其包括：

通过摄像头采集预定时间段的客流量监控视频；

从所述客流量监控视频提取客流量全时序关联特征图；

基于所述客流量全时序关联特征图，确定是否增大灯珠的亮度。

根据本申请的另一个方面，提供了一种灯珠的智能控制系统，其包括：

监控视频采集模块，用于通过摄像头采集预定时间段的客流量监控视频；

特征提取模块，用于从所述客流量监控视频提取客流量全时序关联特征图；

控制结果生成模块，用于基于所述客流量全时序关联特征图，确定是否增大灯珠的亮度。

根据本申请的另一个方面，提供了一种灯珠的智能控制系统，其包括：

监控视频采集模块，用于通过摄像头采集预定时间段的客流量监控视频；

特征提取模块，用于从所述客流量监控视频提取客流量全时序关联特征图；以及

控制结果生成模块，用于基于所述客流量全时序关联特征图，确定是否增大灯珠的亮度。

与现有技术相比，本申请提供的一种灯珠的智能控制方法及其系统，其通过采用基于深度学习的机器视觉技术来对于客流量监控视频进行分析，从而对于客流量进行监测，以此来进行灯珠亮度的自适应控制。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的灯珠的智能控制方法的流程图；

图2为根据本申请实施例的灯珠的智能控制方法的系统架构图；

图3为根据本申请实施例的灯珠的智能控制方法的子步骤S2的流程图；

图4为根据本申请实施例的灯珠的智能控制方法的子步骤S23的流程图；

图5为根据本申请实施例的灯珠的智能控制方法的子步骤S3的流程图；

图6为根据本申请实施例的灯珠的智能控制系统的框图；

图7为根据本申请实施例的灯珠的智能控制方法的场景示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

在本申请的技术方案中，提出了一种灯珠的智能控制方法。图1为根据本申请实施例的灯珠的智能控制方法的流程图。图2为根据本申请实施例的灯珠的智能控制方法的系统架构图。如图1和图2所示，根据本申请的实施例的灯珠的智能控制方法，包括步骤：S1，通过摄像头采集预定时间段的客流量监控视频；S2，从所述客流量监控视频提取客流量全时序关联特征图；S3，基于所述客流量全时序关联特征图，确定是否增大灯珠的亮度。

具体地，在步骤S1中，通过摄像头采集预定时间段的客流量监控视频。考虑到在实际进行灯珠的控制过程中，为了能够提高商家效益和客户体验，期望跑马灯能够根据商店的客流量进行自适应控制。例如，当客流量大时，可以自适应地将跑马灯的亮度调高，以提高商店的亮度和能见度，吸引更多的顾客；而客流量小时，可以适当调低跑马灯的亮度，从而避免客户视觉疲劳，也能够减少能源的浪费。因此，根据本申请的实施例，可通过在跑马灯上安装摄像头，以此来通过采集到的客流量监控视频获取到预定时间段的客流量信息。值得注意的是，所述摄像头在选型时应注意尺寸和功能，所选尺寸应适用于跑马灯的尺寸，此外，选择清晰度高的摄像头以及具有夜视增强功能的摄像头，更优地，选择视角可自适应调节的摄像头，以更全面地提取到客流量信息。在安装时，应注意避免遮挡和影响跑马灯的平衡。

客流量监控视频是指通过摄像头等设备采集预定时间段内某个区域内的人流量数据，并将数据存储下来以便后续分析。客流量监控视频通常应用于公共场所，例如商场、车站、机场等，以帮助管理者更好地了解客流量情况，优化场所的服务质量和客户满意度。通过对客流量监控视频的分析，可以得到客流量的数据，例如客流量的数量、流量的方向、高峰期等信息。这些数据可以用于商场、车站、机场等公共场所的管理和规划，以提高服务质量和客户满意度。

相应地，在一种可能的实现方式中，可通过以下步骤通过摄像头采集预定时间段的客流量监控视频。确定监控区域：首先需要确定需要监控的区域，例如商场、车站、机场等公共场所的出入口或者特定区域；安装摄像头：在确定监控区域后，需要安装摄像头进行拍摄。摄像头的安装位置应该考虑到监控范围、角度、光线等因素，以确保能够准确地捕捉到客流量；连接设备：将摄像头连接到监控设备上，例如电脑、服务器或者云端，以便进行视频采集和存储；设置录制时间：根据监控需求，设置录制时间，例如一天24小时或者特定的时间段；开始录制：在设置好录制时间后，开始录制客流量监控视频。录制过程中需要保证摄像头的稳定性和清晰度，以便后续的客流量分析；存储视频：录制完成后，需要将视频存储到指定的位置，例如本地硬盘、云端存储或者其他存储介质；分析客流量：通过对客流量监控视频的分析，可以得到客流量的数据，例如客流量的数量、流量的方向、高峰期等信息。这些数据可以用于商场、车站、机场等公共场所的管理和规划，以提高服务质量和客户满意度。

具体地，在步骤S2中，从所述客流量监控视频提取客流量全时序关联特征图。特别地，在本申请的一个具体示例中，如图3所示，所述S2，包括：S21，对所述客流量监控视频进行视频切分以得到多个客流量监控视频片段；S22，分别对所述多个客流量监控视频片段进行稀疏采样以得到多个客流量监控稀疏化视频片段；以及，S23，对所述多个客流量监控稀疏化视频片段进行时序分析以得到所述客流量全时序关联特征图。

特别地，所述S21，对所述客流量监控视频进行视频切分以得到多个客流量监控视频片段。应可以理解，对所述客流量监控视频进行视频切分以得到多个客流量监控视频片段，以便于更为详细地分析客流量的变化情况。应可以理解，通过将所述客流量监控视频切分为多个片段，可以根据每个片段内的客流量数据，进一步分析出每个时间段内的人流动向、密度、停留时间等特征信息。这样就能更有效地评估商铺的客流量状况，从而进行灯珠亮度的自适应控制，以提高客户体验和商家效益。同时，基于这些数据，智能灯光控制系统也可以针对不同时间段的人流量变化和环境条件做出更精细、更智能的控制，从而提高能源利用率，实现节能减排目标。

特别地，所述S22，分别对所述多个客流量监控视频片段进行稀疏采样以得到多个客流量监控稀疏化视频片段。考虑到对于一个商铺而言，其客流量变化较为缓慢，而在每个时间点都对整个监控视频进行分析会耗费大量计算资源。因此，在处理过程中，首先将整个所述客流量监控视频切分为多个片段，然后进一步在时间和空间维度上对每个片段进行稀疏采样，以提取出部分关键的帧或像素点所代表的信息，从而得到多个客流量监控稀疏化视频片段。这样既能保留所述客流量监控视频的主要信息，又能保证处理效率，同时能够更精确预测并响应不同的环境变化和人流情况，实现更加智能、高效地控制商铺灯光。

相应地，在一种可能实现的方式中，可通过以下步骤分别对所述多个客流量监控视频片段进行稀疏采样以得到多个客流量监控稀疏化视频片段，例如：确定采样率：在稀疏采样之前，需要确定采样率，即每秒钟采样的帧数。采样率越高，采样到的数据就越多，但也意味着处理和存储数据的成本更高。因此，需要根据实际需求和可用资源来确定采样率；进行稀疏采样：稀疏采样是指只选择视频帧中的一部分进行采样，以减少数据量。具体采样方法可以是随机采样或按照一定规律进行采样。例如，可以按照时间间隔进行采样，或者按照帧数间隔进行采样；得到稀疏化视频片段：经过稀疏采样后，就得到了稀疏化视频片段。这些片段只包含部分视频帧，但仍然可以反映客流量监控的情况。这些片段可以用于进一步的分析和处理；可选步骤：如果需要对稀疏化视频片段进行后续处理，可以考虑对其进行插值或者补全。插值是指根据已有的数据推算出缺失的数据，补全是指使用其他数据源来填充缺失的数据。这些方法可以提高数据的完整性和准确性。

特别地，所述S23，对所述多个客流量监控稀疏化视频片段进行时序分析以得到所述客流量全时序关联特征图。特别地，在本申请的一个具体示例中，如图4所示，所述S23，包括：S231，通过基于深度神经网络模型的客流量时序特征提取器对所述多个客流量监控稀疏化视频片段进行特征提取以得到多个客流量时序特征图；S232，对所述多个客流量时序特征图进行关联编码以得到所述客流量全时序关联特征图。

相应地，所述S231，通过基于深度神经网络模型的客流量时序特征提取器对所述多个客流量监控稀疏化视频片段进行特征提取以得到多个客流量时序特征图。由于客流量在时间维度上具有着不断变化的特性，也就是说，对于每个所述客流量监控稀疏化视频片段来说，视频片段中关于客流量的特征分布信息具有着时序关联性关系。因此，在本申请的一个具体示例中，将所述多个客流量监控稀疏化视频片段分别通过基于三维卷积神经网络模型的客流量时序特征提取器中进行特征挖掘，以提取出所述各个客流量监控稀疏化视频片段中关于客流量的时序关联特征信息，从而得到多个客流量时序特征图。更具体地，将所述多个客流量监控稀疏化视频片段分别通过基于三维卷积神经网络模型的客流量时序特征提取器以得到所述多个客流量时序特征图，包括：使用所述基于三维卷积神经网络模型的客流量时序特征提取器的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述基于三维卷积神经网络模型的客流量时序特征提取器的最后一层的输出为所述多个客流量时序特征图，所述基于三维卷积神经网络模型的客流量时序特征提取器的第一层的输入为所述多个客流量监控稀疏化视频片段。

三维卷积神经网络（3D CNN）模型是一种特殊的卷积神经网络，它可以处理三维空间中的数据。与传统的二维卷积神经网络不同，3D CNN模型可以同时考虑时间和空间信息，因此在处理视频、医学图像、动作识别等领域有广泛的应用。3D CNN模型的基本结构与2DCNN类似，包括卷积层、池化层、批量归一化层和全连接层等。其中，卷积层通过卷积核对输入数据进行卷积操作，提取特征信息；池化层通过降采样的方式减少特征图的大小，提高计算效率；批量归一化层可以加速收敛，提高模型的稳定性和泛化能力；全连接层将特征图转换为分类结果。在3D CNN模型中，输入数据通常是一个四维张量，包括时间维、宽度维、高度维和通道维。通过卷积操作，可以在三个维度上提取特征信息，并将其组合成一个三维特征图。这样，3D CNN模型可以处理视频数据、医学图像序列等三维数据，并提取出时间、空间和通道的特征信息，从而实现对三维数据的分类、识别和分割等任务。

值得一提的是，在本申请的其他具体示例中，还可以通过其他方式通过基于深度神经网络模型的客流量时序特征提取器对所述多个客流量监控稀疏化视频片段进行特征提取以得到多个客流量时序特征图，例如：准备好多个客流量监控稀疏化视频片段，这些视频片段可以由多个监控摄像头捕捉到的客流量场景组成；对于每个视频片段，需要使用深度神经网络模型进行特征提取。这里可以使用一些已经训练好的深度神经网络模型，如VGG、ResNet、Inception 等，也可以根据实际情况自行训练一个深度神经网络模型；将每个视频片段输入到深度神经网络模型中，得到每个视频片段对应的特征图；对于每个特征图，需要进行时序特征提取，以得到多个客流量时序特征图。这里可以使用一些常见的时序特征提取方法，如滑动窗口法、卷积神经网络法、循环神经网络法等；对于每个客流量时序特征图，可以进行进一步的分析和处理，如计算客流量均值、方差、峰值等统计指标，或者使用其他机器学习算法进行分类、聚类等任务；将得到的多个客流量时序特征图进行可视化展示，以便用户更直观地了解客流量变化趋势和规律。

相应地，所述S232，对所述多个客流量时序特征图进行关联编码以得到所述客流量全时序关联特征图。特别地， 在本申请的一个具体示例中，将所述多个客流量时序特征图沿着通道维度进行聚合为客流量全时序特征图后通过基于卷积层的客流量时序关联特征提取器以得到所述客流量全时序关联特征图。更具体地，考虑到由于所述各个客流量监控稀疏化视频片段中关于客流量的时序特征分布信息之间具有着关于时序整体的关联关系，即所述客流量在所述客流量监控视频中具有着全局的时序动态变化特征信息。因此，期望利用客流量的时序全局关联特征来提高对于客流量的评估准确性，从而对于客流量的变化趋势进行准确捕捉，以提高对于灯珠亮度控制的精准度。基于此，在本申请的技术方案中，进一步将所述多个客流量时序特征图沿着通道维度进行聚合为客流量全时序特征图后通过基于卷积层的客流量时序关联特征提取器中进行编码，以提取出所述各个监控片段中关于客流量的时序特征之间的深层全时序语义关联特征信息，以得到客流量全时序关联特征图。

值得一提的是，在本申请的其他具体示例中，还可以通过其他方式对所述多个客流量时序特征图进行关联编码以得到所述客流量全时序关联特征图，例如：收集多个客流量时序特征图，这些时序特征图可以来自不同的传感器或不同的时间段；对每个客流量时序特征图进行预处理，包括去噪、归一化、平滑等操作；对每个客流量时序特征图提取时序特征向量，这些特征向量可以是速度时序特征向量、卡路里消耗时序特征向量等；将提取的时序特征向量按时间顺序排列，形成一个矩阵；对每个时序特征向量进行局部邻域时序关联特征提取，得到局部邻域时序关联特征向量；将局部邻域时序关联特征向量按时间顺序排列，形成一个矩阵；对局部邻域时序关联特征向量矩阵进行关联编码，得到客流量全时序关联特征图；对客流量全时序关联特征图进行分析和处理，可以用于客流量预测、异常检测等应用。

值得一提的是，在本申请的其他具体示例中，还可以通过其他方式分别对所述多个客流量监控视频片段进行稀疏采样以得到多个客流量监控稀疏化视频片段，例如：确定采样周期和采样频率：根据实际需要和硬件设备的性能，确定客流量监控视频片段的采样周期和采样频率，即每隔多长时间采样一次，每次采样获取多少帧图像；进行稀疏采样：在确定的采样周期内，对客流量监控视频片段进行稀疏采样，即只选择其中的部分帧图像进行采样，而不是每一帧都进行采样。可以采用随机采样、均匀采样等方法进行稀疏采样；生成客流量监控稀疏化视频片段：将采样得到的图像帧组合起来，生成客流量监控稀疏化视频片段。这个视频片段中只包含采样得到的图像帧，而不包含未采样的图像帧；对客流量监控稀疏化视频片段进行处理：可以对客流量监控稀疏化视频片段进行进一步的处理，如去除冗余信息、压缩视频文件大小等。可以使用视频编码算法进行压缩，如H.264、HEVC等；存储客流量监控稀疏化视频片段：将处理后的客流量监控稀疏化视频片段存储到适当的位置，以便后续的分析和处理。

值得一提的是，在本申请的其他具体示例中，还可以通过其他方式从所述客流量监控视频提取客流量全时序关联特征图，例如：视频预处理：首先需要对客流量监控视频进行预处理，例如去除噪声、平滑图像、调整图像亮度和对比度等操作，以提高客流量检测的准确度；客流量检测：通过图像处理技术，检测客流量监控视频中的人流量。可以使用背景建模、运动检测、人体检测等技术进行客流量检测；提取客流量时序特征向量：将客流量检测结果转换成客流量时序特征向量。可以使用滑动窗口和时间序列分析等方法，将客流量的时序特征提取出来，并转换成向量形式；提取局部邻域时序关联特征：将客流量时序特征向量转换成局部邻域时序关联特征。可以使用卷积神经网络等技术，将客流量时序特征向量进行时序编码，得到局部邻域时序关联特征；构建客流量全时序关联特征图：将客流量时序特征向量和局部邻域时序关联特征合并，构建客流量全时序关联特征图。可以使用图像处理技术，将客流量时序特征向量和局部邻域时序关联特征拼接成一个矩阵，构建客流量全时序关联特征图；特征图分析：对客流量全时序关联特征图进行分析，得到客流量的全时序关联特征。可以使用机器学习和深度学习等技术，对客流量全时序关联特征进行分类、聚类、回归等分析，得到客流量的全时序关联特征。

具体地，在步骤S3中，基于所述客流量全时序关联特征图，确定是否增大灯珠的亮度。特别地，在本申请的一个具体示例中，如图5所示，所述S3，包括：S31，基于残差思想对所述客流量全时序关联特征图进行特征分布优化以得到优化客流量全时序关联特征图；以及，S32，将所述优化客流量全时序关联特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大灯珠的亮度。

特别地，所述S31，基于残差思想对所述客流量全时序关联特征图进行特征分布优化以得到优化客流量全时序关联特征图。在本申请的技术方案中，考虑到将所述多个客流量监控稀疏化视频片段分别通过基于三维卷积神经网络模型的客流量时序特征提取器得到的所述多个客流量时序特征图中的每个可以表达单个客流量监控稀疏化视频片段的图像语义时间-空间交叉关联特征，在将所述多个客流量时序特征图沿着通道维度聚合为客流量全时序特征图后通过基于卷积层的客流量时序关联特征提取器后，期望得到的所述客流量全时序关联特征图仍然充分能够表达单个客流量监控稀疏化视频片段的视频语义特征。因此，本申请的申请人考虑融合所述客流量全时序特征图和所述客流量全时序关联特征图来优化所述客流量全时序关联特征图，并且，考虑到所述客流量全时序特征图和所述客流量全时序关联特征图都是基于卷积核尺度下的卷积操作对于局部关联特征进行提取得到的，因此在融合所述客流量全时序特征图和所述客流量全时序关联特征图时，需要基于用于特征提取的卷积核各自的空间-时间维度关联尺度表示来进行融合。基于此，本申请的申请人对所述客流量全时序特征图和所述客流量全时序关联特征图进行全局上下文空间关联富化融合以获得优化后的客流量全时序关联特征图，具体表示为：；其中，/>和/>分别是所述客流量全时序特征图和所述客流量全时序关联特征图的第i个特征矩阵，/>是所述优化客流量全时序关联特征图的第i个特征矩阵，/>和/>分别是矩阵乘法和矩阵加法。这里，为了聚集在所述客流量全时序特征图和所述客流量全时序关联特征图之间关联分布的本地空间语义之间的上下文空间关联语义，所述全局上下文空间关联富化融合通过聚焦于特征图的特征矩阵所表示的空间帧级别的显式上下文相关性，来富化（enriching）全局感知野下的特征矩阵的帧级别的空间语义融合式表达，从而实现所述客流量全时序特征图和所述客流量全时序关联特征图的跨通道的空间共享上下文语义的同化（assimilation）融合，以较好地融合所述客流量全时序特征图和所述客流量全时序关联特征图，从而提升优化后的客流量全时序关联特征图的特征融合表达效果。这样，能够基于实际的客流量和环境情况来实时进行灯珠亮度的自适应控制，以避免不必要的能源浪费和视觉疲劳，从而提高商家效益和客户体验。

残差思想是指在深度神经网络中，通过引入跨层连接和残差学习的方式来解决梯度消失和网络退化等问题的一种思想。在传统的深度神经网络中，每一层的输入都是前一层的输出，因此网络的深度越深，梯度就越容易消失，导致网络退化。为了解决这个问题，残差思想提出了跨层连接和残差学习的方法。跨层连接是指在网络中引入跨越多个层的连接，将某一层的输入直接传递到后面的层中，从而使得网络可以学习到更加复杂的特征。而残差学习则是指在跨层连接的基础上，将前一层的输出直接加到后面一层的输入中，形成残差（即前一层的输出与当前层的输入之间的差），然后将残差传递到后面的层中进行学习。这种方法可以使得网络更加容易学习到恒等映射，从而避免了梯度消失和网络退化的问题。通过引入残差思想，可以使得深度神经网络的训练更加容易和高效，同时可以提高网络的准确性和泛化能力。残差思想已经被广泛应用于深度学习领域中，如ResNet、DenseNet等深度神经网络模型都采用了残差思想来解决梯度消失和网络退化等问题。

特别地，所述S32，将所述优化客流量全时序关联特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大灯珠的亮度。也就是，在本申请的技术方案中，将所述优化客流量全时序关联特征图作为分类特征图通过分类器以得到用于表示是否增大灯珠的亮度的分类结果。特别地，在本申请的一个具体示例中，将所述优化客流量全时序关联特征图基于行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。在本申请的技术方案中，所述分类器的标签包括增大灯珠的亮度(第一标签)，以及，不增大灯珠的亮度(第二标签)，其中，所述分类器通过软最大值函数来确定所述客流量全时序关联特征图属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“是否增大灯珠的亮度”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2 之和为一。因此，是否增大灯珠的亮度的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“是否增大灯珠的亮度”的语言文本意义。应可以理解，在本申请的技术方案中，所述分类器的分类标签为是否增大灯珠的亮度的控制策略标签，因此，在得到所述分类结果后，可基于所述分类结果来自适应地调整灯珠的亮度，以此来提高商家效益和客户体验。

值得一提的是，在本申请的其他具体示例中，还可以通过其他方式将所述优化客流量全时序关联特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大灯珠的亮度，例如：收集并预处理数据：收集客流量和灯珠亮度的数据，进行数据清洗、特征提取和特征工程等预处理操作；提取时序特征向量：从客流量和灯珠亮度数据中提取时序特征向量，如均值、方差、最大值、最小值等；提取局部邻域时序关联特征：使用局部邻域时序关联特征提取方法，从时序特征向量中提取局部邻域时序关联特征；构建分类器模型：选择适当的分类器模型，如决策树、支持向量机、神经网络等，并使用训练数据对模型进行训练；预测分类结果：使用训练好的分类器模型对测试数据进行分类预测，得到分类结果；判断是否增大灯珠亮度：根据分类结果判断是否需要增大灯珠的亮度，如果分类结果为“是”，则增大灯珠的亮度，否则不进行调整；评估和优化：对模型进行评估和优化，如调整模型参数、调整特征提取方法等，以提高分类器的准确性和鲁棒性。

值得一提的是，在本申请的其他具体示例中，还可以通过其他方式基于所述客流量全时序关联特征图，确定是否增大灯珠的亮度，例如：收集客流量数据：首先需要收集客流量数据，可以通过传感器或监控设备等方式获取；计算客流量时序特征向量：根据收集到的客流量数据，可以计算得到客流量时序特征向量。可以使用局部邻域时序关联特征提取方法，将客流量时序数据转换为时序特征向量；基于客流量时序特征向量构建全时序关联特征图：通过将客流量时序特征向量进行相似性计算，可以构建得到客流量全时序关联特征图；分析客流量全时序关联特征图：对客流量全时序关联特征图进行分析，可以得到客流量的分布情况和变化趋势，判断是否需要增大灯珠的亮度；调整灯珠亮度：根据客流量全时序关联特征图的分析结果，如果需要增大灯珠的亮度，则可以进行相应的调整。

分类器是一种机器学习算法，用于将输入数据分为不同的类别。分类器通常使用训练数据来学习如何将输入数据映射到正确的类别。一旦分类器完成了训练，它就可以用来预测新的未知数据的类别。常见的分类器包括决策树、朴素贝叶斯、支持向量机、逻辑回归等。分类器在很多领域都有广泛的应用，如图像识别、自然语言处理、金融风险评估等。

全连接层是深度神经网络中的一种常见层类型，也称为密集层或全连接层。全连接层的作用是将输入数据的所有特征都连接到输出层的每个神经元上，从而实现特征的非线性组合和转换。在全连接层中，每个输入特征都与每个输出神经元相连，因此该层的参数量非常大。全连接层通常用于分类和回归任务中，可以将输入数据映射到不同的类别或回归值。全连接层也可以用于特征提取和降维等任务中。在深度神经网络中，多个全连接层可以组成一个深度神经网络模型，从而实现更复杂的特征提取和分类任务。

进一步地，还提供一种灯珠的智能控制系统。

图6为根据本申请实施例的灯珠的智能控制系统的框图。如图6所示，根据本申请实施例的灯珠的智能控制系统300，包括：监控视频采集模块310，用于通过摄像头采集预定时间段的客流量监控视频；特征提取模块320，用于从所述客流量监控视频提取客流量全时序关联特征图；控制结果生成模块330，用于基于所述客流量全时序关联特征图，确定是否增大灯珠的亮度。

如上所述，根据本申请实施例的灯珠的智能控制系统300可以实现在各种无线终端中，例如具有灯珠的智能控制算法的服务器等。在一种可能的实现方式中，根据本申请实施例的灯珠的智能控制系统300可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该灯珠的智能控制系统300可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该灯珠的智能控制系统300同样可以是该无线终端的众多硬件模块之一。

替换地，在另一示例中，该灯珠的智能控制系统300与该无线终端也可以是分立的设备，并且该灯珠的智能控制系统300可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。

图7为根据本申请实施例的灯珠的智能控制方法的场景示意图。如图7所示，在该应用场景中，通过摄像头（例如，如图7中所示意的C）获取预定时间段的客流量监控视频。接着，将上述监控视频输入至部署有用于灯珠的智能控制算法的服务器（例如，图7中的S）中，其中，所述服务器能够以所述灯珠的智能控制算法对上述输入的视频进行处理，以生成用于表示是否增大灯珠的亮度的分类结果。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种灯珠的智能控制方法，其特征在于，包括：

通过摄像头采集预定时间段的客流量监控视频；

从所述客流量监控视频提取客流量全时序关联特征图；

基于所述客流量全时序关联特征图，确定是否增大灯珠的亮度；

其中，从所述客流量监控视频提取客流量全时序关联特征图，包括：

对所述客流量监控视频进行视频切分以得到多个客流量监控视频片段；

分别对所述多个客流量监控视频片段进行稀疏采样以得到多个客流量监控稀疏化视频片段；以及

对所述多个客流量监控稀疏化视频片段进行时序分析以得到所述客流量全时序关联特征图。

2.根据权利要求1所述的灯珠的智能控制方法，其特征在于，对所述多个客流量监控稀疏化视频片段进行时序分析以得到所述客流量全时序关联特征图，包括：

通过基于深度神经网络模型的客流量时序特征提取器对所述多个客流量监控稀疏化视频片段进行特征提取以得到多个客流量时序特征图；

对所述多个客流量时序特征图进行关联编码以得到所述客流量全时序关联特征图。

3.根据权利要求2所述的灯珠的智能控制方法，其特征在于，所述深度神经网络模型为三维卷积神经网络模型。

4.根据权利要求3所述的灯珠的智能控制方法，其特征在于，对所述多个客流量时序特征图进行关联编码以得到所述客流量全时序关联特征图，包括：将所述多个客流量时序特征图沿着通道维度进行聚合为客流量全时序特征图后通过基于卷积层的客流量时序关联特征提取器以得到所述客流量全时序关联特征图。

5.根据权利要求4所述的灯珠的智能控制方法，其特征在于，基于所述客流量全时序关联特征图，确定是否增大灯珠的亮度，包括：

基于残差思想对所述客流量全时序关联特征图进行特征分布优化以得到优化客流量全时序关联特征图；以及

将所述优化客流量全时序关联特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大灯珠的亮度。

6.根据权利要求5所述的灯珠的智能控制方法，其特征在于，基于残差思想对所述客流量全时序关联特征图进行特征分布优化以得到优化客流量全时序关联特征图，包括：

以如下优化公式对所述客流量全时序特征图和所述客流量全时序关联特征图进行全局上下文空间关联富化融合以得到所述优化客流量全时序关联特征图；

其中，所述优化公式为：

其中，/>和/>分别是所述客流量全时序特征图和所述客流量全时序关联特征图的第/>个特征矩阵，/>是所述优化客流量全时序关联特征图的第i个特征矩阵，/>和/>分别是矩阵乘法和矩阵加法。

7.根据权利要求6所述的灯珠的智能控制方法，其特征在于，将所述优化客流量全时序关联特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大灯珠的亮度，包括：

将所述优化客流量全时序关联特征图基于行向量或列向量展开为分类特征向量；

使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及

将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

8.一种灯珠的智能控制系统，其特征在于，包括：

监控视频采集模块，用于通过摄像头采集预定时间段的客流量监控视频；

特征提取模块，用于从所述客流量监控视频提取客流量全时序关联特征图；以及

控制结果生成模块，用于基于所述客流量全时序关联特征图，确定是否增大灯珠的亮度；

其中，所述特征提取模块，包括：

对所述客流量监控视频进行视频切分以得到多个客流量监控视频片段；

分别对所述多个客流量监控视频片段进行稀疏采样以得到多个客流量监控稀疏化视频片段；以及

对所述多个客流量监控稀疏化视频片段进行时序分析以得到所述客流量全时序关联特征图。