CN110324949A

CN110324949A - 智能灯系统

Info

Publication number: CN110324949A
Application number: CN201910561152.1A
Authority: CN
Inventors: 马乾力
Original assignee: Shenzhen Micro & Nano Integrated Circuit And System Application Institute
Current assignee: Shenzhen Micro & Nano Integrated Circuit And System Application Institute
Priority date: 2019-06-26
Filing date: 2019-06-26
Publication date: 2019-10-11
Anticipated expiration: 2039-06-26
Also published as: CN110324949B

Abstract

本发明提供一种智能灯系统，包括：至少一个光源，光源开启模块，其用于控制光源中至少一者的开启和关闭，亮度控制模块，其用于控制光源中至少一者的亮度，至少一个图像采集模块，其数量与光源的数量对应，用于采集图像，人体检测模块，用于检测图像中是否有人体的存在，和人脸检测模块，用于检测图像中是否有人脸的存在，其中，在检测到图像中存在人体时，所述光源被开启，其中，在检测到图像中存在人脸时，亮度控制模块调节光源中人脸朝向的那个光源的亮度。

Description

智能灯系统

技术领域

本发明涉及视觉检测领域，更具体地，涉及智能灯系统。

背景技术

随着经济与智能化技术的发展，人们更加提倡节能减排、健康舒适的生活，智能灯由此而生。智能灯通过时间、声音或者是否有人等条件来实施对光源的开启和关闭控制。这种光源控制系统不仅节约能源，还可延长灯具的使用寿命。

现有的智能灯通过搭设红外传感器来检测是否有人存在，但这种方式存在以下缺陷：红外传感器对热源和光源比较敏感，因此易于受到干扰。例如，当人体的红外辐射被遮挡时，传感器很难接收到人体信息。或者，当外界温度较高时，红外传感器灵敏度将大幅度下降，甚至造成短时失灵。

另外，公共场所一般要求光源的亮度较高。因此，当人体面向光源时，强烈的光线会使人体感到不适。

因此，本领域需要一种改进的智能灯，其不仅能准确地检测人体的存在而不受外界因素的过多干扰，还能根据人体的方位来调节光源的亮度（或强度）。

发明内容

本发明所要解决的技术问题在于现有的智能灯精度不足和人脸在面向光源时亮度过高所存在的问题，并提供了一种基于人体图像识别的智能灯系统，包括：至少一个光源，光源开启模块，其用于控制光源中至少一者的开启和关闭，亮度控制模块，其用于控制光源中至少一者的亮度，至少一个图像采集模块，数量与光源的数量对应，用于采集图像，人体检测模块，用于检测图像中是否有人体的存在，和人脸检测模块，用于检测图像中是否有人脸的存在，其中，在检测到图像中存在人体时，所述光源被开启，其中，在检测到图像中存在人脸时，亮度控制模块调节光源中人脸朝向的那个光源的亮度。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

包含在说明书中并构成说明书的一部分的附图例示了本发明的示例性实施例、特征和方面，并且与文字说明一起用来解释本发明的原理。

图1为根据本发明一个方面的智能灯的总体构造的框图。

图2是根据本发明一个方面的对智能灯进行控制的方法的流程图。

图3是根据本发明一个方面的应用场景的示意图。

图4是根据本发明一个方面的应用场景的示意图。

具体实施方式

下面将参照附图详细描述本发明的各种示例性实施例、特征和方面。应当指出，除非另外具体说明，在这些实施例中描述的部件、数字表示和数值的相对配置不限制本发明的范围。应当指出，下面的实施例并不限制权利要求中记载的本发明的范围，并且并非这些实施例中描述的特征的全部组合均是本发明所必须的。

为解决上述问题，本发明提供一种智能灯系统10。如图1所示，电源20与该智能灯系统10相连接，以向该系统10供应电力。具体地，智能灯系统10包括光源100、光源开启模块101、亮度控制模块102、图像采集模块103、人体检测模块104和人脸检测模块105。

作为示例，对光源100的类型没有限制，包括但不限于白炽灯、LED等、节能灯等。光源的个数不做限制。在本申请中，光源优选地为多个。如下文所述的光源开启模块101或亮度控制模块102可以同时用来控制多个光源中的全部光源或部分光源的开启、关闭或亮度调节。

作为示例，光源开启模块101控制光源100的开启和关闭。如下文所述，当检测到图像中存在人体时，则开启光源100中的全部光源或部分光源。在光源已被开启的状态下，若连续预定时间内，例如30秒、60秒、180秒、360秒等，检测不到人体的存在，则光源开启模块101关闭该光源。

作为示例，亮度控制模块102在至少一个光源被开启的情况下工作。在检测到图像中存在人脸时，亮度控制模块102调节光源中人脸朝向的那些光源中的一个或多个的亮度，而不改变系统中其他光源的亮度。作为示例，人脸朝向的光源的亮度被降低到同一亮度。或者，这些人脸朝向的光源的亮度可以依据与人脸的具体而被调节为不同的亮度。例如，人脸朝向的那些光源中距离人脸最近的光源的亮度比人脸朝向的那些光源中距离人脸稍远的光源的亮度要更低一点。再者，也可以仅调节人脸朝向的光源中距离人脸最近的光源或距离人脸预定距离处的光源的亮度。例如，仅调节距离人脸50厘米到1米之间的光源的亮度，而不调节距人脸距离在上述距离之外（距离太近或距离太远）的光源的亮度。

如图3所示，系统中存在3个光源。由于检测到人体的存在，所以3个光源均被开启。同时，由于检测到人脸且人脸朝向第一光源和第二光源，则第一光源和第二光源的强度均被降低。或者，如图4所示，系统中仍存在3个光源且3个光源均被开启。但由于第一光源与人脸距离太近，因此其亮度不被调节，而是仅调节第二光源的亮度。

作为示例，图像采集模块103用于实现图像/视频的获取。图像采集模块103包括但不限于相机、摄像机、摄像头等电子产品。图像采集模块103可以与光源一体设置，也可以独立于光源设置。如在常见的住宅门廊场景下，光源一般设置在门廊天花板的中央以便照亮整个场景，而图像采集模块103可以设置在人体最先出现的位置附近，例如大门上方，以便第一时间感知人体的存在并拍摄人体画面。或者，在商场展区的模式下，光源可以被设置为环绕所述展区的外围和中央。此时，图像采集模块103可以设置在展区的中部，且数量为例如4个或8个以采集展区多个方向上的图像。由于需要检测人脸是否面向光源，因此图像采集模块103的方向优选地设置成使得在人脸面向光源时能拍摄到整个面部的位置。图像采集模块103可以以有线或无线的方式与光源和/或下文具体描述的检测模块相连接，以向他们传输图像或视频。图像采集模块103的数量不是限制性的。可以为系统100中的每个光源设置一个图像采集模块103（如上述的门廊场景）。也可以是系统中的多个光源共用一个图像采集模块103（如上述的展区场景）。这主要依使用场景而定。

根据本发明的一个方面，人体检测模块104用来检测图像采集模块103采集的图像/视频中是否有人体的存在。若检测到有人体存在时，则开启光源中的至少一者；否则，若未检测到有人体存在时，则不开启任何光源。在光源被开启的情况下，仍然继续检测人体的存在。若在光源被开启后的一定时间（例如30秒，180秒（图1所示），5分钟，10分钟等）内未检测到人体的存在，则关闭光源。

优选地，根据应用场景的不同，人体检测步骤所用的方法也不同，这有利于提高本发明方法的运行效率。这些人体检测方法包括光流法、HOG+Haar特征以及SVM分类器。

在一个实施例中，当应用场景中仅含有人体时，采用基于视频的帧移光流法（光流法）检测视频中是否出现了人体。这种方法的优势在于计算速度非常快，消耗资源较少。

在另一个实施例中，当应用场景较为复杂，即可能出现除了人体以外的其他动物（例如猫、狗等具有面部且易于在计算时与人体混淆的动物）时，则采用HOG+Haar特征与SVM分类器同时对是否存在人体进行检测。其中，HOG（Histogram of Oriented Gradient，方向梯度直方图）和Haar特征用于表征人体特征，而SVM（Support Vector Machine，支持向量机）分类器将通过HOG+Haar特征获得的人体特征映射到表征是否有人体存在的二维概率矩阵中以判断是否有人体存在。

作为示例，SVM分类器采用跳帧法和滑窗法（Sliding window）对视频中的图像进行检测以获得人体特征。其中，跳帧法对所有视频获得的图像进行跳帧处理，每隔特定数量的图像对人体特征进行一次检测，例如每5帧、8帧或10帧图像检测一次人体特征。其中，滑窗法每次截取由跳帧法获得的图像的固定尺寸的一部分，通过缩放和滑窗对该图像的各个部分进行检测。

SVM分类器的二维概率矩阵使用大量的训练图像集来训练得到。优选地，训练图像集包含人体图像及非人体图像，通常非人体图像的数量大于人体图像，优选至少2倍于人体图像。例如，人体图像例如为8000+张，非人体图像为16000+张。其他数量的人体图像和非人体图像也是可以的，但要保证数量足够大以确保人体检测的准确性。人体图像可以来自于开源的行人数据集和具有人体定位坐标的图像集。所有人体图像和非人体图像的尺寸不是限制性的，但在优选实施例中，人体图像和非人体图像均具有96×32的尺寸。

根据本发明的一个方面，当根据上述方法检测到人体存在的情况下，开启光源且人脸检测模块开始工作。若检测到人脸的存在时，则亮度控制模块102调节光源中人脸朝向的那些光源的亮度，优选为降低该光源的亮度；否则，若未检测到人脸的存在，则保持光源的亮度不变。当然，在场景需要的情况下，亮度控制模块102还可调高光源的亮度甚至尝试控制光源使其关闭。

优选地，本发明的人脸检测采用改进的人脸检测算法MTCNN（Multi-taskconvolutional neural network，多任务卷积神经网络）。具体地，本发明的MTCNN由第一级网络和第二级网络构成。其中，第一级网络可以看做一个随机森林，每一个树的模型都是一样的。所有输入的图像尺寸均被缩小，并利用P_Net检测图像中类似人脸的所有区域。经由此，大概可以去掉70%与人脸无关的图像。在减少70%的图像的情况下且在减少了第一级网络会检测到疑似人脸区域数量的同时，不会将人脸区域遗漏掉，由此可大大降低算法复杂度。“70%”这个数值要根据具体场景进行设置，包括会出现的最大人数数量、人脸占用的像素点数等。其中，第二级网络用R_Net对第一级网络检测到的人脸进行重新确认，以获得仅包括人脸的图像。这同样大大降低了误警率。与现有MTCNN算法不同的是，本发明的改进的MTCNN不需要第三级网络，即不需要对五官进行检测。

作为示例，第一级网络对图像进行检测时，需要对图像进行不同程度的缩放，对每一个缩放图像都用P_Net进行检测。现有的MTCNN需要采用10个缩放值左右，这是考虑到待测图像中含有的人体较多，而本发明中已将人体提取出来，所以只需采用4个、3个甚至更少数量的缩放值。这样经过第一级网络提取出的疑似人脸区域数量只有现有的MTCNN的五分之一左右，加上本发明中的MTCNN不使用第三级网络，本发明的改进后的MTCNN算法在保持性能的同时，运行速度提高了接近8倍，适用于大部分的嵌入式设备。例如，若利用全志A64芯片，则单帧图像的运行时间由200ms左右提升到20到30ms。

进一步地，第一级网络采用小框架的4层卷积神经网络，输入图像尺寸为12×12×3。第二级网络采用小框架的4层卷积神经网络，输入图像尺寸为24×24×3。作为示例，卷积神经网络的训练方法及参数，具体如下：

卷积层中的卷积核与全连接层使用服从均值为0、标准差为0.1的高斯分布随机数进行初始化。

使用随机梯度下降算法训练权重，批处理大小设置为128，训练时只对70%损失较小的数据进行反向传播。

训练样本使用了15000张正面人脸图，50000张不含人脸图像和50000张部分人脸图像，训练集中正样本，负样本，部分样本三种样本的比例为3：1：1，正面人脸图像来自多个开源的人脸图像集和具有人脸定位坐标的图像集，部分人脸图像大部分通过正面人脸图像的截取获得，将所有数据分别裁剪为12×12×3和24×24×3两种尺寸。

按照一定比例设置数据的训练集、验证集和测试集，在10代的训练后，每一代都进行验证集的测试。本领域技术人员可根据已知的指示设置迭代次数以及训练集、验证集和测试集的比例。

设置全部数据迭代训练周期为1000代。更多（1200代，2000代）或更少（500代，800代）的迭代训练周期也是可以的。

本领域技术人员可以理解，上述训练方法及参数中出现的数据不是限制性的。本领域技术人员可以根据应用场景的不同而采用不同的图像尺寸、训练样本和迭代周期，以保证运算速度和精度同时得到优化。

如图2所示，为本发明的智能灯的控制方法的流程图。首先，接通电源，使各检测模块（包括人体检测模块、人脸检测模块、图像采集模块等）上电开始工作。图像采集模块读取视频/图像。人体检测模块对视频/图像中是否有人体进行判断和分析，人脸检测模块对视频/图像中是否有人脸进行判断和分析。光源开启模块基于人体检测模块的结果来开启和关闭光源，而亮度控制模块基于人脸检测模块的结果来调节光源的亮度或关闭光源。

本发明提出的智能灯结合视频/图像信息，增加人体图像检测步骤，解决了现有智能灯光控制方法对热源和光源比较敏感等问题；同时，加入了人脸检测步骤，可以根据人体的朝向智能调节灯光强度，满足不同场景下对灯光的需求，如家具卖场检测到客人后打开某个区域的家具照明灯光，如客人在体验某个家具的性能时，通过检测人脸的朝向来调节家具照明的灯光，减少因灯光过于强烈造成的不适感。

以上对本发明所提供的智能灯系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种智能灯系统，其特征在于，包括：

至少一个光源，

光源开启模块，其用于控制光源中至少一者的开启和关闭，

亮度控制模块，其用于控制光源中至少一者的亮度，

至少一个图像采集模块，其数量与光源的数量对应，用于采集图像，

人体检测模块，用于检测图像中是否有人体的存在，和

人脸检测模块，用于检测图像中是否有人脸的存在，

其中，在检测到图像中存在人体时，所述光源被开启，

其中，在检测到图像中存在人脸时，亮度控制模块调节光源中人脸朝向的那个光源的亮度。

2.根据权利要求1所述的智能灯系统，其特征在于，光源开启模块被构造为，在光源开启后的一定时间内人体检测模块未检测到人体存在的情况下，关闭光源。

3.根据权利要求1所述的智能灯系统，其特征在于，亮度控制模块被构造为，在检测到人脸存在的情况下，调节人脸面向的方向上、距离人脸预定距离范围内的光源的亮度。

4.根据权利要求1所述的智能灯系统，其特征在于，人体检测步骤包括：

当视频所拍摄的环境中仅可能出现人体时，采用基于视频的帧移光流法来进行人体检测；否则，当视频拍摄的环境中可能出现非人体的生物时，采用HOG+Haar特征与SVM分类器来进行人体检测。

5.根据权利要求4所述的智能灯系统，其特征在于，SVM分类器中的人体训练图像集包括多张人体图像和数量至少2倍于人体图像的非人体图像，所述人体图像和非人体图像的尺寸均为96×32。

6.根据权利要求4所述的智能灯系统，其特征在于，SVM分类器采用跳帧法和滑窗法对视频中的图像进行人体检测。

7.根据权利要求1所述的智能灯系统，其特征在于，人脸检测模块采用如下算法来进行人脸检测步骤，该算法由2个级联网络构成，其中

第一级网络利用P_Net，用于缩小视频拍摄到的图像的尺寸并对其进行处理以产生仅包括类似人脸的候选图像；和

第二级网络利用R_Net，对所有候选图像进行进一步筛选以获得仅包括人脸的图像。

8.根据权利要求7所述的智能灯系统，其特征在于，第一级网络为小框架的4层卷积神经网络，输入图像尺寸为12×12×3，第二级网络为小框架的4层卷积神经网络，输入图像尺寸为24×24×3。