CN111447497A - 智能播放设备及其节能控制方法 - Google Patents

智能播放设备及其节能控制方法 Download PDF

Info

Publication number
CN111447497A
CN111447497A CN202010332568.9A CN202010332568A CN111447497A CN 111447497 A CN111447497 A CN 111447497A CN 202010332568 A CN202010332568 A CN 202010332568A CN 111447497 A CN111447497 A CN 111447497A
Authority
CN
China
Prior art keywords
energy
face
image
eye
saving control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010332568.9A
Other languages
English (en)
Inventor
林鸿飞
乔国坤
周有喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Aishen Yingtong Information Technology Co Ltd
Original Assignee
Shenzhen Aishen Yingtong Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Aishen Yingtong Information Technology Co Ltd filed Critical Shenzhen Aishen Yingtong Information Technology Co Ltd
Priority to CN202010332568.9A priority Critical patent/CN111447497A/zh
Publication of CN111447497A publication Critical patent/CN111447497A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436—Power management, e.g. shutting down unused components of the receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种智能播放设备及其节能控制方法，所述节能控制方法包括：在智能播放设备播放状态下，实时获取朝向智能播放设备屏幕的观看区域的图像；对所述图像进行人脸识别，判断是否检测到人脸；若未识别到人脸，则在持续未识别到人脸的时间达到人脸阈值时间后，控制所述智能播放设备进入节能模式；若识别到人脸，则进一步对识别到人脸的所述图像进行眼部状态识别；若眼部状态为闭眼状态，则在闭眼状态持续时间达到闭眼阈值时间后，控制所述智能播放设备进入节能模式。上述智能播放设备及其节能控制方法能够降低电能浪费。

Description

智能播放设备及其节能控制方法
技术领域
本申请涉及智能控制技术领域，具体涉及一种智能播放设备及其节能控制方法。
背景技术
智能播放设备，特别是智能电视在家庭使用频率非常高，人们通过它可以观看新闻、电影等多媒体内容。随着智能电视提供的内容与功能越来越丰富，用户每天使用智能电视的时间也逐渐增加。而随着人们生活水平的提供，使用的电视尺寸也不断变大，电视机的功耗也不断变大。
用户在使用过程中，经常会出现用户长时间不在电视机或其他智能播放设备的观看范围内，或者即便在观看范围内，但是实际并未在观看的情况。例如：观看过程中接听电话离开、因疲劳而睡着等。如果使用者并未在观看播放内容，而播放设备依然在播放，则会造成电能的浪费。
发明内容
鉴于此，本申请提供一种智能播放设备及其节能控制方法，以解决现有的智能播放设备的电能浪费问题。
本发明的技术方案提供的一种智能播放设备的节能控制方法，包括：实时获取朝向智能播放设备屏幕的观看区域的图像；对所述图像进行人脸识别，判断是否检测到人脸；若未识别到人脸，则在持续未识别到人脸的时间达到人脸阈值时间后，控制所述智能播放设备进入节能模式；若识别到人脸，则进一步对识别到人脸的所述图像进行眼部状态识别；若眼部状态为闭眼状态，则在闭眼状态持续时间达到闭眼阈值时间后，控制所述智能播放设备进入节能模式。
可选的，所述人脸阈值时间包括：两个以上不同的人脸子阈值时间；所述闭眼阈值时间包括：两个以上不同的闭眼子阈值时间；所述节能模式，包括两个以上的子节能模式，分别与所述人脸子阈值时间、闭眼子阈值时间，一一对应。
可选的，还包括：在所述闭眼状态持续时间小于闭眼阈值时间时，若再次无法识别到人脸，则重置所述闭眼状态持续时间，进行未识别到人脸的持续时间的计时。
可选的，还包括：在人脸识别过程中，进行活体识别；进行所述活体识别的方法包括：所述图像包括红外图像，采用所述红外图像进行活体识别；或者，所述图像包括RGB图像，通过活体识别模型对RGB图像进行人脸识别的同时进行活体识别。
可选的，针对不同用户，对所述人脸阈值时间、所述闭眼阈值时间以及所述节能模式进行自定义设置；在所述人脸识别过程中进行用户身份识别，采用与所述用户身份对应的自定义设置进行所述节能控制。
可选的，还包括：在控制所述智能播放设备进入节能模式之前，进行倒计时提醒。
可选的，所述图像包括RGB图像以及红外图像中的至少一种。
可选的，在对所述图像进行人脸识别之前，还包括对环境亮度进行检测，在当前环境亮度满足要求时，进行所述人脸识别。
可选的，对环境亮度进行检测的方法包括：通过光线传感器对环境亮度进行检测，获取亮度信息；或者，根据所述图像的各像素点数据，获取环境亮度信息。
为解决上述问题，本发明的技术方案还提供一种智能播放设备，包括：存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序可用于被所述处理器执行，所述处理器用于根据所述计算机程序执行上述任一项所述的节能控制方法的步骤。
本发明的智能播放设备的节能控制方法能够通过检测观看区域内是否有观看用于的人脸图像，以及眼部状态，进行节能控制，减少用于未在观看时，智能播放设备持续播放导致的电能浪费。
进一步的，在进行图像识别之前，还可以进行环境亮度检测，在环境亮度足够的情况下，进行节能控制，可以提高人脸以及眼部状态识别的准确性，提高用户体验。
进一步的，在人脸识别过程中，还包括活体识别，可以排除观看区域内的人物图片的影响，提高人脸识别准确性。
进一步的，在控制智能设备进入节能模式前，进行倒计时提醒，给予用户取消的时间，可以纠正误识别带来的误操作。
附图说明
图1是本发明一实施例的智能播放设备的节能控制方法的流程示意图；
图2是本发明一实施例的智能播放设备以及观看区域的俯视示意图；
图3是本发明一实施例的智能播放设备的节能控制方法的流程示意图；
图4是本发明一实施例的智能播放设备的结构示意图。
具体实施方式
如背景技术中所述，现有技术的智能播放设备无法根据用户的观看状态及时进行节能调整，容易进行无效播放，导致电能浪费。为了解决上述问题，申请人提出一种新的智能播放设备及其节能控制方法，以实现对智能播放设备的节能控制。
下面结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，下述各个实施例及其技术特征可以相互组合。
请参考图1，为本发明一实施例的智能播放设备的节能控制方法。
该实施例中，所述节能控制方法包括如下步骤：
步骤S101:实时获取朝向智能播放设备的观看区域的图像。
所述智能播放设备可以为智能电视、电脑、平板电脑等播放设备。所述智能播放设备的播放状态可以播放流媒体文件，例如播放视频或音频等。
本发明的实施例中，以智能电视作为示例进行描述。在智能播放设备播放状态下，实时获取所述观看区域的图像。所观看区域为用户观看播放内容时通常所在的区域，朝向智能播放设备屏幕。
如图2中所示为本发明一实施例的智能电视及观看区域的俯视示意图。
该实施例中，智能电视201的观看区域202为智能电视201屏幕与墙面203之间的一个扇形区域。所述扇形区域的位置及尺寸仅作为示意，根据智能播放设备的不同，所述观看区域的范围也可以进行调整。
所述观看区域的设置，可以由用户根据观看习惯进行自定义设定，能够更为准确的判断用户是否处于正常的观看范围内。也可以根据智能播放设备的屏幕的可视角度，设置所述观看范围的扇形区域的角度。准确限定观看区域的范围，可以提高节能控制的准确性和有效性，并且尽可能降低后续图像处理的数据处理量。
在一个实施例中，可以通过所述智能播放设备内置的摄像头获取所述观看区域202内的图像。在其他实施例中，也可以通过外置的摄像头，例如固定于所述智能播放设备顶部的摄像头或者固定于智能设备所在空间内的其他位置处的摄像头，获取所述图像。所述摄像头与智能播放设备之间，可以通过实体的线路连接，通过有线的方式将摄像头获取的图像数据传输至所述智能播放设备；在其他实施例中，所述摄像头可以具备无线传输模块，例如WIFI模块、蓝牙模块、红外传输模块等，与所述智能播放设备的无线传输模块之间建立数据连接，通过无线传输方式，将所述摄像头获取的图像数据传送至所述智能播放设备。所述摄像头可以是播放场所中，原有的设置的摄像头，通过无线模块的连接，获取摄像头获取的图像。在其他实施例中，也可以额外配置专用的摄像头，用于进行所述节能控制。
所述摄像头可以为广角摄像头，从而可以获取较大范围的观看区域的图像。所述摄像头可以为单独的RGB摄像头，获取的图像为RGB图像；所述摄像头还可以为红外摄像头，获取的图像为红外图像，采用红外摄像头可以不受环境亮度的限制，实现对人脸及眼部的准确识别。在另一些实施例中，可以同时采用RGB摄像头和红外摄像头，分别获取RGB图像和红外图像，可以根据当前环境亮度情况，选择性的调用所述红外摄像头获取红外图像。当环境亮度较暗的情况下，采用红外图像，可以弥补RGB图像成像质量较差的缺点，从而可以更为准确的进行后续的人脸识别以及眼部状态识别的操作。
由于摄像头的焦距具有一定的范围限制，因此，可以根据观看区域与摄像头之间的距离范围，选择具有合适焦距范围的摄像头，以使得所述摄像头的焦距范围能够范围覆盖整个观看区域；也可以在启动节能控制功能时，根据摄像头的实际的焦距范围，提醒用户处于合理的距离范围内，以避免后续人脸检测过程中发生误判。
步骤S102:对所述图像进行人脸识别，判断是否检测到人脸。
通过人脸识别算法对所述图像的数据进行分析，判断图像的画面中，是否有人脸存在。由于人脸图形具有明显的特征，两个眼睛、鼻子、嘴巴，各个特征以及各个特征之间存在一定的空间位置关系，从而通过对图像内各像素的数据分析，抓取多个特征点信息，与对应的符合人脸要求的特征点的特征信息之间进行对比，差异小于一定阈值的情况下，可以认为所述图像内存在有人脸。
在一个实施例中，通过深度学习的人脸识别技术，具体的，通过对多个人脸图像的不断学习，建立人脸识别模型，通过人脸识别模型对所述图像进行人脸识别，首先提取图像局部区域的量化转换特征，通过级联不同的弱分类器，形成一个强分类器，对提取的特征进行人脸和非人脸的分类，从而实现对人脸的检测。
将图像分割成多个块状的局部区域，所述量化转换特征为所述局部区域中的对光照不敏感的特征算子。假设x为图像中的一个像素点，M(x)是局部区域|M(x)＝M|中的一组像素点，对于灰度图像P(x)，P(x)＝aE(x)R(x)+b，其中，E(x)为照度，R(x)为反射率a、b分别表示摄像头对图像影响的增益因子和偏置。
假定局部区域内的照度E(x)是均匀的，则E(x)＝E，
Figure BDA0002465485520000061
对于强分类器内的一个弱分类器的阈值函数为：
Figure BDA0002465485520000062
其中w代表一个局部区域，D(x)代表该局部区域的量化转换特征，hnf代表非人脸的查找表，hf表示人脸区域的查找表，由此简化为综合查找表：hx＝hx nf-hx f。让训练数据库包含的量化转换特征Di(x)包含i＝1，2，……，N个特征块，每个特征块对应的人脸类别用Ci表示。人脸表和非人脸表通过Winnow更新规则来训练。
设定：阈值η，提升因子ν>1，下降因子0<ρ<1。若Ci表示人脸，人脸查找表构建如下：hx f(Di(x))＝νhx f(Di(x)),
Figure BDA0002465485520000063
若Ci表示非人脸，则人脸查找表构建如下：hx f(Di(x))＝ρhx f(Di(x)),
Figure BDA0002465485520000064
通过不断的迭代完成训练，直到分类结果不再变化。可以采用相同的训练过程，实现对非人脸的查找表的训练。
进一步的，可以通过将特征值划分为多个子集，子集
Figure BDA0002465485520000071
来构建更多的弱分类器，多个弱分类器级联构成强分类器，每个弱分类器进行迭代检测，直到达到完整的分类。子集W”可以直接利用子集W'的分类结果，多个子集的情况下，每个子集内的特征值较少，可以提高检测的正确率。
在其他实施例中，也可以采用其他方式进行人脸识别，在此不作限定。本领域技术人员，可以根据智能播放设备的处理器的计算能力，选择合适的人脸识别技术。
所述节能控制可以仅在智能播放设备进行播放的状态下进行，在智能播放设备播放的过程中，可以通过摄像头以一定帧率，实时获取观看区域的图像，并将图像数据传输至所述智能播放设备，所述帧率通常为30帧/秒，在其他实施例中，也可以为20～50帧/秒，不同的摄像头获取图像的帧率可以不同。由于对图像进行人脸识别，需要耗费一定的数据处理时间，通常无法对每一帧的图像均进行人脸识别。在一些实施例中，通常仅会对每秒获取的多帧图像内的部分帧数的图像进行人脸识别，例如每秒处理其中的10～15帧图像。可以根据处理器的运算能力，调整每秒处理的图像帧数。
若在步骤S102中未识别到人脸，则执行步骤S103:在持续未识别到人脸的时间达到人脸阈值时间后，控制所述智能播放设备进入节能模式。
在对图像进行连续识别过程中，首次未检测到人脸时，开始人脸检测计时，随着对后续图像的人脸识别过程，记录持续未识别到人脸的时间，当持续未识别到人脸的时间到达预设的人脸阈值时间后，控制所述智能播放设备进入节能模式。
所述节能模式可以为待机模式、休眠模式或关机等多种状态，与正常播放状态相比，节能模式的能耗更低，能够减少电能浪费。当用户开启节能控制的功能时，可以直接采用对各种节能模式提供预设的默认设置，也可以向用户提供可自定义设置的菜单，以便于用户进行自定义设置。用户可以对节能模式下的智能播放设备的工作状态进行自定义设置，例如设置智能播放设备的屏幕、喇叭、网络、后台运行程序等各项软件、硬件的运行状态。
所述人脸阈值时间可以为15min、30min、60min或90min等，用户可以根据具体的需求进行合理设置。例如，用户不希望频繁切换智能播放设备的状态时，可以采用较长的人脸阈值时间。
如果在未检测到人脸的持续时间还未到达人脸阈值时间时，再次检测到人脸，那么人脸检测计时的时间重置，不作任何处理。
在一些实施例中，所述人脸阈值时间还可以包括两个以上不同的人脸子阈值时间；相应的，所述节能模式，包括两个以上的子节能模式，分别与所述人脸子阈值时间一一对应。
在一个实施例中，所述人脸阈值时间包括：第一人脸子阈值时间，为20min；第二人脸子阈值时间，为40min。所述节能模式包括：第一子节能模式和第二子节能模式。所述第一子节能模式下，降低屏幕亮度、以及降低音量。所述第二子节能模式下，设备待机，停止播放，切断内存以外其他组件的电源。当未检测到人脸的持续时间达到20min后，进入第一子节能模式；如还未检测到人脸，则继续计时，当未检测到人脸的持续时间达到40min后，进入第二子节能模式。
用户可以根据实际需求，设置人脸子阈值时间的数量以及对应的时间、各个子节能模式的具体设置，以及各人脸子阈值时间与各个子节能模式之间的对应关系等。通常可以梯度设置各人脸子阈值时间，以及梯度设置各子节能模式的节能效率。
若在步骤S102中，识别到图像中存在一个或多个人脸，则进行步骤S104:对识别到人脸的所述图像进行眼部状态识别。为了减少眼部识别的数据处理量，可以进一步对步骤S102中检测到有人脸的图像中的人脸所在的局部图像数据进行处理，进行眼部状态识别。
眼部状态通常包括：睁眼状态、闭眼状态以及无法识别状态。根据睁眼、闭眼的眼部特征，通过图像识别，可以实现对眼部状态的识别。对于所述睁眼状态，表示用户正在观看播放内容，无需进入节能模式；对于闭眼状态，表示用户可能没有在观看；而对于所述无法识别状态，通常是用户佩戴有墨镜或者眼部图像数据较为模糊，无法对眼部状态进行准确识别，这种情况下，为了避免误操作，也无需对智能播放设备的工作状态进行调整。当观看区域内同时存在多个用户在观看时，即步骤S102中，检测到多个人脸时，需要对每个人脸图像进行眼部状态识别，只有当所有人脸图像中的眼部状态均为闭眼状态时，才会进行步骤S105，否则不作处理。
在一些实施例中，在进行眼部状态识别的过程中，首先定位出双眼的位置坐标，再进行双眼状态的判断。具体的，在进行双眼位置定位的过程中，首先对图像进行转灰度、滤波等预处理，然后利用图像的灰度信息进行图像纹理特征的提取，从而根据眼部的特殊纹理特征，定位眼部的位置；然后再通过分类器，对眼部状态进行分类，获取眼部状态。
为了提高眼部状态识别的准确性，首先需要对眼部进行准确的定位。由于灰度图像中灰度值的大小可以很好的表现出图像中物体的表面纹理特征，因此灰度图像的质量，决定了眼部状态识别的准确性。在一个实施例中，为了提高眼部状态识别的准确性，在获得灰度图像之后，首先对所述灰度图像进行滤波处理，具体的，采用具有空间和频率具有较强分辨能力的滤波器进行平滑滤波处理，例如采用嘉博滤波函数：
Figure BDA0002465485520000101
其中，γ为嘉博滤波的波纹宽度，α为滤波的方向角度，δ为滤波器在空间域内的面积。在一些实施例中，基于由于观看区域范围，所述γ范围可以为4.5～5，α为0～2，δ为3～4。可以通过调整上述参数，来适应不同的观看区域的图像。
将滤函数与初始的灰度图像进行卷积运算，得到获得滤波处理后的图像。滤波后人脸的灰度图像的灰度值构成二次曲面，由于眼睛区域的灰度值通常较低，在二次曲面上体现为谷点。其中二次曲面函数为：F＝f(x,y)，其梯度为：
Figure BDA0002465485520000102
其二阶哈塞矩阵为：
Figure BDA0002465485520000103
计算上述哈塞矩阵的特征值得到H＝UDUT＝[u1,u2]·diag(k1,k2)·[u1,u2]T
其中，k1和k2是矩阵的特征值，u1和u2是特征向量。梯度
Figure BDA0002465485520000104
的最小值处为谷点，从而可以根据二次曲面的梯度以及哈塞矩阵的特征值，可以判断出图像中的各种类型的二次曲面及谷点位置，进而识别出人眼区域。
再将人眼区域的图像输入预先训练好的分类器，对眼部状态进行识别。分类器内预先设定有三种状态：睁眼、闭眼以及无法识别，通过输入的人眼区域的特征向量。可以基于Adaboost算法进行训练构建若干弱分类器级联形成的强分类器作为所述眼部状态分类器，以提高识别的准确性。通过分类器对人眼区域进行状态识别后，输出眼部状态识别结果。若检测到眼部状态为闭眼状态后，进行步骤S105:在闭眼状态持续时间达到闭眼阈值时间后，控制所述智能播放设备进入节能模式。由于用户在观看过程中，会出现眨眼，识别到的闭眼状态可能是用户正常眨眼过程的闭眼状态，无法作为判断用户未在观看的直接证据。只有用户在一段时间内持续闭眼状态，才能确定用户未在观看。
具体的，在首次检测到眼部为闭眼状态后，开始闭眼计时，记录持续检测到闭眼状态的时间，当闭眼状态的持续时间达到闭眼阈值时间后，控制所述智能播放设备进入节能模式。
所述闭眼阈值时间可以为15min、30min、60min或90min等，用户可以根据具体的需求进行合理设置。例如，用户不希望频繁切换智能播放设备的状态时，可以采用较长的闭眼阈值时间。通常，用户在闭眼状态下，睡着状态的可能性较高，短时间内不会再进行观看，与人脸阈值时间相比，可以适当降低闭眼阈值时间，尽快控制智能播放设备进入节能模式。
如果在闭眼状态的持续时间还未到达闭眼阈值时间时，再次检测到睁眼状态，那么闭眼状态的计时重置，不作任何处理。
在一些实施例中，所述闭眼阈值时间还可以包括两个以上不同的闭眼子阈值时间；所述节能模式，包括两个以上的子节能模式，分别与所述闭眼子阈值时间一一对应。
在一个实施例中，所述闭眼阈值时间包括：第一闭眼子阈值时间和第二闭眼子阈值时间。所述第一闭眼子阈值时间为10min，所述第二闭眼子阈值时间，为30min。所述节能模式包括：第一子节能模式和第二子节能模式。所述第一子节能模式包括降低屏幕亮度、以及降低音量；第二子节能模式包括设备待机，停止播放，切断内存以外其他组件的电源。当检测到闭眼状态持续时间达到10min后，进入第一子节能模式；如依旧检测闭眼状态，则继续计时，当检测到闭眼状态持续时间达到20min后，进入第二子节能模式。用户可以根据实际情况对节能控制的具体内容进行配置，包括所述闭眼子阈值时间的数量以及对应的时间、子节能模式的具体设置，以及各闭眼子阈值时间与各子节能模式之间的对应关系等。通常可以梯度设置各闭眼子阈值时间，以及梯度设置各子节能模式的节能效率。
在一些实施例中，在所述闭眼状态持续时间小于闭眼阈值时间时，若再次无法识别到人脸，则需要重置所述闭眼状态持续时间，执行步骤S103，进行未识别到人脸的持续时间的计时。例如，用户在观看电视过程中睡着，中途又因为其他原因醒来并离开观看区域，此时图像识别的结果，可能直接从闭眼状态转变为未检测到人脸的状态，此时需要重置所示闭眼状态的持续时间的计时，重新进行人脸检测计时，并根据持续未识别到人脸的时间，判断是否需要控制智能播放设备进入节能模式。
通过设置多个人脸子阈值时间和/或多个闭眼子阈值时间、子节能模式，能够更灵活的对智能播放设备进行节能控制，在短时间未检测到人脸或闭眼状态时，可以暂时通过调整亮度、音量等方式降低功耗；而在长时间未检测到人脸时，再停止播放，进入待机或休眠等深度节能模式，避免频繁停止播放，对用户带来不便。
在一些实施例中，步骤S102中，还可以在识别到人脸后，进一步进行用户身份识别，将人脸特征信息与预设的用户特征信息进行匹配，从而识别用户的身份。可以针对不同用户的节能控制的配置内容，进行符合用户习惯的节能控制。具体的，不同的用户，可以根据自身的需求进行节能控制的各项配置，形成与用户身份之间一一映射的自定义配置文件，所述配置文件内包括人脸阈值时间、闭眼阈值时间以及节能模式的具体设置等各项配置参数。当人脸识别匹配到特定用户时，调用相应的配置文件，根据当前用户自定义的控制条件进行节能控制，从而使得整个节能控制过程更符合当前观看用户的习惯。
对于无法识别用户身份的情况，则可以调用默认的配置文件，根据默认的控制条件，进行节能控制。
在一些实施例中，可以在节能模式下或者在部分子节能模式下，依旧可以进行图像获取以及图像识别。即便由于持续未检测人脸或者用户持续为闭眼状态，进入了节能模式，但是，对于图像的人脸识别以及眼部识别依旧持续进行，一旦再次检测到人脸并且眼部为睁眼状态时，可以及时将智能播放设备恢复至进入节能模式前的播放状态和内容。
请参考图3，为本发明另一实施例的智能播放设备的节能控制的流程示意图。
该实施例中，获取的观看区域的图像为RGB图像，在对图像进行人脸识别之前，首先执行步骤S301:判断亮度是否足够。具体的，包括：对环境亮度进行检测，然后将检测的亮度值与设定的亮度阈值进行比较，当大于等于所述亮度阈值时，所述环境亮度足够。在一些实施例中，可以通过光线传感器对环境亮度进行检测，以获取亮度信息，用于判断环境亮度是否足够；在另一些实施例中，还可以通过对获取的图像进行预处理，根据所述图像的各像素点的数据中与环境光强度相关的信息，获取环境亮度信息，从而判断环境强度是否足够。在其他实施例中，所述图像为红外图像，由于红外图像以来红外光线成像，因此无需进行亮度检测和判断。
在当前环境亮度不满足要求时，此时无法进行有效的人脸识别，为了避免出现误操作，执行步骤S302：不作处理。在另一些实施例中，在环境亮度不满足要求时，还可以进一步调用红外摄像头，获取红外图像，以继续进行后续的图像识别。
在亮度足够的情况下，执行步骤S303:对图像进行人脸识别，进一步的，该步骤中，还包括进行活体识别。由于在家庭空间内，墙上或置物台上可能会放置有人物照片，照片中的人物头像容易被识别为在观看区域内出现的观看用户的脸部。
为了避免误识别，步骤S303中，在进行人脸识别的过程中，还进行活体识别。
在一个实施例中，所述图像为RGB图像，可以通过深度学习训练建立的活体识别模型对RGB图像进行人脸识别，在实现人脸图像识别的同时进行活体识别。可以基于傅里叶频谱分析的方法来区分活体人脸和照片，照片的高频分量应该小于活体人脸的成像，通过高频描述子可以计算高频分量在总能量中的比例。通过计算高频分量的比例，可以对人脸进行活体识别。高频分量的计算方式如下：
Figure BDA0002465485520000141
其中，F(u，v)为人脸图像的傅立叶变化，fmax是F(u，v)中的最高频，Tf是阈值。
在其另一些实施例中，在RGB图像的基础上，还可以进一步结合红外图像，辅助RGB图像进行活体识别。由于人体的温度与周围环境的不同，通过红外图像，能够较为准确的检测出图像中的人脸是否为活体人脸。在另一些实施例中，仅通过红外图像进行人脸识别，可以在进行人脸识别的同时，判断是否为活体。
不管人脸识别结果如何，步骤S303始终持续进行，不断对后续实时获取的图像进行人脸识别。
在步骤S303后，执行步骤S304:判断是否探测到人脸。
若未探测到人脸，则执行步骤S305：开始人脸检测计时，以及后续步骤S306:持续进行人脸检测计时；在计时过程中，执行步骤S307:判断人脸检测计时的时间是否达到人脸阈值时间，若否，则继续进行人脸检测计时，直至人脸检测时间达到人脸阈值时间。
若探测到人脸，则执行步骤S309:人脸计时重置，即把人脸检测计时归0，并继续执行步骤S310:识别眼部状态，以及步骤S311:判断是否为闭眼状态。
若不是闭眼状态，包括睁眼状态和无法识别状态，执行步骤S316:闭眼计时重置；若是闭眼状态，则执行步骤S312:开始闭眼计时，以及步骤S313:持续进行闭眼计时。并且，在闭眼计时过程中，判断闭眼状态时间是否达到闭眼阈值时间(步骤S314),若未达到，则继续进行闭眼计时，直至闭眼状态持续时间达到闭眼阈值时间。
该实施例中，在人脸检测时间达到人脸阈值时间后，以及闭眼状态持续时间达到闭眼阈值时间后，还分别包括步骤S308、步骤S314：提醒用户并进行倒计时。
倒计时的时长可以由用户进行设置，例如可以为1min、2min等，可以在播放屏幕上显示如下提醒“发现您已离开，1分钟后进入休眠模式”、“发现您已闭眼，1分钟后进入休眠模式”等，并提供“取消”按键，以便用户进行取消操作。
若在倒计时结束时间内，用户取消了进入休眠模式的操作，那么，将所述人脸探测计时、闭眼计时均重置。若在步骤S308的倒计时结束时间内，若重新检测到人脸，则执行步骤S309:人脸计时重置，以及继续进行步骤S309的后续步骤。若在步骤S315的倒计时结束时间内，若检测到睁眼状态或者出现未检测到人脸，则执行步骤S316:闭眼计时重置。
如果在倒计时阶段内，用户未进行任何操作，以及人脸识别和闭眼状态均未发生改变，则倒计时结束后，执行步骤S317:控制智能播放设备进入节能模式。
该实施例中，在进行图像识别之前，进行了环境亮度检测，可以提高人脸以及眼部状态识别的准确性，提高用户体验；进一步的，在人脸识别过程还包括活体识别，可以排除观看区域内的人物图片的影响，提高人脸识别准确性。进一步的，在控制智能播放设备进入节能模式前，进行倒计时提醒，给予用户取消的时间，可以纠正误识别带来的误操作。
本发明的具体实施方式还提供一种能够进行上述节能控制的智能播放设备。
请参考图4，为本发明一实施例的智能播放设备的结构示意图。
该实施例中，所述智能播放设备400，包括：存储器401以及处理器402。所述存储器401中储存有计算机程序，所述计算机程序由于被所述处理器402执行，所述处理器402用于执行如上述实施例中的节能控制方法。
本发明在另一实施例中，还可以提供一种能够进行节能控制的智能播放系统。
所述智能播放系统可以包括如图4所示的智能播放设备，以及用于获取图片的摄像头，所述摄像头在空间上可以集成于所述智能播放设备内，也可以固定于所述智能播放设备的外壳表面、或者所述摄像头还可以与所述智能播放设备分离设置。所述智能播放系统可以包括RGB摄像头或者红外摄像头中的一种或两种。
在另一实施例中，所述智能播放系统还可以包括光线传感器，用于对环境亮度进行检测，并将环境亮度信息反馈给所述智能播放设备。所述光线传感器，可以集成于所述智能播放设备内部，或者集成于所述摄像头上，或者可以与所述智能播放设备分离设置。所述光线传感器可以通过有线或无线方式，将传感数据传输给所述智能播放设备。
上述智能播放设备，能够通过检测观看区域内是否存在人脸，以及人脸的眼部状态，进行节能控制，减少用于未在观看时，智能播放设备持续播放导致的电能浪费。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，例如各实施例之间技术特征的相互结合，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种智能播放设备的节能控制方法，其特征在于，包括：
实时获取朝向智能播放设备屏幕的观看区域的图像；
对所述图像进行人脸识别，判断是否检测到人脸；
若未识别到人脸，则在持续未识别到人脸的时间达到人脸阈值时间后，控制所述智能播放设备进入节能模式；
若识别到人脸，则进一步对识别到人脸的所述图像进行眼部状态识别；
若眼部状态为闭眼状态，则在闭眼状态持续时间达到闭眼阈值时间后，控制所述智能播放设备进入节能模式。
2.根据权利要求1所述的节能控制方法，其特征在于，所述人脸阈值时间包括：两个以上不同的人脸子阈值时间；所述闭眼阈值时间包括：两个以上不同的闭眼子阈值时间；所述节能模式，包括两个以上的子节能模式，分别与所述人脸子阈值时间、闭眼子阈值时间，一一对应。
3.根据权利要求1所述的节能控制方法，其特征在于，还包括：在所述闭眼状态持续时间小于闭眼阈值时间时，若再次无法识别到人脸，则重置所述闭眼状态持续时间，进行未识别到人脸的持续时间的计时。
4.根据权利要求1所述的节能控制方法，其特征在于，还包括：在人脸识别过程中，进行活体识别；进行所述活体识别的方法包括：所述图像包括红外图像，采用所述红外图像进行活体识别；或者，所述图像包括RGB图像，通过活体识别模型对RGB图像进行人脸识别的同时进行活体识别。
5.根据权利要求1所述的节能控制方法，其特征在于，还包括：针对不同用户，对所述人脸阈值时间、所述闭眼阈值时间以及所述节能模式进行自定义设置；在所述人脸识别过程中进行用户身份识别，采用与所述用户身份对应的自定义设置进行所述节能控制。
6.根据权利要求1所述的节能控制方法，其特征在于，还包括：在控制所述智能播放设备进入节能模式之前，进行倒计时提醒。
7.根据权利要求1所述的节能控制方法，其特征在于，所述图像包括RGB图像以及红外图像中的至少一种。
8.根据权利要求1所述的节能控制方法，其特征在于，在对所述图像进行人脸识别之前，还包括：对环境亮度进行检测，在当前环境亮度满足要求时，进行所述人脸识别。
9.根据权利要求8所述的节能控制方法，其特征在于，对环境亮度进行检测的方法包括：通过光线传感器对环境亮度进行检测，获取亮度信息；或者，根据所述图像的各像素点数据，获取环境亮度信息。
10.一种智能播放设备，其特征在于，包括：存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序可用于被所述处理器执行，所述处理器用于根据所述计算机程序执行如权利要求1至9中任一项所述的节能控制方法的步骤。
CN202010332568.9A 2020-04-24 2020-04-24 智能播放设备及其节能控制方法 Pending CN111447497A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010332568.9A CN111447497A (zh) 2020-04-24 2020-04-24 智能播放设备及其节能控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010332568.9A CN111447497A (zh) 2020-04-24 2020-04-24 智能播放设备及其节能控制方法

Publications (1)

Publication Number Publication Date
CN111447497A true CN111447497A (zh) 2020-07-24

Family

ID=71653441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010332568.9A Pending CN111447497A (zh) 2020-04-24 2020-04-24 智能播放设备及其节能控制方法

Country Status (1)

Country Link
CN (1) CN111447497A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112188289A (zh) * 2020-09-04 2021-01-05 青岛海尔科技有限公司 用于控制电视的方法及装置、设备
CN112188288A (zh) * 2020-09-04 2021-01-05 青岛海尔科技有限公司 用于控制电视的方法及系统、装置、设备
CN112596615A (zh) * 2020-12-31 2021-04-02 广东富美达科技有限公司 基于led显示屏的ai智能控制系统及其控制方法
CN113569212A (zh) * 2021-07-30 2021-10-29 上海交通大学 基于自动编码器的击键动力学身份认证与识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281064A (zh) * 2013-04-19 2013-09-04 四川长虹电器股份有限公司 一种实现家电节能的方法及装置
CN104349207A (zh) * 2014-11-11 2015-02-11 无锡科思电子科技有限公司 一种基于图像识别的机顶盒自动控制方法
CN104580750A (zh) * 2013-10-18 2015-04-29 上海晨兴希姆通电子科技有限公司 移动终端及节省电量的方法
CN105361776A (zh) * 2015-11-10 2016-03-02 扬州市云帆洁具有限公司 一种具有身份识别功能的马桶

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281064A (zh) * 2013-04-19 2013-09-04 四川长虹电器股份有限公司 一种实现家电节能的方法及装置
CN104580750A (zh) * 2013-10-18 2015-04-29 上海晨兴希姆通电子科技有限公司 移动终端及节省电量的方法
CN104349207A (zh) * 2014-11-11 2015-02-11 无锡科思电子科技有限公司 一种基于图像识别的机顶盒自动控制方法
CN105361776A (zh) * 2015-11-10 2016-03-02 扬州市云帆洁具有限公司 一种具有身份识别功能的马桶

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘鹏等: "用于驾驶疲劳检测的人眼定位及状态判别算法", 《计算机工程与应》 *
施静等: "《学习记忆与机器学习实验原理》", 31 July 2019 *
都伊林: "《智能安防新发展与应用》", 31 July 2018 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112188289A (zh) * 2020-09-04 2021-01-05 青岛海尔科技有限公司 用于控制电视的方法及装置、设备
CN112188288A (zh) * 2020-09-04 2021-01-05 青岛海尔科技有限公司 用于控制电视的方法及系统、装置、设备
CN112188288B (zh) * 2020-09-04 2023-03-14 青岛海尔科技有限公司 用于控制电视的方法及系统、装置、设备
CN112188289B (zh) * 2020-09-04 2023-03-14 青岛海尔科技有限公司 用于控制电视的方法及装置、设备
CN112596615A (zh) * 2020-12-31 2021-04-02 广东富美达科技有限公司 基于led显示屏的ai智能控制系统及其控制方法
CN113569212A (zh) * 2021-07-30 2021-10-29 上海交通大学 基于自动编码器的击键动力学身份认证与识别方法及系统
CN113569212B (zh) * 2021-07-30 2024-04-26 上海交通大学 基于自动编码器的击键动力学身份认证与识别方法及系统

Similar Documents

Publication Publication Date Title
CN111447497A (zh) 智能播放设备及其节能控制方法
WO2020192400A1 (zh) 播放终端的播放控制方法、装置、设备和计算机可读存储介质
TWI729983B (zh) 電子裝置、螢幕調節系統及方法
CN108600809A (zh) 一种智能电视的控制方法、装置、存储介质及智能电视
CN103024338B (zh) 具有图像捕获和分析模块的显示设备
WO2015158087A1 (zh) 一种检测人眼健康状态的方法、装置及移动终端
CN105072327A (zh) 一种防闭眼的人像拍摄处理的方法和装置
CN109639893A (zh) 播放参数调整方法、装置、电子设备和存储介质
CN107273071A (zh) 电子装置、屏幕调节系统及方法
CN108986019A (zh) 肤色调整方法及装置、电子设备、机器可读存储介质
CN107566227A (zh) 家电设备的控制方法、装置、智能设备及存储介质
WO2020192222A1 (zh) 用户场景智能分析方法、装置和存储介质
WO2023065849A1 (zh) 电子设备的屏幕亮度调节方法、装置以及电子设备
CN110825220B (zh) 眼球追踪控制方法、装置、智能投影仪及存储介质
CN110319544A (zh) 环境管理方法、装置和空调
WO2018099247A1 (zh) 一种投影控制方法和装置
CN111667798A (zh) 一种屏幕调节方法及装置
CN112213951A (zh) 一种床垫的联动控制方法及装置
CN107436681A (zh) 自动调节文字的显示大小的移动终端及其方法
CN109151217B (zh) 背光模式调整方法及装置
CN106527657A (zh) 一种自动关闭vr设备的方法和装置
CN113610723B (zh) 图像处理方法及相关装置
CN112188289B (zh) 用于控制电视的方法及装置、设备
CN111953905B (zh) 美颜功能开启方法、装置、电子设备及可读存储介质
CN112188288B (zh) 用于控制电视的方法及系统、装置、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200724

RJ01 Rejection of invention patent application after publication