CN110134444B - 控制多媒体设备的方法、装置及多媒体设备 - Google Patents

控制多媒体设备的方法、装置及多媒体设备 Download PDF

Info

Publication number
CN110134444B
CN110134444B CN201810136303.4A CN201810136303A CN110134444B CN 110134444 B CN110134444 B CN 110134444B CN 201810136303 A CN201810136303 A CN 201810136303A CN 110134444 B CN110134444 B CN 110134444B
Authority
CN
China
Prior art keywords
state
multimedia
human body
equipment
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810136303.4A
Other languages
English (en)
Other versions
CN110134444A (zh
Inventor
孙千柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810136303.4A priority Critical patent/CN110134444B/zh
Publication of CN110134444A publication Critical patent/CN110134444A/zh
Application granted granted Critical
Publication of CN110134444B publication Critical patent/CN110134444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/4401Bootstrapping
    • G06F9/4406Loading of operating system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/4401Bootstrapping
    • G06F9/442Shutdown
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请涉及一种控制多媒体设备的方法、装置、计算机可读存储介质和多媒体设备,所述方法包括:当检测到多媒体设备的有效范围内存在活体时,获取图像数据;当检测到所述图像数据中包含有人脸时,获取人体状态;根据所述人体状态控制所述多媒体设备开启或关闭。通过三步法,当检测到存在活体时则获取图像数据,当图像数据中包含有人脸时则获取人体状态,再根据人体状态对多媒体设备进行相应的控制,实现了在不依赖于人为主动干预的情况下,自行根据当前使用多媒体设备的用户的状态进行开关闭的控制决策,实现对多媒体设备的控制,减少了对人为行动的依赖性,也提高了对多媒体设备的控制性。

Description

控制多媒体设备的方法、装置及多媒体设备
技术领域
本申请涉及计算机技术领域,特别是涉及一种控制多媒体设备的方法、装置、计算机可读存储介质和多媒体设备。
背景技术
随着计算机技术的飞速发展,人们在生活中对于计算机技术的依赖性也越来越大。在多媒体设备的使用过程中,对多媒体设备的开启和关闭操作都是人们必须要进行的操作。
在传统技术中,对于多媒体设备的开启和关闭都是通过触发开关闭的按钮,或依靠遥控器来进行,部分智能一点的操作会通过语音来实现对多媒体设备的开机和关闭操作。比如智能电视机。传统技术中,对电视机的开启和关闭操作主要是依靠遥控器,或者对电视机上的开关闭按钮进行操作,从而能实现对电视机的开启与关闭操作。然而,这几种控制方式对于人的依赖性仍然较大,需要人为的主动干预才能实现。
发明内容
基于此,有必要针对上述的技术问题,提供一种减少对人为操作的依赖,控制更为方便的控制多媒体设备的方法、装置、计算机可读存储介质和多媒体设备。
一种控制多媒体设备的方法,包括:
当检测到多媒体设备的有效范围内存在活体时,获取图像数据;
当检测到所述图像数据中包含有人脸时,获取人体状态;
根据所述人体状态控制所述多媒体设备开启或关闭。
一种控制多媒体设备的装置,包括:
图像数据获取模块,用于当检测到多媒体设备的有效范围内存在活体时,获取图像数据;
人体状态获取模块,用于当检测到所述图像数据中包含有人脸时,获取人体状态;
控制模块,用于根据所述人体状态控制所述多媒体设备开启或关闭。
一种多媒体设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行以下步骤:
当检测到多媒体设备的有效范围内存在活体时,获取图像数据;
当检测到所述图像数据中包含有人脸时,获取人体状态;
根据所述人体状态控制所述多媒体设备开启或关闭。
一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现以下步骤:
当检测到多媒体设备的有效范围内存在活体时,获取图像数据;
当检测到所述图像数据中包含有人脸时,获取人体状态;
根据所述人体状态控制所述多媒体设备开启或关闭。
一种多媒体设备,包括:
红外测距装置,用于检测多媒体设备的有效范围内是否存在活体;
图像采集装置,用于当所述红外测距装置检测到多媒体设备的有效范围内存在活体时,采集图像数据;
控制器,分别与所述红外测距装置和图像采集装置相连,用于当检测到所述图像数据中包含有人脸时,获取人体状态,根据所述人体状态控制所述多媒体设备开启或关闭。
上述控制多媒体设备的方法、装置、计算机可读存储介质和多媒体设备,当检测到多媒体设备的有效范围内存在活体时,获取图像数据;当检测到图像数据中包含有人脸时,获取人体状态;再根据该人体状态控制多媒体设备开启或关闭,实现了在不依赖于人为主动干预的情况下,自行根据当前使用多媒体设备的用户的人体状态进行开关闭的控制,实现了对多媒体设备的自动控制,减少了对人为行动的依赖性,从而能够更加方便的控制多媒体设备的开启或关闭。
附图说明
图1为一个实施例中控制多媒体设备的方法的应用环境图;
图2为一个实施例中控制多媒体设备的方法的流程示意图;
图3为另一个实施例中控制多媒体设备的方法的流程示意图;
图4为又一个实施例中控制多媒体设备的方法的流程示意图;
图5为再一个实施例中控制多媒体设备的方法的流程示意图;
图6为一个实施例中包含人脸验证的控制多媒体设备的方法的流程示意图;
图7为一个实施例中控制多媒体设备开启的方法的流程示意图;
图8为一个实施例中多媒体设备使用场景的示意图;
图9为一个实施例中控制系统控制多媒体设备开启时的结构框图;
图10为一个实施例中控制多媒体设备关闭的方法的流程示意图;
图11为一个实施例中控制系统控制多媒体设备关闭时的结构框图;
图12为一个实施例中控制多媒体设备的装置的结构框图;
图13为一个实施例中多媒体设备的结构框图;
图14为一个实施例中多媒体设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中控制多媒体设备的方法的应用环境图。参照图1,该控制多媒体设备的方法应用于控制多媒体设备的系统中。该控制多媒体设备的系统包括多媒体设备110和穿戴设备120。多媒体设备110和穿戴设备120通过预先建立的通信通道连接,比如蓝牙通信通道、局域网通信通道、无线网通信通道等。多媒体设备110可以是能够播放多媒体的各种设备,例如电视、音箱、投影设备、台式电脑等。穿戴设备120可以是智能手表、智能手环等中的至少一种。
如图2所示,在一个实施例中,提供了一种控制多媒体设备的方法。本实施例主要以该方法应用于上述图1中的多媒体设备110来举例说明。参照图2,该控制多媒体设备的方法具体包括如下步骤:
步骤202,当检测到多媒体设备的有效范围内存在活体时,获取图像数据。
用户在使用多媒体设备时,一般是在多媒体设备周边的有效范围内的。因此,当希望实现对多媒体设备的智能控制时,可先对多媒体设备周边进行检测,检测在多媒体设备的有效范围内是否存在活体。多媒体设备的有效范围即检测装置的检测范围,当检测装置的检测范围为5m时,那么有效范围则是以检测装置为圆心,以5m为半径行成的圆中的全部区域。具体地,可采用距离检测装置来检测多媒体设备的有效范围内是否存在活体,当检测到在此区域内存在有活体时,可获取图像采集设备采集到的图像数据。
步骤204,当检测到图像数据中包含有人脸时,获取人体状态。
获取到图像数据的前提条件是,当检测到多媒体设备的有效范围内存在有活体。当获取到图像数据后,多媒体设备会检测图像数据中是否包含有人脸。若检测到图像数据包含有人脸,则说明多媒体设备的有效范围内有用户,否则,说明多媒体设备的有效范围内不存在用户。
由于外界环境因素较为复杂,就算是用户是一个人在家里使用多媒体设备,也不排除家中会饲养有宠物等,那么就需要确认在步骤202中检测到的活体是否是人体。另外,也需要确认,即便在多媒体设备的有效范围内的是人,那么这个人是否是在多媒体设备的前方,正在使用多媒体设备或者正在观看通过多媒体设备播放的内容。当多媒体设备检测到人脸时,则获取到人体状态。。
步骤206,根据人体状态控制多媒体设备开启或关闭。
获取到人体状态的前提条件有两个,一是检测到多媒体设备的有效范围内存在有活体;二是根据获取到的图像数据检测到图像数据中包含有人脸。当这两件条件满足后,多媒体设备会获取到人体状态,并根据人体状态控制多媒体设备开启或关闭。
本实施例中,当检测到存在活体时则获取图像数据,当图像数据中包含有人脸时则获取人体状态,再根据人体状态对多媒体设备进行相应的控制,实现了在不依赖于人为主动干预的情况下,自行根据当前使用多媒体设备的用户的人体状态进行开关机的控制,实现对多媒体设备的控制,减少了对人为行动的依赖性,从而能够更加方便的控制多媒体设备的开启和关闭。
在一个实施例中,根据人体状态控制多媒体设备开启或关闭,包括:若人体状态为睡眠状态,则控制关闭多媒体设备;若人体状态为非睡眠状态,则控制开启多媒体设备。
当多媒体设备处于待机状态或者未开启的状态时,多媒体设备会先对多媒体设备的有效范围是否存在活体进行检测,当检测到活体后则获取图像数据。当多媒体设备检测到图像数据中包含有人体状态后,会进一步的对获取到的人体状态进行判断。人体状态包括睡眠状态和非睡眠状态,当此时获取到的人体状态是非睡眠状态时,可控制处于待机状态或者未开启的多媒体设备开启。
同样地,当多媒体设备处于正在使用的状态时,多媒体设备也会先对多媒体设备的有效范围是否存在活体进行检测,当检测到活体后则获取图像数据,然后对图像数据中是否包含有人脸进行检测,当检测到人脸后进一步的获取到人体状态,并对人体状态进行判断。当此时获取到的人体状态是睡眠状态时,可控制正在使用的多媒体设备关闭。
用户处于睡眠状态时通常无需再继续使用多媒体设备,由于在检测到用户处于睡眠状态时可自动关闭多媒体设备,从而可以减少不必要的资源浪费。而当在多媒体设备的有效范围内检测到存在用户且用户处于非睡眠状态时,表明此时有用户需要使用多媒体设备,由于可以自动控制多媒体设备开启,相对于传统的遥控器控制,既能够节省成本,又可以更加快速的开启多媒体设备,更为方便。
在一个实施例中,图像数据为多帧图像数据;当检测到图像数据包含有人脸时,获取人体状态,包括:当检测到多帧图像数据中包含有人脸时,提取包含有人脸的多帧图像中的人眼区域;当根据提取到的多帧图像中的人眼区域检测到睁眼状态,则获取人体状态为非睡眠状态;当根据提取到的多帧图像中的人眼区域检测到闭眼状态,则获取人体状态为睡眠状态。
帧,就是影像动画中最小单位的单幅影像画面,单帧指的是一张静止的画面,连续的帧就能够形成动画,比如电影、视频,实际上就是很多帧图像组成的。因此多帧图像实际上就是指由多张图像组成,并且连续播放能形成对应的简短动画。当图像数据为多帧图像数据时,也可以将图像数据看做成一个简短的动画,因此可对多帧图像中的人眼区域进行人眼检测,检测是睁眼状态还是闭眼状态。
为了保证对人眼状态的检测准确,故此处对人眼检测的图像数据是多帧图像,而不是单帧,这样则能有效避免比如采集图像数据时用户正好在眨眼,那么采集到的图像数据则很有可能采集到用户处于闭眼状态的图像数据。而使用多帧图像数据则很好的避免了这个问题,相当于为该用户拍摄了一段简短的视频,通过拍摄的视频检测该用户是睁眼状态还是闭眼状态。比如,当对采集到的多帧图像中的每一张图像进行人眼检测时,检测结果均为闭眼状态,那么则能够判断该用户是处于闭眼状态,进一步则可以判定该用户是处于睡眠状态。同样地,当通过多帧图像中存在有某个图像的人眼状态检测结果为睁眼状态,那么则说明该用户处于非睡眠状态。
通过获取多帧图像数据的方法对人体状态是否为睡眠状态进行检测,无需从其他渠道获取人体状态数据,操作简单,也实现了对图像数据采集设备的多次利用,提高了整体的检测效率,也提高了对多媒体设备的控制效率。
如图3所示,在一个实施例中,也提供了一种控制多媒体设备的方法,本实施例主要以该方法应用于上述图1中的多媒体设备110来举例说明。参照图3,该控制多媒体设备的方法具体包括如下步骤:
步骤302,当检测到多媒体设备的有效范围内存在活体时,获取图像数据。
本实施例中,多媒体设备可以通过红外测距装置对多媒体设备的有效范围内是否存在活体进行检测,当检测到存在有活体则将此信息传送至多媒体设备,多媒体设备则根据存在活体的检测结果决定下一步的操作。若是检测到了有活体存在多媒体设备的有效范围内,则多媒体设备可从图像采集设备获取图像数据。
步骤304,当检测到图像数据中包含有人脸时,提取包含有人脸的多帧图像中的人眼区域。
步骤306,根据人眼区域检测是否处于睁眼状态,若是,则执行步骤308;若否,则执行步骤310。
多媒体设备对获取到的图像数据进行分析检测,检测图像数据中是否存在有人脸,当检测到图像数据中存在有人脸后,则可进一步对图像数据中人脸对应的用户的人体状态进行检测。具体的,当获取到图像数据是多帧图像,因此可对多帧图像的人眼区域进行提取,提取到人眼区域后,即可对人眼区域的睁眼状态与闭眼状态进行判定。当对提取到的人眼区域进行检测时,若是检测到多帧图像中至少有一张图像的人眼处于睁眼状态,则判定人体状态为非睡眠状态;若检测到多帧图像中图像的人眼均为闭眼状态,则判定人体状态为睡眠状态。因此,可根据对人眼区域的状态得到对应的睡眠状态,进而实现对多媒体设备对应的控制操作。
步骤308,控制开启多媒体显示设备。
步骤310,控制关闭多媒体设备。
当检测到人体为睡眠状态时,则判定当前有用户正在使用处于未关闭状态下的多媒体设备,但使用者已经处于睡眠状态,则可以控制多媒体设备关闭;当检测到人体为非睡眠状态时,则判定当前有非睡眠状态下的用户正在多媒体设备的前方,则可以控制将未开启的多媒体设备或者处于待机状态下的多媒体设备进行开启。
通过对多帧图像的使用,得到对图像数据中包含的人脸对应人体的睡眠状态,最终确定对多媒体设备的控制决定,在无需人为干预的情况下,实现对多媒体设备的智能自动控制,逐步进行判断最终得到一个控制决定的方法也使得此控制多媒体设备的方法对多媒体设备的控制更为准确。
在一个实施例中,获取人体状态,包括:通过与穿戴设备预先建立的通信通道接收穿戴设备发送的人体状态;或者通过与穿戴设备预先建立的通信通道接收穿戴设备发送的生物特征数据,根据生物特征数据生成人体状态。
穿戴设备一般称之为智能穿戴设备,穿戴设备不仅仅指的是一种能够直接穿在身上的硬件设备,而是指此设备能够在设备上安装软件从而能够实现与其他产品进行数据交互、云端交互等诸多功能。因此穿戴设备可用于收集各种数据,比如人体状态或者生物特征数据等。
如图1中所示,穿戴设备与多媒体设备之间预先建立了通信通道,多媒体设备可通过此通信通道获取到穿戴设备收集到的人体状态,或者获取到穿戴设备收集到的生物特征数据,然后再根据获取到的生物特征数据生成人体状态。如果是穿戴设备直接将人体状态发送至多媒体设备,比如直接将用户是否处于睡眠状态的信息发送至多媒体设备,那么多媒体设备可以根据获取到的信息实现对多媒体设备的控制。若是穿戴设备发送的是生物特征数据,比如心率数据、人体的温度数据、血压数据等等,多媒体设备在获取到穿戴设备发送的这些数据后,可以根据这些数据生成人体状态,从而获取该用户当前的状态到底如何,再根据人体状态对多媒体设备进行对应的控制操作。预先建立的通信通道可以是局域网通道、无线网通道或者蓝牙通道等,使得多媒体设备能够获取到穿戴设备收集到的人体数据。
利用多媒体设备与使用者的穿戴设备之间预先建立的通信通道获取到该使用者的人体状态,能够较为准确的对该使用者当前的人体状态进行判断,从而实现对多媒体设备的控制,提高了多媒体设备控制的准确性。
在一个实施例中,获取人体状态,包括:当从穿戴设备获取不到人体状态或生物特征数据时,获取多帧图像;提取包含有人脸的多帧图像中的人眼区域;当根据提取到的多帧图像中的人眼区域检测到睁眼状态,则获取人体状态为非睡眠状态;当根据提取到的多帧图像中的人眼区域检测到闭眼状态,则获取人体状态为睡眠状态。
当多媒体设备无法正常从穿戴设备获取到人体状态或生物特征数据时,则可以通过获取多帧图像数据,进而得到相应的人体状态。当获取到多帧图像数据后,可以提取出包含有人脸的多帧图像中的人眼区域,然后对人眼区域进行检测。由于多帧图像数据是由多张图像组成的,因此当检测到人眼有睁眼状态时,说明此用户的眼睛并不是一直处于闭眼状态,那么则可以判定此用户并不处于睡眠状态,即用户处于非睡眠状态;同样地,若是检测到人眼有闭眼状态,即多帧图像中每一张图像中的人眼都为闭眼状态,那么则说明此用户是处于睡眠状态的。
当多媒体设备无法从穿戴设备获取到人体状态时可通过获取多帧图像,再对多帧图像进行人眼区域的提取与分析,进而得到对应的人体状态,确保了在无法从穿戴设备获取到人体状态的情况下可以有其他方式得到人体状态,进而对用户处于睡眠还是非睡眠状态进行一个准确的判断,从而实现对多媒体设备的准确控制,保证了对多媒体设备的控制准确率。
在一个实施例中,提供了一种控制多媒体设备的方法,本实施例主要以该方法应用于上述图1中的多媒体设备110来举例说明。参照图4,该控制多媒体设备的方法具体包括如下步骤:
步骤402,当检测到多媒体设备的有效范围内存在活体时,获取图像数据。
对多媒体设备的有效范围内是否存在活体进行检测时可以使用红外测距装置,通过红外测距装置实时监控是否有活体存在多媒体设备的周围。当红外测距装置的检测范围内检测到存在有活体时,则将相关数据发送至多媒体设备,也可以由红外测距装置将是否存在活体的检测结果直接发送至多媒体设备。比如当红外测距装置检测到存在有活体时,可将状态值设置为true,若是未检测到活体则将状态值设置为false。然后将对应的状态值发送至多媒体设备,多媒体设备即可根据获取到的状态值进行对应的操作。
当检测到在多媒体设备的有效范围内存在有活体时,多媒体设备则会发送图像采集命令至图像采集设备,通过图像采集设备获取到图像数据,再对图像数据中是否包含有人脸进行检测。检测图像中是否包含有人脸可以使用通用的人脸算法,对图像中的数据进行分析,当分析得到的结果是包含有人脸时,则执行下述步骤404;若是分析得到的结果是不包含有人脸,则无需继续下一步的检测。当然,图像采集设备若是包含有人脸识别功能,也可以直接将对图像中是否包含有人脸的结果发送至多媒体设备,多媒体设备则无需自行判断,只要根据图像采集设备发送的检测结果进行对应的操作即可。
步骤404,当检测到图像数据中包含有人脸时,根据从穿戴设备中获取到的数据得到人体状态。
步骤406,当从穿戴设备中未获取到人体状态时,则获取多帧图像。
步骤408,提取包含有人脸的多帧图像中的人眼区域,对人眼区域进行检测得到人体状态。
当多媒体设备检测到图像数据中包含有人脸后,还需要获取到人体状态,对人体的睡眠状态进行确认。一般情况下,人体状态数据来源于该用户佩戴的穿戴设备,但可能存在穿戴设备损坏、没电或者用户未佩戴的情况,因此需要先检测多媒体设备是否能够与穿戴设备通过预先建立的通信通道传输数据。若是能够从穿戴设备获取到人体状态或者生物特征数据,那么就可以直接对穿戴设备传输的数据进行分析检测;若是无法从穿戴设备获取到人体状态或者生物特征数据,则可以通过图像采集设备获取到多帧图像数据,并对从包含有人脸的多帧图像数据中提取出人眼区域,进而对人眼区域进行检测得到对应的人体状态。
步骤410,检测人体状态是否为睡眠状态,若是,则执行步骤412;若否,则执行步骤414。
步骤412,控制多媒体设备关闭。
步骤414,控制多媒体设备开启。
不论人体状态数据是通过穿戴设备获取到的,还是通过对多帧图像数据进行分析得到的,都需要对人体状态进行进一步的分析,分析该用户是处于睡眠状态还是非睡眠状态。若是根据人体状态检测到该用户处于睡眠状态,则控制多媒体设备进行关闭操作;若是检测到该用户处于非睡眠状态,则控制多媒体设备进行开启操作。
通过对数据的层层获取,依次对获取到的数据进行判断,最后得到对多媒体设备的控制决策。通过使用多帧图像数据作为备用方案,使得在穿戴设备无法正常将收集到的人体状态或者生物特征数据传输至多媒体设备时,也能够通过对多帧图像数据的分析得到准确的人体状态,进而实现对多媒体设备的控制操作,大幅度的提高了对多媒体设备的控制准确度。
在一个实施例中,上述控制多媒体设备的方法还包括:当检测到多媒体设备的有效范围内在预设时间内都不存在活体或图像数据中不包含人脸时,则控制关闭多媒体设备。
多媒体设备在决定是否要开启多媒体设备时,需要先对多媒体设备是否存在活体进行检测,然后再对获取到的图像数据中是否包含有人脸进行检测,最后还需要对获取到的人体状态进行检测,当人体状态符合条件,比如当根据人体状态得到该用户处于非睡眠状态时,则会控制多媒体设备开启。但当多媒体设备决定是否要关闭多媒体设备时,则采用的是较为灵活的方式。
在控制多媒体设备关闭时,只要确认当前没有人在使用多媒体设备即可,那么当红外测距装置未检测到活体与多媒体设备未在图像数据中检测到人脸时,都说明当前并未有人在使用多媒体设备,在这种情况下,即可控制多媒体设备进行关闭。这种控制方式更为灵活,也考虑到了更多情况下需要对多媒体设备的控制操作,整体提高了对多媒体设备的控制效率。
在一个实施例中,也提供了一种控制多媒体设备的方法,本实施例主要以该方法应用于上述图1中的多媒体设备110来举例说明。参照图5,该控制多媒体设备的方法具体包括如下步骤:
步骤502,检测多媒体设备的有效范围内是否存在活体,若是,则执行步骤504;若否,则执行步骤512。
控制关闭多媒体设备与开启多媒体设备时,实际上对多媒体设备初始状态的要求是不同的。比如,当多媒体设备的多媒体设备控制关闭多媒体设备关闭时,那么一开始多媒体设备的初始状态是开启状态,而控制多媒体设备开启时多媒体设备的初始状态是关闭状态或者待机状态等。一般情况下,若多媒体设备已经开启则可以控制多媒体设备关闭,若多媒体设备已经关闭则可以控制多媒体设备开启。因此,在本实施例中,当需要控制关闭多媒体设备时,则说明多媒体设备的初始状态是非关闭状态;当需要控制开启多媒体设备时,则说明多媒体设备的初始状态是非开启状态。
具体的,多媒体设备可先通过红外测距装置对多媒体有效范围内是否存在活体进行检测,若是红外测距装置检测到了在多媒体设备周围存在有活体,则可以获取到图像采集设备采集到的图像数据并对图像数据进行进一步的检测。当红外测距装置未检测到多媒体设备的有效范围内不存在活体时,那么说明在多媒体设备周围并没有活体存在,包括人,因此当红外测距装置将“未检测到活体”的结果发送至多媒体设备,则可控制多媒体设备关闭。一般情况下,会设定预设次数N,当连续N次红外测距装置都未检测到活体的状况下,则控制多媒体设备关闭,这种方式下能大幅度降低误测的几率,提高对多媒体设备控制的准确率。预设次数N可由开发者根据实际考虑而设定。
步骤504,获取图像数据。
步骤506,检测图像数据中是否包含有人脸,若是,则执行步骤508;若否,则执行步骤512。
当红外测距装置检测到多媒体设备的有效范围内存在有活体时,则多媒体设备可通过图像采集设备获取到图像数据,然后对图像数据中是否包含有人脸进行检测,根据得到的检测结果进行下一个操作步骤。当多媒体设备检测到图像数据中包含有人脸时,多媒体设备则获取到人体状态,根据人体状态实现对多媒体设备的对应控制操作。当多媒体设备未检测到图像数据中包含有人脸时,则判定红外测距装置检测到的活体并不是人,或者红外测距装置检测到的活体是人,但此人并未在多媒体设备的“前方”,则可控制处于非关闭状态下的多媒体设备进行关闭。此处,也可设定预设次数,当多媒体设备连续未检测到图像数据中包含有人脸的次数达到预设次数时,则控制多媒体设备关闭。预设次数同样可由开发者根据实际考虑而设定。
步骤508,获取人体状态。
步骤510,判断人体状态是否为睡眠状态,若是,则执行步骤512;若否,则执行步骤514。
步骤512,控制关闭多媒体设备。
步骤514,控制开启多媒体设备。
当红外检测装置检测到在多媒体的有效范围内存在活体,且多媒体设备检测到通过图像采集设备获取到的图像数据中包含有人脸,多媒体设备则会获取人体状态。人体状态可通过穿戴设备获取到,也可以通过获取图像采集设备采集到的多帧图像,进而对多帧图像中的人眼区域进行提取并检测,得到对应的人体状态。当人体状态为睡眠状态时,则可控制处于非关闭状态下的多媒体设备进行关闭操作;当人体状态为非睡眠状态时,则可控制处于非开启状态下的多媒体设备进行开启操作。
当检测到多媒体设备周围不存在活体时、图像数据中未检测到包含有人脸时以及检测到人体状态为睡眠状态时,都会得到控制多媒体设备进行关闭的控制决策。通过对更多状况下的情景考虑,实现了对多媒体设备更为灵活的控制操作,使得对多媒体设备的控制更有效率。
在一个实施例中,当检测到图像数据包含有人脸时,获取人体状态,包括:当检测到图像数据包含有人脸时,提取图像数据中的人脸图像;将人脸图像与预存人脸进行匹配;若匹配成功,则获取人体状态。
当红外测距装置检测到多媒体设备的有效范围内存在活体时,则多媒体设备可通过图像采集装置获取到图像数据。多媒体设备对图像数据中是否包含有人脸进行检测,若是未检测到人脸,则多媒体设备判定在多媒体设备的前方并未存在有人,因此可控制处于未关闭状态的多媒体设备进行关闭。若是检测到人脸,多媒体设备则继续对提取到的人脸进行分析,将图像数据中的人脸图像提取后并与多媒体设备中预先存储的人脸进行匹配。
若是匹配成功则说明此人脸图像对应的用户具备控制多媒体设备的权限,多媒体设备可获取人体状态并根据人体状态实现对多媒体设备的控制。若是匹配失败则说明此人脸图像对应的用户并不具备控制多媒体设备的权限,因此多媒体设备不会进入到获取人体状态的操作步骤,而是可以返回至检测活体的步骤,即再次由红外测距装置对多媒体设备周围是否存在活体进行检测。
通过对多媒体设备预先设置用户的控制权限的方式,更有利于实现对多媒体设备的控制,也使得在多人的场景下实现对多媒体设备更为便利的控制操作。
在一个实施例中,提供了一种包含人脸验证的控制多媒体设备的方法,本实施例主要以该方法应用于上述图1中的多媒体设备110来举例说明。参照图6,该包含人脸验证的控制多媒体设备的方法具体包括如下步骤:
步骤602,当检测到多媒体设备的有效范围内存在活体时,获取图像数据。
步骤604,当检测到图像数据包含有人脸时,提取图像数据中的人脸图像。
当多媒体设备获取到红外测距装置对多媒体设备周围存在活体的检测结果时,多媒体设备会通过图像采集设备获取到图像数据。一般情况下,只要检测到图像数据中包含有人脸,则可以判定在多媒体设备周围存在的活体是人,而且也存在有人在多媒体设备的前方,那么接下来只要获取到人体状态,即可根据人体状态实现对多媒体设备的对应控制操作。
而由于应用场景的复杂性,比如在家使用多媒体设备,当多媒体设备处于未开启状态时,若是红外检测装置检测到的活体是家里的小孩,而且图像采集设备采集到的人脸图像是小孩的人脸,那么当获取到该小孩为非睡眠状态时,多媒体设备则会控制多媒体设备开启。但这种情况是家长不太希望产生的,因此可加入人脸验证的操作。在获取到图像采集设备采集到的图像数据时,先对图像数据中是否包含有人脸进行检测,若是检测到了人脸,则进一步对检测到的人脸进行验证。在进行人脸验证的步骤时,可提取出图像数据中包含的人脸图像,再对提取到的人脸图像进行验证即可。
步骤606,人脸图像与预存人脸是否匹配成功,若是,则执行步骤608;若否,则执行步骤602。
在多媒体设备中,预先存储有一个或多个人脸,预先存储时可由多媒体设备的使用者自行进行图像拍摄与图像存储。比如在家里使用多媒体设备时,家长可使用图像采集设备拍摄自己的人脸图像,确认后家长的人脸图像即可存储在多媒体设备中。在对多媒体设备进行控制时,当多媒体设备检测到获取到的图像数据中包含有人脸时,则会进一步对此图像数据中包含的人脸与预先存储的人脸图像进行匹配。
即,在多媒体设备检测到图像数据中包含有人脸时,则提取出图像数据中包含的人脸图像,将提取到的人脸与预先存储的人脸图像进行匹配。若是能够匹配成功,说明此提取出的人脸已经被预先设定权限,能够控制多媒体设备开启或关闭,则可以进入下一步的获取人体状态操作;若是不能够匹配成功,说明此提取出的人脸并没有权限能够控制多媒体设备的开启或关闭,则无需再获取人体状态,而是可以回到初始状态,比如由红外检测装置重新对多媒体设备周围是否存在活体进行检测。
步骤608,获取人体状态。
步骤610,根据人体状态控制多媒体设备开启或关闭。
当图像采集设备采集到的图像数据中包含的人脸图像与多媒体设备中预先存储的人脸图像匹配成功后,多媒体设备则获取人体状态,进而根据人体状态实现对多媒体设备的对应控制操作。比如,当人体状态为睡眠状态时,则控制多媒体设备进行关闭;当人体状态为非睡眠状态时,则控制多媒体设备进行开启。
通过这种方式,能够实现对多媒体设备的控制权限管理,较大程度上避免了当多人同时处于多媒体设备周围时引发的对多媒体设备的误开或误关事件,提高了对多媒体设备的控制准确度。
在一个实施例中,提供了一种控制多媒体设备开启的方法,本实施例主要以该方法应用于上述图1中的多媒体设备110来举例说明。参照图7,该控制多媒体设备关闭的方法具体包括如下步骤:
步骤702,当多媒体设备处于非播放状态时,进行红外测距。
步骤704,检测是否存在活体,若是,则执行步骤706;若否,则执行步骤702。
如图8所示,存在有红外测距装置与多媒体设备连接,红外测距装置可以是内置在多媒体设备中,可通过硬件嵌入的方式,比如在多媒体设备出厂时就内置了红外测距装置,将红外测距装置的数据传输线路与多媒体设备的主板连接,通过固定端口即可将红外测距装置的数据传输至多媒体设备。红外测距装置也可以与多媒体设备外部连接,即无需在多媒体设备内部配置有红外测距装置,而是可以将独立的红外测距装置与多媒体设备连接,同样也可以通过固定接口将红外测距装置的数据传输至多媒体设备。
红外测距装置一般设置有检测有效区域,即红外测距装置能够检测在一定区域内是否存在有活体。比如当红外测距装置的检测有效区域为3-5m时,指的是以该红外测距装置为圆心,以3m或5m为半径画图形成的圆所占的区域。一般情况下,红外测距装置是与多媒体设备短距离连接的,因此也可以认为是检测在多媒体设备的有效范围内是否存在活体。
当红外测距装置检测到了有活体存在时,可以将红外数据发送至多媒体设备,多媒体设备可自行对红外数据进行分析得到是否存在活体的检测结果。红外测距装置也可以将检测到有活体的结果对应的状态值发送至多媒体设备。比如存在有活体的检测结果对应的状态值为true时,红外测距装置则可以将此true的状态值发送至多媒体设备,多媒体设备获取到true的状态值后,则可知多媒体设备周边是存在有活体的。若是检测结果为false,那么可知在多媒体设备周边并未存在有活体,那么则需要重新通过红外测距装置对有效区域内的活体进行检测,即当未检测到活体时则会返回重新执行步骤702。
步骤706,获取图像数据。
步骤708,检测是否有人脸,若是,则执行步骤710;若否,则执行步骤702。
如图9所示,在多媒体设备中存在有控制系统,实现控制多媒体设备进行开启或关闭。当红外测距装置检测到多媒体设备的有效范围内存在活体时,多媒体设备中的控制系统则会控制图像采集设备开始图像采集操作,比如开启摄像头开始拍摄图像。然后控制系统再获取到图像采集设备的拍照数据,即图像数据。图像数据可以是多张图像,也可以是一张图像,只要拍摄的照片的清晰度满足预设的清晰度要求即可。如果图像数据是多张图像,那么控制系统则对每一张图像中是否包含有人脸进行检测,若是检测到其中某一种图像包含有人脸则停止检测;若是将全部图像都检测完毕后仍然未检测到包含有人脸,则判定图像数据中并未包含有人脸。对图像中的人脸进行检测时,可运用人脸算法对人脸进行识别与检测,比如局部特征分析方法(Local Face Analysis),特征脸方法(Eigenface或PCA)等。
此处对图像数据中是否包含有人脸的检测,可以设置一个检测次数。比如设置检测次数为3,那么当第一次检测到图像数据中不包含有人脸时,则再次进行图像采集,然后继续对采集到的图像数据进行人脸识别,当连续三次均为检测到图像中包含有人脸时,判定未有用户在多媒体设备的前方,因此会返回步骤702,重新获取红外测距装置对活体的检测数据。进一步地,当第一次或者第二次的图像数据中未检测到包含有人脸时,可以延迟预设时间后再进行下一次的图像数据采集以及人脸识别操作,具体的延迟时间可以由用户设定或者开发人员根据产品设计而定。
进一步地,在检测到图像数据中包含有人脸后,还可以将图像数据中的人脸提取,并与预先录入的人脸进行匹配,若是匹配成功,则说明此人脸对应的用户是有权限的;若是匹配失败,则即便是检测到图像数据中有人脸,也不会进入到下一步的操作。
步骤710,根据从穿戴设备中获取到的数据得到人体状态。
步骤712,当从穿戴设备中未获取到人体状态时,则获取多帧图像。
步骤714,提取包含有人脸的多帧图像中的人眼区域,对人眼区域进行检测得到人体状态。
步骤716,检测人体状态是否为非睡眠状态,若是,则执行步骤718;若否,则执行步骤702。
步骤718,控制多媒体设备开启。
当既检测到活体,又检测到图像数据中包含有人脸时,还需要对人体状态进行检测。如图9所示,当检测到人脸后,多媒体设备中的控制系统会通过多媒体设备与穿戴设备之间预先建立的通信通道对穿戴设备发送控制信号,即获取数据的指令。预先建立的通信通道可以是蓝牙通道、无线网通道、局域网通道等,比如当预先建立的通信通道是蓝牙通道时,多媒体设备中的控制系统则可以通过多媒体设备预置的蓝牙接口向穿戴设备发送获取数据的指令,从而获取到穿戴设备收集的人体状态,或者获取到穿戴设备收集的生物特征数据,然后控制系统可根据生物特征数据生成对应的人体状态。穿戴设备可以是智能手表、智能手环等。
人体状态数据一般情况是通过用户佩戴的穿戴设备获取得到,但为了防止无法从穿戴设备正常获取到人体状态的情况,因此还可以通过获取多帧图像数据,分析多帧图像数据得到对应的人体状态。具体方式是,从多帧图像中选出包含有人脸的多帧图像,将包含有人脸的多帧图像中的人眼区域提取出来,然后对组成多帧图像中的每一张图像的人眼区域都进行检测。若是存在有至少一张图像中的人眼为睁眼状态,那么则判定该用户的睡眠状态为非睡眠状态,因此可控制多媒体设备开启。若是未检测到图像中的人眼有睁眼状态,则判定该用户的睡眠状态为睡眠状态,无需控制多媒体设备开启,因此会回到步骤702,重新对多媒体设备周围是否存在活体进行检测。
在本实施例中,红外测距装置、图像采集设备可以内置在多媒体设备中,也可以与多媒体设备通过外接的方式进行数据传输,而在多媒体设备中存在有控制系统,红外测距装置、图像采集设备以及穿戴设备与多媒体设备之间的数据传输即为与控制系统之间的数据传输。控制系统通过获取到红外测距装置、图像采集设备以及穿戴设备的数据后,对数据进行分析检测,从而实现对多媒体设备的控制操作。控制系统控制多媒体设备进行开机操作主要通过红外检测、人脸识别、睡眠检测三个维度的信息,层层递进分析后最终得到对多媒体设备的开机决策。这样实现了在不依赖于人为主动干预的情况下,自行根据当前使用多媒体设备的用户的状态进行开关闭的控制,实现对多媒体设备的控制,减少了对人为行动的依赖性,也提高了对多媒体设备的控制性。
在一个实施例中,提供了一种控制多媒体设备关闭的方法,本实施例主要以该方法应用于上述图1中的多媒体设备110来举例说明。参照图10,该控制多媒体设备关闭的方法具体包括如下步骤:
步骤1002,当多媒体设备处于非关闭状态时,进行红外测距。
步骤1004,检测是否存在活体,若是,则执行步骤1006;若否,则执行步骤1018。
如图11所示,本实施例中的控制多媒体设备关闭的方法与控制多媒体设备开启的方法存在相同点,即红外测距装置会定时检测在多媒体设备的有效范围内是否存在有活体。然后红外测距装置会将红外数据发送至多媒体设备中的控制系统,控制系统则可对红外数据进行分析,判断是否检测到了活体。若是对红外数据的检测结果为未检测到活体,那么就控制多媒体设备关闭。若是对红外数据的检测结果判断为有活体,那么就要进入到人脸识别步骤。
红外测距装置也可以将检测到有活体的结果对应的状态值发送至多媒体设备。比如存在有活体的检测结果对应的状态值为true时,红外测距装置则可以将此true的状态值发送至多媒体设备,多媒体设备获取到true的状态值后,则可知多媒体设备周边是存在有活体的。若是检测结果为false,那么多媒体设备也可知在周边并未存在有活体,那么则可做出对多媒体设备关闭的控制决策。
步骤1006,获取图像数据。
步骤1008,检测是否有人脸,若是,则执行步骤1010;若否,则执行步骤1018。
当检测到有活体时,则需要进行人脸识别步骤。首先,多媒体设备中的控制系统发送控制拍照指令至图像采集设备,图像采集设备启动拍照操作,然后将拍照得到的图像数据发送至多媒体设备的控制系统。
控制系统在获取到图像采集设备采集到的图像数据后,会对图像数据进行分析,检测是否包含有人脸。对图像中的人脸进行检测时,可运用人脸算法对人脸进行识别与检测,比如局部特征分析方法(Local Face Analysis),特征脸方法(Eigenface或PCA)等。此处对图像数据中是否包含有人脸的检测,可以设置一个检测次数。比如设置检测次数为3,那么当第一次检测到图像数据中不包含有人脸时,则再次进行图像采集,然后继续对采集到的图像数据进行人脸识别,当连续三次均为检测到图像中包含有人脸时,判定未有用户在多媒体设备的前方,那么也可得到对多媒体设备执行关闭的控制决策。
步骤1010,根据从穿戴设备中获取到的数据得到人体状态。
步骤1012,当从穿戴设备中未获取到人体状态时,则获取多帧图像。
步骤1014,提取包含有人脸的多帧图像中的人眼区域,对人眼区域进行检测得到人体状态。
在控制多媒体设备的关闭方法中,若是未检测到活体或者未检测到图像数据中包含有人脸,都会得到控制多媒体设备关闭的控制决策。而若是既检测到有活体,又检测到图像数据中包含有人脸,那么则需要获取人体状态并对人体的睡眠状态进行分析。因此,如图11所示,当判定图像数据中包含有人脸后,控制系统还需要对人体的睡眠状态进行检测。
具体地,多媒体设备中的控制系统会先发送控制指令至穿戴设备,即发送获取人体状态的指令至穿戴设备,穿戴设备接收到此指令后,会将收集的人体数据发送至控制系统。人体数据可以是人体状态,比如人体进入睡眠、浅睡眠、深度睡眠等,也可以是人体的生物特征数据,比如血压、心率、运动特征数据等。若是穿戴设备将生物特征数据发送至控制系统,控制系统可对获取到的生物特征数据进行分析,生成人体状态,进而对人体的睡眠状态进行检测。
为了防止无法从穿戴设备正常获取到人体状态的情况,因此还可以通过获取多帧图像数据,分析多帧图像数据得到对应的人体状态。多帧图像是指由多张图像组成,并且连续播放能形成对应的简短动画,当图像数据为多帧图像数据时,也可以将图像数据看作成一个简短的动画。
步骤1016,检测人体状态是否为睡眠状态,若是,则执行步骤1018;若否,则执行步骤1002。
步骤1018,控制多媒体设备关闭。
当控制系统通过穿戴设备收集的数据,或者通过对多帧图像的分析得到对应的人体状态后,会对人体状态进行进一步的分析,从而得到该人体是否处于睡眠状态。若是根据人体状态检测到人体处于睡眠状态时,则控制系统控制多媒体设备关闭;若是检测到人体未处于睡眠状态,那么则回到步骤1002,重新通过红外测距装置对多媒体设备是否存在活体进行检测。在控制多媒体设备关闭时,可以延迟一定时间后再真正关闭多媒体设备,此处主要是为了提供一个“反悔”时间给到用户,当用户发现多媒体设备即将自动关闭但并不希望关闭多媒体设备,那么用户则可取消此关闭决策。
在本实施例中,红外测距装置、图像采集设备可以内置在多媒体设备中,也可以与多媒体设备通过外接的方式进行数据传输,而在多媒体设备中存在有控制系统,红外测距装置、图像采集设备以及穿戴设备与多媒体设备之间的数据传输即为与控制系统之间的数据传输。控制系统通过获取到红外测距装置、图像采集设备以及穿戴设备的数据后,对数据进行分析检测,从而实现对多媒体设备的控制操作。
多媒体设备中的控制系统在做出对多媒体设备的关闭决策时也仍然会对红外检测、人脸识别、睡眠检测这三个维度的信息进行层层分析,但控制多媒体设备进行关闭时与控制多媒体设备进行开启操作时有一些不同。关闭决策时只要有一个维度的信息条件不满足都有可能导致关闭,比如红外测距装置检测不到活体时,说明并没有人在多媒体设备周围;人脸识别时未检测人脸时,也说明在多媒体设备前方并没有在;若是前两个条件都满足,即既检测到了活体又检测到了人脸,那么若是检测到处于睡眠状态,这些条件下都会使得多媒体设备控制多媒体设备进行关闭。这种更为灵活的控制方式,考虑到了更多情况下需要对多媒体设备的控制操作,整体提高了对多媒体设备的控制效率。
图2-图4、图6、图10为各个实施例中方法对应的流程示意图。应该理解的是,虽然各个图中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各个图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图12所示,在一个实施例中,提供了一种控制多媒体设备的装置,包括:
图像数据获取模块1202,用于当检测到多媒体设备的有效范围内存在活体时,获取图像数据。
人体状态获取模块1204,用于当检测到图像数据中包含有人脸时,获取人体状态。
控制模块1206,用于根据人体状态控制多媒体设备开启或关闭。
在一个实施例中,图像数据获取模块1202还用于获取到的图像数据为多帧图像数据;人体状态获取模块还用于当检测到多帧图像数据中包含有人脸时,提取包含有人脸的多帧图像中的人眼区域;当根据提取到的多帧图像中的人眼区域检测到睁眼状态,则获取人体状态为非睡眠状态;当根据提取到的多帧图像中的人眼区域检测到闭眼状态,则获取人体状态为睡眠状态。
在一个实施例中,人体状态获取模块1204还用于通过与穿戴设备预先建立的通信通道接收穿戴设备发送的人体状态;或者人体状态获取模块1204还用于通过与穿戴设备预先建立的通信通道接收穿戴设备发送的生物特征数据,根据生物特征数据生成人体状态。
在一个实施例中,人体状态获取模块1204还用于当从穿戴设备获取不到人体状态或生物特征数据时,获取多帧图像;提取多帧图像中的人眼区域;当根据提取到的多帧图像中的人眼区域检测到睁眼状态,则获取人体状态为非睡眠状态;当根据提取到的多帧图像中的人眼区域检测到闭眼状态,则获取人体状态为睡眠状态。
在一个实施例中,人体状态获取模块1204还用于当检测到图像数据包含有人脸时,提取图像数据中的人脸图像;将人脸图像与预存人脸进行匹配;若匹配成功,则获取人体状态。
在一个实施例中,控制模块1206还用于当检测到多媒体设备的有效范围内在预设时间内都不存在活体或图像数据中不包含人脸时,则控制关闭多媒体设备。
在一个实施例中,控制模块1206还用于若人体状态为睡眠状态,则控制关闭多媒体设备;若人体状态为非睡眠状态,则控制开启多媒体设备。
在一个实施例中,如图13所示,提供了一种多媒体设备,包括:
红外测距装置1302,用于检测多媒体设备的有效范围内是否存在活体。
图像采集装置1304,用于当红外测距装置检测到多媒体设备的有效范围内存在活体时,采集图像数据。
控制器1306,分别与红外测距装置和图像采集装置相连,用于当检测到图像数据中包含有人脸时,获取人体状态,根据人体状态控制多媒体设备开启或关闭。
如图13所示,在多媒体设备中,包含有红外测距装置1302、图像采集装置1304以及控制器1306。其中,红外测距装置1302用于检测多媒体设备的有效范围内是否存在活体;图像采集装置1304,用于当红外测距装置检测到多媒体设备的有效范围内存在活体时,采集图像数据;控制器1306,用于获取红外测距装置1302发送的红外数据,检测分析是否存在活体,若是存在,则控制图像采集装置1304进行图像采集,并获取到图像采集装置1304采集得到的图像数据,然后对图像数据中是否包含有人脸进行检测,若是检测到图像数据中包含有人脸就通过穿戴设备或者对多帧图像数据信息分析,获取得到人体状态,再根据人体状态控制多媒体设备开启或关闭。具体地,当人体状态处于睡眠状态则控制多媒体设备关闭;若是人体状态为非睡眠状态,则控制多媒体设备开启。
本实施例中,当检测到存在活体时则获取图像数据,当图像数据中包含有人脸时则获取人体状态,再根据人体状态对多媒体设备进行相应的控制,实现了在不依赖于人为主动干预的情况下,自行根据当前使用多媒体设备的用户的状态进行开关闭的控制决策,实现对多媒体设备的控制,减少了对人为行动的依赖性,也提高了对多媒体设备的控制性。
在一个实施例中,控制器还用于通过多媒体设备与穿戴设备预先建立的通信通道接收穿戴设备发送的人体状态;或者控制器还用于通过多媒体设备与穿戴设备预先建立的通信通道接收穿戴设备发送的生物特征数据,根据生物特征数据生成人体状态。
控制器获取人体状态时可以通过穿戴设备获取得到,控制器与穿戴设备之间是通过多媒体设备与穿戴设备预先建立的通信通道进行数据传输的。穿戴设备可以直接将人体状态发送至控制器,也可以发送一些生物特征数据至控制器,然后控制器可以根据获取得到的生物特征数据生成对应的人体状态,进而对人体的睡眠状态进行分析,根据人体状态实现对多媒体设备的对应控制操作。具体地,当人体睡眠状态为睡眠状态时,则控制多媒体设备关闭;若是人体睡眠状态为非睡眠状态时,则控制多媒体设备关闭。
通过获取人体状态对人体的睡眠状态进行检测,更为准确的提供了对多媒体设备的控制决策,提高了对多媒体设备控制的准确性。
图14示出了一个实施例中多媒体设备的内部结构图。该多媒体设备具体可以是图1中的多媒体设备110。如图14所示,该多媒体设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、摄像头以及扬声器。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现控制多媒体设备的方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行控制多媒体设备的方法。多媒体设备的显示屏可以是液晶显示屏或者电子墨水显示屏,可以显示用户播放的视频、图片等内容。多媒体设备的图像采集设备可以是摄像头,用于采集图像数据等。多媒体设备的扬声器可以在用户播放视频等内容时将内容中包含的声音输出。
本领域技术人员可以理解,图14中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的控制多媒体设备的装置可以实现为一种计算机程序的形式,计算机程序可在如图14所示的多媒体设备上运行。多媒体设备的存储器中可存储组成该控制多媒体设备的装置的各个程序模块,比如,图12所示的图像数据获取模块、人体状态获取模块和控制模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的控制多媒体设备的方法中的步骤。
例如,图14所示的多媒体设备可以通过如图12所示的控制多媒体设备的装置中的图像数据获取模块执行当检测到多媒体设备的有效范围内存在活体时,获取图像数据。多媒体设备可通过人体状态获取模块执行当检测到图像数据中包含有人脸时,获取人体状态。多媒体设备可通过控制模块执行根据人体状态控制多媒体设备开启或关闭。
在一个实施例中,提供了一种多媒体设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时用于实现上述各个方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:当检测到多媒体设备的有效范围内存在活体时,获取图像数据;当检测到图像数据中包含有人脸时,获取人体状态;根据人体状态控制多媒体设备开启或关闭。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当检测到多媒体设备的有效范围内在预设时间内都不存在活体或图像数据中不包含人脸时,则控制关闭多媒体设备。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:若人体状态为睡眠状态,则控制关闭多媒体设备;若人体状态为非睡眠状态,则控制开启多媒体设备。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当检测到多帧图像数据中包含有人脸时,提取包含有人脸的多帧图像中的人眼区域;当根据提取到的多帧图像中的人眼区域检测到睁眼状态,则获取人体状态为非睡眠状态;当根据提取到的多帧图像中的人眼区域检测到闭眼状态,则获取人体状态为睡眠状态。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:通过与穿戴设备预先建立的通信通道接收穿戴设备发送的人体状态;或者通过与穿戴设备预先建立的通信通道接收穿戴设备发送的生物特征数据,根据生物特征数据生成人体状态。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当从穿戴设备获取不到人体状态或生物特征数据时,获取多帧图像;提取多帧图像中的人眼区域;当根据提取到的多帧图像中的人眼区域检测到睁眼状态,则获取人体状态为非睡眠状态;当根据提取到的多帧图像中的人眼区域检测到闭眼状态,则获取人体状态为睡眠状态。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当检测到图像数据包含有人脸时,提取图像数据中的人脸图像;将人脸图像与预存人脸进行匹配;若匹配成功,则获取人体状态。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (18)

1.一种控制多媒体设备的方法,包括:
当采用距离检测装置检测到多媒体设备的有效范围内存在活体时,向图像采集设备发送图像采集命令,通过所述图像采集设备获取图像数据;当采用距离检测装置检测到多媒体设备的有效范围内在预设时间内不存在活体时,控制关闭所述多媒体设备;
当检测到所述图像数据中包含有人脸时,提取所述图像数据中的人脸图像,将所述人脸图像与预存人脸进行匹配,若匹配成功,则从预先建立了通信通道的穿戴设备中获取人体状态;若所述人脸图像与所述预存人脸不匹配,则返回当采用距离检测装置检测到多媒体设备的有效范围内存在活体时,向图像采集设备发送图像采集命令,通过所述图像采集设备获取图像数据的步骤;
当未成功的从所述穿戴设备获取到人体状态时,获取多帧图像,从所述多帧图像中提取出各个人眼区域,当根据各个所述人眼区域确定所述多帧图像中的各个图像中的人眼均为闭眼状态时,确定所述人体状态为睡眠状态,若所述多帧图像中至少有一张图像的人眼处于睁眼状态,确定所述人体状态为非睡眠状态;
当所述人体状态为非睡眠状态时,并且所述多媒体设备的设备状态为未开启状态时,控制所述多媒体设备开启。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述图像数据中不包含人脸时,则控制关闭所述多媒体设备。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述人体状态为睡眠状态时,并且所述多媒体设备的设备状态为使用状态时,控制所述多媒体设备关闭。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述人体状态为非睡眠状态时,并且所述多媒体设备的设备状态为待机状态时,控制所述多媒体设备开启。
5.根据权利要求1所述的方法,其特征在于,所述从预先建立了通信通道的穿戴设备中获取人体状态或从所述穿戴设备获取生物特征数据,基于所述生物特征数据生成人体状态包括:
通过与穿戴设备预先建立的通信通道接收所述穿戴设备发送的人体状态;或者
通过与穿戴设备预先建立的通信通道接收所述穿戴设备发送的生物特征数据,根据所述生物特征数据生成人体状态。
6.根据权利要求5所述的方法,其特征在于,所述生物特征数据包括数据血压、心率数据或温度数据中的至少一种。
7.根据权利要求1所述的方法,其特征在于,所述多媒体设备的有效范围为所述距离检测装置的检测范围。
8.一种控制多媒体设备的装置,其特征在于,包括:
图像数据获取模块,用于当采用距离检测装置检测到多媒体设备的有效范围内存在活体时,向图像采集设备发送图像采集命令,通过所述图像采集设备获取图像数据;当采用距离检测装置检测到多媒体设备的有效范围内在预设时间内不存在活体时,控制关闭所述多媒体设备;
人体状态获取模块,用于当检测到所述图像数据中包含有人脸时,提取所述图像数据中的人脸图像,将所述人脸图像与预存人脸进行匹配,若匹配成功,则从预先建立了通信通道的穿戴设备中获取人体状态;若所述人脸图像与所述预存人脸不匹配,则返回当采用距离检测装置检测到多媒体设备的有效范围内存在活体时,向图像采集设备发送图像采集命令,通过所述图像采集设备获取图像数据的步骤;当未成功的从所述穿戴设备获取到人体状态时,获取多帧图像,从所述多帧图像中提取出各个人眼区域,当根据各个所述人眼区域确定所述多帧图像中的各个图像中的人眼均为闭眼状态时,确定所述人体状态为睡眠状态,若所述多帧图像中至少有一张图像的人眼处于睁眼状态,确定所述人体状态为非睡眠状态;
控制模块,用于当所述人体状态为非睡眠状态时,并且所述多媒体设备的设备状态为未开启状态时控制所述多媒体设备开启。
9.根据权利要求8所述的装置,其特征在于,所述装置还用于当所述人体状态为睡眠状态时,并且所述多媒体设备的设备状态为使用状态时,控制所述多媒体设备关闭。
10.根据权利要求9所述的装置,其特征在于,所述装置还用于:
当所述人体状态为非睡眠状态时,并且所述多媒体设备的设备状态为待机状态时,控制所述多媒体设备开启。
11.根据权利要求8所述的装置,其特征在于,所述人体状态获取模块还用于通过与穿戴设备预先建立的通信通道接收所述穿戴设备发送的人体状态;或者
所述人体状态获取模块还用于通过与穿戴设备预先建立的通信通道接收所述穿戴设备发送的生物特征数据,根据所述生物特征数据生成人体状态。
12.根据权利要求8所述的装置,其特征在于,所述装置还用于当所述图像数据中不包含人脸时,则控制关闭所述多媒体设备。
13.根据权利要求11所述的装置,其特征在于,所述生物特征数据包括血压、心率、温度或运动特征数据中的至少一种。
14.根据权利要求8所述的装置,其特征在于,所述多媒体设备的有效范围为所述距离检测装置的检测范围。
15.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
16.一种多媒体设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
17.一种多媒体设备,其特征在于,包括:
红外测距装置,用于检测多媒体设备的有效范围内是否存在活体;
图像采集装置,用于当所述红外测距装置检测到多媒体设备的有效范围内存在活体时,接收图像采集命令,基于图像采集命令采集图像数据;
控制器,分别与所述红外测距装置和图像采集装置相连,用于当检测到所述图像数据中包含有人脸时,提取所述图像数据中的人脸图像,将所述人脸图像与预存人脸进行匹配,若匹配成功,则从预先建立了通信通道的穿戴设备中获取人体状态,当未成功的从所述穿戴设备获取到人体状态时,获取多帧图像,从所述多帧图像中提取出各个人眼区域,当根据各个所述人眼区域确定所述多帧图像中的各个图像中的人眼均为闭眼状态时,确定所述人体状态为睡眠状态,若所述多帧图像中至少有一张图像的人眼处于睁眼状态,确定所述人体状态为非睡眠状态,当所述人体状态为非睡眠状态时,并且所述多媒体设备的设备状态为未开启状态时控制所述多媒体设备开启;当采用距离检测装置检测到多媒体设备的有效范围内在预设时间内不存在活体时,控制关闭所述多媒体设备;若所述人脸图像与所述预存人脸不匹配,则返回当采用距离检测装置检测到多媒体设备的有效范围内存在活体时,向图像采集设备发送图像采集命令,通过所述图像采集设备获取图像数据的步骤。
18.根据权利要求17所述的多媒体设备,其特征在于,所述控制器还用于通过多媒体设备与穿戴设备预先建立的通信通道接收所述穿戴设备发送的人体状态;或者
所述控制器还用于通过多媒体设备与穿戴设备预先建立的通信通道接收所述穿戴设备发送的生物特征数据,根据所述生物特征数据生成人体状态。
CN201810136303.4A 2018-02-09 2018-02-09 控制多媒体设备的方法、装置及多媒体设备 Active CN110134444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810136303.4A CN110134444B (zh) 2018-02-09 2018-02-09 控制多媒体设备的方法、装置及多媒体设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810136303.4A CN110134444B (zh) 2018-02-09 2018-02-09 控制多媒体设备的方法、装置及多媒体设备

Publications (2)

Publication Number Publication Date
CN110134444A CN110134444A (zh) 2019-08-16
CN110134444B true CN110134444B (zh) 2022-05-24

Family

ID=67568223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810136303.4A Active CN110134444B (zh) 2018-02-09 2018-02-09 控制多媒体设备的方法、装置及多媒体设备

Country Status (1)

Country Link
CN (1) CN110134444B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111859333A (zh) * 2020-06-10 2020-10-30 湖北德龙自动化科技有限公司 一种基于人脸识别的设备管理方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122477A (zh) * 2010-12-30 2011-07-13 数源科技股份有限公司 感应式数字多媒体显示终端及其控制方法
CN104154633A (zh) * 2014-08-19 2014-11-19 珠海格力电器股份有限公司 空调智能控制方法、装置和系统
CN105847925A (zh) * 2016-05-30 2016-08-10 乐视控股(北京)有限公司 电视控制方法及系统
CN107255928A (zh) * 2017-06-05 2017-10-17 珠海格力电器股份有限公司 一种设备控制方法、装置及家电设备
CN107491684A (zh) * 2017-09-22 2017-12-19 广东巽元科技有限公司 一种基于人脸识别的屏幕控制装置及其控制方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012108810A1 (de) * 2011-09-20 2013-03-21 Beijing Lenovo Software Ltd. Elektronische einrichtung und zustands-steuerverfahren
CN103702155B (zh) * 2013-12-06 2018-08-10 乐视致新电子科技(天津)有限公司 一种电视控制方法及装置
CN105243376A (zh) * 2015-11-06 2016-01-13 北京汉王智远科技有限公司 一种活体检测方法和装置
CN106050717B (zh) * 2016-06-08 2018-08-24 深圳市前海康启源科技有限公司 睡眠温度自动控制装置及方法
CN106792177A (zh) * 2016-12-28 2017-05-31 海尔优家智能科技(北京)有限公司 一种电视控制方法及系统
CN107085715A (zh) * 2017-05-19 2017-08-22 武汉理工大学 一种电视智能检测用户睡眠状态的系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122477A (zh) * 2010-12-30 2011-07-13 数源科技股份有限公司 感应式数字多媒体显示终端及其控制方法
CN104154633A (zh) * 2014-08-19 2014-11-19 珠海格力电器股份有限公司 空调智能控制方法、装置和系统
CN105847925A (zh) * 2016-05-30 2016-08-10 乐视控股(北京)有限公司 电视控制方法及系统
CN107255928A (zh) * 2017-06-05 2017-10-17 珠海格力电器股份有限公司 一种设备控制方法、装置及家电设备
CN107491684A (zh) * 2017-09-22 2017-12-19 广东巽元科技有限公司 一种基于人脸识别的屏幕控制装置及其控制方法

Also Published As

Publication number Publication date
CN110134444A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
US11184582B2 (en) Terminal and operating method thereof
EP3583485B1 (en) Computationally-efficient human-identifying smart assistant computer
CN107065586B (zh) 交互式智能家庭服务系统及方法
KR101480564B1 (ko) 안면 인식을 이용한 알람 제어 장치 및 방법
US10593174B1 (en) Automatic setup mode after disconnect from a network
US7742625B2 (en) Autonomous camera having exchangable behaviours
US8726324B2 (en) Method for identifying image capture opportunities using a selected expert photo agent
CN110297536B (zh) 一种控制方法及电子设备
US10750076B2 (en) Network device, image processing method, and computer readable medium
CN103220583A (zh) 基于智能电视的检测用户疲劳度的系统及方法
US20130286244A1 (en) System and Method for Image Selection and Capture Parameter Determination
US10733857B1 (en) Automatic alteration of the storage duration of a video
CN110309693B (zh) 多层次状态侦测系统与方法
CN110134444B (zh) 控制多媒体设备的方法、装置及多媒体设备
WO2023015152A1 (en) Systems and methods for on-device person recognition and provision of intelligent alerts
CN114743239A (zh) 智能设备的控制方法、装置、系统及电子设备
CN114051116A (zh) 一种驾考车辆的视频监控方法、装置以及系统
US11343551B1 (en) Bandwidth estimation for video streams
US11032762B1 (en) Saving power by spoofing a device
CN113438286B (zh) 信息推送方法及装置、电子设备和存储介质
KR101478560B1 (ko) 원격 영상 촬영 휴대단말기 및 그의 촬영 방법
US20230306711A1 (en) Monitoring system, camera, analyzing device, and ai model generating method
US11968412B1 (en) Bandwidth estimation for video streams
WO2021084895A1 (en) A method, an apparatus and a system for managing an event to generate an alert indicating a subject is likely to be unauthorized
US11153538B1 (en) Modifying audio/video recording and communication device settings in response to application access

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant