CN109670438A - 用于智能台灯的异常行为监控方法、装置、系统和存储介质 - Google Patents

用于智能台灯的异常行为监控方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN109670438A
CN109670438A CN201811533315.7A CN201811533315A CN109670438A CN 109670438 A CN109670438 A CN 109670438A CN 201811533315 A CN201811533315 A CN 201811533315A CN 109670438 A CN109670438 A CN 109670438A
Authority
CN
China
Prior art keywords
monitored object
posture
standard
facial image
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811533315.7A
Other languages
English (en)
Inventor
夏宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201811533315.7A priority Critical patent/CN109670438A/zh
Publication of CN109670438A publication Critical patent/CN109670438A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供了一种用于智能台灯的异常行为监控方法、装置、系统和存储介质,该方法包括:获取监控对象的人脸图像;根据所述人脸图像获取所述监控对象的头部姿态;根据所述头部姿态与标准头部姿态之间的偏转程度判断所述监控对象是否发生异常行为;当判断所述监控对象发生异常行为时,生成提示信息。本发明实施例提供的用于智能台灯的异常行为监控方法、装置、系统和存储介质能够检测到监控对象的异常行为,并在监控对象做出异常行为时及时进行提醒,从而对监控对象进行有效督促。

Description

用于智能台灯的异常行为监控方法、装置、系统和存储介质
技术领域
本发明涉及图像处理技术领域,更具体地涉及一种用于智能台灯的异常行为监控方法、装置、系统和存储介质。
背景技术
为了更好地监督儿童的学习状态,在新一代的智能台灯上增加了摄像头,使得家长可以通过手机APP远程地实时查看儿童的学习状态。然而,仅通过摄像头远程监控的方式对于儿童而言,当其出现坐姿不标准、困倦、走神等异常行为时,不能得到有效的提醒。对于家长而言,监控时间消耗长且效率低,当儿童出现异常行为时无法进行提示。
发明内容
本发明提出了一种用于智能台灯的异常行为检测方案,根据监控对象的人脸图像判断其头部姿态,进而判断其是否出现异常行为。下面简要描述本发明提出的关于异常行为检测方案,更多细节将在后续结合附图在具体实施方式中加以描述。
根据本发明实施例的一方面,提供了一种用于智能台灯的异常行为监控方法,所述方法包括:获取监控对象的人脸图像;根据所述人脸图像获取所述监控对象的头部姿态;根据所述头部姿态与标准头部姿态之间的偏转程度判断所述监控对象是否发生异常行为;当判断所述监控对象发生异常行为时,生成提示信息。
在一个实施例中,确定所述标准头部姿态的步骤包括:获取所述监控对象在标准姿态下的人脸图像;根据所述标准姿态下的人脸图像获取所述监控对象的标准头部姿态。
在一个实施例中,所述头部姿态是由所述监控对象头部的俯仰角、摇摆角和偏转角进行表征的。
在一个实施例中,所述根据所述标准姿态下的人脸图像获取所述监控对象的标准头部姿态包括:根据预定长度的时间段内所述监控对象在所述标准姿态下的人脸图像,获取所述预定长度的时间段内所述监控对象的所述标准头部姿态;计算所述预定长度的时间段内所述标准头部姿态的平均值。
在一个实施例中,所述根据所述头部姿态与标准头部姿态之间的偏转程度判断所述监控对象是否发生异常行为包括:若所述头部姿态与所述标准头部姿态之间的偏转程度大于阈值的时间超过预定时长,则判断所述监控对象发生异常行为。
在一个实施例中,所述生成提示信息包括:向所述监控对象发送提示信息;和/或向监控方的客户端发送远程提示信息。
在一个实施例中,所述方法还包括:若未能获取到所述监控对象在所述标准姿态下的人脸图像,则向所述监控对象发送提示信息。
根据本发明实施例的另一方面,提供了一种异常行为监控装置,所述装置包括:人脸图像获取模块,配置为获取监控对象的人脸图像;头部姿态获取模块,配置为根据所述人脸图像获取所述监控对象的头部姿态;异常行为判断模块,配置为根据所述头部姿态与标准头部姿态之间的偏转程度判断所述监控对象是否发生异常行为;提示模块,配置为当判断所述监控对象发生异常行为时,生成提示信息。
根据本发明实施例的又一方面,提供了一种异常行为监控系统,所述系统包括存储装置和处理器,所述存储装置上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行上述任一项所述的用于智能台灯的异常行为监控方法。
根据本发明实施例的再一方面,提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行上述任一项所述的用于智能台灯的异常行为监控方法。
本发明实施例提供的用于智能台灯的异常行为监控方法、装置、系统和存储介质能够检测到监控对象的异常行为,并在监控对象做出异常行为时及时进行提醒,从而对监控对象进行有效督促。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的示例智能台灯的示意性框图;
图2示出根据本发明实施例的用于智能台灯的异常行为监控方法的示意性流程图;
图3示出根据本发明实施例的异常行为监控方法的另一示意性流程图;
图4示出根据本发明实施例的异常行为监控装置的示意性框图;以及
图5示出根据本发明实施例的异常行为监控系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
首先,参照图1来描述用于实现本发明实施例的用于智能台灯的异常行为监控方法、装置、系统和存储介质的示例智能台灯100。
如图1所示,智能台灯100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108、图像传感器110和/或通信装置114。这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的智能台灯100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述智能台灯100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等),并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
所述通信装置114用于与客户端进行有线或无线通信。
需要注意的是,图1所示的智能台灯100的组件和结构只是示例性的,尽管图1示出的智能台灯100包括多个不同的装置,但是根据需要,其中的一些装置可以不是必须的,其中的一些装置的数量可以更多等等,本发明对此不限定。
下面,将参考图2和图3描述根据本发明实施例的用于智能台灯的异常行为监控方法200。如图2所示,用于智能台灯的异常行为监控方法200可以包括如下步骤:
在步骤S210,获取监控对象的人脸图像。
其中,所述监控对象包括使用智能台灯的儿童。所述异常行为例如为儿童在学习过程中出现的坐姿不标准、学习分心等异常行为。
示例性地,所述智能台灯包括底座、灯杆、灯头等,灯头内设有照明用光源,如白炽灯泡、节能灯管或者发光二极管等。用于获取所述人脸图像的图像采集装置可以是设置在智能台灯上的图像采集装置,其可以设置于所述智能台灯的能够采集到用户图像的任意位置,包括而不限于基于CCD传感器或CMOS传感器的摄像单元。所述图像采集装置也可以是外部的图像采集装置,其采集到所述人脸图像之后,将所述人脸图像发送至所述智能台灯。
图像采集装置所采集的图像可以是实时视频,也可以是以一定频率持续采集的多张静态图像。
作为一例,所述图像采集装置采集的图像为实时视频,则步骤S210可以包括:对所述实时视频中的至少一帧进行人脸检测,以判断所述图像中的人脸区域。
作为另一例,所述图像采集装置采集的图像为静态图像,则步骤S210可以包括:对所述静态图像中的至少一张进行人脸检测,以判断所述图像中的人脸区域。
在一个实施例中,如果S210中通过人脸检测确定该图像中不存在人脸区域,则可以直接生成提示信息。在另一实施例中,如果S210中通过人脸检测确定该图像中不存在人脸区域,不生成提示信息,并在间隔预定时间之后重新进行检测。当确定图像中不存在人脸区域时,可暂时关闭照明用光源,以节约能源。如果S210中通过人脸检测确定该图像中存在人脸区域,则可以继续执行S220。
在步骤S220,根据所述人脸图像获取所述监控对象的头部姿态。
在一个实施例中,所述头部姿态由基于所述人脸图像所判断的人脸的三维姿态角所表征,所述人脸的三维姿态角包括人脸的俯仰角(pitch)、摇摆角(yaw)和偏转角(roll)三个维度的值。
示例性地,预先设定三维坐标系,该三维坐标系包括两两垂直的X轴、Y轴和Z轴,其中X轴和Z轴平行于水平面,Y轴为垂直于水平面。俯仰角(pitch)为人脸(也即,人头)围绕X轴旋转的旋转角度,在实际应用中,可为人在抬头低头时所呈现的角度;摇摆角(yaw)为人脸(也即,人头)围绕Y轴旋转的旋转角度,在实际应用中,可为人在左右摇头时可呈现的角度;偏转角(roll)为人脸(也即,人头)围绕Z轴旋转的旋转角度,在实际应用中,可为人面向正前方但将头偏向左肩或右肩时所呈现的角度。
本实施例示出了一种确定人脸姿态角的具体实现方式,即可以通过预先训练好的人脸姿态识别模型对人脸图像中人脸的偏转角度进行识别,得到人脸图像对应的人脸姿态角。其中,人脸姿态识别模型有多种实现方式,可以是用于识别人脸姿态的神经网络,诸如受限玻尔兹曼机神经网络,也可以是基于模糊数学的人脸姿态角度估计算法等。人脸姿态识别模型可以参照相关技术实现,只需能够识别人脸图像中人脸的偏转角度即可。
可以理解,在步骤S220之前,还包括:通过训练得到该人脸姿态识别模型。具体地,可以构建人脸样本图像数据集,其中该数据集中的至少部分样本图像可以具有标注信息,该标注信息包括人脸特征向量及对应的人脸姿态角。可以使用已有的特征提取神经网络得到每个样本图像的人脸特征向量,可以基于每个样本图像中的人脸角度标注出对应的三维姿态角。将该数据集中的样本图像输入至待训练的神经网络以训练得到该模型。
在步骤S230,根据所述头部姿态与标准头部姿态之间的偏转程度判断所述监控对象是否发生异常行为。
其中,在执行步骤S210之前确定所述标准头部姿态。在一个实施例中,如图3所示,确定所述标准头部姿态的步骤包括:获取所述监控对象在标准姿态下的人脸图像;根据所述标准姿态下的人脸图像获取所述监控对象的标准头部姿态。进一步地,所述根据所述标准姿态下的人脸图像获取所述监控对象的标准头部姿态包括:根据预定长度的时间段内所述监控对象在所述标准姿态下的人脸图像,获取所述预定长度的时间段内所述监控对象的所述标准头部姿态,并计算所述预定长度的时间段内所述标准头部姿态的平均值。其中,在每次启动智能台灯时或用户(例如监控对象或监控方)点击校准按键时进入校准模式,以确定所述标准头部姿态。
具体地,由于智能台灯摆放位置、摄像头安装位置、桌椅高度、用户的高度等因素所造成的影响,在不同情况下,即使监控对象保持学习时的标准坐姿,在摄像头所获取的图像中,监控对象的头部姿态也会出现较大的差异。因此,在每次启动智能台灯时或用户点击校准按键时启动校准模式,以确定在该条件下监控对象的标准坐姿所对应的标准头部姿态。
在一个实施例中,所述标准头部姿态是由基于标准姿态下监控对象的人脸图像所判断的人脸三维姿态角所表征的,具体包括人脸的俯仰角(pitch)、摇摆角(yaw)和偏转角(roll)三个维度的值。示例性地,进入校准模式以后,要求监控对象保持标准姿态一段预定长度的时间(例如1分钟),获取该预定长度的时间段内用户的人脸图像,并计算用户头部的俯仰角、摇摆角和偏转角;接着,计算所述预定长度的时间段内用户头部的俯仰角、摇摆角和偏转角的平均值,以对所述标准头部姿态进行表征。示例性地,为了避免极端情况的干扰,去掉该段时间内的俯仰角、摇摆角和偏转角的最高值和最低值之后,再分别计算俯仰角(pitch)、摇摆角(yaw)和偏转角(roll)的平均值。
在一个实施例中,判断监控对象的头部姿态与标准头部姿态之间的偏转程度包括:计算在步骤S220中所确定的人脸的俯仰角(pitch)、摇摆角(yaw)和/或偏转角(roll)与标准姿态下人脸的俯仰角(pitch)、摇摆角(yaw)和偏转角(roll)之间的偏差。具体地,可以将标准姿态下人脸的三维姿态角设为基准角度,即上述偏差为根据实时获取的人脸图像所判断的三维姿态角与相应的基准角度之间的角度差值。俯仰角(pitch)、摇摆角(yaw)和偏转角(roll)的偏差阈值可以相同也可以不同,在此不再赘述。
进一步地,根据所述头部姿态与标准头部姿态之间的偏转程度判断所述监控对象是否发生异常行为还包括:当所述偏转程度超过所述阈值的时长大于或等于预定时长时,判断监控对象发生异常行为。
在步骤S240,当判断所述监控对象发生异常行为时,生成提示信息。
作为示例,所述生成提示信息包括向所述监控对象生成提示信息;和/或向监控方的客户端发送远程提示信息。示例性地,可以先向所述监控对象生成若干次提示信息之后,再向监控方的客户端发送远程提示信息。所述监控方可以是监控对象的家长。
其中,向所述监控对象生成的提示信息为监控对象可以感知到的提示信息,包括而不限于语音提示或灯光提示。其中,所述灯光提示例如为通过使智能台灯的照明用光源的强度变化来提示监控对象,或可以在智能台灯上设置用于提示的LED灯,通过该LED灯的点亮或闪烁提示监控对象,从而督促监控对象保持良好的坐姿和学习状态。
示例性地,可通过通信装置114采用无线数据传输方式向监控方的客户端发送提示信息。所述客户端可以是装载有相应应用程序的手机、平板电脑或笔记本电脑等,所述无线数据传输方式可以包括互联网(Internet)、移动通信网络(如GPRS网络、GSM网络、2G网络、3G网络、4G网络、LTE网络或未来的5G网络等)、WiFi、蓝牙等,在此并不限定。通过在检测到监控对象的异常行为时向监控方发送提示信息,可以无需长时间进行监控就能使监控方掌握监控对象的状态,节约了时间,提高了监控效率。
根据本发明实施例的用于智能台灯的异常行为监控方法,能够检测到监控对象的异常行为,并在监控对象做出异常行为时及时进行提醒,从而对监控对象进行有效督促。
以上示例性地描述了根据本发明实施例的用于智能台灯的异常行为监控方法。示例性地,根据本发明实施例的用于智能台灯的异常行为监控方法可以在具有存储器和处理器的设备、装置或者系统中实现。
下面结合图4描述本发明另一方面提供的异常行为监控装置。图4示出了根据本发明实施例的异常行为监控装置400的示意性框图。
如图4所示,根据本发明实施例的装置400包括人脸图像获取模块410、头部姿态获取模块420、异常行为判断模块430和提示模块440。所述人脸图像获取模块410、头部姿态获取模块420、异常行为判断模块430和提示模块440可分别执行上文中结合图2描述的用于智能台灯的异常行为监控方法的各个步骤/功能。以下仅对装置400的各模块的主要功能进行描述,而省略以上已经描述过的细节内容。
人脸图像获取模块410配置为获取监控对象的人脸图像。
其中,所述监控对象包括使用智能台灯的儿童。所述异常行为例如为儿童在学习过程中出现的坐姿不标准、学习分心等异常行为。
示例性地,所述智能台灯包括底座、灯杆、灯头等,灯头内设有照明用光源,如白炽灯泡、节能灯管或者发光二极管等。用于获取所述人脸图像的图像采集装置可以是设置在智能台灯上的图像采集装置,其可以设置于所述智能台灯的能够采集到用户图像的任意位置,包括而不限于基于CCD传感器或CMOS传感器的摄像单元。所述图像采集装置也可以是外部的图像采集装置,其采集到所述人脸图像之后,将所述人脸图像发送至所述智能台灯。
图像采集装置所采集的图像可以是实时视频,也可以是以一定频率持续采集的多张静态图像。
作为一例,所述图像采集装置采集的图像为实时视频,则人脸图像获取模块410可以配置为:对所述实时视频中的至少一帧进行人脸检测,以判断所述图像中的人脸区域。
作为另一例,所述图像采集装置采集的图像为静态图像,则人脸图像获取模块410可以配置为:对所述静态图像中的至少一张进行人脸检测,以判断所述图像中的人脸区域。
在一个实施例中,人脸图像获取模块410通过人脸检测确定该图像中不存在人脸区域,则可以直接生成提示信息。在另一实施例中,如果人脸图像获取模块410通过人脸检测确定该图像中不存在人脸区域,不生成提示信息,并在间隔预定时间之后重新进行检测。当确定图像中不存在人脸区域时,可暂时关闭照明用光源,以节约能源。如果人脸图像获取模块410通过人脸检测确定该图像中存在人脸区域,则可以根据所述人脸图像获取所述监控对象的头部姿态。
头部姿态获取模块420配置为根据所述人脸图像判断所述监控对象的头部姿态。
在一个实施例中,所述头部姿态由基于所述人脸图像所判断的人脸的三维姿态角所表征,所述人脸的三维姿态角包括人脸的俯仰角(pitch)、摇摆角(yaw)和偏转角(roll)三个维度的值。
示例性地,预先设定三维坐标系,该三维坐标系包括两两垂直的X轴、Y轴和Z轴,其中X轴和Z轴平行于水平面,Y轴为垂直于水平面。俯仰角(pitch)为人脸(也即,人头)围绕X轴旋转的旋转角度,在实际应用中,可为人在抬头低头时所呈现的角度;摇摆角(yaw)为人脸(也即,人头)围绕Y轴旋转的旋转角度,在实际应用中,可为人在左右摇头时可呈现的角度;偏转角(roll)为人脸(也即,人头)围绕Z轴旋转的旋转角度,在实际应用中,可为人面向正前方但将头偏向左肩或右肩时所呈现的角度。
本实施例示出了一种确定人脸姿态角的具体实现方式,即可以通过预先训练好的人脸姿态识别模型对人脸图像中人脸的偏转角度进行识别,得到人脸图像对应的人脸姿态角。其中,人脸姿态识别模型有多种实现方式,可以是用于识别人脸姿态的神经网络,诸如受限玻尔兹曼机神经网络,也可以是基于模糊数学的人脸姿态角度估计算法等。人脸姿态识别模型可以参照相关技术实现,只需能够识别人脸图像中人脸的偏转角度即可。
可以理解,该人脸姿态识别模型的训练方法包括:构建人脸样本图像数据集,其中该数据集中的至少部分样本图像可以具有标注信息,该标注信息包括人脸特征向量及对应的人脸姿态角。可以使用已有的特征提取神经网络得到每个样本图像的人脸特征向量,可以基于每个样本图像中的人脸角度标注出对应的三维姿态角。将该数据集中的样本图像输入至待训练的神经网络以训练得到该模型。
异常行为判断模块430配置为根据所述头部姿态与标准头部姿态之间的偏转程度判断所述监控对象是否发生异常行为。
其中,装置400还包括校准模块,配置为确定所述标准头部姿态。在一个实施例中,确定所述标准头部姿态的步骤包括:获取所述监控对象在标准姿态下的人脸图像;根据所述标准姿态下的人脸图像确定所述监控对象的标准头部姿态。进一步地,所述根据所述标准姿态下的人脸图像获取所述监控对象的标准头部姿态包括:根据预定长度的时间段内所述监控对象在所述标准姿态下的人脸图像,获取所述预定长度的时间段内所述监控对象的所述标准头部姿态,并计算所述预定长度的时间段内所述标准头部姿态的平均值。其中,在每次启动智能台灯时或用户(例如监控对象或监控方)点击校准按键时进入校准模式,以确定所述标准头部姿态。
具体地,由于智能台灯摆放位置、摄像头安装位置、桌椅高度、用户的高度等因素所造成的影响,在不同情况下,即使监控对象保持学习时的标准坐姿,在摄像头所获取的图像中,监控对象的头部姿态也会出现较大的差异。因此,在每次启动智能台灯时或用户点击校准按键时启动校准模式,以确定在该条件下监控对象的标准坐姿所对应的标准头部姿态。
在一个实施例中,所述标准头部姿态是由基于标准姿态下监控对象的人脸图像所判断的人脸三维姿态角所表征的,具体包括人脸的俯仰角(pitch)、摇摆角(yaw)和偏转角(roll)三个维度的值。示例性地,进入校准模式以后,要求监控对象保持标准姿态一段预定长度的时间(例如1分钟),获取该预定长度的时间段内用户的人脸图像,并计算用户头部的俯仰角、摇摆角和偏转角;接着,计算所述预定长度的时间段内用户头部的俯仰角、摇摆角和偏转角的平均值,以对所述标准头部姿态进行表征。示例性地,为了避免极端情况的干扰,去掉该段时间内的俯仰角、摇摆角和偏转角的最高值和最低值之后,再分别计算俯仰角(pitch)、摇摆角(yaw)和偏转角(roll)的平均值。
在一个实施例中,判断监控对象的头部姿态与标准头部姿态之间的偏转程度包括:计算在步骤S220中所确定的人脸的俯仰角(pitch)、摇摆角(yaw)和/或偏转角(roll)与标准姿态下人脸的俯仰角(pitch)、摇摆角(yaw)和偏转角(roll)之间的偏差。具体地,可以将标准姿态下人脸的三维姿态角设为基准角度,即上述偏差为根据实时获取的人脸图像所判断的三维姿态角与相应的基准角度之间的角度差值。俯仰角(pitch)、摇摆角(yaw)和偏转角(roll)的偏差阈值可以相同也可以不同,在此不再赘述。
进一步地,根据所述头部姿态与标准头部姿态之间的偏转程度判断所述监控对象是否发生异常行为还包括:当所述偏转程度超过所述阈值的时长大于或等于预定时长时,判断监控对象发生异常行为。
提示模块440配置为当判断所述监控对象发生异常行为时,生成提示信息。
作为示例,所述生成提示信息包括向所述监控对象生成提示信息;和/或向监控方的客户端发送远程提示信息。示例性地,可以先向所述监控对象生成若干次提示信息之后,再向监控方的客户端发送远程提示信息。所述监控方可以是监控对象的家长。
其中,向所述监控对象生成的提示信息为监控对象可以感知到的提示信息,包括而不限于语音提示或灯光提示。其中,所述灯光提示例如为通过使智能台灯的照明用光源的强度变化来提示监控对象,或可以在智能台灯上设置用于提示的LED灯,通过该LED灯的点亮或闪烁提示监控对象,从而督促监控对象保持良好的坐姿和学习状态。
示例性地,可通过通信装置114采用无线数据传输方式向监控方的客户端发送提示信息。所述客户端可以是装载有相应应用程序的手机、平板电脑或笔记本电脑等,所述无线数据传输方式可以包括互联网(Internet)、移动通信网络(如GPRS网络、GSM网络、2G网络、3G网络、4G网络、LTE网络或未来的5G网络等)、WiFi、蓝牙等,在此并不限定。通过在检测到监控对象的异常行为时向监控方发送提示信息,可以无需长时间进行监控就能使监控方掌握监控对象的状态,节约了时间,提高了监控效率。
基于上面的描述,根据本发明实施例的异常行为监控装置能够检测到监控对象的异常行为,并在监控对象做出异常行为时及时进行提醒,从而对监控对象进行有效督促。
图5示出了根据本发明实施例的异常行为监控系统500的示意性框图。异常行为监控系统500包括存储装置510以及处理器520。
其中,存储装置510存储用于实现根据本发明实施例的用于智能台灯的异常行为监控方法中的相应步骤的程序代码。处理器520用于运行存储装置510中存储的程序代码,以执行根据本发明实施例的用于智能台灯的异常行为监控方法的相应步骤,并且用于实现根据本发明实施例的异常行为监控装置中的相应模块。
在一个实施例中,在所述程序代码被处理器520运行时使得异常行为监控系统500执行以下步骤:获取监控对象的人脸图像;根据所述人脸图像获取所述监控对象的头部姿态;根据所述头部姿态与标准头部姿态之间的偏转程度判断所述监控对象是否发生异常行为;当判断所述监控对象发生异常行为时,生成提示信息。
在一个实施例中,确定所述标准头部姿态的步骤包括:获取所述监控对象在标准姿态下的人脸图像;根据所述标准姿态下的人脸图像获取所述监控对象的标准头部姿态。
在一个实施例中,所述头部姿态是由所述监控对象头部的俯仰角、摇摆角和偏转角进行表征的。
在一个实施例中,所述根据所述标准姿态下的人脸图像获取所述监控对象的标准头部姿态包括:根据预定长度的时间段内所述监控对象在所述标准姿态下的人脸图像,获取所述预定长度的时间段内所述监控对象的所述标准头部姿态;计算所述预定长度的时间段内所述标准头部姿态的平均值。
在一个实施例中,所述根据所述头部姿态与标准头部姿态之间的偏转程度判断所述监控对象是否发生异常行为包括:若所述头部姿态与所述标准头部姿态之间的偏转程度大于阈值的时间超过预定时长,则判断所述监控对象发生异常行为。
在一个实施例中,所述生成提示信息包括:向所述监控对象发送提示信息;和/或向监控方的客户端发送远程提示信息。
在一个实施例中,在所述程序代码被处理器520运行时还使得异常行为监控系统500执行:若未能获取到所述监控对象在所述标准姿态下的人脸图像,则向所述监控对象发送提示信息。
此外,根据本发明实施例,还提供了一种存储介质,在所述存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本发明实施例的用于智能台灯的异常行为监控方法的相应步骤,并且用于实现根据本发明实施例的异常行为监控装置中的相应模块。所述存储介质例如可以包括存储卡、硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
在一个实施例中,所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的异常行为监控装置的各个功能模块,并且/或者可以执行根据本发明实施例的用于智能台灯的异常行为监控方法。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤:获取监控对象的人脸图像;根据所述人脸图像获取所述监控对象的头部姿态;根据所述头部姿态与标准头部姿态之间的偏转程度判断所述监控对象是否发生异常行为;当判断所述监控对象发生异常行为时,生成提示信息。
在一个实施例中,确定所述标准头部姿态的步骤包括:获取所述监控对象在标准姿态下的人脸图像;根据所述标准姿态下的人脸图像获取所述监控对象的标准头部姿态。
在一个实施例中,所述头部姿态是由所述监控对象头部的俯仰角、摇摆角和偏转角进行表征的。
在一个实施例中,所述根据所述标准姿态下的人脸图像获取所述监控对象的标准头部姿态包括:根据预定长度的时间段内所述监控对象在所述标准姿态下的人脸图像,获取所述预定长度的时间段内所述监控对象的所述标准头部姿态;计算所述预定长度的时间段内所述标准头部姿态的平均值。
在一个实施例中,所述根据所述头部姿态与标准头部姿态之间的偏转程度判断所述监控对象是否发生异常行为包括:若所述头部姿态与所述标准头部姿态之间的偏转程度大于阈值的时间超过预定时长,则判断所述监控对象发生异常行为。
在一个实施例中,所述生成提示信息包括:向所述监控对象发送提示信息;和/或向监控方的客户端发送远程提示信息。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时还使计算机或处理器执行以下步骤:若未能获取到所述监控对象在所述标准姿态下的人脸图像,则向所述监控对象发送提示信息。
根据本发明实施例的异常行为监控装置中的各模块可以通过根据本发明实施例的电子设备的处理器运行在存储器中存储的计算机程序指令来实现,或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
根据本发明实施例的用于智能台灯的异常行为监控方法、装置、系统和存储介质能够检测到监控对象的异常行为,并在监控对象做出异常行为时及时进行提醒,从而对监控对象进行有效督促。
根据本发明实施例,还提供了一种计算机程序,该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本发明实施例的用于智能台灯的异常行为监控方法的相应步骤,并且用于实现根据本发明实施例的异常行为监控装置中的相应模块。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种用于智能台灯的异常行为监控方法,其特征在于,所述方法包括:
获取监控对象的人脸图像;
根据所述人脸图像获取所述监控对象的头部姿态;
根据所述头部姿态与标准头部姿态之间的偏转程度判断所述监控对象是否发生异常行为;
当判断所述监控对象发生异常行为时,生成提示信息。
2.根据权利要求1所述的方法,其特征在于,确定所述标准头部姿态的步骤包括:
获取所述监控对象在标准姿态下的人脸图像;
根据所述标准姿态下的人脸图像获取所述监控对象的标准头部姿态。
3.根据权利要求1所述的方法,其特征在于,所述头部姿态是由所述监控对象头部的俯仰角、摇摆角和偏转角进行表征的。
4.根据权利要求2所述的方法,其特征在于,所述根据所述标准姿态下的人脸图像获取所述监控对象的标准头部姿态包括:
根据预定长度的时间段内所述监控对象在所述标准姿态下的人脸图像,获取所述预定长度的时间段内所述监控对象的所述标准头部姿态;以及
计算所述预定长度的时间段内所述标准头部姿态的平均值。
5.根据权利要求1所述的方法,其特征在于,所述根据所述头部姿态与标准头部姿态之间的偏转程度判断所述监控对象是否发生异常行为包括:
若所述头部姿态与所述标准头部姿态之间的偏转程度大于阈值的时间超过预定时长,则判断所述监控对象发生异常行为。
6.根据权利要求1所述的方法,其特征在于,所述生成提示信息包括:
向所述监控对象发送提示信息;和/或
向监控方的客户端发送远程提示信息。
7.根据权利要求2所述的方法,其特征在于,所述方法还包括:若未能获取到所述监控对象在所述标准姿态下的人脸图像,则向所述监控对象发送提示信息。
8.一种用于智能台灯的异常行为监控装置,其特征在于,所述装置包括:
人脸图像获取模块,配置为获取监控对象的人脸图像;
头部姿态获取模块,配置为根据所述人脸图像获取所述监控对象的头部姿态;
异常行为判断模块,配置为根据所述头部姿态与标准头部姿态之间的偏转程度判断所述监控对象是否发生异常行为;
提示模块,配置为当判断所述监控对象发生异常行为时,生成提示信息。
9.一种异常行为监控系统,其特征在于,所述系统包括存储装置和处理器,所述存储装置上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行如权利要求1-7中的任一项所述的用于智能台灯的异常行为监控方法。
10.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行如权利要求1-7中的任一项所述的用于智能台灯的异常行为监控方法。
CN201811533315.7A 2018-12-14 2018-12-14 用于智能台灯的异常行为监控方法、装置、系统和存储介质 Pending CN109670438A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811533315.7A CN109670438A (zh) 2018-12-14 2018-12-14 用于智能台灯的异常行为监控方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811533315.7A CN109670438A (zh) 2018-12-14 2018-12-14 用于智能台灯的异常行为监控方法、装置、系统和存储介质

Publications (1)

Publication Number Publication Date
CN109670438A true CN109670438A (zh) 2019-04-23

Family

ID=66144837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811533315.7A Pending CN109670438A (zh) 2018-12-14 2018-12-14 用于智能台灯的异常行为监控方法、装置、系统和存储介质

Country Status (1)

Country Link
CN (1) CN109670438A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288813A (zh) * 2019-05-20 2019-09-27 广州市国翼教育科技有限公司 一种健康坐姿监控方法与及其监控系统
CN111353362A (zh) * 2019-08-19 2020-06-30 深圳市鸿合创新信息技术有限责任公司 一种行为识别方法及装置、电子设备
CN112446360A (zh) * 2020-12-15 2021-03-05 作业帮教育科技(北京)有限公司 目标行为检测方法、装置及电子设备
CN113673319A (zh) * 2021-07-12 2021-11-19 浙江大华技术股份有限公司 异常姿态检测方法、装置、电子装置和存储介质
CN114241604A (zh) * 2021-12-20 2022-03-25 北京小米移动软件有限公司 姿态检测的方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103309A (zh) * 2017-05-31 2017-08-29 天津中科智能识别产业技术研究院有限公司 一种基于图像识别的学生坐姿检测与纠正系统
CN107606512A (zh) * 2017-07-27 2018-01-19 广东数相智能科技有限公司 一种智能台灯、基于智能台灯提醒用户坐姿的方法及装置
CN108601133A (zh) * 2018-02-12 2018-09-28 甄十信息科技(上海)有限公司 一种智能台灯及基于智能台灯的坐姿纠正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103309A (zh) * 2017-05-31 2017-08-29 天津中科智能识别产业技术研究院有限公司 一种基于图像识别的学生坐姿检测与纠正系统
CN107606512A (zh) * 2017-07-27 2018-01-19 广东数相智能科技有限公司 一种智能台灯、基于智能台灯提醒用户坐姿的方法及装置
CN108601133A (zh) * 2018-02-12 2018-09-28 甄十信息科技(上海)有限公司 一种智能台灯及基于智能台灯的坐姿纠正方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288813A (zh) * 2019-05-20 2019-09-27 广州市国翼教育科技有限公司 一种健康坐姿监控方法与及其监控系统
CN111353362A (zh) * 2019-08-19 2020-06-30 深圳市鸿合创新信息技术有限责任公司 一种行为识别方法及装置、电子设备
CN112446360A (zh) * 2020-12-15 2021-03-05 作业帮教育科技(北京)有限公司 目标行为检测方法、装置及电子设备
CN113673319A (zh) * 2021-07-12 2021-11-19 浙江大华技术股份有限公司 异常姿态检测方法、装置、电子装置和存储介质
CN113673319B (zh) * 2021-07-12 2024-05-03 浙江大华技术股份有限公司 异常姿态检测方法、装置、电子装置和存储介质
CN114241604A (zh) * 2021-12-20 2022-03-25 北京小米移动软件有限公司 姿态检测的方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN109670438A (zh) 用于智能台灯的异常行为监控方法、装置、系统和存储介质
CN108353149A (zh) Cctv自动选别监测系统cctv自动选别监测管理服务器及管理方法
CN104166835A (zh) 用于识别活体用户的方法和装置
KR102630114B1 (ko) 서비스 제공을 위한 웨어 시스템 및 방법
CN108875546A (zh) 人脸身份验证方法、系统及存储介质
US11164384B2 (en) Mobile device image item replacements
CN109982124A (zh) 用户场景智能分析方法、装置和存储介质
CN105659200A (zh) 用于显示图形用户界面的方法、设备和系统
CN111814646B (zh) 基于ai视觉的监控方法、装置、设备及介质
CN103955272A (zh) 一种终端设备用户姿态检测系统
US20150196011A1 (en) Animal exercise assist device and animal activity information monitoring system and method
CN108346394A (zh) 控制开启护眼模式的方法、电子装置及计算机可读存储介质
CN110532999B (zh) 抽烟行为识别方法、装置及设备
CN111444982A (zh) 信息处理方法、装置、电子设备及可读存储介质
CN110263680A (zh) 图像处理方法、装置和系统及存储介质
JP6651086B1 (ja) 画像分析プログラム、情報処理端末、及び画像分析システム
CN113646027B (zh) 电子装置和用于由该电子装置提供用于减压的信息的方法
US11423762B1 (en) Providing device power-level notifications
US11904869B2 (en) Monitoring system and non-transitory storage medium
US20180199876A1 (en) User Health Monitoring Method, Monitoring Device, and Monitoring Terminal
US11521424B2 (en) Electronic device and control method therefor
Cheng et al. A Fall detection system based on SensorTag and Windows 10 IoT core
CN118092668A (zh) 一种多模态输入的人机交互方法、装置及电子设备
CN109684945A (zh) 基于瞳孔的活体检测方法、装置、服务器及存储介质
CN110222614A (zh) 一种识别行人跌倒的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190423