CN109344711A - 一种基于睡意程度的服务机器人主动服务方法 - Google Patents

一种基于睡意程度的服务机器人主动服务方法 Download PDF

Info

Publication number
CN109344711A
CN109344711A CN201811005177.5A CN201811005177A CN109344711A CN 109344711 A CN109344711 A CN 109344711A CN 201811005177 A CN201811005177 A CN 201811005177A CN 109344711 A CN109344711 A CN 109344711A
Authority
CN
China
Prior art keywords
layer
coordinate
sleepiness
degree
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811005177.5A
Other languages
English (en)
Other versions
CN109344711B (zh
Inventor
刘振焘
曹卫华
吴敏
陈略峰
李锶涵
郝曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201811005177.5A priority Critical patent/CN109344711B/zh
Publication of CN109344711A publication Critical patent/CN109344711A/zh
Application granted granted Critical
Publication of CN109344711B publication Critical patent/CN109344711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于睡意程度的服务机器人主动服务方法，包括以下步骤，A1：使用PERCLOS指标来判定用户的睡意程度；A2：得到用户睡意程度以及从开始到产生所述睡意程度的时间长短与用户需求之间的模糊关系；A3：机器人根据所述模糊关系，主动为用户提供相应的服务。本发明的有益效果：使机器人根据用户需求，在用户没有发出指令的情况下，主动的为用户提供相应的服务，有助于提高用户的学习和工作效率。

Description

一种基于睡意程度的服务机器人主动服务方法
技术领域
本发明涉及服务机器人技术领域，尤其涉及一种基于睡意程度的服务机器人主动服务方法。
背景技术
随着服务机器人进入到日常生活中的各个方面，人们对机器人提出了更高的要求。传统的服务机器人基本上采用指令时的服务，而如今人们希望机器人具有感知人类情感、意图并主动为人们服务的能力。因此，使机器人能够感知周围的环境，理解人类的情感、意图和服务需求，根据用户的需求以及环境信息的变化来提供主动、优质的服务是提高服务机器人的智能化重要突破口。
睡意是伴随着体力疲劳或精神疲劳而出现的一种状态。睡意的出现在很大程度上会降低人的警觉度、决策能力和记忆力，是导致工作学习效率下降以及事故发生的主要原因之一。近年来，有关睡意和疲劳的研究主要集中在睡意产生的机理以及驾驶疲劳的检测和监测中，但是睡意检测的应用范围不仅仅局限于此。在汽车驾驶、远程监控调度、内外科手术以及高空作业等比较危险和对精度要求较高的环境中，若作业人员出现睡意状态，将导致严重后果。除此之外，睡意状态的检测与研究，对未来智能教室以及家庭监护仪的开发都有着重要的意义。通过对学生睡意状态的检测及时调整老师讲课的方式，可以避免学习疲劳状态的出现，进而提高学习效率。为了减少睡意状态产生的危害、保护人们的安全和健康，提高学习和工作效率，对睡意状态的准确检测和实时估计具有重要的科学意义和迫切的现实需求。
针对此现状，探究有效的睡意程度识别方法，并结合被服务者的需求分析，建立一种基于睡意程度识别的机器人主动服务方法，提高服务机器人的主动服务能力具有重要的现实意义。
发明内容
有鉴于此，本发明的实施例提供了一种基于睡意程度的服务机器人主动服务方法，能够使机器人根据用户的睡意程度主动的为用户提供相应的服务。
本发明的实施例提供一种基于睡意程度的服务机器人主动服务方法，包括以下步骤，
A1：使用PERCLOS指标来判定用户的睡意程度；
A2：得到用户睡意程度以及从开始到产生所述睡意程度的时间长短与用户需求之间的模糊关系；
A3：机器人根据所述模糊关系，主动为用户提供相应的服务。
进一步地，
其中，ti表示人眼闭合的持续时间，n代表在时间窗为ti内产生的人闭眼的次数，T是整个时间窗的长度。
进一步地，所述睡意程度包括清醒、疲倦和非常疲倦，所述清醒和所述疲倦的临界值为第一阈值，所述疲倦与所述非常疲倦的临界值为第二阈值，将PERCLOS值大于第二阈值的用户的睡意程度判定为非常疲倦，将PERCLOS值小于第一阈值的用户的睡意程度判定为清醒，将PERCLOS值处于第一阈值和第二阈值之间的用户的睡意程度判定为疲倦。
进一步地，选取PERCLOS值不同、时间窗T相同的若干段视频段落，所述若干段视频段落对应的PERCLOS值为从0至0.95逐渐递增的若干离散数据，根据睡意程度的特征对所述若干段视频段落的睡意程度进行评价，选取PERCLOS值最大、睡意程度为清醒的视频段落与PERCLOS值最小、睡意程度为疲倦的视频段落，将它们对应的PERCLOS值平均后得到所述第一阈值，选取PERCLOS值最大、睡意程度为疲倦的视频段落与PERCLOS值最小、睡意程度为非常疲倦的视频段落，将它们对应的PERCLOS值平均后得到所述第二阈值。
进一步地，从视频段落中提取人脸图像，从所述人脸图像中获取人眼位置，基于获取的人眼位置找到人眼，基于水平投影方法来判断人眼状态，所述人眼状态包括在时间窗为T的时间内人闭眼的次数，若基于水平投影方法不能确定所述人眼状态，则采用Hough查找圆法来判断所述人眼状态。
进一步地，找到人眼位置的方法包括，
B1：提取视频段落中的人脸图像，将所述人脸图像输入一级卷积神经网络，得到第一次双眼坐标，将所述人脸图像裁剪成包含左眼的左半部分和包含右眼的右半部分后分别输入所述一级卷积神经网络，得到第一层左眼坐标和第一层右眼坐标，对所述第一层左眼坐标、第一层右眼坐标和第一次双眼坐标求平均得到第一层双眼坐标；
B2：以所述第一层双眼坐标为中心裁剪所述人脸图像构成第一包围框，将所述第一包围框输入二级卷积神经网络得到第二次双眼坐标；以所述第一层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第二包围框，将所述第二包围框分别输入到两个二级卷积神经网络得到两个第二层左眼坐标；以所述第一层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第三包围框，将所述第三包围框分别输入到两个二级卷积神经网络得到两个第二层右眼坐标；对所述第二次双眼坐标、两第二层左眼坐标和两第二层右眼坐标求平均得到第二层双眼坐标；
B3：以所述第二层双眼坐标为中心裁剪所述人脸图像构成第四包围框，将所述第四包围框输入三级卷积神经网络得到第三次双眼坐标；以所述第二层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第五包围框，将所述第五包围框输入到三级卷积神经网络得到第三层左眼坐标；以所述第二层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第六包围框，将所述第六包围框输入到三级卷积神经网络得到第三层右眼坐标；对所述第三次双眼坐标、第三层左眼坐标和第三层右眼坐标求平均得到第三层双眼坐标；
B4：以所述第三层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第七包围框，将所述第七包围框输入到四级卷积神经网络得到第四层左眼坐标；以所述第三层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第八包围框，将所述第八包围框输入到四级卷积神经网络得到第四层右眼坐标；对所述第四层左眼坐标和第四层右眼坐标叠加得到第四层双眼坐标，即人眼的位置。
进一步地，在采用水平投影方法来判断人眼状态前，先将所述人眼转化为灰度图像；在B1中，将所述视频段落输入至libfacedetect人脸检测器进行人脸识别得到原始人脸图像，然后将所述原始人脸图像转化为灰度图像得到所述人脸图像。
进一步地，用户的睡意程度以及从开始到产生所述睡意程度的时间长短与用户需求之间的模糊关系为，
N为无需求，L为需要一杯低浓度的咖啡或茶，M为需要一杯中浓度的咖啡或茶，H为需要一杯高浓度的咖啡或茶，D为从开始到产生所述睡意程度的时间小于2小时，C为从开始到产生所述睡意程度的时间大于或等于2小时，所述机器人根据睡意程度和时间所在横条中模糊关系最大的值所对应的用户需求主动为用户提供相应的服务。
进一步地，所述机器人中具有包含所述模糊关系和主动服务的服务矩阵，所述服务矩阵为
所述机器人获得所述模糊关系对应的用户需求后，根据所述服务矩阵为用户提供主动服务。
进一步地，所述的基于睡意程度的服务机器人主动服务方法还包括
A4：实时获取接受所述机器人提供的相应服务后用户的睡意程度，然后跳回步骤A1。
本发明的实施例提供的技术方案带来的有益效果是：本发明所述的基于睡意程度的服务机器人主动服务方法，能够实时的识别用户的睡意程度，实时分析用户的服务需求，并根据用户需求提供主动、优质的服务，有助于提高用户的学习和工作效率。
附图说明
图1是本发明基于睡意程度的服务机器人主动服务方法的流程图；
图2是本发明利用四级级联卷积神经网络从所述人脸图像中找到人眼位置的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
请参考图1，本发明的实施例提供了一种基于睡意程度的服务机器人主动服务方法，利用该方法，使机器人根据用户需求，在用户没有发出指令的情况下，主动的为用户提供相应的服务，包括以下步骤：
A1：使用PERCLOS指标来判定用户的睡意程度。
其中，ti表示人眼闭合的持续时间，n代表在时间窗为ti内产生的人闭眼的次数，T是整个时间窗的长度。
要想获取PERCLOS中的n，首先需要对用户进行拍摄取图，本实施例以对用户进行视频拍摄取图为例进行说明，将拍摄的视频段落输入至libfacedetect人脸检测器进行人脸识别得到原始人脸图像，然后将所述原始人脸图像转化为灰度图像得到人脸图像，完成人脸图像的提取。
请参考图2，然后利用四级级联卷积神经网络从所述人脸图像中找到人眼位置，具体方法为：
B1：提取视频段落中的人脸图像，将所述人脸图像输入一级卷积神经网络F1，得到第一次双眼坐标，将所述人脸图像裁剪成包含左眼的左半部分和包含右眼的右半部分后分别输入所述一级卷积神经网络LE1、RE1，得到第一层左眼坐标和第一层右眼坐标，对所述第一层左眼坐标、第一层右眼坐标和第一次双眼坐标求平均得到第一层双眼坐标。得到所述第一次双眼坐标的所述一级卷积神经网络与得到所述第一层左眼坐标和第一层右眼坐标的所述一级卷积神经网络不是同一所述一级卷积神经网络，三个所述一级卷积神经网络需要同时使用，如此可以从整体上缩短时间、加快进程。
B2：以所述第一层双眼坐标为中心裁剪所述人脸图像构成第一包围框，将所述第一包围框输入二级卷积神经网络F2得到第二次双眼坐标；以所述第一层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第二包围框，将所述第二包围框分别输入到两个二级卷积神经网络LE21、LE22得到两个第二层左眼坐标；以所述第一层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第三包围框，将所述第三包围框分别输入到两个二级卷积神经网络RE21、RE22得到两个第二层右眼坐标；对所述第二次双眼坐标、两第二层左眼坐标和两第二层右眼坐标求平均得到第二层双眼坐标。从而，所述第二层双眼坐标相对所述第一层双眼坐标对双眼的位置定位更加准确。由上文可知，所述第一包围框的框选面积小于所述人脸图像的面积，所述第二包围框和所述第三包围框的框选面积小于所述左半部分和所述右半部分的面积，从而，所述第二层双眼坐标相对所述第一层双眼坐标对双眼的位置定位进一步准确。
B3：以所述第二层双眼坐标为中心裁剪所述人脸图像构成第四包围框，将所述第四包围框输入三级卷积神经网络F3得到第三次双眼坐标；以所述第二层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第五包围框，将所述第五包围框输入到三级卷积神经网络LE3得到第三层左眼坐标；以所述第二层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第六包围框，将所述第六包围框输入到三级卷积神经网络RE3得到第三层右眼坐标；对所述第三次双眼坐标、第三层左眼坐标和第三层右眼坐标求平均得到第三层双眼坐标。从而所述第三层双眼坐标相对于所述第二层双眼坐标对双眼的位置定位更加精确。所述第四包围框的框选面积小于所述第一包围框的框选面积，所述第五包围框和所述第六包围框的框选面积分别小于所述第二包围框和所述第三包围框的框选面积，从而所述第三层双眼坐标相对于所述第二层双眼坐标对双眼的位置定位进一步精确。
B4：以所述第三层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第七包围框，将所述第七包围框输入到四级卷积神经网络LE4得到第四层左眼坐标；以所述第三层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第八包围框，将所述第八包围框输入到四级卷积神经网络RE4得到第四层右眼坐标；对所述第四层左眼坐标和第四层右眼坐标叠加得到第四层双眼坐标，即人眼的位置。同上，所述第七包围框的框选面积小于所述第五包围框的框选面积，所述第八包围框的框选面积小于所述第六包围框的框选面积，最终得到的人眼位置具有非常高的精度。
本发明中的人眼定位方法相对于现有技术而言卷积神经网络的个数更少，运行的速度更快。在此基础上，对左眼右眼分别单独进行预测，并且运用了更多的网络对其进行预测再平均，定位的精度更高。与此同时级联的层数增加到4层，卷积神经网络的个数由层数的增加而减少，在层数增加的基础上并没有使得网络的数量增加，这样可以在提高精确性的前提下不减少运行的速度。此外，本发明运用了libfacedetect人脸检测器相对于原技术的人脸检测器而言检测的精度与速度都有提高。
完成人眼定位并根据人眼的位置找到人眼后，将所述人眼转化为灰度图像，然后基于水平投影方法来判断人眼状态，所述人眼状态包括在时间窗为T的时间内人闭眼的次数，若基于水平投影方法不能确定所述人眼状态，则采用Hough查找圆法来判断所述人眼状态。
所述水平投影方法是指：累加水平方向上边缘点个数，得到水平投影向量，在该水平投影向量中，若最大纵坐标(位于上眼睑中间位置)与最小纵坐标(位于下眼睑中间位置)的相差值足够小，则判断当前人眼状态为闭眼，这里所述的足够小是指最大纵坐标与最小纵坐标之间的距离小于眼睑阈值，所述眼睑阈值的范围在0.15w和0.25w之间，w为对应人眼灰度图像的宽度。若最大纵坐标(位于上眼睑中间位置)与最小纵坐标(位于下眼睑中间位置)的相差值没有足够小，则采用Hough查找圆法来判断所述人眼状态。
所述Hough查找圆法是指：根据不同人眼大小和距离摄像头远近的关系而造成的图像中眼睛的大小变化，选择半径变换范围，使用Hough圆变换得到圆心位置和对应的半径，Hough圆变换得到圆心位置和半径之后，统计圆周上是边缘点的数目和连续弧的边缘点数目，并保存在数组中，统计数组中超过1/2圆周的连续弧的数目X，统计数组中超过1/3圆周的连续弧的数目Y，如果边缘点的数目大于等于20，并且X≥1或Y≥2，判断为睁眼，否则判断为闭眼。
根据所述人眼状态，统计在时间窗为ti内闭眼次数n，获知闭眼总时间，然后根据整个时间窗的时间长度T即可获知在时间窗为T的时间内的PERCLOS值。
将所述睡意程度分为清醒、疲倦和非常疲倦三种程度，所述清醒和所述疲倦的临界值为第一阈值，所述疲倦与所述非常疲倦的临界值为第二阈值，将PERCLOS值大于第二阈值的用户的睡意程度判定为非常疲倦，将PERCLOS值小于第一阈值的用户的睡意程度判定为清醒，将PERCLOS值处于第一阈值和第二阈值之间的用户的睡意程度判定为疲倦。
获知所述第一阈值和所述第二阈值的方法为：
对10名专家进行培训(专家数目并不以此为限)，使10名所述专家深入学习和感知睡意程度的特征，所述的睡意程度的特征包括如闭眼、哈欠、点头等，根据所述的睡意程度的特征所表现出的精神程度，将所述睡意程度分为清醒、疲倦和非常疲倦三种程度。随后选取PERCLOS值不同、时间窗T相同的若干段视频段落，所述若干段视频段落对应的PERCLOS值为从0至0.95逐渐递增的若干离散数据(如：0、0.05、0.10、0.15、0.20、0.25、0.30、0.35、0.40、0.45、0.50、0.55、0.60、0.65、0.70、0.75、0.80、0.85、0.90和0.95)，T＝30s，所述专家根据睡意程度的特征对所述若干段视频段落的睡意程度进行评价，如表一所示：
表一
选取PERCLOS值最大、睡意程度为清醒的视频段落与PERCLOS值最小、睡意程度为疲倦的视频段落，将它们对应的PERCLOS值平均后得到所述第一阈值，选取PERCLOS值最大、睡意程度为疲倦的视频段落与PERCLOS值最小、睡意程度为非常疲倦的视频段落，将它们对应的PERCLOS值平均后得到所述第二阈值。
A2：得到用户睡意程度以及从开始到产生所述睡意程度的时间长短与用户需求之间的模糊关系。
本发明所述的基于睡意程度的服务机器人主动服务方法预设的开始时的所述睡意程度为清醒，用户睡意程度以及从开始到产生当前所述睡意程度的时间长短与用户需求之间的模糊关系如表二所示：
表二
N为无需求，L为需要一杯低浓度的咖啡或茶，M为需要一杯中浓度的咖啡或茶，H为需要一杯高浓度的咖啡或茶，D为从开始到产生当前所述睡意程度的时间小于2小时，C为从开始到产生当前所述睡意程度的时间大于或等于2小时，所述机器人根据睡意程度和时间所在横条中模糊关系最大的值所对应的用户需求主动为用户提供相应的服务。表二中的模糊关系根据统计和经验所得。
表二中，(非常疲倦C，M)＝0.8﹥(非常疲倦C，H)＝0.6，而(非常疲倦D，H)＝0.9﹥(非常疲倦D，M)＝0.6，是因为，当用户睡意程度同为非常疲倦时，从开始到产生该睡意程度的时间越短，说明用户睡意程度的增长速率越大。因此用户在短时间内就进入非常疲倦的状态时，用户需要浓度高的咖啡或茶对其的睡意进行抑制；若用户从开始到产生该睡意程度的时间较长,尤其是过了2小时(不以此为限)的转折点后，那么用户的睡意程度的增长速率较前者慢，从而用户只需要浓度中等的咖啡或茶即可对其的睡意进行抑制。从而使(非常疲倦C，M)＝0.8﹥(非常疲倦C，H)＝0.6且(非常疲倦D，H)＝0.9﹥(非常疲倦D，M)＝0.6。
提供的饮品除了咖啡和茶外，还可以是其他具有提神作用的饮品或者食品，具体的根据用户的喜好设定。
A3：机器人根据所述模糊关系，主动为用户提供相应的服务。
所述机器人中具有包含所述模糊关系和主动服务的服务矩阵，所述服务矩阵如表3所示：
表3
所述机器人获得所述模糊关系对应的用户需求后，根据所述服务矩阵为用户提供主动服务。
A4：通过模糊控制器实时获取接受所述机器人提供的相应服务后用户的睡意程度，然后跳回步骤A1。即所述模糊控制器具有追踪和反馈用户的所述睡意程度的作用。如：若测得用户的睡意程度为非常疲倦，从开始到产生该睡意程度的时间长度小于2小时，则首先所述机器人会给予用户一杯高浓度咖啡或茶。若随后用户的睡意程度降为清醒，则所述机器人无需再进行相应的服务；若用户的睡意程度降为疲倦，则所述机器人还需给予用户一杯中等浓度的咖啡或茶，如此类推，直至用户清醒或者停止作业。
本发明的实施例提供的技术方案带来的有益效果是：本发明所述的基于睡意程度的服务机器人主动服务方法，能够实时的识别用户的睡意程度，实时分析用户的服务需求，并根据用户需求提供主动、优质的服务，有助于提高用户的学习和工作效率。
在本文中，所涉及的前、后、上、下等方位词是以附图中零部件位于图中以及零部件相互之间的位置来定义的，只是为了表达技术方案的清楚及方便。应当理解，所述方位词的使用不应限制本申请请求保护的范围。
在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于睡意程度的服务机器人主动服务方法，其特征在于：包括以下步骤，
A1：使用PERCLOS指标来判定用户的睡意程度；
A2：得到用户睡意程度以及从开始到产生所述睡意程度的时间长短与用户需求之间的模糊关系；
A3：机器人根据所述模糊关系，主动为用户提供相应的服务。
2.如权利要求1所述的基于睡意程度的服务机器人主动服务方法，其特征在于：
其中，ti表示人眼闭合的持续时间，n代表在时间窗为ti内产生的人闭眼的次数，T是整个时间窗的长度。
3.如权利要求2所述的基于睡意程度的服务机器人主动服务方法，其特征在于：所述睡意程度包括清醒、疲倦和非常疲倦，所述清醒和所述疲倦的临界值为第一阈值，所述疲倦与所述非常疲倦的临界值为第二阈值，将PERCLOS值大于第二阈值的用户的睡意程度判定为非常疲倦，将PERCLOS值小于第一阈值的用户的睡意程度判定为清醒，将PERCLOS值处于第一阈值和第二阈值之间的用户的睡意程度判定为疲倦。
4.如权利要求3所述的基于睡意程度的服务机器人主动服务方法，其特征在于：选取PERCLOS值不同、时间窗T相同的若干段视频段落，所述若干段视频段落对应的PERCLOS值为从0至0.95逐渐递增的若干离散数据，根据睡意程度的特征对所述若干段视频段落的睡意程度进行评价，选取PERCLOS值最大、睡意程度为清醒的视频段落与PERCLOS值最小、睡意程度为疲倦的视频段落，将它们对应的PERCLOS值平均后得到所述第一阈值，选取PERCLOS值最大、睡意程度为疲倦的视频段落与PERCLOS值最小、睡意程度为非常疲倦的视频段落，将它们对应的PERCLOS值平均后得到所述第二阈值。
5.如权利要求2所述的基于睡意程度的服务机器人主动服务方法，其特征在于：从视频段落中提取人脸图像，从所述人脸图像中获取人眼位置，基于获取的人眼位置找到人眼，基于水平投影方法来判断人眼状态，所述人眼状态包括在时间窗为T的时间内人闭眼的次数，若基于水平投影方法不能确定所述人眼状态，则采用Hough查找圆法来判断所述人眼状态。
6.如权利要求5所述的基于睡意程度的服务机器人主动服务方法，其特征在于：找到人眼位置的方法包括，
B1：提取视频段落中的人脸图像，将所述人脸图像输入一级卷积神经网络，得到第一次双眼坐标，将所述人脸图像裁剪成包含左眼的左半部分和包含右眼的右半部分后分别输入所述一级卷积神经网络，得到第一层左眼坐标和第一层右眼坐标，对所述第一层左眼坐标、第一层右眼坐标和第一次双眼坐标求平均得到第一层双眼坐标；
B2：以所述第一层双眼坐标为中心裁剪所述人脸图像构成第一包围框，将所述第一包围框输入二级卷积神经网络得到第二次双眼坐标；以所述第一层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第二包围框，将所述第二包围框分别输入到两个二级卷积神经网络得到两个第二层左眼坐标；以所述第一层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第三包围框，将所述第三包围框分别输入到两个二级卷积神经网络得到两个第二层右眼坐标；对所述第二次双眼坐标、两第二层左眼坐标和两第二层右眼坐标求平均得到第二层双眼坐标；
B3：以所述第二层双眼坐标为中心裁剪所述人脸图像构成第四包围框，将所述第四包围框输入三级卷积神经网络得到第三次双眼坐标；以所述第二层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第五包围框，将所述第五包围框输入到三级卷积神经网络得到第三层左眼坐标；以所述第二层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第六包围框，将所述第六包围框输入到三级卷积神经网络得到第三层右眼坐标；对所述第三次双眼坐标、第三层左眼坐标和第三层右眼坐标求平均得到第三层双眼坐标；
B4：以所述第三层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第七包围框，将所述第七包围框输入到四级卷积神经网络得到第四层左眼坐标；以所述第三层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第八包围框，将所述第八包围框输入到四级卷积神经网络得到第四层右眼坐标；对所述第四层左眼坐标和第四层右眼坐标叠加得到第四层双眼坐标，即人眼的位置。
7.如权利要求6所述的基于睡意程度的服务机器人主动服务方法，其特征在于：在采用水平投影方法来判断人眼状态前，先将所述人眼转化为灰度图像；在B1中，将所述视频段落输入至libfacedetect人脸检测器进行人脸识别得到原始人脸图像，然后将所述原始人脸图像转化为灰度图像得到所述人脸图像。
8.如权利要求1所述的基于睡意程度的服务机器人主动服务方法，其特征在于：用户的睡意程度以及从开始到产生所述睡意程度的时间长短与用户需求之间的模糊关系为，
N为无需求，L为需要一杯低浓度的咖啡或茶，M为需要一杯中浓度的咖啡或茶，H为需要一杯高浓度的咖啡或茶，D为从开始到产生所述睡意程度的时间小于2小时，C为从开始到产生所述睡意程度的时间大于或等于2小时，所述机器人根据睡意程度和时间所在横条中模糊关系最大的值所对应的用户需求主动为用户提供相应的服务。
9.如权利要求8所述的基于睡意程度的服务机器人主动服务方法，其特征在于：所述机器人中具有包含所述模糊关系和主动服务的服务矩阵，所述服务矩阵为
所述机器人获得所述模糊关系对应的用户需求后，根据所述服务矩阵为用户提供主动服务。
10.如权利要求1所述的基于睡意程度的服务机器人主动服务方法，其特征在于：所述的基于睡意程度的服务机器人主动服务方法还包括
A4：实时获取接受所述机器人提供的相应服务后用户的睡意程度，然后跳回步骤A1。
CN201811005177.5A 2018-08-30 2018-08-30 一种基于睡意程度的服务机器人主动服务方法 Active CN109344711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811005177.5A CN109344711B (zh) 2018-08-30 2018-08-30 一种基于睡意程度的服务机器人主动服务方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811005177.5A CN109344711B (zh) 2018-08-30 2018-08-30 一种基于睡意程度的服务机器人主动服务方法

Publications (2)

Publication Number Publication Date
CN109344711A true CN109344711A (zh) 2019-02-15
CN109344711B CN109344711B (zh) 2020-10-30

Family

ID=65292175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811005177.5A Active CN109344711B (zh) 2018-08-30 2018-08-30 一种基于睡意程度的服务机器人主动服务方法

Country Status (1)

Country Link
CN (1) CN109344711B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260788A (zh) * 2020-01-14 2020-06-09 华南理工大学 一种基于双目视觉的配电柜开关状态识别方法
CN111297194A (zh) * 2019-12-25 2020-06-19 厦门城市职业学院（厦门市广播电视大学） 一种智能咖啡机系统
EP3965003A4 (en) * 2019-05-21 2022-07-06 Huawei Technologies Co., Ltd. IMAGE PROCESSING METHOD AND DEVICE

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127076A (zh) * 2007-09-27 2008-02-20 上海交通大学 基于级联分类和哈夫圆变换的人眼状态检测方法
GB201111159D0 (en) * 2010-07-08 2011-08-17 Honeywell Int Inc Landmark localization for facial imagery
CN202130312U (zh) * 2011-07-29 2012-02-01 四川中唯交通科技有限公司 一种驾驶员疲劳驾驶监控装置
CN103246879A (zh) * 2013-05-13 2013-08-14 苏州福丰科技有限公司 一种基于表情识别的智能机器人系统
CN107784292A (zh) * 2017-11-08 2018-03-09 北方工业大学 基于阵列镜头的驾驶员疲劳状态识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127076A (zh) * 2007-09-27 2008-02-20 上海交通大学 基于级联分类和哈夫圆变换的人眼状态检测方法
GB201111159D0 (en) * 2010-07-08 2011-08-17 Honeywell Int Inc Landmark localization for facial imagery
CN202130312U (zh) * 2011-07-29 2012-02-01 四川中唯交通科技有限公司 一种驾驶员疲劳驾驶监控装置
CN103246879A (zh) * 2013-05-13 2013-08-14 苏州福丰科技有限公司 一种基于表情识别的智能机器人系统
CN107784292A (zh) * 2017-11-08 2018-03-09 北方工业大学 基于阵列镜头的驾驶员疲劳状态识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MAN HAO等: "An initiative service method based on intention understanding for drinking service robot", 《IECON 2017-43RD ANNUAL CONFERENCE OF THE IEEE INDUSTRIAL ELECTRONICS SOCIETY》 *
YI SUN等: "Deep convolutional network cascade for facial point detection", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
帅斌: "《2013年全国博士生学术论坛 交通运输工程领域拔尖创新人才博士学术论坛论文集》", 28 February 2014, 成都：西南交通大学出版社 *
靳一凡: "基于级联卷积神经网络的人脸关键点检测算法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3965003A4 (en) * 2019-05-21 2022-07-06 Huawei Technologies Co., Ltd. IMAGE PROCESSING METHOD AND DEVICE
CN111297194A (zh) * 2019-12-25 2020-06-19 厦门城市职业学院（厦门市广播电视大学） 一种智能咖啡机系统
CN111260788A (zh) * 2020-01-14 2020-06-09 华南理工大学 一种基于双目视觉的配电柜开关状态识别方法
CN111260788B (zh) * 2020-01-14 2021-11-19 华南理工大学 一种基于双目视觉的配电柜开关状态识别方法

Also Published As

Publication number Publication date
CN109344711B (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
Patterson et al. Human factors of stereoscopic 3D displays
WO2020078465A1 (zh) 驾驶状态分析方法和装置、驾驶员监控系统、车辆
CN109344711A (zh) 一种基于睡意程度的服务机器人主动服务方法
CN111079475A (zh) 驾驶状态检测方法和装置、驾驶员监控系统、车辆
CN106491323B (zh) 用于治疗弱视的视频系统和装置
CN109558053A (zh) 一种调节屏幕显示的方法、移动终端及计算机可读存储介质
CN110377385A (zh) 一种屏幕显示方法、装置及终端设备
CN110147738B (zh) 一种驾驶员疲劳监测预警方法及系统
CN104793741A (zh) 带眼球跟踪虚拟现实成像系统和方法
CN108711407B (zh) 显示效果调节方法、调节装置、显示设备及存储介质
CN105095885B (zh) 一种人眼状态的检测方法和检测装置
Rakover Explaining the face-inversion effect: The face–scheme incompatibility (FSI) model
CN104581113B (zh) 基于观看角度的自适应全息显示方法及全息显示装置
CN112672474A (zh) 基于注意力因素的照明控制系统
CN107260506B (zh) 基于眼动的3d视觉训练系统、智能终端及头戴设备
CN110063736B (zh) 基于MOD-Net网络的眼动参数监测的疲劳检测及促醒系统
CN114120357B (zh) 一种基于神经网络的防近视方法和装置
CN102043942A (zh) 目视方向判断方法、影像处理方法及其装置、和显示装置
CN107550700A (zh) 一种智能视力训练方法
CN110503066A (zh) 基于神经网络的车载疲劳监测系统、方法及装置
CN104851065B (zh) 基于移动智能终端的眼睛保健及检查方法、及移动智能终端
Matthies et al. Reflexive interaction: Extending the concept of peripheral interaction
CN113239794A (zh) 一种面向在线学习的学习状态自动识别方法
CN206906936U (zh) 一种提供驾驶适宜性检测的头戴式显示设备
CN114241719B (zh) 一种学生学习中视觉疲劳状态监测方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant