CN109079809B - 一种机器人屏幕解锁方法、装置、智能设备及存储介质 - Google Patents

一种机器人屏幕解锁方法、装置、智能设备及存储介质 Download PDF

Info

Publication number
CN109079809B
CN109079809B CN201810851652.4A CN201810851652A CN109079809B CN 109079809 B CN109079809 B CN 109079809B CN 201810851652 A CN201810851652 A CN 201810851652A CN 109079809 B CN109079809 B CN 109079809B
Authority
CN
China
Prior art keywords
screen
detection module
target object
face
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810851652.4A
Other languages
English (en)
Other versions
CN109079809A (zh
Inventor
周宸
周宝
王健宗
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201810851652.4A priority Critical patent/CN109079809B/zh
Priority to PCT/CN2018/108468 priority patent/WO2020019504A1/zh
Publication of CN109079809A publication Critical patent/CN109079809A/zh
Application granted granted Critical
Publication of CN109079809B publication Critical patent/CN109079809B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种机器人屏幕解锁方法、装置、智能设备及存储介质,所述方法应用于机器人,所述机器人包括探测模块和屏幕,所述探测模块配置有传感器和摄像头,该方法包括:当检测到屏幕处于锁定状态时,调用所述传感器在所述探测模块的旋转路径对应的预设范围内感测是否存在物体,当预设范围内存在物体时,调用摄像头采集包括物体的图像,解析采集到的图像,以确定物体是否为目标对象,在确定出物体为目标对象时,旋转屏幕直至屏幕朝向目标对象,当检测到屏幕朝向目标对象时,将屏幕从锁定状态调整为解锁状态。采用本发明,使得屏幕在朝向目标对象的情况下处于解锁状态,一方面可以减小电量损耗,延长屏幕寿命;另一方面可以提高解锁效率。

Description

一种机器人屏幕解锁方法、装置、智能设备及存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种机器人屏幕解锁方法、装置、智能设备及存储介质。
背景技术
随着科技的迅猛发展,各种智能设备层出不穷,例如智能机器人。人们可以将机器人的触控显示屏幕激活,进而使用智能机器人的一些功能,例如电视节目观看、上网、玩游戏、或者办理业务等等操作。
目前,一般智能机器人的触控显示屏幕一部分是一直处于激活显示状态的,另一部分则必须依靠用户使用触控、语音等方式将触控显示屏激活。前者造成了智能机器人不必要的电量损耗和屏幕寿命损耗,后者需要用户主动触控显示屏,在行为上偏被动,解锁效率低。
发明内容
本发明实施例提供了一种机器人屏幕解锁方法、装置、智能设备及存储介质,使得屏幕在朝向用户的情况下处于解锁状态,一方面可以减小电量损耗,延长屏幕寿命;另一方面可以提高解锁效率。
第一方面,本发明实施例提供了一种机器人屏幕解锁方法,所述方法应用于机器人,所述机器人包括探测模块和屏幕,所述探测模块配置有传感器和摄像头,该方法包括:
当检测到所述屏幕处于锁定状态时,调用所述传感器在所述探测模块的旋转路径对应的预设范围内感测是否存在物体,所述旋转路径为根据预设旋转规则控制所述探测模块旋转的路径;
当所述预设范围内存在所述物体时,调用所述摄像头采集包括所述物体的图像;
解析采集到的所述图像,以确定所述物体是否为目标对象;
在确定出所述物体为目标对象时,旋转所述屏幕直至所述屏幕朝向所述目标对象;
当检测到所述屏幕朝向所述目标对象时,将所述屏幕从所述锁定状态调整为解锁状态。
在一个实施例中,所述在确定出所述物体为目标对象时,控制所述屏幕朝向所述目标对象的具体实施方式为:在确定出所述物体为目标对象时,控制所述探测模块和所述屏幕的旋转角度保持一致;控制所述探测模块和所述屏幕同步旋转,并在所述同步旋转的过程中调用所述摄像头采集包括所述目标对象的目标图像;确定所述目标对象所处区域的中心位置与所述目标图像的中心位置之间的偏移变量,并根据所述偏移变量调整所述探测模块和所述屏幕同步旋转的旋转角度和旋转方向;在检测到所述偏移变量处于预设偏移范围内时,确定所述探测模块和所述屏幕朝向所述目标对象,并停止所述同步旋转。
在一个实施例中,所述停止所述同步旋转之后,还可以按照预设时间间隔采集包括所述目标对象的目标图像,并计算所述目标对象所处区域的中心位置与所述目标图像的中心位置之间的偏移变量;在检测到所述偏移变量不处于所述预设偏移范围内时,触发所述控制所述探测模块和所述屏幕同步旋转的步骤。
在一个实施例中,所述将所述屏幕从所述锁定状态调整为解锁状态之后,还可以检测预设时间内所述机器人是否存在与所述目标对象之间的交互操作;若不存在所述交互操作,则将所述屏幕从所述解锁状态调整为所述锁定状态,并触发所述根据预设旋转规则控制所述探测模块旋转的步骤。
在一个实施例中,所述传感器为光线传感器,所述在所述旋转的过程中调用所述传感器感测预设范围内是否存在物体的具体实施方式为:在所述旋转的过程中调用所述光线传感器感测当前所处环境的光线强度;当所述光线强度小于或者等于预设强度阈值时,则确定预设范围内存在物体。
在一个实施例中,所述解析采集到的所述图像,以确定所述物体是否为目标对象的具体实施方式为:通过人脸检测算法对采集到的所述图像进行人脸识别,确定所述图像中是否存在人脸;当存在所述人脸时,确定所述人脸在所述图像中所占的人脸区域;当所述人脸区域大于或者等于预设人脸区域阈值时,确定所述物体为目标对象。
在一个实施例中,所述解析采集到的所述图像,以确定所述物体是否为目标对象的具体实施方式为:通过人脸检测算法对采集到的所述图像进行人脸识别,确定出所述图像的人脸特征区域;如果所述人脸特征区域包括人脸的五官特征,且所述人脸特征区域的尺寸大于或者等于预设特征区域阈值,则确定所述物体为目标对象,所述人脸的五官特征包括:眉毛轮廓、眼睛轮廓、嘴巴轮廓、鼻子轮廓和耳朵轮廓。
第二方面,本发明实施例提供了一种机器人屏幕解锁装置,该机器人屏幕解锁装置包括用于执行上述第一方面的方法的模块。
第三方面,本发明实施例提供了一种智能设备,该智能设备包括处理器、网络接口和存储器,所述处理器、网络接口和存储器相互连接,其中,所述网络接口受所述处理器的控制用于收发消息,所述存储器用于存储支持智能设备执行上述方法的计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行上述第一方面的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
本发明实施例中,当机器人检测到屏幕处于锁定状态时,可以调用传感器在探测模块的旋转路径对应的预设范围内感测是否存在物体,当感测到预设范围内存在物体时,调用摄像头采集包括该物体的图像,并解析采集到的该图像,以确定该物体是否为目标对象,在确定出物体为目标对象时,旋转该屏幕直至屏幕朝向目标对象,当检测到屏幕朝向该目标对象时,将屏幕从锁定状态调整为解锁状态。采用本发明,使得屏幕在朝向目标对象的情况下处于解锁状态,一方面可以减小电量损耗,延长屏幕寿命;另一方面可以提高解锁效率。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种机器人屏幕解锁方法的流程示意图;
图2a是本发明实施例提供的一种机器人的结构示意图;
图2b是本发明实施例提供的另一种机器人的结构示意图;
图3是本发明实施例提供的另一种机器人屏幕解锁方法的流程示意图;
图4是本发明实施例提供的一种机器人屏幕解锁方法的坐标示意图;
图5是本发明实施例提供的一种机器人屏幕解锁装置的示意性框图;
图6是本发明实施例提供的一种智能设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,图1是本发明实施例提供的一种机器人屏幕解锁方法的流程示意图,该方法应用于机器人,该机器人包括探测模块和屏幕,该探测模块配置有传感器和摄像头,如图所示,该机器人屏幕解锁方法可包括:
101、当机器人检测到屏幕处于锁定状态时,调用传感器在探测模块的旋转路径对应的预设范围内感测是否存在物体,该旋转路径为根据预设旋转规则控制探测模块旋转的路径。
其中,传感器存在自身的感测范围(也即最大感测范围或者规定范围),上述预设范围则为探测模块旋转路径对应的感测区域,该感测区域的半径与最大感测范围的半径相等。
其中,机器人包括的探测模块和屏幕可以是一体连接的,也可以是分开连接的。在一个实施例中,该机器人可以如图2a所示,从图2a可以看出该机器人拥有底座、身体部分(配置有触摸显示屏)、头部(即配置有传感器和摄像头的探测模块),其中,该探测模块和屏幕通过可旋转关节分开连接;在另一个实施例中,该机器人可以如图2b所示,该机器人可以没有头部,摄像头,传感器以及屏幕均集成在身体部分。
其中,该预设旋转规则包括控制探测模块旋转的预设旋转角速度、第一预设方向、第一预设方向对应的最大旋转角度(以下简称第一旋转角度)、第二预设方向、以及第二预设方向对应的最大旋转角度(以下简称第二旋转角度)。
在一个实施例中,机器人可以控制探测模块旋转,寻找服务对象。当机器人检测到屏幕处于锁定状态时,可以按照左右匀速运动的方式旋转探测模块,主动寻找服务对象,并左右旋转的过程中调用传感器感测预设范围内是否存在物体,当检测到预设范围内存在物体时,暂停旋转该探测模块。其中,该预设范围可以是系统预先设置的,也可以是根据用户需求设置的,该预设范围例如可以为以探测模块为中心,0.5米为半径的扇区,本发明对此不作具体地限定。
例如,机器人可以根据预设旋转规则,控制探测模块先以角速度
Figure 481162DEST_PATH_IMAGE001
(即预设旋转角度)向左(即第一预设方向)旋转,至左边极限角度
Figure 759697DEST_PATH_IMAGE002
(即第一旋转角度)后开始向右(即第二预设方向)以角速度
Figure 642202DEST_PATH_IMAGE003
旋转,至右边极限角度
Figure 542156DEST_PATH_IMAGE004
(即第二旋转角度)后,再以角速度
Figure 484704DEST_PATH_IMAGE003
向左旋转,如此循环。在循环的过程中,机器人可以调用探测模块中的传感器感测预设范围内是否存在物体,当检测到预设范围内存在物体时,暂停旋转该探测模块。
其中,上述传感器可以包括光线传感器、热传感器、红外传感器或者其它可以探测预设范围内是否存在物体的传感器。在一个实施例中,当该传感器为光线传感器时,机器人可以调用光线传感器在探测模块的旋转路径对应的预设范围内感测当前所处环境的光线强度,当该光线强度小于或者等于预设强度阈值时,则确定预设范围内存在物体。
示例性地,假设预设强度阈值为Im,该传感器为光线传感器,位于摄像头的旁边。这种情况下,机器人可以通过光线传感器检测环境光强,在机器人左右旋转寻找服务对象的过程中,借助摄像头附近的光线传感器测量环境光线强度I。如果机器人检测到I<Im,则可以确定摄像头前方范围内可能存在障碍物遮挡,也即可以确定预设范围内存在物体,该物体类型可能是物体,也可能是用户。
在一个实施例中,光强阈值Im的设置根据使用环境来进行具体设置。例如可以结合当前的系统时间,若当前系统时间为黑夜时间,则将阈值Im相应调小,若当前系统时间为白天时间,则阈值Im相应调大。
在一个实施例中,当机器人所处环境为室内可见光环境下,由于室内光线基本保持不变,则可以根据机器人所处室内环境的环境光进行设置。例如,机器人被放置在地点A,该地点A所处室内环境的可见光比较强,则可以将光强阈值Im相应调大;如机器人被放置在地点B,该地点B所处环境的可见光比较弱,则可以将光强阈值Im相应调小。
102、当预设范围内存在物体时,机器人调用摄像头采集包括物体的图像。
103、机器人解析采集到的图像,以确定物体是否为目标对象。
在一个实施例中,在旋转的过程中,机器人调用传感器感测到预设范围内存在物体时,可以打开摄像头采集包括该物体的图像,并通过人脸检测算法识别该图像中是否包括人脸,若包括人脸,也即确定该物体为“人”,则可以进一步确定该“人”距离摄像头的距离,若该距离满足预设距离条件,如0.5m,则确定该物体为机器人的服务对象,即目标对象,其中,该目标对象即为使用该机器人的用户。
在一个实施例中,机器人可以通过人脸检测算法对采集到的图像进行人脸识别,确定图像中是否存在人脸,当存在脸时,确定人脸在像中所占的人脸区域,当该人脸区域大于或者等于预设人脸区域阈值时,则确定该物体距离摄像头的距离满足预设距离条件,进而则可确定该物体为目标对象。其中,采用opencv、seetaface等开源库或者第三方提供的人脸检测功能均可实现上述的人脸检测算法。
在一个实施例中,机器人可以通过人脸检测算法对采集到的图像进行人脸识别,确定出图像的人脸特征区域,如果该人脸特征区域包括人脸的五官特征,且人脸特征区域的尺寸大于或者等于预设特征区域阈值,则确定物体为目标对象,该人脸的五官特征包括:眉毛轮廓、眼睛轮廓、嘴巴轮廓、鼻子轮廓和耳朵轮廓。
其中,在机器人确定出物体不为目标对象时,可以关闭摄像头,并继续执行根据预设旋转规则控制探测模块旋转,并在旋转的过程中调用传感器感测预设范围内是否存在物体的步骤。
104、机器人在确定出物体为目标对象时,旋转屏幕直至屏幕朝向目标对象。
105、当机器人检测到屏幕朝向目标对象时,将屏幕从锁定状态调整为解锁状态。
在一个实施例中,机器人在确定出物体为目标对象时,可以获取探测模块的当前旋转角度和当前旋转方向,并控制屏幕往该当前旋转方向旋转,其旋转角度与探测模块的当前旋转角度保持一致,进而实现探测模块和屏幕的旋转角度保持一致。进一步,当探测模块和屏幕的旋转角度保持一致后,可以锁定探测模块和屏幕,同步旋转探测模块和屏幕,直至检测到该屏幕朝向目标对象,则暂停旋转,并对屏幕解锁,使得屏幕从锁定状态调整为解锁状态。
在一个实施例中,当机器人包括的探测模块和屏幕是分开连接的情况下,机器人根据预设规则控制探测模块旋转寻找目标对象的过程中,可以有几种方式:第一种方式,机器人控制探测模块部分先左右旋转寻找目标对象,当寻找到目标对象后再旋转带屏幕的部分。例如,探测模块为机器人的头部,头部配置有传感器和摄像头,机器人可以旋转头部利用传感器和摄像头寻找到目标对象后,再旋转屏幕,这样可以减少屏幕部分不必要的旋转。第二种方式,机器人控制探测模块先左右旋转,在旋转过程中调用传感器确定出有疑似目标对象的时,也即确定出预设范围内存在物体时,则并行旋转屏幕和利用人脸检测技术进一步判定该疑似目标对象是否为目标对象,这样可以在一定程度上减少不必要旋转的同时,提高整个解锁过程的效率。
本发明实施例中,当机器人检测到屏幕处于锁定状态时,可以根据预设旋转规则控制探测模块旋转,并在旋转的过程中调用传感器感测预设范围内是否存在物体,当预设范围内存在物体时,调用摄像头采集包括物体的图像,并解析该图像以确定物体是否为目标对象,若为目标对象,则旋转屏幕直至屏幕朝向目标对象,当检测到屏幕朝向目标对象时,将屏幕从锁定状态调整为解锁状态。采用本发明,使得屏幕在朝向目标对象的情况下处于解锁状态,一方面可以减小电量损耗,延长屏幕寿命;另一方面可以提高解锁效率。
参见图3,图3是本发明实施例提供的另一种机器人屏幕解锁方法的流程示意图,如图所示,该机器人屏幕解锁方法可包括:
301、当机器人检测到屏幕处于锁定状态时,调用传感器在探测模块的旋转路径对应的预设范围内感测是否存在物体,该旋转路径为根据预设旋转规则控制探测模块旋转的路径。
302、当预设范围内存在物体时,机器人调用摄像头采集包括物体的图像。
303、机器人解析采集到的图像,以确定物体是否为目标对象。
304、机器人在确定出物体为目标对象时,旋转屏幕直至屏幕朝向目标对象。
其中,步骤301-步骤304的具体实现方式,可以上述实施例中步骤101-步骤104的相关描述,此处不再赘述。
305、当机器人检测到屏幕朝向目标对象时,将屏幕从锁定状态调整为解锁状态。
在一个实施例中,机器人在确定出物体为目标对象时,控制该探测模块和屏幕的旋转角度保持一致,并控制该探测模块和屏幕同步旋转,在同步旋转的过程中调用摄像头采集包括目标对象的目标图像,进而确定目标对象所处区域的中心位置与目标图像的中心位置之间的偏移变量,并根据偏移变量调整探测模块和屏幕同步旋转的旋转角度和旋转方向。进一步地,在机器人检测到偏移变量处于预设偏移范围内时,确定探测模块和屏幕朝向目标对象,并停止该同步旋转。
在一个实施例中,机器人可以在同步旋转的过程中调用摄像头按照一定频率f采集包括目标对象的目标图像,该图像大小为
Figure 984956DEST_PATH_IMAGE005
,并通过人脸检测算法识别出人脸矩形框(即目标对象所处区域)。进一步地,以左上角为原点建立如图4所示的x-y轴坐标系,其中,x轴正方向指向右,目标图像的中心位置坐标为
Figure 405573DEST_PATH_IMAGE006
,人脸矩形框的中心位置坐标为
Figure 189727DEST_PATH_IMAGE007
,人脸矩形框中心位置和目标图像中心位置之间的偏移变量为
Figure 303176DEST_PATH_IMAGE008
,根据
Figure 290724DEST_PATH_IMAGE009
是否大于0控制屏幕旋转,使得
Figure 515032DEST_PATH_IMAGE009
趋近于0,当
Figure 389578DEST_PATH_IMAGE010
(c为允许像素误差)时(即偏移变量处于预设偏移范围),确定探测模块和屏幕均朝向目标对象,并停止该同步旋转。
其中,对于目标图像而言,以左上角为原点建立如图4所示的坐标系,x方向和y方向如图4所示。因此在方向上,若偏移量小于0,则说明人脸矩形框(也即目标对象)在目标图像偏左,则控制屏幕和摄像头向左转;若大于0则反之。
示例性地,机器人根据偏移变量调整探测模块和屏幕同步旋转的旋转角度和旋转方向,已使探测模块和屏幕朝向目标对象时,可以让屏幕和摄像头以一个固定的角速度向指定方向旋转,每隔预设时间间隔(如0.5秒)检测一次人脸矩形框的坐标,重新计算偏移量,到达预设偏移范围内(即
Figure 673929DEST_PATH_IMAGE010
)则停止,如果超调(即转过头了)则反向。
其中,控制同步旋转的方式有许多种,例如当
Figure 148773DEST_PATH_IMAGE011
时,控制屏幕和摄像头以一个固定角速度
Figure 176771DEST_PATH_IMAGE012
同步向左旋转,同时每间隔t秒进行一次人脸检测,重新计算一次
Figure 358354DEST_PATH_IMAGE009
的大小,直至
Figure 859611DEST_PATH_IMAGE010
,则停止该同步旋转,如果发生超调(即转过头了),则以
Figure 821751DEST_PATH_IMAGE013
(其中k<1)的更低的角速度反向旋转,直至该偏移量达到,
Figure 387862DEST_PATH_IMAGE010
,则停止该同步旋转。其中,当
Figure 689530DEST_PATH_IMAGE010
时,可以确定探测模块和屏幕朝向目标对象。
在一个实施例中,机器人停止该同步旋转之后,还可以按照预设时间间隔采集包括所述目标对象的目标图像,并计算目标对象所处区域的中心位置与目标图像的中心位置之间的偏移变量,在检测到偏移变量不处于预设偏移范围内时,触发控制探测模块和屏幕同步旋转的步骤。
示例性地,在停止探测模块和屏幕的同步旋转之后,机器人还可以继续按照预设时间间隔(如t秒)进行一次人脸检测,一直计算
Figure 863154DEST_PATH_IMAGE009
,当
Figure 250273DEST_PATH_IMAGE009
不满足
Figure 682391DEST_PATH_IMAGE010
时,控制探测模块和屏幕同步旋转继续同步旋转,继续执行根据偏移变量调整探测模块和屏幕同步旋转的旋转角度和旋转方向,让屏幕始终朝向目标对象。例如,目标对象为用户,第一停止探测模块和屏幕的同步旋转后,用户在屏幕上操作一段时间后,用户的位置发生偏移,那么这时可能
Figure 572987DEST_PATH_IMAGE014
大于或者等于c,即不处于预设偏移范围,这时可以控制探测模块和屏幕同步旋转,并根据偏移变量调整探测模块和屏幕同步旋转的旋转角度和旋转方向,让屏幕始终朝向客户。
306、机器人检测预设时间内是否存在与该目标对象之间的交互操作。
307、若不存在该交互操作,机器人则将屏幕从解锁状态调整为锁定状态,并触发步骤301。
在一个实施例中,机器人确定预设时间内不存在与该目标对象之间的交互操作的方式有多种:方式一、机器人在预设时间内未检测到目标对象点击屏幕的触控操作;方式二、机器人在预设时间内未检测到目标对象的语音输入操作;方式三、机器人在预设时间内摄像头无法捕捉到目标对象等等。机器人确定预设时间内不存在与该目标对象之间交互操作的方式还有很多,本发明在此不再赘述。
在一个实施例中,机器人若检测到输入的结束服务的指令时,也可以将屏幕从解锁状态调整为锁定状态,并触发步骤301。
在本发明实施例中,当机器人检测到屏幕处于锁定状态时,可以根据预设旋转规则控制探测模块旋转,并在旋转的过程中调用传感器感测预设范围内是否存在物体,若存在,则调用摄像头采集包括物体的图像,并解析采集到的图像,确定物体是否为目标对象,并在确定出物体为目标对象时,旋转屏幕直至屏幕朝向目标对象,进而当检测到屏幕朝向目标对象时,将屏幕从锁定状态调整为解锁状态。进一步地,在屏幕从锁定状态调整为解锁状态后,机器人可以检测预设时间内是否存在与该目标对象之间的交互操作,若不存在该交互操作,则将屏幕从解锁状态调整为锁定状态,并触发根据预设旋转规则控制探测模块旋转,并在旋转的过程中调用传感器感测预设范围内是否存在物体的步骤。采用本发明,一方面使得屏幕在朝向目标对象的情况下处于解锁状态,不仅可以减小电量损耗,延长屏幕寿命;还可以提高解锁效率;另一方面,可以在检测到预设时间内不存在交互操作时,将屏幕再次锁定,有利于提高机器人的智能性。
本发明实施例还提供了一种机器人屏幕解锁装置,该装置配置于机器人,该机器人包括探测模块和屏幕,该探测模块配置有传感器和摄像头,该装置包括用于执行前述图1或者图3所述的方法的模块。具体地,参见图5,是本发明实施例提供的一种机器人屏幕解锁装置的示意框图。本实施例的机器人屏幕解锁装置包括:
感测模块50,用于当检测到所述屏幕处于锁定状态时,调用所述传感器在所述探测模块的旋转路径对应的预设范围内感测是否存在物体,所述旋转路径为根据预设旋转规则控制所述探测模块旋转的路径;
采集模块51,用于当所述预设范围内存在所述物体时,调用所述摄像头采集包括所述物体的图像;
确定模块52,用于解析采集到的所述图像,以确定所述物体是否为目标对象;
旋转模块53,用于在所述确定模块确定出所述物体为目标对象时,旋转所述屏幕直至所述屏幕朝向所述目标对象;
调整模块54,用于当检测到所述屏幕朝向所述目标对象时,将所述屏幕从所述锁定状态调整为解锁状态。
在一个实施例中,所述旋转模块53具体用于:在确定出所述物体为目标对象时,控制所述探测模块和所述屏幕的旋转角度保持一致;控制所述探测模块和所述屏幕同步旋转,并在所述同步旋转的过程中调用所述摄像头采集包括所述目标对象的目标图像;确定所述目标对象所处区域的中心位置与所述目标图像的中心位置之间的偏移变量,并根据所述偏移变量调整所述探测模块和所述屏幕同步旋转的旋转角度和旋转方向;在检测到所述偏移变量处于预设偏移范围内时,确定所述探测模块和所述屏幕朝向所述目标对象,并停止所述同步旋转。
在一个实施例中,所述装置还包括:计算模块55,其中:
采集模块51,还用于按照预设时间间隔采集包括所述目标对象的目标图像;
计算模块55,用于计算所述目标对象所处区域的中心位置与所述目标图像的中心位置之间的偏移变量,并在检测到所述偏移变量不处于所述预设偏移范围内时,触发所述旋转模块53控制所述探测模块和所述屏幕同步旋转的步骤。
在一个实施例中,所述装置还包括:检测模块56,其中:
所述检测模块56,用于检测预设时间内所述机器人是否存在与所述目标对象之间的交互操作;
旋转模块53,用于若检测模块56检测到不存在所述交互操作,则将所述屏幕从所述解锁状态调整为所述锁定状态,并触发根据预设旋转规则控制所述探测模块旋转。
在一个实施例中,所述传感器为光线传感器,所述感测模块50,具体用于
在所述旋转的过程中调用所述光线传感器感测当前所处环境的光线强度;当所述光线强度小于或者等于预设强度阈值时,则确定预设范围内存在物体。
在一个实施例中,所述确定模块52,具体用于通过人脸检测算法对采集到的所述图像进行人脸识别,确定所述图像中是否存在人脸;当存在所述人脸时,确定所述人脸在所述图像中所占的人脸区域;当所述人脸区域大于或者等于预设人脸区域阈值时,确定所述物体为目标对象。
在一个实施例中,所述确定模块52,具体用于通过人脸检测算法对采集到的所述图像进行人脸识别,确定出所述图像的人脸特征区域;如果所述人脸特征区域包括人脸的五官特征,且所述人脸特征区域的尺寸大于或者等于预设特征区域阈值,则确定所述物体为目标对象,所述人脸的五官特征包括:眉毛轮廓、眼睛轮廓、嘴巴轮廓、鼻子轮廓和耳朵轮廓。
需要说明的是,本发明实施例所描述的机器人屏幕解锁装置的各功能模块的功能可根据图1或者图3所述的方法实施例中的方法具体实现,其具体实现过程可以参照图1或者图3的方法实施例的相关描述,此处不再赘述。
请参见图6,图6是本发明实施例提供的一种智能设备的示意性框图。该智能设备如机器人包括探测模块601和屏幕602,所述探测模块配置有传感器6011和摄像头6012,该智能设备还可以包括处理器603、存储器604和网络接口605。上述处理器603、存储器604和网络接口605可通过总线或其他方式连接,在本发明实施例所示图6中以通过总线连接为例。其中,网络接口605受所述处理器的控制用于收发消息,存储器604用于存储计算机程序,所述计算机程序包括程序指令,处理器603用于执行存储器604存储的程序指令。其中,处理器603被配置用于调用所述程序指令执行:当检测到所述屏幕处于锁定状态时,调用所述传感器在所述探测模块的旋转路径对应的预设范围内感测是否存在物体,所述旋转路径为根据预设旋转规则控制所述探测模块旋转的路径;当所述预设范围内存在所述物体时,调用所述摄像头采集包括所述物体的图像;解析采集到的所述图像,以确定所述物体是否为目标对象;在确定出所述物体为目标对象时,旋转所述屏幕直至所述屏幕朝向所述目标对象;当检测到所述屏幕朝向所述目标对象时,将所述屏幕从所述锁定状态调整为解锁状态。
应当理解,在本发明实施例中,所称处理器603可以是中央处理单元(CentralProcessing Unit,CPU),该处理器603还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器604可以包括只读存储器和随机存取存储器,并向处理器603提供指令和数据。存储器604的一部分还可以包括非易失性随机存取存储器。例如,存储器604还可以存储设备类型的信息。
具体实现中,本发明实施例中所描述的处理器603、存储器604和网络接口605可执行本发明实施例提供的图1、或者图3所述的方法实施例所描述的实现方式,也可执行本发明实施例所描述的机器人屏幕解锁装置的实现方式,在此不再赘述。
在本发明的另一实施例中提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时实现:当检测到所述屏幕处于锁定状态时,调用所述传感器在所述探测模块的旋转路径对应的预设范围内感测是否存在物体,所述旋转路径为根据预设旋转规则控制所述探测模块旋转的路径;当所述预设范围内存在所述物体时,调用所述摄像头采集包括所述物体的图像;解析采集到的所述图像,以确定所述物体是否为目标对象;在确定出所述物体为目标对象时,旋转所述屏幕直至所述屏幕朝向所述目标对象;当检测到所述屏幕朝向所述目标对象时,将所述屏幕从所述锁定状态调整为解锁状态。
所述计算机可读存储介质可以是前述任一实施例所述的智能设备的内部存储单元,例如智能设备的硬盘或内存。所述计算机可读存储介质也可以是所述智能设备的外部存储设备,例如所述智能设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述计算机可读存储介质还可以既包括所述智能设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述智能设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明的部分实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (8)

1.一种机器人屏幕解锁方法,其特征在于,所述方法应用于机器人,所述机器人包括探测模块和屏幕,所述探测模块和所述屏幕是分开连接的,所述探测模块部署于所述机器人的头部,所述屏幕未部署于所述机器人的头部,所述探测模块配置有传感器和摄像头,该方法包括:
当检测到所述屏幕处于锁定状态时,调用所述传感器在所述探测模块的旋转路径对应的预设范围内感测是否存在物体,所述屏幕不旋转,所述旋转路径为根据预设旋转规则控制所述探测模块旋转的路径;所述预设旋转规则包括控制探测模块旋转的预设旋转角速度、第一预设方向、第一预设方向对应的最大旋转角度、第二预设方向、以及第二预设方向对应的最大旋转角度;
当所述预设范围内存在所述物体时,调用所述摄像头采集包括所述物体的图像;解析采集到的所述图像,以确定所述物体是否为目标对象;
在确定出所述物体为目标对象时,旋转所述屏幕直至所述屏幕朝向所述目标对象;当检测到所述屏幕朝向所述目标对象时,将所述屏幕从所述锁定状态调整为解锁状态;
其中,所述旋转所述屏幕直至所述屏幕朝向所述目标对象,包括:
控制所述探测模块和所述屏幕的旋转角度保持一致;
控制所述探测模块和所述屏幕同步旋转,在同步旋转的过程中调用摄像头按照频率f采集包括所述目标对象的目标图像,所述目标图像的大小为w*h;
确定所述目标图像中的人脸矩形框中心位置和所述目标图像中心位置之间的偏移变量Δx=(x-w/2),根据所述偏移变量是否大于0控制屏幕旋转,使得所述偏移变量趋近于0;所述目标图像的中心位置坐标为(w/2,h/2),所述人脸矩形框的中心位置坐标为(x,y);
当|Δx|<c时,确定所述探测模块和所述屏幕朝向所述目标对象,并停止所述同步旋转,c为允许的像素误差;
在停止所述探测模块和所述屏幕的同步旋转之后,继续按照预设时间间隔进行人脸检测,并计算Δx,当Δx不满足|Δx|<c时,控制所述探测模块和所述屏幕继续同步旋转,以控制所述屏幕始终朝向目标对象。
2.根据权利要求1所述的方法,其特征在于,所述将所述屏幕从所述锁定状态调整为解锁状态之后,所述方法还包括:
检测预设时间内所述机器人是否存在与所述目标对象之间的交互操作;
若不存在所述交互操作,则将所述屏幕从所述解锁状态调整为所述锁定状态,并触发所述根据预设旋转规则控制所述探测模块旋转的步骤。
3.根据权利要求1所述的方法,其特征在于,所述传感器为光线传感器,所述调用所述传感器在所述探测模块的旋转路径对应的预设范围内感测是否存在物体,包括:
调用光线传感器在所述探测模块的旋转路径对应的预设范围内感测当前所处环境的光线强度;
当所述光线强度小于或者等于预设强度阈值时,则确定预设范围内存在物体。
4.根据权利要求1所述的方法,其特征在于,所述解析采集到的所述图像,以确定所述物体是否为目标对象,包括:
通过人脸检测算法对采集到的所述图像进行人脸识别,确定所述图像中是否存在人脸;
当存在所述人脸时,确定所述人脸在所述图像中所占的人脸区域;
当所述人脸区域大于或者等于预设人脸区域阈值时,确定所述物体为目标对象。
5.根据权利要求1所述的方法,其特征在于,所述解析采集到的所述图像,以确定所述物体是否为目标对象,包括:
通过人脸检测算法对采集到的所述图像进行人脸识别,确定出所述图像的人脸特征区域;
如果所述人脸特征区域包括人脸的五官特征,且所述人脸特征区域的尺寸大于或者等于预设特征区域阈值,则确定所述物体为目标对象,所述人脸的五官特征包括:眉毛轮廓、眼睛轮廓、嘴巴轮廓、鼻子轮廓和耳朵轮廓。
6.一种机器人屏幕解锁装置,其特征在于,所述装置应用于机器人,所述机器人包括探测模块和屏幕,所述探测模块和所述屏幕是分开连接的,所述探测模块部署于所述机器人的头部,所述屏幕未部署于所述机器人的头部,所述探测模块配置有传感器和摄像头,该装置包括:
感测模块,用于当检测到所述屏幕处于锁定状态时,调用所述传感器在所述探测模块的旋转路径对应的预设范围内感测是否存在物体,所述屏幕不旋转,所述旋转路径为根据预设旋转规则控制所述探测模块旋转的路径;所述预设旋转规则包括控制探测模块旋转的预设旋转角速度、第一预设方向、第一预设方向对应的最大旋转角度、第二预设方向、以及第二预设方向对应的最大旋转角度;
采集模块,用于当所述预设范围内存在所述物体时,调用所述摄像头采集包括所述物体的图像;
确定模块,用于解析采集到的所述图像,以确定所述物体是否为目标对象;
旋转模块,用于在所述确定模块确定出所述物体为目标对象时,旋转所述屏幕直至所述屏幕朝向所述目标对象;
调整模块,用于当检测到所述屏幕朝向所述目标对象时,将所述屏幕从所述锁定状态调整为解锁状态;
其中,所述旋转模块具体用于:
控制所述探测模块和所述屏幕的旋转角度保持一致;
控制所述探测模块和所述屏幕同步旋转,在同步旋转的过程中调用摄像头按照频率f采集包括所述目标对象的目标图像,所述目标图像的大小为w*h;
确定所述目标图像中的人脸矩形框中心位置和所述目标图像中心位置之间的偏移变量Δx=(x-w/2),根据所述偏移变量是否大于0控制屏幕旋转,使得所述偏移变量趋近于0;所述目标图像的中心位置坐标为(w/2,h/2),所述人脸矩形框的中心位置坐标为(x,y);
当|Δx|<c时,确定所述探测模块和所述屏幕朝向所述目标对象,并停止所述同步旋转,c为允许的像素误差;
在停止所述探测模块和所述屏幕的同步旋转之后,继续按照预设时间间隔进行人脸检测,并计算Δx,当Δx不满足|Δx|<c时,控制所述探测模块和所述屏幕继续同步旋转,以控制所述屏幕始终朝向目标对象。
7.一种智能设备,其特征在于,包括处理器和存储装置,所述处理器和所述存储装置相互连接,其中,所述存储装置用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-5任一项所述的方法。
CN201810851652.4A 2018-07-27 2018-07-27 一种机器人屏幕解锁方法、装置、智能设备及存储介质 Active CN109079809B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810851652.4A CN109079809B (zh) 2018-07-27 2018-07-27 一种机器人屏幕解锁方法、装置、智能设备及存储介质
PCT/CN2018/108468 WO2020019504A1 (zh) 2018-07-27 2018-09-28 一种机器人屏幕解锁方法、装置、智能设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810851652.4A CN109079809B (zh) 2018-07-27 2018-07-27 一种机器人屏幕解锁方法、装置、智能设备及存储介质

Publications (2)

Publication Number Publication Date
CN109079809A CN109079809A (zh) 2018-12-25
CN109079809B true CN109079809B (zh) 2022-02-01

Family

ID=64833331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810851652.4A Active CN109079809B (zh) 2018-07-27 2018-07-27 一种机器人屏幕解锁方法、装置、智能设备及存储介质

Country Status (2)

Country Link
CN (1) CN109079809B (zh)
WO (1) WO2020019504A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022041220A1 (zh) * 2020-08-31 2022-03-03 华为技术有限公司 电子装置和电子装置的响应操作方法
CN112083728B (zh) * 2020-09-09 2024-04-30 上海擎朗智能科技有限公司 一种行驶设备的停靠方法、装置、设备及存储介质
CN112001363A (zh) * 2020-09-17 2020-11-27 珠海格力智能装备有限公司 导电胶条的处理方法及装置、计算机可读存储介质
CN114594853A (zh) * 2020-12-07 2022-06-07 清华大学 动态交互设备及屏幕控制方法
CN112524079B (zh) * 2020-12-11 2021-09-24 珠海格力电器股份有限公司 一种风扇、风扇控制方法、装置及存储介质
CN113739512A (zh) * 2021-09-09 2021-12-03 深圳Tcl新技术有限公司 冰箱显示屏的控制方法及冰箱
CN113838465A (zh) * 2021-09-30 2021-12-24 广东美的厨房电器制造有限公司 智能设备的控制方法及其装置、智能设备和可读存储介质
CN115644740B (zh) * 2022-12-29 2023-03-07 中国石油大学(华东) 一种扫地机器人的控制方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270021A (zh) * 2011-08-04 2011-12-07 浙江大学 基于人脸识别的显示器自动调节方法及支架
CN205854032U (zh) * 2016-07-05 2017-01-04 江西航盛电子科技有限公司 一种多功能车载导航仪
CN106826867A (zh) * 2017-03-31 2017-06-13 上海思依暄机器人科技股份有限公司 一种机器人及控制机器人头部转动的方法
CN107222641A (zh) * 2017-07-12 2017-09-29 珠海格力电器股份有限公司 一种移动终端解锁方法和移动终端

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488371B (zh) * 2014-09-19 2021-04-20 中兴通讯股份有限公司 一种脸部识别方法和装置
CN106033253A (zh) * 2015-03-12 2016-10-19 中国移动通信集团公司 一种终端控制方法及装置
JP6565853B2 (ja) * 2016-09-29 2019-08-28 トヨタ自動車株式会社 コミュニケーション装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270021A (zh) * 2011-08-04 2011-12-07 浙江大学 基于人脸识别的显示器自动调节方法及支架
CN205854032U (zh) * 2016-07-05 2017-01-04 江西航盛电子科技有限公司 一种多功能车载导航仪
CN106826867A (zh) * 2017-03-31 2017-06-13 上海思依暄机器人科技股份有限公司 一种机器人及控制机器人头部转动的方法
CN107222641A (zh) * 2017-07-12 2017-09-29 珠海格力电器股份有限公司 一种移动终端解锁方法和移动终端

Also Published As

Publication number Publication date
WO2020019504A1 (zh) 2020-01-30
CN109079809A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
CN109079809B (zh) 一种机器人屏幕解锁方法、装置、智能设备及存储介质
US9836642B1 (en) Fraud detection for facial recognition systems
US20210372788A1 (en) Using spatial information with device interaction
US9607138B1 (en) User authentication and verification through video analysis
US9690480B2 (en) Controlled access to functionality of a wireless device
US20210042548A1 (en) Living body detection method and apparatus, electronic device, storage medium, and related system to which living body detection method is applied
US9729865B1 (en) Object detection and tracking
US9177224B1 (en) Object recognition and tracking
US9106821B1 (en) Cues for capturing images
CN108446638B (zh) 身份验证方法、装置、存储介质及电子设备
US9298974B1 (en) Object identification through stereo association
US9298980B1 (en) Image preprocessing for character recognition
US20220309836A1 (en) Ai-based face recognition method and apparatus, device, and medium
TWI700607B (zh) 解鎖系統及方法
CN110738078A (zh) 一种人脸识别方法及终端设备
CN106503682A (zh) 视频数据中的关键点定位方法及装置
CN108647633B (zh) 识别跟踪方法、识别跟踪装置和机器人
CA2955072A1 (en) Reflection-based control activation
WO2020042807A1 (zh) 一种调用目标功能的方法、装置、移动终端及存储介质
WO2023155823A1 (zh) 基于uwb的运动轨迹识别方法和电子设备
CN117113318A (zh) 解锁方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant