CN110026982A - 机器人伺服系统 - Google Patents

机器人伺服系统 Download PDF

Info

Publication number
CN110026982A
CN110026982A CN201910321675.9A CN201910321675A CN110026982A CN 110026982 A CN110026982 A CN 110026982A CN 201910321675 A CN201910321675 A CN 201910321675A CN 110026982 A CN110026982 A CN 110026982A
Authority
CN
China
Prior art keywords
target
facial image
face
camera
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910321675.9A
Other languages
English (en)
Other versions
CN110026982B (zh
Inventor
叶汇贤
李江
黎威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Bozhilin Robot Co Ltd
Original Assignee
Guangdong Bozhilin Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Bozhilin Robot Co Ltd filed Critical Guangdong Bozhilin Robot Co Ltd
Priority to CN201910321675.9A priority Critical patent/CN110026982B/zh
Publication of CN110026982A publication Critical patent/CN110026982A/zh
Application granted granted Critical
Publication of CN110026982B publication Critical patent/CN110026982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

本发明涉及一种机器人伺服系统,包括:机器人主体,以及设置在所述机器人主体的至少两个摄像头;所述至少两个摄像头的拍摄角度各不相同;所述摄像头拍摄对应拍摄角度的人脸,得到所述人脸对应的人脸图像,将所述人脸图像上传至所述机器人主体;所述机器人主体从所述人脸图像中识别目标人脸图像,控制所述摄像头追踪拍摄目标人脸;所述目标人脸为所述目标人脸图像对应的人脸。上述机器人伺服系统可以扩大机器人伺服系统的视野,对目标用户进行更为稳定地跟踪,以及时响应到达机器人伺服系统所在场所的用户的需求,提高响应相应用户需求的效果。

Description

机器人伺服系统
技术领域
本发明涉及信息处理技术领域,特别是涉及一种机器人伺服系统。
背景技术
将机器人伺服系统引入餐厅等公共场所为进入上述公共场所的用户执行引路等迎宾作业,在一定程度上提高了用户在上述公共场所活动的便利性,使相关用户需求可以得到更为及时地响应。在餐厅等场地进行引路的机器人伺服系统通常包括有关导航设备(如AGV导航或者SLAM导航)和麦克风阵列这些组成部分,通过麦克风阵列对目标人员进行定位,依靠导航设备进行跟踪,以响应相应公共场所中各类用户需求。在公共场所声音比较嘈杂时(例如餐厅的用餐高峰期),机器人伺服系统容易受到外界环境因素干扰,难以对目标人员进行准确定位和跟踪,使其针对用户需求的响应效果差。
发明内容
基于此,有必要针对机器人伺服系统容易受到外界环境因素干扰,难以对目标人员进行准确定位和跟踪,使其针对用户需求响应效果差的技术问题,提供一种机器人伺服系统。
一种机器人伺服系统,包括:机器人主体,以及设置在机器人主体的至少两个摄像头;至少两个摄像头的拍摄角度各不相同;
摄像头拍摄对应拍摄角度的人脸,得到人脸对应的人脸图像,将人脸图像上传至所述机器人主体;
机器人主体从人脸图像中识别目标人脸图像,控制摄像头追踪拍摄目标人脸;目标人脸为目标人脸图像对应的人脸。
在其中一个实施例中,上述机器人主体识别上传目标人脸图像的摄像头,将设置在目标侧的各个摄像头确定为目标摄像头,关闭除目标摄像头之外的其他摄像头,控制目标摄像头追踪拍摄所述目标人脸;目标侧为设置机器人主体识别确定的摄像头所在的一侧。
作为一个实施例,上述机器人主体同一侧分别设有高度不同的两个摄像头;
上述机器人主体识别目标人脸的人脸位置,若人脸位置在参考位置之上,则关闭设置在目标侧下方的摄像头,若人脸位置在参考位置之下,则关闭设置在目标侧上方的摄像头。
在其中一个实施例中,若机器人主体未从目标摄像头上传的人脸图像中检测到目标人脸图像,则开启除目标摄像头之外的其他摄像头,使各个摄像头分别拍摄相应拍摄区域出现的人脸。
在其中一个实施例中,上述机器人主体在获取各个摄像头上传的人脸图像后,在人脸图像满足唤醒条件时,进行伺服系统唤醒,从人脸图像中选择目标人脸图像,引领目标用户前往目标位置,在引领目标用户的过程中,从各个摄像头上传的人脸图像中识别目标人脸图像;目标用户为目标人脸图像对应的用户。
作为一个实施例,若机器人主体设定时段内未在各个摄像头上传的人脸头像中检测到目标人脸图像,则返回初始位置。
作为一个实施例,上述机器人主体在检测到人脸图像中存在人脸面积大于面积阈值的人脸图像时,判定人脸图像满足唤醒条件。
作为一个实施例,上述机器人主体从人脸图像中选择人脸面积最大的人脸图像作为目标人脸图像,或者,从人脸图像中选择距摄像头视场中心最近的人脸对应的人脸图像作为目标人脸图像。
作为一个实施例,上述机器人主体在选择所述目标人脸图像后,注册目标人脸图像;目标人脸图像在注册之后用于在引领目标用户的过程中识别目标人脸图像。
作为一个实施例,上述机器人主体在选择目标人脸图像后输出目标人脸图像对应的引路确认信息,在检测到目标用户的引路确认指令后,引领目标用户按照目标路线行走;目标路线为当前位置至目标位置之间的路线。
在其中一个实施例中,上述机器人主体包括人脸检测端、人脸服务器和机器人总控;机器人总控分别连接人脸检测端和人脸服务器;人脸检测端和人脸服务器相互连接;人脸检测端分别连接各个摄像头。
作为一个实施例,上述各个摄像头将拍摄得到的人脸图像上传至人脸检测端;人脸检测端将人脸图像发送至人脸服务器;人脸服务器从人脸图像中识别目标人脸图像,将识别结果发送至机器人总控;机器人总控可以生成识别结果对应的控制指令,向人脸检测端和/或人脸服务器反馈控制指令。
上述机器人伺服系统中,机器人主体可以通过设置在其至少两侧的摄像头进行人脸拍摄,以识别相应的目标人脸图像,追踪拍摄目标人脸,实现对目标人脸对应的目标用户的跟踪,可以扩大机器人伺服系统的视野,对目标用户进行更为稳定地跟踪,以及时响应到达机器人伺服系统所在场所的用户的需求,提高响应相应用户需求的效果。
附图说明
图1为一个实施例的机器人伺服系统结构示意图;
图2为一个实施例中机器人伺服系统的视野示意图;
图3为一个实施例中机器人伺服系统在竖直方向的视野示意图;
图4为一个实施例的摄像头控制逻辑示意图;
图5为一个实施例中机器人主体的工作流程示意图;
图6为一个实施例的机器人主体结构示意图;
图7为一个实施例中机器人伺服系统各部分之间的交互示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
需要说明的是,本发明实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换,以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本发明实施例的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
参考图1所示,图1为一个实施例的机器人伺服系统结构示意图,包括:机器人主体10,以及设置在机器人主体10的至少两个摄像头,如图1所示设置在机器人主体10第一侧的第一摄像头21和设置在机器人10主体第二侧的第二摄像头22;上述至少两个摄像头的拍摄角度各不相同;
上述摄像头拍摄对应拍摄角度的人脸,得到人脸对应的人脸图像,将人脸图像上传至机器人主体10;
机器人主体10从人脸图像中识别目标人脸图像,控制摄像头追踪拍摄目标人脸;目标人脸为目标人脸图像对应的人脸。
上述摄像头设置在机器人主体10的不同侧,例如,可以分别设置在机器人主体10的各侧,也可以分别设置在机器人主体10的前侧和后侧。机器人主体10的设置摄像头的各侧可以分别设置高低不同的多个摄像头,以扩大拍摄范围。
上述机器人主体10可以持续获取摄像头上传的人脸图像,若从摄像头上传的人脸图像中识别到目标人脸图像,表明当前检测到目标人脸,即目标用户在相应机器人伺服系统的视野中;若从摄像头上传的人脸图像中无法识别到目标人脸图像,表明当前检测不到目标人脸,即目标用户不在相应机器人伺服系统的视野中。
上述机器人伺服系统中,机器人主体10可以通过设置在其至少两侧的摄像头进行人脸拍摄,以识别相应的目标人脸图像,追踪拍摄目标人脸,实现对目标人脸对应的目标用户的跟踪,可以扩大机器人伺服系统的视野,对目标用户进行更为稳定地跟踪,以及时响应到达机器人伺服系统所在场所的用户的需求,提高响应相应用户需求的效果。
在一个实施例中,上述机器人主体识别上传目标人脸图像的摄像头,将设置在目标侧的各个摄像头确定为目标摄像头,关闭除目标摄像头之外的其他摄像头,控制目标摄像头追踪拍摄所述目标人脸;目标侧为设置机器人主体识别确定的摄像头所在的一侧。
本实施例可以识别上传目标人脸图像的摄像头,进而识别目标用户所在侧(目标侧)的摄像头,将目标用户所在侧的摄像头确定为目标摄像头,控制目标摄像头追踪拍摄目标人脸,可以提高目标人脸追踪工作的有效性。
作为一个实施例,上述机器人主体同一侧分别设有高度不同的两个摄像头;
上述机器人主体识别目标人脸的人脸位置,若人脸位置在参考位置之上,则关闭设置在目标侧下方的摄像头,若人脸位置在参考位置之下,则关闭设置在目标侧上方的摄像头。
上述参考位置可以为设置在机器人主体同一侧的两个摄像头的中间位置。
本实施例在机器人主体设置摄像头的一侧分别设有高度不同的两个摄像头,可以有效扩大相应机器人伺服系统的视野。保持人脸位置所在方的摄像头开启,控制人脸位置不在方的摄像头关闭,通过目标摄像头中开启的一个摄像头追踪拍摄目标人脸,进一步提高了追踪拍摄目标人脸的有效性,达到减少人脸检测所耗费资源的目的。
在一个实施例中,若机器人主体未从目标摄像头上传的人脸图像中检测到目标人脸图像,则开启除目标摄像头之外的其他摄像头,使各个摄像头分别拍摄相应拍摄区域出现的人脸。
若机器人主体未从目标摄像头上传的人脸图像中检测到目标人脸图像,表明当前难以通过目标摄像头实现目标人脸的追踪拍摄,需要开启其他摄像头,使机器人伺服系统设置的各个摄像头分别进行相应拍摄,获得各个方向的人脸图像,以从各个方向的人脸图像中识别目标人脸图像,依据识别结果重新控制摄像头追踪拍摄目标人脸,以提高目标人脸的追踪效果
在一个示例中,机器人主体可以分别在前方和后方设置多个摄像头,前方和后方安装的摄像头的相对位置高度可以是一致的,也可以按照具体需求安装在不同高度。若器人主体的前方和后方分别设置两个摄像头,每一个方向上的两个摄像头按照不同高度进行安装,分别针对检测不同身高范围的人群,从而减少视觉盲区,拓展机器人伺服系统的视野范围。这种上下安置的摄像头最重要的两个参数是摄像头的安装高度和俯仰角。不同的安装高度对机器人伺服系统的视野有着重要影响。机器人主体可以根据具体需求指标来选择这两参数。参考图2所示,以1080p的摄像头为例,如果需要人脸在2m处的大小为100x100像素,若人脸大小约为15cm,那么摄像头在垂直方向上的最大视角为72°。如图2所示,不同高度和俯仰角的安排会使得摄像头的重叠区域有明显影响。若伺服系统要求在0.5-2m范围内可以检测到高度范围在80-190cm的人脸,那么上下摄像头的高度可以分别设置为1460mm和940mm。如果伺服系统需要扩大检测范围,或者摄像头的视角减小,那么机器人伺服系统可以在竖直方向上增加更多的摄像头(如图3所示)。同理,如果需要增加机器人在水平方向上的伺服视野,那么系统可以增加水平方向上的摄像头数目。
具体地,若机器人主体分别在前方和后方设置高度不同的两个摄像头,共设置四个摄像头,四个摄像头的控制逻辑可以参考图4所示。首先,全部摄像头进行初始化并同时进行图像采集,当目标人脸锁定之后,通过判断目标人脸在机器人前方还是后方来关闭后方或者前方两个摄像头。这样,同一个检测程序只需要同时控制两个摄像头进行图像采集。为了更进一步节省系统资源,还可以设置一个指定高度(如参考位置对于的高度),当目标人脸高于指定高度时则关闭机器人下方摄像头;当目标人脸低于指定高度时则关闭机器人下方摄像头。因此,人脸检测程序最终只需要控制一个摄像头进行图像采集,这样一方面可以减少人脸检测耗费的资源;另一方面可以提高系统效率。
多摄像头机器人伺服系统还可以根据实际情形采用不同数目的摄像头来采集图像。对每一时刻实际工作的摄像头数目进行优化,最终可以保证一个或者多个摄像头处于图像采集状态,而其他摄像头则处于关闭状态。
在一个实施例中,上述机器人主体在获取各个摄像头上传的人脸图像后,在人脸图像满足唤醒条件时,进行伺服系统唤醒,从人脸图像中选择目标人脸图像,引领目标用户前往目标位置,在引领目标用户的过程中,从各个摄像头上传的人脸图像中识别目标人脸图像;目标用户为目标人脸图像对应的用户。
上述唤醒条件可以为人脸图像包括有效人脸图像等条件,若人脸图像不满足唤醒条件,表明当前拍摄的人脸中不存在有效人脸,机器人主体可以重新对各个摄像头上传的人脸图像进行检测,以再次判断各个摄像头上传的人脸图像是否满足唤醒条件;在人脸图像满足唤醒条件时,机器人主体进行伺服系统唤醒,使机器人主体启用摄像头控制逻辑控制摄像头的开启或关闭,以提高后续进行目标人脸追踪的效率;还可以注册目标人脸图像,将目标人脸图像及其人脸特征保存在系统人脸库中,为后续目标人脸的检测追踪作业提供依据。
作为一个实施例,若机器人主体设定时段内未在各个摄像头上传的人脸头像中检测到目标人脸图像,则返回初始位置。
若机器人主体设定时段内未在各个摄像头上传的人脸头像中检测到目标人脸图像,表征机器人伺服系统在设定时段内均未追踪到目标用户,此时可能难以对目标用户进行追踪,可以返回初始位置,进行后续目标用户的确定和引领,以保证引路作业的有序进行。
作为一个实施例,上述机器人主体在检测到人脸图像中存在人脸面积大于面积阈值的人脸图像时,判定人脸图像满足唤醒条件。
上述面积阈值可以依据机器人所在场地面临的用户特征进行设置,比如设置为200平方厘米等值。人脸图像中存在人脸面积大于面积阈值的人脸图像,表明当前摄像头拍摄的人脸中存在有效人脸,以此确定的目标人脸为有效人脸,此时可以进行伺服系统唤醒,使机器人伺服系统准备进行相应引路。
作为一个实施例,上述机器人主体从人脸图像中选择人脸面积最大的人脸图像作为目标人脸图像,或者,从人脸图像中选择距摄像头视场中心最近的人脸对应的人脸图像作为目标人脸图像。
本实施例所确定的目标人脸图像具有较高的准确性。
作为一个实施例,上述机器人主体在选择所述目标人脸图像后,注册目标人脸图像;目标人脸图像在注册之后用于在引领目标用户的过程中识别目标人脸图像。
机器人主体注册目标人脸图像,以在引领目标用户的过程中,依据注册的目标人脸图像对目标人脸进行实时检测,确认目标用户的追踪状态,保证引路质量。
作为一个实施例,上述机器人主体在选择目标人脸图像后输出目标人脸图像对应的引路确认信息,在检测到目标用户的引路确认指令后,引领目标用户按照目标路线行走;目标路线为当前位置至目标位置之间的路线。
机器人主体确定目标人脸图像后,可以通过显示和/或语言播报的形式输出目标人脸图像对应的引路确认信息,使目标用户获知机器人主体即将为其引路。目标用户在获知引路确认信息后,可以通过点击机器人的确认按钮或者依据向机器人的语音提示在其拍摄区域发出点头等特定动作等形式向机器人主体输入引路确认指令,使机器人主体可以检测到目标用户输入的引路确认指令,开始进行引路。
机器人主体在检测到目标用户输入的引路确认指令后,可以生成当前位置至目标位置之间的目标路线,按照上述目标路线将目标用户引领至目标位置。上述目标位置可以为餐厅的某餐桌等相应场所中供用户使用的位置。机器人可以预先设定目标位置;也依据目标用户输入的相关选择指令确定目标用户对应的目标位置;比如,机器人主体在检测到目标用户输入的引路确认指令后,可以显示相应场所中当前的空闲位置供用户选择,目标用户可以在所显示的空闲位置中通过点击等形式选择一个位置,机器人在检测到目标用户的选择指令后,将目标用户所选择的位置确定为目标位置。
在一个示例中,机器人主体的工作流程可以参考图5所示,当初人脸图像满足唤醒条件之后,伺服系统会被唤醒以进行目标跟踪任务。视觉系统被唤醒之后,可以通过摄像头控制逻辑来控制摄像头的打开或关闭;还可以在伺服系统中注册目标人脸图像,将其人脸特征保存在系统人脸库中。注册人脸结束后,伺服系统可以对目标人脸进行持续跟踪,直至引导目标用户至指定桌位(目标位置)。如果目标用户中途离开摄像头视野,那么伺服系统可以立刻打开所有摄像头,在机器人前后所有视野内搜索目标人脸,不断进行人脸识别以确定目标人脸是否重回视野。如果目标人脸在规定的超时时间范围(如设定时段)内仍然没有回到机器人视野当中,那么伺服系统可以回到初始位置。如果目标人脸在规定的超时时间范围内再次出现在视野当中,那么伺服系统可以重新对摄像头进行逻辑控制,并对目标人脸进行持续跟踪直至目标用户到达指定桌位。
设有多摄像头的机器人伺服系统被唤醒并且摄像头已经成功打开之后,系统可以对目标人脸进行持续跟踪直至引导目标用户到达指定桌位。如果目标用户中途离开摄像头视野,伺服系统可以控制所有摄像头同时打开并且采集人脸图像进行人脸识别。持续进行人脸识别的目的是为了确认目标用户是否在规定的超时时间范围内回到视野当中。无论目标人脸出现在任何一个摄像头的视野当中,而非局限于离开时的视野范围,都可进行重新锁定并继续跟踪过程。因此,目标用户从机器人前方转移到后方,或者从机器人后方转移到前方时,伺服系统仍然可以对目标用户进行锁定并跟踪,增加了伺服系统的鲁棒性。这得益于多摄像头同时打开所提供的大范围视野。如果目标人脸在超时时间范围内仍然没有回到任何一个摄像头的视野当中,那么伺服系统可以返回至原始位置并等待下次伺服任务。
在一个实施例中,参考图6所示,上述机器人主体包括人脸检测端11、人脸服务器12和机器人总控13;机器人总控13分别连接人脸检测端11和人脸服务器12;人脸检测端11和人脸服务器12相互连接;人脸检测端11分别连接各个摄像头20。
上述机器人总控13分别通过相关通信接口连接人脸检测端11和人脸服务器12,人脸检测端11和人脸服务器12之间也可以通过相应通信接口进行连接,以保证三者之间数据交互过程的稳定性。上述各类通信接口可以集成设置在人脸服务器12上。人脸服务器12上还可以设置相关数据库,以对目标人脸图像和相关检测结果进行保存。各个摄像头20分别可以集成设置在人脸检测端11,使其位于机器人伺服系统的相应侧面。
作为一个实施例,上述各个摄像头将拍摄得到的人脸图像上传至人脸检测端;
人脸检测端将人脸图像发送至人脸服务器;
人脸服务器从人脸图像中识别目标人脸图像,将识别结果发送至机器人总控;
机器人总控可以生成识别结果对应的控制指令,向人脸检测端和/或人脸服务器反馈控制指令;这样若人脸检测端接收到控制指令,便可以依据上述控制指令控制摄像头的开启或者关闭,使摄像头更有针对性地追踪目标人脸;人脸服务器接收到控制指令,也可以依据控制指令进行相关人脸图像的处理分析,以及目标人脸图像的识别,以保证目标人脸追踪工作的准确性。
在一个示例中,机器人伺服系统各部分之间的交互示意图可以参考图7所述,图7所示的机器人伺服系统分别在前方和后方各设置两个摄像头。机器人伺服系统通过摄像头采集视野中的人脸并且进行人脸检测,将检测的结果发送到人脸服务器和机器人总控。机器人总控可以通过通信接口向人脸检测模块和人脸服务器发送控制命令,并从二者获取相应结果信息。人脸服务器进行人脸注册和人脸识别等操作,还可以将相应注册和识别的结果存入其设有的数据库,从其数据库中读取所需数据。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种机器人伺服系统,其特征在于,包括:机器人主体,以及设置在所述机器人主体的至少两个摄像头;所述至少两个摄像头的拍摄角度各不相同;
所述摄像头拍摄对应拍摄角度的人脸,得到所述人脸对应的人脸图像,将所述人脸图像上传至所述机器人主体;
所述机器人主体从所述人脸图像中识别目标人脸图像,控制所述摄像头追踪拍摄目标人脸;所述目标人脸为所述目标人脸图像对应的人脸。
2.根据权利要求1所述的机器人伺服系统,其特征在于,所述机器人主体识别上传所述目标人脸图像的摄像头,将设置在目标侧的各个摄像头确定为目标摄像头,关闭除所述目标摄像头之外的其他摄像头,控制所述目标摄像头追踪拍摄所述目标人脸;所述目标侧为设置机器人主体识别确定的摄像头所在的一侧。
3.根据权利要求2所述的机器人伺服系统,其特征在于,所述机器人主体的同一侧分别设有高度不同的两个摄像头;
所述机器人主体识别所述目标人脸的人脸位置,若所述人脸位置在参考位置之上,则关闭设置在所述目标侧下方的摄像头,若所述人脸位置在参考位置之下,则关闭设置在所述目标侧上方的摄像头。
4.根据权利要求2所述的机器人伺服系统,其特征在于,若所述机器人主体未从所述目标摄像头上传的人脸图像中检测到所述目标人脸图像,则开启除所述目标摄像头之外的其他摄像头,使所述各个摄像头分别拍摄相应拍摄区域出现的人脸。
5.根据权利要求1至4任一项所述的机器人伺服系统,其特征在于,所述机器人主体在获取所述各个摄像头上传的人脸图像后,在所述人脸图像满足唤醒条件时,进行伺服系统唤醒,从所述人脸图像中选择目标人脸图像,引领目标用户前往目标位置,在引领目标用户的过程中,从各个摄像头上传的人脸图像中识别所述目标人脸图像;所述目标用户为所述目标人脸图像对应的用户。
6.根据权利要求5所述的机器人伺服系统,其特征在于,若所述机器人主体设定时段内未在各个摄像头上传的人脸头像中检测到所述目标人脸图像,则返回初始位置。
7.根据权利要求5所述的机器人伺服系统,其特征在于,所述机器人主体在检测到所述人脸图像中存在人脸面积大于面积阈值的人脸图像时,判定所述人脸图像满足唤醒条件。
8.根据权利要求5所述的机器人伺服系统,其特征在于,所述机器人主体从所述人脸图像中选择人脸面积最大的人脸图像作为目标人脸图像,或者,从所述人脸图像中选择距摄像头视场中心最近的人脸对应的人脸图像作为目标人脸图像。
9.根据权利要求5所述的机器人伺服系统,其特征在于,所述机器人主体在选择所述目标人脸图像后,注册所述目标人脸图像;所述目标人脸图像在注册之后用于在引领目标用户的过程中识别所述目标人脸图像。
10.根据权利要求5所述的机器人伺服系统,其特征在于,所述机器人主体在选择目标人脸图像后输出所述目标人脸图像对应的引路确认信息,在检测到所述目标用户的引路确认指令后,引领所述目标用户按照目标路线行走;所述目标路线为当前位置至目标位置之间的路线。
11.根据权利要求1至4任一项所述的机器人伺服系统,其特征在于,所述机器人主体包括人脸检测端、人脸服务器和机器人总控;所述机器人总控分别连接所述人脸检测端和所述人脸服务器;所述人脸检测端和所述人脸服务器相互连接;所述人脸检测端分别连接各个摄像头。
12.根据权利要求11所述的机器人伺服系统,其特征在于,
所述各个摄像头将拍摄得到的人脸图像上传至所述人脸检测端;
所述人脸检测端将所述人脸图像发送至所述人脸服务器;
所述人脸服务器从所述人脸图像中识别目标人脸图像,将识别结果发送至所述机器人总控;
所述机器人总控生成所述识别结果对应的控制指令,向所述人脸检测端和/或所述人脸服务器反馈所述控制指令。
CN201910321675.9A 2019-04-22 2019-04-22 机器人伺服系统 Active CN110026982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910321675.9A CN110026982B (zh) 2019-04-22 2019-04-22 机器人伺服系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910321675.9A CN110026982B (zh) 2019-04-22 2019-04-22 机器人伺服系统

Publications (2)

Publication Number Publication Date
CN110026982A true CN110026982A (zh) 2019-07-19
CN110026982B CN110026982B (zh) 2020-09-15

Family

ID=67239535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910321675.9A Active CN110026982B (zh) 2019-04-22 2019-04-22 机器人伺服系统

Country Status (1)

Country Link
CN (1) CN110026982B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104873A (zh) * 2019-12-02 2020-05-05 广州极泽科技有限公司 一种多图像处理装置协同的人脸识别方法、系统、设备和介质
CN112784634A (zh) * 2019-11-07 2021-05-11 北京沃东天骏信息技术有限公司 视频信息处理方法、装置和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206536471U (zh) * 2016-11-24 2017-10-03 深圳市旗瀚云技术有限公司 一种基于人脸追踪进行智能跟随的机器人
CN107450606A (zh) * 2017-09-02 2017-12-08 佛山市幻龙科技有限公司 一种多摄像头机器人
EP3338964A1 (en) * 2016-12-23 2018-06-27 LG Electronics Inc. -1- Guide robot
US10068135B2 (en) * 2016-12-22 2018-09-04 TCL Research America Inc. Face detection, identification, and tracking system for robotic devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206536471U (zh) * 2016-11-24 2017-10-03 深圳市旗瀚云技术有限公司 一种基于人脸追踪进行智能跟随的机器人
US10068135B2 (en) * 2016-12-22 2018-09-04 TCL Research America Inc. Face detection, identification, and tracking system for robotic devices
EP3338964A1 (en) * 2016-12-23 2018-06-27 LG Electronics Inc. -1- Guide robot
CN107450606A (zh) * 2017-09-02 2017-12-08 佛山市幻龙科技有限公司 一种多摄像头机器人

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784634A (zh) * 2019-11-07 2021-05-11 北京沃东天骏信息技术有限公司 视频信息处理方法、装置和系统
CN111104873A (zh) * 2019-12-02 2020-05-05 广州极泽科技有限公司 一种多图像处理装置协同的人脸识别方法、系统、设备和介质

Also Published As

Publication number Publication date
CN110026982B (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN109117827B (zh) 基于视频的工服工帽穿戴状态自动识别方法与报警系统
US20180342067A1 (en) Moving object tracking system and moving object tracking method
CN105654512B (zh) 一种目标跟踪方法和装置
JP6448223B2 (ja) 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
Luber et al. People tracking in rgb-d data with on-line boosted target models
CN102591459B (zh) 姿势状态分类
JP4984728B2 (ja) 被写体照合装置および被写体照合方法
JP5459674B2 (ja) 移動物体追跡システムおよび移動物体追跡方法
CN107438173A (zh) 视频处理装置、视频处理方法和存储介质
CN109977770A (zh) 一种自动跟踪拍摄方法、装置、系统及存储介质
CN108875507B (zh) 行人跟踪方法、设备、系统和计算机可读存储介质
JP6588413B2 (ja) 監視装置および監視方法
Li et al. Robust multiperson detection and tracking for mobile service and social robots
US11978282B2 (en) Authentication system, authentication method, and storage medium
CN112365522A (zh) 园区内人员跨境追踪的方法
TW201246089A (en) Method for setting dynamic environmental image borders and method for instantly determining the content of staff member activities
WO2021082045A1 (zh) 微笑表情检测方法、装置、计算机设备及存储介质
CN110026982A (zh) 机器人伺服系统
CN106897678B (zh) 一种结合心跳信号的远程人脸识别方法、装置和系统
CN110892412B (zh) 脸部辨识系统、脸部辨识方法及脸部辨识程序
CN106056080A (zh) 一种可视化的生物计量信息采集装置和方法
CN110287841B (zh) 图像传输方法及装置、图像传输系统、存储介质
JP2022019339A (ja) 情報処理装置、情報処理方法及びプログラム
CN114359646A (zh) 一种视频分析方法、装置、系统、电子设备和介质
JP3401511B2 (ja) 画像の特徴点の抽出方法、およびコンピュータに当該画像の特徴点の抽出方法を実行させるためのプログラム記録した、コンピュータ読取可能な記録媒体ならびに画像特徴点抽出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant