CN112223295A - 一种机器人表情调用方法和家用机器人 - Google Patents
一种机器人表情调用方法和家用机器人 Download PDFInfo
- Publication number
- CN112223295A CN112223295A CN202011174083.8A CN202011174083A CN112223295A CN 112223295 A CN112223295 A CN 112223295A CN 202011174083 A CN202011174083 A CN 202011174083A CN 112223295 A CN112223295 A CN 112223295A
- Authority
- CN
- China
- Prior art keywords
- supervision
- robot
- expression
- image
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
本申请公开了一种机器人表情调用方法和家用机器人。用户可以委托机器人对监督目标针对监督事项进行监督,机器人获取监督信息后,依据该监督信息对监督目标进行跟踪拍摄,并通过图像处理判断监督目标是否完成了监督事项。在监督目标按照监督信息完成了监督事项的情况下,调用开心表情与监督目标互动并进行相应的鼓励;在监督目标没有按照监督信息完成了监督事项的情况下,调用生气表情与监督目标互动并进行相应的激励。如此,丰富了机器人的表达方式,使得家用机器人不再局限于简单地执行任务,还能够完成一些更加智能和高级的沟通服务。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种机器人表情调用方法和家用机器人。
背景技术
机器人是近年来发展起来的综合学科。它集中了机械工程、电子工程、计算机工程、自动控制工程以及人工智能等多种学科的最新科研成果,代表了机电一体化的最高成就。随着科学技术的发展,智能专业服务机器人也已经从小说和电影中逐渐走进人们的日常生活、工业农业生产以及医疗服务、国防事业等。而智能家用服务机器人只处在初级发展阶段。
人们愈发忙碌的现代生活亟需智能家用服务机器人来对家庭生活中的日常琐事进行服务,如设定闹钟、管理家电开关、开关窗帘等。但是目前的智能家用服务机器人仅限于执行主人下达的命令,缺少与主人的交流互动,缺少表情和语言的表达功能,不能执行更高级的服务项目。
发明内容
本申请实施例提供了一种机器人表情调用方法和机器人,可以丰富了机器人的表达方式,使得家用机器人不再局限于简单地执行任务,还能够完成一些更加智能和高级的沟通服务。
第一方面,本申请实施例提供了一种机器人表情调用方法,该方法包括:
获取用户输入或发送的监督信息,所述监督信息包括监督目标、监督事项和监督时间段;
在所述监督时间段内对所述监督目标进行跟踪拍摄,获取跟踪图像;
利用卷积神经网络图像处理技术提取所述跟踪图像的图像特征,得到所述跟踪图像的图像特征图,所述图像特征图中包含多个图像元素;
对所述图像特征图中的所述图像元素进行内容识别,得到内容识别结果,依据所述内容识别结果进行图像元素之间的动作预测,得到监督结果;
在所述监督结果符合所述监督事项的情况下,通过设置于所述机器人面部的显示器向所述监督目标展示开心表情库中的开心表情;
在所述监督结果不符合所述监督事项的情况下,通过设置于所述机器人面部的显示器向所述监督目标展示生气表情库中的生气表情。
可以理解,本申请公开了一种机器人表情调用方法和家用机器人。用户可以委托机器人对监督目标针对监督事项进行监督,机器人获取监督信息后,依据该监督信息对监督目标进行跟踪拍摄,并通过图像处理判断监督目标是否完成了监督事项。在监督目标按照监督信息完成了监督事项的情况下,调用开心表情与监督目标互动并进行相应的鼓励;在监督目标没有按照监督信息完成了监督事项的情况下,调用生气表情与监督目标互动并进行相应的激励。如此,丰富了机器人的表达方式,使得家用机器人不再局限于简单地执行任务,还能够完成一些更加智能和高级的沟通服务。
作为一种可选的实施方式,所述对所述图像特征图中的所述图像元素进行内容识别,包括:对所述图像元素进行内容分类预测得到分类结果,对所述图像元素的位置进行预测得到预测位置;所述依据所述内容识别结果进行图像元素之间的动作预测,得到监督结果包括:依据所述分类结果和所述预测位置进行所述图像元素之间的动作预测,得到所述监督结果。
可以理解,处理器首先对跟踪图像中的图像元素进行内容和位置识别,随后再根据位置关系判断元素间的动作关系,从而便可以判断出监督目标是否执行了监督事项的动作,得到上述监督结果。
作为一种可选的实施方式,在所述得到监督结果之后,所述机器人表情调用方法还包括:将所述监督结果记录于监督完成情况文件中,所述监督完成情况文件记录有所述用户所创建的每一项监督事项的完成结果和完成时间;所述机器人表情调用方法还包括:接收用户发出的监督分析指令和分析时间段;根据所述分析时间段内所述监督完成情况文件所记录的监督事项的完成结果和完成时间,分析所述监督目标在所述分析时间段内的执行态度。
可以理解,机器人将每一次的监督结果都记录下来,形成监督完成情况文件。根据监督完成情况文件中的记录,可以对监督目标的执行态度进行有效的分析,有利于辅助用户更加深入地掌握监督事项的完成情况。
作为一种可选的实施方式,所述机器人表情调用方法还包括:在所述监督结果符合所述监督事项的情况下,通过设置于所述机器人嘴部的扬声器向所述监督目标循环播放赞扬语音库中的赞扬语音;在所述监督结果不符合所述监督事项的情况下,通过设置于所述机器人嘴部的扬声器向所述监督目标循环播放鼓励语音库中的鼓励语音。
可以理解,除了通过设置机器人面部的显示器展示对应的表情与监督目标进行互动之外,还可以通过语言方式与监督目标进行适当的沟通互动。丰富了人机交流的渠道,有利于更多方面地对监督目标进行监督反馈。
作为一种可选的实施方式,在所述通过设置于所述机器人面部的显示器向所述监督目标展示生气表情库中的生气表情之后,在所述通过设置于所述机器人嘴部的扬声器向所述监督目标循环播放鼓励语音库中的鼓励语音之后,所述机器人表情调用方法还包括:在延续监督时间段内对所述监督目标进行继续跟踪拍摄,获取继续跟踪图像;利用卷积神经网络图像处理技术提取所述继续跟踪图像的图像特征,得到所述继续跟踪图像的延续图像特征图,所述延续图像特征图中包含多个延续图像元素;对所述延续图像特征图中的所述延续图像元素进行内容识别,得到延续内容识别结果,依据所述延续内容识别结果进行延续图像元素之间的动作预测,得到延续监督结果。
可以理解,在第一次监督任务完成后,机器人可以继续对没有按照监督信息完成任务的监督目标继续进行跟踪拍摄,并按照上述图像处理方法对监督目标是否按照监督信息完成监督事项做出判断,得到上述延续监督结果。
作为一种可选的实施方式,在所述依据所述延续内容识别结果进行延续图像元素之间的动作预测,得到延续监督结果之后,所述机器人表情调用方法还包括:在所述延续监督结果仍不符合所述监督事项的情况下,通过设置于所述机器人面部的显示器向所述监督目标展示愤怒表情库中的愤怒表情,通过设置于所述机器人嘴部的扬声器向所述监督目标循环播放批评语音库中的批评语音。
可以理解,根据上述延续监督结果,如果监督目标仍然没有按照监督信息完成对应的监督事项,则升级机器人的表情和语言反馈,进一步地刺激监督目标完成监督事项。
作为一种可选的实施方式,在所述通过设置于所述机器人面部的显示器向所述监督目标展示愤怒表情库中的愤怒表情之后,所述机器人表情调用方法还包括:通过通信设备向所述用户的终端设备发送监督失败的提示信息;或者,通过通信设备向所述用户的终端设备发起视频通话请求或语音通话请求。
可以理解,在机器人判断出监督目标始终没有按照上述监督信息完成对应的监督事项的情况下,则可以通过通信设备给设定上述监督信息的用户以信息提示,由用户人工解决问题。
作为一种可选的实施方式,在所述获取用户输入或发送的监督信息之后,所述在延续监督时间段内对所述监督目标进行继续跟踪拍摄之前,所述机器人表情调用方法还包括:获取用户输入或发送的延续时间;将所述监督信息中的所述监督时间段之后的延续时间确认为所述延续监督时间段;将所述延续监督时间段记录于所述监督信息中。
可以理解,上述延续监督的时间可由用户自己设定。
作为一种可选的实施方式,在所述通过设置于所述机器人面部的显示器向所述监督目标展示开心表情库中的开心表情之前,在所述通过设置于所述机器人面部的显示器向所述监督目标展示生气表情库中的生气表情之前,所述机器人表情调用方法还包括:获取用户的自拍图像;利用卷积神经网络图像处理技术提取所述自拍图像的脸部图像特征,得到所述自拍图像的脸部图像特征图;对所述脸部图像特征图进行情绪识别,得到情绪识别结果;依据所述情绪识别结果,将所述表达开心情绪的自拍图像存储于所述开心表情库中作为开心表情;依据所述情绪识别结果,将所述表达生气情绪的自拍图像存储于所述生气表情库中作为生气表情;将所述脸部图像特征图输入预判函数,得到所述用户下一刻的预判表情;通过所述显示器展示所述预判表情。
可以理解,设定监督信息的用户可以对自己进行脸部自拍,并把根据表情内容存储于对应的数据库中,机器人在调用表情时便可以模拟用户自己的表情,以增加对监督目标的感官刺激。
第二方面,本申请实施例提供了一种家用机器人,该家用机器人包括用于执行上述第一方面的方法的单元。该家用机器人包括:驱动部件、摄像头、处理器和显示器,所述处理器分别与所述驱动部件、所述摄像头和所述显示器电连接,所述显示器设置于所述机器人的面部;
所述驱动部件,用于驱动所述机器人移动,在所述监督时间段内对所述监督目标进行跟踪;
所述摄像头,用于在所述监督时间段内对所述监督目标进行跟踪拍摄,获取跟踪图像;
所述处理器包括:获取模块、提取模块、监督结果获取模块;
所述获取模块,用于获取用户输入或发送的监督信息,所述监督信息包括监督目标、监督事项和监督时间段;
所述提取模块,用于利用卷积神经网络图像处理技术提取所述跟踪图像的图像特征,得到所述跟踪图像的图像特征图,所述图像特征图中包含多个图像元素;
所述监督结果获取模块,用于对所述图像特征图中的所述图像元素进行内容识别,得到内容识别结果,依据所述内容识别结果进行图像元素之间的动作预测,得到监督结果;
所述显示器,用于在所述监督结果符合所述监督事项的情况下,通过设置于所述机器人面部的显示器向所述监督目标展示开心表情库中的开心表情;在所述监督结果不符合所述监督事项的情况下,通过设置于所述机器人面部的显示器向所述监督目标展示生气表情库中的生气表情。
有益效果:
本申请公开了一种机器人表情调用方法和家用机器人。用户可以委托机器人对监督目标针对监督事项进行监督,机器人获取监督信息后,依据该监督信息对监督目标进行跟踪拍摄,并通过图像处理判断监督目标是否完成了监督事项。在监督目标按照监督信息完成了监督事项的情况下,调用开心表情与监督目标互动并进行相应的鼓励;在监督目标没有按照监督信息完成了监督事项的情况下,调用生气表情与监督目标互动并进行相应的激励。如此,丰富了机器人的表达方式,使得家用机器人不再局限于简单地执行任务,还能够完成一些更加智能和高级的沟通服务。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种机器人表情调用方法的流程示意图;
图2是本申请实施例提供的另一种机器人表情调用方法的流程示意图;
图3是本申请实施例提供的一种家用机器人的模块连接示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
人们愈发忙碌的现代生活亟需智能家用服务机器人来对家庭生活中的日常琐事进行服务,如设定闹钟、管理家电开关、开关窗帘等。目前家长的工作非常繁忙,没有足够的时间陪伴小孩完成作业、运动等活动,因此一些贪玩的小孩可能会慢慢养成不按时完成作业不爱运动的坏习惯。本申请所提供的家用机器人可以辅助家长对孩子的日常行为进行监督,并及时与小孩进行沟通,逐渐培养他们的好习惯。
如图1所示,本申请实施例提供了一种机器人表情调用方法,该方法包括:
101、获取用户输入或发送的监督信息,监督信息包括监督目标、监督事项和监督时间段。
在本申请实施例中,家用机器人可以配备有触控显示器或键盘等输入设备便于用户输入监督信息;另外用户还可以通过手机等终端设备向机器人直接发送上述监督信息。
在本申请实施例中,监督目标可以是家庭成员中的老人、小孩或宠物等需要被监督的对象;监督事项可以包括完成作业、完成运动、按时吃饭等有益于监督目标身心健康的任务;监督时间段即上述监督目标完成上述监督事项的时段。
举例说明,上述监督信息可以包括:监督目标——家中小孩,监督事项——完成作业,监督时间——晚上7点到8点。
102、在监督时间段内对监督目标进行跟踪拍摄,获取跟踪图像。
可以理解,机器人在接收到上述监督信息后,便需要对监督目标开始监督。其采取的监督方式时跟踪拍摄获取跟踪图像。
103、利用卷积神经网络图像处理技术提取跟踪图像的图像特征,得到跟踪图像的图像特征图,图像特征图中包含多个图像元素。
在本申请实施例中,机器人配备有处理器,该处理器可以对上述跟踪图像进行图像处理,提取其中的图像元素。比如提取到的图像元素包括监督目标的手、笔、书本等。
104、对图像特征图中的图像元素进行内容识别,得到内容识别结果,依据内容识别结果进行图像元素之间的动作预测,得到监督结果。
在本申请实施例中,通过对图像元素之间的动作预测便可以判断出监督目标是否执行监督事项中的规定动作,得到监督结果。比如对监督目标的手、笔、书本等图像元素之间的动作进行预测,判断出监督目标的手握持笔在书本书写,即可判断监督目标正在完成作业,得到对应的监督结果。
105、在监督结果符合监督事项的情况下,通过设置于机器人面部的显示器向监督目标展示开心表情库中的开心表情。
106、在监督结果不符合监督事项的情况下,通过设置于机器人面部的显示器向监督目标展示生气表情库中的生气表情。
在本申请实施例中,开心表情库和生气表情库为数据库存储与机器人上,便于机器人处理器随时调用。
作为一种可选的实施方式,在通过设置于机器人面部的显示器向监督目标展示开心表情库中的开心表情之前,在通过设置于机器人面部的显示器向监督目标展示生气表情库中的生气表情之前,机器人表情调用方法还包括:获取用户的自拍图像;利用卷积神经网络图像处理技术提取自拍图像的脸部图像特征,得到自拍图像的脸部图像特征图;对脸部图像特征图进行情绪识别,得到情绪识别结果;依据情绪识别结果,将表达开心情绪的自拍图像存储于开心表情库中作为开心表情;依据情绪识别结果,将表达生气情绪的自拍图像存储于生气表情库中作为生气表情;将脸部图像特征图输入预判函数,得到用户下一刻的预判表情;通过显示器展示预判表情。
可以理解,设定监督信息的用户可以对自己进行脸部自拍,并把根据表情内容存储于对应的数据库中,机器人在调用表情时便可以模拟用户自己的表情,以增加对监督目标的感官刺激。比如,当机器人判断出小孩子未在规定时间段内完成作业,则调用其家长生气的表情进行展示,对小孩起到感官刺激的作用,激励小孩及时完成作业。
可以理解,本申请公开了一种机器人表情调用方法和家用机器人。用户可以委托机器人对监督目标针对监督事项进行监督,机器人获取监督信息后,依据该监督信息对监督目标进行跟踪拍摄,并通过图像处理判断监督目标是否完成了监督事项。在监督目标按照监督信息完成了监督事项的情况下,调用开心表情与监督目标互动并进行相应的鼓励;在监督目标没有按照监督信息完成了监督事项的情况下,调用生气表情与监督目标互动并进行相应的激励。如此,丰富了机器人的表达方式,使得家用机器人不再局限于简单地执行任务,还能够完成一些更加智能和高级的沟通服务。
作为一种可选的实施方式,对图像特征图中的图像元素进行内容识别,包括:对图像元素进行内容分类预测得到分类结果,对图像元素的位置进行预测得到预测位置;依据内容识别结果进行图像元素之间的动作预测,得到监督结果包括:依据分类结果和预测位置进行图像元素之间的动作预测,得到监督结果。
可以理解,处理器首先对跟踪图像中的图像元素进行内容和位置识别,随后再根据位置关系判断元素间的动作关系,从而便可以判断出监督目标是否执行了监督事项的动作,得到上述监督结果。
比如对监督目标的手、笔、书本等图像元素进行内容和位置的识别,然后依据此对元素之间的动作进行预测,判断出监督目标的手握持笔在书本书写,即可判断监督目标正在完成作业,得到对应的监督结果。
作为一种可选的实施方式,在得到监督结果之后,机器人表情调用方法还包括:将监督结果记录于监督完成情况文件中,监督完成情况文件记录有用户所创建的每一项监督事项的完成结果和完成时间;机器人表情调用方法还包括:接收用户发出的监督分析指令和分析时间段;根据分析时间段内监督完成情况文件所记录的监督事项的完成结果和完成时间,分析监督目标在分析时间段内的执行态度。
可以理解,机器人将每一次的监督结果都记录下来,形成监督完成情况文件。根据监督完成情况文件中的记录,可以对监督目标的执行态度进行有效的分析,有利于辅助用户更加深入地掌握监督事项的完成情况。
比如,在分析时间段内针对完成作业这一监督事项进行分析,如果上述监督完成情况文件中记录的内容都是小孩按时完成了作业,那么可以分析出该小孩最近的学习态度良好,繁殖,则可以判断出该小孩最近的学习态度有待提高。
如图2所示,本申请实施例还提供了另一种机器人表情调用方法。与图1所示的机器人表情调用方法相比,图2所示的机器人表情调用方法还包括:
207、在监督结果符合监督事项的情况下,通过设置于机器人嘴部的扬声器向监督目标循环播放赞扬语音库中的赞扬语音。
208、在监督结果不符合监督事项的情况下,通过设置于机器人嘴部的扬声器向监督目标循环播放鼓励语音库中的鼓励语音。
在本申请实施例中,赞扬语音库和鼓励语音库为数据库存储于机器人上,便于机器人处理器随时调用。
可以理解,除了通过设置机器人面部的显示器展示对应的表情与监督目标进行互动之外,还可以通过语言方式与监督目标进行适当的沟通互动。丰富了人机交流的渠道,有利于更多方面地对监督目标进行监督反馈。
作为一种可选的实施方式,在通过设置于机器人面部的显示器向监督目标展示生气表情库中的生气表情之后,在通过设置于机器人嘴部的扬声器向监督目标循环播放鼓励语音库中的鼓励语音之后,机器人表情调用方法还包括:在延续监督时间段内对监督目标进行继续跟踪拍摄,获取继续跟踪图像;利用卷积神经网络图像处理技术提取继续跟踪图像的图像特征,得到继续跟踪图像的延续图像特征图,延续图像特征图中包含多个延续图像元素;对延续图像特征图中的延续图像元素进行内容识别,得到延续内容识别结果,依据延续内容识别结果进行延续图像元素之间的动作预测,得到延续监督结果。
可以理解,在第一次监督任务完成后,机器人可以继续对没有按照监督信息完成任务的监督目标继续进行跟踪拍摄,并按照上述图像处理方法对监督目标是否按照监督信息完成监督事项做出判断,得到上述延续监督结果。
作为一种可选的实施方式,在依据延续内容识别结果进行延续图像元素之间的动作预测,得到延续监督结果之后,机器人表情调用方法还包括:在延续监督结果仍不符合监督事项的情况下,通过设置于机器人面部的显示器向监督目标展示愤怒表情库中的愤怒表情,通过设置于机器人嘴部的扬声器向监督目标循环播放批评语音库中的批评语音。
可以理解,根据上述延续监督结果,如果监督目标仍然没有按照监督信息完成对应的监督事项,则升级机器人的表情和语言反馈,进一步地刺激监督目标完成监督事项。
作为一种可选的实施方式,在通过设置于机器人面部的显示器向监督目标展示愤怒表情库中的愤怒表情之后,机器人表情调用方法还包括:通过通信设备向用户的终端设备发送监督失败的提示信息;或者,通过通信设备向用户的终端设备发起视频通话请求或语音通话请求。
可以理解,在机器人判断出监督目标始终没有按照上述监督信息完成对应的监督事项的情况下,则可以通过通信设备给设定上述监督信息的用户以信息提示,由用户人工解决问题。
作为一种可选的实施方式,在获取用户输入或发送的监督信息之后,在延续监督时间段内对监督目标进行继续跟踪拍摄之前,机器人表情调用方法还包括:获取用户输入或发送的延续时间;将监督信息中的监督时间段之后的延续时间确认为延续监督时间段;将延续监督时间段记录于监督信息中。
可以理解,上述延续监督的时间可由用户自己设定。
如图3所示,本申请实施例提供了一种家用机器人,该家用机器人包括用于执行上述方法的单元。该家用机器人包括:驱动部件31、摄像头32、处理器33和显示器34,处理器33分别与驱动部件31、摄像头32和显示器34电连接,显示器34设置于机器人的面部。
驱动部件31,用于驱动机器人移动,在监督时间段内对监督目标进行跟踪;
摄像头32,用于在监督时间段内对监督目标进行跟踪拍摄,获取跟踪图像;
处理器33包括:获取模块331、提取模块332、监督结果获取模块333;
获取模块331,用于获取用户输入或发送的监督信息,监督信息包括监督目标、监督事项和监督时间段;
提取模块332,用于利用卷积神经网络图像处理技术提取跟踪图像的图像特征,得到跟踪图像的图像特征图,图像特征图中包含多个图像元素;
监督结果获取模块333,用于对图像特征图中的图像元素进行内容识别,得到内容识别结果,依据内容识别结果进行图像元素之间的动作预测,得到监督结果;
显示器34,用于在监督结果符合监督事项的情况下,通过设置于机器人面部的显示器34向监督目标展示开心表情库中的开心表情;在监督结果不符合监督事项的情况下,通过设置于机器人面部的显示器34向监督目标展示生气表情库中的生气表情。
需要说明的是,本申请实施例所描述的家用机器人的各功能模块的功能可根据图1和图2的方法实施例中的方法具体实现,其具体实现过程可以参照图1和图2的方法实施例的相关描述,此处不再赘述。
有益效果:
本申请公开了一种机器人表情调用方法和家用机器人。用户可以委托机器人对监督目标针对监督事项进行监督,机器人获取监督信息后,依据该监督信息对监督目标进行跟踪拍摄,并通过图像处理判断监督目标是否完成了监督事项。在监督目标按照监督信息完成了监督事项的情况下,调用开心表情与监督目标互动并进行相应的鼓励;在监督目标没有按照监督信息完成了监督事项的情况下,调用生气表情与监督目标互动并进行相应的激励。如此,丰富了机器人的表达方式,使得家用机器人不再局限于简单地执行任务,还能够完成一些更加智能和高级的沟通服务。
在本申请的另一实施例中提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序包括程序指令,程序指令被处理器执行时实现:
获取用户输入或发送的监督信息,所述监督信息包括监督目标、监督事项和监督时间段;
在所述监督时间段内对所述监督目标进行跟踪拍摄,获取跟踪图像;
利用卷积神经网络图像处理技术提取所述跟踪图像的图像特征,得到所述跟踪图像的图像特征图,所述图像特征图中包含多个图像元素;
对所述图像特征图中的所述图像元素进行内容识别,得到内容识别结果,依据所述内容识别结果进行图像元素之间的动作预测,得到监督结果;
在所述监督结果符合所述监督事项的情况下,通过设置于所述机器人面部的显示器向所述监督目标展示开心表情库中的开心表情;
在所述监督结果不符合所述监督事项的情况下,通过设置于所述机器人面部的显示器向所述监督目标展示生气表情库中的生气表情。
计算机可读存储介质可以是前述任一实施例的终端设备的内部存储单元,例如终端设备的硬盘或内存。计算机可读存储介质也可以是终端设备的外部存储设备,例如终端设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,计算机可读存储介质还可以既包括终端设备的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机程序以及终端设备所需的其他程序和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所揭露的仅为本申请的部分实施例而已,当然不能以此来限定本申请之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本申请权利要求所作的等同变化,仍属于发明所涵盖的范围。
以上所揭露的仅为本申请的部分实施例而已,当然不能以此来限定本申请之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本申请权利要求所作的等同变化,仍属于发明所涵盖的范围。
Claims (10)
1.一种机器人表情调用方法,其特征在于,包括:
获取用户输入或发送的监督信息,所述监督信息包括监督目标、监督事项和监督时间段;
在所述监督时间段内对所述监督目标进行跟踪拍摄,获取跟踪图像;
利用卷积神经网络图像处理技术提取所述跟踪图像的图像特征,得到所述跟踪图像的图像特征图,所述图像特征图中包含多个图像元素;
对所述图像特征图中的所述图像元素进行内容识别,得到内容识别结果,依据所述内容识别结果进行图像元素之间的动作预测,得到监督结果;
在所述监督结果符合所述监督事项的情况下,通过设置于所述机器人面部的显示器向所述监督目标展示开心表情库中的开心表情;
在所述监督结果不符合所述监督事项的情况下,通过设置于所述机器人面部的显示器向所述监督目标展示生气表情库中的生气表情。
2.根据权利要求1所述的机器人表情调用方法,其特征在于,
所述对所述图像特征图中的所述图像元素进行内容识别,包括:
对所述图像元素进行内容分类预测得到分类结果,对所述图像元素的位置进行预测得到预测位置;
所述依据所述内容识别结果进行图像元素之间的动作预测,得到监督结果包括:依据所述分类结果和所述预测位置进行所述图像元素之间的动作预测,得到所述监督结果。
3.根据权利要求1所述的机器人表情调用方法,其特征在于,
在所述得到监督结果之后,所述机器人表情调用方法还包括:
将所述监督结果记录于监督完成情况文件中,所述监督完成情况文件记录有所述用户所创建的每一项监督事项的完成结果和完成时间;
所述机器人表情调用方法还包括:
接收用户发出的监督分析指令和分析时间段;
根据所述分析时间段内所述监督完成情况文件所记录的监督事项的完成结果和完成时间,分析所述监督目标在所述分析时间段内的执行态度。
4.根据权利要求1所述的机器人表情调用方法,其特征在于,
所述机器人表情调用方法还包括:
在所述监督结果符合所述监督事项的情况下,通过设置于所述机器人嘴部的扬声器向所述监督目标循环播放赞扬语音库中的赞扬语音;
在所述监督结果不符合所述监督事项的情况下,通过设置于所述机器人嘴部的扬声器向所述监督目标循环播放鼓励语音库中的鼓励语音。
5.根据权利要求4所述的机器人表情调用方法,其特征在于,
在所述通过设置于所述机器人面部的显示器向所述监督目标展示生气表情库中的生气表情之后,在所述通过设置于所述机器人嘴部的扬声器向所述监督目标循环播放鼓励语音库中的鼓励语音之后,所述机器人表情调用方法还包括:
在延续监督时间段内对所述监督目标进行继续跟踪拍摄,获取继续跟踪图像;
利用卷积神经网络图像处理技术提取所述继续跟踪图像的图像特征,得到所述继续跟踪图像的延续图像特征图,所述延续图像特征图中包含多个延续图像元素;
对所述延续图像特征图中的所述延续图像元素进行内容识别,得到延续内容识别结果,依据所述延续内容识别结果进行延续图像元素之间的动作预测,得到延续监督结果。
6.根据权利要求5所述的机器人表情调用方法,其特征在于,
在所述依据所述延续内容识别结果进行延续图像元素之间的动作预测,得到延续监督结果之后,所述机器人表情调用方法还包括:
在所述延续监督结果仍不符合所述监督事项的情况下,通过设置于所述机器人面部的显示器向所述监督目标展示愤怒表情库中的愤怒表情,通过设置于所述机器人嘴部的扬声器向所述监督目标循环播放批评语音库中的批评语音。
7.根据权利要求6所述的机器人表情调用方法,其特征在于,
在所述通过设置于所述机器人面部的显示器向所述监督目标展示愤怒表情库中的愤怒表情之后,所述机器人表情调用方法还包括:
通过通信设备向所述用户的终端设备发送监督失败的提示信息;
或者,通过通信设备向所述用户的终端设备发起视频通话请求或语音通话请求。
8.根据权利要求5所述的机器人表情调用方法,其特征在于,
在所述获取用户输入或发送的监督信息之后,所述在延续监督时间段内对所述监督目标进行继续跟踪拍摄之前,所述机器人表情调用方法还包括:
获取用户输入或发送的延续时间;
将所述监督信息中的所述监督时间段之后的延续时间确认为所述延续监督时间段;
将所述延续监督时间段记录于所述监督信息中。
9.根据权利要求1所述的机器人表情调用方法,其特征在于,
在所述通过设置于所述机器人面部的显示器向所述监督目标展示开心表情库中的开心表情之前,在所述通过设置于所述机器人面部的显示器向所述监督目标展示生气表情库中的生气表情之前,所述机器人表情调用方法还包括:
获取用户的自拍图像;
利用卷积神经网络图像处理技术提取所述自拍图像的脸部图像特征,得到所述自拍图像的脸部图像特征图;
对所述脸部图像特征图进行情绪识别,得到情绪识别结果;
依据所述情绪识别结果,将所述表达开心情绪的自拍图像存储于所述开心表情库中作为开心表情;
依据所述情绪识别结果,将所述表达生气情绪的自拍图像存储于所述生气表情库中作为生气表情;
将所述脸部图像特征图输入预判函数,得到所述用户下一刻的预判表情;
通过所述显示器展示所述预判表情。
10.一种家用机器人,所述家用机器人用于执行如权利要求1至9任一项所述的机器人表情调用方法,其特征在于,包括:
驱动部件、摄像头、处理器和显示器,所述处理器分别与所述驱动部件、所述摄像头和所述显示器电连接,所述显示器设置于所述机器人的面部;
所述驱动部件,用于驱动所述机器人移动,在所述监督时间段内对所述监督目标进行跟踪;
所述摄像头,用于在所述监督时间段内对所述监督目标进行跟踪拍摄,获取跟踪图像;
所述处理器包括:获取模块、提取模块、监督结果获取模块;
所述获取模块,用于获取用户输入或发送的监督信息,所述监督信息包括监督目标、监督事项和监督时间段;
所述提取模块,用于利用卷积神经网络图像处理技术提取所述跟踪图像的图像特征,得到所述跟踪图像的图像特征图,所述图像特征图中包含多个图像元素;
所述监督结果获取模块,用于对所述图像特征图中的所述图像元素进行内容识别,得到内容识别结果,依据所述内容识别结果进行图像元素之间的动作预测,得到监督结果;
所述显示器,用于在所述监督结果符合所述监督事项的情况下,通过设置于所述机器人面部的显示器向所述监督目标展示开心表情库中的开心表情;在所述监督结果不符合所述监督事项的情况下,通过设置于所述机器人面部的显示器向所述监督目标展示生气表情库中的生气表情。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011174083.8A CN112223295A (zh) | 2020-10-28 | 2020-10-28 | 一种机器人表情调用方法和家用机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011174083.8A CN112223295A (zh) | 2020-10-28 | 2020-10-28 | 一种机器人表情调用方法和家用机器人 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112223295A true CN112223295A (zh) | 2021-01-15 |
Family
ID=74109588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011174083.8A Pending CN112223295A (zh) | 2020-10-28 | 2020-10-28 | 一种机器人表情调用方法和家用机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112223295A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228982A (zh) * | 2016-07-27 | 2016-12-14 | 华南理工大学 | 一种基于教育服务机器人的交互式学习系统与交互方法 |
CN106599926A (zh) * | 2016-12-20 | 2017-04-26 | 上海寒武纪信息科技有限公司 | 一种表情图片推送方法及系统 |
CN107659608A (zh) * | 2017-07-24 | 2018-02-02 | 北京小豆儿机器人科技有限公司 | 一种基于养老机器人的亲情关怀系统 |
CN107803841A (zh) * | 2017-10-17 | 2018-03-16 | 汤庆佳 | 一种基于机器人的智能教学纠正方法及其系统 |
CN107832742A (zh) * | 2017-11-28 | 2018-03-23 | 上海与德科技有限公司 | 应用于机器人的监督方法和机器人 |
CN107825428A (zh) * | 2017-12-08 | 2018-03-23 | 子歌教育机器人(深圳)有限公司 | 智能机器人的作业系统及智能机器人 |
KR20180057489A (ko) * | 2016-11-22 | 2018-05-30 | 주식회사 로보러스 | 감정을 생성하여 표현하는 로봇 시스템과, 그 시스템에서의 감정 생성 및 표현 방법 |
CN109192050A (zh) * | 2018-10-25 | 2019-01-11 | 重庆鲁班机器人技术研究院有限公司 | 体验式语言教学方法、装置及教育机器人 |
-
2020
- 2020-10-28 CN CN202011174083.8A patent/CN112223295A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228982A (zh) * | 2016-07-27 | 2016-12-14 | 华南理工大学 | 一种基于教育服务机器人的交互式学习系统与交互方法 |
KR20180057489A (ko) * | 2016-11-22 | 2018-05-30 | 주식회사 로보러스 | 감정을 생성하여 표현하는 로봇 시스템과, 그 시스템에서의 감정 생성 및 표현 방법 |
CN106599926A (zh) * | 2016-12-20 | 2017-04-26 | 上海寒武纪信息科技有限公司 | 一种表情图片推送方法及系统 |
CN107659608A (zh) * | 2017-07-24 | 2018-02-02 | 北京小豆儿机器人科技有限公司 | 一种基于养老机器人的亲情关怀系统 |
CN107803841A (zh) * | 2017-10-17 | 2018-03-16 | 汤庆佳 | 一种基于机器人的智能教学纠正方法及其系统 |
CN107832742A (zh) * | 2017-11-28 | 2018-03-23 | 上海与德科技有限公司 | 应用于机器人的监督方法和机器人 |
CN107825428A (zh) * | 2017-12-08 | 2018-03-23 | 子歌教育机器人(深圳)有限公司 | 智能机器人的作业系统及智能机器人 |
CN109192050A (zh) * | 2018-10-25 | 2019-01-11 | 重庆鲁班机器人技术研究院有限公司 | 体验式语言教学方法、装置及教育机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108665492B (zh) | 一种基于虚拟人的舞蹈教学数据处理方法及系统 | |
US20210170585A1 (en) | Robot reacting on basis of user behavior and control method therefor | |
CN110888532A (zh) | 人机交互方法、装置、移动终端及计算机可读存储介质 | |
JP4641389B2 (ja) | 情報処理方法、情報処理装置 | |
CN111273953B (zh) | 模型处理方法、装置、终端及存储介质 | |
CN112651334A (zh) | 机器人视频交互方法和系统 | |
CN109542389B (zh) | 用于多模态故事内容输出的音效控制方法及系统 | |
CN111798259A (zh) | 应用推荐方法、装置、存储介质及电子设备 | |
CN108847243A (zh) | 声纹特征更新方法、装置、存储介质及电子设备 | |
CN111223549A (zh) | 一种基于姿态矫正的疾病预防的移动端系统及方法 | |
CN113743250A (zh) | 一种课堂教学行为事件描述模型的构建方法及系统 | |
CN111773658B (zh) | 一种基于计算机视觉库的游戏交互方法及装置 | |
CN104992085A (zh) | 一种基于触摸轨迹跟踪的人体活体检测方法及装置 | |
CN112223295A (zh) | 一种机器人表情调用方法和家用机器人 | |
CN109961152B (zh) | 虚拟偶像的个性化互动方法、系统、终端设备及存储介质 | |
CN114967937B (zh) | 一种虚拟人运动生成方法与系统 | |
CN116309997A (zh) | 一种数字人动作生成方法、装置及设备 | |
TWI749683B (zh) | 互動式陪伴系統及其方法 | |
US20210201139A1 (en) | Device and method for measuring a characteristic of an interaction between a user and an interaction device | |
CN111225250B (zh) | 视频的扩展信息处理方法及装置 | |
CN111176430B (zh) | 一种智能终端的交互方法、智能终端及存储介质 | |
CN113766130A (zh) | 视频拍摄方法、电子设备及装置 | |
CN112099634A (zh) | 基于头部动作的交互操作方法、装置、存储介质及终端 | |
CN115589453A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN112685588B (zh) | 资源推荐方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210115 |