CN111975772B - 机器人控制方法、装置、电子设备及存储介质 - Google Patents
机器人控制方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111975772B CN111975772B CN202010763023.3A CN202010763023A CN111975772B CN 111975772 B CN111975772 B CN 111975772B CN 202010763023 A CN202010763023 A CN 202010763023A CN 111975772 B CN111975772 B CN 111975772B
- Authority
- CN
- China
- Prior art keywords
- target object
- information
- emotion
- target
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
本申请公开了一种机器人控制方法、装置、电子设备及存储介质,涉及人机交互领域,应用于机器人,该方法包括:采集目标物体的身份信息,所述身份信息包括语音信息和图像信息,所述目标物体为第一类型的人或者第二类型的动物,根据所述目标物体的语音信息和图像信息确定所述目标物体的状态信息,所述目标物体的状态信息包括所述目标物体的情绪数据和健康数据的至少一种,执行与所述状态信息匹配的动作。本申请通过执行与状态信息匹配的动作可以更加智能化的与目标物体进行交互,提高用户的使用体验。
Description
技术领域
本申请涉及人机交互领域,更具体地,涉及一种机器人控制方法、装置、电子设备及存储介质。
背景技术
随着科技的迅猛发展,信息技术、计算机技术以及人工智能技术的引入,机器人在现代生产生活中的应用领域不断拓宽,不再仅仅局限于工业领域,而是逐渐扩展到了医疗、家庭、娱乐以及服务行业等领域,进而促使人机交互更加频繁。
目前,机器人在与用户交互的过程中,一般通过接收用户发出的控制命令执行相应的工作任务,缺少与用户情感上的交流,难以实现真正意义上的沟通,导致人机交互缺乏情绪进行相应的智能交互,造成用户体验感不佳。
发明内容
鉴于上述问题,本申请提出了一种机器人控制方法、装置、电子设备及存储介质。
第一方面,本申请实施例提供了一种机器人控制方法,该方法包括:采集目标物体的身份信息,身份信息包括语音信息和图像信息,目标物体为第一类型的人或者第二类型的动物,根据目标物体的语音信息和图像信息确定目标物体的状态信息,目标物体的状态信息包括目标物体的情绪数据和健康数据的至少一种,执行与状态信息匹配的动作。
进一步地,目标物体为第一类型的人;执行与状态信息匹配的动作,包括:若目标物体的情绪为痛苦情绪,则对目标物体进行动作识别,得到动作识别结果,根据动作识别结果,确定目标物体当前是否处于待帮助状态,如果目标物体处于待帮助状态,则执行报警操作,并向指定终端设备发送预设的提示信息。
进一步地,目标物体为第一类型的人;执行与状态信息匹配的动作,包括:若目标物体的情绪为伤心情绪,则播放预设音频或者执行跳舞操作。
进一步地,目标物体为第一类型的人;执行与状态信息匹配的动作,包括:若目标物体的情绪为伤心情绪,则对目标物体的语音信息进行语义分析,得到语义分析结果;根据语义分析结果确定导致目标物体处于伤心情绪的因素是否为思念;若确认伤心情绪为思念,则获取待播放内容,并对待播放内容进行播放。
进一步地,获取待播放内容,包括:检测机器人上是否存储有指定相册;如果机器人上存储有指定相册,则将指定相册中的内容作为待播放内容。
进一步地,如果所有机器人上未存储有指定相册,则确定与机器人连接的终端设备,并向终端设备发送获取待播放内容的获取指令,根据获取指令接收终端设备发送的待播放内容。
进一步地,目标物体为第二类型的动物;执行与状态信息匹配的动作,包括:根据目标物体的状态信息,确定目标物体是否处于饥饿状态,如果目标物体处于饥饿状态,则对目标物体执行投喂操作。
进一步地,目标物体为第二类型的动物;执行与状态信息匹配的动作,包括:根据目标物体的状态信息,确定目标物体的情绪是否为低落情绪,如果目标物体的情绪为低落情绪,则对目标物体执行互动操作。
进一步地,对目标物体执行互动操作之后,包括:经过预设时长后再次获取目标物体的状态信息,并根据再次获取的目标物体的状态信息确定目标物体的情绪是否为低落情绪,如果目标物体的情绪仍为低落情绪,则向指定终端设备发送预设的提示信息。
进一步地,目标物体包括第一目标子物体和第二目标子物体;执行与状态信息匹配的动作,包括:根据第二目标子物体的状态信息,确定第二目标子物体的情绪是否为愤怒情绪,第二目标子物体为第二类型的动物,如果第二目标子物体的情绪为愤怒情绪,则检测第二目标子物体与第一目标子物体之间的距离是否小于预设距离,第一目标子物体为岁数低于预设年龄的第一类型的人,如果第二目标子物体与第一目标子物体之间的距离小于预设距离,则阻挡第二目标子物体继续靠近第一目标子物体。
进一步地,阻挡第二目标子物体继续靠近第一目标子物体,包括:发出声光警告或者执行移动操作,移动操作用于将机器人移动至第一目标子物体与第二目标子物体之间。
进一步地,如果第二目标子物体与第一目标子物体的距离大于或者等于预设距离,则对第二目标子物体执行互动操作。
第二方面,本申请实施例提供了一种机器人控制方法,该方法包括:接收机器人发送的目标物体的身份信息,身份信息包括语音信息和图像信息,目标物体为第一类型的人或者第二类型的动物,根据目标物体的语音信息和图像信息确定目标物体的状态信息,目标物体的状态信息包括目标物体的情绪数据和健康数据的至少一种,将目标物体的状态信息发送至机器人,并指示机器人执行与状态信息匹配的动作。
第三方面,本申请实施例提供了一种机器人控制装置,该装置包括:信息采集模块、信息获取模块以及动作执行模块。其中,信息采集模块,用于采集目标物体的身份信息,身份信息包括语音信息和图像信息,目标物体为第一类型的人或者第二类型的动物。信息获取模块,用于根据目标物体的语音信息和图像信息确定目标物体的状态信息,目标物体的状态信息包括目标物体的情绪数据和健康数据的至少一种。动作执行模块,用于根据状态信息控制机器人执行与状态信息匹配的动作。
第四方面,本申请实施例提供了一种电子设备,其包括:存储器、一个或多个处理器以及一个或多个应用程序。其中,一个或多个处理器与存储器耦接。一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于执行如上述第一方面的方法。
第五方面,本申请实施例提供了一种计算机可读取存储介质,该计算机可读取存储介质中存储有程序代码,该程序代码可被处理器调用执行如上述第一方面的方法。
本申请实施例提供的机器人控制方法、装置、电子设备及存储介质,该方法可以采集目标物体的身份信息,并根据目标物体的语音信息和图像信息确定目标物体的状态信息,其中,目标物体的身份信息可以包括语音信息和图像信息,而目标物体可以为第一类型的人或者第二类型的动物,同时目标物体的状态信息可以包括目标物体的情绪数据和健康数据的至少一种,最后机器人可以执行与该状态信息匹配的动作。本申请实施例可以通过采集目标物体的身份信息来确定目标物体的状态信息,在此基础上可以执行与状态信息匹配的动作,其在一定程度上可以更加智能化的与目标物体进行交互,进而提高用户的使用体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了一种适用于本申请实施例的应用环境示意图。
图2示出了本申请第一实施例提供的机器人控制方法的流程示意图。
图3示出了本申请第二实施例提供的机器人控制方法的流程示意图。
图4示出了本申请第三实施例提供的机器人控制方法的流程示意图。
图5示出了本申请第四实施例提供的机器人控制方法的流程示意图。
图6示出了本申请第四实施例提供的机器人控制方法中步骤S450的流程示意图。
图7示出了本申请第四实施例提供的机器人控制方法中步骤S450的其他步骤的流程示意图。
图8示出了本申请第五实施例提供的机器人控制方法的流程示意图。
图9示出了本申请第六实施例提供的机器人控制方法的流程示意图。
图10示出了本申请第六实施例提供的机器人控制方法中其他步骤的流程示意图。
图11示出了本申请第七实施例提供的机器人控制方法的流程示意图。
图12示出了本申请第八实施例提供的机器人控制方法的流程示意图。
图13示出了本申请第九实施例提供的机器人控制装置的模块框图。
图14是本申请第十实施例的用于执行根据本申请实施例的机器人控制方法的电子设备的框图。
图15是本申请第十一实施例的用于保存或者携带实现根据本申请实施例的机器人控制方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,图1示出了一种适用于本申请实施例的应用环境示意图。本申请实施例提供的机器人控制方法可以应用于如图1所示的多态交互系统100。多态交互系统100包括终端设备103、服务器102以及机器人101,服务器102与机器人101和终端设备103分别通信连接,同时机器人101可以与终端设备103进行通信连接。其中,服务器102可以是传统服务器,也可以是云端服务器,在此不作具体限定。
其中,机器人101可以是虚拟机器人也可以是实体机器人,当机器人101为虚拟机器人时,其可以运行于终端设备上,即通过终端设备虚拟机器人可以与用户进行交互,为用户提供多种信息,如播放音视频、与用户聊天以及为用户提供所要理解的信息等;当机器人101为实体机器人时,其不仅可以为用户播放音视频,同时可以与用户进行更加真实的交互,如投喂宠物,或者为用户跳舞等。机器人101具体是哪一种这里不进行明确限制可以根据实际情况进行选择。
其中,终端设备103可以是具有显示屏且支持数据输入的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和可穿戴式电子设备等。具体的,数据输入可以是基于终端设备103上具有的语音模块输入语音、字符输入模块输入字符、图像输入模块输入图像等,还可以是基于终端设备103上安装有的手势识别模块,使得用户可以实现手势输入等交互方式。
上述的应用环境仅为方便理解所作的示例,可以理解的是,本申请实施例不仅局限于上述应用环境。
目前,儿童机器人只适用于年龄稍大一些的孩子,而对于年龄更小的孩童,如零至三岁的幼童,现有的机器人无法满足孩子的情感需求,即现有的机器人只能根据使用者已经选择的模式进行回应,无法根据孩子的不同情绪状态对应的做出陪伴行为。另外,现有的老人陪伴机器人智能根据使用者已经选择的模式进行回应,对于长时间独居的老人来说,如果长时间使用机器人老人难免会感觉孤独和无聊,即现有的机器人无法根据老人的真实情绪做出相应的自助陪伴行为。同时,现有的宠物陪玩机器人在喂食和逗玩方面只能根据主人远程监控进行相应的陪伴行为,如果主人很忙,且无法通过视频实时监控宠物的状态时,宠物陪玩机器人便无法根据宠物情绪状态、身体状况作出相应的陪伴行为。
为了改善上述问题,发明人提出了本申请实施例中的机器人控制方法、装置、电子设备及存储介质本申请实施例,该方法可以通过采集目标物体的身份信息来确定目标物体的状态信息,在此基础上可以执行与状态信息匹配的动作,其在一定程度上可以更加智能化的与目标物体进行交互,进而提高用户的使用体验。
下面将通过具体实施例对本申请实施例提供的机器人控制方法、装置、电子设备及存储介质进行详细说明。
第一实施例
请参阅图2,图2示出了本申请实施例提供的机器人控制方法的流程示意图,该方法应用于机器人,所述机器人可以是虚拟机器人或者实体机器人,本方法可以包括步骤S110至步骤S130。
步骤S110:采集目标物体的身份信息。
在一些实施方式中,目标物体的身份信息可以包括语音信息和图像信息,本申请可以利用语音采集装置采集目标物体的语音数据,所述语音采集装置可以是拾音器其可以安装于机器人上,也可以安装于机器人之外。另外,本申请也可以利用图像采集装置采集目标物体的图像信息,其中,图像采集装置可以是彩色摄像头或者红外摄像头等,所述图像采集装置可以是机器人内置的,也可以是外置图像采集装置,当所述图像采集装置为外置图像采集装置时,其可以通过有线或者无线的方式将其采集到的图像发送至机器人。
本申请实施例中,目标物体的语音信息可以是包含目标物体语音的信息,机器人获取到所述目标物体的语音信息后可以先对所述语音信息进行去噪处理,以去除掉除目标物体以外的其他语音信息。另外,目标物体的图像信息可以是包含目标物体图像的图像信息,所述包含目标物体图像的信息可以是包含目标物体的脸部信息以及身体信息等,获取到目标物体的图像信息后,本申请可以对图像信息进行图像预处理,去除掉除目标物体之外的其他干扰信息。作为一种方式,图像信息可以是图像也可以是视频,即图像采集装置采集到的图像信息可以是包含目标物体的图像,也可以是包含目标物体的视频。
在一些实施方式中,目标物体可以为第一类型的人,也可以是第二类型的动物,其中,第一类型的人可以是老人、小孩或者盲人等中的至少一种,当第一类型的人是老人时不仅需要对老人的身体健康进行实时监测,同时老人容易处于孤独状态,因此也需要对老人的情绪进行看护;当第一类型的人是小孩时则主要需要对小孩的安全进行监测,同时也要考虑小孩的情绪问题,比如思念父母等;当第一类型的人是盲人时则需要对盲人的活动进行实时检测与提醒,即当在盲人的活动范围内出现障碍物,或者其他突发事故时可以及时提醒用户,以避免出现不必要的危险。第二类型的动物则可以是宠物,如猫、狗等,第二类型的动作独自在家时,不仅存在无人喂养的可能,同时当其与小孩单独相处时可能会对小孩的安全造成威胁,即当没有大人在时会发生预想不到的后果。
作为一种方式,对老人的身体进行监测可以包括确定老人是否处于生病状态,而确定老人是否处于生病状态则可以通过获取老人的呼吸、心率以及脉搏等确定老人是否处于生病状态。作为一个具体的示例,当机器人检测到老人的心率大于心率阈值时,表明老人心脏出现异常,此时机器人可以输出救助信息。
作为另一种方式,对老人的身体进行监测可以包括确定老人是否处于跌倒状态或者预测老人是否即将处于跌倒状态等,机器人可以通过图像采集装置采集老人在不同时刻的骨骼图像来预测老人是否即将要摔倒或者是否已处于摔倒状态,如果其预测到老人即将要摔倒或者检测到老人已经处于摔倒状态,则表示老人可能处于危险状态,此时机器人可以输出救助信息。另外,当机器人检测到老人处于危险状态时,机器人可以检测老人跌倒的预设范围内是否存在辅助站立物体,如果老人跌倒的预设范围内存在辅助站立物体,机器人则可以发出声光警报以及发送提示信息至终端设备,所述终端设备可以是老人的看护人手机。如果机器人检测到老人跌倒的预设范围内不存在辅助站立物体,则机器人可以在发出声光警报的同时将其移动至老人跌倒的预设范围中,当机器人移动至老人跌倒的范围内,可以发出提示信息,通过该提示信息提示老人请利用机器人站立起来。
步骤S120:根据所述目标物体的语音信息和图像信息确定所述目标物体的状态信息。
本申请实施例中,机器人采集到目标物体的语音信息和图像信息后可以先对其采集的身份信息进行识别,确定所述目标物体的身份,具体的,机器人可以将其采集到的身份信息与预设的身份信息进行匹配,并判断是否存在与目标物体身份信息匹配的信息,如果存在,则确定所述目标物体为准确的待看护对象,此时机器人则可以对目标物体进行持续看护,如果不存与目标物体身份信息匹配的信息,则不将目标物体作为准确的待看护对象。
作为另一种方式,机器人采集到目标物体的身份信息也可以直接确定所述身份信息是否为指定身份信息,如果是指定身份信息则确定目标物体为准确的待看护对象,如果不是指定身份信息则确定目标物体不是指定身份信息。具体的,机器人可以对所述身份信息中的语音信息进行声纹识别,并根据所述声纹识别结果确定目标物体是否为准确的待看护对象;机器人也可以对所述身份信息中的图像信息进行脸部识别,并根据所述脸部识别结果确定目标物体是否为准确的待看护对象;机器人也可以同时对所述身份信息中的语音信息和图像信息进行声纹识别和脸部识别,并结合声纹识别结果和脸部识别结果确定所述目标物体是否为准确的待看护对象。
本申请实施例中,机器人可以先对语音信息进行声纹识别,得到声纹识别结果,并判断该声纹识别结果与指定声纹信息是否匹配,所述指定声纹信息是预先存储于机器人或者服务器上准确的待看护对象对应的声纹信息。如果声纹识别结果与指定声纹信息匹配,则确定目标物体为准确的待看护对象,如果声纹识别结果与指定声纹信息不匹配,本申请则可以对身份信息中的图像信息进行脸部识别,得到脸部识别结果,并判断所述脸部识别结果与指定脸部信息是否匹配,所述指定脸部信息可以是预先存储于机器人或者服务器上准确的待看护对象的脸部信息。如果脸部识别结果与指定脸部信息匹配,则确定目标物体为准确的待看护对象,否则表明目标不是准确的待看护对象。需要说明的是,本申请在对目标物体的身份信息进行声纹识别或者是脸部识别可以利用机器人的处理器进行识别,也可以将其采集的身份信息上传至服务器,并指示服务器对所述身份信息进行识别,得到识别结果,而机器人则可以接收服务器发送的识别结果,并根据识别结果确定目标物体是否为准确的待看护对象。
在另一些实施方式中,在确定目标物体为准确的待看护对象时,本申请可以对所述目标物体进行情绪识别和健康状态识别,得到目标物体的状态信息,即本申请实施例中目标物体的状态信息可以包括所述目标物体的情绪数据和健康数据的至少一种。具体的,在获取到语音信息后机器人可以利用指定的语音识别模型对语音信息进行识别,所述语音识别模型不仅可以进行语义识别,同时可以对目标物体进行情绪识别,得到第一情绪识别结果;同时,本申请也可以利用指定的图像识别模型对所述图像信息进行表情识别,得到第二情绪识别结果。然后,确定所述第一情绪识别结果与所述第二情绪识别结果是否匹配,如果所述第一情绪识别结果与所述第二情绪识别结果匹配,则将第一情绪识别结果和第二情绪识别结果的任一一个作为目标物体的情绪数据。如果第一情绪识别结果与第二情绪识别结果不匹配,则将所述第二情绪识别结果作为目标物体的情绪数据,主要原因是第二情绪识别结果来源于目标物体的脸部表情变化,其更能精确表示用户的真实情绪。
在另一些实施方式中,如果第一情绪识别结果与第二情绪识别结果不匹配,则分别获取历史语音信息和历史图像信息,并对所述历史语音信息和历史图像信息分别进行情绪识别,得到历史第一情绪识别结果和历史第二情绪识别结果,然后判断所述历史第一情绪识别结果与历史第二情绪识别结果是否匹配。当所述历史第一情绪识别结果和历史第二情绪识别结果匹配时,确定所述历史第一情绪识别结果和第一情绪识别结果是否匹配,如果所述历史第一情绪识别结果与第一情绪识别结果匹配,则将所述第一情绪识别结果作为目标物体的情绪数据。如果所述历史第一情绪识别结果与第一情绪识别结果不匹配,则判断历史第一情绪识别结果与第二情绪识别结果是否匹配,如果匹配,则将第二情绪识别结果作为目标物体的情绪数据。另外,如果历史第一情绪识别结果与第二情绪识别结果也不匹配,则将所述历史第一情绪识别结果作为目标物体的情绪数据。
在一些实施方式中,本申请在确定目标物体为准确的待看护对象时,也可以对目标物体进行健康状态识别,得到健康数据。所述健康数据可以包括内在健康数据和外在健康数据,所述内在健康数据指的是目标物体自身的健康问题数据,即内在健康数据可以是目标物体得身体出现病痛或者不适时的数据,如心脏病发作等。外在健康数据则指的是目标物体的身体是否因为意外状况的出现而造成身体不适所获取的数据,如跌倒等。本申请实施例根据目标物体的语音信息和图像信息确定目标物体的状态信息后可以执行与所述状态信息匹配的动作,即进入步骤S130。
步骤S130:执行与所述状态信息匹配的动作。
本申请实施例中,目标物体的状态信息不同则对应执行的动作也不相同,并且即使状态信息相同,但是目标物体不相同则其对应执行的动作也不相同。例如,当目标物体为第一类型的人,且目标物体的状态信息中的情绪数据为伤心情绪或者低落时,本申请可以播放预设音频或者执行跳舞操作,当目标物体为第二类型的动物,且目标物体的状态信息中的情绪数据为伤心情绪或者低落情绪时,本申请可以对目标物体执行互动操作,即陪第二类型的动物玩耍。
在一些实施例中,状态信息和执行的动作可以通过一定的对应关系方式存储于机器人上,状态信息和执行的动作也可以通过一定的对应关系存储于机器人上,所述一定的对应关系可以是一一对应的关系,即目标物体、状态信息以及执行的动作通过一一对应的关系进行存储。例如,目标物体“老人”的状态信息“伤心情绪”对应的执行动作则是“播放预设音频”。作为另一种方式,目标物体、状态信息以及执行的动作之间的关系也可以是多对一的关系,即不同的目标物体可以对应相同的状态信息和执行动作,如“老人”和“小孩”在处于“伤心情绪”时,都可以播放预设音频。目标物体、状态信息以及执行的动作之间的关系具体如何设置这里不进行明确限制可以根据实际情况进行设置。
本申请一个实施例提供的机器人控制方法通过采集目标物体的身份信息,以及根据目标物体的语音信息和图像信息确定目标物体的状态信息,其中,目标物体的身份信息可以包括语音信息和图像信息,而目标物体可以为第一类型的人或者第二类型的动物,同时目标物体的状态信息可以包括目标物体的情绪数据和健康数据的至少一种,最后机器人可以执行与该状态信息匹配的动作。本申请实施例可以通过采集目标物体的身份信息来确定目标物体的状态信息,在此基础上可以执行与状态信息匹配的动作,其在一定程度上可以更加智能化的与目标物体进行交互,进而提高用户的使用体验。
第二实施例
请参阅图3,图3示出了本申请实施例提供的机器人控制方法的流程示意图,该方法应用于机器人,所述机器人可以是虚拟机器人或者实体机器人,本方法可以包括步骤S210至步骤S250。
步骤S210:采集目标物体的身份信息。
步骤S220:根据所述目标物体的语音信息和图像信息确定所述目标物体的状态信息。
作为一种方式步骤S210至步骤S220上述实施例已进行了详细介绍这里就不进行一一赘述。
本申请实施例中,目标物体可以为第一类型的人,机器人根据目标物体的语音信息和图像信息确定目标物体的状态信息后,可以根据所述状态信息中是包含的情绪数据确定所述目标物体的情绪是否为痛苦情绪,如果所述目标物体的情绪是痛苦情绪,则对所述目标物体进行动作识别,得到动作识别结果,即进入步骤S230。具体的,本申请可以先对目标物体的语音信息进行关键字识别,得到关键字识别结果,根据所述关键字识别结果确定目标物体是否处于或者即将处于危险状态,其中,关键字可以是“啊”、“呀”、“救命”或者“好痛”等中的至少一个。得到关键字识别结果以后,本申请可以对目标物体的图像信息进行表情识别,即提取目标物体的脸部信息,并对脸部信息进行表情识别,确定目标物体是否处于痛苦情绪,如果识别结果是痛苦情绪,则对目标物体进行动作识别。
步骤S230:若所述目标物体的情绪为痛苦情绪,则对所述目标物体进行动作识别,得到动作识别结果。
在一些实施方式中,当目标物体为第一类型的人,且该目标物体的情绪处于痛苦情绪时,本申请可以对所述目标物体进行动作识别,即对目标物体进行姿态分析,在此过程中要求图像信息中包含有目标物体的身体部位信息,如果图像信息中未包含有目标物体则,重新采集图像信息,或者也可以获取历史图像信息。获取到目标物体身份部位信息后,可以对所述身体部位信息进行基于骨架的动作识别,得到动作识别结果,所述动作识别结果可以包括跌倒、蹲坐、下跪、捂胸、站立以及行走等。
步骤S240:根据所述动作识别结果,确定所述目标物体当前是否处于待帮助状态。
作为一种方式,获取到目标物体的动作识别结果后,本申请可以根据所述目标物体的动作识别结果确定目标物体是否处于待帮助状态,当目标物体为第一类型的人,所述第一类型的人可以为老人、小孩或者盲人等,当目标物体的情绪为痛苦情绪,动作识别结果是跌倒时,表明目标物体摔倒需要其他人的帮助,此时即可确定目标物体处于待帮助状态,故待帮助状态指的是目标物体生命出现威胁的状态;或者当目标物体的情绪为痛苦情绪,动作识别结果为蹲坐以及捂胸时,表明目标物体可能处于心脏病犯发的过程,此时目标物体则需要及时就医或者及时吃药,故也处于待帮助状态。
步骤S250:如果所述目标物体处于待帮助状态,则执行报警操作,并向指定终端设备发送预设的提示信息。
本申请实施例中,当目标物体为第一类型的人,其当其情绪为痛苦情绪,且处于待帮助状态时可以执行报警操作,并向指定终端设备发送预设的提示信息,其中,指定终端设备可以是与目标物体有亲密关系的人的终端设备。作为一种方式,当确定目标处于待帮助状态时,机器人可以向指定终端设备发送预设的提示信息,并检测在第一时长内是否接收到所述指定终端设备发送的确认信息,如果在第一时长内未接收到所述指定终端发送的确认信息,则确定是否存在候选终端设备,所述候选终端设备与所述机器人连接,一个机器人可以与多个候选终端设备连接。另外,如果在第一时长内未接收到指定终端设备发送的确认信息,则检测在第二时长内是否有用户出现在所述目标物体的活动范围内,如果第一时长内没有用户出现在目标用户的活动范围内,则拨打紧急电话,所述紧急电话可以是120电话,通过拨打该紧急电话告知目标用户的住址。需要说明的是,目标物体的活动范围可以是目标物体所在的房间范围内,也可以是以目标物体为中心的预设距离的范围内。
本申请一个实施例提供的机器人控制方法通过采集目标物体的身份信息,以及根据目标物体的语音信息和图像信息确定目标物体的状态信息,其中,目标物体的身份信息可以包括语音信息和图像信息,而目标物体可以为第一类型的人或者第二类型的动物,同时目标物体的状态信息可以包括目标物体的情绪数据和健康数据的至少一种,最后机器人可以执行与该状态信息匹配的动作。本申请实施例可以通过采集目标物体的身份信息来确定目标物体的状态信息,在此基础上可以执行与状态信息匹配的动作,其在一定程度上可以更加智能化的与目标物体进行交互。另外,机器人在检测到目标物体的情绪为痛苦情绪,且处于待帮助状态时,可以执行报警操作,同时可以向指定终端设备发送预设的提示信息,其可以更加智能化的实现看护功能,当被看护人出现意外情况时可以及时得到救助。
第三实施例
请参阅图4,图4示出了本申请实施例提供的机器人控制方法的流程示意图,该方法应用于机器人,所述机器人可以是虚拟机器人或者实体机器人,本方法可以包括步骤S310至步骤S330。
步骤S310:采集目标物体的身份信息。
步骤S320:根据所述目标物体的语音信息和图像信息确定所述目标物体的状态信息。
步骤S330:若所述目标物体的情绪为伤心情绪,则播放预设音频或者执行跳舞操作。
在一些实施方式中,目标物体可以为第一类型的人,本申请可以根据获取的情绪数据确定目标物体的情绪是否为伤心情绪,如果确定目标物体的情绪是伤心情绪,则播放预设音频或者执行跳舞操作。其中,预设音频可以是预先下载的音频数据,也可以是第一类型的人标记为“喜欢”的音频数据,或者也可以是机器人根据历史数据获取的音频数据。具体的,机器人可以检测历史数据中是否存在播放音频数据的记录,如果存在,则获取音频数据播放记录,并根据所述音频数据播放记录,确定预设音频,即确定音频播放数据中播放频率最多的音频,并将该音频作为设定音频。
在另一些实施方式中,预设音频也可以是第一类型的人预先设定的音频数据,其可以是第一类型的人最喜欢的音乐或者录音等。另外,预设音频也可以是与第一类型的人关系密切的其他用户设定的音频数据,其可以是预先下载的,也可以不是预先下载的,当其不是预先下载的是,可以直接通过有线或者无线网络进行播放。
作为一种方式,当确定目标物体的情绪为伤心情绪时,本申请可以检测是否有预设音频存在,如果有预设音频存在则播放该预设音频,如果没有预设音频存在则通过有线或者无线的方式播放一些轻松的映音乐给第一类型的人。另外,当检测没有预设音频存在时,也可以执行跳舞操作,所述跳舞操作与伤心情绪可以是相互对应的关系,其主要目的是让目标物体的心情愉悦。另外,当检测到目标物体的情绪为伤心情绪时,本申请也可以同时播放预设音频和执行跳舞操作,如此可以使机器人显得更加的智能化。
在一个具体的实施方式中,机器人可以是实体机器人,当其检测到目标物体的情绪是伤心情绪时,期不仅可以唱歌给目标物体听,同时可以执行跳舞操作,如此不仅可以使用户的心情得到改善,而且体验更加真实。
本申请一个实施例提供的机器人控制方法通过采集目标物体的身份信息,以及根据目标物体的语音信息和图像信息确定目标物体的状态信息,其中,目标物体的身份信息可以包括语音信息和图像信息,而目标物体可以为第一类型的人或者第二类型的动物,同时目标物体的状态信息可以包括目标物体的情绪数据和健康数据的至少一种,最后机器人可以执行与该状态信息匹配的动作。本申请实施例可以通过采集目标物体的身份信息来确定目标物体的状态信息,在此基础上可以执行与状态信息匹配的动作,其在一定程度上可以更加智能化的与目标物体进行交互。另外,本申请在确定目标物体处于伤心情绪时,不仅可以为用户播放预设音频,同时可以执行跳舞操作,使得机器人的陪伴更加真实,提高用户的使用体验。
第四实施例
请参阅图5,图5示出了本申请实施例提供的机器人控制方法的流程示意图,该方法应用于机器人,所述机器人可以是虚拟机器人或者实体机器人,本方法可以包括步骤S410至步骤S450。
步骤S410:采集目标物体的身份信息。
步骤S420:根据所述目标物体的语音信息和图像信息确定所述目标物体的状态信息。
步骤S430:若所述目标物体的情绪为伤心情绪,则对所述目标物体的语音信息进行语义分析,得到语义分析结果。
在一些实施方式中,目标物体可以为第一类型的人,其可以是老人、小孩等,当检测到目标物体的情绪为伤心情绪时,本申请可以对目标物体的语音信息进行语义分析,得到语义分析结果。具体的,机器人可以将其采集的语音信息输入至语义分析模型,并利用所述语义分析模型对语音信息进行特征提取以及语义分析等,得到语义分析结果。本申请实施例中,语义分析模型可以存储于服务器上,当机器人确定目标物体的情绪为伤心情绪时,其可以将其采集的语音信息发送至服务器,并指示服务器利用其预先存储的语义分析模型对所述语音信息进行分析,得到语义分析结果,而后机器人可以接收服务器发送的语义分析结果。
作为另一种方式,语义分析模型也可以存储于机器人上,当其确定目标物体处于伤心情绪时,可以利用其预先存储的语义分析模型对所述语音信息进行语义分析,进而得到语义分析结果。利用语义分析模型对语音信息进行分析时可以分为两部分,第一部分是对语音信息进行情绪分析,即判断目标物体的语音是属于低落、高兴还是无聊等;第二部分则是对语音信息所包含的语义进行分析,在此过程中,可以先将所述语音信息转化为文本信息,而后对该文本信息进行语义分析,得到语义分析结果。本申请实施例中,语义分析结果主要指的是目标物体所说语音包含的意思,通过该语义分析结果,机器人可以更好的实现对目标物体的看护。
步骤S440:根据所述语义分析结果确定导致所述目标物体处于伤心情绪的因素是否为思念。
在一些实施方式中,获取到语义分析结果后机器人可以根据该语音分析结果确定目标物体处于伤心情绪的因素是否为思念,如果确定目标物体处于伤心情绪的因素是思念,则获取带播放内容,即进入步骤S450。在一个具体的实施例中,通过表情分析确定用户处于伤心情绪时,可以检测用户是否有语音发出,如果有语音发出,则采集该语音信息,并对语音信息进行语义分析,得到语义分析结果,而后根据该语义分析结果确定所述语音信息是否与思念家人或者朋友有关,如果有关,则获取待播放内容。例如,机器人检测到用户A处于伤心情绪,同时采集到用户A发出了语音信息,此时其可以对该语音信息进行语义分析,得到语义分析结果,通过该语义分析结果知道,用户A发出的语音信息是想念家人,此时机器人就可以获取与该语义分析结果相关的待播放内容,并对其进行播放。
步骤S450:若确认所述伤心情绪为思念,则获取待播放内容,并对所述待播放内容进行播放。
在一些实施方式中,当确认目标物体处于伤心情绪的因素是思念时,机器人可以获取待播放内容,所述待播放内容可以为语音、照片或者视频等。具体的,本申请可以根据语义分析结果获取待播放内容,在此过程中,机器人可以先判断语义分析结果是否涉及第一相关物体,所述第一相关物体与目标物体的关系紧密,其可以是目标物体的精神寄托,同时第一相关物体可以是与目标物体关系密切的人,也可以是与目标物体比较亲近的宠物。如果语义分析结果涉及第一相关物体,则获取包含所述第一相关物体的待播放内容,并对所述待播放内容进行播放。例如,机器人检测到老人A处于伤心情绪,且通过分析其语音信息,确定其处于伤心情绪是因为思念女儿,此时则可以获取与女儿相关的视频,并播放女儿的视频给老人,如此在一定程度上可以缓解老人的伤心情绪。
如图6所示步骤S450可以包括步骤S451至步骤S452。
步骤S451:检测所述机器人上是否存储有指定相册。
作为一种方式,本申请可以检测机器人上是否存储有指定相册,所述指定相册可以是第一类型的人预先存储的特定相册,其对于第一类型的人很重要,即指定相册中存储的照片或者视频里的内容可以缓解目标物体的伤心情绪,主要原因是该指定相册中包含有第一相关物体的照片或者视频,所述第一相关物体与目标物体的关系亲密。如果机器人上存储有指定相册,则将该指定相册中的内容作为待播放内容,即进入步骤S452。如果机器人上未存储有指定相册,则确定与机器人连接的终端设备,并向所述终端设备发送待播放内容的获取指令,即进入步骤S453。
步骤S452:如果所述机器人上存储有指定相册,则将所述指定相册中的内容作为待播放内容。
在另一些实施方式中是,如图7所示步骤S450还可以包括步骤S453至步骤S454。
步骤S453:如果所有机器人上未存储有指定相册,则确定与所述机器人连接的终端设备,并向所述终端设备发送获取待播放内容的获取指令。
通过上述介绍可以知道,机器人可以与多个终端设备连接,本申请实施例中在确定与机器人连接的终端设备时,可以获取每个终端设备与机器人的交互数据,并根据交互数据获取每个终端设备与机器人的交互频次,并将交互频次最多的终端设备作为目标终端设备。当确定机器人上未存储有指定相册时,本申请可以向所述目标终端设备发送获取待播放内容的获取指令,终端设备可以根据该获取指令获取待播放内,并将其获取的待播放内容通过有线或者无线的方式发送至机器人。
步骤S454:根据所述获取指令接收所述终端设备发送的待播放内容。
在一些实施方式中,机器人在接收到终端设备发送的待播放内容时候,可以对其获取的待播放内容进行播放,通过播放该内容可以更好的缓解目标物体的伤心情绪。作为另一种方式如果机器人上未存储有指定相册,机器人也可以获取历史播放记录,并根据所述历史播放记录确定播放频率最高的内容,并将其作为待播放内容,而后对播放频率最高的内容进行播放。
本申请一个实施例提供的机器人控制方法通过采集目标物体的身份信息,以及根据目标物体的语音信息和图像信息确定目标物体的状态信息,其中,目标物体的身份信息可以包括语音信息和图像信息,而目标物体可以为第一类型的人或者第二类型的动物,同时目标物体的状态信息可以包括目标物体的情绪数据和健康数据的至少一种,最后机器人可以执行与该状态信息匹配的动作。本申请实施例可以通过采集目标物体的身份信息来确定目标物体的状态信息,在此基础上可以执行与状态信息匹配的动作,可以更加智能化的与目标物体进行交互。另外,本申请在确定目标物体处于伤心情绪时,可以获取指定相册,并对指定相册中的内容进行播放,其在一定程度上不仅可以缓解用户的伤心情绪,而且可以提高用户使用机器人的体验。
第五实施例
请参阅图8,图8示出了本申请实施例提供的机器人控制方法的流程示意图,该方法应用于机器人,本方法可以包括步骤S510至步骤S540。
步骤S510:采集目标物体的身份信息。
步骤S520:根据所述目标物体的语音信息和图像信息确定所述目标物体的状态信息。
步骤S530:根据所述目标物体的状态信息,确定所述目标物体是否处于饥饿状态。
在一些实施方式中,目标物体可以为第二类型的动物,其目标物体可以是宠物,如猫或者狗等。在采集到目标物体的身份信息时,本申请可以根据该身份信息确定目标物体是否为第二类型的动物,如果目标物体是第二类型的动物,本申请则可以根据第二类型的图像信息和语音信息,确定其是否处于饥饿状态,如果确定第二类型的动物处于饥饿状态,则可以对目标物体执行投喂动作,即进入步骤S540。本申请实施例中,机器人可以为实体机器人,当其检测到第二类型的动物处于饥饿状态时,可以对第二类型的动物进行投喂操作,即为第二类型的动物喂食。
作为一种方式,本申请可以获取第二类型的动物的动作,并确定其与第一预设动作是否匹配,如果匹配则确定第二类型的动物处于饥饿状态。其中,第一预设动作可以是用户预先设置好的宠物处于饥饿状态的常规动作,当第二类型的动物的动作与第一预设动作匹配时,表明其可能处于饥饿状态,此时则可以执行投喂动作。另外,在确定第二类型的动物的动作与第一预设动作匹配时,机器人也可以采集第二类型的动物对应的食盒中是否有食物存在,如果没有食物存在,则表明目标物体处于饥饿状态,如果第二类型的动物的食盒中有食物存在,则表明第二类型的动物未处于饥饿状态,此时则可以不执行投喂操作。
步骤S540:如果所述目标物体处于饥饿状态,则对所述目标物体执行投喂操作。
本申请一个实施例提供的机器人控制方法通过采集目标物体的身份信息,以及根据目标物体的语音信息和图像信息确定目标物体的状态信息,其中,目标物体的身份信息可以包括语音信息和图像信息,而目标物体可以为第一类型的人或者第二类型的动物,同时目标物体的状态信息可以包括目标物体的情绪数据和健康数据的至少一种,最后机器人可以执行与该状态信息匹配的动作。本申请实施例可以通过采集目标物体的身份信息来确定目标物体的状态信息,在此基础上可以执行与状态信息匹配的动作,其在一定程度上可以更加智能化的与目标物体进行交互。另外,本申请实施例中的机器人可以是实体机器人,当其检测到第二类型的动物处于饥饿状态时,可以执行投喂操作,即帮助主人喂养宠物,在一定程度上可以替代主人照顾宠物,提高用户的使用体验。
第六实施例
请参阅图9,图9示出了本申请实施例提供的机器人控制方法的流程示意图,该方法应用于机器人,所述机器人可以是虚拟机器人或者实体机器人,本方法可以包括步骤S610至步骤S640。
步骤S610:采集目标物体的身份信息。
步骤S620:根据所述目标物体的语音信息和图像信息确定所述目标物体的状态信息。
步骤S630:根据所述目标物体的状态信息,确定所述目标物体的情绪是否为低落情绪。
本申请实施方式中,目标物体可以为第二类型的动物,机器人根据目标物体的语音信息和图像信息获取到目标物体的状态信息后,其可以根据该状态信息,确定目标物体的情绪是否为低落情绪。具体的,机器人可以根据状态信息中的情绪数据确定目标物体是否处于低落情绪,如果确定目标物体处于低落情绪,则对目标物体执行互动操作,即进入步骤S640。当第二类型的动物发出呜咽声,或者其动作与第二预设动作匹配时,或者其表情与预设的低落表情匹配时,表明第二类型的动物处于低落情绪,如果第二类型的动物情绪长时间处于低落情绪会对其身体有一定的影响,且如果主人长时间不能看护所述目标物体,可能会造成更为恶劣的后果。因此,为了避免这种情况发生,当机器人检测到第二类型的动物处于低落情绪时,其可以对目标物体执行互动操作,即逗弄第二类型的动物,使其低落情绪能够得到缓解。
作为另一种方式,在确定第二类型的动物的情绪处于低落情绪时,本申请也可以为所述目标物体播放其主人的语音或者视频,使得目标物体的低落情绪可以得到缓解,同时机器人也可以模仿第二类型的动物的主人的语音逗弄目标物体,或者与目标物体对话,或者也可以为目标物体唱歌等。
步骤S640:如果所述目标物体的情绪为低落情绪,则对所述目标物体执行互动操作。
本申请实施例中,当确定目标物体的情绪为低落情绪时,本申请可以对目标物体执行互动操作,所述互动操作可以是逗弄所述第二类型的动物。具体的,首先确定第二类型的动物的类别,并根据不同的动物类别选择不同的逗弄方式,如当确定第二类型的动物的类别是狗狗时,机器人可以投球让狗狗去捡回来;当确定第二类型的动物的类别是猫咪时,则可以利用羽毛逗猫咪等。
作为另一种方式,如图10所示本方法还可以包括步骤S650至步骤S660。
步骤S650:经过预设时长后再次获取所述目标物体的状态信息,并根据再次获取的所述目标物体的状态信息确定所述目标物体的情绪是否为低落情绪。
作为一种方式,在对目标物体执行逗弄操作后,机器人可以实时监测第二类型的动物的情绪,并在逗弄预设时长后再次获取目标物体的状态信息,以及根据获取的状态信息确定目标的情绪是否仍然未低落情绪,如果目标物体的情绪仍为低落情绪,则向指定终端设备发送预设的提示信息,即进入步骤S660。如果目标物体的情绪不是低落情绪,则表明其低落情绪得到了缓解,可以继续对目标物体执行互动操作。
步骤S660:如果所述目标物体的情绪仍为低落情绪,则向指定终端设备发送预设的提示信息。
作为一种方式,指定终端设备指的是第二类型的动物的主人的终端设备,其可以是手机或者平板电脑等,所述预设的提示信息用于提示动物的主人目标物长时间处于低落情绪,请及时回家。例如,机器人确认小猫A连续两个小时都处于低落情绪,则机器人可以向它主人的手机发送“小猫A长时间处于低落情绪,且经过逗弄仍未改善,请知晓!”。另外,在向指定终端设备发送预设提示信息后,机器人可以检测是否接收到指定终端设备发送的来电信息,如果接收到则播放该来电信息,通过该来电信息,主人和目标物体可以更加直接的进行交流,并且主人也可以更清楚的知晓宠物的实际情况。其中,来电信息可以是电话请求,也可以是视频请求等。
本申请一个实施例提供的机器人控制方法通过采集目标物体的身份信息,以及根据目标物体的语音信息和图像信息确定目标物体的状态信息,其中,目标物体的身份信息可以包括语音信息和图像信息,而目标物体可以为第一类型的人或者第二类型的动物,同时目标物体的状态信息可以包括目标物体的情绪数据和健康数据的至少一种,最后机器人可以执行与该状态信息匹配的动作。本申请实施例可以通过采集目标物体的身份信息来确定目标物体的状态信息,在此基础上可以执行与状态信息匹配的动作,其在一定程度上可以更加智能化的与目标物体进行交互。另外,本申请在确定目标物体为第二类型的动物,且其处于低落情绪时,机器人可以与第二类型的动物进行互动,通过不同的逗弄方式可以使第二类型动物的低落情绪得到很好的缓解。
第七实施例
请参阅图11,图11示出了本申请实施例提供的机器人控制方法的流程示意图,该方法应用于机器人,所述机器人可以是虚拟机器人或者实体机器人,本方法可以包括步骤S710至步骤S750。
步骤S710:采集目标物体的身份信息。
步骤S720:根据所述目标物体的语音信息和图像信息确定所述目标物体的状态信息。
本申请实施例中,目标物体可以包括第一目标子物体和第二目标子物体,所述第一目标子物体和所述第二目标子物体可以是属于不同类型的目标,即第一目标子物体可以为第一类型的人,第二目标子物体则可以是第二类型的动物。作为一个具体的示例,第一类型的人可以是小孩,第二类型的动物可以是宠物狗、宠物猫等。
步骤S730:根据所述第二目标子物体的状态信息,确定所述第二目标子物体的情绪是否为愤怒情绪。
在一些实施方式中,第二目标子物体可以为第二类型的动物,机器人可以根据第二目标子物体的状态信息,确定所述目标子物体是否处于愤怒情绪,当检测到第二目标子物体的情绪处于愤怒情绪,则获取第二目标子物体与第一目标子物体之间的距离,并判断其获取的距离是否小于预设距离,即进入步骤S740。本申请可以通过对第二目标子物体的语音信息进行分析,判断所述语音信息是否与指定语音信息匹配,如果第二目标子物体的语音信息与指定语音信息匹配,则表明第二目标子物体的情绪处于愤怒情绪,其中,指定语音信息可以是第二目标子物体在愤怒时发出的常规语音。作为另一种方式,在确定第二目标子物体的语音信息与指定语音信息匹配时,本申请也可以获取第二目标子物体的图像信息,并根据该图像信息对第二目标子物体的表情和姿态进行分析,并将其获取的表情和姿态与预设的表情和姿态进行比较,当二者均符合预设条件时,确定第二目标子物体的情绪为愤怒情绪。
步骤S740:如果所述第二目标子物体的情绪为愤怒情绪,则检测所述第二目标子物体与所述第一目标子物体之间的距离是否小于预设距离。
本申请实施例中,第一目标子物体为岁数低于预设年龄的第一类型的人,即第一目标子物体是没有自卫能力的小孩,当其与第二目标子物体处于同一环境下时,在没有大人看护的情况下很容易受到第二目标子物体的伤害,尤其是在第二目标子物体的情绪处于愤怒情绪时,更容易伤害第一目标子物体。因此,当第二目标子物体的情绪为愤怒情绪时,本申请可以实时检测第一目标子物体与第二目标子物体之间的距离是否小于预设距离,如果小于预设距离,机器人则阻挡第二目标子物体继续靠近第一目标子物体,即进入步骤是750。
步骤S750:如果所述第二目标子物体与所述第一目标子物体之间的距离小于预设距离,则阻挡所述第二目标子物体继续靠近所述第一目标子物体。
作为一种方式,阻挡第二目标子物体继续靠近第一目标子物体可以包括:发出声光警告或者执行移动操作,其中,移动操作用于将机器人移动至第一目标子物体与第二目标子物体之间。作为另一种方式,如果第二目标子物体与第一目标子物体的距离大于或者等于预设距离,本申请可以对所述第二目标子物体执行互动操作,即通过互动操作缓解第二目标子物体的愤怒情绪,以降低其对第一目标子物体的伤害风险。本申请实施例中机器人可以为实体机器人,故当其检测到第一子目标物体与第二子目标物体之间的直线距离小于预设距离时可以执行移动操作,即将其自身移动至第一目标子物体与第二目标子物体之间,以阻止第二目标子物体伤害第一目标子物体。
需要说明的是,本申请实施例中,第一目标子物体可以是第一类型的人,第二目标子物体可以是第二类型的动物,所述第一目标子物体可以是小孩,第二目标子物体可以是宠物;第一目标子物体可以是第一类型的人,第二目标子物体可以是第二类型的人,所述第一类型的人可以是小孩,所述第二类型的人可以是老人或者盲人等,第一目标子物体和第二目标子物体具体指的是哪个这里不进行明确限制,可以根据实际情况进行选择。
本申请一个实施例提供的机器人控制方法通过采集目标物体的身份信息,以及根据目标物体的语音信息和图像信息确定目标物体的状态信息,其中,目标物体的身份信息可以包括语音信息和图像信息,而目标物体可以为第一类型的人或者第二类型的动物,同时目标物体的状态信息可以包括目标物体的情绪数据和健康数据的至少一种,最后机器人可以执行与该状态信息匹配的动作。本申请实施例可以通过采集目标物体的身份信息来确定目标物体的状态信息,在此基础上可以执行与状态信息匹配的动作。另外,本申请在目标物体包括第一目标子物体和第二目标子物体时,可以同时对第一目标子物体和第二目标子物体进行看护,在第二目标子物体威胁到第一目标子物体时可以保护第一目标子物体,更加符合用户的实际需求。
第八实施例
请参阅图12,图12示出了本申请实施例提供的机器人控制方法的流程示意图,该方法应用于服务器,本方法可以包括步骤S810至步骤S830。
步骤S810:接收机器人发送的目标物体的身份信息。
本申请实施例中,目标物体的身份信息可以包括语音信息和图像信息,所述目标物体为第一类型的人或者第二类型的动物。
步骤S820:根据所述目标物体的语音信息和图像信息确定所述目标物体的状态信息。
在一些实施方式中,目标物体的状态信息包括所述目标物体的情绪数据和健康数据的至少一种。
步骤S830:将所述目标物体的状态信息发送至机器人,并指示所述机器人执行与所述状态信息匹配的动作。
本申请一个实施例提供的机器人控制方法服务器通过接收机器人发送的目标物体的身份信息,以及根据目标物体的语音信息和图像信息确定目标物体的状态信息,其中,目标物体的身份信息可以包括语音信息和图像信息,而目标物体可以为第一类型的人或者第二类型的动物,同时目标物体的状态信息可以包括目标物体的情绪数据和健康数据的至少一种,最后服务器可以将目标物体的状态信息发送至机器人,并指示机器人执行与状态信息匹配的动作。本申请实施例利用服务器获取目标物体的状态信息和语音信息在一定程度上可以加快机器人与用户交互的反应速度,提高用户的使用体验。
第九实施例
请参阅图13,图13示出了本申请实施例提供的机器人控制装置的模块框图。下面将针对图13所示的模块框图进行阐述,该机器人控制装置900包括:信息采集模块910、信息获取模块920以及动作执行模块930。
信息采集模块910,用于采集目标物体的身份信息,所述身份信息包括语音信息和图像信息,所述目标物体为第一类型的人或者第二类型的动物。
信息获取模块920,用于根据所述目标物体的语音信息和图像信息确定所述目标物体的状态信息,所述目标物体的状态信息包括目标物体的情绪数据和健康数据的至少一种。
动作执行模块930,用于根据所述状态信息控制所述机器人执行与所述状态信息匹配的动作。
可选的,动作执行模块930还用于若目标物体的情绪为痛苦情绪,则对目标物体进行动作识别,得到动作识别结果,根据动作识别结果,确定目标物体当前是否处于待帮助状态,如果目标物体处于待帮助状态,则执行报警操作,并向指定终端设备发送预设的提示信息。
可选的,动作执行模块930还用于若目标物体的情绪为伤心情绪,则播放预设音频或者执行跳舞操作。
可选的,动作执行模块930还用于若目标物体的情绪为伤心情绪,则对目标物体的语音信息进行语义分析,得到语义分析结果;根据语义分析结果确定导致目标物体处于伤心情绪的因素是否为思念;若确认伤心情绪为思念,则获取待播放内容,并对待播放内容进行播放。
可选的,动作执行模块930还用于检测机器人上是否存储有指定相册;如果机器人上存储有指定相册,则将指定相册中的内容作为待播放内容。如果所有机器人上未存储有指定相册,则确定与机器人连接的终端设备,并向终端设备发送获取待播放内容的获取指令,根据获取指令接收终端设备发送的待播放内容。
可选的,动作执行模块930还用于根据目标物体的状态信息,确定目标物体是否处于饥饿状态,如果目标物体处于饥饿状态,则对目标物体执行投喂操作。
可选的,动作执行模块930还用于根据目标物体的状态信息,确定目标物体的情绪是否为低落情绪,如果目标物体的情绪为低落情绪,则对目标物体执行互动操作。
可选的,动作执行模块930还用于经过预设时长后再次获取目标物体的状态信息,并根据再次获取的目标物体的状态信息确定目标物体的情绪是否为低落情绪,如果目标物体的情绪仍为低落情绪,则向指定终端设备发送预设的提示信息。
可选的,动作执行模块930还用于根据第二目标子物体的状态信息,确定第二目标子物体的情绪是否为愤怒情绪,第二目标子物体为第二类型的动物,如果第二目标子物体的情绪为愤怒情绪,则检测第二目标子物体与第一目标子物体之间的距离是否小于预设距离,第一目标子物体为岁数低于预设年龄的第一类型的人,如果第二目标子物体与第一目标子物体之间的距离小于预设距离,则阻挡第二目标子物体继续靠近第一目标子物体。
可选的,动作执行模块930还用于阻挡第二目标子物体继续靠近第一目标子物体,包括:发出声光警告或者执行移动操作,移动操作用于将机器人移动至第一目标子物体与第二目标子物体之间。
可选的,机器人控制装置900还用于如果第二目标子物体与第一目标子物体的距离大于或者等于预设距离,则对第二目标子物体执行互动操作。
本申请实施例提供的机器人控制装置900用于实现前述方法实施例中相应的机器人控制方法,并具有相应的方法实施例的有益效果,在此不再赘述。
所属领域的技术人员可以清楚地了解到,本申请实施例提供的机器人控制装置900能够实现前述方法实施例中的各个过程,为描述的方便和简洁,上述描述装置900和模块的具体工作过程,可以参阅前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置900或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
第十实施例
请参阅图14,其示出了本申请实施例提供的一种电子设备1000的结构框图。该电子设备1000可以是智能手机、平板电脑等能够运行应用程序的电子设备。本申请中的电子设备1000可以包括一个或多个如下部件:处理器1010、存储器1020以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器1020中并被配置为由一个或多个处理器1010执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器1010可以包括一个或者多个处理核。处理器1010利用各种接口和线路连接整个电子设备1000内的各个部分,通过运行或执行存储在存储器1020内的指令、程序、代码集或指令集,以及调用存储在存储器1020内的数据,执行电子设备1000的各种功能和处理数据。可选地,处理器1010可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1010可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1010中,单独通过一块通信芯片进行实现。
存储器1020可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器1020可用于存储指令、程序、代码、代码集或指令集。存储器1020可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备1000在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
第十一实施例
请参阅图15,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质1100中存储有程序代码,程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质1100可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质1100包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1100具有执行上述方法中的任何方法步骤的程序代码1110的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1110可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种机器人控制方法,其特征在于,应用于机器人,所述方法包括:
采集目标物体的身份信息,所述身份信息包括语音信息和图像信息,所述目标物体为第二类型的动物;
根据所述目标物体的语音信息和图像信息确定所述目标物体的状态信息,所述目标物体的状态信息包括所述目标物体的情绪数据和健康数据的至少一种;
执行与所述状态信息匹配的动作,所述执行与所述状态信息匹配的动作,包括:根据所述目标物体的状态信息,确定所述目标物体的情绪是否为低落情绪;如果所述目标物体的情绪为低落情绪,则确定所述第二类型的动物的类别,并获取该类别对应的互动方式,基于所述互动方式对所述目标物体执行互动操作。
2.根据权利要求1所述的方法,其特征在于,所述执行与所述状态信息匹配的动作,包括:
根据所述目标物体的状态信息,确定所述目标物体是否处于饥饿状态;
如果所述目标物体处于饥饿状态,则对所述目标物体执行投喂操作。
3.根据权利要求1所述的方法,其特征在于,所述对所述目标物体执行互动操作之后,包括:
经过预设时长后再次获取所述目标物体的状态信息,并根据再次获取的所述目标物体的状态信息确定所述目标物体的情绪是否为低落情绪;
如果所述目标物体的情绪仍为低落情绪,则向指定终端设备发送预设的提示信息。
4.一种机器人控制方法,其特征在于,应用于机器人,所述方法包括:
采集目标物体的身份信息,所述身份信息包括语音信息和图像信息,所述目标物体包括第一目标子物体和第二目标子物体;
根据所述目标物体的语音信息和图像信息确定所述目标物体的状态信息,所述目标物体的状态信息包括所述目标物体的情绪数据和健康数据的至少一种;
根据所述第二目标子物体的状态信息,确定所述第二目标子物体的情绪是否为愤怒情绪,所述第二目标子物体为第二类型的动物;
如果所述第二目标子物体的情绪为愤怒情绪,则检测所述第二目标子物体与所述第一目标子物体之间的距离是否小于预设距离,所述第一目标子物体为岁数低于预设年龄的第一类型的人;
如果所述第二目标子物体与所述第一目标子物体之间的距离小于预设距离,则阻挡所述第二目标子物体继续靠近所述第一目标子物体。
5.根据权利要求4所述的方法,其特征在于,所述阻挡所述第二目标子物体继续靠近所述第一目标子物体,包括:
发出声光警告或者执行移动操作,所述移动操作用于将所述机器人移动至所述第一目标子物体与第二目标子物体之间。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
如果所述第二目标子物体与所述第一目标子物体的距离大于或者等于预设距离,则对所述第二目标子物体执行互动操作。
7.一种机器人控制方法,应用于服务器,所述方法包括:
接收机器人发送的目标物体的身份信息,所述身份信息包括语音信息和图像信息,所述目标物体为第二类型的动物;
根据所述目标物体的语音信息和图像信息确定所述目标物体的状态信息,所述目标物体的状态信息包括目标物体的情绪数据和健康数据的至少一种;
将所述目标物体的状态信息发送至机器人,并指示所述机器人执行与所述状态信息匹配的动作,所述执行与所述状态信息匹配的动作,包括:根据所述目标物体的状态信息,确定所述目标物体的情绪是否为低落情绪;如果所述目标物体的情绪为低落情绪,则确定所述第二类型的动物的类别,并获取该类别对应的互动方式,基于所述互动方式对所述目标物体执行互动操作。
8.一种机器人控制装置,其特征在于,所述装置包括:
信息采集模块,用于采集目标物体的身份信息,所述身份信息包括语音信息和图像信息,所述目标物体为第二类型的动物;
信息获取模块,用于根据所述目标物体的语音信息和图像信息确定所述目标物体的状态信息,所述目标物体的状态信息包括目标物体的情绪数据和健康数据的至少一种;
动作执行模块,用于根据所述状态信息控制所述机器人执行与所述状态信息匹配的动作,所述执行与所述状态信息匹配的动作,包括:根据所述目标物体的状态信息,确定所述目标物体的情绪是否为低落情绪;如果所述目标物体的情绪为低落情绪,则确定所述第二类型的动物的类别,并获取该类别对应的互动方式,基于所述互动方式对所述目标物体执行互动操作。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1-6中任意一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-6中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010763023.3A CN111975772B (zh) | 2020-07-31 | 2020-07-31 | 机器人控制方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010763023.3A CN111975772B (zh) | 2020-07-31 | 2020-07-31 | 机器人控制方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111975772A CN111975772A (zh) | 2020-11-24 |
CN111975772B true CN111975772B (zh) | 2021-11-16 |
Family
ID=73445534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010763023.3A Active CN111975772B (zh) | 2020-07-31 | 2020-07-31 | 机器人控制方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111975772B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113077605B (zh) * | 2021-02-23 | 2024-05-10 | 邹吉涛 | 云存储式间距预警平台及方法 |
CN113580166B (zh) * | 2021-08-20 | 2023-11-28 | 安徽淘云科技股份有限公司 | 一种拟人化机器人的交互方法、装置、设备及存储介质 |
CN113762184A (zh) * | 2021-09-13 | 2021-12-07 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
CN113679302B (zh) * | 2021-09-16 | 2023-03-10 | 安徽淘云科技股份有限公司 | 一种基于扫地机器人的监测方法、装置、设备及存储介质 |
CN114167861A (zh) * | 2021-11-29 | 2022-03-11 | 珠海一微半导体股份有限公司 | 一种宠物机器人控制方法、系统及芯片 |
CN114488879B (zh) * | 2021-12-30 | 2024-05-31 | 深圳鹏行智能研究有限公司 | 一种机器人控制方法以及机器人 |
CN115268281A (zh) * | 2022-06-27 | 2022-11-01 | 青岛海尔科技有限公司 | 控制指令的发送方法、装置、存储介质及电子装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI342746B (en) * | 2008-12-24 | 2011-06-01 | Ind Tech Res Inst | Method and system for vocal recognition and interaction with pets |
CN106850824A (zh) * | 2017-02-22 | 2017-06-13 | 北京爱惠家网络有限公司 | 一种智能服务系统以及实现方法 |
CN107053175A (zh) * | 2017-04-01 | 2017-08-18 | 南京阿凡达机器人科技有限公司 | 一种基于儿童服务机器人的健康管理平台及管理方法 |
CN107243905A (zh) * | 2017-06-28 | 2017-10-13 | 重庆柚瓣科技有限公司 | 基于养老机器人的情绪自适应系统 |
CN109318236A (zh) * | 2017-08-01 | 2019-02-12 | 安康市汉滨区易智网络科技有限公司 | 老人伴护智能系统 |
CN109389005A (zh) * | 2017-08-05 | 2019-02-26 | 富泰华工业(深圳)有限公司 | 智能机器人及人机交互方法 |
CN210275653U (zh) * | 2019-07-27 | 2020-04-10 | 贵州工程应用技术学院 | 一种智能防犬袭击系统 |
CN111179965A (zh) * | 2020-03-20 | 2020-05-19 | 万不知 | 一种宠物情绪识别方法及系统 |
-
2020
- 2020-07-31 CN CN202010763023.3A patent/CN111975772B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111975772A (zh) | 2020-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111975772B (zh) | 机器人控制方法、装置、电子设备及存储介质 | |
Ranasinghe et al. | A review on applications of activity recognition systems with regard to performance and evaluation | |
JP2021525421A (ja) | 観察可能な健康状態の兆候のためのロボット対話 | |
WO2020253162A1 (zh) | 机器人及其控制方法、智能家居控制系统 | |
KR102185469B1 (ko) | 인공지능을 이용한 반려동물 감성봇 장치 및 이를 이용한 교감 방법 | |
CN107116563A (zh) | 宠物型机器人及机器人控制系统 | |
KR20200024675A (ko) | 휴먼 행동 인식 장치 및 방법 | |
EP4340341A2 (en) | Electronic device and method for delivering message by same | |
CN114283494A (zh) | 一种用户跌倒预警方法、装置、设备和存储介质 | |
WO2020116233A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN111476114A (zh) | 疲劳检测方法、装置、终端设备及存储介质 | |
CN110730330B (zh) | 声音处理方法与装置、门铃和计算机可读存储介质 | |
KR20230154380A (ko) | 행동 및 발화 패턴 기반 감성 인식 결과에 의해 사용자의 감성 상태에 적합한 헬스케어 서비스를 제공하는 시스템 및 방법 | |
WO2018061346A1 (ja) | 情報処理装置 | |
EP3992987A1 (en) | System and method for continously sharing behavioral states of a creature | |
WO2021085175A1 (ja) | 自律移動体、情報処理方法、プログラム、及び、情報処理装置 | |
WO2022011509A1 (zh) | 监管饮食行为的方法和装置 | |
US11257246B2 (en) | Image detection method and image detection device for selecting representative image of user | |
US11087157B2 (en) | Image detection method and image detection device utilizing dual analysis | |
CN205334503U (zh) | 具有人脸识别功能的机器人 | |
KR20210058396A (ko) | 전자 장치 및 그 제어 방법 | |
CN113971869A (zh) | 一种老人居家安全监测方法及装置 | |
KR102668931B1 (ko) | 맞춤형 서비스 제공 장치 및 방법 | |
CN110427155B (zh) | 一种看护方法及装置 | |
CN212933334U (zh) | 机器人看护系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |