CN108320021A - 机器人动作与表情确定方法、展示合成方法、装置 - Google Patents
机器人动作与表情确定方法、展示合成方法、装置 Download PDFInfo
- Publication number
- CN108320021A CN108320021A CN201810064526.4A CN201810064526A CN108320021A CN 108320021 A CN108320021 A CN 108320021A CN 201810064526 A CN201810064526 A CN 201810064526A CN 108320021 A CN108320021 A CN 108320021A
- Authority
- CN
- China
- Prior art keywords
- action
- expression
- feelings
- sublist
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Toys (AREA)
Abstract
本发明提供一种机器人动作与表情确定方法、展示合成方法、装置,展示合成方法,包括:确定与动作和表情对应的参数集;根据参数集,从动作库中匹配出与动作对应的子动作序列集,以及从表情库中匹配出与表情对应的子表情序列集;将子动作序列集和子表情序列集,按照预设效果进行合成,以实现对表情和动作进行展示。本发明提供的机器人动作与表情确定方法、展示合成方法、装置,根据当前的场景图片信息、机器人状态信息以及用户信息输入,确定当前场景、机器人自主状态、对话状态以及用户信息,并继而确定机器人的动作与表情,且在确定表情与动作后,继续对动作与表情进行展示合成,以实现机器人表情与动作的多样化展示,增加人机交互趣味性。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种机器人动作与表情确定方法、展示合成方法、装置。
背景技术
虽然工业界用于工业4.0的智能机器人大多具有可移动与可操作的实体,但是用于家庭服务及娱乐的机器人很多可以不具有实际的形体,如依托于苹果手机为用户提供个人助理服务的Siri、依托于微信与用户进行闲聊的微软小冰。无论是有实体的还是没有实体的机器人,为了与用户进行更好的互动,其需要根据聊天的场景、用户的期望等展示相应的表情、动作,以提高用户体验。
然而,现有的机器人(例如,教育机器人),所能展示的表情至多只包含眼睛的形状,如:圆形、心形、横线性。而大多的机器人(例如,家庭服务机器人),只可以进行相应的服务(例如,扫地),与用户交互的并不是通过表情,而是通过传统的显示屏显示文字的方式进行交互。
综上,现有的机器人特别是消费级机器人的表情、动作都较为机械化,用户体验有待提高。
发明内容
本发明要解决的技术问题是提供一种机器人动作与表情确定方法、展示合成方法、装置,根据当前的场景图片信息、机器人状态信息以及用户信息输入,确定当前场景、机器人自主状态、对话状态以及用户信息,并继而确定机器人的动作与表情,且在确定表情与动作后,继续对动作与表情进行展示合成,以实现机器人表情与动作的多样化展示,增加人机交互趣味性。
为解决上述技术问题,本发明提供的技术方案是:
第一方面,本发明提供一种机器人动作与表情确定方法,包括:
获取当前的场景图片信息、机器人状态信息、用户信息输入;
根据当前的场景图片信息、机器人状态信息、用户信息输入,确定当前交互情境对应的当前场景、机器人自主状态、对话状态、用户信息;
根据当前场景、机器人自主状态、对话状态、用户信息,确定机器人的动作和表情。
进一步地,对话状态包括:对话目的、对话轮数、对话时长、对话信息补充;
用户信息包括:用户ID、用户当前情绪、用户图谱;
机器人自主状态包括:剩余电量、开机时长、使用时长、GPS位置、电池温度、充电状态、环境温湿度;
当前场景包括:第一粒度场景、第二粒度场景。
进一步地,根据当前的场景图片信息、机器人状态信息、用户信息输入,确定当前交互情境对应的当前场景、机器人自主状态、对话状态、用户信息,包括:
根据场景图片信息识别当前场景,和/或,根据用户信息输入确定当前场景;
根据机器人状态信息确定机器人自主状态。
根据用户信息输入确定对话状态;
根据用户信息输入确定用户信息。
第二方面,本发明提供一种机器人动作与表情确定装置,包括:
信息获取单元,用于获取当前的场景图片信息、机器人状态信息、用户信息输入;
第一确定单元,用于根据当前的场景图片信息、机器人状态信息、用户信息输入,确定当前交互情境对应的当前场景、机器人自主状态、对话状态、用户信息;
第二确定单元,用于根据当前场景、机器人自主状态、对话状态、用户信息,确定机器人的动作和表情。
第三方面,本发明提供一种机器人动作与表情的展示合成方法,对采用第一方面提供的方法确定的动作与表情进行展示合成,包括:
确定与动作和表情对应的参数集;
根据参数集,从动作库中匹配出与动作对应的子动作序列集,以及从表情库中匹配出与表情对应的子表情序列集;
将子动作序列集和子表情序列集,按照预设效果进行合成,以实现对表情和动作进行展示。
进一步地,参数集包括:动作ID、动作类型、动作时长、场景标签、表情ID、表情类型、表情时长。
进一步地,根据参数集,从动作库中匹配出与动作对应的子动作序列集,以及从表情库中匹配出与表情对应的子表情序列集,包括:
将参数集输入预先构建的神经网络模型,以从动作库中匹配出与动作对应的子动作序列集,以及从表情库中匹配出与表情对应的子表情序列集。
进一步地,根据参数集,从动作库中匹配出与动作对应的子动作序列集,以及从表情库中匹配出与表情对应的子表情序列集,还包括:
确定与动作对应的所有子动作的类别,以及确定所有子动作的动作执行顺序;针对每个类别的子动作,将参数集代入预先构建的算数拼接模型,以采用算术拼接算法从动作库中匹配出与参数集适配的子动作;将所有与参数集适配的子动作按照动作执行顺序合成与动作对应的子动作序列集;
确定与表情对应的所有子表情的类别,以及确定所有子表情的表情执行顺序;针对每个类别的子表情,将参数集代入预先构建的算数拼接模型,以采用算术拼接算法从表情库中匹配出与参数集适配的子表情;将所有与参数集适配的子表情按照表情执行顺序合成与表情对应的子表情序列集。
进一步地,算术拼接算法为,针对每个类别的子动作,获取动作库中的同一类别的所有子动作,并将所获取的所有子动作按动作长度由大到小排序;
将展示时长与动作长度按顺序进行比较,将首个动作长度小于展示时长的子动作确定为与参数集适配的子动作。
第四方面,本发明提供一种机器人动作与表情的展示合成装置,对采用第一方面提供的方法确定的动作与表情进行展示合成,包括:
参数确定单元,用于确定与动作和表情对应的参数集;
子动作确定单元,用于根据参数集,从动作库中匹配出与动作对应的子动作序列集,以及从表情库中匹配出与表情对应的子表情序列集;
动作合成单元,用于将子动作序列集和子表情序列集,按照预设效果进行合成,以实现对表情和动作进行展示。
本发明提供的机器人动作与表情确定方法、展示合成方法、装置,根据当前的场景图片信息、机器人状态信息以及用户信息输入,确定当前场景、机器人自主状态、对话状态以及用户信息,并继而确定机器人的动作与表情,且在确定表情与动作后,继续对动作与表情进行展示合成,以实现机器人表情与动作的多样化展示,增加人机交互趣味性。
附图说明
图1是本发明实施例提供的机器人动作与表情确定方法的流程图;
图2是本发明实施例提供的机器人动作与表情确定装置的框图;
图3是本发明实施例提供的机器人动作与表情的展示合成方法的流程图;
图4是本发明实施例提供的机器人动作与表情的展示合成装置的框图。
具体实施方式
下面通过具体的实施例进一步说明本发明,但是,应当理解为,这些实施例仅仅是用于更详细具体地说明之用,而不应理解为用于以任何形式限制本发明。
实施例一
结合图1,本实施例提供的机器人动作与表情确定方法,包括:
步骤S1,获取当前的场景图片信息、机器人状态信息、用户信息输入;
步骤S2,根据当前的场景图片信息、机器人状态信息、用户信息输入,确定当前交互情境对应的当前场景、机器人自主状态、对话状态、用户信息;
步骤S3,根据当前场景、机器人自主状态、对话状态、用户信息,确定机器人的动作和表情。
本发明提供的机器人动作与表情确定方法,根据当前的场景图片信息、机器人状态信息以及用户信息输入,确定当前场景、机器人自主状态、对话状态以及用户信息,并继而确定机器人的动作与表情,且在确定表情与动作后,继续对动作与表情进行展示合成,以实现机器人表情与动作的多样化展示,增加人机交互趣味性。
本实施例中,具体地,对话状态包括:对话目的、对话轮数、对话时长、对话信息补充;
用户信息包括:用户ID、用户当前情绪、用户图谱;
机器人自主状态包括:剩余电量、开机时长、使用时长、GPS位置、电池温度、充电状态、环境温湿度;
当前场景包括:第一粒度场景、第二粒度场景。
进一步具体地,步骤S2,包括:
根据场景图片信息识别当前场景,和/或,根据用户信息输入确定当前场景;
根据机器人状态信息确定机器人自主状态。
根据用户信息输入确定对话状态;
根据用户信息输入确定用户信息。
本实施例中,服务器会收到机器端发来的当前场景的图片、当前机器的状态、用户输入的语句。服务器通过分析用户输入的语句可以不断地更新当前用户与机器的对话状态和用户的信息,用户与机器的对话状态包括:对话目的、对话轮数、对话时长、对话信息补充情况等;用户信息包括:用户ID、用户当前情绪、用户图谱等。同时,通过机器人的自检和服务器对机器人使用情况的跟踪,服务器可以获得实时的机器自主状态,机器自主状态包括:剩余电量、开机时长、使用时长、GPS位置、电池温度、充电状态、环境温湿度等。当前场景由服务器根据分析收到的机器端传来的当前场景图片得到,当图片传输异常时,服务器通过分析用户输入的语句估计对话场景。
确认表情、动作时,当前场景、对话状态、自主状态和用户信息作为四个具体的维度。当前场景在第一粒度分为室内和室外,在第二粒度可以进行细分,如室内场景可以分为卧室、餐室、客厅等,室外场景可以分为体育场、车内、公园等,第二粒度的场景可以按照需求确定。用于确定机器人动作的幅度,在室外场景基于维护公共秩序的原因机器人的动作幅度将会相应降低(包括肢体伸展的大小和声音的响度)。自主状态对表情、动作的展示起辅助作用,在机器剩余电量、电池温度、环境温湿度异常的情况下,展示可能被打断且服务器选择预定的表情、动作。对话状态对表情、动作的确定起主导作用,尤其是其中的对话目的,例如,当用户的目的是听音乐,那么展示的应该是音乐对应的舞蹈动作;而当目的是聊天,则展示的应该是聊天对应的动作;当目的是训练,则展示训练对应的动作。用户信息用于参考具体指定展示的具体动作,例如,具体是哪一首歌曲、根据用户当前情绪确认展示的具体是哪一类别的聊天动作和表情。
需要说明的是,上述任一一个维度都可以缺省,缺省状态下,该维度的参考信息忽略,相关的待确认内容由默认设置确定(例如,机器人的动作幅度不受场景影响,此外,当机器人为虚拟机器人时,当前场景可以缺省)。此外,某个维度的值缺省,就相当于在该种情况下这个维度不存在或者维度存在但是对应的值为null。
实施例二
结合图2,本实施例提供一种机器人动作与表情确定装置,包括:
信息获取单元1,用于获取当前的场景图片信息、机器人状态信息、用户信息输入;
第一确定单元2,用于根据当前的场景图片信息、机器人状态信息、用户信息输入,确定当前交互情境对应的当前场景、机器人自主状态、对话状态、用户信息;
第二确定单元3,用于根据当前场景、机器人自主状态、对话状态、用户信息,确定机器人的动作和表情。
本发明提供的机器人动作与表情确定装置,根据当前的场景图片信息、机器人状态信息以及用户信息输入,确定当前场景、机器人自主状态、对话状态以及用户信息,并继而确定机器人的动作与表情,且在确定表情与动作后,继续对动作与表情进行展示合成,以实现机器人表情与动作的多样化展示,增加人机交互趣味性。
本实施例中,具体地,对话状态包括:对话目的、对话轮数、对话时长、对话信息补充;
用户信息包括:用户ID、用户当前情绪、用户图谱;
机器人自主状态包括:剩余电量、开机时长、使用时长、GPS位置、电池温度、充电状态、环境温湿度;
当前场景包括:第一粒度场景、第二粒度场景。
进一步具体地,第一确定单元2,具体用于:
根据场景图片信息识别当前场景,和/或,根据用户信息输入确定当前场景;
根据机器人状态信息确定机器人自主状态。
根据用户信息输入确定对话状态;
根据用户信息输入确定用户信息。
本实施例中,服务器会收到机器端发来的当前场景的图片、当前机器的状态、用户输入的语句。服务器通过分析用户输入的语句可以不断地更新当前用户与机器的对话状态和用户的信息,用户与机器的对话状态包括:对话目的、对话轮数、对话时长、对话信息补充情况等;用户信息包括:用户ID、用户当前情绪、用户图谱等。同时,通过机器人的自检和服务器对机器人使用情况的跟踪,服务器可以获得实时的机器自主状态,机器自主状态包括:剩余电量、开机时长、使用时长、GPS位置、电池温度、充电状态、环境温湿度等。当前场景由服务器根据分析收到的机器端传来的当前场景图片得到,当图片传输异常时,服务器通过分析用户输入的语句估计对话场景。
确认表情、动作时,当前场景、对话状态、自主状态和用户信息作为四个具体的维度。当前场景在第一粒度分为室内和室外,在第二粒度可以进行细分,如室内场景可以分为卧室、餐室、客厅等,室外场景可以分为体育场、车内、公园等,第二粒度的场景可以按照需求确定。用于确定机器人动作的幅度,在室外场景基于维护公共秩序的原因机器人的动作幅度将会相应降低(包括肢体伸展的大小和声音的响度)。自主状态对表情、动作的展示起辅助作用,在机器剩余电量、电池温度、环境温湿度异常的情况下,展示可能被打断且服务器选择预定的表情、动作。对话状态对表情、动作的确定起主导作用,尤其是其中的对话目的,例如,当用户的目的是听音乐,那么展示的应该是音乐对应的舞蹈动作;而当目的是聊天,则展示的应该是聊天对应的动作;当目的是训练,则展示训练对应的动作。用户信息用于参考具体指定展示的具体动作,例如,具体是哪一首歌曲、根据用户当前情绪确认展示的具体是哪一类别的聊天动作和表情。
实施例三
结合图3,本实施例提供一种机器人动作与表情的展示合成方法,对采用实施例一中的方法确定的动作与表情进行展示合成,包括:
步骤S10,确定与动作和表情对应的参数集;
步骤S20,根据参数集,从动作库中匹配出与动作对应的子动作序列集,以及从表情库中匹配出与表情对应的子表情序列集;
步骤S30,将子动作序列集和子表情序列集,按照预设效果进行合成,以实现对表情和动作进行展示。
本发明提供的机器人动作与表情的展示合成方法,根据当前的场景图片信息、机器人状态信息以及用户信息输入,确定当前场景、机器人自主状态、对话状态以及用户信息,并继而确定机器人的动作与表情,且在确定表情与动作后,继续对动作与表情进行展示合成,以实现机器人表情与动作的多样化展示,增加人机交互趣味性。
优选地,参数集包括:动作ID、动作类型、动作时长、场景标签、表情ID、表情类型、表情时长。
进一步优选地,步骤S20,包括:
将参数集输入预先构建的神经网络模型,以从动作库中匹配出与动作对应的子动作序列集,以及从表情库中匹配出与表情对应的子表情序列集。
本实施例中,神经网络模型为RNN神经网络,且具体地,在对神经网络模型进行训练的过程中,输入参数包括但不限于,动作ID、动作类型、动作时长、场景标签、表情ID、表情类型、表情时长。此外,神经网络模型的目标函数,为已选动作序列的时长收敛于目标时长且动作场景标签聚类于当前场景,以使选择的子动作序列的总时长尽量接近目标时长,且所选择的所有子动作尽量与当前场景相符合。此外,可选地,计算场景标签之间的相似度来获取不同场景标签之间的距离,且可选地,采用欧氏距离计算时长与标签间的相似度。
优选地,根据参数集,从动作库中匹配出与动作对应的子动作序列集,以及从表情库中匹配出与表情对应的子表情序列集,还包括:
确定与动作对应的所有子动作的类别,以及确定所有子动作的动作执行顺序;针对每个类别的子动作,将参数集代入预先构建的算数拼接模型,以采用算术拼接算法从动作库中匹配出与参数集适配的子动作;将所有与参数集适配的子动作按照动作执行顺序合成与动作对应的子动作序列集;
确定与表情对应的所有子表情的类别,以及确定所有子表情的表情执行顺序;针对每个类别的子表情,将参数集代入预先构建的算数拼接模型,以采用算术拼接算法从表情库中匹配出与参数集适配的子表情;将所有与参数集适配的子表情按照表情执行顺序合成与表情对应的子表情序列集。
进一步优选地,算术拼接算法为,针对每个类别的子动作,获取动作库中的同一类别的所有子动作,并将所获取的所有子动作按动作长度由大到小排序;
将展示时长与动作长度按顺序进行比较,将首个动作长度小于展示时长的子动作确定为与参数集适配的子动作。
本实施例中,确认表情、动作后,还需要确认动作表情对应的参数集,服务器已经确定了展示的表情、动作和其参数后,需要根据动作、表情的具体展示参数进行动作、表情的合成。
本实施例中,采用算术拼接算法时,所要展示的动作的展示时长为Y,在所要展示的动作中的某个类别的子动作具有的展示时长为y,且动作库中,该类别对应的所有子动作对应的动作长度分别为(x1,x2,...,xn)(x1<x2<...<xn),从动作库中确定最适配的子动作的方法为:如果y-xn>0,则展示xn,否则判断是否y-xn-1>0,如果是,则展示动作xn-1,以此类推。当选定动作xm(m∈[1,n])后,则令Y=Y-xm。如此以继续对其他类别的子动作进行选定。
需要说明的是,本实施例中,不同类别的子动作/子表情可以通过类别ID进行索引,且每一个子动作/子表情可预设有排列属性、场景属性、特效属性等。其中,排列属性,用于标注子动作/子表情的逻辑先后顺序或排列顺序;场景属性,用于标注子动作/子表情适合的场景;特效属性,用于标注子动作/子表情的显示特效。
本实施例中,进一步优选地,算术拼接算法为,针对每个类别的子表情,获取表情库中的同一类别的所有子表情,并将所获取的所有子表情按表情长度由大到小排序;
将展示时长与表情长度按顺序进行比较,将首个表情长度小于展示时长的子表情确定为与参数集适配的子表情。
此外,需要说明的是,在对子动作序列集和子表情序列集确定后,按照预设的展示亮度、展示精度、展示效果进行表情与动作展示。其中,展示亮度表示展示效果的亮度,展示精度表示展示的精确度(色阶),展示效果表示展示对应的特效。
实施例四
结合图4,本实施例提供一种机器人动作与表情的展示合成装置,对采用实施例一的方法确定的动作与表情进行展示合成,包括:
参数确定单元10,用于确定与动作和表情对应的参数集;
子动作确定单元20,用于根据参数集,从动作库中匹配出与动作对应的子动作序列集,以及从表情库中匹配出与表情对应的子表情序列集;
动作合成单元30,用于将子动作序列集和子表情序列集,按照预设效果进行合成,以实现对表情和动作进行展示。
本发明提供的机器人动作与表情的展示合成装置,根据当前的场景图片信息、机器人状态信息以及用户信息输入,确定当前场景、机器人自主状态、对话状态以及用户信息,并继而确定机器人的动作与表情,且在确定表情与动作后,继续对动作与表情进行展示合成,以实现机器人表情与动作的多样化展示,增加人机交互趣味性。
优选地,参数集包括:动作ID、动作类型、动作时长、场景标签、表情ID、表情类型、表情时长。
进一步优选地,子动作确定单元20,具体用于:
将参数集输入预先构建的神经网络模型,以从动作库中匹配出与动作对应的子动作序列集,以及从表情库中匹配出与表情对应的子表情序列集。
本实施例中,神经网络模型为RNN神经网络,且具体地,在对神经网络模型进行训练的过程中,输入参数包括但不限于,动作ID、动作类型、动作时长、场景标签、表情ID、表情类型、表情时长。此外,神经网络模型的目标函数,为已选动作序列的时长收敛于目标时长且动作场景标签聚类于当前场景,以使选择的子动作序列的总时长尽量接近目标时长,且所选择的所有子动作尽量与当前场景相符合。此外,可选地,计算场景标签之间的相似度来获取不同场景标签之间的距离,且可选地,采用欧氏距离计算时长与标签间的相似度。
优选地,子动作确定单元20,具体还用于:确定与动作对应的所有子动作的类别,以及确定所有子动作的动作执行顺序;针对每个类别的子动作,将参数集代入预先构建的算数拼接模型,以采用算术拼接算法从动作库中匹配出与参数集适配的子动作;将所有与参数集适配的子动作按照动作执行顺序合成与动作对应的子动作序列集;
确定与表情对应的所有子表情的类别,以及确定所有子表情的表情执行顺序;针对每个类别的子表情,将参数集代入预先构建的算数拼接模型,以采用算术拼接算法从表情库中匹配出与参数集适配的子表情;将所有与参数集适配的子表情按照表情执行顺序合成与表情对应的子表情序列集。
进一步优选地,算术拼接算法为,针对每个类别的子动作,获取动作库中的同一类别的所有子动作,并将所获取的所有子动作按动作长度由大到小排序;
将展示时长与动作长度按顺序进行比较,将首个动作长度小于展示时长的子动作确定为与参数集适配的子动作。
本实施例中,确认表情、动作后,还需要确认动作表情对应的参数集,服务器已经确定了展示的表情、动作和其参数后,需要根据动作、表情的具体展示参数进行动作、表情的合成。
本实施例中,采用算术拼接算法时,所要展示的动作的展示时长为Y,在所要展示的动作中的某个类别的子动作具有的展示时长为y,且动作库中,该类别对应的所有子动作对应的动作长度分别为(x1,x2,...,xn)(x1<x2<...<xn),从动作库中确定最适配的子动作的方法为:如果y-xn>0,则展示xn,否则判断是否y-xn-1>0,如果是,则展示动作xn-1,以此类推。当选定动作xm(m∈[1,n])后,则令Y=Y-xm。如此以继续对其他类别的子动作进行选定。
需要说明的是,本实施例中,不同类别的子动作/子表情可以通过类别ID进行索引,且每一个子动作/子表情可预设有排列属性、场景属性、特效属性等。其中,排列属性,用于标注子动作/子表情的逻辑先后顺序或排列顺序;场景属性,用于标注子动作/子表情适合的场景;特效属性,用于标注子动作/子表情的显示特效。
本实施例中,进一步优选地,算术拼接算法为,针对每个类别的子表情,获取表情库中的同一类别的所有子表情,并将所获取的所有子表情按表情长度由大到小排序;
将展示时长与表情长度按顺序进行比较,将首个表情长度小于展示时长的子表情确定为与参数集适配的子表情。
此外,需要说明的是,在对子动作序列集和子表情序列集确定后,按照预设的展示亮度、展示精度、展示效果进行表情与动作展示。其中,展示亮度表示展示效果的亮度,展示精度表示展示的精确度(色阶),展示效果表示展示对应的特效。
尽管本发明已进行了一定程度的描述,明显地,在不脱离本发明的精神和范围的条件下,可进行各个条件的适当变化。可以理解,本发明不限于所述实施方案,而归于权利要求的范围,其包括所述每个因素的等同替换。
Claims (10)
1.一种机器人动作与表情确定方法,其特征在于,包括:
获取当前的场景图片信息、机器人状态信息、用户信息输入;
根据当前的所述场景图片信息、所述机器人状态信息、所述用户信息输入,确定当前交互情境对应的当前场景、机器人自主状态、对话状态、用户信息;
根据所述当前场景、所述机器人自主状态、所述对话状态、所述用户信息,确定所述机器人的动作和表情。
2.根据权利要求1所述的机器人动作与表情确定方法,其特征在于,
所述对话状态包括:对话目的、对话轮数、对话时长、对话信息补充;
所述用户信息包括:用户ID、用户当前情绪、用户图谱;
所述机器人自主状态包括:剩余电量、开机时长、使用时长、GPS位置、电池温度、充电状态、环境温湿度;
所述当前场景包括:第一粒度场景、第二粒度场景。
3.根据权利要求1所述的机器人动作与表情确定方法,其特征在于,所述根据当前的所述场景图片信息、所述机器人状态信息、所述用户信息输入,确定当前交互情境对应的当前场景、机器人自主状态、对话状态、用户信息,包括:
根据所述场景图片信息识别所述当前场景,和/或,根据所述用户信息输入确定所述当前场景;
根据所述机器人状态信息确定所述机器人自主状态;
根据所述用户信息输入确定所述对话状态;
根据所述用户信息输入确定所述用户信息。
4.一种机器人动作与表情确定装置,其特征在于,包括:
信息获取单元,用于获取当前的场景图片信息、机器人状态信息、用户信息输入;
第一确定单元,用于根据当前的所述场景图片信息、所述机器人状态信息、所述用户信息输入,确定当前交互情境对应的当前场景、机器人自主状态、对话状态、用户信息;
第二确定单元,用于根据所述当前场景、所述机器人自主状态、所述对话状态、所述用户信息,确定所述机器人的动作和表情。
5.一种机器人动作与表情的展示合成方法,对采用如权利要求1至3中任一项所述的方法确定的动作与表情进行展示合成,其特征在于,包括:
确定与所述动作和所述表情对应的参数集;
根据所述参数集,从动作库中匹配出与所述动作对应的子动作序列集,以及从表情库中匹配出与所述表情对应的子表情序列集;
将所述子动作序列集和所述子表情序列集,按照预设效果进行合成,以实现对所述表情和所述动作进行展示。
6.根据权利要求5所述的机器人动作与表情的展示合成方法,其特征在于,所述参数集包括:动作ID、动作类型、动作时长、场景标签、表情ID、表情类型、表情时长。
7.根据权利要求6所述的机器人动作与表情的展示合成方法,其特征在于,
所述根据所述参数集,从动作库中匹配出与所述动作对应的子动作序列集,以及从表情库中匹配出与所述表情对应的子表情序列集,包括:
将所述参数集输入预先构建的神经网络模型,以从动作库中匹配出与所述动作对应的子动作序列集,以及从表情库中匹配出与所述表情对应的子表情序列集。
8.根据权利要求6所述的机器人动作与表情的展示合成方法,其特征在于,
所述根据所述参数集,从动作库中匹配出与所述动作对应的子动作序列集,以及从表情库中匹配出与所述表情对应的子表情序列集,还包括:
确定与所述动作对应的所有子动作的类别,以及确定所有子动作的动作执行顺序;针对每个类别的子动作,将所述参数集代入预先构建的算数拼接模型,以采用算术拼接算法从动作库中匹配出与所述参数集适配的子动作;将所有与所述参数集适配的子动作按照动作执行顺序合成与所述动作对应的子动作序列集;
确定与所述表情对应的所有子表情的类别,以及确定所有子表情的表情执行顺序;针对每个类别的子表情,将所述参数集代入预先构建的算数拼接模型,以采用算术拼接算法从表情库中匹配出与所述参数集适配的子表情;将所有与所述参数集适配的子表情按照表情执行顺序合成与所述表情对应的子表情序列集。
9.根据权利要求8所述的机器人动作与表情的展示合成方法,其特征在于,所述算术拼接算法为,针对每个类别的子动作,获取所述动作库中的同一类别的所有子动作,并将所获取的所有子动作按动作长度由大到小排序;
将展示时长与动作长度按顺序进行比较,将首个动作长度小于展示时长的子动作确定为与所述参数集适配的子动作。
10.一种机器人动作与表情的展示合成装置,对采用如权利要求1至3中任一项所述的方法确定的动作与表情进行展示合成,其特征在于,包括:
参数确定单元,用于确定与所述动作和所述表情对应的参数集;
子动作确定单元,用于根据所述参数集,从动作库中匹配出与所述动作对应的子动作序列集,以及从表情库中匹配出与所述表情对应的子表情序列集;
动作合成单元,用于将所述子动作序列集和所述子表情序列集,按照预设效果进行合成,以实现对所述表情和所述动作进行展示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810064526.4A CN108320021A (zh) | 2018-01-23 | 2018-01-23 | 机器人动作与表情确定方法、展示合成方法、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810064526.4A CN108320021A (zh) | 2018-01-23 | 2018-01-23 | 机器人动作与表情确定方法、展示合成方法、装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108320021A true CN108320021A (zh) | 2018-07-24 |
Family
ID=62888109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810064526.4A Pending CN108320021A (zh) | 2018-01-23 | 2018-01-23 | 机器人动作与表情确定方法、展示合成方法、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108320021A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109839829A (zh) * | 2019-01-18 | 2019-06-04 | 弗徕威智能机器人科技(上海)有限公司 | 一种场景和表情双向同步方法 |
CN110288077A (zh) * | 2018-11-14 | 2019-09-27 | 腾讯科技(深圳)有限公司 | 一种基于人工智能的合成说话表情的方法和相关装置 |
CN113642394A (zh) * | 2021-07-07 | 2021-11-12 | 北京搜狗科技发展有限公司 | 一种虚拟对象的动作处理方法、装置和介质 |
CN113642394B (zh) * | 2021-07-07 | 2024-06-11 | 北京搜狗科技发展有限公司 | 一种虚拟对象的动作处理方法、装置和介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105867633A (zh) * | 2016-04-26 | 2016-08-17 | 北京光年无限科技有限公司 | 面向智能机器人的信息处理方法及系统 |
WO2016132729A1 (ja) * | 2015-02-17 | 2016-08-25 | 日本電気株式会社 | ロボット制御装置、ロボット、ロボット制御方法およびプログラム記録媒体 |
CN106462384A (zh) * | 2016-06-29 | 2017-02-22 | 深圳狗尾草智能科技有限公司 | 基于多模态的智能机器人交互方法和智能机器人 |
CN106462804A (zh) * | 2016-06-29 | 2017-02-22 | 深圳狗尾草智能科技有限公司 | 一种机器人交互内容的生成方法、系统及机器人 |
-
2018
- 2018-01-23 CN CN201810064526.4A patent/CN108320021A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016132729A1 (ja) * | 2015-02-17 | 2016-08-25 | 日本電気株式会社 | ロボット制御装置、ロボット、ロボット制御方法およびプログラム記録媒体 |
CN105867633A (zh) * | 2016-04-26 | 2016-08-17 | 北京光年无限科技有限公司 | 面向智能机器人的信息处理方法及系统 |
CN106462384A (zh) * | 2016-06-29 | 2017-02-22 | 深圳狗尾草智能科技有限公司 | 基于多模态的智能机器人交互方法和智能机器人 |
CN106462804A (zh) * | 2016-06-29 | 2017-02-22 | 深圳狗尾草智能科技有限公司 | 一种机器人交互内容的生成方法、系统及机器人 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110288077A (zh) * | 2018-11-14 | 2019-09-27 | 腾讯科技(深圳)有限公司 | 一种基于人工智能的合成说话表情的方法和相关装置 |
CN110288077B (zh) * | 2018-11-14 | 2022-12-16 | 腾讯科技(深圳)有限公司 | 一种基于人工智能的合成说话表情的方法和相关装置 |
CN109839829A (zh) * | 2019-01-18 | 2019-06-04 | 弗徕威智能机器人科技(上海)有限公司 | 一种场景和表情双向同步方法 |
CN113642394A (zh) * | 2021-07-07 | 2021-11-12 | 北京搜狗科技发展有限公司 | 一种虚拟对象的动作处理方法、装置和介质 |
CN113642394B (zh) * | 2021-07-07 | 2024-06-11 | 北京搜狗科技发展有限公司 | 一种虚拟对象的动作处理方法、装置和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109637207B (zh) | 一种学前教育互动教学装置及教学方法 | |
US11670033B1 (en) | Generating a background that allows a first avatar to take part in an activity with a second avatar | |
CN107203953B (zh) | 一种基于互联网、表情识别和语音识别的教学系统及其实现方法 | |
CN106878820A (zh) | 直播互动方法及装置 | |
Trejo et al. | Recognition of yoga poses through an interactive system with kinect device | |
CN109584648B (zh) | 数据生成方法及装置 | |
CN107197384B (zh) | 应用于视频直播平台的虚拟机器人多模态交互方法和系统 | |
CN108009954B (zh) | 一种教学计划制定方法、装置、系统及电子设备 | |
KR20210110620A (ko) | 상호작용 방법, 장치, 전자 장치 및 저장 매체 | |
JP2020511324A (ja) | 育児ロボットのデータ処理方法及び装置 | |
CN109978975A (zh) | 一种动作的迁移方法及装置、计算机设备 | |
CN104795067A (zh) | 语音交互方法及装置 | |
CN110298220B (zh) | 动作视频直播方法、系统、电子设备、存储介质 | |
CN113362672B (zh) | 基于虚拟现实的教学方法、设备及计算机可读存储介质 | |
US20210382609A1 (en) | Method and device for displaying multimedia resource | |
CN109635644A (zh) | 一种用户动作的评价方法、装置和可读介质 | |
KR101445923B1 (ko) | 대화형 전시 서비스 제공 방법 | |
CN109241336A (zh) | 音乐推荐方法和装置 | |
CN106302471B (zh) | 一种推荐虚拟礼物的方法和装置 | |
CN108681390A (zh) | 信息交互方法和装置、存储介质及电子装置 | |
CN109947510A (zh) | 一种界面推荐方法及装置、计算机设备 | |
CN110310142A (zh) | 基于人群价值分析的电梯广告投放方法及装置 | |
CN106974656A (zh) | 用于采集运动状态并进行实时对比矫正的系统与实现方法 | |
CN108320021A (zh) | 机器人动作与表情确定方法、展示合成方法、装置 | |
CN105933787A (zh) | 视频评论及其处理方法、装置、及服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180724 |
|
RJ01 | Rejection of invention patent application after publication |