CN107030691A - 一种看护机器人的数据处理方法及装置 - Google Patents

一种看护机器人的数据处理方法及装置 Download PDF

Info

Publication number
CN107030691A
CN107030691A CN201710184421.8A CN201710184421A CN107030691A CN 107030691 A CN107030691 A CN 107030691A CN 201710184421 A CN201710184421 A CN 201710184421A CN 107030691 A CN107030691 A CN 107030691A
Authority
CN
China
Prior art keywords
ability parameter
parameter
ability
adjustment
adjusted value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710184421.8A
Other languages
English (en)
Other versions
CN107030691B (zh
Inventor
唐卫东
黄康敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710184421.8A priority Critical patent/CN107030691B/zh
Publication of CN107030691A publication Critical patent/CN107030691A/zh
Priority to PCT/CN2017/111312 priority patent/WO2018171223A1/zh
Priority to JP2019552494A priority patent/JP6816925B2/ja
Priority to EP17901629.0A priority patent/EP3593958B1/en
Priority to KR1020197030811A priority patent/KR102334942B1/ko
Priority to US16/579,261 priority patent/US11241789B2/en
Application granted granted Critical
Publication of CN107030691B publication Critical patent/CN107030691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1653Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • B25J11/009Nursing, e.g. carrying sick persons, pushing wheelchairs, distributing drugs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36488Record motion and emotion, mimics
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45108Aid, robot for aid to, assist human disabled
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45109Excercise, coordination, therapy, rehabillitation robot for disabled patients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Nursing (AREA)
  • Toys (AREA)
  • Manipulator (AREA)

Abstract

本申请公开了一种看护机器人的数据处理方法及装置,用以解决现有技术中看护机器人只能通过计算交互对象的情感状态,在设定的交互方式中进行选择,不能为交互对象提供更合适的交互方式的问题。该方法包括:模型引擎接收到目标对象的数据,生成目标对象的成长模型能力参数矩阵,所述模型引擎根据调整公式系数或者根据标准的成长模型能力参数矩阵对所述成长模型能力参数矩阵中的能力参数调整值进行调整,确定出调整后的所述能力参数调整值,所述模型引擎判断调整后的所述能力参数调整值是否超过预设阈值;若所述调整后的能力参数调整值在所述预设阈值范围内,所述模型引擎将调整后的所述能力参数调整值发送给机器学习引擎。

Description

一种看护机器人的数据处理方法及装置
技术领域
本申请涉及机器人技术领域,尤其涉及一种看护机器人的数据处理方法及装置。
背景技术
随着数字化和人工智能技术的发展,传统的儿童看护和培训的工作已经部分、或者全部被电子智能设备所替代,其中,一种较好的电子智能设备的产品形态是儿童看护机器人。传统的儿童看护和培训的主要内容实际上就是看护者和被看护人之间的有效互动。一方面,看护人根据被看护人的情感状态选择合适的交流方式和内容。例如,一位富有教学经验的人类老师教一个学生稍显复杂的数学问题时,可以根据学生的面部表情,说话的音调,身体姿态和运动特征等判断出学生的情感状态,选择适合该学生的高效率的教学方式。当老师观察到学生沮丧的表情时,可以降低语速,采用学生更熟悉的内容,或者采取不同的互动模式,以减轻学生的疲劳感和挫折感,提高教学和互动效率。另一方面,经过幼教经验证明,大部分的儿童更愿意和稍微年长的小伙伴一起互动和交流,以便保持足够的学习兴趣和热情。
现有技术中的儿童看护机器人计算出交互对象的情感状态后,适配出合适的交互方式和内容,具体的,儿童看护机器人与人类对象交互时,通过一个或多个传感器采集到的人类对象的生理数据,并监测在特定环境中用户的情绪反应,根据用户的情绪反应识别用户的情感状态,根据用户的情感状态调整机器人的交互技能,通过语言和非语言第二交互手段来进行响应,来实现交流、表演、培训、通知和娱乐等目的。
综上,实际情况中,儿童愿意和稍微年长的小伙伴一起互动和交流,而现有技术中,儿童看护机器人只能通过计算出的交互对象的情感状态适配出合适的交互方式和内容,不能模拟出与儿童交互时的知识和交流技更优秀的交互对象,不能扮演一个年长的“哥哥”或者“姐姐”的角色,不能让儿童保持足够的学习兴趣和热情。
发明内容
本申请提供一种看护机器人的数据处理方法及装置,用以解决现有技术中看护机器人只能通过计算交互对象的情感状态,在设定的交互方式中进行选择,不能为交互对象提供更合适的交互方式的问题。
第一方面,本申请提供了一种看护机器人的数据处理方法,所述方法包括:
模型引擎接收到目标对象的数据,生成目标对象的成长模型能力参数矩阵,其中,所述数据中包括所述目标对象的能力参数,所述能力参数包括实测能力参数以及所述目标对象对应的统计能力参数,生成的所述目标对象的成长模型能力参数矩阵中包括所述能力参数,以及根据所述能力参数计算出的能力参数调整值和综合能力参数其中,所述实测能力参数是通过传感器获取的目标对象的自然社交场景下的数据,所述统计能力参数是第三方网络云服务机构提供的;根据调整公式系数或者根据标准的成长模型能力参数矩阵对所述成长模型能力参数矩阵中的能力参数调整值进行调整,确定出调整后的所述能力参数调整值,其中,所述公式为根据所述能力参数计算出的综合能力参数和能力参数调整值所使用的;所述模型引擎判断调整后的所述能力参数调整值是否超过预设阈值;若所述调整后的能力参数调整值在所述预设阈值范围内,所述模型引擎将调整后的所述能力参数调整值发送给机器学习引擎,其中,所述机器学习引擎根据所述能力参数调整值为人工智能模块提供与所述目标对象交互时所需要的能力参数。
本发明实施例中,将传感器采集到目标对象在自然社交场景下的实测能力参数以及第三方网络云服务机构提供的统计能力参数,生成目标对象的成长模型能力参数矩阵,根据调整公式系数或者标准的成长模型能力参数矩阵中的参数对对所述成长模型能力参数矩阵中的能力参数调整值进行调整,调整后根据能力参数调整值确定出的综合能力参数值不低于目标对象的成长模型能力参数矩阵中的根据实测能力参数确定出的综合能力参数值,将调整后的能力参数调整值发送给机器学习引擎为人工智能模块提供与所述目标对象交互时所需要的能力参数,即看护机器人使用修改后的能力参数调整值所表现出来的能力稍高于目标对象的能力,使目标对象保持足够的学习兴趣和与看护机器人交互的热情。
在一种可能的设计中,所述模型引擎接收到目标对象的能力参数,将接收到的所述能力参数进行计算,确定出能力参数调整值和综合能力参数,将所述能力参数、所述能力参数调整值以及所述综合能力参数添加到设定的能力参数矩阵模板中,生成目标对象的成长模型能力参数矩阵。
在一种可能的设计中,所述模型引擎对所述成长模型能力参数矩阵中的能力参数调整值进行调整,确定出调整后的所述能力参数调整值之后,该方法还包括:
所述模型引擎根据接收到的人为调整能力参数的指令,对所述成长模型能力参数矩阵中的能力参数进行调整,根据调整后的能力参数,确定出调整后的所述能力参数调整值。
本发明实施例中,通过接收用户发出的的人为调整能力参数的指令,人为对成长模型能力参数矩阵中的能力参数,可以侧重培养目标对象的任一方面的能力,为目标对象提供更适合的交互方式。
在一种可能的设计中,所述调整后的能力参数调整值的加权平均值大于或等于调整前的所述实测能力参数的加权平均值。
本发明实施例中,陪护机器人采用调整后的能力参数调整值,可以使其能力高于或等同于目标对象,达到陪护的目的。
第二方面,本申请提供了一种模型引擎,包括:
模型生成模块,用于接收到目标对象的数据,生成目标对象的成长模型能力参数矩阵,其中,所述数据中包括所述目标对象的能力参数,所述能力参数包括实测能力参数以及所述目标对象对应的统计能力参数,生成的所述目标对象的成长模型能力参数矩阵中包括所述能力参数,以及根据所述能力参数计算出的能力参数调整值和综合能力参数;模型修正模块,用于根据调整公式系数或者根据标准的成长模型能力参数矩阵对所述成长模型能力参数矩阵中的能力参数调整值进行调整,确定出调整后的所述能力参数调整值,其中,所述公式为根据所述能力参数计算出的综合能力参数和能力参数调整值所使用的;所述模型修正模块还用于,判断调整后的所述能力参数调整值是否超过预设阈值;若所述调整后的能力参数调整值在所述预设阈值范围内,所述模型引擎将调整后的所述能力参数调整值发送给机器学习引擎,其中,所述机器学习引擎根据所述能力参数调整值为人工智能模块提供与所述目标对象交互时所需要的能力参数。
在一种可能的设计中,接收到目标对象的能力参数,将接收到的所述能力参数进行计算,确定出能力参数调整值和综合能力参数,将所述能力参数、所述能力参数调整值以及所述综合能力参数添加到设定的能力参数矩阵模板中,生成目标对象的成长模型能力参数矩阵。
在一种可能的设计中,所述模型修正模块还用于:
根据接收到的人为调整能力参数的指令,对所述成长模型能力参数矩阵中的能力参数进行调整,根据调整后的能力参数,确定出调整后的所述能力参数调整值。
在一种可能的设计中,所述调整后的能力参数调整值的加权平均值大于或等于调整前的所述实测能力参数的加权平均值。
第三方面,本申请提供了一种模型引擎,该模型引擎包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,通过通信接口接收到目标对象的数据,生成目标对象的成长模型能力参数矩阵,其中,所述数据中包括所述目标对象的能力参数,所述能力参数包括实测能力参数以及所述目标对象对应的统计能力参数,生成的所述目标对象的成长模型能力参数矩阵中包括所述能力参数,以及根据所述能力参数计算出的能力参数调整值和综合能力参数;所述处理器根据调整公式系数或者根据标准的成长模型能力参数矩阵对所述成长模型能力参数矩阵中的能力参数调整值进行调整,确定出调整后的所述能力参数调整值,其中,所述公式为根据所述能力参数计算出的综合能力参数和能力参数调整值所使用的;所述处理器判断调整后的所述能力参数调整值是否超过预设阈值;若所述调整后的能力参数调整值在所述预设阈值范围内,所述处理器将调整后的所述能力参数调整值发送给机器学习引擎,其中,所述机器学习引擎根据所述能力参数调整值为人工智能模块提供与所述目标对象交互时所需要的能力参数。
在一种可能的设计中,所述处理器具体用于:
通过通信接口接收到目标对象的能力参数,将接收到的所述能力参数进行计算,确定出能力参数调整值和综合能力参数,将所述能力参数、所述能力参数调整值以及所述综合能力参数添加到设定的能力参数矩阵模板中,生成目标对象的成长模型能力参数矩阵。
在一种可能的设计中,所述处理器还用于:
根据接收到的人为调整能力参数的指令,对所述成长模型能力参数矩阵中的能力参数进行调整,根据调整后的能力参数,确定出调整后的所述能力参数调整值。
第四方面,本申请还提供了一种计算机可读存储介质,用于存储为执行上述第一方面、第一方面的任意一种设计的功能所用的计算机软件指令,其包含用于执行上述第一方面、第一方面的任意一种设计的方法所设计的程序。
附图说明
图1为本申请提供的一种儿童看护机器人及使用环境的系统结构图;
图2为本申请提供的一种儿童看护机器人产品形态示意图;
图3为本申请提供的一种儿童看护机器人的处理及运算模块硬件结构示意图;
图4为本申请提供的一种看护机器人的数据处理方法流程图;
图5为本申请提供的一种能力评估结果示意图;
图6为本申请提供的一种成长模型能力参数矩阵;
图7为本申请提供的一种雷达图;
图8为本申请提供的一种看护机器人的软件模块基本架构示意图;
图9为本申请提供的一种看护机器人的语言模块结构示意图;
图10为本申请提供的一种看护机器人的视觉模块结构示意图;
图11为本申请提供的一种看护机器人的表情和情绪模块结构示意图
图12为本申请提供的一种模型引擎示意图;
图13为本申请提供的另一种模型引擎示意图;
图14为本申请提供的一种模型引擎的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述。
本申请提供一种看护机器人的数据处理方法及模型引擎,用以解决现有技术中存在的看护机器人只能通过计算交互对象的情感状态,在设定的交互方式中进行选择,不能为交互对象提供更合适的交互方式的问题。其中,方法和装置是基于同一发明构思的,由于方法及装置解决问题的原理相似,因此装置与方法的实施可以相互参见,重复之处不再赘述。
本申请可以应用于儿童看护机器人及使用环境的系统,该系统架构如图1所示,儿童看护机器人的使用环境适用于小区、街道、行政区、省、国家、跨国以及全球等任何场景,该包括以下单元:家庭或者儿童看护机构101,所述家庭或者儿童看护机构101包括儿童看护机器人102及至少一名被看护的儿童103,室内的至少一个无线接入网络104;被看护对象的法定监护人106以及其随身携带的智能终端105;室外无线接入网络107给智能终端105提供远程的无线网络接入服务;给儿童看护业务提供专业数据服务的儿童看护服务机构108,包括儿童成长云服务器109、儿童成长模型库110和儿童看护知识库111;还包括社会公共服务机构112,给儿童看护服务提供政府公共数据支持,包括但不限于天气预报、医疗服务机构名单、疫情信息、紧急通知等,包括社会公共服务云服务器113、社会公共服务云数据库114;至少一个第三方网络云服务机构115,给儿童看护业务提供细分的专业化的网络云数据服务,比如即时通信、儿童看护业务社交应用、网上音视频服务、网络购物、付款和物流跟踪、社区和医疗机构评价和投票等,包括第三方网络服务的运服务器116、第三方网络服务云数据库117;该使用环境的系统架构还包括网络运营商提供网络服务的互联网118。
另外,需要理解的是,在本申请的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
本发明实施例中,将传感器采集到目标对象在自然社交场景下的实测能力参数以及第三方网络云服务机构提供的统计能力参数,生成目标对象的成长模型能力参数矩阵,根据调整公式系数或者标准的成长模型能力参数矩阵中的参数对对所述成长模型能力参数矩阵中的能力参数调整值进行调整,调整后根据能力参数调整值确定出的综合能力参数值不低于目标对象的成长模型能力参数矩阵中的根据实测能力参数确定出的综合能力参数值,将调整后的能力参数调整值发送给机器学习引擎为人工智能模块提供与所述目标对象交互时所需要的能力参数,即看护机器人使用修改后的能力参数调整值所表现出来的能力稍高于目标对象的能力,使目标对象保持足够的学习兴趣和与看护机器人交互的热情。
本发明实施例中,图1中儿童看护机器人102的产品形态可以如图2所示,包括:触摸显示屏201,用于向被看护对象展示图形、或图像信息,并接收用户的触摸控制信号;麦克风阵列及传感器组202,用于检测被看护对象的声音、表情、以及行为等特征;开始/暂停/紧急按钮203,提供被看护对象简单的操作指令并响应紧急情况下用户的中断指令;处理及运算模块204根据麦克风阵列及传感器组202输入的用户状态信号、开始/暂停/紧急按钮203的用户操作指令、来自网络的被看护对象的监护人请求信息、来自网络的儿童看护服务机构的服务指令、第三方网络云服务数据等,计算并输出儿童看护机器人的控制指令,儿童看护机器人根据所述控制指令输出声音、图形、图像、肢体动作以及移动方向等,儿童看护机器人还包括履带/轮式移动机械装置205、机械手臂206,扬声器模块207用于向被看护对象提供声音输出信号。
本发明实施例中的儿童看护机器人通过触摸显示屏201、履带/轮式移动机械装置205、机械手臂206以及扬声器模块207与被看护对象及其被看护对象的监护人构建社交、情感和人际联系和互动,儿童看护机器人对其被看护对象可以执行多种功能,促进并参与用户之间的有意义的社交活动,所述社交活动包括但不限于对被看护对象提供有效的陪伴和交流、技能培训、消息传递和提醒,及其他更复杂的服务,还包括摄影和录音、歌唱伴奏、游戏参与共享家庭故事和知识等,所述儿童看护机器人的功能还包括在触摸显示屏201中提供一个人性化界面,例如在触摸显示屏上显示图形、卡通、宠物和父母、长辈的形象;结合当时的场景,通过履带/轮式移动机械装置205进行移动、通过机械手臂206完成肢体动作,以及通过展示彩色的光等,提升交流的效率,改善与被看护对象的伙伴关系。
本发明实施例中的儿童看护机器人的核心部件为处理及运算模块204,所述处理及运算模块204硬件结构如图3所示,包括主板310和其他周边的功能部件。传感器组301、按钮302分别与主板310的I/O模块连接,麦克风阵列303与主板310的音视频编解码模块连接,主板310的触摸显示控制器接收触摸显示屏304的触控输入并提供显示驱动信号,电机伺服控制器则根据程序指令驱动电机及编码器307,电机及编码器307驱动履带/轮式移动机械装置和机械手臂,形成看护机器人的移动和肢体语言,声音则由音频编解码模块输出经功率放大器推动扬声器308得到。主板310上还包括处理器及存储器,存储器存储所述看护机器人的算法和执行程序及其配置文件,还存储看护机器人执行看护工作时所需的音视频和图像文件等,还存储程序运行时的一些临时文件。主板310的通信模块提供看护机器人与外部网络的通信功能,优选的,近程通信时使用蓝牙或Wifi模块。主板310还包括电源管理模块,通过连接的电源系统305实现设备的电池充放电和节能管理。无线接收和发射天线装置306与主板310相连接。
下面结合附图对本申请提供的看护机器人的数据处理方法进行具体说明。
参见图4,为本申请提供的该方法包括:
S401,模型引擎接收到目标对象的数据,生成目标对象的成长模型能力参数矩阵,其中,所述数据中包括所述目标对象的能力参数,所述能力参数包括实测能力参数以及所述目标对象对应的统计能力参数,生成的所述目标对象的成长模型能力参数矩阵中包括所述能力参数,以及根据所述能力参数计算出的能力参数调整值和综合能力参数。
具体的,所述实测能力参数可以是通过传感器获取的目标对象的自然社交场景下获取的,也可以是所述目标对象预先进行能力测评确定的,所述统计能力参数是第三方网络云服务机构提供的,是根据所述目标对象相应的年龄段的对象所统计出的。
可选的,所述成长模型能力参数矩阵也可以是从人工智能模块获取的。
举例说明,所述目标对象可以为被看护对象,所述数据可以为被看护对象的声音,表情,动作等,所述第三方专业服务机构对被看护对象的能力进行评估,包括表达能力、思维能力、观察能力、注意能力、记忆能力、想像能力、以及运动能力,所有的能力评估的参数以能力年龄的方式来显示。例如,第三方网络云服务机构可以采用希-内学习能力测试法(Hiskey-Nebraska test of learning aptitude,H-NTLA)标准,或者国家康复中心制定的测试模型,开展儿童学习能力评估,输出学习能力评估结果,学习能力评估可以定期开展例如,一个季度或者半年,测试对象主要是3~8岁儿童,通常采用穿珠,联想,摆方木,记颜色,辩认图,短记忆力,折纸,联想等多个科目测试方法,对儿童的综合学习能力进行量化,输出和分析结果及建议报告,并提供长期的可持续的能力训练和测试服务。一个具体的报告样例如图5所示,横轴为科目,纵轴为年龄,被测试者的年龄:6.5岁,包括多个测试科目501,科目测试得分502,被测试者年龄504、根据科目测试结果和该年龄下平均测试得分拟合得到的智力年龄503。该测试者的优势科目为:穿珠、记颜色、辨认图、联想、折纸、摆方木、完成图;劣势科目为:短记忆,该测试者的智力年龄相当于7.4岁,根据图5中得出的分析结果和建议为,该测试者的能力高于平均统计值,注意能力均衡发展,保持语言能力优势。另一个测试者生成的成长模型能力参数矩阵如图6所示,被看护对象用户名字是Dolores,一位5岁的女孩,能力年龄是将该能力实际测试分值,换算为该能力项目统计典型平均值对应的年龄值,例如,Dolores的运动能力610的测试分数为123.4,相当于6岁的儿童的平均运动能力得分值,因此该项实测能力602为6.0,成长模型能力参数矩阵601中的每个能力测试项还包括:该年龄下社会统计最大值604和最小值605,统计能力603,调整值606,调整幅度607,备注608,其中,99.6%概率以上的儿童的单项能力测试数据都会落在最大值和最小值之间,成长模型能力参数矩阵601还可以包括注意能力609,运动能力610,备注内容611、612、以及综合能力613,该综合能力613根据实测能力602的各项分数的求算术平均值得到,也可以根据实测能力602的各项分数加权求和得到,权重系数可以根据人工智能模块学习和训练所需的各能力参数的权重分配得到,也可以是用户调整和分配人工智能模块学习和训练所需的各能力参数的权重比例。综合能力值的计算公式1如下:
T=W1×C1+W2×C2+W3×C3+W4×C4+…Wn×Cn (公式1)
其中,T综合能力值,Wn第n项能力参数权重系数,Cn第n项能力测试值。
S 402,所述模型引擎根据调整公式系数或者根据标准的成长模型能力参数矩阵对所述成长模型能力参数矩阵中的能力参数调整值进行调整,确定出调整后的所述能力参数调整值,其中,所述公式为根据所述能力参数计算出的综合能力参数和能力参数调整值所使用的。
举例说明,被看护对象的合法监护人在社交活动中为Dolores找到了一个学习的榜样,这个榜样是一个年龄与Dolores稍长的女孩Susan,她在某些能力表现上明显优于Dolores。Susan的合法监护人同意将她的成长能力参数矩阵分享给Dolores的合法监护人,Dolores的合法监护人通过手机APP或短距通信等方式获得了Susan的成长能力参数矩阵,该成长能力参数矩阵数据可能需要转换格式,以确保该成长能力参数矩阵与图6相同,可选的,Dolores的的合法监护人也可以对获取的Susan的能成长能力参数矩阵进行局部调整,以选择更合适Dolores的成长能力参数矩阵。
S403,所述模型引擎判断调整后的所述能力参数调整值是否超过预设阈值。
可选的,若所述调整后的能力参数超过预设阈值,则重新执行步骤S402。
S404,若所述调整后的能力参数调整值在所述预设阈值范围内,所述模型引擎将调整后的所述能力参数调整值发送给机器学习引擎,其中,所述机器学习引擎根据所述能力参数调整值为人工智能模块提供与所述目标对象交互时所需要的能力参数。
本发明实施例中,调整后的目标对象的成长模型能力参数矩阵中的能力参数调整值,用于提供给看护机器人的机器学习引擎,通过神经网络,机器学习模型等的作用,为看护机器人的人工智能模块提供关于如何有效和交互对象互动的特征参数,并发送到决策和执行器,并进一步通过执行装置实施看护机器人的各种互动内容,包括机械位置移动、模拟显示表情、灯光效果、音乐播放、文字、图案或者用户能适应的语速、语音、语调和交谈内容,还包括为被看护对象提供语音交流、培训、提醒、摄影,建立/维护/分享家庭故事和知识、游戏、音乐协商、甚至健身锻炼等内容,并提供建立亲密的朋友关系,通过丰富的互动和应用与儿童用户建立类似人类的伙伴的亲密关系。可选的,机器学习引擎也可以部分在云端实现,比如由第三方网络云服务机构提供,通过各种基于云特性的训练系统持续学习和改进算法实现成长模型能力参数矩阵的及时更新,而另一部分在本地进行,例如人工智能模块,以确保看护机器人能在脱离网络的时候能可靠运行,看护机器人也可以根据是否网络在线的情况,选择合适的机器学习模式。举例说明,模型引擎根据被测对象的实测能力值、统计能力值、最大值和最小值,计算出一个能力调整值,该能力调整值将替代实测能力值,参与人工智能模块的下一个周期的学习和训练过程中,确保在下一个周期的的机器学习和训练中,看护机器人能以略高于当前被陪护的儿童的综合能力,与被看护对象进行交互。具体的,能力调整算法的一种计算方式如下:
Cadj=K×C
∑Cmin≥∑Cadj≥∑Cmax
其中:Cadj为能力调整值;K为能力成长系数,范围在1.00~1.50之间;C为单项测试实测能力值;∑Cadj综合能力值;∑Cmin综合能力值社会统计值下限;∑Cmax综合能力值社会统计值上限。
步骤S104之后,所述模型引擎根据接收到的人为调整能力参数的指令,对所述成长模型能力参数矩阵中的能力参数进行调整,根据调整后的能力参数,确定出调整后的所述能力参数调整值,可选的,若所述调整后的能力参数超过预设阈值,则重新执行上述步骤。
举例说明,被看护对象的合法监护人可以通过移动智能终端对被看护对象的成长模型能力参数矩阵进行人为调整,在移动智能终端的应用程序的用户界面上出现如图7所示的示意图,将表达能力、思维能力、观察能力、注意能力、记忆能力、想像能力以及运动能力用雷达图展示给用户。用户通过滑动手势704将调整值能力参数702进行调整,调整后的调整值能力参数不会超过统计最大值703和统计最小值705的范围。在进行调整值能力参数调整时,可以适当降低偏高的能力项的能力值,以保持各项能力均衡发展,也可以保证调整后的被看护对象的综合能力不低于当前的实测综合能力701。可选的,用户也可以对能力参数的边界阈值进行自定义,而不受统计值的影响。
本发明实施例中,一种看护机器人的软件模块基本架构可以如图8所示,包括:传感器模块801,所述传感器模块801具体包括用于人脸及表情识别的摄像头阵列802,位置及动作识别的加速度传感器803、用于室内/室外定位的位置传感器804、开始/暂停/紧急按钮805、用于用户和环境声音接收的麦克风阵列806、接收用户触控指令的触摸显示屏807;人工智能模块821,具体包括语言模块822、视觉模块823、表情/情绪模块824和内容聚合模块825。人工智能模块821根据来自经过信号处理811处理过的各类传感器获取的丰富的环境感知信号,以及来自模型引擎881的提供的机器学习模型参数即成长模型能力参数矩阵,输出经过机器学习获得的看护机器人的控制信号,由决策/执行器841控制执行装置861实施看护机器人的各种互动内容,包括但不限于通过机械移动装置862实现的机械位置移动、通过图形图像863实现的模拟显示表情,展示文字、图案,通过灯光864实现的灯光效果,通过音乐866实现的音乐播放、或者通过语音865实现的使被看护对象能适应的语速、语音、语调和交谈内容,通过丰富的互动和应用与被看护对象建立类似人类伙伴的亲密关系,其中,模型引擎881包括用户成长模型模块882以及模型修正模块883。人工智能模块821另一部分数据来源是来自本地存储器834和云端的存储器831的数据,具体的,所述另一部分数据的其中一部分是人工智能模块821的已获得的机器学习成果,另一部分可以是来自第三方网络云服务机构830提供被看护对象的能力测试数据,或者来自移动智能终端891的传送的其他数据,其中,云端的存储器831的数据通过通信模块890发送到本地存储器834,如关于成长模型能力参数矩阵的偏好设置871,所述第三方网络云服务机构830还包括云计算832。
本发明实施例中,看护机器人的语言模块是看护机器人的“耳朵和嘴巴”,具体模块结构如图9中的900所示,包括:语音识别,声源定位、语义纠错、语义分析、内容管理、语音合成、说话人识别、语音唤醒、情绪识别和语音模型等子功能模块。语言模块的输入信号是由麦克风阵列采集的周围环境的声音信号,再经过语音信号处理模块处理后的信号,其中,在大多数的情况下,麦克风阵列必须要做到在嘈杂环境中准确识别出被陪护对象、其他相关人员及环境中其他声源的的位置或者方位,区别出是环境的背景噪声还是人们说话的声音,并准确地识别出说话的内容,麦克风阵列可以是多个微电子机械系统(Micro-Electro-Mechanical System,MEMS)麦克风的阵列,安装在儿童陪护机器人某些部件的表面,也可以是单个的全向麦克风或者单向麦克风的组合,安装的位置可以是比如头部、颈部、背部甚至机械手臂和履带/轮式移动机械装置的表面。一种可选的实现方式中,语言模块采用自然语言处理算法,将语音信号转换成文本,并且根据合适的语言规则进行语义纠错和语义分析处理,进一步转换成可以处理的文字记录,该文字记录再进一步解析以理解交互对象的意图,自然语言处理算法中的文字记录格式可以采用例如扩充巴科斯范式(Backus-NaurForm,BNF)标记、java语言语法格式(Java Speech Grammar Format,JSGF)或话音识别语法格式(Speech recognition Grammar Format,SRGF)等,当收集到很多交互对象的用户话音数据后,可以通过机器学习引擎910引入统计算法,进一步提高语音识别的准确度,并刷新交互对象的语音模型。语言模块900中具备的说话人识别模块,可以对交互对象的说话人身份进行识别,区分出是被陪护对象还是其监护人,或者是提供辅助的教师甚至是保姆;内容管理模块根据说话人身份、第三方网络云服务机构的云存储和云计算提供的用户数据和交互内容包,输出语音交互的内容信息,由决策&执行器发出指令,在看护机器人的用户交互界面,以声音、文字、图像和灯光等方式输出;语音模型模块,可以根据交互对象的语音信息拟合出对象的语音模型,用来量化测评语音对象的语音特点,该模型也可以来自第三方网络云服务机构,例如提供儿童专业教育服务的商业机构的专业测试结果,机器学习引擎910给语音模块900提供机器学习模型,用于进一步训练和提高语音的机器识别效率和准确度,提高语音交互的内容质量。另外,图9中的语音信号处理模块采用的声音波束形成算法去除在特定方向之外的声音,获取该特定方位的声音信号,该声音波束形成算法也可以同时允许看护机器人周围多个方位的声音输入,语音信号处理模块也可以包括语音/非语音检测算法,用于识别声音源的属性是人还是其他音源,语音信号处理模块还可以包括环境噪声抑制算法,比如可配置成由全向麦克风采集环境噪声信号,或者由安装在履带/轮式移动机械装置的表面采集的机械装置运行的噪声,或者是来自看护机器人周边各个方位的强度接近的环境噪声等,环境噪声抑制算法在声音合成处理时减去这些环境噪声信号,提高有用信号的强度。在另一些可行的实施例中,声音的波束方向信息还可以与视觉模块捕获的的图像结合,计算识别发出声音的对象的属性是被陪护对象,还是其他人或者其他环境声源。视觉模块可以结合履带/轮式移动机械装置的拖动,将机器人的视觉方位朝向声源的方位,提高声音的识别效率。
本发明实施例中,看护机器人的视觉模块是看护机器人的“眼睛”,具体结构如图10中的1000所示,包括:定位和地图构建(Simultaneous Localization and Mapping,SLAM)、眼动跟踪、人脸识别、图像分割、图像检索、图像分类和视觉模型等子功能模块。视觉模块的输入的信号是经过图像信号处理的摄像头阵列采集到的视频或者图像信号,摄像头阵列可以是一组具有多个相机(Camera)的传感器,具体为,具备图像深度检测能力的双摄像头模组,其中一个彩色摄像头获取对象的平面彩色图像信息,另一个红外的摄像头同时获取目标的深度信息,该摄像头阵列可检测目标的轮廓、表面状态、运动状态和颜色。摄像头阵列可配置成获取被感测目标的环境中被看护对象的情感状态,例如,视觉模块可设置为附近环境中是否有人存在,并获取该对象的面部表情,并采用情感识别算法预测该对象当前的情感状态。当被陪护对象发出短暂的“Ah…”的声音时,看护机器人的麦克风阵列及传感器组接收到该声音来自周围环境的某个方位并达到了一定的强度,看护机器人被从休眠状态中激活,语言模块计算出声源的方位,发出驱动信号,由决策/执行模块驱动履带/轮式移动机械装置将摄像头转向该声源的方位,开启视觉模块获取该方位的平面彩色图像,探测目标的深度,启动人脸识别、图像分割模块截取目标的脸部表情图像,由图像检索模块在存储器中搜索该视觉范围内有没有匹配的已注册的人脸图像,若匹配到已注册的人脸图像,则进一步获取被看护对象的脸部表情图像,并和被看护对象的声音信号一起发送到语言模块中的情绪识别模块判断对象的情绪状态,识别出被看护对象是喜悦、生气、轻视、厌恶、害怕、悲伤、困惑、受挫或惊讶等某一种情绪,并输出一个情感状态参数矩阵,若图像检索模块没有匹配到已注册的人脸图像,则机器人切换到休眠状态。视觉模块的人脸识别模块可以实现主动的人体跟踪,具体的,视觉模块中的图像分类模块可以识别出人体对象的面部,结合来自摄像头阵列获取的带深度的目标人体图像和其他传感器的识别信号,例如红外距离传感器、无线射频识别(Radio-frequency identification,RFID)检测传感器等,结合目标图像的深度信息,将被看护对象的面部、头部、躯干、手臂等部位从图像背景中分离出来,从而获取识别被看护对象人体的面部部位、人体的骨架、身体姿势等,并可以根据捕获的人体目标实现目标跟踪、运动轨迹的预测。可选的,摄像头阵列也可以用于跟踪被看护对象的手部动作,采用手势识别算法实现目标手势的跟踪和手势指令识别。视觉模块具备的眼动跟踪模块,通过人体对象眼部图像的捕捉用户的视线和关注焦点,根据用户眼睛关注焦点的转移,焦点停留的时间,闭眼的动作和持续时间,以及眨眼的频率等,预测用户当前的兴趣关注点。可选的,视觉模块包括的定位和地图构建功能模块,在看护机器人与被看护对象的互动场景中,通过对被看护对象的动态跟踪,看护环境下的参照物和障碍物的识别情况,构建出当前场景下的看护机器人所处的室内/室外地图,并同步确定看护机器人在当前地图中的位置,规划出看护机器人下一步的运动路线。具体的,可以利用混合当前统计模型的交互式多模型(Interacting Multiple Model,IMM)方法来预测随机目标的轨迹,并采用最近邻数据关联方法将动态随机目标关联到地图中,构建的地图由静态特征点和随机目标的轨迹组成。当在场景中可能存在多个交互对象的情形下,定位和地图构建模块可以记忆进入该交互场景的多个交互对象的序列数据,某个时间间隔之后,看护机器人能够转动身体使得摄像头阵列扫描之前记忆的多个交互对象的位置,以刷新记忆中的交互对象的序列数据,形成新的交互对象的序列数据。例如,该特征也可以采用语音交互的方式来提高交互对象的序列数据的准确性,比如看护机器人可以说:“小宝,你好”,然后根据交互的对象的响应的语音表情、或身体姿势的识别,确认该交互对象是否是“小宝”,刷新记忆中的“小宝”的序列数据。
本发明实施例中,看护机器人的表情和情绪模块是看护机器人的“脸”,具体结构如图11的1100所示,包括:表情识别、情感表达、情感阈值、情感模型子功能模块。看护机器人与被看护对象互动时,表情/情绪模块用于实现情感识别和情感表达功能。情感识别的主要内容包括心理社交感知、心理社交学习两个方面。心理社交感知的外部信号可由传感器模组来获取,包括看护机器人与被看护对象互动时获取的自然社交场面的线索的集成机器感知,例如,语音语调、交谈语义、面部表情、眼睛关注点、身体姿势和运动轨迹、触摸手势等。心理社交学习包括机器学习的算法,根据传感器模组获取的自然社交场面的多类数据来分析被看护对象的身份、活动模式、偏好和兴趣,例如记录被看护对象的的语音样本并且利用语音识别模块来检测被看护对象的身份,然后可以根据被看护对象的身份从网络获取第三方网络云服务机构、教育机构、或社交应用等授权的更多的个人信息,并在情感模块中完成对象的情感模型的建立或更新。表情识别模块通过摄像头阵列实时捕获被看护对象的面部表情,将捕获的面部表情转化为表情参数矩阵,和存储在本地存储或者云存储中的已有的被看护对象的人脸表情图像样本训练集的参数矩阵进行数字特征的比较,若与人脸表情图像样本训练集的参数矩阵中的数字特征相似度很高或者匹配,则判断该被看护对象此时的面部表情就是该样本训练集中定义的面部表情。具体的,若待识别面部表情的参数矩阵数字特征为A,而样本训练集存储的表情图像的数字特征为B,若A和B的差异小于某设定的阈值,则认为捕获的面部表情和存储的表情图像匹配,若A和B的差异大于或等于某设定的阈值,则将待识别的面部表情A添入到样本训练集的另一组人脸表情图像B’中,不断重复上述步骤,直至匹配到与待识别的面部表情A匹配的唯一一组人脸表情图像,完成表情识别过程。若无法在样本训练集中找到与待识别人脸表情图像匹配的唯一一组人脸表情图像时,则执行样本训练,上述样本训练具体的过程是将设定的阈值调大,重复匹配步骤,直至找到与待识别的面部表情A匹配的唯一一组人脸表情图像,如果在样本训练集中找到与待识别人脸表情图像匹配的至少二组人脸表情图像时,则将设定的阈值调小,重复上述匹配步骤,直至匹配到与待识别的面部表情A匹配的唯一一组人脸表情图像,匹配过程结束。情感表达模块根据被看护对象的情感模型所对应的情感属性,情感模型可以根据表情识别通过机器学习获得。看护机器人通过被看护对象的人脸表情识别得知被看护对象处于正向情绪,例如微笑、平静、满意等,则选择被看护对象能接受的表达内容和表达方式,例如,输出新的对话和新知识。但看护机器人判断被看护对象的表情处于负向情绪,里如,疲惫、迟钝、困惑等,则对当前的互动交流模式进行调整,例如适当地停顿,降低语音的速率,输出激励的语言、模拟笑脸,或者切换为缓慢的音乐背景等,使被看护对象保持一个相对稳定的情绪状态,避免负面情绪蔓延。可选的,也可以对同一内容采用不同表述形式,例如将文字变换为彩色图形等。由于需要表达的内容方式有多种,可以采用机器学习的方式,采用多个序列的学习模型,根据内容对象的内容和交互对象的智慧类型,以及用户偏好的表述模式不断优化表述方式的转换方式,达到高效交互的目的。在实际的实施过程中,对于每个需要交互的内容可以使用多种形式的交互界面设计,例如交互可以设置为一次只有一个输入的单步模式,或同时输入语音、触摸控制和图像信息的同步模式,输出也可以采用输出自然语言、音效或者音乐、位置移动、显示文本/图形/图像/视频、灯光效果的多媒体方式输出。情感阈值模块在识别和预测被看护对象的情感状态过程中,随时监控被看护对象的情感阈值,以维持有效地可持续的沟通状态。情感阈值指的是在被看护对象在各种与环境互动的过程中,在外界环境刺激下发生情感崩溃之前的一个情感临界值。例如,被看护对象在互动过程中情绪已经出现波动,再继续持续当前的互动模式时,被看护对象的情绪就会崩溃,可能发怒、大哭、大闹等,也可能是被看护对象已经开始忍受环境的强烈刺激,如果再不调整互动策略时,被看护对象的心理将会受到很大伤害,上述临界状态的情感状态就是的情感阈值。当情感阈值设置过高,例如,在儿童课堂教育场景中,如果有孩子频繁请求回答提问,但是由于看护机器人设置的情感阈值过高,没有提醒知道指导老师及时给予该学生表现的机会,可能会影响学生的积极性,影响长期的教学效果。当把情感阈值设得过低,又有可能在教学的过程中产生过多的无效消息提醒,最终导致系统效率太低不可用。为解决上述问题,看护机器人互动的过程中情感阈值实现动态智能化调整,采用机器学习中的强化学习方法来获得更适应于当前会话和互动场景下合适的环境情感阈值,例如采用Q-Learning算法,该算法主要的学习目标是在不确定的会话场景及环境下根据评价函数来选择一个最优情感阈值π,使得在学习时间内获得的累计折扣回报最大。当互动过程当情感参数接近或者超过阈值π时,看护机器人主动调整交流和互动策略,或者通过声音、图形、文字或者灯光提醒操作者或监护人调整交流和互动策略。情感模型模块根据传感器模块捕获的被看护对象的面部表情、语音语调、身体姿势、运动状态、室内/室外的位置、生物信号等实时信息,输出和匹配当前用户的的情感模型。其中,情感模型参数的一种常见量化方式是输出对象的情感状态参数矩阵。情感表达的内容由内容聚合模块来实现,内容聚合模块根据被看护对象的情感模型的的情感状态参数矩阵,匹配出与被看护对象互动过程中的策略和需执行的交互任务和活动内容清单,该清单包括但不限于机械位置移动、模拟显示表情、灯光效果、音乐播放、文字、图案、适当的语速、语音、语调和交谈内容等多种交互形式,并形成控制指令,由决策&执行器驱动执行装置,由相应的硬件功能模块完成交互任务。
基于与方法实施例同样的发明构思,本申请还提供了一种模型引擎,如图12所示,包括:
模型生成模块1201,用于接收到目标对象的数据,生成目标对象的成长模型能力参数矩阵,其中,所述数据中包括所述目标对象的能力参数,所述能力参数包括实测能力参数以及所述目标对象对应的统计能力参数,生成的所述目标对象的成长模型能力参数矩阵中包括所述能力参数,以及根据所述能力参数计算出的能力参数调整值和综合能力参数。
模型修正模块1202,用于根据调整公式系数或者根据标准的成长模型能力参数矩阵对所述成长模型能力参数矩阵中的能力参数调整值进行调整,确定出调整后的所述能力参数调整值,其中,所述公式为根据所述能力参数计算出的综合能力参数和能力参数调整值所使用的。
所述模型修正模块1202还用于,判断调整后的所述能力参数调整值是否超过预设阈值;
若所述调整后的能力参数调整值在所述预设阈值范围内,所述模型引擎将调整后的所述能力参数调整值发送给机器学习引擎,其中,所述机器学习引擎根据所述能力参数调整值为人工智能模块提供与所述目标对象交互时所需要的能力参数。
在一种可选的实施例中,模型引擎为儿童陪护机器人的人工智能模块提供机器学习和训练的的模型,以实现效用的最大化。具体结构如图13所示,看护机器人的人工智能模块根据传感器模块获取的交互对象实时的自然社交场面的数据,经过人工智能模块进行训练和学习,得到被看护对象的环境数据1301,其中,训练和学习的值模板包含但不限于语言模块、视觉模块、表情/情绪模块,被看护对象的环境数至少包括语音、视觉模型、情感的机器感知数据,还包括至少一家第三方网络云服务机构提供的第三方能力评估报告提供的测试数据1302;具体的,环境数据1301和测试数据1302是格式不完全相同,例如环境数据1301的格式是参数矩阵,测试数据1302的格式是固定格式的WORD文档,环境数据和测试数据经过数据格式转化1303的处理,输入到智能引擎1304进行机器学习和训练,得到包含多个类别的用户特征的用户成长模型1305,用户成长模型1305可以采用成长模型能力参数矩阵来体现,其中,图13中还包括模型修正模块1306、机器学习引擎1307、人工智能模块1308、决策和执行器1309、第三方成长模型1310以及用户偏好设置1311。
本发明实施例中,通过自适应适配和机器学习更好地匹配用户的特征和需求,不断优化特定情形下和被看护对象的情感交流方式;获取来自多个信息源的信息,包括用户偏好设置、传感器模块、其他移动智能装置的信息、GPS信号、来自互联网的第三方网络云服务机构的数据等,通过机器学习等方式不断获取和识别被看护的使用环境,适配和改进看护机器人的服务方式和内容。
本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,另外,在本申请各个实施例中的各功能模块可以集成在一个处理器中,也可以是单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
其中,集成的模块既可以采用硬件的形式实现时,如图14所示,模型引擎可以包括处理器1402。上述模块对应的实体的硬件可以为处理器1402。处理器1402,可以是一个中央处理模块(英文:central processing unit,简称CPU),或者为数字处理模块等等。模型引擎还可以包括通信接口1401,处理器1402通过通信接口1401接收数据。该装置还包括:存储器1403,用于存储处理器1402执行的程序。存储器1403可以是非易失性存储器,比如硬盘(英文:hard disk drive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD)等,还可以是易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM)。存储器1403是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
处理器1402用于执行存储器1403存储的程序代码,具体用于执行图4所示实施例所述的方法。可以参见图4所示实施例所述的方法,本申请在此不再赘述。
本申请实施例中不限定上述通信接口1401、处理器1402以及存储器1403之间的具体连接介质。本申请实施例在图14中以存储器1403、处理器1402以及通信接口1401之间通过总线1404连接,总线在图14中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图14中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本发明实施例还提供了一种计算机可读存储介质,用于存储为执行上述处理器所需执行的计算机软件指令,其包含用于执行上述处理器所需执行的程序。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种看护机器人的数据处理方法,其特征在于,所述方法包括:
模型引擎接收到目标对象的数据,生成目标对象的成长模型能力参数矩阵,其中,所述数据中包括所述目标对象的能力参数,所述能力参数包括实测能力参数以及所述目标对象对应的统计能力参数,生成的所述目标对象的成长模型能力参数矩阵中包括所述能力参数,以及根据所述能力参数计算出的能力参数调整值和综合能力参数;
所述模型引擎根据调整公式系数或者根据标准的成长模型能力参数矩阵对所述成长模型能力参数矩阵中的能力参数调整值进行调整,确定出调整后的所述能力参数调整值,其中,所述公式为根据所述能力参数计算出的综合能力参数和能力参数调整值所使用的;
所述模型引擎判断调整后的所述能力参数调整值是否超过预设阈值;
若所述调整后的能力参数调整值在所述预设阈值范围内,所述模型引擎将调整后的所述能力参数调整值发送给机器学习引擎,其中,所述机器学习引擎根据所述能力参数调整值为人工智能模块提供与所述目标对象交互时所需要的能力参数。
2.如权利要求1所述的方法,其特征在于,模型引擎接收到目标对象的数据,生成目标对象的成长模型能力参数矩阵,具体包括:
所述模型引擎接收到目标对象的能力参数,将接收到的所述能力参数进行计算,确定出能力参数调整值和综合能力参数,将所述能力参数、所述能力参数调整值以及所述综合能力参数添加到设定的能力参数矩阵模板中,生成目标对象的成长模型能力参数矩阵。
3.如权利要求1所述的方法,其特征在于,所述模型引擎对所述成长模型能力参数矩阵中的能力参数调整值进行调整,确定出调整后的所述能力参数调整值之后,该方法还包括:
所述模型引擎根据接收到的人为调整能力参数的指令,对所述成长模型能力参数矩阵中的能力参数进行调整,根据调整后的能力参数,确定出调整后的所述能力参数调整值。
4.如权利要求1~3中任一项所述的方法,其特征在于,所述调整后的能力参数调整值的加权平均值大于或等于调整前的所述实测能力参数的加权平均值。
5.一种模型引擎,其特征在于,所述模型引擎包括:
模型生成模块,用于接收到目标对象的数据,生成目标对象的成长模型能力参数矩阵,其中,所述数据中包括所述目标对象的能力参数,所述能力参数包括实测能力参数以及所述目标对象对应的统计能力参数,生成的所述目标对象的成长模型能力参数矩阵中包括所述能力参数,以及根据所述能力参数计算出的能力参数调整值和综合能力参数;
模型修正模块,用于根据调整公式系数或者根据标准的成长模型能力参数矩阵对所述成长模型能力参数矩阵中的能力参数调整值进行调整,确定出调整后的所述能力参数调整值,其中,所述公式为根据所述能力参数计算出的综合能力参数和能力参数调整值所使用的;
所述模型修正模块还用于,判断调整后的所述能力参数调整值是否超过预设阈值;
若所述调整后的能力参数调整值在所述预设阈值范围内,所述模型引擎将调整后的所述能力参数调整值发送给机器学习引擎,其中,所述机器学习引擎根据所述能力参数调整值为人工智能模块提供与所述目标对象交互时所需要的能力参数。
6.如权利要求5所述的模型引擎,其特征在于,所述模型生成模块具体用于:
接收到目标对象的能力参数,将接收到的所述能力参数进行计算,确定出能力参数调整值和综合能力参数,将所述能力参数、所述能力参数调整值以及所述综合能力参数添加到设定的能力参数矩阵模板中,生成目标对象的成长模型能力参数矩阵。
7.如权利要求5所述的模型引擎,其特征在于,所述模型修正模块还用于:
根据接收到的人为调整能力参数的指令,对所述成长模型能力参数矩阵中的能力参数进行调整,根据调整后的能力参数,确定出调整后的所述能力参数调整值。
8.如权利要求5~7中任一项所述的模型引擎,其特征在于,所述调整后的能力参数调整值的加权平均值大于或等于调整前的所述实测能力参数的加权平均值。
9.一种模型引擎,其特征在于,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,通过通信接口接收到目标对象的数据,生成目标对象的成长模型能力参数矩阵,其中,所述数据中包括所述目标对象的能力参数,所述能力参数包括实测能力参数以及所述目标对象对应的统计能力参数,生成的所述目标对象的成长模型能力参数矩阵中包括所述能力参数,以及根据所述能力参数计算出的能力参数调整值和综合能力参数;所述处理器根据调整公式系数或者根据标准的成长模型能力参数矩阵对所述成长模型能力参数矩阵中的能力参数调整值进行调整,确定出调整后的所述能力参数调整值,其中,所述公式为根据所述能力参数计算出的综合能力参数和能力参数调整值所使用的;所述处理器判断调整后的所述能力参数调整值是否超过预设阈值;若所述调整后的能力参数调整值在所述预设阈值范围内,所述处理器将调整后的所述能力参数调整值发送给机器学习引擎,其中,所述机器学习引擎根据所述能力参数调整值为人工智能模块提供与所述目标对象交互时所需要的能力参数。
10.如权利要求9所述的模型引擎,其特征在于,所述处理器具体用于:
通过通信接口接收到目标对象的能力参数,将接收到的所述能力参数进行计算,确定出能力参数调整值和综合能力参数,将所述能力参数、所述能力参数调整值以及所述综合能力参数添加到设定的能力参数矩阵模板中,生成目标对象的成长模型能力参数矩阵。
11.如权利要求9所述的模型引擎,其特征在于,所述处理器还用于:
根据接收到的人为调整能力参数的指令,对所述成长模型能力参数矩阵中的能力参数进行调整,根据调整后的能力参数,确定出调整后的所述能力参数调整值。
CN201710184421.8A 2017-03-24 2017-03-24 一种看护机器人的数据处理方法及装置 Active CN107030691B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201710184421.8A CN107030691B (zh) 2017-03-24 2017-03-24 一种看护机器人的数据处理方法及装置
PCT/CN2017/111312 WO2018171223A1 (zh) 2017-03-24 2017-11-16 一种看护机器人的数据处理方法及装置
JP2019552494A JP6816925B2 (ja) 2017-03-24 2017-11-16 育児ロボットのデータ処理方法及び装置
EP17901629.0A EP3593958B1 (en) 2017-03-24 2017-11-16 Data processing method and nursing robot device
KR1020197030811A KR102334942B1 (ko) 2017-03-24 2017-11-16 돌봄 로봇을 위한 데이터 처리 방법 및 장치
US16/579,261 US11241789B2 (en) 2017-03-24 2019-09-23 Data processing method for care-giving robot and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710184421.8A CN107030691B (zh) 2017-03-24 2017-03-24 一种看护机器人的数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN107030691A true CN107030691A (zh) 2017-08-11
CN107030691B CN107030691B (zh) 2020-04-14

Family

ID=59533431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710184421.8A Active CN107030691B (zh) 2017-03-24 2017-03-24 一种看护机器人的数据处理方法及装置

Country Status (6)

Country Link
US (1) US11241789B2 (zh)
EP (1) EP3593958B1 (zh)
JP (1) JP6816925B2 (zh)
KR (1) KR102334942B1 (zh)
CN (1) CN107030691B (zh)
WO (1) WO2018171223A1 (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107290975A (zh) * 2017-08-22 2017-10-24 重庆锐纳达自动化技术有限公司 一种家居智能机器人
CN107945799A (zh) * 2017-12-18 2018-04-20 深圳市今视通数码科技有限公司 一种多功能语音交互智能机器
CN107953345A (zh) * 2017-12-27 2018-04-24 杨宇辰 面向儿童的熊猫造型智能教育陪护机器人
CN108000529A (zh) * 2017-12-08 2018-05-08 子歌教育机器人(深圳)有限公司 智能机器人
CN108062416A (zh) * 2018-01-04 2018-05-22 百度在线网络技术(北京)有限公司 用于在地图上生成标签的方法和装置
CN108563138A (zh) * 2018-07-04 2018-09-21 深圳万发创新进出口贸易有限公司 一种智能家居系统
WO2018171223A1 (zh) * 2017-03-24 2018-09-27 华为技术有限公司 一种看护机器人的数据处理方法及装置
CN108837510A (zh) * 2018-06-27 2018-11-20 腾讯科技(深圳)有限公司 信息的展示方法和装置、存储介质、电子装置
CN109157842A (zh) * 2018-08-30 2019-01-08 网宿科技股份有限公司 一种基于机器学习的养成类游戏角色的培养方法和装置
CN109794065A (zh) * 2019-01-28 2019-05-24 网易(杭州)网络有限公司 游戏角色创建方法、装置、电子设备及存储介质
CN109885104A (zh) * 2017-12-06 2019-06-14 湘潭宏远电子科技有限公司 一种终端跟踪系统
CN109903843A (zh) * 2019-01-24 2019-06-18 上海联影医疗科技有限公司 医疗扫描设备的声源定位及语音采集系统和语音采集方法
CN109895107A (zh) * 2017-12-07 2019-06-18 卡西欧计算机株式会社 看护机器人、看护方法及记录介质
CN110633669A (zh) * 2019-09-12 2019-12-31 华北电力大学(保定) 家居环境中基于深度学习的移动端人脸属性识别方法
CN110888535A (zh) * 2019-12-05 2020-03-17 上海工程技术大学 一种可以提高现场真实感的ar系统
CN111163906A (zh) * 2017-11-09 2020-05-15 三星电子株式会社 能够移动的电子设备及其操作方法
WO2020107184A1 (zh) * 2018-11-26 2020-06-04 华为技术有限公司 一种模型选择方法和终端
CN111508530A (zh) * 2020-04-13 2020-08-07 腾讯科技(深圳)有限公司 语音情感识别方法、装置及存储介质
CN112365580A (zh) * 2020-11-16 2021-02-12 同济大学 一种面向人机技能传授的虚拟作业演示系统
CN112382280A (zh) * 2020-11-10 2021-02-19 深圳供电局有限公司 一种语音交互方法及设备
CN113580166A (zh) * 2021-08-20 2021-11-02 安徽淘云科技股份有限公司 一种拟人化机器人的交互方法、装置、设备及存储介质
WO2022121113A1 (zh) * 2020-12-10 2022-06-16 山西慧虎健康科技有限公司 一种智能情绪识别调节方法及系统
CN114762981A (zh) * 2020-12-30 2022-07-19 广州富港生活智能科技有限公司 交互方法及相关装置
TWI823055B (zh) * 2020-12-09 2023-11-21 英華達股份有限公司 電子資源推送方法及系統

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017250598B2 (en) * 2016-04-14 2021-09-23 Deka Products Limited Partnership User control device for a transporter
US10997724B2 (en) * 2016-12-15 2021-05-04 General Electric Company System and method for image segmentation using a joint deep learning model
JP6729424B2 (ja) * 2017-01-30 2020-07-22 富士通株式会社 機器、出力装置、出力方法および出力プログラム
US10460415B2 (en) * 2017-04-10 2019-10-29 Intel Corporation Contextual configuration adjuster for graphics
US11106917B2 (en) * 2017-07-04 2021-08-31 Turing Video Surveillance system with human-machine interface
KR102495359B1 (ko) * 2017-10-27 2023-02-02 삼성전자주식회사 객체 트래킹 방법 및 장치
CN109767774A (zh) * 2017-11-08 2019-05-17 阿里巴巴集团控股有限公司 一种交互方法和设备
US10783329B2 (en) * 2017-12-07 2020-09-22 Shanghai Xiaoi Robot Technology Co., Ltd. Method, device and computer readable storage medium for presenting emotion
FR3080926B1 (fr) * 2018-05-04 2020-04-24 Spoon Procede de commande d'une pluralite d'effecteurs d'un robot
JP7151181B2 (ja) * 2018-05-31 2022-10-12 トヨタ自動車株式会社 音声対話システム、その処理方法及びプログラム
JP7326707B2 (ja) 2018-06-21 2023-08-16 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
US11570016B2 (en) * 2018-12-14 2023-01-31 At&T Intellectual Property I, L.P. Assistive control of network-connected devices
US20200306960A1 (en) * 2019-04-01 2020-10-01 Nvidia Corporation Simulation of tasks using neural networks
CN111954206B (zh) * 2019-05-17 2024-04-09 株式会社Ntt都科摩 终端和基站
JP7392306B2 (ja) * 2019-07-12 2023-12-06 コニカミノルタ株式会社 情報処理システム、情報処理方法、及びプログラム
US11806288B2 (en) * 2019-10-28 2023-11-07 Ambulatus Robotics LLC Autonomous robotic mobile support system for the mobility-impaired
KR102350752B1 (ko) * 2019-11-20 2022-01-13 장은영 로봇을 이용한 돌봄장치
WO2020190362A2 (en) * 2020-01-17 2020-09-24 Futurewei Technologies, Inc. A social interaction robot
CN111267099B (zh) * 2020-02-24 2023-02-28 东南大学 基于虚拟现实的陪护机器控制系统
US20210302922A1 (en) * 2020-03-26 2021-09-30 MeetKai, Inc. Artificially intelligent mechanical system used in connection with enabled audio/video hardware
US11461216B1 (en) 2020-05-18 2022-10-04 Vignet Incorporated Monitoring and improving data collection using digital health technology
KR102415997B1 (ko) * 2020-11-05 2022-07-05 (주)로보티즈 사용자의 돌봄 감성을 자극하는 반려 로봇
CN112667823B (zh) * 2020-12-24 2022-11-01 西安电子科技大学 一种机械臂任务执行序列的语义解析方法、系统及计算机可读介质
CN112733763B (zh) * 2021-01-15 2023-12-05 北京华捷艾米科技有限公司 人机语音交互的实现方法及装置、电子设备、存储介质
CN113031434B (zh) * 2021-02-03 2022-06-24 中国地质大学(武汉) 时滞多柔性摆臂系统分数阶自适应控制方法及装置
CN113160629A (zh) * 2021-05-06 2021-07-23 吉林工程技术师范学院 一种具有情感识别功能的人机协同学习用教育机器人
CN114999534A (zh) * 2022-06-10 2022-09-02 中国第一汽车股份有限公司 一种车载音乐的播放控制方法、装置、设备和存储介质
CN116360764B (zh) * 2023-04-03 2023-12-05 北京柏睿数据技术股份有限公司 一种可视化建模平台的模型优化方法和系统
KR102643720B1 (ko) 2023-12-12 2024-03-06 주식회사 서랩 로봇용 인공지능 인터페이스 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040167668A1 (en) * 2003-02-24 2004-08-26 Yulun Wang Healthcare tele-robotic system with a robot that also functions as a remote station
CN102077260A (zh) * 2008-06-27 2011-05-25 悠进机器人股份公司 利用机器人的交互式学习系统和在儿童教育中操作该系统的方法
KR20140077726A (ko) * 2012-12-14 2014-06-24 한국전자통신연구원 유아용 모니터링 로봇
CN104635574A (zh) * 2014-12-15 2015-05-20 山东大学 一种面向幼儿的早教陪护机器人系统
CN105126355A (zh) * 2015-08-06 2015-12-09 上海元趣信息技术有限公司 儿童陪伴机器人与儿童陪伴系统
CN106272449A (zh) * 2015-05-27 2017-01-04 鸿富锦精密工业(深圳)有限公司 人机交互型看护机器人

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3877283B2 (ja) * 2001-10-19 2007-02-07 株式会社ジィエフケー 電子学習装置
KR100580617B1 (ko) * 2001-11-05 2006-05-16 삼성전자주식회사 오브젝트 성장제어 시스템 및 그 방법
JP2005250423A (ja) * 2004-03-08 2005-09-15 Haruhiko Nitta 語学学習システム
JP4595436B2 (ja) 2004-03-25 2010-12-08 日本電気株式会社 ロボット、その制御方法及び制御用プログラム
US8583282B2 (en) * 2005-09-30 2013-11-12 Irobot Corporation Companion robot for personal interaction
EP2267568B1 (en) * 2005-12-02 2014-09-24 iRobot Corporation Autonomous coverage robot navigation system
US8265793B2 (en) * 2007-03-20 2012-09-11 Irobot Corporation Mobile robot for telecommunication
WO2009038772A2 (en) * 2007-09-20 2009-03-26 Evolution Robotics Transferable intelligent control device
JP2009199396A (ja) * 2008-02-22 2009-09-03 Fun Team Co Ltd 実務的能力診断システム
US8935005B2 (en) * 2010-05-20 2015-01-13 Irobot Corporation Operating a mobile robot
FR2962048A1 (fr) * 2010-07-02 2012-01-06 Aldebaran Robotics S A Robot humanoide joueur, methode et systeme d'utilisation dudit robot
US8499379B2 (en) * 2010-07-30 2013-08-06 Toyota Motor Engineering & Manufacturing North America, Inc. Robotic posture transfer assist devices and methods
US9026248B1 (en) * 2011-05-06 2015-05-05 Google Inc. Methods and systems for multirobotic management
US9656392B2 (en) * 2011-09-20 2017-05-23 Disney Enterprises, Inc. System for controlling robotic characters to enhance photographic results
US9744672B2 (en) * 2011-11-16 2017-08-29 University Of South Florida Systems and methods for communicating robot intentions to human beings
ES2812568T3 (es) * 2012-01-25 2021-03-17 Omron Tateisi Electronics Co Robot móvil autónomo para ejecutar asignaciones de trabajo en un entorno físico en el que hay obstáculos estacionarios y no estacionarios
US8918208B1 (en) * 2012-02-07 2014-12-23 Ryan Hickman Projection of interactive map data
US20140324749A1 (en) 2012-03-21 2014-10-30 Alexander Peters Emotional intelligence engine for systems
US20140248597A1 (en) * 2012-05-16 2014-09-04 Age Of Learning, Inc. Interactive learning path for an e-learning system
WO2013176758A1 (en) * 2012-05-22 2013-11-28 Intouch Technologies, Inc. Clinical workflows utilizing autonomous and semi-autonomous telemedicine devices
US8958912B2 (en) * 2012-06-21 2015-02-17 Rethink Robotics, Inc. Training and operating industrial robots
US9186793B1 (en) * 2012-08-31 2015-11-17 Brain Corporation Apparatus and methods for controlling attention of a robot
KR20140035031A (ko) * 2012-09-13 2014-03-21 최문형 유아 체육 영재지수화 및 레벨 분류 방법
US9393695B2 (en) * 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US20150314454A1 (en) 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US9314924B1 (en) * 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
US9694495B1 (en) * 2013-06-24 2017-07-04 Redwood Robotics Inc. Virtual tools for programming a robot arm
US9302393B1 (en) * 2014-04-15 2016-04-05 Alan Rosen Intelligent auditory humanoid robot and computerized verbalization system programmed to perform auditory and verbal artificial intelligence processes
KR101667281B1 (ko) * 2014-06-13 2016-10-19 (주) 미디어인터랙티브 인지능력 훈련 장치 및 방법, 그리고 그 방법이 기록된 컴퓨터-판독가능한 저장매체
US9050723B1 (en) * 2014-07-11 2015-06-09 inVia Robotics, LLC Human and robotic distributed operating system (HaRD-OS)
US10768708B1 (en) * 2014-08-21 2020-09-08 Ultrahaptics IP Two Limited Systems and methods of interacting with a robotic tool using free-form gestures
US9902061B1 (en) * 2014-08-25 2018-02-27 X Development Llc Robot to human feedback
US9849588B2 (en) * 2014-09-17 2017-12-26 Brain Corporation Apparatus and methods for remotely controlling robotic devices
US9352470B1 (en) * 2014-11-11 2016-05-31 Google Inc. Yaw slip handling in a robotic device
US10618174B2 (en) * 2014-12-09 2020-04-14 Aeolus Robotics, Inc. Robotic Touch Perception
US9499218B1 (en) * 2014-12-30 2016-11-22 Google Inc. Mechanically-timed footsteps for a robotic device
US9586318B2 (en) * 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
CN104808487A (zh) * 2015-03-03 2015-07-29 台州学院 一种神经网络自适应鲁棒轨迹跟踪方法及控制器
WO2016178772A1 (en) * 2015-04-05 2016-11-10 Smilables Inc. Remotely aggregating and analyzing measurement data from multiple infant monitoring systems
US9910761B1 (en) * 2015-06-28 2018-03-06 X Development Llc Visually debugging robotic processes
US9975243B2 (en) * 2015-08-31 2018-05-22 Avaya Inc. Movement and interaction verification
US10124491B2 (en) * 2015-08-31 2018-11-13 Avaya Inc. Operational parameters
US9586316B1 (en) * 2015-09-15 2017-03-07 Google Inc. Determination of robotic step path
US9975241B2 (en) * 2015-12-03 2018-05-22 Intel Corporation Machine object determination based on human interaction
JP3204240U (ja) * 2016-02-26 2016-05-26 株式会社空間概念研究所 対話型又は探査型知育ロボット
AU2017250598B2 (en) * 2016-04-14 2021-09-23 Deka Products Limited Partnership User control device for a transporter
JP6713822B2 (ja) * 2016-05-13 2020-06-24 テルモ株式会社 無人航空機および医療支援方法
US10166676B1 (en) * 2016-06-08 2019-01-01 X Development Llc Kinesthetic teaching of grasp parameters for grasping of objects by a grasping end effector of a robot
US9868214B2 (en) * 2016-06-20 2018-01-16 X Development Llc Localization of a mobile system
CN106462255A (zh) * 2016-06-29 2017-02-22 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106530618B (zh) * 2016-12-16 2018-12-07 深圳市神州云海智能科技有限公司 一种机器人的看护方法及装置
CN107053191B (zh) * 2016-12-31 2020-05-08 华为技术有限公司 一种机器人,服务器及人机互动方法
CN106956271B (zh) * 2017-02-27 2019-11-05 华为技术有限公司 预测情感状态的方法和机器人
CN107030691B (zh) * 2017-03-24 2020-04-14 华为技术有限公司 一种看护机器人的数据处理方法及装置
CN106897802A (zh) * 2017-04-07 2017-06-27 华为技术有限公司 数据处理方法、装置和健身机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040167668A1 (en) * 2003-02-24 2004-08-26 Yulun Wang Healthcare tele-robotic system with a robot that also functions as a remote station
CN102077260A (zh) * 2008-06-27 2011-05-25 悠进机器人股份公司 利用机器人的交互式学习系统和在儿童教育中操作该系统的方法
KR20140077726A (ko) * 2012-12-14 2014-06-24 한국전자통신연구원 유아용 모니터링 로봇
CN104635574A (zh) * 2014-12-15 2015-05-20 山东大学 一种面向幼儿的早教陪护机器人系统
CN106272449A (zh) * 2015-05-27 2017-01-04 鸿富锦精密工业(深圳)有限公司 人机交互型看护机器人
CN105126355A (zh) * 2015-08-06 2015-12-09 上海元趣信息技术有限公司 儿童陪伴机器人与儿童陪伴系统

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018171223A1 (zh) * 2017-03-24 2018-09-27 华为技术有限公司 一种看护机器人的数据处理方法及装置
US11241789B2 (en) 2017-03-24 2022-02-08 Huawei Technologies Co., Ltd. Data processing method for care-giving robot and apparatus
CN107290975A (zh) * 2017-08-22 2017-10-24 重庆锐纳达自动化技术有限公司 一种家居智能机器人
CN111163906A (zh) * 2017-11-09 2020-05-15 三星电子株式会社 能够移动的电子设备及其操作方法
CN109885104A (zh) * 2017-12-06 2019-06-14 湘潭宏远电子科技有限公司 一种终端跟踪系统
CN109895107B (zh) * 2017-12-07 2022-04-08 卡西欧计算机株式会社 看护机器人、看护方法及记录介质
CN109895107A (zh) * 2017-12-07 2019-06-18 卡西欧计算机株式会社 看护机器人、看护方法及记录介质
CN108000529A (zh) * 2017-12-08 2018-05-08 子歌教育机器人(深圳)有限公司 智能机器人
CN107945799A (zh) * 2017-12-18 2018-04-20 深圳市今视通数码科技有限公司 一种多功能语音交互智能机器
CN107953345A (zh) * 2017-12-27 2018-04-24 杨宇辰 面向儿童的熊猫造型智能教育陪护机器人
CN108062416A (zh) * 2018-01-04 2018-05-22 百度在线网络技术(北京)有限公司 用于在地图上生成标签的方法和装置
CN108062416B (zh) * 2018-01-04 2019-10-29 百度在线网络技术(北京)有限公司 用于在地图上生成标签的方法和装置
CN108837510A (zh) * 2018-06-27 2018-11-20 腾讯科技(深圳)有限公司 信息的展示方法和装置、存储介质、电子装置
CN108563138A (zh) * 2018-07-04 2018-09-21 深圳万发创新进出口贸易有限公司 一种智能家居系统
CN109157842A (zh) * 2018-08-30 2019-01-08 网宿科技股份有限公司 一种基于机器学习的养成类游戏角色的培养方法和装置
WO2020107184A1 (zh) * 2018-11-26 2020-06-04 华为技术有限公司 一种模型选择方法和终端
CN109903843A (zh) * 2019-01-24 2019-06-18 上海联影医疗科技有限公司 医疗扫描设备的声源定位及语音采集系统和语音采集方法
CN109794065A (zh) * 2019-01-28 2019-05-24 网易(杭州)网络有限公司 游戏角色创建方法、装置、电子设备及存储介质
CN109794065B (zh) * 2019-01-28 2022-02-11 网易(杭州)网络有限公司 游戏角色创建方法、装置、电子设备及存储介质
CN110633669B (zh) * 2019-09-12 2024-03-26 华北电力大学(保定) 家居环境中基于深度学习的移动端人脸属性识别方法
CN110633669A (zh) * 2019-09-12 2019-12-31 华北电力大学(保定) 家居环境中基于深度学习的移动端人脸属性识别方法
CN110888535A (zh) * 2019-12-05 2020-03-17 上海工程技术大学 一种可以提高现场真实感的ar系统
CN111508530B (zh) * 2020-04-13 2024-02-13 腾讯科技(深圳)有限公司 语音情感识别方法、装置及存储介质
CN111508530A (zh) * 2020-04-13 2020-08-07 腾讯科技(深圳)有限公司 语音情感识别方法、装置及存储介质
CN112382280A (zh) * 2020-11-10 2021-02-19 深圳供电局有限公司 一种语音交互方法及设备
CN112365580A (zh) * 2020-11-16 2021-02-12 同济大学 一种面向人机技能传授的虚拟作业演示系统
CN112365580B (zh) * 2020-11-16 2022-10-28 同济大学 一种面向人机技能传授的虚拟作业演示系统
TWI823055B (zh) * 2020-12-09 2023-11-21 英華達股份有限公司 電子資源推送方法及系統
WO2022121113A1 (zh) * 2020-12-10 2022-06-16 山西慧虎健康科技有限公司 一种智能情绪识别调节方法及系统
CN114762981A (zh) * 2020-12-30 2022-07-19 广州富港生活智能科技有限公司 交互方法及相关装置
CN114762981B (zh) * 2020-12-30 2024-03-15 广州富港生活智能科技有限公司 交互方法及相关装置
CN113580166B (zh) * 2021-08-20 2023-11-28 安徽淘云科技股份有限公司 一种拟人化机器人的交互方法、装置、设备及存储介质
CN113580166A (zh) * 2021-08-20 2021-11-02 安徽淘云科技股份有限公司 一种拟人化机器人的交互方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP3593958A1 (en) 2020-01-15
EP3593958B1 (en) 2022-01-05
CN107030691B (zh) 2020-04-14
JP6816925B2 (ja) 2021-01-20
US11241789B2 (en) 2022-02-08
KR102334942B1 (ko) 2021-12-06
WO2018171223A1 (zh) 2018-09-27
KR20190126906A (ko) 2019-11-12
EP3593958A4 (en) 2020-03-18
JP2020511324A (ja) 2020-04-16
US20200016745A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
CN107030691A (zh) 一种看护机器人的数据处理方法及装置
US11670324B2 (en) Method for predicting emotion status and robot
WO2021043053A1 (zh) 一种基于人工智能的动画形象驱动方法和相关装置
US11858118B2 (en) Robot, server, and human-machine interaction method
Kachouie et al. Socially assistive robots in elderly care: a mixed-method systematic literature review
Vinola et al. A survey on human emotion recognition approaches, databases and applications
CN110349667B (zh) 结合调查问卷及多模态范式行为数据分析的孤独症评估系统
CN106997243B (zh) 基于智能机器人的演讲场景监控方法及装置
US11017551B2 (en) System and method for identifying a point of interest based on intersecting visual trajectories
Yang et al. AI-enabled emotion-aware robot: The fusion of smart clothing, edge clouds and robotics
CN108886532A (zh) 用于操作个人代理的装置和方法
CN107004373A (zh) 信息处理装置、信息处理方法以及计算机程序
CN111081371A (zh) 基于虚拟现实的孤独症早期筛查评估系统及方法
CN110069707A (zh) 一种人工智能自适应互动教学系统
US20190251350A1 (en) System and method for inferring scenes based on visual context-free grammar model
WO2018000267A1 (zh) 一种机器人交互内容的生成方法、系统及机器人
CN109891357A (zh) 情感智能陪伴装置
CN110134863A (zh) 应用程序推荐的方法及装置
CN111949773A (zh) 一种阅读设备、服务器以及数据处理的方法
CN114662606A (zh) 行为识别方法及装置、计算机可读介质和电子设备
US20210201139A1 (en) Device and method for measuring a characteristic of an interaction between a user and an interaction device
Jang et al. Project AIR: Developing Artificial Social Intelligence for Human-Care Robots
Jayakumar Voice Assisted Facial Emotion Recognition System For Blind Peoples With Tensorflow Model
Sreekrishna et al. Emotional Evaluation of Facial Tension Using LSTM for Psychological Assessments
Gao Application of multimodal perception scenario construction based on IoT technology in university music teaching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant