CN106557163A - 基于智能机器人视觉记忆的多模态交互方法、装置和系统 - Google Patents

基于智能机器人视觉记忆的多模态交互方法、装置和系统 Download PDF

Info

Publication number
CN106557163A
CN106557163A CN201611020226.3A CN201611020226A CN106557163A CN 106557163 A CN106557163 A CN 106557163A CN 201611020226 A CN201611020226 A CN 201611020226A CN 106557163 A CN106557163 A CN 106557163A
Authority
CN
China
Prior art keywords
user
modal
array
similarity
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611020226.3A
Other languages
English (en)
Inventor
王成丞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guangnian Wuxian Technology Co Ltd
Original Assignee
Beijing Guangnian Wuxian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guangnian Wuxian Technology Co Ltd filed Critical Beijing Guangnian Wuxian Technology Co Ltd
Priority to CN201611020226.3A priority Critical patent/CN106557163A/zh
Publication of CN106557163A publication Critical patent/CN106557163A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于智能机器人视觉记忆的多模态交互方法、装置和智能机器人操作系统，该方法包括：采集用户的人脸图像；生成与所述人脸图像对应的人脸数组，并计算所述人脸数组与预先存储的各样本数组的相似度；根据相似度判断所述用户是否为之前记忆的用户，在确定为之前记忆的用户时调取与所述用户对应的记忆信息，结合记忆信息生成多模态交互数据并输出。本发明能够提升机器人识别用户的能力，从而提高用户使用机器人的兴趣。

Description

基于智能机器人视觉记忆的多模态交互方法、装置和系统
技术领域
本发明涉及智能机器人领域，尤其涉及一种基于智能机器人视觉记忆的多模态交互方法、装置和系统。
背景技术
随着智能机器人产品的逐渐普及，在未来，家庭或商家都会对机器人有着越来越多的需求。
在与机器人进行交互时，机器人多数情况下面临的用户对象不唯一，不同的用户与同一机器人进行交互会产生不同的个性化的交互数据，若每一次与用户进行交互时都要重新记忆用户的信息，则会增加机器人的内部处理负担和降低用户的体验感。
因此，亟需提供一种能够提升机器人识别用户的能力，从而提高用户使用机器人的兴趣的解决方案。
发明内容
本发明所要解决的技术问题之一是需要提供一种能够提升机器人识别用户的能力的解决方案。
为了解决上述技术问题，本申请的实施例首先提供了一种基于智能机器人视觉记忆的多模态交互方法，该方法包括：采集用户的人脸图像；生成与所述人脸图像对应的人脸数组，并计算所述人脸数组与预先存储的各样本数组的相似度；根据相似度判断所述用户是否为之前记忆的用户，在确定为之前记忆的用户时调取与所述用户对应的记忆信息，结合记忆信息生成多模态交互数据并输出。
优选地，当相似度大于设定阈值时，确定所述用户与预先存储的样本用户匹配，调用与所述样本用户关联的记忆信息作为所述用户的记忆信息。
优选地，在计算所述人脸数组与预先存储的各样本数组的相似度的步骤中，将所述人脸数组与各样本数组相同位置的元素相乘并累加得到第一数值、将所述人脸数组的每个元素平方并累加得到第二数值、将各样本数组的每个元素平方并累加得到第三数值；将第一数值与第二数值的开方以及第三数值的开方进行比值计算得到所述人脸数组与各样本数组的相似度。
优选地，还包括：在相似度匹配失败时，输出询问该用户名称的多模态输出数据，并获取用户的名称，调用与该用户的名称对应的记忆信息，结合记忆信息生成多模态交互数据并输出。
根据本发明另一方面，还提供了一种基于智能机器人视觉记忆的多模态交互装置，该装置包括：人脸图像采集单元，其采集用户的人脸图像；相似度计算单元，其生成与所述人脸图像对应的人脸数组，并计算所述人脸数组与预先存储的各样本数组的相似度；多模态输出单元，其根据相似度判断所述用户是否为之前记忆的用户，在确定为之前记忆的用户时调取与所述用户对应的记忆信息，结合记忆信息生成多模态交互数据并输出。
优选地，所述多模态输出单元进一步执行如下操作：当相似度大于设定阈值时，确定所述用户与预先存储的样本用户匹配，调用与所述样本用户关联的记忆信息作为所述用户的记忆信息。
优选地，所述相似度计算单元进一步执行如下操作：将所述人脸数组与各样本数组相同位置的元素相乘并累加得到第一数值、将所述人脸数组的每个元素平方并累加得到第二数值、将各样本数组的每个元素平方并累加得到第三数值；将第一数值与第二数值的开方以及第三数值的开方进行比值计算得到所述人脸数组与各样本数组的相似度。
优选地，所述多模态输出单元进一步执行如下操作：在相似度匹配失败时，输出询问该用户名称的多模态输出数据，并获取用户的名称，调用与该用户的名称对应的记忆信息，结合记忆信息生成多模态交互数据并输出。
根据本发明另一方面，还提供了一种智能机器人操作系统，所述智能机器人操作系统安装于该智能机器人中，智能机器人操作系统该执行上述基于智能机器人视觉记忆的多模态交互方法。
优选地，通过应用程序APP的形式执行上述基于智能机器人视觉记忆的多模态交互方法，所述应用程序APP装载于所述智能机器人操作系统中。
与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
本发明实施例对采集到的用户的人脸图像进行处理，生成与人脸图像对应的人脸数组，并计算人脸数组与预先存储的各样本数组的相似度，并根据相似度判断所述用户是否为之前记忆的用户，在确定为之前记忆的用户时调取与所述用户对应的记忆信息，结合记忆信息生成多模态交互数据并输出，从而提升了智能机器人识别用户的能力，提高用户使用机器人的兴趣和意愿。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。
附图说明
附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。
图1是根据本发明第一实施例的基于智能机器人视觉记忆的多模态交互装置的结构框图。
图2是图1所示的基于智能机器人视觉记忆的多模态交互装置执行操作的流程示意图。
图3是根据本发明第二实施例的基于智能机器人视觉记忆的多模态交互装置的结构框图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。
另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
第一实施例
图1是根据本发明第一实施例的基于智能机器人视觉记忆的多模态交互装置的结构框图。如图1所示，本申请实施例的多模态交互装置100，主要包括：人脸图像采集单元110、相似度计算单元120和多模态输出单元130。
人脸图像采集单元110，其采集用户的人脸图像。
具体地，在每一次用户与智能机器人开始进行交互之前，人脸图像采集单元110通过利用机器人的摄像头获取包含人脸在内的图像信息。由于获取的图像信息中一般会包括除所需的人脸信息之外的其他物品，因此需要对该图像信息进行预处理和图像分割获取仅有人脸存在的人脸图像。
相似度计算单元120，其与人脸图像采集单元110相连，生成与人脸图像对应的人脸数组，并计算人脸数组与预先存储的各样本数组的相似度。
需要说明的是，该多模态交互装置100每次与不同的用户进行多模态交互时，都将获取该用户的人脸图像，并将人脸图像转换成与之对应的数组，然后将生成的数组作为主键与该用户对应的多模态交互信息相关联，最后将这些内容作为样本数据预先存储到机器人记忆模块中。也就是说，在机器人记忆模块中预先存储有样本数组和多模态交互信息相互对应的内容。将获取的人脸图像转换成具有大小和方向的向量，具体是数据类型为浮点(float)型的二维数组，并将该二维数组(样本数组)与该用户的多模态交互数据进行关联存储。这样，机器人完成了对不同用户信息的学习。
接下来，在获取了经过预处理的人脸图像信息后，也采用与获取样本数组相同的方式将人脸图像转换成人脸数组，然后，相似度计算单元120通过计算向量的偏移量即人脸数组与各个样本数组之间的偏移量来计算两个float型数组的相似度。
具体地，在一个优选例子中，相似度计算单元120将人脸数组与各样本数组相同位置的元素相乘并累加得到第一数值、将人脸数组的每个元素平方并累加得到第二数值、将各样本数组的每个元素平方并累加得到第三数值；将第一数值与第二数值的开方以及第三数值的开方进行比值计算得到人脸数组与各样本数组的相似度。
为了方便计算，可以将二维数组按照设定规则转换成一维数组，转换后的人脸数组与转换后的样本数组的长度相等。将转换后的人脸数组记为float a[n]，转换后的样本数组记为float b[n]，对这两个长度相等的数组float a[n]、float b[n]进行遍历，分别对相同位置的a[i]和b[i]进行相乘并累加得到c1、将数组a的每个元素a[i]平方并累加得到c2、将数组b的每个元素b[i]平方并累加得到c3。然后分别对c2和c3进行开方运算得到d2、d3，计算c1/d2/d3即可得到人脸数组float a[n]和样本数组float b[n]的相似度值。
当然，除了上面的方法，本发明实施例还可以采用其他方式来计算两个数组的相似度，文中不进行详述。
多模态输出单元130，其根据相似度判断用户是否为之前记忆的用户，在确定为之前记忆的用户时调取与用户对应的记忆信息，结合记忆信息生成多模态交互数据并输出。
在本例中，预先设定了相似度阈值为0.7，当从相似度计算单元120输出的相似度大于该设定阈值0.7时，则多模态输出单元130确定用户与预先存储的样本用户匹配，调用与样本用户关联的记忆信息作为用户的记忆信息。当然，上述相似度阈值还可以设置为其他数值，本发明不做限定。
由于事先已经将各个样本用户的信息以样本数组与多模态交互数据关联的形式进行存储，在多模态输出单元130确定采集到的人脸图像与某一样本用户匹配时，则从机器人记忆库中调用该样本数组对应的多模态交互数据作为用户的记忆信息。该多模态交互数据是在机器学习过程中机器人与用户进行交互完成任务的过程中收集到的信息，可以包括用户的语言习惯信息、用户的生活情绪习惯信息、用户的生活动作习惯信息、用户的身体健康状况信息和支付偏好等与应用数据对应的用户信息。
随后，多模态输出单元130结合记忆信息生成多模态交互数据并输出。
具体地，多模态输出单元130根据上述用户的习惯信息生成多模态输出指令启动相应系统程序，产生与用户习惯相符的多模态交互输出。例如，根据用户的习惯信息，用户每天都向机器人学习跳舞，则多模态输出单元130可以产生“打开跳舞应用”的执行指令，在机器人获取该执行指令时，则跳舞应用启动将音频数据发送给语音输出模块直接输出舞蹈音乐，同时产生动作输出指令“运动至使用者面前，执行舞蹈动作”。为了使机器人能够实现上述多模态输出，在多模态输出指令中需要包含用于使机器人执行动作输出“运动至使用者面前，执行舞蹈动作”的完整信息，具体为用于驱动机器人行走的驱动电机的控制程序数据，将该控制程序数据发送给对应的电机驱动模块执行，以及根据设置的舞蹈动作数据控制机器人的臂部和腿部动作。
图2是表示图1所示的基于智能机器人视觉记忆的多模态交互装置与用户进行交互的流程示意图。下面参照图2来说明如何实现机器人与用户的多模态交互过程。
如图2所示，首先在步骤S210中，人脸图像采集单元110采集用户的人脸图像。
具体地，在每一次用户与智能机器人开始进行交互之前，人脸图像采集单元110通过利用机器人的摄像头获取包含人脸在内的图像信息。由于获取的图像信息中一般会包括除所需的人脸信息之外的其他物品，因此需要对该图像信息进行预处理和图像分割获取仅有人脸存在的人脸图像。
其次，在步骤S220中，相似度计算单元120生成与人脸图像对应的人脸数组，并计算人脸数组与预先存储的各样本数组的相似度。
具体地，相似度计算单元120采用C语言、JAVA语言等编译语言编译的图像转数组程序或MATLAB软件工具将获取的人脸图像转换成具有大小和方向的向量，具体为数据类型为浮点(float)型的二维数组，然后，相似度计算单元120通过计算向量的偏移量即人脸数组与预先存储的各个样本数组之间的偏移量来计算两个float型数组的相似度。
具体地，在一个优选例子中，相似度计算单元120将人脸数组与各样本数组相同位置的元素相乘并累加得到第一数值、将人脸数组的每个元素平方并累加得到第二数值、将各样本数组的每个元素平方并累加得到第三数值；将第一数值与第二数值的开方以及第三数值的开方进行比值计算得到人脸数组与各样本数组的相似度。
为了方便计算，可以将二维数组按照设定规则转换成一维数组，转换后的人脸数组与转换后的样本数组的长度相等。将转换后的人脸数组记为float a[n]，转换后的样本数组记为float b[n]，对这两个长度相等的数组float a[n]、float b[n]进行遍历，分别对相同位置的a[i]和b[i]进行相乘并累加得到c1、将数组a的每个元素a[i]平方并累加得到c2、将数组b的每个元素b[i]平方并累加得到c3。然后分别对c2和c3进行开方运算得到d2、d3，计算c1/d2/d3即可得到人脸数组float a[n]和样本数组float b[n]的相似度值。
接着，在步骤S230中，多模态输出单元130根据相似度判断用户是否为之前记忆的用户，在确定为之前记忆的用户时调取与用户对应的记忆信息，结合记忆信息生成多模态交互数据并输出。
在本例中，预先设定了相似度阈值为0.7，当从相似度计算单元120输出的相似度大于该设定阈值0.7时，则多模态输出单元130确定用户与预先存储的样本用户匹配，调用与样本用户关联的记忆信息作为用户的记忆信息。在多模态输出单元130确定采集到的人脸图像与某一样本用户匹配时，则调用该样本数组对应的多模态交互数据作为用户的记忆信息。随后，多模态输出单元130结合记忆信息生成多模态交互数据并输出。
本发明实施例通过对采集到的用户的人脸图像进行处理，生成与人脸图像对应的人脸数组，并计算人脸数组与预先存储的各样本数组的相似度，并根据相似度判断所述用户是否为之前记忆的用户，在确定为之前记忆的用户时调取与所述用户对应的记忆信息，结合记忆信息生成多模态交互数据并输出，提升了智能机器人识别用户的能力，能够根据不同的用户来进行个性化的交互，提高了用户使用机器人的兴趣和意愿。
第二实施例
另外，本发明还提供了一个实施例，图3是根据本发明第二实施例的基于智能机器人视觉记忆的多模态交互装置的结构框图。
如图3所示，本实施例的多模态交互装置100’除了具备与图1所示的人脸图像采集单元110、相似度计算单元120、多模态输出单元130功能相似的结构以外，还包括用户信息输入单元140。与图1相同的模块具有相类似的功能，并使用相同的标号，本例不再赘述，对二者的不同点进行说明。
需要说明的是，在本实施例的机器人记忆库中除了关联存储了样本数组和多模态交互信息，还关联存储了用户名称和多模态交互信息。
如上第一实施例所述，当相似度大于设定阈值时，多模态输出单元130确定用户与预先存储的样本用户匹配，调用与样本用户关联的记忆信息作为所述用户的记忆信息。在相似度匹配失败时，则多模态输出单元130执行另一操作。
具体地，多模态输出单元130在相似度匹配失败时，输出询问该用户名称的多模态输出数据。用户通过用户信息输入单元140输入用户名称。多模态输出单元130接收来自用户信息输入单元140输出的信息，对信息进行解析并获取用户的名称，然后，从机器人记忆库中调用与该用户的名称对应的记忆信息，结合记忆信息生成多模态交互数据并输出。
用户信息输入单元140可以是键盘、触摸输入屏幕等文字输入设备，也可以是类似麦克风之类的音频输入设备。多模态输出单元130在获取的有关用户名称的音频信息之后，会通过自动语音识别技术获取与音频信息对应的文本信息。
本发明实施例还公开了一种智能机器人操作系统，该操作系统执行上述基于智能机器人视觉记忆的多模态交互方法。智能机器人的用户对功能的需求是多种多样的，而智能机器人终端硬件容量往往是有限的，智能机器人出厂时不可能会包含所有用户需求的功能的应用服务。而随着智能机器人技术的快速发展，越来越多的开发者希望能够在智能机器人上实现其设计的功能，但是并不是每一个开发者都能够获得生产智能机器人的环境和技术支持。智能机器人中包括机器人操作系统，机器人操作系统是一个机器人开发平台，其搭载应用可以为应用开发者通过开发端开发后注册到应用商店中的注册应用，应用开发者可以通过官方提供的软件开发工具包(Software Development Kit，SDK)进行应用的开发，在应用开发完成后可以将应用在智能机器人或者模拟器上运行，结束开发后，可以将应用注册并发布到应用商店中，以便智能机器人用户对该应用进行下载使用。所述行基于智能机器人视觉记忆的多模态交互方法可通过应用程序APP方式执行，或在多个APP配合情况下完成各个步骤。
本发明实施例通过对采集到的用户的人脸图像进行处理，生成与人脸图像对应的人脸数组，并计算人脸数组与预先存储的各样本数组的相似度，并根据相似度判断所述用户是否为之前记忆的用户，在匹配失败时，进一步通过查询用户名称的方式来调取与用户对应的记忆信息，结合记忆信息生成多模态交互数据并输出，提升了智能机器人识别用户的能力，能够根据不同的用户来进行个性化的交互，提高了用户使用机器人的兴趣和意愿。
本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括以上全部或部分步骤，所述的存储介质，如：ROM/RAM、磁碟、光盘等。

Claims (10)

1.一种基于智能机器人视觉记忆的多模态交互方法，该方法包括：
采集用户的人脸图像；
生成与所述人脸图像对应的人脸数组，并计算所述人脸数组与预先存储的各样本数组的相似度；
根据相似度判断所述用户是否为之前记忆的用户，在确定为之前记忆的用户时调取与所述用户对应的记忆信息，结合记忆信息生成多模态交互数据并输出。
2.根据权利要求1所述的多模态交互方法，其特征在于，
当相似度大于设定阈值时，确定所述用户与预先存储的样本用户匹配，调用与所述样本用户关联的记忆信息作为所述用户的记忆信息。
3.根据权利要求1或2所述的多模态交互方法，其特征在于，在计算所述人脸数组与预先存储的各样本数组的相似度的步骤中，
将所述人脸数组与各样本数组相同位置的元素相乘并累加得到第一数值、将所述人脸数组的每个元素平方并累加得到第二数值、将各样本数组的每个元素平方并累加得到第三数值；
将第一数值与第二数值的开方以及第三数值的开方进行比值计算得到所述人脸数组与各样本数组的相似度。
4.根据权利要求1所述的多模态交互方法，其特征在于，还包括：
在相似度匹配失败时，输出询问该用户名称的多模态输出数据，并获取用户的名称，调用与该用户的名称对应的记忆信息，结合记忆信息生成多模态交互数据并输出。
5.一种基于智能机器人视觉记忆的多模态交互装置，该装置包括：
人脸图像采集单元，其采集用户的人脸图像；
相似度计算单元，其生成与所述人脸图像对应的人脸数组，并计算所述人脸数组与预先存储的各样本数组的相似度；
多模态输出单元，其根据相似度判断所述用户是否为之前记忆的用户，在确定为之前记忆的用户时调取与所述用户对应的记忆信息，结合记忆信息生成多模态交互数据并输出。
6.根据权利要求5所述的多模态交互装置，其特征在于，所述多模态输出单元进一步执行如下操作：
当相似度大于设定阈值时，确定所述用户与预先存储的样本用户匹配，调用与所述样本用户关联的记忆信息作为所述用户的记忆信息。
7.根据权利要求5或6所述的多模态交互装置，其特征在于，所述相似度计算单元进一步执行如下操作：
将所述人脸数组与各样本数组相同位置的元素相乘并累加得到第一数值、将所述人脸数组的每个元素平方并累加得到第二数值、将各样本数组的每个元素平方并累加得到第三数值；
将第一数值与第二数值的开方以及第三数值的开方进行比值计算得到所述人脸数组与各样本数组的相似度。
8.根据权利要求5所述的多模态交互装置，其特征在于，所述多模态输出单元进一步执行如下操作：
在相似度匹配失败时，输出询问该用户名称的多模态输出数据，并获取用户的名称，调用与该用户的名称对应的记忆信息，结合记忆信息生成多模态交互数据并输出。
9.一种智能机器人操作系统，其特征在于，所述智能机器人操作系统安装于该智能机器人中，智能机器人操作系统该执行如权利要求1-4任一项所述的基于智能机器人视觉记忆的多模态交互方法。
10.如权利要求9所述的智能机器人操作系统，其特征在于，通过应用程序APP的形式执行如权利要求1-4任一项所述的基于智能机器人视觉记忆的多模态交互方法，所述应用程序APP装载于所述智能机器人操作系统中。
CN201611020226.3A 2016-11-18 2016-11-18 基于智能机器人视觉记忆的多模态交互方法、装置和系统 Pending CN106557163A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611020226.3A CN106557163A (zh) 2016-11-18 2016-11-18 基于智能机器人视觉记忆的多模态交互方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611020226.3A CN106557163A (zh) 2016-11-18 2016-11-18 基于智能机器人视觉记忆的多模态交互方法、装置和系统

Publications (1)

Publication Number Publication Date
CN106557163A true CN106557163A (zh) 2017-04-05

Family

ID=58444851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611020226.3A Pending CN106557163A (zh) 2016-11-18 2016-11-18 基于智能机器人视觉记忆的多模态交互方法、装置和系统

Country Status (1)

Country Link
CN (1) CN106557163A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271771A (zh) * 2018-09-20 2019-01-25 平安科技（深圳）有限公司 账号信息找回方法、装置、计算机设备
CN116881335A (zh) * 2023-07-24 2023-10-13 郑州华商科技有限公司 多模态数据智能分析系统与方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700094A (zh) * 2015-03-31 2015-06-10 江苏久祥汽车电器集团有限公司 一种用于智能机器人的人脸识别方法及系统
CN105184236A (zh) * 2015-08-26 2015-12-23 江苏久祥汽车电器集团有限公司 机器人人脸识别系统
CN105824935A (zh) * 2016-03-18 2016-08-03 北京光年无限科技有限公司 面向问答机器人的信息处理方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700094A (zh) * 2015-03-31 2015-06-10 江苏久祥汽车电器集团有限公司 一种用于智能机器人的人脸识别方法及系统
CN105184236A (zh) * 2015-08-26 2015-12-23 江苏久祥汽车电器集团有限公司 机器人人脸识别系统
CN105824935A (zh) * 2016-03-18 2016-08-03 北京光年无限科技有限公司 面向问答机器人的信息处理方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271771A (zh) * 2018-09-20 2019-01-25 平安科技（深圳）有限公司 账号信息找回方法、装置、计算机设备
CN116881335A (zh) * 2023-07-24 2023-10-13 郑州华商科技有限公司 多模态数据智能分析系统与方法
CN116881335B (zh) * 2023-07-24 2024-06-04 郑州华商科技有限公司 多模态数据智能分析系统与方法

Similar Documents

Publication Publication Date Title
CN105598972B (zh) 一种机器人系统及交互方法
US20180329512A1 (en) Multimodal input-based interaction method and device
CN106528613B (zh) 智能问答方法及装置
CN107924313A (zh) 分布式个人助理
US11562010B2 (en) Method and apparatus for outputting information
CN107305578A (zh) 人机智能问答方法和装置
US11341718B2 (en) Method and apparatus for generating 3D joint point regression model
CN108153463A (zh) 应用界面显示控制方法、装置及存储介质和移动终端
CN106022294B (zh) 一种面向智能机器人的人机交互方法及装置
CN106453228B (zh) 一种用于智能机器人的用户登录方法以及系统
CN105912530A (zh) 面向智能机器人的信息处理方法及系统
CN106502382A (zh) 用于智能机器人的主动交互方法和系统
CN110135497A (zh) 模型训练的方法、面部动作单元强度估计的方法及装置
CN107786430A (zh) 机器人聊天方法及系统
CN105252533A (zh) 机器人交互系统、云计算平台、用户终端和机器人
CN109343837A (zh) 游戏渲染方法及相关设备
CN106557163A (zh) 基于智能机器人视觉记忆的多模态交互方法、装置和系统
CN114611041A (zh) 一种前端页面构建方法、装置、计算机设备及介质
US20210073180A1 (en) Systems and methods for utilizing machine learning and natural language processing to provide a dual-panel user interface
CN106372203A (zh) 一种智能终端的信息响应方法、装置和智能终端
CN106078743A (zh) 智能机器人，应用于智能机器人的操作系统及应用商店
CN117539985A (zh) 基于语言风格的问答方法和装置、电子设备及存储介质
CN116975249A (zh) 对话交互方法、装置、设备和存储介质
JP5578571B2 (ja) 入出力デバイス情報を考慮したマルチモーダル対話プログラム、システム及び方法
CN104778044B (zh) 触摸屏手势事件流分发的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170405