CN111515970B - 一种互动方法、拟态机器人和相关装置 - Google Patents

一种互动方法、拟态机器人和相关装置 Download PDF

Info

Publication number
CN111515970B
CN111515970B CN202010343691.0A CN202010343691A CN111515970B CN 111515970 B CN111515970 B CN 111515970B CN 202010343691 A CN202010343691 A CN 202010343691A CN 111515970 B CN111515970 B CN 111515970B
Authority
CN
China
Prior art keywords
robot
mimicry
control signal
signal
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010343691.0A
Other languages
English (en)
Other versions
CN111515970A (zh
Inventor
张正友
程洪
王帅
罗双庆
郑宇�
况逸群
张东胜
赵攀
戴媛
刘敏
迟万超
李望维
姜鑫洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010343691.0A priority Critical patent/CN111515970B/zh
Publication of CN111515970A publication Critical patent/CN111515970A/zh
Application granted granted Critical
Publication of CN111515970B publication Critical patent/CN111515970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/0015Face robots, animated artificial faces for imitating human expressions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

本申请实施例公开了一种互动方法,所述方法包括:获取针对拟态机器人的第一控制信号;确定所述第一控制信号所标识的互动内容;从多个表情类别中确定用于响应所述互动内容的目标表情类别;指示所述拟态机器人进行针对所述第一控制信号的互动响应;所述互动响应包括表情响应,所述表情响应为通过位于所述拟态机器人的面部的显示装置,显示所述目标表情类别对应的至少一个表情图案。通过该互动方法能够使处理设备根据第一控制信号确定出对应的目标表情类别,并指示拟态机器人显示目标表情类别的表情图案,从而能使该拟态机器人通过表情响应的方式与用户进行互动,使用户感到更加亲切与生动。

Description

一种互动方法、拟态机器人和相关装置
技术领域
本申请涉及计算机技术领域,特别是涉及一种互动方法、拟态机器人和相关装置。
背景技术
随着计算机技术的发展,出现了能够与用户进行互动的各类智能产品。
拟态产品属于上述智能产品中一类,例如全部或部分外形模拟人类形态的智能机器人,这种拟态产品多应用于科技馆等场景,实现为用户提供答疑、介绍、引导游览等服务。
然而,目前的互动方式较为单一,尤其是拟态产品对用户的响应单一,难以让用户产生较好的互动体验。
发明内容
为了解决上述技术问题,本申请提供了一种互动方法,能使该拟态机器人通过表情响应的方式与用户进行互动,使用户感到更加亲切与生动。
本申请实施例公开了如下技术方案:
第一方面,本申请实施例提供了一种互动方法,所述方法包括:
获取针对拟态机器人的第一控制信号;
确定所述第一控制信号所标识的互动内容;
从多个表情类别中确定用于响应所述互动内容的目标表情类别;
指示所述拟态机器人进行针对所述第一控制信号的互动响应;所述互动响应包括表情响应,所述表情响应为通过位于所述拟态机器人的面部的显示装置,显示所述目标表情类别对应的至少一个表情图案。
第二方面,本申请实施例提供了一种拟态机器人,所述拟态机器人包括信号接收部件、处理装置和位于所述拟态机器人的面部的显示装置:
所述信号接收部件用于获取针对所述拟态机器人的第一控制信号;
所述处理装置用于确定所述第一控制信号所标识的互动内容;从多个表情类别中确定用于响应所述互动内容的目标表情类别;指示所述拟态机器人进行针对所述第一控制信号的互动响应;
在所述机器人针对所述第一控制信号进行所述互动响应的过程中,所述显示装置用于进行所述互动响应所包括的表情响应,所述表情响应为通过所述显示装置显示目标表情类别对应的至少一个表情图案。
第三方面,本申请实施例提供了一种用于互动的设备,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行第一方面所述的互动方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行第一方面所述的互动方法。
由上述技术方案可以看出,当获取针对拟态机器人的第一控制信号时,根据第一控制信号所标识的互动内容,从多个表情类别中确定用于响应该互动内容的目标表情类别。由此,可以在拟态机器人基于目标表情类别在对第一控制信号进行互动响应时,通过位于拟态机器人面部的显示装置对目标表情类别对应的表情图案进行显示,从而实现了人机互动过程中,拟态机器人与用户进行表情维度的互动。通过拟态机器人面部显示的互动表情,突出了所拟态对象本身可爱形象和拟人化的综合效果,可以有效提升用户对拟态机器人表情响应的共情程度,提高了互动深度和体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种实际应用场景中互动方法的示意图;
图2为本申请实施例提供的一种互动方法的流程图;
图3为本申请实施例提供的一种互动方法的示意图;
图4为本申请实施例提供的一种互动方法的示意图;
图5为本申请实施例提供的一种实际应用场景中互动方法的示意图;
图6为本申请实施例提供的一种拟态机器人的结构框图;
图7为本申请实施例提供的一种用于互动的设备的结构图;
图8为本申请实施例提供的一种服务器的结构图。
具体实施方式
下面结合附图,对本申请的实施例进行描述。
随着机器技术的不断进步,机器人已经出现在人们生活的方方面面,例如扫地机器人、客服机器人等,给人们的生活带来了非常多的便利。其中,为了增加人们的亲切感,使机器人更容易被人们所接受,越来越多的厂家倾向于为机器人设计拟态的外部形象,例如在场馆中的部分指引机器人可以以人的形象来设计外观等。
在相关技术中,拟态机器人虽然能模拟一定的外部形象,但是所采用的互动方式仍然是普通机器人的互动方式,没有针对于拟态的形象做互动方式上的改进,交互方式较为简单,无法让用户在拟态层面上生动的感受到拟态机器人对于互动的响应,互动体验感较差。
为了解决上述技术问题,本申请提供了一种互动方法,该互动方法针对于拟态机器人进行了互动方式上的改进,使拟态机器人能够通过表情与用户进行互动,从而在一定程度上拟态机器人的互动方式更加生动可爱,提高了用户的互动体验。
可以理解的是,该方法可以应用于处理设备上,该处理设备为能够进行互动响应处理的处理设备,例如可以为具有互动响应处理功能的终端设备或服务器。该方法可以通过终端设备或服务器独立执行,也可以应用于终端设备和服务器通信的网络场景,通过终端设备和服务器配合执行。其中,终端设备可以为拟态机器人,也可以为用于控制拟态机器人的计算机、个人数字助理(Personal Digital Assistant,简称PDA)、平板电脑等设备。服务器可以理解为是应用服务器,也可以为Web服务器,在实际部署时,该服务器可以为独立服务器,也可以为集群服务器。同时,在硬件环境上,本技术已经实现的环境有:ARM架构处理器、X86架构处理器;在软件环境上,本技术已经实现的环境有:Android平台、Windows XP及以上操作系统或Linux操作系统。
此外,本申请还涉及人工智能(Artificial Intelligence,AI)技术。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
语音技术(Speech Technology)的关键技术有自动语音识别技术(ASR)和语音合成技术(TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉,是未来人机交互的发展方向,其中语音成为未来最被看好的人机交互方式之一。
自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术,自定驾驶技术有着广泛的应用前景。
在本申请实施例提供的技术方案中,在根据互动内容确定对应的目标表情类别时,可以基于机器学习技术得到用于表情类别确定的神经网络模型,并通过该神经网络模型来确定出互动内容对应的目标表情类别。
进一步的,本申请实施例中还可以通过计算机视觉技术、语音技术、自然语言处理等确定出第一控制信号所标识的互动内容。
进一步的,本申请实施例中还可以通过自动驾驶技术为拟态机器人提供路径规划、运动控制等,使得企鹅拟态机器人可以响应于导航信息进行相符的运动。
为了便于理解本申请的技术方案,下面将结合实际应用场景,对本申请实施例提供的互动方法进行介绍。可以理解的是,该互动方法可以应用于各种针对不同拟态对象的拟态机器人中,例如拟态猫、狗的拟态机器人、人形拟态机器人等。
为了便于说明本申请实施例提供的方案,在后续实施例中,主要以企鹅拟态机器人作为拟态机器人进行介绍,企鹅机器人仅为本申请所提供拟态机器人的一种示例,并不能用于限定本申请拟态机器人可能的表现形式。
参见图1,图1为本申请提供的一种互动方法的应用场景示意图,在该应用场景中,处理设备为服务器101。其中,该服务器101够对图1中的企鹅拟态机器人进行控制。在用户与该企鹅拟态机器人进行互动的过程中,可以通过多种方式向该机器人发出控制信号,企鹅拟态机器人在接收到控制信号后,可以上传至服务器101,使服务器101对该控制信号进行分析并控制企鹅拟态机器人针对该控制信号做出相应的互动响应。例如,在本实际应用场景中,用户可以通过对企鹅拟态机器人说话的方式发出语音信号,该语音信号即为第一控制信号。其中,该企鹅拟态机器人可以为图1所示的外观形象,也可以为其他企鹅相关的外观形象。
企鹅拟态机器人可以通过语音采集设备接收该第一控制信号,并发送给服务器101。为了对该第一控制信号进行互动响应,服务器101首先要确定第一控制信号所标识的互动内容,该互动内容用于标识该第一控制信号所期望该企鹅拟态机器人作出的互动响应。例如,在本实际应用场景中,对应第一控制信号的语音信号可以为对该企鹅拟态机器人表达赞赏的语音信号,此时标识的互动内容可以为希望企鹅机器人对该赞赏作出响应。
可以理解的是,为了使企鹅拟态机器人的互动响应更加生动,同时突出在拟态层面上所独有的互动效果,在本实际应用场景中,企鹅拟态机器人可以通过表情响应的方式对第一控制信号进行互动响应。为了对第一控制信号作出合适的表情响应,服务器101可以对该互动内容进行分析,从多个表情类别中确定用于响应该互动内容的目标表情类别。其中,目标表情类别是指对应于该互动内容的表情类别。
例如,在本实际应用场景中,服务器101可以对互动内容所对应的情感类型进行分析,该情感类型是指该互动内容所需要该企鹅拟态机器人表达出的情感类型。其中,由于本实际应用场景中,互动内容为期望企鹅机器人对赞赏的语句信息作出响应,因此该互动内容所对应的情感类型可以为开心,从而服务器101可以多种表情类别,例如表情类别A、B、C中,确定出用于响应该互动内容的表达“开心”这一情感的目标表情类别,即表情类别B。
在确定出目标表情类别后,服务器101可以基于该表情类别生成指示信号,并发送给该企鹅拟态机器人,该指示信号用于指示该企鹅拟态机器人进行针对第一控制信号的互动响应。企鹅拟态机器人接收到指示信号后,可以对其中包含的信息内容进行分析,从而确定出需要进行的互动响应,该互动响应中包括表情响应。为了能够生动形象的表达出对应第一控制信号的情感反馈,提高企鹅拟态机器人的拟态程度和互动丰富度,该企鹅拟态机器人在进行该表情响应时,可以通过面部的显示装置,显示目标表情类别对应的表情图案。可以理解的是,目标表情类别对应的表情图案可以为一个或多个,企鹅拟态机器人可以显示至少一个表情图案。
在本实际应用场景中,如图1所示,由于目标表情类别所体现出的情感为“开心”,因此企鹅拟态机器人可以通过面部的显示装置,将原有的注视表情更换为笑脸表情,从而向用户表达一种“开心”的表情响应。
由此可见,通过本申请技术方案,服务器101可以根据第一控制信号,确定出对应的互动内容,进而确定出该互动内容对应的目标表情类别,并根据该目标表情类别指示企鹅拟态机器人进行表情响应,从而能够基于拟态这一层面,使用户能够生动的感受到企鹅拟态机器人作出的互动响应,增加了机器人的亲切感和生动程度,使用户更容易理解该企鹅拟态机器人的互动表达含义,提高了用户的互动体验。
接下来,将结合附图,对本申请实施例提供的一种互动方法进行介绍。
参见图2,图2展示了一种互动方法的流程图,在本申请实施例提供的互动方法中,处理设备可以为拟态机器人自身,具体的数据处理逻辑可以通过安装在拟态机器人内部的控制单元实现。该控制单元作为处理设备的一部分,可以通过该拟态机器人中所安装的多种信息采集装置获取外界发送的控制信号,并予以相应的数据处理、互动指示等。
该方法包括:
S201:获取针对拟态机器人的第一控制信号。
伴随着科技的不断进步,机器人技术也在不断的发展。在当下人们的日常生活中,各式各样的机器人随处可见,例如帮助人们清理卫生的扫地机器人,工厂流水线上的拼装机器人等。这些机器人大多数是用于处理某一方面的固定工作,因此只注重与如何处理好相关工作,并没有注重与用户的交互体验。此外,还存在一类用于与用户进行互动的机器人,例如博物馆里负责给用户进行讲解的讲解机器人等。为了使用户在互动过程中有良好的互动体验,提高用户对于机器人的亲切感,这类机器人往往会被设计成拟态的外部形象。例如,上述讲解机器人可以被设计为拟人的外部形象。
但是,相关技术中的拟态机器人虽然有着拟态的外表,在互动方式上却还是简单的机器互动,例如只是机械的与用户进行语音、文字上的交流,并没有基于拟态这一技术特点,改进与用户之间的互动方式,使用户无法感受到拟态机器人的拟态效果,即无法将该拟态机器人想象成所要拟态的形象,缺乏生动感,用户体验一般。
在本申请技术方案中,展示了一种拟态机器人,该拟态机器人可以为企鹅拟态机器人。为了使该企鹅拟态机器人在互动过程中使用户感受到企鹅形象的生动和亲切,可以将本申请实施例提供的互动方法应用于该企鹅拟态机器人中。在外界与拟态机器人进行互动时,处理设备可以获取针对该拟态机器人的第一控制信号,该第一控制信号用于对拟态机器人进行控制。
可以理解的是,一方面,第一控制信号的来源可以包括多种,例如可以分为用户主动发起的第一控制信号和企鹅拟态机器人从用户以外的途径获取到的第一控制信号。其中,用户主动发起的第一控制信号可以为用户向企鹅拟态机器人发出的语言信息等,从其他途径接收到的第一控制信号可以为在企鹅拟态机器人进行移动时,处理设备通过采集周围环境而获取得到的用于控制机器人行动的第一控制信号。另一方面,为了尽可能的扩展互动方式,实现多维度的人机互动,处理设备所能够获取的第一控制信号的信号类型也可以包括多种。在一种可能的实现方式中,第一控制信号的信号类型可以包括语音信号、手势信号、触控信号或遥控信号等。
其中,语音信号可以为处理设备通过语音采集装置所采集到的用户发出的语音信号等;手势信号可以为处理设备通过图像采集装置或动作捕捉装置所采集到用户做出的手势信号等;触控信号可以为处理设备通过触控感应装置所采集到用户触摸该企鹅拟态机器人的触控信号等;遥控信号可以处理设备通过遥控感应装置采集到的用户向企鹅拟态机器人发出的遥控信号等。上述各类采集、感应装置可以为处理设备本身所具有的采集装置,设置在企鹅拟态机器人中相应的位置。
S202:确定第一控制信号所标识的互动内容。
为了能够与用户进行良好的互动,处理设备需要控制企鹅拟态机器人对获取到的第一控制信号作出相对应的互动响应。而能够作出相应的互动响应的前提是处理设备需要能够确定出第一控制信号所标识的互动内容。
其中,该互动内容能够体现出第一控制信号所对应的控制含义。例如,当第一控制信号的类型为语音信号时,处理设备在获取用户发出的语音信号后,可以通过语音识别技术对用户想要表达语义进行分析,确定出第一控制信号所对应的语义内容,并将该语义内容作为第一控制信号所标识的语义内容。例如,在图1所示的应用场景中,用户对企鹅拟态机器人说的话可以为对其外观可爱的赞赏,此时,处理设备可以确定第一控制信号所标识的互动内容为夸奖该企鹅拟态机器人,并给予该互动内容确定出相应的互动响应。
S203:从多个表情类别中确定用于响应互动内容的目标表情类别。
可以理解的是,由于拟态对象的不同,不同的拟态机器人拥有不同的拟态外观。其中,针对该企鹅拟态机器人,为了使用户感受到该机器人在拟态企鹅时所带来的可爱、生动的拟态效果,处理设备可以通过与企鹅相称的方式来对第一控制信号做出互动响应。
其中,表情作为人们日常生活中常用的一种情感表达方式,在其他领域的动物拟人化的场景中有诸多应用。例如,在影视动画领域的各种以拟人动物为主角的动画中,往往会赋予动物多种拟人的表情用来表达其情感。这些拟人化的动物表情能够让观众更好的理解动物的情感活动,使动物形象更加鲜活生动。基于此,为了使企鹅拟态机器人让用户感到更加亲切可爱,处理设备可以选择通过显示企鹅表情的方式,使企鹅拟态机器人对第一控制信号做出互动响应。
为了使企鹅拟态机器人能够对第一控制信号进行较为正确的表情反馈,处理设备在确定出互动内容后,首先需要确定出该企鹅拟态机器人针对该互动内容所应当表达出情感类型,并根据该情感类型确定用于响应该互动内容的目标表情类别。其中,情感类型可以包括高兴、愤怒、害羞、伤心、惊讶、委屈、恐惧、厌恶和期待等。目标表情类别是在企鹅拟态机器人所预设的多个表情类别中用于表达该互动内容对应的情感类型的表情类别。例如,当处理设备确定互动内容为对企鹅拟态机器人的赞赏时,可以判断该互动内容对应的情感类型为高兴。此时,处理设备可以从如图3所示的多个表情类别中,确定出用于表达高兴情感的表情类别来进行互动响应。
可以理解的是,并不是每一个控制信号都需要进行响应出特定的表情,例如,当用户只是控制企鹅拟态机器人进行移动时,企鹅拟态机器人只需按照控制信号进行移动即可,不需要做出特定的表情。此时,为了使企鹅拟态机器人有一个合理的表情表现,处理设备可以在未确定出特定表情类别时,以默认表情作为目标表情类别进行表情响应,使得该企鹅拟态机器人展示默认表情,例如类似于无表情的表现形式。如图3所示,在确定出目标表情类别对应于默认表情时,企鹅拟态机器人展示的为默认表情。
其中,为了能够准确的确定出目标表情类别,除了采用互动内容与表情类别间的映射关系来实现确定目标表情类别,处理设备还可以通过机器学习技术,以多种互动内容作为训练样本,互动内容对应的实际表情类别作为训练标签,得到用于确定目标表情类别的神经网络模型。处理设备在确定出互动内容后,可以根据该互动内容以及该神经网络模型,从多个表情类别中确定出对应该互动内容的目标表情类别。
S204:指示拟态机器人进行针对第一控制信号的互动响应。
在确定出目标表情类别后,处理设备可以基于该目标表情类别,对企鹅拟态机器人进行指示,使其对针对第一控制信号进行互动响应。可以理解的是,为了使企鹅拟态机器人更加生动,该互动响应具有的响应内容可以包括多种类型,除了表情响应之外,例如还可以包括动作响应、语音响应等,表情响应可以为其中的一种响应方式。
为了使拟态机器人能够进行生动的表情响应,让用户感受到该机器人通过拟态形象所带来的可爱效果,处理设备可以基于现实中所拟态对象的真实形象,在拟态机器人中,在响应的面部位置上设置显示装置。处理设备可以通过位于拟态机器人面部的显示装置,显示目标表情类别对应的表情图案。其中,面部位置可以包括该拟态机器人的五官或面部的其他区域,例如可以为企鹅拟态机器人的嘴巴位置、眼部位置、脸颊位置等,并不对具体的面部位置进行限定。
可以理解的是,为了使机器人所拟态出的形象更加生动丰满,处理设备可以为同一表情类别设置多种对应的表情图案。例如,目标表情类别为高兴时,所对应的可以有微笑、大笑等多种表情图案。通过多种表情图案,用户可以在接收到表情响应时,感受到拟态机器人的多样性的情感反馈,使用户感到更加亲切和真实。在进行表情响应时,显示的表情图案可以为目标表情类别对应的至少一个表情图案。
同时,为了使拟态机器人的情感表达更加丰富,目标表情类别所对应的表情图案还可以是一种逐渐变化的表情图案,拟态机器人在表情图案变化的过程中可以展示多个不同的表情图案。例如,当互动内容为用户对企鹅机器人的夸奖时,为了表达高兴的情感,该企鹅机器人在面部位置的显示装置中,可以展示如图4所示,先展示一个微笑的表情图案,然后再变为大笑的表情图案,从而让企鹅拟态机器人的情感表达更加鲜活,感情更加真实。
由上述技术方案可以看出,当获取针对拟态机器人的第一控制信号时,根据第一控制信号所标识的互动内容,从多个表情类别中确定用于响应该互动内容的目标表情类别。由此,可以在拟态机器人基于目标表情类别在对第一控制信号进行互动响应时,通过位于拟态机器人面部的显示装置对目标表情类别对应的表情图案进行显示,从而实现了人机互动过程中,通过拟态机器人与用户进行表情维度的互动。通过拟态机器人面部显示的互动表情,突出了所拟态对象本身可爱形象和拟人化的综合效果,可以有效提升用户对拟态机器人表情响应的共情程度,提高了互动深度和体验。
可以理解的是,为了使拟态机器人更加贴合真实的所拟态对象形象,提高拟态效果,处理设备可以基于所拟态对象的真实形象来设计拟态机器人上的显示装置。其中,显示装置所对应的面部器官可以包括多种,如眼睛、嘴巴等。在一种可能的实现方式中,由于真实所拟态对象的眼睛是是位于面部的左右位置,因此为了对真实的所拟态对象进行模拟,该拟态机器人的显示装置可以包括处于拟态机器人的双眼位置的左眼显示部和右眼显示部。
可以理解的是,由于该显示装置包括两部分,即左眼显示部和右眼显示部,因此为了使该拟态机器人所表达的表情更加生动和丰富,处理设备在预设表情图案时,可以在一个表情图案中分别针对左眼部分和右眼部分进行设计。基于此,在一种可能的实现方式中,在进行表情响应时,处理设备可以通过左眼显示部显示表情图案中对应左眼区域的图案内容;通过右眼显示部显示表情图案中对应右眼区域的图案内容。
在一种可能的实现方式中,该拟态机器人可以为企鹅拟态机器人,上述至少一个表情图案用于体现拟人化的企鹅表情。
可以理解的是,由于该拟态机器人是对真实的所拟态对象进行的拟态设计,因此外观上可以具有所拟态对象的可爱形象。用户在于该拟态机器人进行互动时,可能会产生触摸该机器人的意向。为了对用户的互动行为进行合理反馈,在本申请实施例中可以基于所拟态对象的形象特点,有针对性的设计获取控制信号的方式。在一种可能的实现方式中,触控信号可以是通过设置在该拟态机器人表层的电子触觉感应皮肤获取的,通过该电子感应皮肤,该拟态机器人不仅可以给用户提供更多的互动途径,同时可以进一步模拟出真实的所拟态对象在被触碰时所作出的响应,使用户能够看到一个更加生动、真实的所拟态对象形象。处理设备可以先对真实所拟态对象被触摸的反应进行分析,例如当所拟态对象为企鹅时,被触摸头部时,企鹅可能会缩起脖子来进行躲避;当被触摸肚皮时,企鹅可能会拍打翅膀。基于此,处理设备可以设定用户在触摸电子感应皮肤的不同位置时,进行不同的互动响应,尽可能的还原真实企鹅被触摸时的反应状态。
同时,基于不同的需求,该电子触觉感应皮肤所覆盖的程度也可以有所不同。在一种可能的实现方式中,电子触觉感应皮肤可以覆盖该拟态机器人的部分或全部外表面。例如,当该企鹅拟态机器人较小时,用户可以触摸到其各个部分,此时可以将电子触觉感应皮肤覆盖机器人全部外表面;当企鹅拟态机器人体积较大时,用户可能只能触摸到机器人的腹部和腿部,此时可以针对用户所能够触摸到的部分,将电子触觉感应皮肤覆盖机器人的部分外表面。
可以理解的是,获取触控信号的方法可以包括多种,除了电子触觉感应皮肤之外,处理设备还可以通过触觉传感器等方式来获取触控信号。
此外,在进行互动的过程中,拟态机器人可能会接收到多个控制信号。例如,在对某一控制信号进行互动响应时,处理设备又获取到了另一控制信号,或者在同一时刻处理设备接收到了多个针对该拟态机器人的控制信号。为了使拟态机器人更加合理的对控制信号进行响应,处理设备可以基于不同的信号类型,设定拟态机器人的响应逻辑。其中,该响应逻辑可以为拟态机器人在接受到多个控制信号时,对控制信号的响应方式。例如,当企鹅拟态机器人在根据某一控制信号进行移动时,用户在看到该机器人后,可能想要与其进行互动,于是发出另一控制信号来呼唤该企鹅拟态机器人。处理设备在获取到发出时间较晚的控制信号后,可以对该控制信号进行分析,若判断此时执行该控制信号对应的互动响应更为合理,则可以指示企鹅拟态机器人中断之前的移动操作,进行新的移动操作来接近该用户。
其中,设定响应逻辑的方式可以有多种。例如,在本申请实施例中,可以基于控制信号的不同信号类型来进行设定。在一种可能的实现方式中,可以设置有与信号类型对应的类型优先级,该类型优先级用于使处理设备在获取到该类型的控制信号后,判断是否需要先执行该控制信号。例如,在对第一控制信号进行互动响应的过程中,处理设备还可以获取针对拟态机器人的第二控制信号,然后根据第一控制信号与第二控制信号的信号类型,确定第一控制信号与第二控制信号的优先级。若第二控制信号的优先级大于第一控制信号的优先级,说明此时处理设备判断优先对第二控制信号进行响应较为合理,处理设备可以终止互动响应,该互动响应为处理设备针对第一控制信号做出的互动响应。之后,处理设备可以将第二控制信号作为第一控制信号,执行上述S203~S204所对应的技术方案。
例如,不同的信号类型所对应的用户互动意愿强度可能有所区别,当用户通过直接触摸的方式进行互动时,其互动意愿可能强于语音互动的方式,而用户通过遥控器等遥控装置直接控制拟态机器人的互动意愿可能由强于触控方式进行的互动。基于此,设置的信号类型优先级可以为遥控信号>手势信号>触控信号>语音信号。通过类型优先级的设置,可以使该拟态机器人更加接近真实所拟态对象的互动反应。例如,在用户A通过语音控制信号的方式与企鹅拟态机器人进行互动时,用户B可能想要通过抚摸机器人的方式来吸引其注意。处理设备在获取到用户B发出的触控信号后,判断该触控信号的类型优先级大于用户A发出的语音信号,此时可以控制企鹅拟态机器人对用户B做出响应,例如调转身体面向用户B等。
此外,根据类型优先级不仅能判断是否终止当前正在进行的互动响应,还可以在拟态机器人同时接收到多个控制信号时,判断如何对控制信号进行响应。例如,在一种可能的实现方式中,处理设备可能同时获取到第一控制信号和第二控制信号。此时,处理设备可以根据类型优先级,确定先对其中优先级最高的控制信号进行互动响应。举例来说,该企鹅拟态机器人可以为用户A所拥有,该用户A可以持有控制该企鹅拟态机器人的遥控器。当用户A和用户B同时想要企鹅拟态机器人移动到自己面前时,用户A可以直接通过遥控的方式控制该机器人,用户B可能需要采用呼喊、招手等方式向企鹅拟态机器人发出控制信号。企鹅拟态机器人在收到用户A的遥控信号和用户B的手势或语音信号后,处理设备判断遥控信号的优先级大于手势或语音信号,此时指示企鹅拟态机器人向用户A移动。
其中,根据不同的设计需求,该类型优先级可以通过多种方式进行确定。在一种可能的实现方式中,为了使拟态机器人能够满足用户的个人使用需求,该类型优先级可以是根据用户互动习惯确定的。例如,当该企鹅拟态机器人面向老年人群体服务时,由于老年人手脚可能不是很方便活动,可能更偏好于通过语音的方式来与该企鹅拟态机器人进行互动。此时,在用户所互动的企鹅拟态机器人中,可以设置语音信号的优先级为最高的类型优先级,来确保企鹅拟态机器人能够第一时间对来自用户的控制信号做出互动响应。
此外,为了方便用户对拟态机器人进行控制,拟态机器人所能够接收到的信号类型也可以由用户来设定。在一种可能的实现方式中,用户可以通过遥控信号来控制拟态机器人中其他信号类型采集通路的开关。当某一信号类型采集通路被关闭时,拟态机器人就无法对该类型的控制信号作出互动响应。例如,在人声比较嘈杂的使用环境中,为了对企鹅拟态机器人进行有效控制,用户可以关闭语音信号的采集通路,只通过手势或触控等方式发出控制信号进行互动。
可以理解的是,为了丰富拟态机器人的互动方式,处理设备可以指示拟态机器人以多种方式来进行互动响应。在一种可能的实现方式中,该互动响应还包括动作响应,处理设备可以从动作序列中确定用于响应该互动内容的目标动作,然后根据目标动作所标识的运动部件,指示该运动部件作出该目标动作。其中,目标动作是指在预设的多个动作中能够满足互动内容需求的动作。
可以理解的是,拟态机器人的所拟态对象不同时,其运动特点也有可能不同,因此运动部件也可以有所不同。为了使拟态机器人更加贴合所拟态对象的形象特点,可以根据所拟态对象所具有的运动特点来设计运动部件。在一种可能的实现方式中,当拟态机器人为企鹅拟态机器人时,运动部件是指该企鹅拟态机器人所具有的运动部件,包括上肢部件或下肢部件中的一种或多种组合。
例如,当企鹅拟态机器人被用户夸奖时,一方面可以通过表情响应作出开心的表情,另一方面还可以通过动作部件的动作组合,作出捂脸害羞、拍肚皮等动作,使企鹅拟态机器人的互动响应更加活灵活现。
其中,为了使企鹅拟态机器人更加贴近真实的企鹅形象,在设计企鹅拟态机器人的上肢部件和下肢部件时,可以通过分析企鹅的运动姿态和骨骼架构,来制作与真实企鹅较为接近的部件。例如,上肢部件可以包括企鹅拟态翅膀部件,下肢部件可以包括企鹅拟态双足部件和企鹅拟态尾部部件。基于该部件,在进行动作响应时,可以使企鹅拟态机器人做出与真实企鹅较为相似的动作,从而提高企鹅拟态机器人的拟态相似度,能够更加生动的与用户进行互动,提高用户体验感。
此外,为了丰富拟态机器人的互动功能,处理设备根据第一控制信号确定出的互动内容可以包括多种。在一种可能的实现方式中,为了使拟态机器人可以根据第一控制信号的控制需求来移动,该互动内容还可以包括导航信息。处理设备可以根据该导航信息确定行动路径,然后指示该拟态机器人按照该行动路径移动。例如,当处理设备获取到用户向企鹅拟态机器人招手的控制信号时,可以根据该控制信号确定出从企鹅拟态机器人自身位置到该用户位置的导航信息,然后可以通过雷达、GPS定位等方式,扫描企鹅拟态机器人到用户之间的障碍物,从而确定出移动到用户位置的行动路径,并指示企鹅拟态机器人按照该行动路径移动到用户位置。
可以理解的是,为了提高企鹅拟态机器人在移动过程中的安全性,防止其碰撞到无法扫描的障碍物或用户,可以设置当企鹅拟态机器人根据导航信息进行移动时,可以被其他控制信号所中断,从而能够及时对移动中的企鹅拟态机器人进行控制。
接下来,将结合一种实际应用场景,对本申请实施例提供的互动方法进行介绍。在该实际应用场景中,拟态机器人为企鹅拟态机器人,处理设备为安装在企鹅拟态机器人内部,用于控制企鹅拟态机器人的控制单元。如图4所示,图4为本申请实施例提供的一种实际应用场景中互动方法的示意图。该控制单元能够获取遥控信号、语音信号、手势信号和触控信号,其中遥控信号可以通过遥控感应装置获取,手势信号可以通过企鹅拟态机器人中的摄像头获取,触控信号可以通过电子触觉感应皮肤或触控感应器获取。
此外,遥控信号还可以控制其他类型信号采集通路的开关,当只有单一信号类型的采集通路开启时,控制单元可以对该类型的控制信号作出互动响应;当有多个信号类型的采集通路开启时,控制单元可以根据遥控信号>手势信号>触控信号>语音信号的类型优先级,对获取的控制信号进行响应。
其中,在获取到语音信号时,控制单元可以对其进行语音识别和语义理解来确定出对应的互动内容。当控制单元无法理解该语音信号的语义时,可以确定出用于表达没有听懂的文字信息;在能够理解语义时,可以从预先设置的语音库中,选择出对应的用于回复的文字信息。在确定出文字信息后,可以通过文本转语音(Text To Speech,TTS)技术,将文字信息转化为语音信息反馈给用户。
在获取到手势信号后,控制单元可以对手势信号进行动作识别,从而确定出该手势信号所对应的互动内容;在获取到触控信号后,控制单元可以通过识别该触控动作,来确定对应的互动内容。此外,遥控信号可以无需识别,控制单元可以直接改遥控信号作出相应的互动响应。
同时,各种类型的信号都可以触发企鹅拟态机器人的表情响应和动作响应。表情响应通过企鹅拟态机器人左眼部和右眼部的显示装置来进行展示,表情类别可以包括高兴、愤怒、疑惑等多种。动作响应可以通过企鹅拟态机器人上肢和下肢的各个电机转动来实现,例如可以前后移动、挥动翅膀、跳舞、转向等。控制单元在接受控制信号后,可以根据控制信号对应的互动内容,选择相应的动作和表情进行响应。
此外,控制单元还可以根据各种类型的信号,确定出对应的导航信息,该导航信息可以是控制单元根据控制信号,通过雷达获取得到的。控制单元可以根据该导航信息进行虚拟地图构建,该地图中可以包括企鹅拟态机器人与目的地之间的障碍物信息、道路信息等。进而,控制单元可以基于该虚拟地图,进行路径规划来实现自主避障,该避障过程可以通过动作响应来实现。
基于上述实施例提供的一种互动方法,本申请实施例还提供了一种拟态机器人600,该拟态机器人600可以用于配合执行上述互动方法。参见图6,图6为本申请实施例提供的一种拟态机器人600的结构框图,其中,为了便于体现拟态机器人所拟态对象的特点,该结构框图是以拟态机器人中的企鹅拟态机器人的形态所展示的。
该拟态机器人600包括信号接收部件601、处理装置602和位于拟态机器人的面部的显示装置603:
信号接收部件601用于获取针对拟态机器人600的第一控制信号;
处理装置602用于确定第一控制信号所标识的互动内容;从多个表情类别中确定用于响应互动内容的目标表情类别;指示拟态机器人600进行针对第一控制信号的互动响应;
在机器人600针对第一控制信号进行互动响应的过程中,显示装置603用于进行互动响应所包括的表情响应,表情响应为通过显示装置603显示目标表情类别对应的至少一个表情图案。
在一种可能的实现方式中,显示装置603包括处于拟态机器人600的双眼位置的左眼显示部604和右眼显示部605,左眼显示部604用于显示表情图案中对应左眼区域的图案内容;右眼显示部605用于显示表情图案中对应右眼区域的图案内容。在一种可能的实现方式中,第一控制信号的信号类型包括语音信号、手势信号、触控信号或遥控信号;信号接收部件601包括以下一种或多种的组合:
信号接收部件601包括语音接收件606,语音接收件606用于获取信号类型为语音信号的第一控制信号;
信号接收部件601包括图像采集件607,图像采集件607用于获取信号类型为手势信号的第一控制信号;
信号接收部件601包括电子触觉感应皮肤608,电子触觉感应皮肤608用于获取信号类型为触控信号的第一控制信号;电子触觉感应皮肤608覆盖拟态机器人600的部分或全部外表面;
信号接收部件601包括遥控感应件609,遥控感应件609用于获取信号类型为遥控信号的第一控制信号,第一控制信号是通过拟态机器人600的遥控器发出的。
在一种可能的实现方式中,拟态机器人600为企鹅拟态机器人,该企鹅拟态机器人包括运动部件610,动作部件610包括上肢部件611和下肢部件612,上肢部件611包括企鹅拟态翅膀部件613,下肢部件612包括企鹅拟态双足部件614和企鹅拟态尾部部件615;
运动部件610用于被驱动模拟进行企鹅步态或人类步态移动。
本申请实施例还提供了一种用于互动的设备,下面结合附图对该设备进行介绍。请参见图7所示,本申请实施例提供了一种设备700,该设备700还可以是终端设备,该终端设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant,简称PDA)、销售终端(Point of Sales,简称POS)、车载电脑等任意智能终端,以终端设备为手机为例:
图7示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图7,手机包括:射频(Radio Frequency,简称RF)电路710、存储器720、输入单元730、显示单元740、传感器750、音频电路760、无线保真(wireless fidelity,简称WiFi)模块770、处理器780、以及电源790等部件。本领域技术人员可以理解,图7中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图7对手机的各个构成部件进行具体的介绍:
RF电路710可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器780处理;另外,将设计上行的数据发送给基站。通常,RF电路710包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,简称LNA)、双工器等。此外,RF电路710还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(Global System of Mobile communication,简称GSM)、通用分组无线服务(GeneralPacket Radio Service,简称GPRS)、码分多址(Code Division Multiple Access,简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access,简称WCDMA)、长期演进(Long Term Evolution,简称LTE)、电子邮件、短消息服务(Short Messaging Service,简称SMS)等。
存储器720可用于存储软件程序以及模块,处理器780通过运行存储在存储器720的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器720可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器720可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元730可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元730可包括触控面板731以及其他输入设备732。触控面板731,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板731上或在触控面板731附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板731可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器780,并能接收处理器780发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板731。除了触控面板731,输入单元730还可以包括其他输入设备732。具体地,其他输入设备732可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元740可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元740可包括显示面板741,可选的,可以采用液晶显示器(Liquid CrystalDisplay,简称LCD)、有机发光二极管(Organic Light-Emitting Diode,简称OLED)等形式来配置显示面板741。进一步的,触控面板731可覆盖显示面板741,当触控面板731检测到在其上或附近的触摸操作后,传送给处理器780以确定触摸事件的类型,随后处理器780根据触摸事件的类型在显示面板741上提供相应的视觉输出。虽然在图7中,触控面板731与显示面板741是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板731与显示面板741集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器750,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板741的亮度,接近传感器可在手机移动到耳边时,关闭显示面板741和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路760、扬声器761,传声器762可提供用户与手机之间的音频接口。音频电路760可将接收到的音频数据转换后的电信号,传输到扬声器761,由扬声器761转换为声音信号输出;另一方面,传声器762将收集的声音信号转换为电信号,由音频电路760接收后转换为音频数据,再将音频数据输出处理器780处理后,经RF电路710以发送给比如另一手机,或者将音频数据输出至存储器720以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块770可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图7示出了WiFi模块770,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器780是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器720内的软件程序和/或模块,以及调用存储在存储器720内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器780可包括一个或多个处理单元;优选的,处理器780可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器780中。
手机还包括给各个部件供电的电源790(比如电池),优选的,电源可以通过电源管理系统与处理器780逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本实施例中,该终端设备所包括的处理器780还具有以下功能:
获取针对企鹅拟态机器人的第一控制信号;
确定所述第一控制信号所标识的互动内容;
从多个表情类别中确定用于响应所述互动内容的目标表情类别;
指示所述企鹅拟态机器人进行针对所述第一控制信号的互动响应;所述互动响应包括表情响应,所述表情响应为通过位于所述企鹅拟态机器人的面部的显示装置,显示所述目标表情类别对应的至少一个表情图案。
本申请实施例还提供一种服务器,请参见图8所示,图8为本申请实施例提供的服务器800的结构图,服务器800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Units,简称CPU)822(例如,一个或一个以上处理器)和存储器832,一个或一个以上存储应用程序842或数据844的存储介质830(例如一个或一个以上海量存储设备)。其中,存储器832和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器822可以设置为与存储介质830通信,在服务器800上执行存储介质830中的一系列指令操作。
服务器800还可以包括一个或一个以上电源826,一个或一个以上有线或无线网络接口850,一个或一个以上输入输出接口858,和/或,一个或一个以上操作系统841,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于图8所示的服务器结构。
本申请实施例还提供一种计算机可读存储介质,用于存储计算机程序,该计算机程序用于执行前述各个实施例所述的互动方法中的任意一种实施方式。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质可以是下述介质中的至少一种:只读存储器(英文:read-only memory,缩写:ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备及系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述,仅为本申请的一种具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (13)

1.一种互动方法,其特征在于,所述方法包括:
获取针对拟态机器人的第一控制信号;所述第一控制信号的信号类型包括语音信号、手势信号、触控信号或遥控信号;所述触控信号是通过设置在所述拟态机器人表层的电子触觉感应皮肤获取的;所述电子触觉感应皮肤覆盖所述拟态机器人的部分或全部外表面;
确定所述第一控制信号所标识的互动内容;
从多个表情类别中确定用于响应所述互动内容的目标表情类别;其中,所述目标表情类别对应多种表情图案;
指示所述拟态机器人进行针对所述第一控制信号的互动响应;所述互动响应包括表情响应,所述表情响应为通过位于所述拟态机器人的面部的显示装置,显示所述目标表情类别对应的至少一个表情图案;当所述显示装置显示所述目标表情类别对应的多个表情图案时,所述多个表情图案以逐渐变化的形式进行呈现;当用户触摸所述电子触觉感应皮肤的不同位置时,所述拟态机器人进行不同的动作响应;
根据用户互动习惯设置与所述信号类型对应的类型优先级,在进行所述互动响应的过程,所述方法还包括:
获取针对所述拟态机器人的第二控制信号;
根据所述第一控制信号与所述第二控制信号的信号类型,确定所述第一控制信号与所述第二控制信号的优先级;
若所述第二控制信号的优先级大于所述第一控制信号的优先级,终止当前正在进行的所述互动响应,将所述第二控制信号作为所述第一控制信号,执行所述确定所述第一控制信号所标识的互动内容的步骤;
当同时获取到针对所述拟态机器人的第一控制信号和第二控制信号时,优先响应优先级最高的控制信号。
2.根据权利要求1所述的方法,其特征在于,所述显示装置包括处于所述拟态机器人的双眼位置的左眼显示部和右眼显示部,所述通过位于所述拟态机器人的面部的显示装置,显示所述目标表情类别对应的至少一个表情图案,包括:
通过所述左眼显示部显示所述表情图案中对应左眼区域的图案内容;通过所述右眼显示部显示所述表情图案中对应右眼区域的图案内容。
3.根据权利要求1或2所述的方法,其特征在于,所述拟态机器人为企鹅拟态机器人,所述至少一个表情图案用于体现拟人化的企鹅表情。
4.根据权利要求1所述的方法,其特征在于,所述类型优先级是根据用户互动习惯确定的。
5.根据权利要求1所述的方法,其特征在于,所述互动响应还包括动作响应,所述方法还包括:
从动作序列中确定用于响应所述互动内容的目标动作;
所述指示所述机器人进行针对所述第一控制信号的互动响应,包括:
根据所述目标动作所标识的运动部件,指示所述运动部件做出所述目标动作。
6.根据权利要求5所述的方法,其特征在于,所述拟态机器人为企鹅拟态机器人,所述运动部件包括上肢部件或下肢部件中的一种或多种组合,所述上肢部件包括企鹅拟态翅膀部件,所述下肢部件包括企鹅拟态双足部件和企鹅拟态尾部部件。
7.根据权利要求1所述的方法,其特征在于,所述互动内容还包括导航信息,所述方法还包括:
根据所述导航信息确定行动路径;
指示所述拟态机器人按照所述行动路径移动。
8.一种拟态机器人,其特征在于,所述拟态机器人包括信号接收部件、处理装置和位于所述拟态机器人的面部的显示装置:
所述信号接收部件用于获取针对所述拟态机器人的第一控制信号;所述第一控制信号的信号类型包括触控信号;所述触控信号是通过设置在所述拟态机器人表层的电子触觉感应皮肤或者触控感应器获取的,所述电子触觉感应皮肤覆盖所述拟态机器人的部分或全部外表面;
所述处理装置用于确定所述第一控制信号所标识的互动内容;从多个表情类别中确定用于响应所述互动内容的目标表情类别,其中,所述目标表情类别对应多种表情图案;指示所述拟态机器人进行针对所述第一控制信号的互动响应;
在所述机器人针对所述第一控制信号进行所述互动响应的过程中,所述显示装置用于进行所述互动响应所包括的表情响应,所述表情响应为通过所述显示装置显示目标表情类别对应的至少一个表情图案;当所述显示装置显示所述目标表情类别对应的多个表情图案时,所述多个表情图案以逐渐变化的形式进行呈现;当用户触摸所述电子触觉感应皮肤的不同位置时,所述拟态机器人进行不同的动作响应;根据用户互动习惯设置与所述信号类型对应的类型优先级,在进行所述互动响应的过程,还包括:获取针对所述拟态机器人的第二控制信号;根据所述第一控制信号与所述第二控制信号的信号类型,确定所述第一控制信号与所述第二控制信号的优先级;若所述第二控制信号的优先级大于所述第一控制信号的优先级,终止当前正在进行的所述互动响应,将所述第二控制信号作为所述第一控制信号,执行所述确定所述第一控制信号所标识的互动内容的步骤;当同时获取到针对所述拟态机器人的第一控制信号和第二控制信号时,优先响应优先级最高的控制信号。
9.根据权利要求8所述的拟态机器人,其特征在于,所述显示装置包括处于所述拟态机器人的双眼位置的左眼显示部和右眼显示部,所述左眼显示部用于显示所述表情图案中对应左眼区域的图案内容;所述右眼显示部用于显示所述表情图案中对应右眼区域的图案内容。
10.根据权利要求8所述的拟态机器人,其特征在于,所述第一控制信号的信号类型包括语音信号、手势信号、触控信号或遥控信号;所述信号接收部件包括以下一种或多种的组合:
所述信号接收部件包括语音接收件,所述语音接收件用于获取信号类型为语音信号的所述第一控制信号;
所述信号接收部件包括图像采集件,所述图像采集件用于获取信号类型为手势信号的所述第一控制信号;
所述信号接收部件包括电子触觉感应皮肤,所述电子触觉感应皮肤用于获取信号类型为触控信号的所述第一控制信号;所述电子触觉感应皮肤覆盖所述拟态机器人的部分或全部外表面;
所述信号接收部件包括遥控感应件,所述遥控感应件用于获取信号类型为遥控信号的所述第一控制信号,所述第一控制信号是通过所述拟态机器人的遥控器发出的。
11.根据权利要求8所述的拟态机器人,其特征在于,所述拟态机器人为企鹅拟态机器人,所述企鹅拟态机器人包括运动部件,所述运动部件包括上肢部件和下肢部件,所述上肢部件包括企鹅拟态翅膀部件,所述下肢部件包括企鹅拟态双足部件和企鹅拟态尾部部件;
所述运动部件用于被驱动模拟进行企鹅步态或人类步态移动。
12.一种用于互动的设备,其特征在于,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1-7中任意一项所述的互动方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行权利要求1-7中任意一项所述的互动方法。
CN202010343691.0A 2020-04-27 2020-04-27 一种互动方法、拟态机器人和相关装置 Active CN111515970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010343691.0A CN111515970B (zh) 2020-04-27 2020-04-27 一种互动方法、拟态机器人和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010343691.0A CN111515970B (zh) 2020-04-27 2020-04-27 一种互动方法、拟态机器人和相关装置

Publications (2)

Publication Number Publication Date
CN111515970A CN111515970A (zh) 2020-08-11
CN111515970B true CN111515970B (zh) 2023-07-14

Family

ID=71905420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010343691.0A Active CN111515970B (zh) 2020-04-27 2020-04-27 一种互动方法、拟态机器人和相关装置

Country Status (1)

Country Link
CN (1) CN111515970B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112769851A (zh) * 2021-01-19 2021-05-07 汉纳森(厦门)数据股份有限公司 一种基于车联网的拟态防御系统
CN115412518A (zh) * 2022-08-19 2022-11-29 网易传媒科技(北京)有限公司 表情发送方法、装置、存储介质及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004283957A (ja) * 2003-03-20 2004-10-14 Sony Corp ロボット装置、その制御方法、及びプログラム
CN109039851B (zh) * 2017-06-12 2020-12-29 腾讯科技(深圳)有限公司 交互数据处理方法、装置、计算机设备和存储介质
CN108255308A (zh) * 2018-02-11 2018-07-06 北京光年无限科技有限公司 一种基于虚拟人的手势交互方法及系统
CN109324688A (zh) * 2018-08-21 2019-02-12 北京光年无限科技有限公司 基于虚拟人行为标准的交互方法及系统
JP7322374B2 (ja) * 2018-10-03 2023-08-08 カシオ計算機株式会社 ロボットの制御装置、ロボット、ロボットの制御方法およびプログラム
CN109683709A (zh) * 2018-12-17 2019-04-26 苏州思必驰信息科技有限公司 基于情绪识别的人机交互方法及系统
CN109877834A (zh) * 2019-03-12 2019-06-14 广东小天才科技有限公司 多屏显示机器人、方法和装置、显示机器人和显示方法

Also Published As

Publication number Publication date
CN111515970A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
JP6816925B2 (ja) 育児ロボットのデータ処理方法及び装置
US11605193B2 (en) Artificial intelligence-based animation character drive method and related apparatus
WO2021036644A1 (zh) 一种基于人工智能的语音驱动动画方法和装置
CN110490213B (zh) 图像识别方法、装置及存储介质
CN102789313B (zh) 一种用户交互系统和方法
CN110288077A (zh) 一种基于人工智能的合成说话表情的方法和相关装置
CN104520849A (zh) 使用外在物理表达的搜索用户界面
US11029803B2 (en) Robot
US11074491B2 (en) Emotionally intelligent companion device
CN111515970B (zh) 一种互动方法、拟态机器人和相关装置
US11376742B2 (en) Robot and method of controlling the same
CN112735418B (zh) 一种语音交互的处理方法、装置、终端及存储介质
CN112204654A (zh) 用于基于预测的先发式对话内容生成的系统和方法
CN111538456A (zh) 基于虚拟形象的人机交互方法、装置、终端以及存储介质
CN113821720A (zh) 一种行为预测方法、装置及相关产品
CN111324409B (zh) 基于人工智能的互动方法和相关装置
CN110399474B (zh) 一种智能对话方法、装置、设备及存储介质
CN107292221A (zh) 一种轨迹处理方法和装置、一种用于轨迹处理的装置
CN111816168A (zh) 一种模型训练的方法、语音播放的方法、装置及存储介质
CN111639209A (zh) 一种书本内容的搜索方法、终端设备及存储介质
CN112437226B (zh) 图像处理方法、设备及存储介质
CN111723783A (zh) 一种内容识别方法和相关装置
CN111709789A (zh) 一种用户转化率的确定方法及相关设备
CN112540668A (zh) 一种基于AI及IoT的智能教学辅助方法及系统
CN112541843A (zh) 一种基于人工智能的辅助教学方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40027866

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant