CN108351707B - 人机交互方法、装置、终端设备及计算机可读存储介质 - Google Patents

人机交互方法、装置、终端设备及计算机可读存储介质 Download PDF

Info

Publication number
CN108351707B
CN108351707B CN201780002540.5A CN201780002540A CN108351707B CN 108351707 B CN108351707 B CN 108351707B CN 201780002540 A CN201780002540 A CN 201780002540A CN 108351707 B CN108351707 B CN 108351707B
Authority
CN
China
Prior art keywords
interactive
interactive object
user configuration
configuration file
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780002540.5A
Other languages
English (en)
Other versions
CN108351707A (zh
Inventor
张含波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Robotics Co Ltd filed Critical Cloudminds Robotics Co Ltd
Publication of CN108351707A publication Critical patent/CN108351707A/zh
Application granted granted Critical
Publication of CN108351707B publication Critical patent/CN108351707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • G06F9/44505Configuring for program initiating, e.g. using registry, configuration files
    • G06F9/4451User profiles; Roaming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及机器人技术领域,提供了一种人机交互方法、装置、终端设备及计算机可读存储介质。人机交互方法应用于具有人机交互功能的终端设备,包括:识别模块,用于识别是否有交互对象;信息提取模块,用于在识别模块确定识别到交互对象时,提取交互对象的身份信息;确定模块,用于基于交互对象的身份信息与用户配置文件之间的映射关系,确定身份信息对应的用户配置文件;响应模块,用于根据用户配置文件,作出与交互对象匹配的响应。本申请中提供的人机交互方法、装置、终端设备及计算机可读存储介质,能够使具有人机交互功能的终端设备实现与多个交互对象交叉互动,使得人机交互过程更加友好。

Description

人机交互方法、装置、终端设备及计算机可读存储介质
技术领域
本申请涉及机器人技术领域,尤其涉及一种人机交互方法、装置、终端设备及计算机可读存储介质。
背景技术
人机交互、人机互动(Human–Computer Interaction或Human–MachineInteraction,简称HCI或HMI),是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器,也可以是计算机化的系统和软件。以交互型机器人为例,该机器人能够通过计算机系统与用户进行人机对话,在现有的人机交互方案中,机器人与用户进行人机对话时,需要基于上下文信息(某一时间段内连续输入的信息)作出合理的理解与回复,从而实现对机器人的控制与操作。
发明人在实现本申请的过程中发现,虽然,现有人机交互的技术方案中,机器人能够基于上下文信息作出合理的理解与回复,实现与用户进行人机对话。但是,现有的技术方案,机器人在与用户进行交互过程中,只能顺序为当前用户提供服务,当该交互被打断后,无法再继续、因此,目前的机器人在同一时间段内只能实现与一位用户的交互,即机器人无法同时面对多个用户,实现与多用户的人机交互。
发明内容
本申请部分实施例所要解决的一个技术问题在于提供一种人机交互方法,以解决上述技术问题。
本申请的一个实施例提供了一种人机交互方法,该人机交互方法应用于具有人机交互功能的终端设备。人机交互方法包括:确定识别到交互对象时,提取交互对象的身份信息;基于交互对象的身份信息与用户配置文件之间的映射关系,确定身份信息对应的用户配置文件;根据用户配置文件,作出与交互对象匹配的响应。
本申请实施例还提供了一种人机交互装置,该人机交互装置应用于具有人机交互功能的终端设备。人机交互装置包括:识别模块,用于识别是否有交互对象;信息提取模块,用于在识别模块确定识别到交互对象时,提取交互对象的身份信息;确定模块,用于基于交互对象的身份信息与用户配置文件之间的映射关系,确定身份信息对应的用户配置文件;响应模块,用于根据用户配置文件,作出与交互对象匹配的响应。
本申请实施例还提供了一种终端设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本申请任意方法实施例中涉及的人机交互方法。
本申请实施例还提供了一种计算机可读存储介质,存储有计算机指令,计算机指令用于使计算机执行本申请任意方法实施例中涉及的人机交互方法。
本申请实施例相对于现有技术而言,能够实现同时与不同交互对象交互,当具有人机交互功能的终端设备提取交互对象的身份信息后,然后基于交互对象的身份信息与用户配置文件之间的映射关系,确定身份信息对应的用户配置文件,从而可以根据每个交互对象各自所对应的用户配置文件,作出与该交互对象匹配的响应,进而实现了同时面对多个交互对象进行人机交互的功能,大大提升了用户体验。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是根据本申请第一实施例中的人机交互方法的具体流程图;
图2是根据本申请第二实施例中的人机交互方法的具体流程图;
图3是根据本申请第三实施例中的人机交互方法的具体流程图;
图4是根据本申请第四实施例中的人机交互方装置的方框示意图;
图5是根据本申请第五实施例中的终端设备的方框示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请部分实施例进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请的第一实施例涉及一种人机交互方法,该人机交互方法主要应用于具有人机交互功能的终端设备。
需要说明的是,本实施例中所说的终端设备可以为交互型机器人、交互对象可以是任意使用人群,此处不做限制,为了便于理解,以下结合图1所示的人机交互方法的具体流程进行说明。
步骤101,判断是否识别到交互对象。
具体的说,如果确定识别到交互对象,则进入步骤102,;否则,继续执行步骤101,直到确定识别到交互对象,进入步骤102,或者终端设备退出人机交互模式为止。
在本实施例中,在检测到采集区域中有交互对象出现,或者,在识别到声音信息时,确定识别到交互对象。此处仅为举例说明,并不用于限制本实施例的保护范围,其它识别交互对象的方式也在本实施例的范围内。
需要说明的是,本实施例中所说的采集区域,具体可以由本领域的技术人员根据交互型机器人实际放置的使用场合、使用人群等多种因素合理设置,比如以交互型机器人所处的位置为圆心,半径为1米的区域作为采集区域,如果有用户(交互对象)出现在该区域中,或者根据声音采集装置确定在该区域内识别到用户的声音信息时,即可确定识别到了交互对象。
需要说明的是,本实施例中所说的根据声音采集装置确定在该区域内识别到用户的声音信息,具体是指通过声音的传播速度,确定交互对象所处的位置,从而确定识别到的声音信息是否来自该区域内。
另外,在识别到用户的声音信息,确定识别交互对象,也可以在声音采集装置采集到的用户声音处于某一频率,既可以确定识别到了交互对象。
需要说明的的是,以上仅为举例说明,并不对本申请的保护范围构成限定,本领域的技术人员可以根据需要设置确定识别到交互对象的条件,此处不做限制。
另外,在实际应用中,为了保证交互操作的准确性,避免误操作,可以在确定进入采集区域的用户做出了特定的动作或者发出了特定的声音后,才确定识别到的用户为需要进行人机交互的交互对象。
需要说明的是,以上仅为举例说明,并不对本申请的保护范围构成限定,本领域的技术人员可以根据需要设置识别交互对象的具体条件,此处不做限制。
步骤102,提取交互对象的身份信息。
具体的说,交互对象的身份信息具体可以是交互对象的声纹信息和/或交互对象的人脸信息,即在交互对象进入到采集区域后,通过开启语音采集装置,采集交互对象的声纹信息,和/或开启图像采集装置,采集交互对象的人脸信息。
另外,为了提高提取到的交互对象的身份信息的准确性,避免出现由于采集到的人脸信息不清楚,声纹信息不清晰,影响交互对象身份的确认,本实施例可以采用以下具体实现:在确定识别到交互对象,提取交互对象的身份信息之前,还进一步获取了交互对象当前所处的位置信息,并对位置信息进行合理判断,比如判断获取到的位置信息是否与预设的位置信息匹配。
需要说明的是,该预设的位置信息能够满足使交互型机器人清楚、完整的采集到交互对象的人脸信息和/或采集到所述交互对象的声纹信息。
进一步地,如果该交互对象当前所处的位置信息能够清楚、完整的采集到交互对象的人脸信息,则控制交互型机器人开启图像采集装置,采集交互对象的人脸信息,如果交互型机器人能够清晰的采集到交互对象的声纹信息,则控制交互型机器人开启语音采集装置,采集交互对象的声纹信息。并将采集到的声纹信息和/或人脸信息作为交互对象的身份信息。否则,可以发出提示信息,提示交互对象移动位置,直到交互对象所处的位置符合提取身份信息的条件位置。
步骤103,确定身份信息对应的用户配置文件。
具体的说,在本实施例中,确定身份信息对应的用户配置文件的操作,具体是基于交互对象的身份信息与用户配置文件之间的映射关系进行确定的。
需要说明的是,在本实施例中,交互对象与用户配置文件是一一对应的,由于每一个交互对象的身份信息都是唯一的,因此通过设置交互对象的身份信息与用户配置文件一一对应的映射关系,从而可以在提取到交互对象的身份信息后,能够快速确定与该交互对象对应的用户配置文件。
另外,本实施例中所说的用户配置文件主要是用于存储对应的交互对象的上下文交互内容,即记录该交互对象与交互型机器人在人机交互过程中交互双方做出的指令及响应等。
另外,需要说明的是,关于用户配置文件中记录的上下文交互内容的格式以及记录方式,本领域的技术人员可以根据实际需要合理设置,此处不做限制。
步骤104,根据用户配置文件,作出与交互对象匹配的响应,结束本次交互流程。
在本实施例中,通过从该交互对象对应的用户配置文件中,获取该交互对象的上下文交互内容,然后根据该上下文交互内容来作出与交互对象匹配的响应,从而使得交互型机器人作出的响应是符合当前交互对象的交互要求的。
另外,值得一提的是,为了进一步提升用户体验,在执行完一次人机交互后,如果交互型机器人收到交互对象反馈的内容与作出的响应存在差异,则根据交互对象反馈的内容,更新该交互对象对应的用户配置文件中的上下文交互内容,从而保证后续人机交互的准确性,关于如何更新用户配置文件,以及何时更新用户配置文件,本领域的技术人员可以根据实际需要设置,此处不做限制。
需要说明的是,上述人机交互是以一个交互对象为例进行说明的,在实际应用中,如果出现了采集区域中有多个交互对象出现,交互型机器人可以根据交互对象出现的先后依次提取每一个交互对象的身份信息,并根据完成的先后顺序依次进入后续处理,直到对每一个交互对象作出匹配的响应为止。
另外,以上仅为举例说明,并不对本申请的保护范围构成限定,本领域的技术人员可以根据需要设置人机交互中,交互型机器人的对交互对象作出响应的执行方式,此处不做限制。
通过上述描述不难发现,本申请实施例相对于现有技术而言,当具有人机交互功能的终端设备启动人机交互功能后,在确定识别到交互对象时,提取交互对象的身份信息,然后基于交互对象的身份信息与用户配置文件之间的映射关系,确定身份信息对应的用户配置文件,从而可以根据每一个交互对象所对应的用户配置文件,作出与该交互对象匹配的响应,进而实现了同时面对多个交互对象进行人机交互的功能,大大提升了用户体验。
本申请的第二实施例涉及一种人机交互方法。本实施例在第一实施例的基础上做了进一步改进,具体改进之处为:在提取交互对象的身份信息之后,确定身份信息对应的用户配置文件之前,还需要检测终端设备中是否存在与交互对象对应的用户配置文件,并根据检测结果进行后续操作,具体流程如图2所示。
具体的说,在本实施例中,包含步骤201至步骤206,其中,步骤201至步骤202分别与第一实施例中的步骤101至步骤102大致相同,步骤205至步骤206分别与第一实施例中的步骤103至步骤104大致相同,此处不再赘述,下面主要介绍不同之处:
步骤203,检测终端设备中是否存在与交互对象对应的用户配置文件。若终端设备中不存在与交互对象对应的用户配置文件,则进入步骤204;否则,进入步骤205。
步骤204,根据身份信息,创建交互对象对应的用户配置文件。
在本实施例中,检测终端设备中是否存在与交互对象对应的用户配置文件,具体可以通过以下方式实现:检测终端设备的缓存空间中是否存在与交互对象对应的用户配置文件,具体可以基于置信度阈值判断终端设备的缓存空间中是否存在与交互对象对应的用户配置文件,比如说,预设的置信度阈值为90%,如果通过计算,得出的置信度值大于或等于预设的置信度阈值,则判定终端设备的缓存空间中存在交互对象对应的用户配置文件,则无需为该交互对象创建对应的用户配置文件,如果通过计算,得出的置信度值小于预设的置信度阈值,则判定终端设备的缓存空间中不存在交互对象对应的用户配置文件。此时,需要进一步判断终端设备的历史数据库中是否存在与交互对象对应的用户配置文件。
具体的说,比如说,通过将当前交互对象的身份信息中的声纹信息与终端设备中存储的声纹信息进行比对,若两者匹配度大于或等于90%,则判定终端设备的缓存空间中存在交互对象对应的用户配置文件,则无需为该交互对象创建对应的用户配置文件。若两者的匹配度小于90%,判定终端设备的缓存空间中不存在交互对象对应的用户配置文件。此时,需要进一步判断终端设备的历史数据库中是否存在与交互对象对应的用户配置文件。
需要说明的是,置信度值的计算,本领域的技术人员可以根据统计学算法进行合理计算,此处不再赘述。
在本实施例中,判断终端设备的历史数据库中是否存在与交互对象对应的用户配置文件的流程,与上述判断终端设备的缓存空间中是否存在与交互对象对应的用户配置文件的流程大致相同,同样可以基于置信度阈值进行判断。若判定终端设备的历史数据库中不存在与交互对象对应的用户配置文件,则根据身份信息,在缓存空间中为该交互对象创建一个与之对应的用户配置文件,若判定终端设备的历史数据库中存在与交互对象对应的用户配置文件,则从历史数据库中获取与该交互对象对应的用户配置文件,并将该用户配置文件转移到缓存空间。
需要说明的是,本实施例中所说的缓存空间,具体是指终端设备的缓存,即数据交换的缓冲区(称作Cache),基于缓存能够帮助硬件更快运行的原理,本实施例中在根据身份信息,创建交互对象对应的用户配置文件之前,通过优先判断终端设备缓存中是否存在该交互对象对应的用户配置文件,在缓存空间中存在该交互对象对应的用户配置文件时,可以直接获取,从而可以保证人机交互过程中,终端设备能够快速作出响应,给用户(交互对象)一个更好的体验。
本实施例中所说的历史数据库具体是创建于终端设备的内存中,或者远端服务器,此处不做限制。因此,通过将暂时不使用的用户配置文件保存到历史数据库中,可以永久保护,避免出现断电等异常情况时丢失数据。
另外,在实际应用中,为了保证数据的安全,可以在终端设备与交互对象交互过程中,定时将缓存空间中存储的用户配置文件更新到历史数据库,本领域的技术人员可以根据需要设置具体实现方式,此处不做限制。
另外,值得一提的是,关于置信度,在本领域内通常又称可靠度、置信水平、置信系数等,它是指估计总体参数落在某一区间时,可能犯错误的概率。因此,通过设置合理的置信度阈值,能够在允许误差的范围内,尽可能的保证检测结果的准确性。
另外,在本实施例中,由于提取的交互对象的身份信息可能为声纹信息和/或人脸信息,而声纹信息和人脸信息的提取可能会受到交互对象所处的位置、说话声音的大小等的影响,因此可以针对声纹信息设置一个置信度阈值,比如要求落在正确范围内的概率为90%,落在错误范围内的概率为10%;针对人脸信息设置的置信度阈值可以为要求落在正确范围内的概率为95%,落在错误范围内的概率为5%。
另外,为了便于判断,减少判断逻辑,也可以根据声纹信息和人脸信息进行合理取舍,选取一个合理的置信度阈值,具体的实现方式,此处不再赘述。
另外,用于判断终端设备的缓存空间中是否存在与交互对象对应的用户配置文件的置信度阈值,和用于判断终端设备的历史数据库中是否存在与交互对象对应的用户配置文件的置信度阈值,可以相同,也可以不相同,此处不做限制。
需要说明的是,以上仅为举例说明,并不对本申请的保护范围构成限定,本领域的技术人员可以根据需要设置具体置信度阈值,此处不做限制。
通过上述描述不难发现,本申请实施例相对于现有技术而言,在根据身份信息,创建交互对象对应的用户配置文件之前,检测终端设备中是否存在与交互对象对应的用户配置文件,在确定终端设备中不存在与交互对象对应的用户配置文件时,才执行根据身份信息创建交互对象对应的用户配置文件的步骤,从而避免了多次重复创建用户配置文件,节省了终端设备的存储空间,且便于管理。
本申请的第三实施例涉及一种人机交互方法,本实施例在第一实施例的基础上做了进一步改进,具体改进之处为:在获取用户配置文件,作出与交互对象匹配的响应之后,进一步判断是否需要结束与交互对象的交互操作,并根据判断结果进行后续操作,具体流程如图3所示。
具体的说,在本实施例中,包含步骤301至步骤306,其中,步骤301至步骤304分别与第一实施例中的步骤101至步骤104大致相同,此处不再赘述,下面主要介绍不同之处:
步骤305,判断是否需要结束与交互对象的交互操作。
具体的说,若判定需要结束与交互对象的交互操作,进入步骤306;否则,继续根据用户配置文件,作出与交互对象匹配的响应,即该交互对象与终端设备的交互还没有结束,还需要继续进行。
步骤306,将用户配置文件从缓存空间转移到历史数据库中,结束本次交互流程。
具体的说,需要先将本次交互操作的上下文交互内容保存到该交互对象对应的用户配置文件中,然后再将用户配置文件从缓存空间中转移到历史数据库中,从而在下次与该交互对象进行人机交互时,终端设备能够做出符合当前交互的响应。并且,将用户配置文件从缓存空间转移到历史数据库中后,可以大大减小终端缓存空间的占用,从而避免了资源浪费,使得终端设备能够快速处理其他指令。
需要说明的是,以上仅为举例说明,并不对本申请的保护范围构成限定。
通过上述描述不难发现,本申请实施例相对于现有技术而言,在根据用户配置文件,作出与交互对象匹配的响应之后,通过进一步判断是否需要结束与交互对象的交互操作,并在判定需要结束与交互对象的交互操作,将本次交互操作的上下文交互内容保存到用户配置文件中,并将用户配置文件从缓存空间转移到历史数据库中,大大减小了终端设备缓存空间的占用,避免资源浪费,使得终端设备能够快速处理其他指令。
本申请的第四实施例涉及一种人机交互装置,该人机交互装置的具体实施可参见方法实施例的描述,具体结构如图4所示。
如图4所示,人机交互装置400主要包括识别模块401、信息提取模块402、确定模块403和响应模块404。
其中,该人机交互装置400主要应用于具有人机交互功能的终端设备,人机交互装置400通过内部的识别模块401、信息提取模块402、确定模块403和响应模块404的协同配合实现人机交互。
具体的说,通过识别模块401识别是否有交互对象,并在识别到有交互对象时,利用信息提取模块402提取交互对象的身份信息,在提取到交互对象的身份信息后,利用确定模块403基于交互对象的身份信息与用户配置文件之间的映射关系,确定身份信息对应的用户配置文件,最终使用响应模块404根据用户配置文件,作出与交互对象匹配的响应,完成一次人机交互操作。
通过上述描述不难发现,本申请实施例相对于现有技术而言,通过利用识别模块识别是否存在交互对象,并在确定识别到交互对象时,利用信息提取模块提取交互对象的身份信息,然后由确定模块基于交互对象的身份信息与用户配置文件之间的映射关系,确定身份信息对应的用户配置文件,最终利用响应模块根据每一个交互对象各自所对应的用户配置文件,作出与该交互对象匹配的响应,进而实现了同时面对多个交互对象进行人机交互的功能,大大提升了用户体验。
以上所描述的装置实施例仅仅是示意性的,并不对本申请的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的,此处不做限制。
本申请的第五实施例涉及一种终端设备,具体结构如图5所示。
该终端设备包括一个或多个处理器500以及存储器600,图5中以一个处理器500为例。
在本实施例中,上述实施例中涉及到的人机交互装置中的各功能模块均部署在处理器500上,处理器500和存储器600可以通过总线或其他方式连接,图5中以通过总线连接为例。
存储器600作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请任意方法实施例中涉及的人机交互方法对应的程序指令/模块。处理器500通过运行存储在存储器600中的软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现本申请任意方法实施例中涉及的人机交互方法。
存储器600可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可建立历史数据库,用于存储用户配置文件等。此外,存储器600可以包括高速随机存取存储器,还可以包括存储器,例如至少一个磁盘存储器件、闪存器件、或其他固态存储器件。在一些实施例中,存储器600可选包括相对于处理器500远程设置的存储器,这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在实际应用中,存储器600中可以存储至少一个处理器500执行的指令,指令被至少一个处理器500执行,以使至少一个处理器500能够执行本申请任意方法实施例涉及的人机交互方法,控制人机交互装置400完成人机交互方法中的交互流程,未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的人机交互方法。
本申请的第六实施例涉及一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,该计算机指令使计算机能够执行本申请任意方法实施例中涉及的人机交互方法。
本领域的普通技术人员可以理解,上述各实施例是实现本申请的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本实用新型的精神和范围。

Claims (10)

1.一种人机交互方法,应用于具有人机交互功能的终端设备,所述人机交互方法包括:
确定识别到多个交互对象时,提取各所述交互对象的身份信息;
基于各所述交互对象的身份信息与用户配置文件之间的映射关系,确定各所述交互对象的所述身份信息对应的所述用户配置文件,所述交互对象与所述用户配置文件一一对应,所述用户配置文件用于存储对应的所述交互对象的上下文交互内容,所述上下文交互内容包括交互过程中,交互双方做出的指令及响应;
根据各所述交互对象对应的所述用户配置文件,作出与对应的所述交互对象匹配的响应;
其中,所述根据各所述交互对象对应的所述用户配置文件,作出与对应的所述交互对象匹配的响应,具体包括:
对于各所述交互对象,在各所述交互对象对应的所述用户配置文件中获取所述交互对象的上下文交互内容;
根据所述上下文交互内容,作出与对应的所述交互对象匹配的响应。
2.如权利要求1所述的人机交互方法,其中,所述确定识别到多个交互对象,具体包括:
在检测到采集区域中有多个交互对象出现,或者,在识别到多个声音信息时,确定识别到多个所述交互对象。
3.如权利要求1或2所述的人机交互方法,其中,所述提取各所述交互对象的身份信息,具体包括:
获取各所述交互对象所处的位置信息;
根据所述位置信息,控制所述终端设备开启语音采集装置,采集各所述交互对象的声纹信息,和/或开启图像采集装置,采集各所述交互对象的人脸信息;
将采集到的所述声纹信息和/或所述人脸信息作为各所述交互对象的身份信息。
4.如权利要求1所述的人机交互方法,其中,在提取各所述交互对象的身份信息之后,基于各所述交互对象的身份信息与用户配置文件之间的映射关系,确定各所述交互对象的所述身份信息对应的所述用户配置文件之前,所述人机交互方法还包括:
对于各所述交互对象,根据所述身份信息,创建并维护所述交互对象对应的所述用户配置文件;
其中,在根据各所述交互对象的所述身份信息,创建各所述交互对象对应的所述用户配置文件之前,所述人机交互方法还包括:
对于各所述交互对象,检测所述终端设备中是否存在与所述交互对象对应的所述用户配置文件;
若所述终端设备中不存在与所述交互对象对应的所述用户配置文件,则执行所述根据所述身份信息,创建所述交互对象对应的所述用户配置文件的步骤。
5.如权利要求4所述的人机交互方法,其中,所述检测所述终端设备中是否存在与所述交互对象对应的所述用户配置文件,具体包括:
基于置信度阈值判断所述终端设备的缓存空间中是否存在与所述交互对象对应的所述用户配置文件。
6.如权利要求5所述的人机交互方法,其中,所述根据所述身份信息,创建所述交互对象对应的所述用户配置文件,具体包括:
基于所述置信度阈值判断所述终端设备的历史数据库中是否存在与所述交互对象对应的所述用户配置文件;
若判定所述终端设备的历史数据库中不存在与所述交互对象对应的所述用户配置文件,根据所述身份信息,在所述缓存空间中创建所述交互对象对应的所述用户配置文件;
若判定所述终端设备的历史数据库中存在与所述交互对象对应的所述用户配置文件,从所述历史数据库中获取与所述交互对象对应的所述用户配置文件,并将所述用户配置文件转移到所述缓存空间。
7.如权利要求6所述的人机交互方法,其中,所述根据各所述交互对象对应的所述用户配置文件,作出与对应的所述交互对象匹配的响应之后,所述人机交互方法还包括:
对于各所述交互对象,判断是否需要结束与所述交互对象的交互操作;
若判定需要结束与所述交互对象的交互操作,将本次交互操作的上下文交互内容保存到所述用户配置文件中,并将所述用户配置文件从所述缓存空间转移到所述历史数据库中。
8.一种人机交互装置,应用于具有人机交互功能的终端设备,所述人机交互装置包括:
识别模块,用于识别是否有交互对象;
信息提取模块,用于在所述识别模块确定识别到多个交互对象时,提取各所述交互对象的身份信息;
确定模块,用于基于各所述交互对象的身份信息与用户配置文件之间的映射关系,确定各所述交互对象的所述身份信息对应的所述用户配置文件,所述交互对象与所述用户配置文件一一对应,所述用户配置文件用于存储对应的所述交互对象的上下文交互内容,所述上下文交互内容包括交互过程中,交互双方做出的指令及响应;
响应模块,用于根据各所述交互对象对应的所述用户配置文件,作出与对应的所述交互对象匹配的响应;
其中,所述响应模块具体用于对于各所述交互对象,在各所述交互对象对应的所述用户配置文件中获取所述交互对象的上下文交互内容,根据所述上下文交互内容,作出与对应的所述交互对象匹配的响应。
9.一种终端设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至7任意一项所述的人机交互方法。
10.一种计算机可读存储介质,存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1至7任意一项所述的人机交互方法。
CN201780002540.5A 2017-12-22 2017-12-22 人机交互方法、装置、终端设备及计算机可读存储介质 Active CN108351707B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/118047 WO2019119431A1 (zh) 2017-12-22 2017-12-22 人机交互方法、装置、终端设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108351707A CN108351707A (zh) 2018-07-31
CN108351707B true CN108351707B (zh) 2021-07-30

Family

ID=62961441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780002540.5A Active CN108351707B (zh) 2017-12-22 2017-12-22 人机交互方法、装置、终端设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN108351707B (zh)
WO (1) WO2019119431A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062482A (zh) * 2018-07-26 2018-12-21 百度在线网络技术(北京)有限公司 人机交互控制方法、装置、服务设备及存储介质
CN109542216B (zh) 2018-10-11 2022-11-22 平安科技(深圳)有限公司 人机交互方法、系统、计算机设备及存储介质
CN111177329A (zh) * 2018-11-13 2020-05-19 奇酷互联网络科技(深圳)有限公司 一种智能终端的用户交互方法、智能终端及存储介质
CN110007765A (zh) * 2019-04-11 2019-07-12 上海星视度科技有限公司 一种人机交互方法、装置及设备
CN110377722A (zh) * 2019-07-29 2019-10-25 中国工商银行股份有限公司 响应方法及装置、电子设备和可读存储介质
CN110689889B (zh) * 2019-10-11 2021-08-17 深圳追一科技有限公司 人机交互方法、装置、电子设备及存储介质
CN111817929B (zh) * 2020-06-01 2024-05-14 青岛海尔智能技术研发有限公司 设备交互方法、装置、家居设备和存储介质
CN112497217B (zh) * 2020-12-02 2022-12-13 深圳市香蕉智能科技有限公司 一种机器人的交互方法、装置、终端设备及可读存储介质
CN113742027B (zh) * 2021-11-05 2022-07-15 深圳传音控股股份有限公司 交互方法、智能终端及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101535983A (zh) * 2006-10-16 2009-09-16 沃伊斯博克斯科技公司 协作会话语音用户界面的系统和方法
CN102023894A (zh) * 2010-11-18 2011-04-20 华为终端有限公司 一种用户操作界面的变换方法及终端
CN103957458A (zh) * 2014-04-28 2014-07-30 京东方科技集团股份有限公司 视频播放装置、控制装置、视频播放系统和控制方法
CN106113038A (zh) * 2016-07-08 2016-11-16 纳恩博(北京)科技有限公司 基于机器人的模式切换方法及装置
WO2016195908A1 (en) * 2015-06-05 2016-12-08 Apple Inc. Accessing and displaying information corresponding to past times and future times
CN107493353A (zh) * 2017-10-11 2017-12-19 宁波感微知著机器人科技有限公司 一种基于上下文信息的智能机器人云计算方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9836177B2 (en) * 2011-12-30 2017-12-05 Next IT Innovation Labs, LLC Providing variable responses in a virtual-assistant environment
CN111178332A (zh) * 2012-05-18 2020-05-19 苹果公司 用于操纵用户界面的设备、方法和图形用户界面
US9104467B2 (en) * 2012-10-14 2015-08-11 Ari M Frank Utilizing eye tracking to reduce power consumption involved in measuring affective response
KR20150010841A (ko) * 2013-07-18 2015-01-29 한국전자통신연구원 상황인지 정보 기반 대응 서비스 제공 방법 및 장치
CN105554239B (zh) * 2015-11-26 2019-01-11 东莞酷派软件技术有限公司 一种工作模式控制方法及移动终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101535983A (zh) * 2006-10-16 2009-09-16 沃伊斯博克斯科技公司 协作会话语音用户界面的系统和方法
CN102023894A (zh) * 2010-11-18 2011-04-20 华为终端有限公司 一种用户操作界面的变换方法及终端
CN103957458A (zh) * 2014-04-28 2014-07-30 京东方科技集团股份有限公司 视频播放装置、控制装置、视频播放系统和控制方法
WO2016195908A1 (en) * 2015-06-05 2016-12-08 Apple Inc. Accessing and displaying information corresponding to past times and future times
CN106113038A (zh) * 2016-07-08 2016-11-16 纳恩博(北京)科技有限公司 基于机器人的模式切换方法及装置
CN107493353A (zh) * 2017-10-11 2017-12-19 宁波感微知著机器人科技有限公司 一种基于上下文信息的智能机器人云计算方法

Also Published As

Publication number Publication date
WO2019119431A1 (zh) 2019-06-27
CN108351707A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
CN108351707B (zh) 人机交互方法、装置、终端设备及计算机可读存储介质
CN108073600B (zh) 一种智能问答交互方法、装置以及电子设备
CN110401662B (zh) 一种工控设备指纹识别方法、存储介质
CN111199346A (zh) 综合管廊监理方法、装置、计算机设备以及存储介质
JP7104779B2 (ja) 対象認識方法、装置及びインテリジェント端末
CN106488539A (zh) 终端中WiFi资源的处理方法和系统
CN105808619A (zh) 基于影响分析的任务重做的方法、影响分析计算装置及一键重置装置
CN113840040B (zh) 一种人机协作的外呼方法、装置、设备及存储介质
CN112637888B (zh) 覆盖空洞区域识别方法、装置、设备及可读存储介质
US11797420B2 (en) Debug support program storage medium, debug support apparatus, and debug support method
CN110335599B (zh) 一种语音控制方法、系统、设备及计算机可读存储介质
CN113282475B (zh) 用于评价交互系统交互性能的方法和装置
CN113780580A (zh) 基于机器学习的数据分析方法、装置、设备及存储介质
CN113064966A (zh) 用于故障定位的方法、系统及装置
CN111369985A (zh) 语音交互方法、装置、设备和介质
CN111027823A (zh) 基于浏览器的工单自动转派方法及装置
CN114760188B (zh) 异常节点的确定方法及装置
CN108297099A (zh) 一种机器人的自救方法和机器人
CN110189770B (zh) 语音数据处理方法、装置、终端、服务器及介质
CN110020933B (zh) 应用于财务业务系统的自动退出方法、装置和计算机设备
CN108710697B (zh) 用于生成信息的方法和装置
CN112435670A (zh) 语音识别方法、语音识别设备和计算机可读存储介质
US10921757B2 (en) Operation control device, operation control method, and storage medium
CN115273055A (zh) 一种目标对象识别方法、装置、设备及介质
CN115527539A (zh) 信息处理方法、系统和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210210

Address after: 200245 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant after: Dalu Robot Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: Shenzhen Qianhaida Yunyun Intelligent Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 200245 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Patentee after: Dayu robot Co.,Ltd.

Address before: 200245 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Patentee before: Dalu Robot Co.,Ltd.

CP03 Change of name, title or address