CN118113248A - 基于用户特征的人机交互方法及装置 - Google Patents
基于用户特征的人机交互方法及装置 Download PDFInfo
- Publication number
- CN118113248A CN118113248A CN202211514747.XA CN202211514747A CN118113248A CN 118113248 A CN118113248 A CN 118113248A CN 202211514747 A CN202211514747 A CN 202211514747A CN 118113248 A CN118113248 A CN 118113248A
- Authority
- CN
- China
- Prior art keywords
- user
- target
- information
- virtual person
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000008451 emotion Effects 0.000 claims description 16
- 230000036651 mood Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000005406 washing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种基于用户特征的人机交互方法及装置,涉及智能家居技术领域,该基于用户特征的人机交互方法包括:获取目标用户的目标特征信息,并根据目标特征信息确定目标用户的用户特征集合;基于用户特征集合,确定与用户特征集合中的用户特征相匹配的虚拟人特征参数;基于虚拟人特征参数生成目标虚拟人,以使目标用户通过目标虚拟人实现人机交互。本申请提供的基于用户特征的人机交互方法及装置,使得智能家居设备能够根据不同用户的用户特征,生成不同的虚拟人与用户进行交互,不仅满足了不同用户的交互需求,还提高了交互的趣味性,增加用户粘性。
Description
技术领域
本申请涉及智能家居技术领域,尤其涉及一种基于用户特征的人机交互方法及装置。
背景技术
随着科学技术的发展,智能家居设备(例如,智能音响、智能冰箱、智能洗衣机等)越来越多的进入到人们的日常生活中。为了方便用户对智能家电进行控制,智能家电提供了各种各样的人机交互功能
在相关技术中,用户可以通过语音、手势、触摸等方式实现与智能家居设备之间的交互。然而,这样的交互方式较为单一,无法针对不同年龄段、不同性别、不同情绪的用户对交互方式进行调整。
基于此,急需一种基于用户特征的人机交互方法,以满足不同年龄段、不同性别、不同情绪的用户对交互方式的不同需求。
发明内容
本申请的目的是提供一种基于用户特征的人机交互方法及装置,使得智能家居设备能够根据不同用户的用户特征,生成不同的虚拟人与用户进行交互,不仅满足了不同用户的交互需求,还提高了交互的趣味性,增加用户粘性。
本申请提供一种基于用户特征的人机交互方法,包括:
获取目标用户的目标特征信息,并根据所述目标特征信息确定所述目标用户的用户特征集合;基于所述用户特征集合,确定与所述用户特征集合中的用户特征相匹配的虚拟人特征参数;基于所述虚拟人特征参数生成目标虚拟人,以使所述目标用户通过所述目标虚拟人实现人机交互;其中,所述目标特征信息包括:声音信息,图像信息;所述用户特征集合中的用户特征包括:性别,年龄,情绪,身体高度。
可选地,所述获取目标用户的目标特征信息,并根据所述目标特征信息确定所述目标用户的用户特征集合,包括:在接收到所述目标用户的控制指令的情况下,获取所述目标用户的声音信息以及图像信息;根据所述声音信息确定所述目标用户的声纹信息和发声位置信息,并根据所述发声位置信息确定所述目标用户的身体高度;所述目标用户的身体高度为所述目标用户相对于显示屏的身体高度;根据所述图像信息对所述目标用户进行人脸识别,并根据人脸识别结果确定所述目标用户的性别和情绪;根据所述目标用户的声纹信息以及所述人脸识别结果,确定所述目标用户的年龄。
可选地,所述根据人脸识别结果确定所述目标用户的性别之后,所述方法还包括:根据所述声纹信息预测所述目标用户的性别;若所述声纹信息与所述人脸识别结果针对所述目标用户的性别的预测结果一致,则将所述人脸识别结果确定出的性别,或者所述声纹信息预测出的性别确定为所述目标用户的性别。
可选地,所述基于所述用户特征集合,确定与所述用户特征集合中的用户特征相匹配的虚拟人特征参数,包括:根据所述目标用户的身体高度,在屏幕上确定与所述目标用户的身体高度相匹配的用户交互区域;所述基于所述虚拟人特征参数生成目标虚拟人,包括:使所述目标虚拟人的显示范围不超过所述用户交互区域,以方便所述目标用户与所述目标虚拟人进行交互。
可选地,所述基于所述虚拟人特征参数生成目标虚拟人之后,所述方法还包括:获取所述目标用户针对所述目标虚拟人各项特征的用户反馈,并根据所述用户反馈生成所述用户特征集合与所述虚拟人特征参数的匹配度。
可选地,所述确定与所述用户特征集合中的用户特征相匹配的虚拟人特征参数,包括:基于历史记录中针对不同用户的用户特征集合与虚拟人特征参数的匹配度,确定与所述用户特征集合中各个用户特征相匹配的虚拟人特征参数。
可选地,所述基于所述用户特征集合,确定与所述用户特征集合中的用户特征相匹配的虚拟人特征参数之后,所述方法还包括:在需要与用户进行交互的情况下,在所述用户交互区域内显示目标交互信息;响应于用户对目标区域的目标输入,执行与所述目标交互信息对应的交互指令;其中,所述目标区域为所述用户交互区域内显示有所述目标交互信息的区域。
本申请还提供一种个性化虚拟人物的生成装置,包括:
获取模块,用于获取目标用户的目标特征信息;确定模块,用于根据所述目标特征信息确定所述目标用户的用户特征集合;所述确定模块,还用于基于所述用户特征集合,确定与所述用户特征集合中的用户特征相匹配的虚拟人特征参数;生成模块,用于基于所述虚拟人特征参数生成目标虚拟人,以使所述目标用户通过所述目标虚拟人实现人机交互;其中,所述目标特征信息包括:声音信息,图像信息;所述用户特征集合中的用户特征包括:性别,年龄,情绪,身体高度。
可选地,所述获取模块,还用于在接收到所述目标用户的控制指令的情况下,获取所述目标用户的声音信息以及图像信息;所述确定模块,具体用于根据所述声音信息确定所述目标用户的声纹信息和发声位置信息,并根据所述发声位置信息确定所述目标用户的身体高度;所述目标用户的身体高度为所述目标用户相对于显示屏的身体高度;所述确定模块,具体还用于根据所述图像信息对所述目标用户进行人脸识别,并根据人脸识别结果确定所述目标用户的性别和情绪;所述确定模块,具体还用于根据所述目标用户的声纹信息以及所述人脸识别结果,确定所述目标用户的年龄。
可选地,所述确定模块,还用于根据所述声纹信息预测所述目标用户的性别;所述确定模块,还用于若所述声纹信息与所述人脸识别结果针对所述目标用户的性别的预测结果一致,则将所述人脸识别结果确定出的性别,或者所述声纹信息预测出的性别确定为所述目标用户的性别。
可选地,所述确定模块,具体用于根据所述目标用户的身体高度,在屏幕上确定与所述目标用户的身体高度相匹配的用户交互区域;所述生成模块,具体用于使所述目标虚拟人的显示范围不超过所述用户交互区域,以方便所述目标用户与所述目标虚拟人进行交互。
可选地,所述获取模块,还用于获取所述目标用户针对所述目标虚拟人各项特征的用户反馈;所述生成模块,还用于根据所述用户反馈生成所述用户特征集合与所述虚拟人特征参数的匹配度。
可选地,所述确定模块,具体用于基于历史记录中针对不同用户的用户特征集合与虚拟人特征参数的匹配度,确定与所述用户特征集合中各个用户特征相匹配的虚拟人特征参数。
可选地,所述装置还包括:显示模块和执行模块;所述显示模块,用于在需要与用户进行交互的情况下,在所述用户交互区域内显示目标交互信息;所述执行模块,用于响应于用户对目标区域的目标输入,执行与所述目标交互信息对应的交互指令;其中,所述目标区域为所述用户交互区域内显示有所述目标交互信息的区域。
本申请还提供一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行实现如上述任一种所述基于用户特征的人机交互方法的步骤。
本申请还提供一种计算机可读存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行时实现如上述任一种所述基于用户特征的人机交互方法的步骤。
本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于用户特征的人机交互方法的步骤。
本申请提供的基于用户特征的人机交互方法及装置,首先获取目标用户的目标特征信息,并根据所述目标特征信息确定所述目标用户的用户特征集合。之后,基于所述用户特征集合,确定与所述用户特征集合中的用户特征相匹配的虚拟人特征参数。最后,基于所述虚拟人特征参数生成目标虚拟人,以使所述目标用户通过所述目标虚拟人实现人机交互。如此,使得智能家居设备能够根据不同用户的用户特征,生成不同的虚拟人与用户进行交互,不仅满足了不同用户的交互需求,还提高了交互的趣味性,增加用户粘性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的一种智能设备的交互方法的硬件环境示意图;
图2是本申请提供的基于用户特征的人机交互方法的流程示意图之一;
图3是本申请提供的基于用户特征的人机交互方法的流程示意图之二;
图4是本申请提供的基于用户特征的人机交互方法的交互示意图;
图5是本申请提供的个性化虚拟人物的生成装置的结构示意图;
图6是本申请提供的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面,提供了一种基于用户特征的人机交互方法。该基于用户特征的人机交互方法广泛应用于智慧家庭(Smart Home)、智能家居、智能家用设备生态、智慧住宅(Intelligence House)生态等全屋智能数字化控制应用场景。可选地,在本实施例中,上述基于用户特征的人机交互方法可以应用于如图1所示的由终端设备102和服务器104所构成的硬件环境中。如图1所示,服务器104通过网络与终端设备102进行连接,可用于为终端或终端上安装的客户端提供服务(如应用服务等),可在服务器上或独立于服务器设置数据库,用于为服务器104提供数据存储服务,可在服务器上或独立于服务器配置云计算和/或边缘计算服务,用于为服务器104提供数据运算服务。
上述网络可以包括但不限于以下至少之一:有线网络,无线网络。上述有线网络可以包括但不限于以下至少之一:广域网,城域网,局域网,上述无线网络可以包括但不限于以下至少之一:WIFI(Wireless Fidelity,无线保真),蓝牙。终端设备102可以并不限定于为PC、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。
在相关技术中,用户在与智能家居设备进行交互时,智能家居设备展示的是千人一面的虚拟人形象,交互方式较为单一,缺少趣味性。
为了解决相关技术中存在的技术问题,本申请实施例提供了一种基于用户特征的人机交互方法,可以提取用户的特征,如男女老少,以及情绪上的基本判断,满足不同用户类型的形象需求。例如,儿童喜欢卡通虚拟人形象,成年女性喜欢和自己身材差不多的女性的虚拟形象等等。
本申请实施例提供的基于用户特征的人机交互方法,使得智能家居设备能够根据不同用户的用户特征,生成不同的虚拟人与用户进行交互,不仅满足了不同用户的交互需求,还提高了交互的趣味性,增加用户粘性。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的基于用户特征的人机交互方法进行详细地说明。
如图2所示,本申请实施例提供的一种基于用户特征的人机交互方法,该方法可以包括下述步骤201至步骤203:
步骤201、获取目标用户的目标特征信息,并根据所述目标特征信息确定所述目标用户的用户特征集合。
其中,所述目标特征信息包括:声音信息,图像信息;所述用户特征集合中的用户特征包括:性别,年龄,情绪,身体高度。
示例性地,针对配置有显示屏幕的智能家居设备,可以通过用户与虚拟人之间的互动,实现用户与智能家居设备之间的人机交互。为了能够生成更加符合用户特征的虚拟人,虚拟获取用户的声音信息和图像信息,并根据获取到的声音信息和图像信息,确定用户的性别、年龄、情绪和身体高度等用户特征信息。
具体地,上述步骤201,可以包括以下步骤201a1至步骤201a4:
步骤201a1、在接收到所述目标用户的控制指令的情况下,获取所述目标用户的声音信息以及图像信息。
示例性地,上述控制指令可以为用户触发与智能家居设备之间的人机交互的指令,该指令可以为唤醒指令,例如,当用户通过语音“小A小A”来唤醒冰箱A时,冰箱A可以获取用户的声音信息和图像信息。
具体地,在上述控制指令为语音指令的情况下,上述目标用户的声音信息可以基于上述控制指令采集的音频信息得到,即基于用户唤醒指令的语音信息,可以得到用户的声音信息。
步骤201a2、根据所述声音信息确定所述目标用户的声纹信息和发声位置信息,并根据所述发声位置信息确定所述目标用户的身体高度。
示例性地,通过对目标用户的声音信息的语音分析结果,可以得到目标用户的声纹信息和发声位置信息。基于该发声位置信息,可以进一步确定用户的身体高度。其中,所述目标用户的身体高度为所述目标用户相对于显示屏的身体高度。该显示屏可以为智能家居设备上设置的显示装置。
具体地,可以通过设置在智能家居设备的不同位置的两个音频采集装置(例如,麦克风)来实现对发声位置的判断。
步骤201a3、根据所述图像信息对所述目标用户进行人脸识别,并根据人脸识别结果确定所述目标用户的性别和情绪。
示例性地,根据采集到的目标用户的图像信息,可以确定目标用户的性别和情绪。在本申请实施例中,可以根据人脸识别结果来确定用户的性别和情绪,具体地,可以通过相关技术中的人脸识别算法来实现,本申请实施例中不再赘述。
需要说明的是,在本申请实施例中,受限于智能家居设备的拜访位置和高度等,通常情况下其图像采集装置(例如,摄像头)能够采集到的视野范围较小,无法通过摄像头采集的图像来确定用户的身体高度,因此,需要通过智能家居设备的音频采集装置采集的用户的声音信息,确定用户相对于智能家居设备的身体高度。具体地,该身体高度主要为用户头部相对于智能家居设备的高度。
示例性地,确定目标用户的身体高度主要用户在与目标用户的身体高度相符的用户交互区域内生成虚拟人,以便目标用户能够很方便的与虚拟人进行交互。
步骤201a4、根据所述目标用户的声纹信息以及所述人脸识别结果,确定所述目标用户的年龄。
需要说明的是,不同年龄的用户其面部特征不同、不同年龄的用户具有的声纹特征也不同。然而,由于化妆等原因,基于面部特征对用户年龄的识别可能不够准确,因此,可以在人脸识别的基础上,还需要结合用户的声纹信息确定用户的年龄。
举例说明,如图3所示,在用户需要与智能家居设备进行交互的情况下,可以通过智能家居设备上安装的摄像头和麦克风采集用户的声音信息和图像信息,并基于采集到的声音信息和图像信息确定用户的声纹信息、位置信息(即上述发生位置信息)、性别信息(即上述性别)以及情绪信息(即上述情绪)。
在一种可能的实现方式中,基于人脸识别结果确定的用户性别可能不够准确,因此,需要通过声纹信息进一步对用户的性别进行验证,以确保对用户性别判断结果的准确性。
示例性地,上述步骤201a3之后,上述步骤201还可以包括以下步骤201a5和步骤201a6:
步骤201a5、根据所述声纹信息预测所述目标用户的性别。
步骤201a6、若所述声纹信息与所述人脸识别结果针对所述目标用户的性别的预测结果一致,则将所述人脸识别结果确定出的性别,或者所述声纹信息预测出的性别确定为所述目标用户的性别。
示例性地,若所述声纹信息与所述人脸识别结果针对所述目标用户的性别的预测结果不一致,则提醒所述目标用户,并由是目标用户自行确定性别。
示例性地,在根据人脸识别结果确定用户的性别之后,还可以进一步根据用户的声纹信息对上述结果进行验证,若基于声纹信息确定的用户性别与基于人脸识别结果确定的用户性别相同,则可以准确的确定用户的性别;否则,需要由用户自行设定性别。
需要说明的是,由用户自行设定性别,就涉及到了目标用户与智能家居设备之间的人机交互,具体可以通过语音或者在屏幕上通过触控操作进行选择的方式设定用户的性别。
步骤202、基于所述用户特征集合,确定与所述用户特征集合中的用户特征相匹配的虚拟人特征参数。
示例性地,在确定目标用户的性别、年龄、情绪和身体高度(即上述用户特征集合中的用户特征)后,便可以基于获取到的用户特征,确定与每个用户特征相匹配的虚拟人特征参数。
示例性地,上述虚拟人特征参数用于虚拟人的生成。该虚拟人特征参数中的每一项均有其默认值,其主要用于在缺少用户特征的情况下,基于默认值来生成虚拟人。
示例性地,上述虚拟人特征参数可以用于控制虚拟人的性别、人物形象、语速、音色等。
举例说明,在目标用户为儿童,性别为男性,情绪为高兴的情况下,上述目标虚拟人可以为卡通人物,语塞和音色可以为卡通人物对应的语速和音色,也可以根据其情绪对语速和音色进行调整。
步骤203、基于所述虚拟人特征参数生成目标虚拟人,以使所述目标用户通过所述目标虚拟人实现人机交互。
具体地,上述目标用户通过目标虚拟人实现人机交互可以为与智能家居之间的人机交互。
示例性地,在生成与用户特征集合中的用户特征相匹配的虚拟人特征参数后,便可以基于该虚拟人特征参数生成目标虚拟人。
在一种可能的实现方式中,可以根据用户对生成的虚拟人的反馈结果,在之后的虚拟人生成过程中,根据用户的喜好对生成结果进行调整。
示例性地,上述步骤203之后,本申请实施例提供的基于用户特征的人机交互方法,还可以包括以下步骤204:
步骤204、获取所述目标用户针对所述目标虚拟人各项特征的用户反馈,并根据所述用户反馈生成所述用户特征集合与所述虚拟人特征参数的匹配度。
示例性地,上述虚拟人特征匹配度用于指示本次生成的目标虚拟人与用户特征的匹配程度,基于该匹配度,可以对后续生成的进行调整。例如,以上述目标虚拟人为卡通人物为例,若目标用户不喜欢本次生成的卡通人物,则可以根据用户反馈,在之后的人机交互中,针对该目标用户生成的卡通人物可以调整为目标用户喜欢的卡通人物。
具体地,基于上述步骤204,上述步骤203可以包括以下步骤203a:
步骤203a、基于历史记录中针对不同用户的用户特征集合与虚拟人特征参数的匹配度,确定与所述用户特征集合中各个用户特征相匹配的虚拟人特征参数。
示例性地,上述历史记录为基于目标用户的用户特征集合生成虚拟人的历史记录。根据该历史记录,可以在根据用户特征集合生成虚拟人特征参数的过程中,对虚拟人参数特征进行调整,以使得生成的虚拟人更加符合用户的喜好。
举例说明,如图3所示,在根据用户的图像信息和声音信息确定用户特征之后,便可以基于用户特征确定虚拟人特征参数,并进一步根据虚拟人特征参数来生成与用户特征相匹配的虚拟人。
可选地,在本申请实施例中,为了方便用户与智能家居设备进行交互,避免出现由于用户的身体高度导致的用户与固定区域生成虚拟人之间交互困难的情况,还可以根据用户的身体高度确定用户交互区域,并在用户交互区域内显示上述目标虚拟人。
示例性地,上述步骤203之前,本申请实施例提供的基于用户特征的人机交互方法,还可以包括以下步骤205:
步骤205、根据所述目标用户的身体高度,在屏幕上确定与所述目标用户的身体高度相匹配的用户交互区域。
示例性地,上述用户交互区域为智能家居设备的屏幕的显示区域中,最方便用户与智能家居设备进行交互的区域。
可以理解的是,成人与儿童的身高差距很大,针对于屏幕较大的智能家居设备(例如,冰箱等),若在固定区域显示上述目标虚拟人,则很有可能导致用户无法与目标虚拟人进行交互的情况出现。因此,可以根据用户的发生位置信息确定用户的身体高度,并进一步根据身体高度确定用户交互区域,以方便用户与智能家居设备进行交互。
具体地,基于上述步骤205,上述步骤203可以包括以下步骤203b:
步骤203b、使所述目标虚拟人的显示范围不超过所述用户交互区域,以方便所述目标用户与所述目标虚拟人进行交互。
举例说明,如图4所示,图4中(A)为基于成年男性确定的用户交互区域以及在用户交互区域内生成的虚拟人,该用户交互区域与成年人的身高相匹配,方便用户与智能家居设备之间的交互。同时,该虚拟人也符合用户特征以及用户喜好。图4中(B)为基于女性儿童确定的用户交互区域以及在用户交互区域内生成的虚拟人,该用户交互区域与儿童的身高相匹配,方便用户与智能家居设备之间的交互。同时,该虚拟人也符合用户特征以及用户喜好。
在一种可能的实现方式中,上述用户交互区域可以进行动态调整,即用户交互区域可以根据用户发生位置的改变而改变。同时,在用户交互区域内显示的虚拟人,也可以随着用户交互区域的调整而调整。
示例性地,基于上述步骤205,上述步骤202之后,本申请实施例提供的基于用户特征的人机交互方法,还可以包括以下步骤206和步骤207:
步骤206、在需要与用户进行交互的情况下,在所述用户交互区域内显示目标交互信息。
步骤207、响应于用户对目标区域的目标输入,执行与所述目标交互信息对应的交互指令。
其中,所述目标区域为所述用户交互区域内显示有所述目标交互信息的区域。
示例性地,上述目标交互信息可以为智能家居设备主动触发显示的,也可以是上述智能家居设备基于目标用户的指令触发显示的。
在一种可能的实现方式中,当有多个用户同时在显示屏前时,可以将面向屏幕最正、且语音指令最早的用户确定为交互对象,而不会响应其他用户的指令;若存在多个用户均正面朝向显示屏,则可以依次响应每个用户的指令,或者,显示每个用户对应的指令,由用户进行选择具体执行哪个用户的指令。
本申请实施例提供的基于用户特征的人机交互方法,首先获取目标用户的目标特征信息,并根据所述目标特征信息确定所述目标用户的用户特征集合。之后,基于所述用户特征集合,确定与所述用户特征集合中的用户特征相匹配的虚拟人特征参数。最后,基于所述虚拟人特征参数生成目标虚拟人,以使所述目标用户通过所述目标虚拟人实现与所述智能家居设备之间的人机交互。如此,使得智能家居设备能够根据不同用户的用户特征,生成不同的虚拟人与用户进行交互,不仅满足了不同用户的交互需求,还提高了交互的趣味性,增加用户粘性。
需要说明的是,本申请实施例提供的基于用户特征的人机交互方法,执行主体可以为个性化虚拟人物的生成装置,或者该个性化虚拟人物的生成装置中的用于执行基于用户特征的人机交互方法的控制模块。本申请实施例中以个性化虚拟人物的生成装置执行基于用户特征的人机交互方法为例,说明本申请实施例提供的个性化虚拟人物的生成装置。
需要说明的是,本申请实施例中,上述各个方法附图所示的。基于用户特征的人机交互方法均是以结合本申请实施例中的一个附图为例示例性的说明的。具体实现时,上述各个方法附图所示的基于用户特征的人机交互方法还可以结合上述实施例中示意的其它可以结合的任意附图实现,此处不再赘述。
下面对本申请提供的个性化虚拟人物的生成装置进行描述,下文描述的与上文描述的基于用户特征的人机交互方法可相互对应参照。
图5为本申请一实施例提供的个性化虚拟人物的生成装置的结构示意图,如图5所示,具体包括:
获取模块501,用于获取目标用户的目标特征信息;确定模块502,用于根据所述目标特征信息确定所述目标用户的用户特征集合;所述确定模块502,还用于基于所述用户特征集合,确定与所述用户特征集合中的用户特征相匹配的虚拟人特征参数;生成模块503,用于基于所述虚拟人特征参数生成目标虚拟人,以使所述目标用户通过所述目标虚拟人实现与所述智能家居设备之间的人机交互;其中,所述目标特征信息包括:声音信息,图像信息;所述用户特征集合中的用户特征包括:性别,年龄,情绪,身体高度。
可选地,所述获取模块501,还用于在接收到所述目标用户的控制指令的情况下,获取所述目标用户的声音信息以及图像信息;所述确定模块502,具体用于根据所述声音信息确定所述目标用户的声纹信息和发声位置信息,并根据所述发声位置信息确定所述目标用户的身体高度;所述目标用户的身体高度为所述目标用户相对于显示屏的身体高度;所述确定模块502,具体还用于根据所述图像信息对所述目标用户进行人脸识别,并根据人脸识别结果确定所述目标用户的性别和情绪;所述确定模块502,具体还用于根据所述目标用户的声纹信息以及所述人脸识别结果,确定所述目标用户的年龄。
可选地,所述确定模块502,还用于根据所述声纹信息预测所述目标用户的性别;所述确定模块502,还用于若所述声纹信息与所述人脸识别结果针对所述目标用户的性别的预测结果一致,则将所述人脸识别结果确定出的性别,或者所述声纹信息预测出的性别确定为所述目标用户的性别。
可选地,所述确定模块502,具体用于根据所述目标用户的身体高度,在屏幕上确定与所述目标用户的身体高度相匹配的用户交互区域;所述生成模块503,具体用于使所述目标虚拟人的显示范围不超过所述用户交互区域,以方便所述目标用户与所述目标虚拟人进行交互。
可选地,所述获取模块501,还用于获取所述目标用户针对所述目标虚拟人各项特征的用户反馈;所述生成模块503,还用于根据所述用户反馈生成所述用户特征集合与所述虚拟人特征参数的匹配度。
可选地,所述确定模块502,具体用于基于历史记录中针对不同用户的用户特征集合与虚拟人特征参数的匹配度,确定与所述用户特征集合中各个用户特征相匹配的虚拟人特征参数。
可选地,所述装置还包括:显示模块和执行模块;所述显示模块,用于在需要与用户进行交互的情况下,在所述用户交互区域内显示目标交互信息;所述执行模块,用于响应于用户对目标区域的目标输入,执行与所述目标交互信息对应的交互指令;其中,所述目标区域为所述用户交互区域内显示有所述目标交互信息的区域。
本申请提供的个性化虚拟人物的生成装置,首先获取目标用户的目标特征信息,并根据所述目标特征信息确定所述目标用户的用户特征集合。之后,基于所述用户特征集合,确定与所述用户特征集合中的用户特征相匹配的虚拟人特征参数。最后,基于所述虚拟人特征参数生成目标虚拟人,以使所述目标用户通过所述目标虚拟人实现与所述智能家居设备之间的人机交互。如此,使得智能家居设备能够根据不同用户的用户特征,生成不同的虚拟人与用户进行交互,不仅满足了不同用户的交互需求,还提高了交互的趣味性,增加用户粘性。
图6示例了一种电子装置的实体结构示意图,如图6所示,该电子装置可以包括:处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640,其中,处理器610,通信接口620,存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令,以执行基于用户特征的人机交互方法,该方法包括:获取目标用户的目标特征信息,并根据所述目标特征信息确定所述目标用户的用户特征集合;基于所述用户特征集合,确定与所述用户特征集合中的用户特征相匹配的虚拟人特征参数;基于所述虚拟人特征参数生成目标虚拟人,以使所述目标用户通过所述目标虚拟人实现与所述智能家居设备之间的人机交互;其中,所述目标特征信息包括:声音信息,图像信息;所述用户特征集合中的用户特征包括:性别,年龄,情绪,身体高度。
此外,上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本申请还提供一种计算机程序产品,所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的基于用户特征的人机交互方法,该方法包括:获取目标用户的目标特征信息,并根据所述目标特征信息确定所述目标用户的用户特征集合;基于所述用户特征集合,确定与所述用户特征集合中的用户特征相匹配的虚拟人特征参数;基于所述虚拟人特征参数生成目标虚拟人,以使所述目标用户通过所述目标虚拟人实现与所述智能家居设备之间的人机交互;其中,所述目标特征信息包括:声音信息,图像信息;所述用户特征集合中的用户特征包括:性别,年龄,情绪,身体高度。
又一方面,本申请还提供一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述各方法提供的基于用户特征的人机交互方法,该方法包括:获取目标用户的目标特征信息,并根据所述目标特征信息确定所述目标用户的用户特征集合;基于所述用户特征集合,确定与所述用户特征集合中的用户特征相匹配的虚拟人特征参数;基于所述虚拟人特征参数生成目标虚拟人,以使所述目标用户通过所述目标虚拟人实现与所述智能家居设备之间的人机交互;其中,所述目标特征信息包括:声音信息,图像信息;所述用户特征集合中的用户特征包括:性别,年龄,情绪,身体高度。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种基于用户特征的人机交互方法,其特征在于,包括:
获取目标用户的目标特征信息,并根据所述目标特征信息确定所述目标用户的用户特征集合;
基于所述用户特征集合,确定与所述用户特征集合中的用户特征相匹配的虚拟人特征参数;
基于所述虚拟人特征参数生成目标虚拟人,以使所述目标用户通过所述目标虚拟人实现人机交互;
其中,所述目标特征信息包括:声音信息,图像信息;所述用户特征集合中的用户特征包括:性别,年龄,情绪,身体高度。
2.根据权利要求1所述的基于用户特征的人机交互方法,其特征在于,所述获取目标用户的目标特征信息,并根据所述目标特征信息确定所述目标用户的用户特征集合,包括:
在接收到所述目标用户的控制指令的情况下,获取所述目标用户的声音信息以及图像信息;
根据所述声音信息确定所述目标用户的声纹信息和发声位置信息,并根据所述发声位置信息确定所述目标用户的身体高度;所述目标用户的身体高度为所述目标用户相对于显示屏的身体高度;
根据所述图像信息对所述目标用户进行人脸识别,并根据人脸识别结果确定所述目标用户的性别和情绪;
根据所述目标用户的声纹信息以及所述人脸识别结果,确定所述目标用户的年龄。
3.根据权利要求2所述的基于用户特征的人机交互方法,其特征在于,所述根据人脸识别结果确定所述目标用户的性别之后,所述方法还包括:
根据所述声纹信息预测所述目标用户的性别;
若所述声纹信息与所述人脸识别结果针对所述目标用户的性别的预测结果一致,则将所述人脸识别结果确定出的性别确定为所述目标用户的性别。
4.根据权利要求1所述的基于用户特征的人机交互方法,其特征在于,所述基于所述用户特征集合,确定与所述用户特征集合中的用户特征相匹配的虚拟人特征参数,包括:
根据所述目标用户的身体高度,在屏幕上确定与所述目标用户的身体高度相匹配的用户交互区域;
所述基于所述虚拟人特征参数生成目标虚拟人,包括:
使所述目标虚拟人的显示范围不超过所述用户交互区域。
5.根据权利要求1所述的基于用户特征的人机交互方法,其特征在于,所述基于所述虚拟人特征参数生成目标虚拟人之后,所述方法还包括:
获取所述目标用户针对所述目标虚拟人各项特征的用户反馈,并根据所述用户反馈生成所述用户特征集合与所述虚拟人特征参数的匹配度。
6.根据权利要求1所述的基于用户特征的人机交互方法,其特征在于,所述确定与所述用户特征集合中的用户特征相匹配的虚拟人特征参数,包括:
基于历史记录中针对不同用户的用户特征集合与虚拟人特征参数的匹配度,确定与所述用户特征集合中各个用户特征相匹配的虚拟人特征参数。
7.根据权利要求4所述的基于用户特征的人机交互方法,其特征在于,所述基于所述用户特征集合,确定与所述用户特征集合中的用户特征相匹配的虚拟人特征参数之后,所述方法还包括:
在需要与用户进行交互的情况下,在所述用户交互区域内显示目标交互信息;
响应于用户对目标区域的目标输入,执行与所述目标交互信息对应的交互指令;
其中,所述目标区域为所述用户交互区域内显示有所述目标交互信息的区域。
8.一种个性化虚拟人物的生成装置,其特征在于,所述装置包括:
获取模块,用于获取目标用户的目标特征信息;
确定模块,用于根据所述目标特征信息确定所述目标用户的用户特征集合;
所述确定模块,还用于基于所述用户特征集合,确定与所述用户特征集合中的用户特征相匹配的虚拟人特征参数;
生成模块,用于基于所述虚拟人特征参数生成目标虚拟人,以使所述目标用户通过所述目标虚拟人实现人机交互;
其中,所述目标特征信息包括:声音信息,图像信息;所述用户特征集合中的用户特征包括:性别,年龄,情绪,身体高度。
9.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行权利要求1至7中任一项所述的基于用户特征的人机交互方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行权利要求1至7中任一项所述的基于用户特征的人机交互方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211514747.XA CN118113248A (zh) | 2022-11-29 | 2022-11-29 | 基于用户特征的人机交互方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211514747.XA CN118113248A (zh) | 2022-11-29 | 2022-11-29 | 基于用户特征的人机交互方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118113248A true CN118113248A (zh) | 2024-05-31 |
Family
ID=91214293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211514747.XA Pending CN118113248A (zh) | 2022-11-29 | 2022-11-29 | 基于用户特征的人机交互方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118113248A (zh) |
-
2022
- 2022-11-29 CN CN202211514747.XA patent/CN118113248A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110531860B (zh) | 一种基于人工智能的动画形象驱动方法和装置 | |
CN107894833B (zh) | 基于虚拟人的多模态交互处理方法及系统 | |
CN107632706B (zh) | 多模态虚拟人的应用数据处理方法和系统 | |
CN112051743A (zh) | 设备控制方法、冲突处理方法、相应的装置及电子设备 | |
CN110188177A (zh) | 对话生成方法及装置 | |
WO2018006374A1 (zh) | 一种基于主动唤醒的功能推荐方法、系统及机器人 | |
CN107330418B (zh) | 一种机器人系统 | |
CN112545373B (zh) | 扫地机器人的控制方法、扫地机器人及介质 | |
CN109982124A (zh) | 用户场景智能分析方法、装置和存储介质 | |
US20110208790A1 (en) | Lifestyle collecting apparatus, user interface device, and lifestyle collecting method | |
CN109474658A (zh) | 用外部设备支持任务运行的电子设备、服务器和记录介质 | |
CN114821236A (zh) | 智慧家庭环境感知方法、系统、存储介质及电子装置 | |
CN111817929A (zh) | 设备交互方法、装置、家居设备和存储介质 | |
CN107976919B (zh) | 一种智能机器人控制方法、系统及电子设备 | |
CN113031456B (zh) | 家电设备控制方法、系统、设备及计算机可读存储介质 | |
CN117789744B (zh) | 基于模型融合的语音降噪方法、装置及存储介质 | |
CN108710516A (zh) | 预测样本的采集方法、装置、存储介质及智能终端 | |
CN108664336A (zh) | 推荐方法和装置、用于推荐的装置 | |
CN109445573A (zh) | 一种用于虚拟化身形象互动的方法与装置 | |
CN118113248A (zh) | 基于用户特征的人机交互方法及装置 | |
CN116386623A (zh) | 一种智能设备的语音交互方法、存储介质及电子装置 | |
CN115718433A (zh) | 智能设备的控制方法、装置、智能系统和存储介质 | |
CN108255308A (zh) | 一种基于虚拟人的手势交互方法及系统 | |
CN115720659A (zh) | 由助理设备基于周围感测来推理助理动作 | |
CN114401434A (zh) | 对象显示方法和装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |