CN116301511A - 设备交互方法、装置、存储介质及电子装置 - Google Patents
设备交互方法、装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN116301511A CN116301511A CN202310101678.8A CN202310101678A CN116301511A CN 116301511 A CN116301511 A CN 116301511A CN 202310101678 A CN202310101678 A CN 202310101678A CN 116301511 A CN116301511 A CN 116301511A
- Authority
- CN
- China
- Prior art keywords
- interface
- interaction
- virtual object
- target
- interactive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 124
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 230000009471 action Effects 0.000 claims abstract description 90
- 230000002452 interceptive effect Effects 0.000 claims abstract description 84
- 230000014509 gene expression Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 description 37
- 230000001276 controlling effect Effects 0.000 description 15
- 210000003414 extremity Anatomy 0.000 description 13
- 230000000694 effects Effects 0.000 description 9
- 238000003058 natural language processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000009434 installation Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 210000003141 lower extremity Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241001672694 Citrus reticulata Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/4401—Bootstrapping
- G06F9/4418—Suspend and resume; Hibernate and awake
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种设备交互方法、装置、存储介质及电子装置,涉及智慧家庭技术领域,该设备交互方法包括:响应目标对象的交互操作,确定所述交互操作的交互指令;根据所述交互指令打开目标设备的交互界面,其中,所述交互界面包括虚拟对象界面;根据所述目标对象的语音交互数据将所述虚拟对象界面的虚拟对象设置为唤醒状态,并控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互,采用上述技术方案,解决了如何提高设备的交互效果的技术问题。
Description
技术领域
本申请涉及智慧家庭技术领域,具体而言,涉及一种设备交互方法、装置、存储介质及电子装置。
背景技术
目前,随着智能家电的智能化水平不断提高,用户对于智能家电提供的交互形式也具有越来越高的要求。例如,不仅要求智能家电能够实现远程控制,还要求智能家电能够自动反馈异常信息等。
然而相关技术中,虽然智能家电已经能够通过语音的方式与用户进行互动,但是这种语音交互方式只能向用户反馈语音消息,无法以直观形象的方式向用户反馈用户的结果,交互效果很差,导致用户的交互体验感很低。
因此,相关技术中,存在如何提高设备的交互效果的技术问题。
针对相关技术中,如何提高设备的交互效果的技术问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种设备交互方法、装置、存储介质及电子装置,以至少解决相关技术中,如何提高设备的交互效果的技术问题。
根据本申请实施例的一个实施例,提供了一种设备交互方法,包括:响应目标对象的交互操作,确定所述交互操作的交互指令;根据所述交互指令打开目标设备的交互界面,其中,所述交互界面包括虚拟对象界面;根据所述目标对象的语音交互数据将所述虚拟对象界面的虚拟对象设置为唤醒状态,并控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互。
在一个示例性实施例中,根据所述交互指令打开目标设备的交互界面,包括:从所述交互指令中确定出与所述交互操作的不同操作类型分别对应的多个子交互指令,其中,所述操作类型至少包括以下之一:单击操作,连击操作,长按操作;获取所述多个子交互指令中的任一子交互指令;在所述任一子交互指令所指示的虚拟对象的对象类型与所述虚拟对象界面的虚拟对象的对象类型一致的情况下,根据所述任一子交互指令打开所述目标设备的交互界面。
在一个示例性实施例中,在控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互之前,所述方法还包括:对所述语音交互数据进行解析,得到所述语音交互数据的关键词;获取所述目标对象为所述关键词预设的对象肢体动作和对象表情;确定所述虚拟对象的对象类型对应的虚拟对象模板,使用所述对象肢体动作替换虚拟对象模板的初始肢体动作,以及使用所述对象表情替换所述虚拟对象模板的初始表情,得到所述语音交互数据对应的预设动作。
在一个示例性实施例中,控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互,包括:根据所述预设动作所指示的动作类型确定所述虚拟对象界面的界面背景;控制所述虚拟对象在虚拟对象界面上以所述预设动作与所述目标对象进行交互,并将所述界面背景对应的预设回复语发送给所述目标对象。
在一个示例性实施例中,根据所述预设动作所指示的动作类型确定所述虚拟对象界面的界面背景,包括:在确定所述预设动作指示的动作类型为动态动作的情况下,获取所述目标对象为所述动态动作预设的背景轮播图;在所述虚拟对象界面上以预设周期循环显示所述背景轮播图,得到所述虚拟对象界面的界面背景,并将与所述背景轮播图属于同一色系的颜色设置为所述界面背景的背景颜色。
在一个示例性实施例中,根据所述预设动作所指示的动作类型确定所述虚拟对象界面的界面背景,包括:在确定所述预设动作指示的动作类型为静态动作的情况下,获取所述目标对象为所述静态动作预设的背景音频;根据所述背景音频的音频信息从预设背景视频中获取与所述音频信息对应的目标背景视频,并将所述目标背景视频确定为所述虚拟对象界面的界面背景。
在一个示例性实施例中,在根据所述交互指令打开目标设备的交互界面之前,所述方法还包括:从所述目标对象的历史交互记录查找所述目标对象与所述虚拟对象的交互记录,得到查找结果;在确定所述查找结果指示所述目标对象与所述虚拟对象的交互记录为空的情况下,确定所述目标设备的设备交互资源是否包含所述交互界面的界面资源;如果确定所述目标设备的设备交互资源没有包含所述交互界面的界面资源,则控制所述目标设备从所述目标设备对应的服务器中下载所述界面资源,并使用下载后的界面资源提供所述目标设备的交互界面。
根据本申请实施例的另一个实施例,还提供了一种设备交互装置,包括:确定模块,用于响应目标对象的交互操作,确定所述交互操作的交互指令;打开模块,用于根据所述交互指令打开目标设备的交互界面,其中,所述交互界面包括虚拟对象界面;交互模块,用于根据所述目标对象的语音交互数据将所述虚拟对象界面的虚拟对象设置为唤醒状态,并控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互。
根据本申请实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述设备交互方法。
根据本申请实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的设备交互方法。
在本申请实施例中,响应目标对象的交互操作,确定所述交互操作的交互指令;根据所述交互指令打开目标设备的交互界面,其中,所述交互界面包括虚拟对象界面;根据所述目标对象的语音交互数据将所述虚拟对象界面的虚拟对象设置为唤醒状态,并控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互;采用上述技术方案,解决了如何提高设备的交互效果的技术问题,进而提高了设备的交互效果,并提高了用户的交互体验感。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例的一种设备交互方法的硬件环境示意图;
图2是根据本申请实施例的设备交互方法的流程图;
图3是根据本申请实施例的设备交互方法的流程示意图(一);
图4是根据本申请实施例的设备交互方法的流程示意图(二);
图5是根据本申请实施例的虚拟对象的交互示意图;
图6是根据本申请实施例的虚拟对象的动作状态机的示意图;
图7是根据本申请实施例的一种设备交互装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面,提供了一种设备交互方法。该设备交互方法广泛应用于智慧家庭(Smart Home)、智能家居、智能家用设备生态、智慧住宅(IntelligenceHouse)生态等全屋智能数字化控制应用场景。可选地,在本实施例中,上述设备交互方法可以应用于如图1所示的由终端设备102和服务器104所构成的硬件环境中。如图1所示,服务器104通过网络与终端设备102进行连接,可用于为终端或终端上安装的客户端提供服务(如应用服务等),可在服务器上或独立于服务器设置数据库,用于为服务器104提供数据存储服务,可在服务器上或独立于服务器配置云计算和/或边缘计算服务,用于为服务器104提供数据运算服务。
上述网络可以包括但不限于以下至少之一:有线网络,无线网络。上述有线网络可以包括但不限于以下至少之一:广域网,城域网,局域网,上述无线网络可以包括但不限于以下至少之一:WIFI(Wireless Fidelity,无线保真),蓝牙。终端设备102可以并不限定于为PC、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。
在本实施例中提供了一种设备交互方法,应用于上述终端设备,图2是根据本申请实施例的设备交互方法的流程图,该流程包括如下步骤:
步骤S202,响应目标对象的交互操作,确定所述交互操作的交互指令;
其中,可以对交互操作进行进一步说明,交互操作例如可以包括点击操作,触控操作,手势操作,面部操作,面部操作可以理解为面部五官的识别操作,但不限于此。
步骤S204,根据所述交互指令打开目标设备的交互界面,其中,所述交互界面包括虚拟对象界面;
步骤S206,根据所述目标对象的语音交互数据将所述虚拟对象界面的虚拟对象设置为唤醒状态,并控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互。
可以理解的是,上述虚拟形象界面的虚拟对象不局限于虚拟人物形象,还可以包括动物形象,其他非生命物体的形象,本申请对此不做限制。
通过上述步骤,响应目标对象的交互操作,确定所述交互操作的交互指令;根据所述交互指令打开目标设备的交互界面,其中,所述交互界面包括虚拟对象界面;根据所述目标对象的语音交互数据将所述虚拟对象界面的虚拟对象设置为唤醒状态,并控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互,解决了相关技术中,如何提高设备的交互效果的技术问题,进而提高了设备的交互效果,并提高了用户的交互体验感。
在一个示例性实施例中,为了更好的理解上述步骤S204中如何根据所述交互指令打开目标设备的交互界面的技术方案,提出以下实现步骤,具体包括:从所述交互指令中确定出与所述交互操作的不同操作类型分别对应的多个子交互指令,其中,所述操作类型至少包括以下之一:单击操作,连击操作,长按操作;获取所述多个子交互指令中的任一子交互指令;在所述任一子交互指令所指示的虚拟对象的对象类型与所述虚拟对象界面的虚拟对象的对象类型一致的情况下,根据所述任一子交互指令打开所述目标设备的交互界面。
可选的,在其他实施例中,在所述任一子交互指令所指示的虚拟对象的对象类型与所述目标虚拟对象的对象类型不一致的情况下,根据其他子交互指令打开所述目标设备的交互界面,其中,所述其他子交互指令为所述多个子交互指令中除了所述任一子交互指令之外的子交互指令。
在一个示例性实施例中,进一步的,在控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互之前,还进一步提出了如何确定所述语音交互数据对应的预设动作的技术方案,具体步骤包括:对所述语音交互数据进行解析,得到所述语音交互数据的关键词;获取所述目标对象为所述关键词预设的对象肢体动作和对象表情;确定所述虚拟对象的对象类型对应的虚拟对象模板,使用所述对象肢体动作替换虚拟对象模板的初始肢体动作,以及使用所述对象表情替换所述虚拟对象模板的初始表情,得到所述语音交互数据对应的预设动作。
需要说明的是,上述肢体动作可以包括上肢动作,下肢动作,全身肢体动作,或者手势动作等,但不限于此。上述对象表情可以理解为虚拟形象的面部表情。
在一个示例性实施例中,为了更好的理解上述步骤S206中如何控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互的实现过程,提出以下步骤:根据所述预设动作所指示的动作类型确定所述虚拟对象界面的界面背景;控制所述虚拟对象在虚拟对象界面上以所述预设动作与所述目标对象进行交互,并将所述界面背景对应的预设回复语发送给所述目标对象。
在一个示例性实施例中,进一步通过以下方案对根据所述预设动作所指示的动作类型确定所述虚拟对象界面的界面背景的技术方案进行说明,具体包括:方案1、在确定所述预设动作指示的动作类型为动态动作的情况下,获取所述目标对象为所述动态动作预设的背景轮播图;在所述虚拟对象界面上以预设周期循环显示所述背景轮播图,得到所述虚拟对象界面的界面背景,并将与所述背景轮播图属于同一色系的颜色设置为所述界面背景的背景颜色。
可以理解的是,对于上述背景轮播图,可以是由人工提前预设的,本申请对背景轮播图的获取方式不做限制。
可选的,对于上述背景轮播图,可以包括单张,多张,本申请对背景轮播图的数量不做限制。
其中,上述预设周期的时间单位可以包括时,分,秒,天,周,月等,但不限于此。在一个实施例中,假定上述预设周期为一天,则可以将虚拟对象界面上以天循环显示的背景轮播图确定为虚拟对象界面的界面背景。
进一步的,在将与所述背景轮播图属于同一色系的颜色设置为所述界面背景的背景颜色的之前,可以由人工预设与所述背景轮播图属于同一色系的颜色,也可以提取背景轮播图中面积比最大的颜色,将面积比最大的颜色确定为上述同一色系的颜色。
方案2、在确定所述预设动作指示的动作类型为静态动作的情况下,获取所述目标对象为所述静态动作预设的背景音频;根据所述背景音频的音频信息从预设背景视频中获取与所述音频信息对应的目标背景视频,并将所述目标背景视频确定为所述虚拟对象界面的界面背景。
进一步的,基于方案2,可以在所述虚拟对象界面上同时播放所述目标背景视频和所述背景音频。或者,还可以直接将虚拟对象缩小化,设置于目标背景视频中,并在所述虚拟对象界面上播放所述目标背景视频。
在一个示例性实施例中,进一步的,在根据所述交互指令打开目标设备的交互界面之前,提出了一种如何确定目标设备的交互界面的技术方案,具体步骤包括:从所述目标对象的历史交互记录查找所述目标对象与所述虚拟对象的交互记录,得到查找结果;在确定所述查找结果指示所述目标对象与所述虚拟对象的交互记录为空的情况下,确定所述目标设备的设备交互资源是否包含所述交互界面的界面资源;如果确定所述目标设备的设备交互资源没有包含所述交互界面的界面资源,则控制所述目标设备从所述目标设备对应的服务器中下载所述界面资源,并使用下载后的界面资源提供所述目标设备的交互界面。
为了更好的理解上述设备交互方法的过程,以下再结合可选实施例对上述设备交互的实现方法流程进行说明,但不用于限定本申请实施例的技术方案。
在本实施例中提供了一种设备交互方法,图3是根据本申请实施例的设备交互方法的流程示意图(一),如图3所示,具体如下步骤:
步骤S1,确定设备是否下载有虚拟人的安装包;若是,则执行步骤S2,若否,则不作任何操作。
步骤S2:确定设备是否未使用wifi;若是,则执行步骤S3,若否,则执行步骤S4。
步骤S3:提示用户切换至wifi环境后下载;
步骤S4:用户下载;
步骤S5:进入下载资源界面;
步骤S6:下载成功;
步骤S7:用户进入安装界面;并执行步骤S9-步骤S11。
步骤S8:提示用户重新下载;
步骤S9:安装成功;
步骤S10:用户进入虚拟人界面;
步骤S11:提示用户重新尝试。
在上述实施例中,以虚拟人为虚拟对象为例,由于在设备上显示虚拟人需要视频资源,音频资源和虚拟人的3D模型资源(即上述设备交互资源),如果确定设备从未安装过虚拟人,则需要从服务器上下载资源包。如果资源包超过了一定值,可以提示用户切换到wifi环境再进行资源包的下载,从而减小用户的流量损耗。例如,资源包超过了30M,若用户在非wifi环境下,则提示用户切换到wifi环境再进行资源包的下载。在下载资源包后,进入资源包的安装流程。在安装过程中,将视频资源,音频资源和3D模型资源加载到用户的手机内存中,这样,安装成功后,用户可以看到虚拟人的界面,并和虚拟人交互。
在一个实施例中,结合图4对设备交互方法进行说明,图4是根据本申请实施例的设备交互方法的流程示意图(二),如图4所示,具体如下步骤:
步骤S1:用户点击虚拟人悬浮窗图标后,进入虚拟人界面(即上述虚拟对象界面);
步骤S2:虚拟人进入常态化状态,展示打招呼动作;
步骤S3:用户点击话筒按钮;
步骤S4:虚拟人进入唤醒状态,展示唤醒动作;
步骤S5:用户与虚拟人进行对话;
在用户与虚拟人进行多轮对话的情况下,执行步骤S6-S9:
步骤S6:确定是否结束多轮对话?若是,则不作任何操作,若否,则执行步骤S7。
步骤S7:虚拟人通过语音识别(ASR),识别用户语音;
步骤S8:虚拟人通过自然语言处理(NLP),处理用户语音;
步骤S9:虚拟人通过语音合成(TTS),匹配对应动作,将结果告知用户;
在用户与虚拟人进行连续对话的情况下,执行步骤S10-S13:
步骤S10:确定是否结束连续对话?若是,则不作任何操作,若否,则执行步骤S7。
步骤S11:虚拟人通过语音识别(ASR),识别用户语音;
步骤S12:虚拟人通过自然语言处理(NLP),处理用户语音;
步骤S13:虚拟人通过语音合成(TTS),匹配对应动作,将结果告知用户;
在用户与虚拟人进行对话出现异常的情况下,执行步骤S14-S15:
步骤S14:确定语音处理过程出现异常;
步骤S15:虚拟人进行异常提示。
在上述实施例中,在用户进入如图5所示的虚拟人界面时,虚拟人为常态化状态,展示对应自然站立动画/原地踱步动画。当用户点击话筒按钮,虚拟人进入唤醒状态,展示对应唤醒动作。然后虚拟人通过语音识别(ASR),进入ASR状态,展示聆听,点头示意动作。识别结束后,虚拟人进入自然语言处理(NLP)状态,在NLP处理失败时,会展示“微微歪头同时皱眉头,左右摸后脑勺”,“边叹气,边低头,双手上抬”,“双手从中间两边摊开”等动作。或者,虚拟人还会发送“没听清”,“暂时还不会这个”,“处理失败”等回复语。在NLP处理成功时,虚拟人进入语音合成(TTS)状态,用普通话播报回复。
在一个实施例中,可以结合图6提供的动作状态机确定虚拟人的动作,如图6所示,通过状态机,虚拟人可以准确的展现如家电控制,天气查询,语音保修,语音说明,显示智慧菜谱等。
通过上述实施例,可以结合虚拟形象的表情、唇形、手势等动作,提供更自然的交互方式,且虚拟形象自带的科技感,也契合当下火热的元宇宙概念,给用户带来更真实、自然的交互体验。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例的方法。
图7是根据本申请实施例的一种设备交互装置的结构框图;如图7所示,包括:
确定模块702,用于响应目标对象的交互操作,确定所述交互操作的交互指令;
其中,可以对交互操作进行进一步说明,交互操作例如可以包括点击操作,触控操作,手势操作,面部操作,面部操作可以理解为面部五官的识别操作,但不限于此。
打开模块704,用于根据所述交互指令打开目标设备的交互界面,其中,所述交互界面包括虚拟对象界面;
交互模块706,用于根据所述目标对象的语音交互数据将所述虚拟对象界面的虚拟对象设置为唤醒状态,并控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互。
可以理解的是,上述虚拟形象界面的虚拟对象不局限于虚拟人物形象,还可以包括动物形象,其他非生命物体的形象,本申请对此不做限制。
通过上述装置,响应目标对象的交互操作,确定所述交互操作的交互指令;根据所述交互指令打开目标设备的交互界面,其中,所述交互界面包括虚拟对象界面;根据所述目标对象的语音交互数据将所述虚拟对象界面的虚拟对象设置为唤醒状态,并控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互,解决了相关技术中,如何提高设备的交互效果的技术问题,进而提高了设备的交互效果,并提高了用户的交互体验感。
在一个示例性实施例中,上述打开模块704还用于:从所述交互指令中确定出与所述交互操作的不同操作类型分别对应的多个子交互指令,其中,所述操作类型至少包括以下之一:单击操作,连击操作,长按操作;获取所述多个子交互指令中的任一子交互指令;在所述任一子交互指令所指示的虚拟对象的对象类型与所述虚拟对象界面的虚拟对象的对象类型一致的情况下,根据所述任一子交互指令打开所述目标设备的交互界面。
可选的,在其他实施例中,在所述任一子交互指令所指示的虚拟对象的对象类型与所述目标虚拟对象的对象类型不一致的情况下,根据其他子交互指令打开所述目标设备的交互界面,其中,所述其他子交互指令为所述多个子交互指令中除了所述任一子交互指令之外的子交互指令。
在一个示例性实施例中,进一步的,上述设备交互装置还包括解析模块,用于在控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互之前,对所述语音交互数据进行解析,得到所述语音交互数据的关键词;获取所述目标对象为所述关键词预设的对象肢体动作和对象表情;确定所述虚拟对象的对象类型对应的虚拟对象模板,使用所述对象肢体动作替换虚拟对象模板的初始肢体动作,以及使用所述对象表情替换所述虚拟对象模板的初始表情,得到所述语音交互数据对应的预设动作。
需要说明的是,上述肢体动作可以包括上肢动作,下肢动作,全身肢体动作,或者手势动作等,但不限于此。上述对象表情可以理解为虚拟形象的面部表情。
在一个示例性实施例中,上述交互模块706还用于:根据所述预设动作所指示的动作类型确定所述虚拟对象界面的界面背景;控制所述虚拟对象在虚拟对象界面上以所述预设动作与所述目标对象进行交互,并将所述界面背景对应的预设回复语发送给所述目标对象。
在一个示例性实施例中,进一步的,上述交互模块706还用于:在确定所述预设动作指示的动作类型为动态动作的情况下,获取所述目标对象为所述动态动作预设的背景轮播图;在所述虚拟对象界面上以预设周期循环显示所述背景轮播图,得到所述虚拟对象界面的界面背景,并将与所述背景轮播图属于同一色系的颜色设置为所述界面背景的背景颜色。
可以理解的是,对于上述背景轮播图,可以是由人工提前预设的,本申请对背景轮播图的获取方式不做限制。
可选的,对于上述背景轮播图,可以包括单张,多张,本申请对背景轮播图的数量不做限制。
其中,上述预设周期的时间单位可以包括时,分,秒,天,周,月等,但不限于此。在一个实施例中,假定上述预设周期为一天,则可以将虚拟对象界面上以天循环显示的背景轮播图确定为虚拟对象界面的界面背景。
进一步的,在将与所述背景轮播图属于同一色系的颜色设置为所述界面背景的背景颜色的之前,可以由人工预设与所述背景轮播图属于同一色系的颜色,也可以提取背景轮播图中面积比最大的颜色,将面积比最大的颜色确定为上述同一色系的颜色。
在一个示例性实施例中,进一步的,上述交互模块706还用于:在确定所述预设动作指示的动作类型为静态动作的情况下,获取所述目标对象为所述静态动作预设的背景音频;根据所述背景音频的音频信息从预设背景视频中获取与所述音频信息对应的目标背景视频,并将所述目标背景视频确定为所述虚拟对象界面的界面背景。
进一步的,基于上述实施例,可以在所述虚拟对象界面上同时播放所述目标背景视频和所述背景音频。或者,还可以直接将虚拟对象缩小化,设置于目标背景视频中,并在所述虚拟对象界面上播放所述目标背景视频。
在一个示例性实施例中,进一步的,上述设备交互装置还包括提供模块,用于:从所述目标对象的历史交互记录查找所述目标对象与所述虚拟对象的交互记录,得到查找结果;在确定所述查找结果指示所述目标对象与所述虚拟对象的交互记录为空的情况下,确定所述目标设备的设备交互资源是否包含所述交互界面的界面资源;如果确定所述目标设备的设备交互资源没有包含所述交互界面的界面资源,则控制所述目标设备从所述目标设备对应的服务器中下载所述界面资源,并使用下载后的界面资源提供所述目标设备的交互界面。
本申请的实施例还提供了一种存储介质,该存储介质包括存储的程序,其中,上述程序运行时执行上述任一项的方法。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的程序代码:
S1,响应目标对象的交互操作,确定所述交互操作的交互指令;
S2,根据所述交互指令打开目标设备的交互界面,其中,所述交互界面包括虚拟对象界面;
S3,根据所述目标对象的语音交互数据将所述虚拟对象界面的虚拟对象设置为唤醒状态,并控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互。
本申请的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,响应目标对象的交互操作,确定所述交互操作的交互指令;
S2,根据所述交互指令打开目标设备的交互界面,其中,所述交互界面包括虚拟对象界面;
S3,根据所述目标对象的语音交互数据将所述虚拟对象界面的虚拟对象设置为唤醒状态,并控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本申请的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种设备交互方法,其特征在于,包括:
响应目标对象的交互操作,确定所述交互操作的交互指令;
根据所述交互指令打开目标设备的交互界面,其中,所述交互界面包括虚拟对象界面;
根据所述目标对象的语音交互数据将所述虚拟对象界面的虚拟对象设置为唤醒状态,并控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互。
2.根据权利要求1所述的设备交互方法,其特征在于,根据所述交互指令打开目标设备的交互界面,包括:
从所述交互指令中确定出与所述交互操作的不同操作类型分别对应的多个子交互指令,其中,所述操作类型至少包括以下之一:单击操作,连击操作,长按操作;
获取所述多个子交互指令中的任一子交互指令;
在所述任一子交互指令所指示的虚拟对象的对象类型与所述虚拟对象界面的虚拟对象的对象类型一致的情况下,根据所述任一子交互指令打开所述目标设备的交互界面。
3.根据权利要求1所述的设备交互方法,其特征在于,在控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互之前,所述方法还包括:
对所述语音交互数据进行解析,得到所述语音交互数据的关键词;
获取所述目标对象为所述关键词预设的对象肢体动作和对象表情;
确定所述虚拟对象的对象类型对应的虚拟对象模板,使用所述对象肢体动作替换虚拟对象模板的初始肢体动作,以及使用所述对象表情替换所述虚拟对象模板的初始表情,得到所述语音交互数据对应的预设动作。
4.根据权利要求1所述的设备交互方法,其特征在于,控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互,包括:
根据所述预设动作所指示的动作类型确定所述虚拟对象界面的界面背景;控制所述虚拟对象在虚拟对象界面上以所述预设动作与所述目标对象进行交互,并将所述界面背景对应的预设回复语发送给所述目标对象。
5.根据权利要求4所述的设备交互方法,其特征在于,根据所述预设动作所指示的动作类型确定所述虚拟对象界面的界面背景,包括:
在确定所述预设动作指示的动作类型为动态动作的情况下,获取所述目标对象为所述动态动作预设的背景轮播图;
在所述虚拟对象界面上以预设周期循环显示所述背景轮播图,得到所述虚拟对象界面的界面背景,并将与所述背景轮播图属于同一色系的颜色设置为所述界面背景的背景颜色。
6.根据权利要求4所述的设备交互方法,其特征在于,根据所述预设动作所指示的动作类型确定所述虚拟对象界面的界面背景,包括:
在确定所述预设动作指示的动作类型为静态动作的情况下,获取所述目标对象为所述静态动作预设的背景音频;
根据所述背景音频的音频信息从预设背景视频中获取与所述音频信息对应的目标背景视频,并将所述目标背景视频确定为所述虚拟对象界面的界面背景。
7.根据权利要求1所述的设备交互方法,其特征在于,在根据所述交互指令打开目标设备的交互界面之前,所述方法还包括:
从所述目标对象的历史交互记录查找所述目标对象与所述虚拟对象的交互记录,得到查找结果;
在确定所述查找结果指示所述目标对象与所述虚拟对象的交互记录为空的情况下,确定所述目标设备的设备交互资源是否包含所述交互界面的界面资源;
如果确定所述目标设备的设备交互资源没有包含所述交互界面的界面资源,则控制所述目标设备从所述目标设备对应的服务器中下载所述界面资源,并使用下载后的界面资源提供所述目标设备的交互界面。
8.一种设备交互装置,其特征在于,包括:
确定模块,用于响应目标对象的交互操作,确定所述交互操作的交互指令;打开模块,用于根据所述交互指令打开目标设备的交互界面,其中,所述交互界面包括虚拟对象界面;
交互模块,用于根据所述目标对象的语音交互数据将所述虚拟对象界面的虚拟对象设置为唤醒状态,并控制所述虚拟对象以所述语音交互数据对应的预设动作与所述目标对象进行交互。
9.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至7任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310101678.8A CN116301511A (zh) | 2023-01-18 | 2023-01-18 | 设备交互方法、装置、存储介质及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310101678.8A CN116301511A (zh) | 2023-01-18 | 2023-01-18 | 设备交互方法、装置、存储介质及电子装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116301511A true CN116301511A (zh) | 2023-06-23 |
Family
ID=86827797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310101678.8A Pending CN116301511A (zh) | 2023-01-18 | 2023-01-18 | 设备交互方法、装置、存储介质及电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116301511A (zh) |
-
2023
- 2023-01-18 CN CN202310101678.8A patent/CN116301511A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115167164A (zh) | 设备场景的确定方法和装置、存储介质及电子装置 | |
CN114821236A (zh) | 智慧家庭环境感知方法、系统、存储介质及电子装置 | |
CN114697150A (zh) | 命令的下发方法和装置、存储介质及电子装置 | |
CN114915514B (zh) | 意图的处理方法和装置、存储介质及电子装置 | |
CN115309062B (zh) | 设备的控制方法、装置、存储介质及电子装置 | |
CN116301511A (zh) | 设备交互方法、装置、存储介质及电子装置 | |
CN115714810A (zh) | 推送消息的发送方法及装置、存储介质及电子装置 | |
CN115473755A (zh) | 基于数字孪生的智能设备的控制方法、装置 | |
CN114861678A (zh) | 时间信息的确定方法和装置、存储介质及电子装置 | |
CN114864047A (zh) | 食谱推荐方法、存储介质及电子装置 | |
CN116540557A (zh) | 视听结合的智能家电终端控制方法、装置及存储介质 | |
CN117809629B (zh) | 基于大模型的交互系统更新方法、装置及存储介质 | |
CN118519710A (zh) | 虚拟界面的生成方法和装置、存储介质及电子装置 | |
CN114995726B (zh) | 交互方式的确定方法和装置、存储介质及电子装置 | |
CN114911381B (zh) | 交互的反馈方法和装置、存储介质及电子装置 | |
CN115174290B (zh) | 会话记录的显示方法、装置、存储介质及电子装置 | |
CN117912465A (zh) | 场景数据的演示方法、装置、存储介质及电子装置 | |
CN115001885B (zh) | 设备控制方法及装置、存储介质及电子装置 | |
CN115032917A (zh) | 设备控制方法、存储介质及电子装置 | |
CN115361247B (zh) | 场景推荐方法、装置、存储介质及电子设备 | |
CN118152995A (zh) | 一种基于大语言模型在垂直领域中的交互方法和系统 | |
CN116339850A (zh) | 目标应用的启动方法和装置、存储介质及电子装置 | |
CN115309063A (zh) | 设备场景的更新方法和装置、存储介质及电子装置 | |
CN116364079A (zh) | 设备控制方法、装置和存储介质及电子装置 | |
CN117914931A (zh) | 功能推荐方法和装置、存储介质及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |