CN113687712A - 控制方法及设备、电子设备 - Google Patents
控制方法及设备、电子设备 Download PDFInfo
- Publication number
- CN113687712A CN113687712A CN202010421026.9A CN202010421026A CN113687712A CN 113687712 A CN113687712 A CN 113687712A CN 202010421026 A CN202010421026 A CN 202010421026A CN 113687712 A CN113687712 A CN 113687712A
- Authority
- CN
- China
- Prior art keywords
- modality
- option
- target
- data
- options
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 230000006698 induction Effects 0.000 claims abstract description 15
- 230000002452 interceptive effect Effects 0.000 claims description 198
- 230000003993 interaction Effects 0.000 claims description 173
- 230000033001 locomotion Effects 0.000 claims description 96
- 238000012545 processing Methods 0.000 claims description 81
- 230000009471 action Effects 0.000 claims description 63
- 238000005259 measurement Methods 0.000 claims description 30
- 230000007613 environmental effect Effects 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000012482 interaction analysis Methods 0.000 claims description 5
- 230000001953 sensory effect Effects 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 250
- 230000001276 controlling effect Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 230000006399 behavior Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 12
- 238000013461 design Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000004044 response Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 208000016354 hearing loss disease Diseases 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000016621 Hearing disease Diseases 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Abstract
本申请实施例提供一种控制方法及设备、电子设备。其中,该方法包括如下的步骤:确定电子设备提供的多个模态选项;获取所述电子设备对应的感应数据;基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项;控制所述电子设备切换至所述至少一个目标模态选项。本申请实施例通过模态选项的自适应确定,提高模态选项的确定效率以及准确度。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种控制方法及设备、电子设备。
背景技术
机器人是一种能够半自主或全自主工作的智能工具,具有感知、决策以及执行等基本特征,可以通过人机交互实现为人类服务的功能。为了充分模拟人与人之间的交互,机器人一般可以提供多模态选项交互。模态选项(Modality),也即“感官”,多模态选项也即多种感官融合,例如通过文字、语音、视觉、动作、环境等多种感官方式提供交互。
现有技术中,可以将机器人提供的某几种模态选项组成的交互模式作为机器人的一种工作模式。例如,可以根据机器人的位置、功能、作用等来设置机器人的工作模式,一个工作模式可以包括多个模态选项。例如智能音箱的工作模式一般包括语音模态选项,用户可以通过语音与智能音箱进行交互。工作模式的设置一般是机器人出厂前完成设置,工作模式一旦设定,机器人提供的交互模态选项即确定。
但是,由于机器人采用预设工作模式以执行其交互功能,为用户提供服务,机器人的工作模式设置完毕时,该机器人只能按照该工作模式中的工作模态选项工作,不能再提供额外的模态选项交互,机器人的利用效率较低。
发明内容
有鉴于此,本申请实施例提供一种控制方法及设备、电子设备。用以解决现有技术中机器人只能按照预定工作模态选项进行固定模态选项的交互而导致利用率较低的技术问题。
于是,在本申请的一个实施例中,提供了一种控制方法,包括:
确定电子设备提供的多个模态选项;
获取所述电子设备对应的感应数据;
基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项;
控制所述电子设备切换至所述至少一个目标模态选项。
本申请的第二实施例中,提供了一种控制方法,应用于电子设备,包括:
确定多个模态选项,并将所述多个模态选项提供给服务器;
确定感应数据,并将所述感应数据提供给服务器,以供所述服务器基于所述感应数据从所述多个模态选项中选择至少一个目标模态选项;
基于所述服务器的控制,切换至所述至少一个目标模态选项。
本申请的第三实施例中,提供一种控制方法,包括:
确定多个模态选项;
获取感应数据;
基于感应数据,从多个模态选项中选择至少一个目标模态选项;
切换至至少一个目标模态选项。
本申请的第四实施例中,提供了一种控制设备,包括:存储组件与处理组件;所述存储组件用于存储一条或多条计算机指令;所述一条或多条计算机指令被所述处理组件调用;
所述处理组件用于:
确定电子设备提供的多个模态选项;获取所述电子设备对应的感应数据;基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项;控制所述电子设备切换至所述至少一个目标模态选项。
在本申请的第五实施例中,提供了一种电子设备,其特征在于,包括:感应组件、存储组件与处理组件;所述存储组件用于存储一条或多条计算机指令;所述一条或多条计算机指令被所述处理组件调用;
所述感应组件用于检测感应数据;
所述处理组件用于:
确定多个模态选项,并将所述多个模态选项提供给服务器;确定所述感应组件检测的感应数据,并将所述感应数据提供给服务器,以供所述服务器基于所述感应数据从所述多个模态选项中选择至少一个目标模态选项;基于所述服务器的控制,切换至所述至少一个目标模态选项。
在本申请的第六实施例中,提供了一种电子设备,包括:感应组件、存储组件与处理组件;所述存储组件用于存储一条或多条计算机指令;所述一条或多条计算机指令被所述处理组件调用;
所述感应组件用于检测感应数据;
所述处理组件用于:
确定多个模态选项;获取所述感应组件检测的感应数据;基于感应数据,从多个模态选项中选择至少一个目标模态选项;切换至至少一个目标模态选项。
本申请实施例提供的技术方案,通过获取机器人的感应数据,以利用该感应数据从多个候选模态选项中选择与其相匹配的至少一个目标模态选项,使得机器人可以按照该至少一个目标模态选项工作,也即与用户进行交互处理。通过机器人的工作模态选项的选择,使得机器人实际的工作状态与其感应数据相适应,实现对机器人工作模式的自适应切换,使其可以适应不同的感应场景,提高机器人的利用效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种控制方法的一个实施例的流程图;
图2为本申请实施例提供的一种控制方法的又一个实施例的流程图;
图3为本申请实施例提供的一种控制方法的又一个实施例的流程图;
图4为本申请实施例提供的一种控制方法的又一个实施例的流程图;
图5为本申请实施例提供的一种控制方法的一个示例图;
图6为本申请实施例提供的一种控制方法的又一个示例图;
图7为本申请实施例提供的一种控制方法的又一个实施例的流程图;
图8为本申请实施例提供的一种控制设备的一个实施例的结构示意图;
图9为本申请实施例提供的一种电子设备的一个实施例的结构示意图;
图10为本申请实施例提供的一种电子设备的又一个实施例的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于识别”。类似地,取决于语境,短语“如果确定”或“如果识别(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当识别(陈述的条件或事件)时”或“响应于识别(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
本申请实施例的技术方案可以应用于机器人的模态选项控制场景中,利用传感器等组件采集机器人所在场景对应的感应数据,以利用感应数据从机器人提供的多个工作模态选项中选择合适的目标模态选项,从而使机器人系统的模态选项适应不同的交互场景,实现机器人交互系统的自动化高效化运转,提高机器人的利用率。
现有技术中,机器人的模态选项确定一般是通过先确定机器人的工作场景,再利用机器人的工作场景的需求来确定机器人的交互模态选项,这种交互方式中,机器人采用预设的交互模态选项与用户进行交互。对于一些环境复杂的交互场景,机器人提供的交互模态选项,并不能及时改变,以适应不同的交互场景,进而限制了机器人的工作交互过程,对机器人的利用效率并不高。
本申请实施例中,确定电子设备,例如机器人,提供的多个模态选项,获取该电子设备对应的感应数据,从而利用该感应数据,从多个模态选项中选择至少一个目标模态选项,并控制电子设备切换至所述至少一个目标模态选项。电子设备切换至该至少一个目标模态选项对应的交互系统之后,即可以通过该至少一个目标模态选项与用户进行交互,使得电子设备适应不同的交互场景,实现电子设备的交互系统的高效自助化运转,提高电子设备的利用效率。
下面将结合附图对本申请实施例进行详细描述。
如图1所示,为本申请实施例提供的一种控制方法的一个实施例的流程图,所述方法可以包括以下几个步骤:
101:确定电子设备提供的多个模态选项。
模态选项具体可以为电子设备能够提供的用于不同种类的感知交互方式。电子设备通过提供不同的模态选项,以与用户实现不同的感官方式的交互。
多个模态选项为电子设备预设的,可以基于电子设备的各种软硬件的输出实现。
102:获取电子设备对应的感应数据。
电子设备对应的感应数据可以利用各种传感器采集获得,感应数据可以包括一个或多个。
103:基于感应数据,从多个模态选项中选择至少一个目标模态选项。
通常为了对电子设备的工作模态选项确定更准确,可以将多个感应数据综合处理,以确定至少一个目标模态选项,使得至少一个目标模态选项能够满足多角度、多形态的交互目标。
至少一个目标模态选项可以根据感应数据从多个模态选项中选择获得。感应数据是通过传感器等组件对电子设备对应的交互场景检测获得,感应数据可以反应电子设备实时的交互场景,从而根据感应数据制定与其交互场景相匹配的目标模态选项。
104:控制电子设备切换至至少一个目标模态选项。
电子设备提供了多个模态选项,在电子设备正常工作时,可以将至少一个目标模态选项作为电子设备与用户交互时的交互模态选项,以控制电子设备切换至至少一个目标模态选项。
本申请实施例中,确定电子设备,例如机器人,提供的多个模态选项,获取该电子设备对应的感应数据,从而利用该感应数据,从多个模态选项中选择至少一个目标模态选项,并控制电子设备切换至所述至少一个目标模态选项。电子设备切换至该至少一个目标模态选项对应的交互系统之后,即可以通过该至少一个目标模态选项与用户进行交互,使得电子设备适应不同的交互场景,实现电子设备的交互系统的高效自助化运转,提高电子设备的利用效率。
本申请实施例所提供的控制方法可以应用于电子设备或者与电子设备对应的服务器中。该电子设备例如可以包括:机器人、自动驾驶汽车的车载设备、可穿戴设备、自动定位设备等,本申请实施例对电子设备的具体类型不作过多限定。与电子设备对应的服务器可以基于有线或无线等通信连接方式实现与电子设备的通信,该服务器具体可以包括:计算机、超级笔记本等普通服务器或者云服务器,本申请实施例对服务器的具体类型不作过多限定。
当本申请所提供的技术方案应用于电子设备时,感应数据可以是由传感器采集获得,并由电子设备获取的。当本申请所提供的技术方案应用于与电子设备对应的服务器时,感应数据可以由传感器采集获得,并发送至该服务器的。
其中,在电子设备为机器人时,机器人可以应用于多种交互场景中,基于应用的交互场景的不同,机器人可以包括多种类型的机器人,例如,机器人可以包括:物流机器人、教育机器人、交通机器人和/或自动驾驶机器人等。
可选地,不同类型的机器人提供的至少一个模态选项可以不同,具体可以根据该机器人的交互功能来确定该机器人对应的至少一个模态选项。例如,物流机器人可以运动模态选项、灯光模态选项等,教育机器人可以提供语音模态选项、灯光模态选项、多个语言模态选项以及屏幕模态选项等。
如图2所示,为本申请实施例提供的一种控制方法的又一个实施例的流程图,该方法可以包括:
201:确定电子设备提供的多个模态选项。
本申请的部分步骤与前述实施例的内容相同,具体描述可以参考前述实施例中的内容,在此不再赘述。
202:获取电子设备对应的感应数据。
203:基于感应数据,确定电子设备的目标交互任务。
在根据感应数据确定电子设备的至少一个目标模态选项时,可以根据感应数据,先确定电子设备的目标交互任务,将电子设备需要支持的场景交互进行量化,实现以基于确定的目标交互任务,确定至少一个目标模态选项,提高至少一个目标模态选项的确定效率。
204:从多个模态选项中选择与目标交互任务相匹配的至少一个目标模态选项。
在一种可能的设计中,通常可以将电子设备可能存在的交互场景进行预设,并生成各个交互场景对应的交互任务,并为各个交互任务设置不同的模态选项。可以预设多个交互任务,并确定任一个预设的交互任务对应的模态选项,从而在根据感应数据确定电子设备的目标交互任务之后,获取预先设置的该目标交互任务对应的至少一个目标模态选项。
所述从多个模态选项中选择与目标交互任务相匹配的至少一个目标模态选项可以包括:
确定预设多个候选交互任务以及任一候选交互任务对应的至少一个候选模态选项。
其中,所述至少一个候选模态选项基于所述多个模态选项预设获得。
从所述多个候选交互任务中选择与所述目标交互任务相匹配的参考交互任务。
确定与所述参考交互任务对应的至少一个候选模态选项为所述至少一个目标模态选项。
通过预设交互任务以及其对应的模态选项的方式,可以迅速确定目标交互任务对应的至少一个目标模态选项,提高模态选项的确定效率。
在又一种可能的设计中,基于感应数据确定的目标交互任务可以确定电子设备需要提供的多个交互方式,以利用该目标交互任务提供的多个交互方式确定各个交互方式对应的目标模态选项,从而获得至少一个目标模态选项,使得电子设备的至少一个目标模态选项的确定效率以及准确度更高。
205:控制电子设备切换至至少一个目标模态选项,以执行目标交互任务。
本申请实施例中,在确定电子设备提供的多个模态选项之后,可以获取电子设备对应的感应数据,并基于该感应数据来确定电子设备的目标交互任务,对电子设备的交互目标进行了量化,以利用量化的目标交互任务确定电子设备对应的目标模态选项,进而控制电子设备切换至至少一个目标模态选项。通过对电子设备对应交互任务的量化,准确定义电子设备在相应的感应数据下对应的交互任务,从而快速而准确地确定电子设备需要提供的至少一个目标模态选项,提高目标模态选项的获取效率,使其适应感应数据对应的交互任务,提高目标模态选项的提供精度。
在确定电子设备的至少一个目标模态选项之后,可以控制电子设备切换至该至少一个目标模态选项,该电子设备即可以利用至少一个目标模态选项执行交互任务。为了控制电子设备执行相应的交互任务,可以下发工作指令至电子设备。
作为一个实施例,所述步骤205:控制所述电子设备切换至所述至少一个目标模态选项,以执行所述目标交互任务可以包括:
生成所述目标交互任务在所述至少一个目标模态选项分别对应的工作指令;
控制所述电子设备切换至所述至少一个目标模态选项;
发送所述至少一个目标模态选项分别对应的工作指令至所述电子设备,以供所述电子设备响应所述至少一个目标模态选项分别对应的工作指令,执行所述至少一个目标模态选项分别对应的交互控制操作。
由于电子设备在至少一个目标模态选项下工作,可以为至少一个目标模态选项生成对应的工作指令。任一目标模态选项可以在对应工作指令的控制下,完成该目标模态选项对应的交互控制操作。工作指令可以对应相应的交互控制操作。例如,目标模态选项为灯光模态选项时,生成的灯光模态选项对应的工作指令可以是灯光点亮指令,电子设备接收到该灯光点亮指令之后,可以响应该灯光点亮指令,执行该灯光模态选项对应的灯光点亮操作。
通过为至少一个目标模态选项分别生成相应的工作指令,可以控制电子设备按照至少一个目标模态选项执行相应的交互任务,实现电子设备在至少一个目标模态选项下的交互,提高电子设备的交互效率。
为了对电子设备进行准确模态选项控制,可以在不同工作时序为电子设备设置相应的工作指令。作为一个实施例,所述生成所述目标交互任务在所述至少一个目标模态选项分别对应的工作指令包括:
生成所述电子设备的多个工作时序;
确定所述电子设备在任一工作时序时,所述至少一个目标模态选项分别对应的工作指令;
所述发送所述至少一个目标模态选项分别对应的工作指令至所述电子设备,以供所述电子设备响应所述至少一个目标模态选项分别对应的工作指令,执行所述至少一个目标模态选项分别对应的交互控制操作包括:
按照多个工作时序的先后顺序,依次将所述至少一个目标模态选项在各个工作时序分别对应的工作指令发送至所述电子设备,以供所述电子设备按照所述多个工作时序依次接收并响应所述至少一个目标模态选项分别对应的工作指令,以执行所述至少一个目标模态选项在各个工作时序对应的交互控制操作。
通过工作时序的设置,可以将电子设备的工作指令按照不同的工作时序进行设置,以确定在任一工作时序时,至少一个目标模态选项分别对应的工作指令。电子设备依次接收各个工作时序下,至少一个目标模态选项分别对应的工作指令,并按照各个工作时序,控制电子设备按照至少一个目标模态选项分别对应的工作指指令执行交互控制操作。为了提高指令的生成效率,可以为每个模态选项的指令进行编号,以通过指令编号代表各个模态选项的工作指令。
作为又一个实施例,所述方法还包括:
针对任一模态选项,对所述模态选项的多个候选指令进行编号,获得所述模态选项的多个候选指令分别对应的指令编号;
所述确定所述电子设备在任一工作时序时,所述至少一个目标模态选项分别对应的工作指令包括:
针对任一工作时序,确定所述电子设备的所述至少一个目标模态选项在所述工作时序分别对应工作指令的指令编号;其中,任一目标模态选项对应工作指令基于所述目标模态选项对应多个候选指令选择获得;
所述按照多个工作时序的先后顺序,依次将所述至少一个目标模态选项在各个工作时序分别对应的工作指令发送至所述电子设备,以供所述电子设备按照所述多个工作时序依次接收并响应所述至少一个目标模态选项分别对应的工作指令,以执行所述至少一个目标模态选项在各个工作时序对应的交互控制操作包括:
按照所述多个工作时序的先后顺序,依次将所述至少一个目标模态选项在各个工作时序分别对应工作指令的指令编号发送至所述电子设备,以供所述电子设备按照所述多个工作时序,依次接收所述至少一个目标模态选项对应各自工作指令的指令编号;并针对任一工作时序接收的至少一个指令编号,确定所述至少一个指令编号对应的候选指令,以执行所述至少一个指令编号分别对应的候选指令,以完成所述至少一个目标模态选项在各个工作时序分别对应的交互控制操作。
在为电子设备生成工作指令时,可以任一工作时序下,电子设备的至少一个目标模态选项分别对应的指令编号,并将至少一个目标模态选项分别对应的指令编号发送至电子设备,以供电子设备基于任一工作时序对应的至少一个指令编号,确定至少一个目标模态选项分别对应的工作指令,并按照所述工作指令执行响应的交互控制操作。
为了便于理解,如表1所示,为本申请实施例提供的某个电子设备的至少一个目标模态选项,在多个工作时序下,分别对应的指令编号。
表1
在表1中,电子设备可以包括8个目标模态选项,分别为A模态选项、B模态选项、C模态选项、D模态选项、E模态选项、F模态选项、G模态选项以及H模态选项。任一目标模态选项可以对应多个工作指令,可以为任一模态选项的多个工作指令进行编号。可以确定8个目标模态选项在不同工作时序分别对应的工作指令的指令编号。例如,在时序1时,A模态选项对应的工作指令的指令编号为1,B模态选项和C模态选项对应的工作指令为空,D模态选项对应的工作指令的指令编号为1,E模态选项对应的工作指令的指令编号为3,F模态选项对应的工作指令的指令编号为4,G模态选项和H模态选项对应的工作指令的指令变化为空。指令编号为空时,说明在该时序下,工作指令编号为空的模态选项不执行交互任务。
在实际应用中,不同模态选项的工作指令可以使用相同的指令编号进行编号,但是不同工作模态选项对应的工作指令不同,例如,在表1中,时序1下,A模态选项以及D模态选项的指令编号均为1,但是A模态选项对应的编号为1的指令,为A模态选项的1指令;D模态选项对应的编号为1的指令,为D模态选项的1指令。A模态选项的1指令和D模态选项的1指令可以不同,这两种指令的编号虽然相同,但是属于不同模态选项的指令编号对应的工作指令。
当然,在又一些实施例中,为了便于区分不同指令,以减少指令的确认误差,可以将不同模态选项的工作指令使用不同的指令编号进行编号。例如,可以将表1中时序1下的A模态选项对应的编号为1的工作指令重新编号为a1,将D模态选项对应编号为1的工作指令重新编号为d1。
在实际应用中,电子设备可以提供多种模态选项,并从多种模态选项中选择与感应数据相适应的至少一个目标模态选项。在某些实施例中,电子设备提供的多种模态选项可以包括:语音模态选项、图像模态选项、屏幕模态选项、灯光模态选项、动作执行模态选项、运动模态选项、外观模态选项和/或辅助输出模态选项。而基于感应数据,从多个模态选项中选择至少一个目标模态选项具体可以包括:基于感应数据,从电子设备的语音模态选项、图像模态选项、屏幕模态选项、灯光模态选项、动作执行模态选项、运动模态选项、外观模态选项和/或辅助输出模态选项中选择与感应数据相匹配的至少一个目标模态选项。通过提供多种模态选项,可以使得电子设备的交互模态选项更加多样化,可以使电子设备适应不同的交互需求,提高电子设备的利用效率。
电子设备提供的模态选项可以通过电子设备的软件以及硬件设备单独或组合实现。例如,灯光模态选项可以通过电子设备上的LED灯带实现,而图像模态选项就需要电子设备的GPU(Graphics Processing Unit,图形处理器)、屏幕以及图像相关的软件实现。
在又一些实施例中,感应数据可以包括多个,通过提供电子设备所处环境在不同方面的感应数据,可以对电子设备的交互目标或者交互任务进行准确分析,以选择准确的模态选项,提供更精准的交互模态选项,提高交互的有效性。
因此,获取电子设备对应的感应数据可以包括:
获取与所述电子设备进行交互的交互对象相关联的用户数据。
而基于感应数据,从多个模态选项中选择至少一个目标模态选项可以包括:
基于与所述电子设备进行交互的交互对象相关联的用户数据,从多个模态选项中选择至少一个目标模态选项。
其中,获取电子设备对应的感应数据还可以包括:
获取所述电子设备所处外部环境对应的环境数据。
而基于感应数据,从多个模态选项中选择至少一个目标模态选项可以包括:
基于所述电子设备所处外部环境对应的环境数据,从所述多个模态选项中选择至少一个目标模态选项。
其中,获取电子设备对应的感应数据还可以包括:
获取所述电子设备自身运动状态对应的惯性测量数据。
而基于感应数据,从多个模态选项中选择至少一个目标模态选项可以包括:
基于所述电子设备自身运动状态对应的惯性测量数据,从所述多个模态选项中选择至少一个目标模态。
通过从用户角度、环境角度和/或设备自身角度三个方向上感应电子设备对应的感应数据,可以提供更全面的感应数据,使得电子设备在选择目标模态选项时具有多方向的感应数据可以参考,提高选择精度以及准确度。
另外,通过感应数据的采集,可以使得电子设备提供的至少一个目标模态选项与实际所处的交互场景的交互需求结合更紧密,提高电子设备的交互有效性。
如图3所示,为本申请实施例提供的一种控制方法的又一个实施例的流程图,该方法可以包括:
301:确定电子设备提供的语音模态选项、图像模态选项、屏幕模态选项、灯光模态选项、动作执行模态选项、运动模态选项、外观模态选项和/或辅助输出模态选项。
302:获取与电子设备进行交互的交互对象相关联的用户数据,获取电子设备所处外部环境对应的环境数据,和/或,获取电子设备自身运动状态相对应的惯性测量数据。
303:基于与电子设备进行交互的交互对象相关联的用户数据、所述电子设备所处外部环境对应的环境数据和/或电子设备自身运动状态相对应的惯性测量数据,从电子设备的语音模态选项、图像模态选项、屏幕模态选项、灯光模态选项、动作执行模态选项、运动模态选项、外观模态选项和/或辅助输出模态选项中选择至少一个目标模态选项。
304:控制电子设备切换至至少一个目标模态选项。
本申请实施例中,电子设备提供了语音模态选项、图像模态选项、屏幕模态选项、灯光模态选项、动作执行模态选项、运动模态选项、外观模态选项和/或辅助输出模态选项,在获取与所述电子设备进行交互的交互对象相关联的用户数据,获取所述电子设备所处外部环境对应的环境数据,和/或,获取所述电子设备自身运动状态对应的惯性测量数据等感应数据之后,可以利用与所述电子设备进行交互的交互对象相关联的用户数据、所述电子设备所处外部环境对应的环境数据和/或所述电子设备自身运动状态相对应的惯性测量数据,从电子设备的语音模态选项、图像模态选项、屏幕模态选项、灯光模态选项、动作执行模态选项、运动模态选项、外观模态选项和/或辅助输出模态选项中选择至少一个目标模态选项。通过提供多种模态选项,可以使得电子设备的交互模态选项更加多样化,可以使电子设备适应不同的交互需求,提高电子设备的利用效率。提供更全面的感应数据,使得电子设备在选择目标模态选项时具有多方向的感应数据可以参考,提高选择精度以及准确度。
在一种可能的设计中,获取与电子设备进行交互的交互对象相关联的用户数据可以包括:
获取电子设备与交互对象对应的距离数据;
获取电子设备采集的交互对象的用户头像数据;
获取电子设备采集的交互对象对第三方软件发起的交互数据;
和/或,获取电子设备对交互对象采集的用户动作数据。
在又一种可能的设计中,获取电子设备所处外部环境对应的环境数据可以包括:
获取电子设备所处外部环境对应的温度数据、光强数据、风力数据、环境图像数据和/或环境语音数据。
在又一种可能的设计中,获取电子设备自身运动状态相对应的惯性测量数据可以包括:
获取电子设备自身运动状态相对应的加速度数据和/或角速度数据。
与电子设备对应的交互对象相关的用户数据可以包括:距离数据、用户头像数据、用户对象对第三方软件发起的交互数据和/或用户动作数据。与电子设备所处外部环境对应的环境数据可以包括温度数据、光强数据、风力数据、环境图像数据和/或环境语音数据。与电子设备自身运动相关的惯性测量数据可以包括:加速度数据和/或角速度数据。
通过获得多种感应数据可以提供更全面的感应角度,提高感应数据的有效性,从而在以更全面的感应数据从多个模态选项中选择目标模态选项时,可以提高选择精度。
在实际应用中,电子设备与交互对象的距离数据可以作为电子设备的模态选项确定基础。当电子设备与交互对象的距离较远时,可以使用灯光或者语音等可以以较远的距离进行交互的模态选项,当电子设备与交互对象的距离较近时,除可以使用语音、灯光等模态选项进行交互之外,还可以额外使用屏幕、图像等模态选项进行交互,以提高交互的有效性。
作为一个实施例,所述电子设备对应的感应数据可以包括:所述电子设备与所述交互对象对应的距离数据;
所述电子设备提供的多个模态选项包括:图像模态选项、屏幕模态选项、灯光模态选项以及语音模态选项;
所述基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项包括:
如果所述电子设备与所述交互对象对应的距离数据大于距离阈值,从所述多个模态选项中选择与所述距离数据相匹配的所述灯光模态选项和/或所述语音模态选项;
如果所述电子设备与所述交互对象对应的距离数据小于所述距离阈值,从所述多个模态选项中选择与所述距离数据相匹配的所述屏幕模态选项和/或所述图像模态选项、以及所述语音模态选项和/或所述灯光模态选项。
此外,在实际应用中,电子设备除提供屏幕模态选项、灯光模态选项以及语音模态选项之外,还可以提供其他模态选项,其他模态选项可以根据距离数据的相关性来确定是否应用。
电子设备可以应用在多种领域。在一些智能引导场景中,电子设备可以规划路径并对交互对象进行路径引导。因此,电子设备还可以提供运动模态选项。此时,感应数据中可以包括惯性测量数据,通过惯性策略数据来执行运动模态选项的交互。
在某些实施例中,电子设备对应的感应数据可以包括:电子设备自身运动状态相对应的惯性测量数据;
电子设备提供的多个模态选项可以包括:运动模态选项;
基于感应数据,从多个模态选项中选择至少一个目标模态选项包括:
基于电子设备自身运动状态对应的惯性测量数据,从多个模态选项中选择与惯性测量数据相匹配的所述运动模态选项。
在确定检测到电子设备的惯性策略数据之后,可以确定电子设备提供的模态选项中可以包含运动模态选项。
此外,感应数据还可以根据电子设备与交互对象的距离数据,以及电子设备自身的惯性策略数据来确定电子设备的至少一个目标模态选项。可以根据距离数据以及惯性策略数据对电子设备的运动方向、运动角度以及运动速度进行确认,从而控制电子设备按照确定的运动方向、运动角度以及运动速度执行运动操作。作为又一实施例,电子设备对应的感应数据可以包括:电子设备与交互对象对应的距离数据以及电子设备自身运动状态相对应的惯性测量数据;
电子设备提供的多个模态选项可以包括:运动模态选项、屏幕模态选项、灯光模态选项以及语音模态选项;其中,运动模态选项包括:第一运动模态选项以及第二运动模态选项;
基于所述感应数据,从多个模态选项中选择至少一个目标模态选项包括:
如果惯性测量数据满足第一运动状态且距离数据大于距离阈值,从多个模态选项中选择第一运动模态选项,以及灯光模态选项和/或语音模态选项;
如果惯性策略数据满足第二运动状态且距离数据小于距离阈值,从多个模态选项中选择第二运动模态选项、屏幕模态选项、以及灯光模态选项和/或语音模态选项。
在实际应用中可以将电子设备的运动模态选项分为第一运动模态选项以及第二运动模态选项。其中,第一运动模态选项为静止模态选项,第二运动模态选项为按照一定的运动角度、运动方向以及运动速度执行运动操作的运动模态选项。当电子设备与交互对象的距离较远时,可以处于第一运动模态选项,当电子设备与交互对象的距离较近时,可以使用第二运动模态选项。此外,还可以基于距离数据选择屏幕模态选项、灯光模态选项和/或语音模态选项。
其中,还可以基于电子设备所处环境的环境数据确定电子设备的至少一个目标模态选项。环境数据可以包括:温度数据、光强数据、风力数据、环境图像数据和/或环境语音数据。可以根据环境数据确定电子设备的实际所对应的交互环境,例如,通过环境数据可以确认电子设备是处于室内还是室外。通过环境数据还可以确定电子设备所处环境的功能,例如,确定电子设备是位于学校还是机场。通过环境数据可以确认是否提供语音模态选项,确认是否提供灯光模态选项,确认是否提供图像模态选项等。
作为又一个实施例,所述电子设备对应的感应数据包括:所述电子设备所处外部环境对应的环境数据;
所述电子设备提供的多个模态选项包括:图像模态选项、屏幕模态选项、灯光模态选项以及语音模态选项;
所述基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项包括:
如果所述电子设备所处外部环境对应的环境数据满足第一环境条件,从所述多个模态选项中选择与所述环境数据相匹配的图像模态选项、屏幕模态选项和/或灯光模态选项;
如果所述电子设备所处外部环境对应的环境数据满足第二环境条件,从所述多个模态选项中选择与所述环境数据相匹配的图像模态选项、平面模态选项和/或灯光模态选项,以及语音模态选项。
可以通过环境数据判断是否提供语音模态选项。在一些较为安静的环境中可以提供语音模态选项,在一些较为嘈杂的环境中可以不提供语音模态选项。第一环境条件具体可以包括不可以提供语音服务的环境,第二环境条件具体可以包括可以提供语音服务的环境。例如,可以根据环境数据中的环境语音数据以及环境图像数据;确定电子设备所处环境的噪声分贝,确定电子设备所处是室内还是室外,如果噪声分贝高于预设分贝阈值且电子设备处于室外,确定环境数据满足第一环境条件;如果噪声分贝低于预设分贝阈值且电子设备处于室外,确定环境数据满足第二环境条件。
此外,电子设备还可以与交互对象进行动作交互,电子设备可以执行一定的肢体动作,以为交互对象提供交互服务。例如,电子设备可以执行某些特定手势,电子设备还可以执行物品配送动作等。动作交互可以通电子设备的动作执行模态选项实现。
作为又一个实施例,电子设备提供的多个模态选项可以包括:动作执行模态选项;电子设备对应的感应数据包括:电子设备对交互对象采集的用户动作数据;
基于感应数据,从多个模态选项中选择至少一个目标模态选项可以包括:
基于用户动作数据,从多个模态选项中选择动作执行模态选项。
用户的动作数据可以触发电子设备使用动作执行模态选项。例如,通过电子设备进行物品配送时,用户动作数据可以是触发电子设备执行物品配送的检测数据。通常可以定义动作执行模态选项的启动动作,用户执行该启动动作,传感器检测到该启动动作对应的用户动作数据,从而基于该用户动作数据确认电子设备需要启动其动作执行模态选项。
在确定电子设备启动动作执行模态选项之后,可以为电子设备提供相应的动作指令,以使得电子设备切换至动作执行模态选项之后执行相应的目标动作。
作为一种可能的实现方式,基于用户动作数据,从多个模态选项中选择动作执行模态选项之后,还可以包括:
确定与交互对象执行的用户动作数据相匹配的动作指令;
控制电子设备切换至至少一个目标模态选项可以包括:
控制电子设备切换至动作执行模态选项,并执行与动作指令对应的目标动作。
为了提高电子设备的利用效率,还可以为电子设备提供辅助输出模态选项。辅助输出模态选项可以为输出交互数据至第三方设备,通过第三方设备实现最终交互。
作为一个实施例,电子设备提供的多个模态选项可以包括:辅助输出模态选项。
感应数据还可以包括:交互对象对第三方设备发起的交互数据。
基于感应数据,从多个模态选项中选择至少一个目标模态选项可以包括:
基于交互对象针对第三方设备发起的交互数据,从多个模态选项中选择辅助输出模态选项;
控制电子设备切换至至少一个目标模态选项包括:
控制电子设备切换至辅助输出模态选项,以通过辅助输出模态选项将交互数据发送至第三方设备。
使用辅助输出模态选项将交互数据发送至第三方设备之后,第三方设备可以基于响应该交互数据执行相应的交互操作,并生成反馈数据。
第三方设备可以为通过通讯接口或者通讯软件与电子设备通讯的终端设备。第三方设备可以包括:手机、平板电脑、智能音箱、笔记本电脑、可穿戴设备、个人计算机或者机器人等设备,本申请实施例的技术方案不对第三方设备的具体类型作出过多限定。
在某些实施例中,所述方法还包括:
通过与所述第三方设备对应的通讯接口或者通讯软件发送所述交互数据至所述第三方设备,以供所述第三方设备基于所述交互数据,获得与所述交互数据对应的反馈数据;
接收第三方设备发送的反馈数据;
电子设备提供的多个模态选项可以包括:语音模态选项和/或屏幕模态选项;
该方法还包括:
控制电子设备切换至语音模态选项和/或屏幕模态选项,以通过语音模态选项和/或屏幕模态选项输出反馈数据。
在第三方设备就电子设备发送的交互数据执行相应的交互操作,获得反馈数据之后,可以将反馈数据提供给电子设备。
在与交互对象进行交互的过程中,还可以基于交互对象的用户数据来确定电子设的至少一个目标模态选项。用户数据可以包括:距离数据、用户头像数据、用户针对第三方软件发起的交互数据和/或用户动作数据。
作为又一个实施例,感应数据还可以包括:电子设备采集的交互对象的用户头像数据;
基于感应数据,从多个模态选项中选择至少一个目标模态选项包括:
根据用户头像数据对交互对象进行身份识别,获得交互对象的身份信息;
基于交互对象的身份信息,获取交互对象的对象信息;
根据交互对象的对象信息,从多个模态选项中选择至少一个目标模态选项。
在一种可能的设计中,根据用户头像数据对交互对象进行身份识别,获得交互对象的对象身份可以包括:发送用户头像数据至用户服务器,以供用户服务器对用户头像数据进行人脸识别处理,获得交互对象的身份信息。
在某些实施例中,交互对象的对象信息包括:交互对象的历史操作行为;
根据交互对象的对象信息,从多个模态选项中选择至少一个目标模态选项具体可以包括:根据交互对象的历史操作行为,从多个模态选项中选择至少一个目标模态选项。
交互对象的历史操作行为具体可以指交互对象的在电子设备执行的历史操作行为,以及交互对象在第三方设备执行的历史操作行为。根据交互对象的历史操作行为,从多个模态选项中选择至少一个目标模态选项可以包括:根据交互对象的历史操作行为对交互对象的兴趣爱好进行分析,获得交互对象的个性化信息,以根据交互对象的个性化信息,从多个模态选项中选择与交互对象的个性化信息相匹配的至少一个目标模态选项。例如,交互对象的历史操作行为包括,购买紫色连衣裙,该交互对象的个性化信息为偏好紫色系,可以确定目标模态选项中的屏幕模态选项为显示紫色屏幕的模态选项。
在某些实施例中,交互对象的对象信息包括:交互对象的身体状态信息;
根据交互对象的对象信息,从多个模态选项中选择至少一个目标模态选项具体可以包括:
根据交互对象的身体状态信息,从多个模态选项中选择至少一个目标模态选项。
交互对象的身体状态信息可以反应交互对象的一些交互需求,例如,患有眼睛疾病的用户更需要语音交互,患有听力障碍的用户更需要图像或者屏幕交互。因此,通过交互对象的身体状态信息可以实现从多个模态选项中选择与交互对象的身体状态信息相匹配的至少一个目标模态选项。
进一步,可选地,所述根据所述交互对象的身体状态信息,从所述多个模态选项中选择至少一个目标模态选项包括:
如果所述交互对象的身体状态信息中包括残疾状态信息,从所述多个模态选项中选择与所述残疾状态信息相匹配的至少一个目标模态选项;
如果所述交互对象的身体状态信息中未包括残疾状态信息,从所述多个模态选项中选择与正常身体状态相匹配的至少一个目标模态选项。
残疾状态信息例如可以包括视力障碍信息或者听力障碍信息、肢体障碍信息等。当残疾状态信息中包括视力障碍信息时,可以确定至少一个目标模态选项中包括语音模态选项。当残疾状态信息中包括听力障碍信息时,可以确定至少一个目标模态选项中包括图像模态选项、灯光模态选项或者屏幕模态选项等具有显示功能的模态选项。当残疾状态信息中包括肢体障碍信息时,可以确定至少一个目标模态选项中包括:运动模态选项、动作执行模态选项等。
在某些实施例中,所述交互对象的对象信息包括:所述交互对象的国籍信息;
所述多个模态选项包括:多个语言模态选项;
所述根据所述交互对象的对象信息,从所述多个模态选项中选择至少一个目标模态选项包括:
根据所述交互对象的国籍信息,确定所述交互对象的对象语言;
从所述多个语言模态选项中选择与所述对象语言对应的语言模态选项。
语言模态选项可以包括多种语言对应的模态选项,例如可以包括英语语言模态选项、中文语言模态选项、西班牙语语言模态选项、法语语言模态选项等等。
在又一些实施例中,还可以对多个用户的行为或信息进行综合分析,以获得分析结果,以基于多个用户的综合分析结果,对当前用户的目标模态选项进行推荐确认。
作为又一个实施例,所述方法还包括:确定多个候选用户各自的候选用户信息;
对多个候选用户信息进行交互分析处理,获得所述多个候选用户的交互分析结果;
所述基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项包括:
基于所述感应数据以及所述多个候选用户的交互分析结果,从所述多个模态选项中选择所述至少一个目标模态选项。
在某些实施例中,所述感应数据还包括:所述电子设备采集的所述交互对象的用户头像数据;
所述确定多个候选用户各自的候选用户信息包括:
发送所述交互对象的用户头像数据至用户服务器,以供所述用户服务器基于所述用户头像数据,查找与所述用户头像数据相对应的所述多个候选用户,并反馈所述多个候选用户各自的候选用户信息;
接收所述用户服务器发送的所述多个候选用户各自的候选用户信息。
用户服务器查找与用户头像数据相对应的多个候选用户具体可以包括确定用户头像数据对应的身份信息,获得交互对象的身份信息,并基于交互对象的身份信息查找与交互对象的身份信息相匹配的多个候选用户。
例如,可以基于交互对象的身份信息确定交互对象的历史操作行为,并根据该历史操作行为对应的多个候选用户。还可以根据交互对象的身份信息确定交互对象的年龄、性别、爱好以及历史搜索信息,并基于这些信息查找与交互对象的年龄、性别、爱好以及历史搜索信息等作为搜索条件查找与该搜索条件相适应的多个候选用户。
可以利用多个候选用户各自的候选用户信息,进行交互分析,获得交互分析结果,以利用交互分析结果作为对交互对象的至少一个目标模态选项的确认参数,使至少一个目标模态选项与交互对象的关联度更高,提高至少一个目标模态选项的确定效率。
在实际应用中,如果电子设备处于一些极端情况下,不适合提供交互服务,可以在感应数据满足关闭条件的时候,控制电子设备关闭。在获取电子设备对应的感应数据之后,该方法还可以包括:
如果感应数据满足关闭条件,控制电子设备切换至关闭状态。
感应数据的具体类型可以参考前述实施例中的描述。感应数据满足关闭条件具体可以包括:判断感应数据与电子设备提供的至少一个模态选项均不匹配,可以确认感应数据满足关闭条件。例如,感应数据包括用户距离数据,电子设备提供的多个模态选项包括:图像模态选项、屏幕模态选项、灯光模态选项以及语音模态选项时,通过该距离数据判断图像模态选项、屏幕模态选项、灯光模态选项以及语音模态选项均不满足能满足模态选择条件,此时可以确认该距离数据满足关闭条件。
如果感应数据满足关闭条件,控制电子设备切换至关闭状态可以包括:如果基于感应数据不能从电子设备提供的至少一个模态选项中选择任一个目标模态选项,可以确认所述感应数据满足关闭条件,可以控制电子设备切换至关闭状态。
如图4所示,为本申请实施例提供的一种控制方法的又一个实施例的流程图,该方法可以包括:
401:确定多个模态选项,并将所述多个模态选项提供给服务器。
402:确定感应数据,并将所述感应数据提供给服务器,以供所述服务器基于所述感应数据从所述多个模态选项中选择至少一个目标模态选项。
403:基于所述服务器的控制,切换至所述至少一个目标模态选项。
本申请实施例中,电子设备确定的多个模态选项可以提供给服务器,之后,确定的感应数据也可以提供给服务器,服务器可以基于所述感应数据从多个模态选项中选择至少一个目标模态选项。该至少一个目标模态选项与感应数据的相适应,使得电子设备在与其对应的感应数据相适应的至少一个目标模态选项下工作,提高目标模态选项的工作效率。
作为一个实施例,基于服务器的控制,切换至至少一个目标模态选项之后,所述方法还可以包括:
基于至少一个目标模态选项,执行目标交互任务。
其中,目标交互任务为服务器基于感应数据确定;至少一个目标模态选项为服务器从多个模态选项中选择的与目标交互任务相匹配的模态选项。
作为又一个实施例,基于至少一个目标模态选项,执行目标交互任务可以包括:
接收服务器发送的至少一个目标模态选项分别对应的工作指令。
其中,至少一个目标模态选项分别对应的工作指令为服务器基于目标交互任务生成的。
响应至少一个目标模态选项分别对应的工作指令,执行至少一个目标模态选项分别对应的控制操作。
作为一种可能的实现方式,接收服务器发送的至少一个目标模态选项分别对应的工作指令;其中,至少一个目标模态选项分别对应的工作指令为服务器基于目标交互任务生成的包括:
接收服务器在多个工作时序依次发送的至少一个目标模态选项分别对应的工作指令。
其中,多个工作时序为服务器生成;以及电子设备在任一工作时序时至少一个目标模态选项分别对应的工作指令由服务器确定;
按照多个工作时序,依次响应至少一个目标模态选项分别对应的工作指令,执行至少一个目标模态选项在各个工作时序对应的控制操作。
进一步,可选地,接收服务器在多个工作时序依次发送的至少一个目标模态选项分别对应的工作指令。其中,多个工作时序为服务器生成;以及电子设备在任一工作时序时至少一个目标模态选项分别对应的工作指令由服务器确定包括:
按照多个工作时序,依次接收至少一个目标模态选项对应各自工作指令的指令编号;其中,在多个工作时序下所述至少一个目标模态选项对应各自工作指令的指令编号为服务器针对任一工作时序时,至少一个目标模态选项在所述工作时序分别对应的工作指令确定的;任一目标模态选项对应工作指令基于目标模态选项对应多个候选指令选择获得;任一模态选项的多个候选指令分别对应的指令编号为对模态选项的多个候选指令分别进行编号获得。
针对任一工作时序接收的至少一个指令编号,确定至少一个指令编号对应的候选指令,并执行至少一个指令编号分别对应的候选指令,以完成至少一个目标模态选项在各个工作时序分别对应的控制操作。
为了便于理解,如图5所示,为本申请实施例提供的一种控制方法的一个实际应用的示例图。以所述电子设备为机器人M1,本申请实施例提供的控制方法由服务器M2为例对本申请实施例的技术方案进行详细介绍。
在实际应用中还可以采用各种传感器对机器人M1所处环境、交互对象或者机器人M1自身运动情况进行感应数据501的采集。
例如,可以采用图像传感器采集环境图像数据、用户头像数据等;利用麦克风传感器采集环境语音数据、用户语音数据等;利用温度传感器采集环境的温度数据;利用光强传感器采集环境的光强数据;利用风力传感器来检测风力数据;利用电子设备上的加速度传感器检测加速度数据,以及利用角速度传感器检测角速度数据;利用距离传感器采集交互对象与机器人M1之间的距离数据。
此外,机器人M1还可以提供多种模态选项502,例如可以包括,多个语言模态选项、语音模态选项、图像模态选项、屏幕模态选项、灯光模态选项、动作执行模态选项、运动模态选项、外观模态选项和/或辅助输出模态选项等。本申请实施例中所描述的各种模态选项仅仅是示例性的,对于任何可以交互或者输出的方式的选择均属于本申请实施例所述的模态选项,对于模态选项的具体类型不作出过多限定。
服务器M2可以获取机器人M1对应的感应数据,以及机器人M1可以提供的多个模态选项。从而可以利用感应数据从机器人提供的多个模态选项中选择相匹配的至少一个目标模态选项503,从而控制机器人M1切换至该至少一个目标模态选项,并执行该至少一个目标模态选项对应的目标交互任务。
为了便于理解,如图6所示,假设机器人M1检测到的感应数据中可以包括:交互对象U1与机器人M1之间的距离数据、用户头像数据、环境声音数据以及环境图像数据;
之后,服务器M2可以获取601距离数据、用户头像数据、环境声音数据以及环境图像数据等感应数据,并确定602机器人可以提供的多个模态选项,例如机器人可以提供的多个模态选项包括:多个语言模态选项、语言模态选项、灯光模态选项、运动模态选项、辅助输出模态选项以及屏幕模态选项。
之后,服务器M2可以根据距离数据、用户头像数据、环境声音数据以及环境图像数据等感应数据,从多个语言模态选项、语音模态选项、灯光模态选项、运动模态选项、辅助输出模态选项以及屏幕模态选项中选择603与感应数据相匹配的至少一个目标模态选项。
服务器对电子设备的模态选项的选择例如可以包括:假设距离数据为1米,可以选择与该距离数据相适应的灯光模态选项以及屏幕模态选项。假设基于用户的头像数据,对用户进行身份识别,获得该用户的对象信息。例如,该对象信息包括对象的残疾状态信息中未包括听力障碍信息,可以确定语音模态选项;假设该对象信息中包括的国籍信息确定交互对象的语言为中文,确定相应的中文语言模态选项。假设根据环境图像数据以及环境语音数据识别出当前处于机场且噪声较大,可以采用屏幕模态选项。因此,基于以上距离数据、用户头像数据、环境声音数据以及环境图像数据等感应数据最终选择的至少一个目标模态选项可以包括:灯光模态选项、屏幕模态选项和语音模态选项。
之后,服务器可以控制604电子设备切换至灯光模态选项、屏幕模态选项以及语音模态选项。之后,电子设备可以与交互用户进行交互。例如,假设检测到交互对象发出“这里是哪里”的语音之后,电子设备可以从云服务器或者第三方程序检索与“这里是哪里”相对应的答案。并通过语音模态选项对应的语音输出模块,以及屏幕模态选项对应的显示屏输出“这里是机场”的答案,并在输出的过程中,采用灯光模态选项对应的灯光模态选项进行输出提示。
在又一些实施例中,电子设备可以执行本申请实施例的技术方案。
如图7所示,为本申请实施例提供的一种控制方法的又一个实施例的流程图,该方法可以包括:
701:确定多个模态选项。
702:获取感应数据。
703:基于感应数据,从多个模态选项中选择至少一个目标模态选项。
704:切换至至少一个目标模态选项。
本申请实施例中,电子设备可以提供的多个模态选项,获取对应的感应数据,从而利用该感应数据,从多个模态选项中选择至少一个目标模态选项,并切换至所述至少一个目标模态选项。电子设备切换至该至少一个目标模态选项对应的交互系统之后,即可以通过该至少一个目标模态选项与用户进行交互,使得电子设备适应不同的交互场景,实现电子设备的交互系统的高效自助化运转,提高电子设备的利用效率。
本申请实施例中提供的控制方法,多个模态选项以及感应数据的具体构成,以及至少一个目标模态选项的选择步骤以及内容、电子设备的模态切换步骤以及内容与前述实施例相同,具体内容的描述可以参考前述实施例中相关描述,在此不再赘述。
如图8所示,为本申请实施例提供的一种控制设备的一个实施例的结构示意图,该服务器可以包括:存储组件801与处理组件802;所述存储组件801用于存储一条或多条计算机指令;所述一条或多条计算机指令被所述处理组件802调用;
所述处理组件802用于:
确定电子设备提供的多个模态选项;获取所述电子设备对应的感应数据;基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项;控制所述电子设备切换至所述至少一个目标模态选项。
该控制设备例如可以包括服务器,所述服务器可以为计算机服务器或者云端服务器。
作为一个实施例,所述处理组件基于所述感应数据,从多个模态选项中选择至少一个目标模态选项具体可以包括:
基于所述感应数据,确定所述电子设备的目标交互任务;
从所述多个模态选项中选择与所述目标交互任务相匹配的至少一个目标模态选项;
所述控制所述电子设备切换至所述至少一个目标模态选项包括:
控制所述电子设备切换至所述至少一个目标模态选项,以执行所述目标交互任务。
在某些实施例中,所述处理组件控制所述电子设备切换至所述至少一个目标模态选项,以执行所述目标交互任务可以包括:
生成所述目标交互任务在所述至少一个目标模态选项分别对应的工作指令;
控制所述电子设备切换至所述至少一个目标模态选项;
发送所述至少一个目标模态选项分别对应的工作指令至所述电子设备,以供所述电子设备响应所述至少一个目标模态选项分别对应的工作指令,执行所述至少一个目标模态选项分别对应的交互控制操作。
作为一种可能的实现方式,所述处理组件生成所述目标交互任务在所述至少一个目标模态选项分别对应的工作指令具体可以包括:
生成所述电子设备的多个工作时序;
确定所述电子设备在任一工作时序时,所述至少一个目标模态选项分别对应的工作指令;
所述处理组件发送所述至少一个目标模态选项分别对应的工作指令至所述电子设备,以供所述电子设备响应所述至少一个目标模态选项分别对应的工作指令,执行所述至少一个目标模态选项分别对应的交互控制操作具体可以包括:
按照多个工作时序的先后顺序,依次将所述至少一个目标模态选项在各个工作时序分别对应的工作指令发送至所述电子设备,以供所述电子设备按照所述多个工作时序依次接收并响应所述至少一个目标模态选项分别对应的工作指令,以执行所述至少一个目标模态选项在各个工作时序对应的交互控制操作。
进一步,可选地,所述处理组件还可以用于:
针对任一模态选项,对所述模态选项的多个候选指令进行编号,获得所述模态选项的多个候选指令分别对应的指令编号;
所述处理组件确定所述电子设备在任一工作时序时,所述至少一个目标模态选项分别对应的工作指令具体可以包括:
针对任一工作时序,确定所述电子设备的所述至少一个目标模态选项在所述工作时序分别对应工作指令的指令编号;其中,任一目标模态选项对应工作指令基于所述目标模态选项对应多个候选指令选择获得;
所述处理组件按照多个工作时序的先后顺序,依次将所述至少一个目标模态选项在各个工作时序分别对应的工作指令发送至所述电子设备,以供所述电子设备按照所述多个工作时序依次接收并响应所述至少一个目标模态选项分别对应的工作指令,以执行所述至少一个目标模态选项在各个工作时序对应的交互控制操作具体可以包括:
按照所述多个工作时序的先后顺序,依次将所述至少一个目标模态选项在各个工作时序分别对应工作指令的指令编号发送至所述电子设备,以供所述电子设备按照所述多个工作时序,依次接收所述至少一个目标模态选项对应各自工作指令的指令编号;并针对任一工作时序接收的至少一个指令编号,确定所述至少一个指令编号对应的候选指令,以执行所述至少一个指令编号分别对应的候选指令,以完成所述至少一个目标模态选项在各个工作时序分别对应的交互控制操作。
在某些实施例中,所述处理组件从所述多个模态选项中选择与所述目标交互任务相匹配的至少一个目标模态选项具体可以包括:
确定预设多个候选交互任务以及任一候选交互任务对应的至少一个候选模态选项;其中,所述至少一个候选模态选项基于所述多个模态选项预设获得;
从所述多个候选交互任务中选择与所述目标交互任务相匹配的参考交互任务;
确定与所述参考交互任务对应的至少一个候选模态选项为所述至少一个目标模态选项。
作为一个实施例,所述处理组件确定电子设备提供的多个模态选项具体可以包括:
确定所述电子设备提供的多个语言模态选项、语音模态选项、图像模态选项、屏幕模态选项、灯光模态选项、动作执行模态选项、运动模态选项、外观模态选项和/或辅助输出模态选项;
所述处理组件基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项具体可以包括:
基于所述感应数据,从电子设备的所述语音模态选项、所述图像模态选项、所述屏幕模态选项、所述灯光模态选项、所述动作执行模态选项、所述运动模态选项、所述外观模态选项和/或所述辅助输出模态选项中选择至少一个目标模态选项。
在某些实施例中,所述处理组件获取所述电子设备对应的感应数据具体可以包括:
获取与所述电子设备进行交互的交互对象相关联的用户数据。
所述处理组件基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项具体可以包括:
基于与所述电子设备进行交互的交互对象相关联的用户数据,从所述多个模态选项中选择至少一个目标模态选项。
在某些实施例中,所述处理组件获取与所述电子设备进行交互的交互对象相关联的用户数据具体可以包括:
获取所述电子设备与所述交互对象对应的距离数据;
获取所述电子设备采集的所述交互对象的用户头像数据;
获取所述电子设备采集的所述交互对象对第三方软件发起的交互数据;
和/或,获取所述电子设备对所述交互对象采集的用户动作数据。
作为又一个实施例,所述处理组件获取所述电子设备对应的感应数据具体可以包括:
获取所述电子设备所处外部环境对应的环境数据;
所述处理组件基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项具体可以包括:
基于所述电子设备所处外部环境对应的环境数据,从所述多个模态选项中选择至少一个目标模态选项。
在某些实施例中,所述处理组件获取所述电子设备所处外部环境对应的环境数据具体可以包括:
获取所述电子设备所处外部环境对应的温度数据、光强数据、风力数据、环境图像数据和/或环境语音数据。
作为又一个实施例,所述处理组件获取所述电子设备对应的感应数据具体可以包括:
获取所述电子设备自身运动状态对应的惯性测量数据;
所述处理组件基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项具体可以包括:
基于所述电子设备自身运动状态对应的惯性测量数据,从所述多个模态选项中选择至少一个目标模态。
在某些实施例中,所述处理组件获取所述电子设备自身运动状态对应的惯性测量数据具体可以包括:
获取所述电子设备自身运动状态相对应的加速度数据和/或角速度数据。
作为一个实施例,所述电子设备对应的感应数据可以包括:所述电子设备与所述交互对象对应的距离数据;
所述电子设备提供的多个模态选项包括:图像模态选项、屏幕模态选项、灯光模态选项以及语音模态选项;
所述处理组件基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项具体可以包括:
如果所述电子设备与所述交互对象对应的距离数据大于距离阈值,从所述多个模态选项中选择与所述距离数据相匹配的所述灯光模态选项和/或所述语音模态选项;
如果所述电子设备与所述交互对象对应的距离数据小于所述距离阈值,从所述多个模态选项中选择与所述距离数据相匹配的所述屏幕模态选项和/或所述图像模态选项、以及所述语音模态选项和/或所述灯光模态选项。
作为又一个实施例,所述电子设备对应的感应数据包括:所述电子设备自身运动状态相对应的惯性测量数据;
所述电子设备提供的多个模态选项包括:运动模态选项;
所述处理组件基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项可以包括:
基于所述电子设备自身运动状态对应的惯性测量数据,从所述多个模态选项中选择与所述惯性测量数据相匹配的所述运动模态选项。
作为又一个实施例,所述电子设备对应的感应数据包括:所述电子设备与所述交互对象对应的距离数据以及所述电子设备自身运动状态相对应的惯性测量数据;
所述电子设备提供的多个模态选项包括:运动模态选项、屏幕模态选项、灯光模态选项以及语音模态选项;其中,所述运动模态选项包括:第一运动模态选项以及第二运动模态选项;
所述处理组件基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项可以包括:
如果所述惯性测量数据满足第一运动状态且所述距离数据大于所述距离阈值,从所述多个模态选项中选择所述第一运动模态选项,以及所述灯光模态选项和/或所述语音模态选项;
如果所述惯性策略数据满足第二运动状态且所述距离数据小于所述距离阈值,从所述多个模态选项中选择所述第二运动模态选项、所述屏幕模态选项,以及所述灯光模态选项和/或所述语音模态选项。
在某些实施例中,所述电子设备对应的感应数据包括:所述电子设备所处外部环境对应的环境数据;
所述电子设备提供的多个模态选项包括:图像模态选项、屏幕模态选项、灯光模态选项以及语音模态选项;
所述处理组件基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项具体可以包括:
如果所述电子设备所处外部环境对应的环境数据满足第一环境条件,从所述多个模态选项中选择与所述环境数据相匹配的图像模态选项、屏幕模态选项和/或灯光模态选项;
如果所述电子设备所处外部环境对应的环境数据满足第二环境条件,从所述多个模态选项中选择与所述环境数据相匹配的图像模态选项、平面模态选项和/或灯光模态选项,以及语音模态选项。
在某些实施例中,所述电子设备提供的多个模态选项包括:动作执行模态选项;所述电子设备对应的感应数据包括:所述电子设备对所述交互对象采集的用户动作数据;
所述处理组件基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项具体可以包括:
基于所述用户动作数据,从所述多个模态选项中选择所述动作执行模态选项。
作为一种可能的实现方式,所述处理组件还可以用于:
确定与所述交互对象执行的用户动作数据相匹配的动作指令;
所述处理组件控制所述电子设备切换至所述至少一个目标模态选项可以包括:
控制所述电子设备切换至所述动作执行模态选项,并执行与所述动作指令对应的目标动作。
在某些实施例中,所述电子设备提供的多个模态选项可以包括:辅助输出模态选项;
所述感应数据还可以包括:所述交互对象对第三方设备发起的交互数据;
所述处理组件基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项具体可以包括:
基于所述交互对象针对所述第三方设备发起的所述交互数据,从所述多个模态选项中选择所述辅助输出模态选项;
所述处理组件控制所述电子设备切换至所述至少一个目标模态选项具体可以包括:
控制所述电子设备切换至所述辅助输出模态选项,以通过所述辅助输出模态选项将所述交互数据发送至所述第三方设备。
进一步,可选地,所述处理组件还可以用于:
通过与所述第三方设备对应的通讯接口或者通讯软件发送所述交互数据至所述第三方设备,以供所述第三方设备基于所述交互数据,获得与所述交互数据对应的反馈数据;
接收所述第三方设备发送的所述反馈数据;
所述电子设备提供的多个模态选项包括:语音模态选项和/或屏幕模态选项;
所述处理组件还可以用于:
控制所述电子设备切换至所述语音模态选项和/或所述屏幕模态选项,以通过所述语音模态选项和/或所述屏幕模态选项输出所述反馈数据。
作为又一个实施例,所述感应数据还可以包括:所述电子设备采集的所述交互对象的用户头像数据;
所述处理组件基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项具体可以包括:
根据所述用户头像数据对所述交互对象进行身份识别,获得所述交互对象的身份信息;
基于所述交互对象的身份信息,获取所述交互对象的对象信息;
根据所述交互对象的对象信息,从所述多个模态选项中选择至少一个目标模态选项。
作为又一个实施例,所述交互对象的对象信息包括:所述交互对象的历史操作行为;
所述处理组件根据所述交互对象的对象信息,从所述多个模态选项中选择至少一个目标模态选项具体可以包括:
根据所述交互对象的历史操作行为,从所述多个模态选项中选择至少一个目标模态选项。
在某些实施例中,所述交互对象的对象信息包括:所述交互对象的身体状态信息;
所述处理组件根据所述交互对象的对象信息,从所述多个模态选项中选择至少一个目标模态选项具体可以包括:
根据所述交互对象的身体状态信息,从所述多个模态选项中选择至少一个目标模态选项。
作为一种可能的实现方式,所述处理组件根据所述交互对象的身体状态信息,从所述多个模态选项中选择至少一个目标模态选项具体可以包括:
如果所述交互对象的身体状态信息中包括残疾状态信息,从所述多个模态选项中选择与所述残疾状态信息相匹配的至少一个目标模态选项;
如果所述交互对象的身体状态信息中未包括残疾状态信息,从所述多个模态选项中选择与正常身体状态相匹配的至少一个目标模态选项。
在某些实施例中,所述交互对象的对象信息可以包括:所述交互对象的国籍信息;
所述多个模态选项可以包括:多个语言模态选项;
所述处理组件根据所述交互对象的对象信息,从所述多个模态选项中选择至少一个目标模态选项具体可以包括:
根据所述交互对象的国籍信息,确定所述交互对象的对象语言;
从所述多个语言模态选项中选择与所述对象语言对应的目标语言模态选项。
作为又一个实施例,所述处理组件还可以用于:
确定多个候选用户各自的候选用户信息;
对多个候选用户信息进行交互分析处理,获得所述多个候选用户的交互分析结果;
所述处理组件基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项具体可以包括:
基于所述感应数据以及所述多个候选用户的交互分析结果,从所述多个模态选项中选择所述至少一个目标模态选项。
在某些实施例中,所述感应数据还包括:所述电子设备采集的所述交互对象的用户头像数据;
所述处理组件确定多个候选用户各自的候选用户信息具体可以包括:
发送所述交互对象的用户头像数据至用户服务器,以供所述用户服务器基于所述用户头像数据,查找与所述用户头像数据相对应的所述多个候选用户,并反馈所述多个候选用户各自的候选用户信息;
接收所述用户服务器发送的所述多个候选用户各自的候选用户信息。
图8所述的控制设备可以执行图1~图3所示实施例所述的控制的方法,其实现原理和技术效果不再赘述。对于上述实施例中的处理组件所执行的各个步骤的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
此外,本申请实施例还提供一种计算机可读存储介质,该存储介质用于存储计算机程序,所述计算机程序执行时可以执行如前述实施例中控制方法。
如图9所示,为本申请实施例提供的一种电子设备的一个实施例的结构示意图,该电子设备可以包括:感应组件901、存储组件902与处理组件903;所述存储组件902用于存储一条或多条计算机指令;所述一条或多条计算机指令被所述处理组件903调用;
所述感应组件901用于检测感应数据;
所述处理组件903用于:
确定多个模态选项,并将所述多个模态选项提供给服务器;确定所述感应组件901检测的感应数据,并将所述感应数据提供给服务器,以供所述服务器基于所述感应数据从所述多个模态选项中选择至少一个目标模态选项;基于所述服务器的控制,切换至所述至少一个目标模态选项。
在一种可能的设计中,感应组件可以位于电子设备上,与电子设备是一体式设备。在又一种可能的设计中,感应组件可以是独立于电子设备的组件,可以与电子设备是分体式设备。
作为一个实施例,所述处理组件还可以用于:
基于所述至少一个目标模态选项,执行目标交互任务;其中所述目标交互任务为所述服务器基于所述感应数据确定;所述至少一个目标模态选项为所述服务器从所述多个模态选项中选择的与所述目标交互任务相匹配的模态选项。
作为又一个实施例,所述处理组件基于所述至少一个目标模态选项,执行目标交互任务具体可以包括:
接收所述服务器发送的所述至少一个目标模态选项分别对应的工作指令;其中,所述至少一个目标模态选项分别对应的工作指令为所述服务器基于所述目标交互任务生成的;
响应所述至少一个目标模态选项分别对应的工作指令,执行所述至少一个目标模态选项分别对应的控制操作。
在某些实施例中,所述处理组件接收所述服务器发送的所述至少一个目标模态选项分别对应的工作指令;其中,所述至少一个目标模态选项分别对应的工作指令为所述服务器基于所述目标交互任务生成的具体可以包括:
接收所述服务器在所述多个工作时序依次发送的所述至少一个目标模态选项分别对应的工作指令;其中,所述多个工作时序为所述服务器生成;以及所述电子设备在任一工作时序时所述至少一个目标模态选项分别对应的工作指令由所述服务器确定;
按照所述多个工作时序,依次响应所述至少一个目标模态选项分别对应的工作指令,执行所述至少一个目标模态选项在各个工作时序对应的控制操作。
作为一个实施例,所述处理组件接收所述服务器在所述多个工作时序依次发送的所述至少一个目标模态选项分别对应的工作指令;其中,所述多个工作时序为所述服务器生成;以及所述电子设备在任一工作时序时所述至少一个目标模态选项分别对应的工作指令由所述服务器确定具体可以包括:
按照所述多个工作时序,依次接收所述至少一个目标模态选项对应各自工作指令的指令编号;其中,在多个工作时序下所述至少一个目标模态选项对应各自工作指令的指令编号为所述服务器针对任一工作时序时,所述至少一个目标模态选项在所述工作时序分别对应的工作指令确定的;任一目标模态选项对应工作指令基于所述目标模态选项对应多个候选指令选择获得;任一模态选项的多个候选指令分别对应的指令编号为对所述模态选项的多个候选指令分别进行编号获得;
针对任一工作时序接收的至少一个指令编号,确定所述至少一个指令编号对应的候选指令,并执行所述至少一个指令编号分别对应的候选指令,以完成所述至少一个目标模态选项在各个工作时序分别对应的控制操作。
图9所述的电子设备可以执行图4所示实施例所述的控制的方法,其实现原理和技术效果不再赘述。对于上述实施例中的处理组件所执行的各个步骤的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
此外,本申请实施例还提供一种计算机可读存储介质,该存储介质用于存储计算机程序,所述计算机程序执行时可以执行如前述实施例中控制方法。
如图10所示,为本申请实施例提供的一种电子设备的一个实施例的结构示意图,该电子设备可以包括:感应组件1001、存储组件1002与处理组件1003;所述存储组件1002用于存储一条或多条计算机指令;所述一条或多条计算机指令被所述处理组件1003调用;
所述感应组件1001用于检测感应数据;
所述处理组件1003用于:
确定多个模态选项;获取所述感应组件1001检测的感应数据;基于感应数据,从多个模态选项中选择至少一个目标模态选项;切换至至少一个目标模态选项。
在一种可能的设计中,感应组件可以位于电子设备上,与电子设备是一体式设备。在又一种可能的设计中,感应组件可以是独立于电子设备的组件,可以与电子设备是分体式设备。
图10所述的电子设备可以执行图7所示实施例所述的控制的方法,其实现原理和技术效果不再赘述。对于上述实施例中的处理组件所执行的各个步骤的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
此外,本申请实施例还提供一种计算机可读存储介质,该存储介质用于存储计算机程序,所述计算机程序执行时可以执行如前述实施例中控制方法。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (38)
1.一种控制方法,其特征在于,包括:
确定电子设备提供的多个模态选项;
获取所述电子设备对应的感应数据;
基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项;
控制所述电子设备切换至所述至少一个目标模态选项。
2.根据权利要求1所述的方法,其特征在于,所述基于所述感应数据,从多个模态选项中选择至少一个目标模态选项包括:
基于所述感应数据,确定所述电子设备的目标交互任务;
从所述多个模态选项中选择与所述目标交互任务相匹配的至少一个目标模态选项;
所述控制所述电子设备切换至所述至少一个目标模态选项包括:
控制所述电子设备切换至所述至少一个目标模态选项,以执行所述目标交互任务。
3.根据权利要求2所述的方法,其特征在于,所述控制所述电子设备切换至所述至少一个目标模态选项,以执行所述目标交互任务包括:
生成所述目标交互任务在所述至少一个目标模态选项分别对应的工作指令;
控制所述电子设备切换至所述至少一个目标模态选项;
发送所述至少一个目标模态选项分别对应的工作指令至所述电子设备,以供所述电子设备响应所述至少一个目标模态选项分别对应的工作指令,执行所述至少一个目标模态选项分别对应的交互控制操作。
4.根据权利要求3所述的方法,其特征在于,所述生成所述目标交互任务在所述至少一个目标模态选项分别对应的工作指令包括:
生成所述电子设备的多个工作时序;
确定所述电子设备在任一工作时序时,所述至少一个目标模态选项分别对应的工作指令;
所述发送所述至少一个目标模态选项分别对应的工作指令至所述电子设备,以供所述电子设备响应所述至少一个目标模态选项分别对应的工作指令,执行所述至少一个目标模态选项分别对应的交互控制操作包括:
按照多个工作时序的先后顺序,依次将所述至少一个目标模态选项在各个工作时序分别对应的工作指令发送至所述电子设备,以供所述电子设备按照所述多个工作时序依次接收并响应所述至少一个目标模态选项分别对应的工作指令,以执行所述至少一个目标模态选项在各个工作时序对应的交互控制操作。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
针对任一模态选项,对所述模态选项的多个候选指令进行编号,获得所述模态选项的多个候选指令分别对应的指令编号;
所述确定所述电子设备在任一工作时序时,所述至少一个目标模态选项分别对应的工作指令包括:
针对任一工作时序,确定所述电子设备的所述至少一个目标模态选项在所述工作时序分别对应工作指令的指令编号;其中,任一目标模态选项对应工作指令基于所述目标模态选项对应多个候选指令选择获得;
所述按照多个工作时序的先后顺序,依次将所述至少一个目标模态选项在各个工作时序分别对应的工作指令发送至所述电子设备,以供所述电子设备按照所述多个工作时序依次接收并响应所述至少一个目标模态选项分别对应的工作指令,以执行所述至少一个目标模态选项在各个工作时序对应的交互控制操作包括:
按照所述多个工作时序的先后顺序,依次将所述至少一个目标模态选项在各个工作时序分别对应工作指令的指令编号发送至所述电子设备,以供所述电子设备按照所述多个工作时序,依次接收所述至少一个目标模态选项对应各自工作指令的指令编号;并针对任一工作时序接收的至少一个指令编号,确定所述至少一个指令编号对应的候选指令,以执行所述至少一个指令编号分别对应的候选指令,以完成所述至少一个目标模态选项在各个工作时序分别对应的交互控制操作。
6.根据权利要求2所述的方法,其特征在于,所述从所述多个模态选项中选择与所述目标交互任务相匹配的至少一个目标模态选项包括:
确定预设多个候选交互任务以及任一候选交互任务对应的至少一个候选模态选项;其中,所述至少一个候选模态选项基于所述多个模态选项预设获得;
从所述多个候选交互任务中选择与所述目标交互任务相匹配的参考交互任务;
确定与所述参考交互任务对应的至少一个候选模态选项为所述至少一个目标模态选项。
7.根据权利要求1或6任一项所述的方法,其特征在于,所述确定电子设备提供的多个模态选项包括:
确定所述电子设备提供的多个语言模态选项、语音模态选项、图像模态选项、屏幕模态选项、灯光模态选项、动作执行模态选项、运动模态选项、外观模态选项和/或辅助输出模态选项;
所述基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项包括:
基于所述感应数据,从电子设备的所述语音模态选项、所述图像模态选项、所述屏幕模态选项、所述灯光模态选项、所述动作执行模态选项、所述运动模态选项、所述外观模态选项和/或所述辅助输出模态选项中选择至少一个目标模态选项。
8.根据权利要求7所述的方法,其特征在于,所述获取所述电子设备对应的感应数据包括:
获取与所述电子设备进行交互的交互对象相关联的用户数据;
所述基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项包括:
基于与所述电子设备进行交互的交互对象相关联的用户数据,从所述多个模态选项中选择至少一个目标模态选项。
9.根据权利要求8所述的方法,其特征在于,所述获取与所述电子设备进行交互的交互对象相关联的用户数据包括:
获取所述电子设备与所述交互对象对应的距离数据;
获取所述电子设备采集的所述交互对象的用户头像数据;
获取所述电子设备采集的所述交互对象对第三方软件发起的交互数据;
和/或,获取所述电子设备对所述交互对象采集的用户动作数据。
10.根据权利要求7所述的方法,其特征在于,所述获取所述电子设备对应的感应数据包括:
获取所述电子设备所处外部环境对应的环境数据;
所述基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项包括:
基于所述电子设备所处外部环境对应的环境数据,从所述多个模态选项中选择至少一个目标模态选项。
11.根据权利要求10所述的方法,其特征在于,所述获取所述电子设备所处外部环境对应的环境数据包括:
获取所述电子设备所处外部环境对应的温度数据、光强数据、风力数据、环境图像数据和/或环境语音数据。
12.根据权利要求7所述的方法,其特征在于,所述获取所述电子设备对应的感应数据包括:
获取所述电子设备自身运动状态对应的惯性测量数据;
所述基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项包括:
基于所述电子设备自身运动状态对应的惯性测量数据,从所述多个模态选项中选择至少一个目标模态。
13.根据权利要求12所述的方法,其特征在于,所述获取所述电子设备自身运动状态对应的惯性测量数据包括:
获取所述电子设备自身运动状态相对应的加速度数据和/或角速度数据。
14.根据权利要求1所述的方法,其特征在于,所述电子设备对应的感应数据包括:所述电子设备与所述交互对象对应的距离数据;
所述电子设备提供的多个模态选项包括:图像模态选项、屏幕模态选项、灯光模态选项以及语音模态选项;
所述基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项包括:
如果所述电子设备与所述交互对象对应的距离数据大于距离阈值,从所述多个模态选项中选择与所述距离数据相匹配的所述灯光模态选项和/或所述语音模态选项;
如果所述电子设备与所述交互对象对应的距离数据小于所述距离阈值,从所述多个模态选项中选择与所述距离数据相匹配的所述屏幕模态选项和/或所述图像模态选项、以及所述语音模态选项和/或所述灯光模态选项。
15.根据权利要求1所述的方法,其特征在于,所述电子设备对应的感应数据包括:所述电子设备自身运动状态相对应的惯性测量数据;
所述电子设备提供的多个模态选项包括:运动模态选项;
所述基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项包括:
基于所述电子设备自身运动状态对应的惯性测量数据,从所述多个模态选项中选择与所述惯性测量数据相匹配的所述运动模态选项。
16.根据权利要求1所述的方法,其特征在于,所述电子设备对应的感应数据包括:所述电子设备与所述交互对象对应的距离数据以及所述电子设备自身运动状态相对应的惯性测量数据;
所述电子设备提供的多个模态选项包括:运动模态选项、屏幕模态选项、灯光模态选项以及语音模态选项;其中,所述运动模态选项包括:第一运动模态选项以及第二运动模态选项;
所述基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项包括:
如果所述惯性测量数据满足第一运动状态且所述距离数据大于所述距离阈值,从所述多个模态选项中选择所述第一运动模态选项,以及所述灯光模态选项和/或所述语音模态选项;
如果所述惯性策略数据满足第二运动状态且所述距离数据小于所述距离阈值,从所述多个模态选项中选择所述第二运动模态选项、所述屏幕模态选项,以及所述灯光模态选项和/或所述语音模态选项。
17.根据权利要求1所述的方法,其特征在于,所述电子设备对应的感应数据包括:所述电子设备所处外部环境对应的环境数据;
所述电子设备提供的多个模态选项包括:图像模态选项、屏幕模态选项、灯光模态选项以及语音模态选项;
所述基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项包括:
如果所述电子设备所处外部环境对应的环境数据满足第一环境条件,从所述多个模态选项中选择与所述环境数据相匹配的图像模态选项、屏幕模态选项和/或灯光模态选项;
如果所述电子设备所处外部环境对应的环境数据满足第二环境条件,从所述多个模态选项中选择与所述环境数据相匹配的图像模态选项、平面模态选项和/或灯光模态选项,以及语音模态选项。
18.根据权利要求1所述的方法,其特征在于,所述电子设备提供的多个模态选项包括:动作执行模态选项;所述电子设备对应的感应数据包括:所述电子设备对所述交互对象采集的用户动作数据;
所述基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项包括:
基于所述用户动作数据,从所述多个模态选项中选择所述动作执行模态选项。
19.根据权利要求18所述的方法,其特征在于,所述方法还包括:
确定与所述交互对象执行的用户动作数据相匹配的动作指令;
所述控制所述电子设备切换至所述至少一个目标模态选项包括:
控制所述电子设备切换至所述动作执行模态选项,并执行与所述动作指令对应的目标动作。
20.根据权利要求1所述的方法,其特征在于,所述电子设备提供的多个模态选项包括:辅助输出模态选项;
所述感应数据还包括:所述交互对象对第三方设备发起的交互数据;
所述基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项包括:
基于所述交互对象针对所述第三方设备发起的所述交互数据,从所述多个模态选项中选择所述辅助输出模态选项;
所述控制所述电子设备切换至所述至少一个目标模态选项包括:
控制所述电子设备切换至所述辅助输出模态选项,以通过所述辅助输出模态选项将所述交互数据发送至所述第三方设备。
21.根据权利要求20所述的方法,其特征在于,所述方法还包括:
通过与所述第三方设备对应的通讯接口或者通讯软件发送所述交互数据至所述第三方设备,以供所述第三方设备基于所述交互数据,获得与所述交互数据对应的反馈数据;
接收所述第三方设备发送的所述反馈数据;
所述电子设备提供的多个模态选项包括:语音模态选项和/或屏幕模态选项;
所述方法还包括:
控制所述电子设备切换至所述语音模态选项和/或所述屏幕模态选项,以通过所述语音模态选项和/或所述屏幕模态选项输出所述反馈数据。
22.根据权利要求1所述的方法,其特征在于,所述感应数据还包括:所述电子设备采集的所述交互对象的用户头像数据;
所述基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项包括:
根据所述用户头像数据对所述交互对象进行身份识别,获得所述交互对象的身份信息;
基于所述交互对象的身份信息,获取所述交互对象的对象信息;
根据所述交互对象的对象信息,从所述多个模态选项中选择至少一个目标模态选项。
23.根据权利要求22所述的方法,其特征在于,所述交互对象的对象信息包括:所述交互对象的历史操作行为;
所述根据所述交互对象的对象信息,从所述多个模态选项中选择至少一个目标模态选项包括:
根据所述交互对象的历史操作行为,从所述多个模态选项中选择至少一个目标模态选项。
24.根据权利要求22所述的方法,其特征在于,所述交互对象的对象信息包括:所述交互对象的身体状态信息;
所述根据所述交互对象的对象信息,从所述多个模态选项中选择至少一个目标模态选项包括:
根据所述交互对象的身体状态信息,从所述多个模态选项中选择至少一个目标模态选项。
25.根据权利要求24所述的方法,其特征在于,所述根据所述交互对象的身体状态信息,从所述多个模态选项中选择至少一个目标模态选项包括:
如果所述交互对象的身体状态信息中包括残疾状态信息,从所述多个模态选项中选择与所述残疾状态信息相匹配的至少一个目标模态选项;
如果所述交互对象的身体状态信息中未包括残疾状态信息,从所述多个模态选项中选择与正常身体状态相匹配的至少一个目标模态选项。
26.根据权利要求22所述的方法,其特征在于,所述交互对象的对象信息包括:所述交互对象的国籍信息;
所述多个模态选项包括:多个语言模态选项;
所述根据所述交互对象的对象信息,从所述多个模态选项中选择至少一个目标模态选项包括:
根据所述交互对象的国籍信息,确定所述交互对象的对象语言;
从所述多个语言模态选项中选择与所述对象语言对应的目标语言模态选项。
27.根据权利要求1所述的方法,其特征在于,还包括:
确定多个候选用户各自的候选用户信息;
对多个候选用户信息进行交互分析处理,获得所述多个候选用户的交互分析结果;
所述基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项包括:
基于所述感应数据以及所述多个候选用户的交互分析结果,从所述多个模态选项中选择所述至少一个目标模态选项。
28.根据权利要求27所述的方法,其特征在于,所述感应数据还包括:所述电子设备采集的所述交互对象的用户头像数据;
所述确定多个候选用户各自的候选用户信息包括:
发送所述交互对象的用户头像数据至用户服务器,以供所述用户服务器基于所述用户头像数据,查找与所述用户头像数据相对应的所述多个候选用户,并反馈所述多个候选用户各自的候选用户信息;
接收所述用户服务器发送的所述多个候选用户各自的候选用户信息。
29.根据权利要求1所述的方法,其特征在于,所述方法还包括:
如果所述感应数据满足关闭条件,控制所述电子设备切换至关闭状态。
30.一种控制方法,其特征在于,应用于电子设备,包括:
确定多个模态选项,并将所述多个模态选项提供给服务器;
确定感应数据,并将所述感应数据提供给服务器,以供所述服务器基于所述感应数据从所述多个模态选项中选择至少一个目标模态选项;
基于所述服务器的控制,切换至所述至少一个目标模态选项。
31.根据权利要求30所述的方法,其特征在于,所述基于所述服务器的控制,切换至所述至少一个目标模态选项之后,还包括:
基于所述至少一个目标模态选项,执行目标交互任务;其中所述目标交互任务为所述服务器基于所述感应数据确定;所述至少一个目标模态选项为所述服务器从所述多个模态选项中选择的与所述目标交互任务相匹配的模态选项。
32.根据权利要求30所述的方法,其特征在于,所述基于所述至少一个目标模态选项,执行目标交互任务包括:
接收所述服务器发送的所述至少一个目标模态选项分别对应的工作指令;其中,所述至少一个目标模态选项分别对应的工作指令为所述服务器基于所述目标交互任务生成的;
响应所述至少一个目标模态选项分别对应的工作指令,执行所述至少一个目标模态选项分别对应的控制操作。
33.根据权利要求32所述的方法,其特征在于,所述接收所述服务器发送的所述至少一个目标模态选项分别对应的工作指令;其中,所述至少一个目标模态选项分别对应的工作指令为所述服务器基于所述目标交互任务生成的包括:
接收所述服务器在所述多个工作时序依次发送的所述至少一个目标模态选项分别对应的工作指令;其中,所述多个工作时序为所述服务器生成;以及所述电子设备在任一工作时序时所述至少一个目标模态选项分别对应的工作指令由所述服务器确定;
按照所述多个工作时序,依次响应所述至少一个目标模态选项分别对应的工作指令,执行所述至少一个目标模态选项在各个工作时序对应的控制操作。
34.根据权利要求33所述的方法,其特征在于,所述接收所述服务器在所述多个工作时序依次发送的所述至少一个目标模态选项分别对应的工作指令;其中,所述多个工作时序为所述服务器生成;以及所述电子设备在任一工作时序时所述至少一个目标模态选项分别对应的工作指令由所述服务器确定包括:
按照所述多个工作时序,依次接收所述至少一个目标模态选项对应各自工作指令的指令编号;其中,在多个工作时序下所述至少一个目标模态选项对应各自工作指令的指令编号为所述服务器针对任一工作时序时,所述至少一个目标模态选项在所述工作时序分别对应的工作指令确定的;任一目标模态选项对应工作指令基于所述目标模态选项对应多个候选指令选择获得;任一模态选项的多个候选指令分别对应的指令编号为对所述模态选项的多个候选指令分别进行编号获得;
针对任一工作时序接收的至少一个指令编号,确定所述至少一个指令编号对应的候选指令,并执行所述至少一个指令编号分别对应的候选指令,以完成所述至少一个目标模态选项在各个工作时序分别对应的控制操作。
35.一种控制方法,其特征在于,包括:
确定多个模态选项;
获取感应数据;
基于感应数据,从多个模态选项中选择至少一个目标模态选项;
切换至至少一个目标模态选项。
36.一种控制设备,其特征在于,包括:存储组件与处理组件;所述存储组件用于存储一条或多条计算机指令;所述一条或多条计算机指令被所述处理组件调用;
所述处理组件用于:
确定电子设备提供的多个模态选项;获取所述电子设备对应的感应数据;基于所述感应数据,从所述多个模态选项中选择至少一个目标模态选项;控制所述电子设备切换至所述至少一个目标模态选项。
37.一种电子设备,其特征在于,包括:感应组件、存储组件与处理组件;所述存储组件用于存储一条或多条计算机指令;所述一条或多条计算机指令被所述处理组件调用;
所述感应组件用于检测感应数据;
所述处理组件用于:
确定多个模态选项,并将所述多个模态选项提供给服务器;确定所述感应组件检测的感应数据,并将所述感应数据提供给服务器,以供所述服务器基于所述感应数据从所述多个模态选项中选择至少一个目标模态选项;基于所述服务器的控制,切换至所述至少一个目标模态选项。
38.一种电子设备,其特征在于,包括:感应组件、存储组件与处理组件;所述存储组件用于存储一条或多条计算机指令;所述一条或多条计算机指令被所述处理组件调用;
所述感应组件用于检测感应数据;
所述处理组件用于:
确定多个模态选项;获取所述感应组件检测的感应数据;基于感应数据,从多个模态选项中选择至少一个目标模态选项;切换至至少一个目标模态选项。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010421026.9A CN113687712A (zh) | 2020-05-18 | 2020-05-18 | 控制方法及设备、电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010421026.9A CN113687712A (zh) | 2020-05-18 | 2020-05-18 | 控制方法及设备、电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113687712A true CN113687712A (zh) | 2021-11-23 |
Family
ID=78575611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010421026.9A Pending CN113687712A (zh) | 2020-05-18 | 2020-05-18 | 控制方法及设备、电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113687712A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080147407A1 (en) * | 2006-12-19 | 2008-06-19 | International Business Machines Corporation | Inferring switching conditions for switching between modalities in a speech application environment extended for interactive text exchanges |
CN106457563A (zh) * | 2014-04-17 | 2017-02-22 | 软银机器人欧洲公司 | 执行人形机器人与用户之间的多模式对话的方法、用于实施所述方法的计算机程序产品和人形机器人 |
CN107765856A (zh) * | 2017-10-26 | 2018-03-06 | 北京光年无限科技有限公司 | 基于多模态交互的虚拟人视觉处理方法及系统 |
CN107831905A (zh) * | 2017-11-30 | 2018-03-23 | 北京光年无限科技有限公司 | 一种基于全息投影设备的虚拟形象交互方法及系统 |
CN110465947A (zh) * | 2019-08-20 | 2019-11-19 | 苏州博众机器人有限公司 | 多模态融合人机交互方法、装置、存储介质、终端及系统 |
US10569420B1 (en) * | 2017-06-23 | 2020-02-25 | X Development Llc | Interfacing with autonomous devices |
-
2020
- 2020-05-18 CN CN202010421026.9A patent/CN113687712A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080147407A1 (en) * | 2006-12-19 | 2008-06-19 | International Business Machines Corporation | Inferring switching conditions for switching between modalities in a speech application environment extended for interactive text exchanges |
CN106457563A (zh) * | 2014-04-17 | 2017-02-22 | 软银机器人欧洲公司 | 执行人形机器人与用户之间的多模式对话的方法、用于实施所述方法的计算机程序产品和人形机器人 |
US10569420B1 (en) * | 2017-06-23 | 2020-02-25 | X Development Llc | Interfacing with autonomous devices |
CN107765856A (zh) * | 2017-10-26 | 2018-03-06 | 北京光年无限科技有限公司 | 基于多模态交互的虚拟人视觉处理方法及系统 |
CN107831905A (zh) * | 2017-11-30 | 2018-03-23 | 北京光年无限科技有限公司 | 一种基于全息投影设备的虚拟形象交互方法及系统 |
CN110465947A (zh) * | 2019-08-20 | 2019-11-19 | 苏州博众机器人有限公司 | 多模态融合人机交互方法、装置、存储介质、终端及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102425578B1 (ko) | 객체를 인식하는 방법 및 장치 | |
KR102255273B1 (ko) | 청소 공간의 지도 데이터를 생성하는 장치 및 방법 | |
US11367434B2 (en) | Electronic device, method for determining utterance intention of user thereof, and non-transitory computer-readable recording medium | |
KR102491546B1 (ko) | 객체를 인식하는 방법 및 장치 | |
US11457788B2 (en) | Method and apparatus for executing cleaning operation | |
EP3899696B1 (en) | Voice command execution from auxiliary input | |
EP3598770A1 (en) | Electronic device for determining emotion of user and method for controlling same | |
EP3756185B1 (en) | Electronic device for outputting response to speech input by using application and operation method thereof | |
US10936880B2 (en) | Surveillance | |
CN112135553B (zh) | 用于执行清洁操作的方法和设备 | |
KR102616850B1 (ko) | 전자 장치, 전자 장치와 결합 가능한 외부 디바이스 및 이의 디스플레이 방법 | |
KR102420567B1 (ko) | 음성 인식 장치 및 방법 | |
KR102463806B1 (ko) | 이동이 가능한 전자 장치 및 그 동작 방법 | |
KR102490916B1 (ko) | 전자 장치, 이의 제어 방법 및 비일시적인 컴퓨터 판독가능 기록매체 | |
US9477302B2 (en) | System and method for programing devices within world space volumes | |
CN111418198A (zh) | 提供文本相关图像的电子装置及其操作方法 | |
CN112528004A (zh) | 语音交互方法、装置、电子设备、介质和计算机程序产品 | |
KR20180054362A (ko) | 사용자의 음성 입력을 인식하는 방법 및 장치 | |
KR102464906B1 (ko) | 패션 상품을 추천하는 전자 장치, 서버 및 그 동작 방법 | |
US11347805B2 (en) | Electronic apparatus, method for controlling the same, and non-transitory computer readable recording medium | |
Hasler et al. | Interactive incremental online learning of objects onboard of a cooperative autonomous mobile robot | |
CN113687712A (zh) | 控制方法及设备、电子设备 | |
Ventura et al. | A domestic assistive robot developed through robot competitions | |
Seib et al. | Team homer@ unikoblenz—approaches and contributions to the robocup@ home competition | |
US11348585B2 (en) | Artificial intelligence apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |