CN110874200A - 交互方法、设备、存储介质和操作系统 - Google Patents

交互方法、设备、存储介质和操作系统 Download PDF

Info

Publication number
CN110874200A
CN110874200A CN201810995597.6A CN201810995597A CN110874200A CN 110874200 A CN110874200 A CN 110874200A CN 201810995597 A CN201810995597 A CN 201810995597A CN 110874200 A CN110874200 A CN 110874200A
Authority
CN
China
Prior art keywords
event
interaction
events
target
combined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810995597.6A
Other languages
English (en)
Other versions
CN110874200B (zh
Inventor
王恺
张继鹏
夏登平
王雷
柏长军
袁志俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Banma Zhixing Network Hongkong Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810995597.6A priority Critical patent/CN110874200B/zh
Priority to TW108123440A priority patent/TW202032326A/zh
Priority to PCT/CN2019/102483 priority patent/WO2020043038A1/zh
Publication of CN110874200A publication Critical patent/CN110874200A/zh
Application granted granted Critical
Publication of CN110874200B publication Critical patent/CN110874200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供一种交互方法、设备、存储介质和操作系统，该方法包括：接收多个交互事件，多个交互事件对应于不同的交互方式；从已提供的组合事件中确定事件特征与多个交互事件的事件特征相匹配的目标组合事件；向目标组合事件对应的响应对象发送通知，以使响应对象对目标组合事件进行响应处理。通过本方案，响应对象比如应用程序可以对用户同时通过不同交互方式触发的交互事件所构成的组合事件进行响应，亦即用户可以同时通过不同交互方式触发不同的交互事件来实现本次交互的目的，提高了用户操作便利性，也扩展了人机交互模式。

Description

交互方法、设备、存储介质和操作系统
技术领域
本发明涉及互联网技术领域，尤其涉及一种交互方法、设备、存储介质和操作系统。
背景技术
各种各样的人机交互方式已经被广泛应用在不同的人机交互场景中，比如触控交互、语音交互、体感交互、手势交互等等。
现有技术中，各种人机交互方式相互独立，即使有融合使用的情况，融合形式也较为单一，这种融合仅体现为通过交互方式A进行了一次人机交互后，如果对本次人机交互的响应信息还需进行下一次的人机交互，下一次的人机交互时可以采用交互方式B来进行。举例来说，比如针对音乐应用程序来说，用户可以通过语音交互方式说出“我想听某人的歌曲”的语音指令，音乐应用程序响应于该语音指令在界面中显示出该某人对应的歌曲列表；之后，用户可以通过触控交互方式从界面中显示的歌曲列表中选择想要听的歌曲，此时，音乐应用程序基于用户的点击选择操作，播放选中的歌曲。
发明内容
有鉴于此，本发明实施例提供一种交互方法、设备、存储介质和操作系统，在一次交互过程中用户可以采用多种交互方式来表达本次交互意图，扩展了人机交互模式，提高了用户操作便利性。
第一方面，本发明实施例提供一种交互方法，应用于操作系统，该方法包括：
接收多个交互事件，所述多个交互事件对应于不同的交互方式；
从已提供的组合事件中确定事件特征与所述多个交互事件的事件特征相匹配的目标组合事件；
向所述目标组合事件对应的响应对象发送通知，以使所述响应对象对所述目标组合事件进行响应。
第二方面，本发明实施例提供一种交互装置，应用于操作系统，包括：
接收模块，用于接收多个交互事件，所述多个交互事件对应于不同的交互方式；
确定模块，用于从已提供的组合事件中确定事件特征与所述多个交互事件的事件特征相匹配的目标组合事件；
发送模块，用于向所述目标组合事件对应的响应对象发送通知，以使所述响应对象对所述目标组合事件进行响应。
第三方面，本发明实施例提供一种电子设备，包括：第一存储器、第一处理器；其中，所述第一存储器上存储有可执行代码，当所述可执行代码被所述第一处理器执行时，使所述第一处理器执行如上所述的交互方法。
本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的交互方法。
第四方面，本发明实施例提供一种交互方法，应用于响应对象，该方法包括：
确定组合事件的注册信息，所述注册信息中包括所述组合事件对应的响应对象的标识以及所述组合事件的事件特征；
将所述注册信息发送至操作系统，以使所述操作系统根据所述注册信息对用户触发的交互事件进行处理。
第五方面，本发明实施例提供一种交互装置，应用于响应对象，包括：
确定模块，用于确定组合事件的注册信息，所述注册信息中包括所述组合事件对应的响应对象的标识以及所述组合事件的事件特征；
发送模块，用于将所述注册信息发送至操作系统，以使所述操作系统根据所述注册信息对用户触发的交互事件进行处理。
第六方面，本发明实施例提供一种电子设备，包括：第二存储器、第二处理器；其中，所述第二存储器上存储有可执行代码，当所述可执行代码被所述第二处理器执行时，使所述第二处理器执行如上第四方面所述的交互方法。
本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上第四方面所述的交互方法。
第七方面，本发明实施例提供一种操作系统，包括：
多模态框架和多模态交互引擎；其中，所述多模态框架中包括多种交互组件；
所述多种交互组件，用于接收多个交互事件，所述多个交互事件对应于不同的交互组件；
所述多模态交互引擎，用于响应于从所述多种交互组件接收的所述多个交互事件，从已提供的组合事件中确定事件特征与所述多个交互事件的事件特征相匹配的目标组合事件，向所述目标组合事件对应的响应对象发送通知，以使所述响应对象对所述目标组合事件进行响应。
在本发明实施例中，在一次人机交互过程中用户可以采用多种交互方式来表达本次交互意图，亦即用户触发的多种交互事件融合而成反映用户交互意图的交互命令。具体地，当用户通过不同的交互方式同时或依次触发了多个交互事件时，操作系统接收到该多个交互事件后，从已提供的多个组合事件中确定出事件特征与该多个交互事件的事件特征相匹配的目标组合事件。在确定出该目标组合事件后，向该目标组合事件对应的响应对象发送通知，以使该响应对象对目标组合事件进行响应。以该响应对象为某个应用程序来说，通过本方案，该应用程序可以对用户同时通过不同交互方式触发的交互事件所构成的组合事件进行响应，亦即用户可以同时通过不同交互方式触发不同的交互事件来实现一次交互的目的，提高了用户操作便利性，也扩展了人机交互模式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种交互方法的流程图；
图2为本发明实施例提供的另一种交互方法的流程图；
图3为本发明实施例提供的又一种交互方法的流程图；
图4为本发明实施例提供的一种操作系统的工作原理示意图；
图5为本发明实施例提供的一种交互装置的结构示意图；
图6为与图5所示实施例提供的交互装置对应的电子设备的结构示意图；
图7为本发明实施例提供的另一种交互装置的结构示意图；
图8为与图7所示实施例提供的交互装置对应的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
图1为本发明实施例提供的一种交互方法的流程图，该交互方法可以由诸如应用程序等用于对用户的触发的交互事件进行响应的响应对象来执行。如图1所示，该方法包括如下步骤：
101、确定组合事件的注册信息，注册信息中包括响应对象的标识以及组合事件的事件特征。
102、将注册信息发送至操作系统，以使操作系统根据该注册信息对用户触发的交互事件进行处理。
首先说明下本发明实施例中涉及到的组合事件的概念，所谓组合事件，是指由多种交互事件组合而成的事件。
其中，该多种交互事件的组合可以体现为该多种交互事件的直接叠加，也可以体现为是该多种交互事件基于一定组合条件的叠加。
基于此，可选地，对于一个组合事件来说，该组合事件的事件特征可以包括：组成该组合事件的多个交互事件。其中，该多个交互事件对应于不同的交互方式。
可选地，该组合事件的事件特征还可以包括：组成该组合事件的多个交互事件，以及，这多个交互事件在该组合事件中的触发条件。其中，该触发条件包括触发时序和/或触发延迟。其中，该多个交互事件对应于不同的交互方式。
其中，触发时序是指多个交互事件的被触发的先后次序，触发时延是指后触发的交互事件与先触发的交互事件在触发时间上的时间差。
再说明下本发明实施例中涉及到的响应对象，该响应对象是指响应用户触发的交互事件比如组合事件的对象，比如可以是应用程序(Application)、页面(page)、云端的某个服务，等等。
以响应对象为某应用程序为例，为使得该应用程序能够支持基于组合事件的交互模式，开发者可以针对应用程序注册多种组合事件。在注册组合事件的过程中，开发者可以输入构成该组合事件的多个交互事件以及多个交互事件对应的触发条件，除此之外，开发者还会设置与该组合事件对应的响应处理逻辑即回调函数，以便在该组合事件被触发时，该应用程序调用该回调函数对该组合事件进行响应。开发者在应用程序中完成组合事件的注册时，应用程序可以生成该组合事件的注册信息，并将生成的注册信息发送至操作系统。其中，该注册信息中会包含开发者写入的多个交互事件、多个交互事件对应的触发条件以及该应用程序的标识，以便操作系统在确定用户触发了该组合事件后，根据该应用程序的标识向该应用程序发送该组合事件被触发的通知。
可选地，步骤101的执行时机除了上述举例的基于开发者的注册操作外，还可以是在响应对象比如某应用程序被安装时，在安装成功时，从安装包中确定上述注册信息，将注册信息提供给操作系统。
另外，值得说明的是，本实施例中，组合事件中包含的多个交互事件对应于不同的交互方式，并非限定N个交互事件必须对应于N种交互方式，而是强调多个交互事件并非仅对应于一种交互方式。
一般地，考虑大多的交互场景的实际需求以及用户的操作便利性，一个组合事件中可以设置两个交互事件，这两个交互事件分别对应于不同的交互方式，比如触控交互方式和语音交互方式。当然，在一些实际场景中，一个组合事件中也可以设置比如三个交互事件。
以如下一个实际场景为例：比如以响应对象为导航应用程序为例，假设用户可以在导航应用程序当前显示的电子地图界面中点击某地址，说出“我要去这里”，则该导航应用程序便会以用户手指点击处的地址为目的地，规划从当前位置到该目的地的导航路径并呈现给用户。
为支持该场景，开发者可以定义一个组合事件，该组合事件中包含对应于触控交互方式的触控交互事件以及对应于语音交互方式的语音交互事件以及这两个交互事件对应的触发条件。
其中，该触控交互事件的定义中会包含触控交互方式标识比如touch、触控行为、触控区域范围等参数，其中，触控行为比如开发者设定的长按、双击等操作，意味着用户只有通过长按、双击操作才可能触发该触控交互事件；触控区域范围是指用户能够在界面中触发该触控交互事件的区域范围。
其中，该语音交互事件的定义中会包含语音交互方式标识比如voice、语音内容等参数，其中，语音内容意味着用户只有说出该语音内容或该语音内容的近义词通才可能触发该语音交互事件。
其中，组合事件的事件特征中描述了触控交互事件和语音交互事件的触发时序、触发时延等方面的触发条件。比如触控交互事件中的触控行为为长按操作，开发者设定在触发长按操作即点击到界面上某位置后开始的一定时长内，语音交互事件须执行完毕即包括用户说出语音内容、操作系统识别语音内容、判定语音交互事件成功触发的过程需要在该时长内执行完毕，此时，该组合事件对应的触发时序为：先触发触控交互事件，再触发语音交互事件，触发时延为：语音交互事件需要在触控交互事件触发后的一定时长内被成功触发。
操作系统接收到组合事件的注册信息后保存该注册信息，基于对该组合事件的注册信息的保存，操作系统得知了哪个应用程序注册了什么组合事件，该组合事件的具体组成情况如何这些信息。基于这些信息操作系统可以对用户触发的组合事件进行响应处理，即可以识别出用户触发的交互行为是否对应于已经注册的某个组合事件，以及在确定对应于某个组合事件时，向相应的响应对象发送通知。
本实施例中，基于响应对象上注册的组合事件，用户可以同时通过不同交互方式触发不同的交互事件来触发组合事件从而实现本次交互的目的，提高了用户操作便利性，也扩展了人机交互模式。
图2为本发明实施例提供的另一种交互方法的流程图，该交互方法可以由某设备中的操作系统来执行，该设备比如可以是机载设备。如图2所示，该方法可以包括如下步骤：
201、接收多个交互事件，多个交互事件对应于不同的交互方式。
实际应用中，为支持用户可以通过多种交互方式进行人机交互的需求，操作系统中会提供多种交互组件，比如视图交互组件、语音交互组件，等等。操作系统可以通过多模态交互引擎来接收用户触发的各种交互方式的交互事件，其中，多模态即意味着多种交互方式。该多模态交互引擎中可以提供对应于不同交互组件的信号传递接口，用以接收不同交互组件监听到的交互事件。
比如，仍以图1所示实施例中的导航场景为例，假设用户在界面中的某位置出触发了长按操作，视图交互组件监听到该长按操作，则多模态交互引擎会通过视图交互组件对应的信号传递接口接收到该长按操作，并且可以得知该长按操作被触发的时间、用户在界面上点击的位置。同样地，用户说出“我要去这里”触发了上述语音交互事件时，多模态交互引擎会通过语音交互组件对应的信号传递接口接收到该语音交互事件，并且可以得知该语音交互事件被触发的时间，甚至触发用户是谁等信息。
上述步骤201中的多个交互事件可以是同时触发的，也可以是在较短时间内依次触发的。
202、从已提供的组合事件中确定事件特征与多个交互事件的事件特征相匹配的目标组合事件。
基于前述实施例可知，操作系统接收到各响应对象发送的各组合事件的注册信息后，可以本地保存接收到的各组合事件的注册信息。当然，也可以将该注册信息存储在服务端，在接收到上述多个交互事件时，从服务端查询各组合事件的注册信息。本实施例中，将本地保存的或者从服务端查询的组合事件的注册信息统称为已提供的组合事件的注册信息。
由于每个组合事件的注册信息中都包含有对应的响应对象的标识和组合事件的事件特征，因此，操作系统接收到多个交互事件后，可以根据已提供的各组合事件的事件特征，从已提供的各组合事件中确定是否存在事件特征与用户触发该多个交互事件的事件特征相匹配的目标组合事件。
具体地，对于已经注册的任一组合事件来说，当该组合事件的事件特征包括：组成组合事件的M个交互事件，以及，M个交互事件在组合事件中的触发时序和触发延迟时，M大于1，此时，如果当前用户触发的多个交互事件与该M个交互事件相同，并且，用户触发多个交互事件的触发时序与M个交互事件的触发时序相同，并且，用户先后触发多个交互事件的触发时延符合M个交互事件的触发时延要求时序，则认为该组合事件是与该多个交互事件匹配的目标组合事件。
203、向目标组合事件对应的响应对象发送通知，以使响应对象对目标组合事件进行响应。
当操作系统确定出与用户触发的多个交互事件对应的目标组合事件时，根据该目标组合事件对应的响应对象的标识得知响应对象。
实际应用中，不能排除不同的响应对象注册有相同的组合事件的情况，比如某导航应用程序中可能注册有上述导航场景中举例的由触控交互事件和语音交互事件构成的组合事件，某购物应用程序中也可能注册有该组合事件。
此时，可选地，若存在多个注册有目标组合事件的响应对象，则根据多个响应对象的运行状态，从多个响应对象中选择出目标响应对象，向目标响应对象发送事件触发通知。
比如，根据导航应用程序和购物应用程序的运行状态，发现用户当前正在使用的是导航应用程序(导航应用程序比购物应用程序更晚地占用屏幕窗口)，则确定导航应用程序为目标响应对象。
在本发明实施例中，在一次人机交互过程中用户可以采用多种交互方式来表达本次交互意图，亦即用户触发的多种交互事件融合而成反映用户交互意图的交互命令，比如在上述导航场景中通过触发上述触控交互事件和语音交互事件来输出导航命令。从而，响应对象可以对用户同时通过不同交互方式触发的交互事件所构成的组合事件进行响应，亦即用户可以同时通过不同交互方式触发不同的交互事件来实现本次交互的目的，提高了用户操作便利性，也扩展了人机交互模式。
图3为本发明实施例提供的又一种交互方法的流程图，如图3所示，该方法可以包括如下步骤：
301、接收目标组合事件的注册信息，注册信息中包括响应对象的标识和目标组合事件的事件特征。
可选地，该目标组合事件的事件特征包括：组成目标组合事件的多个交互事件，以及，该多个交互事件在目标组合事件中的触发条件。其中，该触发条件可以包括触发时序和/或触发延迟。
302、创建目标组合事件对应的代理实例，代理实例中存储有响应对象的标识。
303、创建目标组合事件对应的二叉决策图，二叉决策图存储有目标组合事件的事件特征。
本实施例中，操作系统接收到某响应对象发送的目标组合事件的注册信息后，保存该注册信息。
其中，在保存注册信息的过程中，可选地，可以创建目标组合事件对应的代理实例和二叉决策图(Binary Decision Diagram，简称BDD)。其中，该代理实例与该二叉决策图对应。
另外，可选地，也可以将目标组合事件中包含的多个交互事件注册到该多个交互事件各自对应的交互组件中。
其中，操作系统中代理实例的创建，可以使得响应对象不用一直监听交互事件是否发生，简化了响应对象的处理逻辑。
其中，二叉决策图(Binary Decision Diagram，简称BDD)由节点和节点之间的有向边组成。本实施例中，通过BDD以图的形式来存储组合事件。
从而，创建目标组合事件对应的二叉决策图，可以实现为：
确定目标组合事件中包含的多个交互事件作为二叉决策图中的多个节点；
根据该多个交互事件在目标组合事件中的触发条件比如触发时序和触发延迟，确定多个节点之间的有向边。
具体地，相邻节点之间的有向边的箭头方向表示了该相邻节点对应的两个交互事件的触发时序，可以将这两个交互事件之间的触发延迟标注在该有向边上。
以该多个交互事件包括某触控交互事件和某语音交互事件，事件特征为触控交互事件优先于语音交互事件而触发，以及在触控交互事件触发后的2毫秒内语音交互事件须触发，则对应的BDD中包括对应于触控交互事件的节点A和对应于语音交互事件的节点B，节点A指向节点B，节点A指向节点B的有向边上关联有小于或等于2毫秒的条件。
可选地，在保存注册信息的过程中，还可以仅创建目标组合事件对应的代理实例，该代理实例中存储有该目标组合事件的注册信息，即可以对应存储该目标组合事件的事件特征以及响应对象的标识。
304、接收多个交互事件。
305、在已提供的组合事件分别对应的二叉决策图中寻找以所述多个交互事件作为节点，且节点之间的有向边与所述多个交互事件的触发条件相匹配的二叉决策图，确定寻找到的二叉决策图所对应的组合事件作为目标组合事件。
306、确定与寻找到的二叉决策图对应的代理实例，以通过该代理实例向响应对象发送通知。
基于BDD的建立结果，操作系统可以先在已经建立的各BDD中找寻与接收到的多个交互事件对应的目标BDD，进而在找到目标BDD后，根据BDD与代理实例的对应关系，确定对应的目标代理实例，通过该目标代理实例向该响应对象发送与该目标组合事件对应的通知。
下面，为了更加方便理解本发明实施例中组合事件的注册过程以及操作系统对组合事件的识别、响应处理过程，结合图4所示的操作系统的工作原理示意图来进行说明。值得说明的是，图4中示意的各组成单元仅为逻辑上的一种可选拆分方式，不以此限定。
如图4所示，操作系统从逻辑上可以划分为多模态框架和多模态交互引擎。其中，多模态即为多种交互方式，一种交互方式可以称为是一种模态。
多模态框架从逻辑上由可以拆分为协调调度器(InteractionManager)以及多种交互组件，比如图中示意的视图交互组件(GUIModality)，语音交互组件(VoiceModality)，以及其他类型的交互组件，比如手势交互组件、人脸识别组件，等等。
其中，多种交互组件，用于接收多个交互事件，多个交互事件对应于不同的交互组件。
多模态交互引擎，用于响应于从多种交互组件接收的多个交互事件，从已提供的组合事件中确定事件特征与多个交互事件的事件特征相匹配的目标组合事件，向目标组合事件对应的响应对象发送通知，以使响应对象对目标组合事件进行响应。
多模态交互引擎是一个以Agent Instance(代理实例)为逻辑单元，基于信号感知的交互计算框架和引擎。多模态交互引擎负责监听各交互事件的触发信号，基于开发者定义的多个交互事件的组合规则亦即组合事件的事件特征，判断多个交互事件发生的条件是否符合某个组合事件的事件特征，在判断出符合某个目标组合事件的事件特征后，将目标组合事件被触发的通知发送至对应的响应对象，比如某个应用程序，以此达到赋能上层应用程序感知多模态的组合事件的目的。
图4中，以响应对象为某应用程序为例，应用程序可以基于上述操作系统的组成架构，调用协调调度器提供的API，定义组合事件，并配置组合事件的监听函数，该监听函数的意思是当组合事件被触发时，应用程序需调用某个回调函数也对该组合事件进行业务逻辑上的响应。
举例来说，假设应用程序定义的组合事件的名称为：touch-then-voice-to-navi，其中包含了两个交互事件，分别为对应于触控交互方式(touch)也可以称为视图交互方式的触控交互事件，以及对应于语音交互方式(voice)的语音交互事件。其中，触控交互事件中可以包括触控行为、触控区域范围等参数，语音交互事件中可以包括语音内容、语音内容对应的用户意图等参数。另外，该组合事件中还定义了该组合事件的事件特征：触控交互事件先于语音交互事件而触发，但是语音交互事件需要在触控交互事件开始触发的2毫秒内触发完毕。
基于上述组合事件的定义，应用程序通过协调调度器的API将包含该组合事件以及应用程序的标识的注册信息发送至协调调度器。协调调度器一方面可以对应存储应用程序的标识和组合事件的标识即存储该应用程序的标识与目标组合事件之间的对应关系，另一方面可以将该注册信息传递给多模态交互引擎，再一方面，协调调度器还可以将组合事件中包含的各交互事件传递至对应的交互组件，以便各交互组件得知自己需要监听哪些交互事件是否发生。
可选地，多模态交互引擎可以根据接收的注册信息创建与目标组合事件对应的代理实例和二叉决策图，代理实例中存储有该目标组合事件对应的响应对象即上述应用程序的标识，二叉决策图反映了目标组合事件的事件特征。
因此，多模态交互引擎中至少包括：根据接收的注册信息创建的与目标组合事件对应的代理实例和二叉决策图。
可选地，多模态交互引擎还可以根据接收的注册信息创建与目标组合事件对应的代理实例。此时，多模态交互引擎中至少包括：根据接收的注册信息创建的与目标组合事件对应的代理实例，该代理实例中存储有目标组合事件的注册信息。
在通过上述过程完成组合事件的注册后，各交互组件可以通过通用的事件监听接口对交互事件进行监听，一旦监听到有交互事件发生时，会将交互事件按照预设的格式调用与多模态交互引擎之间的信号传递接口传递给多模态交互引擎。多模态交互引擎会为每个交互组件提供一个信号传递接口(signalprovider)，比如为视图交互组件提供触控信号传递接口(touch signalprovider)，为语音交互组件提供语音信号传递接口(voicesignalprovider)。从而，视图交互组件会传递触控交互事件给触控信号传递接口，语音交互组件会传递语音交互事件给语音信号传递接口。
在以BDD存储各组合事件的事件特征的情况下，多模态交互引擎接收到触控交互事件和语音交互事件后，可以遍历已经建立的各BDD，从中找到与接收到的多个交互事件的事件特征相匹配的目标BDD，进而定位到与目标BDD对应的目标代理实例，由于该目标代理实例中存储有目标组合事件所对应的应用程序标识，从而定位出目标应用程序，可以通过协调调度器向目标应用程序发送该目标组合事件被触发的事件触发通知。
以下将详细描述本发明的一个或多个实施例的交互装置。本领域技术人员可以理解，这些交互装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图5为本发明实施例提供的一种交互装置的结构示意图，如图5所示，该装置包括：确定模块11、发送模块12。
确定模块11，用于确定组合事件的注册信息，所述注册信息中包括所述组合事件对应的响应对象的标识以及所述组合事件的事件特征。
发送模块12，用于将所述注册信息发送至操作系统，以使所述操作系统根据所述注册信息对用户触发的交互事件进行处理。
图5所示装置可以执行图1所示实施例的方法，本实施例未详细描述的部分，可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1所示实施例中的描述，在此不再赘述。
在一个可能的设计中，图5所示交互装置的结构可实现为一电子设备，如图6所示，该电子设备可以包括：第一处理器21、第一存储器22。其中，所述第一存储器22上存储有可执行代码，当所述可执行代码被所述第一处理器21执行时，使所述第一处理器21执行如前述图1所示实施例中提供的交互方法。
另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如图1所示实施例中的交互方法。
图7为本发明实施例提供的另一种交互装置的结构示意图，如图7所示，该装置包括：接收模块31、确定模块32、发送模块33。
接收模块31，用于接收多个交互事件，所述多个交互事件对应于不同的交互方式。
确定模块32，用于从已提供的组合事件中确定事件特征与所述多个交互事件的事件特征相匹配的目标组合事件。
发送模块33，用于向所述目标组合事件对应的响应对象发送通知，以使所述响应对象对所述目标组合事件进行响应。
可选地，所述装置还包括：选择模块，用于若存在多个与所述目标组合事件对应的响应对象，则根据所述多个响应对象的运行状态，从所述多个响应对象中选择出目标响应对象。从而，所述发送模块33具体用于：向所述目标响应对象发送所述通知。
可选地，所述接收模块31还可以用于：接收所述目标组合事件的注册信息，所述注册信息中包括所述响应对象的标识和所述目标组合事件的事件特征。
所述装置还包括：存储模块，用于保存所述注册信息。
可选地，所述存储模块可以用于：创建所述目标组合事件对应的代理实例，所述代理实例中存储有所述响应对象的标识；创建所述目标组合事件对应的二叉决策图，所述二叉决策图存储有所述目标组合事件的事件特征。
可选地，所述存储模块可以用于：创建所述目标组合事件对应的代理实例，所述代理实例中存储有所述注册信息。
可选地，所述目标组合事件的事件特征包括：组成所述目标组合事件的所述多个交互事件，以及，所述多个交互事件在所述目标组合事件中的触发条件，所述触发条件包括触发时序和/或触发延迟。
可选地，所述存储模块可以用于：确定所述多个交互事件作为所述二叉决策图中的多个节点；根据所述多个交互事件在所述目标组合事件中的触发条件，确定所述多个节点之间的有向边。
可选地，所述确定模块32可以用于：在已注册的组合事件分别对应的二叉决策图中寻找以所述多个交互事件作为节点，且节点之间的有向边与所述多个交互事件的触发条件相匹配的二叉决策图；确定寻找到的二叉决策图所对应的组合事件作为所述目标组合事件。
可选地，所述发送模块33可以用于：确定与所述寻找到的二叉决策图对应的代理实例，以通过所述代理实例向所述响应对象发送所述通知。
图7所示装置可以执行图2-图3所示实施例的方法，本实施例未详细描述的部分，可参考对图2-图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2-图3所示实施例中的描述，在此不再赘述。
在一个可能的设计中，图7所示交互装置的结构可实现为一电子设备，如图8所示，该电子设备可以包括：第二处理器41、第二存储器42。其中，所述第二存储器42上存储有可执行代码，当所述可执行代码被所述第二处理器41执行时，使所述第二处理器41执行如图2-图3所示实施例中提供的交互方法。
另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如图2-图3所示方法实施例中的交互方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程人机交互设备的处理器以产生一个机器，使得通过计算机或其他可编程人机交互设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程人机交互设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程人机交互设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (19)

1.一种交互方法，其特征在于，包括：
接收多个交互事件，所述多个交互事件对应于不同的交互方式；
从已提供的组合事件中确定事件特征与所述多个交互事件的事件特征相匹配的目标组合事件；
向所述目标组合事件对应的响应对象发送通知，以使所述响应对象对所述目标组合事件进行响应。
2.根据权利要求1所述的方法，其特征在于，所述目标组合事件的事件特征包括：组成所述目标组合事件的多个交互事件，以及，所述多个交互事件在所述目标组合事件中的触发条件，所述触发条件包括触发时序和/或触发延迟。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
接收所述目标组合事件的注册信息，所述注册信息中包括所述响应对象的标识和所述目标组合事件的事件特征；
保存所述注册信息。
4.根据权利要求3所述的方法，其特征在于，所述保存所述注册信息，包括：
创建所述目标组合事件对应的代理实例，所述代理实例中存储有所述注册信息。
5.根据权利要求3所述的方法，其特征在于，所述保存所述注册信息，包括：
创建所述目标组合事件对应的代理实例，所述代理实例中存储有所述响应对象的标识；
创建所述目标组合事件对应的二叉决策图，所述二叉决策图中存储有所述目标组合事件的事件特征。
6.根据权利要求5所述的方法，其特征在于，所述创建所述目标组合事件对应的二叉决策图，包括：
确定所述多个交互事件作为所述二叉决策图中的多个节点；
根据所述多个交互事件在所述目标组合事件中的触发条件，确定所述多个节点之间的有向边。
7.根据权利要求6所述的方法，其特征在于，所述从已提供的组合事件中确定事件特征与所述多个交互事件的事件特征相匹配的目标组合事件，包括：
在已提供的组合事件分别对应的二叉决策图中寻找以所述多个交互事件作为节点，且节点之间的有向边与所述多个交互事件的触发条件相匹配的二叉决策图；
确定寻找到的二叉决策图所对应的组合事件作为所述目标组合事件。
8.根据权利要求7所述的方法，其特征在于，所述向所述目标组合事件对应的响应对象发送通知，包括：
确定与所述寻找到的二叉决策图对应的代理实例，以通过所述代理实例向所述响应对象发送所述通知。
9.根据权利要求1所述的方法，其特征在于，所述向所述目标组合事件对应的响应对象发送通知，包括：
若存在多个与所述目标组合事件对应的响应对象，则根据所述多个响应对象的运行状态，从所述多个响应对象中选择出目标响应对象；
向所述目标响应对象发送所述通知。
10.一种交互方法，其特征在于，包括：
确定组合事件的注册信息，所述注册信息中包括所述组合事件对应的响应对象的标识以及所述组合事件的事件特征；
将所述注册信息发送至操作系统，以使所述操作系统根据所述注册信息对用户触发的交互事件进行处理。
11.根据权利要求10所述的方法，其特征在于，所述事件特征包括：组成所述组合事件的多个交互事件，以及，所述多个交互事件在所述组合事件中的触发条件，所述触发条件包括触发时序和/或触发延迟，所述多个交互事件对应于不同的交互方式。
12.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至9中任一项所述的交互方法。
13.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求10或11所述的交互方法。
14.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至9中任一项所述的交互方法。
15.一种操作系统，其特征在于，包括：
多模态框架和多模态交互引擎；其中，所述多模态框架中包括多种交互组件；
所述多种交互组件，用于接收多个交互事件，所述多个交互事件对应于不同的交互组件；
所述多模态交互引擎，用于响应于从所述多种交互组件接收的所述多个交互事件，从已提供的组合事件中确定事件特征与所述多个交互事件的事件特征相匹配的目标组合事件，向所述目标组合事件对应的响应对象发送通知，以使所述响应对象对所述目标组合事件进行响应。
16.根据权利要求15所述的操作系统，其特征在于，所述多模态框架中还包括：协调调度器，用于接收所述响应对象发送的所述目标组合事件的注册信息，所述注册信息中包括所述响应对象的标识和所述目标组合事件的事件特征；存储所述响应对象标识与所述目标组合事件之间的对应关系，将所述注册信息发送至所述多模态交互引擎。
17.根据权利要求16所述的操作系统，其特征在于，所述多模态交互引擎中至少包括：根据接收的所述注册信息创建的与所述目标组合事件对应的代理实例，所述代理实例中存储有所述注册信息。
18.根据权利要求16所述的操作系统，其特征在于，所述多模态交互引擎中至少包括：根据接收的所述注册信息创建的与所述目标组合事件对应的代理实例和二叉决策图，所述代理实例中存储有所述响应对象的标识，所述二叉决策图反映了所述目标组合事件的事件特征。
19.根据权利要求18所述的操作系统，其特征在于，所述多模态交互引擎，用于在已创建的二叉决策图中寻找与所述多个交互事件的事件特征相匹配的二叉决策图，确定与所述寻找到的二叉决策图对应的代理实例，以通过所述代理实例向所述响应对象发送所述通知。
CN201810995597.6A 2018-08-29 2018-08-29 交互方法、设备、存储介质和操作系统 Active CN110874200B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810995597.6A CN110874200B (zh) 2018-08-29 2018-08-29 交互方法、设备、存储介质和操作系统
TW108123440A TW202032326A (zh) 2018-08-29 2019-07-03 互動方法、設備、儲存媒體和操作系統
PCT/CN2019/102483 WO2020043038A1 (zh) 2018-08-29 2019-08-26 交互方法、设备、存储介质和操作系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810995597.6A CN110874200B (zh) 2018-08-29 2018-08-29 交互方法、设备、存储介质和操作系统

Publications (2)

Publication Number Publication Date
CN110874200A true CN110874200A (zh) 2020-03-10
CN110874200B CN110874200B (zh) 2023-05-26

Family

ID=69643917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810995597.6A Active CN110874200B (zh) 2018-08-29 2018-08-29 交互方法、设备、存储介质和操作系统

Country Status (3)

Country Link
CN (1) CN110874200B (zh)
TW (1) TW202032326A (zh)
WO (1) WO2020043038A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581827A (zh) * 2020-05-09 2020-08-25 中国人民解放军海军航空大学 一种面向分布式仿真的事件交互方法及系统
CN114489441A (zh) * 2022-01-21 2022-05-13 珠海格力电器股份有限公司 食谱展示方法、装置、电子设备及存储介质
CN115220922A (zh) * 2022-02-24 2022-10-21 广州汽车集团股份有限公司 车辆应用程序运行方法、装置以及车辆
CN115473934A (zh) * 2022-08-04 2022-12-13 广州市明道文化产业发展有限公司 基于事件触发的多角色去中心化文旅信息推送方法及装置
CN117215682A (zh) * 2023-07-27 2023-12-12 北京小米机器人技术有限公司 交互事件执行方法及装置、电子设备、存储介质
CN115473934B (zh) * 2022-08-04 2024-06-25 广州市明道文化产业发展有限公司 基于事件触发的多角色去中心化文旅信息推送方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113742807B (zh) * 2021-09-07 2024-05-14 广联达科技股份有限公司 交互处理方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030220901A1 (en) * 2002-05-21 2003-11-27 Hewlett-Packard Development Company Interaction manager
US8078642B1 (en) * 2009-07-24 2011-12-13 Yahoo! Inc. Concurrent traversal of multiple binary trees
CN102571475A (zh) * 2010-12-27 2012-07-11 中国银联股份有限公司 基于数据分析的安全性信息交互监测系统及方法
WO2017007604A1 (en) * 2015-07-08 2017-01-12 Baidu Usa Llc Routing data and connecting users based on interactions with machine-readable code of content data
CN106569613A (zh) * 2016-11-14 2017-04-19 中国电子科技集团公司第二十八研究所 一种多模态人机交互系统及其控制方法
CN106603707A (zh) * 2016-12-29 2017-04-26 腾讯科技（深圳）有限公司 一种数据处理方法、终端及服务器
CN107632876A (zh) * 2017-10-12 2018-01-26 北京元心科技有限公司 双系统中操作事件的处理方法、装置及终端设备
CN108279839A (zh) * 2017-01-05 2018-07-13 阿里巴巴集团控股有限公司 基于语音的交互方法、装置、电子设备及操作系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2826390A1 (en) * 2011-02-08 2012-08-16 Haworth, Inc. Multimodal touchscreen interaction apparatuses, methods and systems
US9152376B2 (en) * 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
CN105690385B (zh) * 2016-03-18 2019-04-26 北京光年无限科技有限公司 基于智能机器人的应用调用方法与装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030220901A1 (en) * 2002-05-21 2003-11-27 Hewlett-Packard Development Company Interaction manager
US8078642B1 (en) * 2009-07-24 2011-12-13 Yahoo! Inc. Concurrent traversal of multiple binary trees
CN102571475A (zh) * 2010-12-27 2012-07-11 中国银联股份有限公司 基于数据分析的安全性信息交互监测系统及方法
WO2017007604A1 (en) * 2015-07-08 2017-01-12 Baidu Usa Llc Routing data and connecting users based on interactions with machine-readable code of content data
CN106569613A (zh) * 2016-11-14 2017-04-19 中国电子科技集团公司第二十八研究所 一种多模态人机交互系统及其控制方法
CN106603707A (zh) * 2016-12-29 2017-04-26 腾讯科技（深圳）有限公司 一种数据处理方法、终端及服务器
CN108279839A (zh) * 2017-01-05 2018-07-13 阿里巴巴集团控股有限公司 基于语音的交互方法、装置、电子设备及操作系统
CN107632876A (zh) * 2017-10-12 2018-01-26 北京元心科技有限公司 双系统中操作事件的处理方法、装置及终端设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
MOHAMMAD F.J. KLAIB等: "3-way Interaction Testing Using the Tree Strategy", 《PROCEDIA COMPUTER SCIENCE》 *
乔秀全;章洋;吴步丹;程渤;赵帅;马华东;陈俊亮;: "事件驱动、面向服务的物联网服务提供方法", 中国科学:信息科学 *
刘福君;许启兴;王玉森;李华;李国华;: "基于扩展故障树的故障诊断系统", 控制工程 *
李明;刘士仪;年福忠;: "基于时序描述逻辑的Web服务本体语言过程模型语义", 计算机应用 *
闫培洁;于子凡;王勇军;: "基于遥感影像光谱信息的二叉决策分类树自动生成方法研究", 测绘科学 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581827A (zh) * 2020-05-09 2020-08-25 中国人民解放军海军航空大学 一种面向分布式仿真的事件交互方法及系统
CN111581827B (zh) * 2020-05-09 2023-04-21 中国人民解放军海军航空大学 一种面向分布式仿真的事件交互方法及系统
CN114489441A (zh) * 2022-01-21 2022-05-13 珠海格力电器股份有限公司 食谱展示方法、装置、电子设备及存储介质
CN115220922A (zh) * 2022-02-24 2022-10-21 广州汽车集团股份有限公司 车辆应用程序运行方法、装置以及车辆
CN115473934A (zh) * 2022-08-04 2022-12-13 广州市明道文化产业发展有限公司 基于事件触发的多角色去中心化文旅信息推送方法及装置
CN115473934B (zh) * 2022-08-04 2024-06-25 广州市明道文化产业发展有限公司 基于事件触发的多角色去中心化文旅信息推送方法及装置
CN117215682A (zh) * 2023-07-27 2023-12-12 北京小米机器人技术有限公司 交互事件执行方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
WO2020043038A1 (zh) 2020-03-05
CN110874200B (zh) 2023-05-26
TW202032326A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN110874200B (zh) 交互方法、设备、存储介质和操作系统
US11080016B2 (en) Speech-based interaction with a display window
US20170324859A1 (en) Information processing method, terminal, and computer-readable storage medium
TW201635134A (zh) 一種語音控制方法及裝置
CN108427731B (zh) 页面代码的处理方法、装置、终端设备及介质
US10620821B2 (en) Page sliding method and apparatus
CN112486451B (zh) 语音播报方法、计算设备及计算机存储介质
US20170010673A1 (en) Gesture based sharing of user interface portion
US20150022482A1 (en) Multi-touch management for touch screen displays
CN112286485B (zh) 通过语音控制应用的方法、装置、电子设备与存储介质
US20180366113A1 (en) Robust replay of digital assistant operations
US10394358B2 (en) Method, apparatus and computer-readable media for touch and speech interface
US20200234008A1 (en) Information processing method and device
CN112652302A (zh) 语音控制方法、装置、终端及存储介质
CN109857537B (zh) 后台服务启动方法、装置、介质及电子设备
CN110874176B (zh) 交互方法、存储介质、操作系统和设备
CN108920211A (zh) Launcher应用程序的启动方法及装置、电子设备、存储介质
US10958726B2 (en) Method of synchronizing device list in a smart network system, apparatus, and computer storage medium thereof
CN112258295A (zh) 记录处理方法、装置及设备
KR101917325B1 (ko) 리시버 스테이트를 이용한 챗봇 대화 관리 장치, 방법 및 컴퓨터 판독가능 저장매체
CN107818002B (zh) 一种命令行界面的管理方法及装置
US11677832B2 (en) Voice activated device enabling
CN111242731B (zh) 一种业务执行的方法及装置
CN109739664B (zh) 信息处理方法、装置、电子设备和介质
CN110515743B (zh) 写事件通知方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201221

Address after: Room 603, 6 / F, Roche Plaza, 788 Cheung Sha Wan Road, Kowloon, China

Applicant after: Zebra smart travel network (Hong Kong) Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

GR01 Patent grant
GR01 Patent grant