CN109814726A - 一种执行智能交互处理模块的方法与设备 - Google Patents
一种执行智能交互处理模块的方法与设备 Download PDFInfo
- Publication number
- CN109814726A CN109814726A CN201910152208.8A CN201910152208A CN109814726A CN 109814726 A CN109814726 A CN 109814726A CN 201910152208 A CN201910152208 A CN 201910152208A CN 109814726 A CN109814726 A CN 109814726A
- Authority
- CN
- China
- Prior art keywords
- state
- bed
- intelligent interaction
- alternation
- processing module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本申请的目的是提供一种执行智能交互处理模块的方法，包括：利用分层状态机对多个智能交互处理模块进行分层处理得到智能交互模型，其中，所述智能交互模型包括多个第一状态交互层和多个第二状态交互层，每个第一状态交互层内部包含一个或多个第二状态交互层，每个第二状态交互层包括至少一个智能交互处理模块；获取待处理数据，将所述待处理数据传输至所述智能交互模型；基于所述智能交互模型当前的交互状态信息，从所述多个智能交互处理模块中确定对应的一个或多个待执行处理模块；根据所述待处理数据执行所述一个或多个待执行处理模块得到对应的处理结果信息。本申请调用处理模块灵活多变，保持稳定性同时，满足精度、系统开销及时效的要求。
Description
技术领域
本申请涉及通信领域，尤其涉及一种执行智能交互处理模块的技术。
背景技术
在计算机视觉的科研工作中，研究者们都是研发的一个个单独的处理模块，每个处理模块就单一的问题进行处理，比如跟踪处理模块、物体检测处理模块等。但是在实际工程应用中，要形成产品，面向终端用户，单一的计算机处理模块往往不能满足产品需求。因此，人们需要解决如何同时运行多个智能交互处理模块，并最大限度地发挥处理模块的特性，来满足产品需求。与此同时，系统在不能有过多的计算性能开销的前提下，仍然必须保持鲁棒性、稳定性。
现有的顶层整合方法大致分为两大类，一种是线性整合，另一种是多模块并行。在线性整合模式中，各个处理模块的调用顺序是呈现为线性逻辑的，即运行完成了一个底层处理模块之后，接着运行另一个底层处理模块，当所有的模块均运行完成以后，综合统计所有的底层处理模块输出结果，给出操作指令、系统反馈等。线性整合方法虽然可以控制系统消耗，但会导致整个系统的时效性不好，这往往无法满足应用需求中的时效性。与之相对的则是多模块并行模式，这种方法会将所有的模块并行计算，并将所有的底层处理模块的输出结果存入对应的独立的堆栈中，当系统需要反馈的时候，获取栈中最新的数据结果，综合考量之后给出操作指令、系统反馈等。多模块并行模式计算性能的开销非常庞大，而当整个系统对计算性能的要求高于平台的最大计算能力时，该种方法在时效性方面则会出现不可预估的危害。
发明内容
本申请的一个目的是提供一种执行智能交互处理模块的方法与设备。
根据本申请的一个方面，提供了一种执行智能交互处理模块的方法，该方法包括：
利用分层状态机对多个智能交互处理模块进行分层处理得到智能交互模型，其中，所述智能交互模型包括多个第一状态交互层和多个第二状态交互层，每个第一状态交互层内部包含一个或多个第二状态交互层，每个第二状态交互层包括至少一个智能交互处理模块；
获取待处理数据，将所述待处理数据传输至所述智能交互模型；
基于所述智能交互模型当前的交互状态信息，从所述多个智能交互处理模块中确定对应的一个或多个待执行处理模块，其中，所述交互状态信息包括所述多个第一状态交互层及所述多个第二状态交互层，中之一对应状态信息；
根据所述待处理数据执行所述一个或多个待执行处理模块得到对应的处理结果信息。
根据本申请的一个方面，提供了一种执行智能交互处理模块的设备，其中，该设备包括：
一一模块，用于利用分层状态机对多个智能交互处理模块进行分层处理得到智能交互模型，其中，所述智能交互模型包括多个第一状态交互层和多个第二状态交互层，每个第一状态交互层内部包含一个或多个第二状态交互层，每个第二状态交互层包括至少一个智能交互处理模块；
一二模块，用于获取待处理数据，将所述待处理数据传输至所述智能交互模型；
一三模块，用于基于所述智能交互模型当前的交互状态信息，从所述多个智能交互处理模块中确定对应的一个或多个待执行处理模块，其中，所述交互状态信息包括所述多个第一状态交互层及所述多个第二状态交互层，中之一对应状态信息；
一四模块，用于根据所述待处理数据执行所述一个或多个待执行处理模块得到对应的处理结果信息。
根据本申请的一个方面，提供了一种执行智能交互处理模块的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上所述任一项所述方法的操作。
根据本申请的一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如上所述任一项所述方法的操作。
与现有技术相比，本申请利用分层状态机，根据状态机不同的状态，确定对应的一个或多个待执行处理模块(底层处理模块)，并结合该一个或多个待执行处理模块的处理结果综合得到最终的处理结果信息。本申请调用处理模块的过程灵活多变，使得与业务层的交互更加顺畅，在保持系统稳定性的同时，能够满足精度、系统开销及时效的要求，极大地提升了用户的使用体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种执行智能交互处理模块的方法流程图；
图2示出根据本申请一个实施例的一种执行智能交互处理模块的设备的功能模块；
图3示出可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器(Central Processing Unit，CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change Memory，PCM)、可编程随机存取存储器(Programmable Random Access Memory，PRAM)、静态随机存取存储器(Static Random-Access Memory，SRAM)、动态随机存取存储器(Dynamic Random AccessMemory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如Android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程逻辑器件(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、数字信号处理器(Digital Signal Processor，DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
图1示出了根据本申请的一个方面的一种执行智能交互处理模块的方法，其中，该方法适用于进行人机交互的交互设备(如智能家居、智能音箱、智能电视、智能眼镜、智能手机、电脑等计算设备)，该方法包括步骤S101、步骤S102、步骤S103以及步骤S104。在步骤S101中，交互设备利用分层状态机对多个智能交互处理模块进行分层处理得到智能交互模型，其中，所述智能交互模型包括多个第一状态交互层和多个第二状态交互层，每个第一状态交互层内部包含一个或多个第二状态交互层，每个第二状态交互层包括至少一个智能交互处理模块；在步骤S102中，交互设备获取待处理数据，将所述待处理数据传输至所述智能交互模型；在步骤S103中，交互设备基于所述智能交互模型当前的交互状态信息，从所述多个智能交互处理模块中确定对应的一个或多个待执行处理模块，其中，所述交互状态信息包括所述多个第一状态交互层及所述多个第二状态交互层，中之一对应状态信息；在步骤S104中，交互设备根据所述待处理数据执行所述一个或多个待执行处理模块得到对应的处理结果信息。
具体而言，在步骤S101中，交互设备利用分层状态机对多个智能交互处理模块进行分层处理得到智能交互模型，其中，所述智能交互模型包括多个第一状态交互层和多个第二状态交互层，每个第一状态交互层内部包含一个或多个第二状态交互层，每个第二状态交互层包括至少一个智能交互处理模块。例如，所述分层状态机包括但不限于将同类型的状态作为一个状态机，然后再做一个大的状态机，来维护这些子状态机的整体状态机。又例如，所述分层状态机包括但不限于将状态进行“分类”，得到几个小状态，然后把几个小状态归并到多个高层状态里，然后再定义高层状态之间和高层状态中内部小状态的执行逻辑。所述智能交互处理模块包括但不限于用于进行人体行为交互、语音交互等人机交互的处理模块，如目标识别、目标跟踪、手势识别、语音识别等处理模块。基于任务的处理流程/逻辑，交互设备先基于分层状态机建立或更新一个关于智能交互处理模块的智能交互模型，如先基于智能交互处理模块间的功能进行分类，确定多个第二状态交互层，其中，具有相同功能的底层智能交互处理模块分类至同一个第二状态交互层(如语音识别中的孤立词识别、关键词识别或者连续语音识别等)，每一个第二状态交互层中至少包含一个智能交互处理模块，随后，根据各个功能不同的第二状态交互层基于相互间的联系强弱、交互的处理流程等分别划分成不同的第一交互状态层(如手势跟踪与手轨迹判断等均可以分类成手势识别)。在一些实施方式中，所述智能交互模型还包括多个第三状态交互层，其中，每个第二状态交互层内部包含一个或多个第三状态交互层，每个第三状态交互层包含至少一个智能交互处理模块；以此类推，所述智能交互模型还包括多个第N状态交互层，其中，每个第N-1状态交互层内部包含一个或多个第N状态交互层，每个第N状态交互层包含至少一个智能交互处理模块，其中，N为大于或等于3的正整数。例如，所述智能交互模型还可以包括多个第三状态交互层，该多个第三状态交互层包含于第二状态交互层，且每个第三状态交互层包括至少一个智能交互处理模块；以此类推，所述智能交互模型还可以包括多个第四状态交互层，该多个第四状态交互层包含于对应的第三状态交互层……假设，智能交互模型包含多个第N状态交互层，则每个第N-1状态交互层内部包含一个或多个第N状态交互层，每个第N状态交互层包含至少一个智能交互处理模块，其中，N为大于或等于3的正整数。在此，第N状态交互层包含于其上一状态交互层，即第N-1状态交互层，该智能交互模型根据实际设定需要的1至N层状态交互层满足需求，使得保持智能交互模型高效运算的基础上，使得智能交互模型的设置在一定程度上更加灵活。
在一些实施方式中，所述智能交互处理模块的调用顺序包括但不限于：线性整合串行、多模块并行、基于交互状态信息进行条件选择。例如，智能交互处理模块调用顺序可以是线性整合串行，如执行人体检测处理模块后执行人体精细检测处理模块等；又如，智能交互处理模块调用顺序也可以是并行，如远距离手跟踪处理模块与近距离手跟踪处理模块可以是同时执行；还如，智能交互处理模块调用顺序还可以基于当前状态进行条件选择等，根据当前状态确定所有需要执行的处理模块，然后进行选择，直至所有要执行的处理模块均执行完毕，返回执行结果。如执行手精细判断处理模块后，如果一开始状态确定的所有要执行的处理模块包括手跟踪处理模块，则继续执行手跟踪处理模块，如果执行手精细判断处理模块后，一开始状态确定的所有要执行的处理模块没有手跟踪处理模块，则不进行手跟踪处理模块，执行手精细判断处理模块后返回执行的结果。
在步骤S102中，交互设备获取待处理数据，将所述待处理数据传输至所述智能交互模型。例如，待处理数据包括但不限于用于人机交互的关于用户的文字、语音、图像、视频等多媒体信息。交互设备可以包括摄像装置、语音录入装置、触摸装置等人机交互采集装置，交互设备通过人机交互采集装置采集关于人机交互的待处理数据，并将该待处理数据传输至智能交互模型；又如，交互设备通过与其他设备(如其他摄像装置、语音录入装置、触摸装置等人机交互采集装置或者包含这些人机交互采集装置的其他设备)的通信链接，接收其他设备发送的待处理数据，并将该待处理数据传输至智能交互模型。在此，步骤S102中待处理数据的获取与其他步骤没有必然联系，可以是在步骤S101中，也可以是在步骤S103中或者步骤S104之前，如先确定对应待执行处理模块，随后获取待处理数据，或者先获取待处理数据，再确定对应待执行处理模块等。
在步骤S103中，交互设备基于所述智能交互模型当前的交互状态信息，从所述多个智能交互处理模块中确定对应的一个或多个待执行处理模块，其中，所述交互状态信息包括所述多个第一状态交互层及所述多个第二状态交互层，中之一对应状态信息。例如，交互设备根据智能交互模型当前的交互状态信息，确定多个智能交互处理模型中对应的一个或多个待执行处理模型，如根据交互状态信息(如手跟踪状态)，将手跟踪处理模块确定为待执行处理模块，根据手跟踪处理模块执行结果继续判断交互状态；如果状态是手正在做特殊动作，将手特殊检测处理模块确定为待执行处理模块；如果状态是需要做背景活体检测时，将背景活体检测处理模块确定为待执行处理模块；如果不是，就继续判断交互状态是不是需做人体跟踪，将人体跟踪处理模块确定为待执行处理模块……。基于上述判断逻辑，交互设备依次分别确定手跟踪处理模块、手特殊检测处理模块、背景活体检测处理模块、人体跟踪处理模块等为不同交互状态对应的待执行处理模块。在一些实施方式中，所述智能交互模型还包括初始状态层，所述初始状态层内部包含所述多个第一状态交互层，所述交互状态信息包括所述初始状态层、所述多个第一状态交互层及所述多个第二状态交互层，中之一对应状态信息。例如，交互设备还包括初始状态层，该初始状态层包括初始处理模型，基于该初始处理模型，可以得到初始结果信息，进而判断后续需执行的对应的一个或多个第一状态交互层等。
如在一些实施方式中，所述交互状态信息处于初始状态层对应的初始状态信息；其中，在步骤S103中，交互设备基于所述智能交互模型当前的初始状态信息，从所述多个第一状态交互层中确定一个或多个候选第一状态交互层，并从每个候选第一状态交互层中确定对应的一个或多个候选第二状态交互层，从所述一个或多个候选第二状态交互层对应的智能交互处理模块确定对应的一个或多个待执行处理模块。例如，交互设备基于智能交互模型当前的交互状态信息(如初始状态信息等)，进而执行初始状态对应的处理模块，如判断待处理数据(如关于用户的图像信息等)中是否存在物体在活动等，执行背景活体检测对应的第一状态交互层，并从第一状态交互层中确定后续可执行的第二状态交互层，如关于背景活体检测处理模块、活体大小检测处理模块等对应的第二状态交互层等，从而将背景活体检测处理模块、活体大小检测处理模块等作为待执行处理模块。其中，对于候选第一状态交互层中对应的一个或多个候选第二状态交互层的选择，可以是基于候选第一状态交互层中所有的第二状态交互层进行全选，将该候选第一状态交互层中所有第二状态交互层确定为候选第二状态交互层，也可以从中选择一部分第二状态交互层作为候选第二状态交互层。其中，对于智能交互处理模块的选择，可以是基于候选第二状态交互层中所有的智能交互处理模块进行全选，将该候选第二状态交互层中所有智能交互处理模块确定为待执行处理模块，也可以从中选择一部分(如随机选择，或者根据一定规则(如预设顺序或者调用次数排序等))智能交互处理模块作为待执行智能交互处理模块。
又如，在另一些实施方式中，所述交互状态信息处于所述多个第一状态交互层之一对应的第一状态信息；其中，在步骤S103中，交互设备基于所述智能交互模型当前的第一状态信息，从所述之一第一状态交互层包含的一个或多个第二状态交互层中确定对应的一个或多个候选第二状态交互层，从所述一个或多个候选第二状态交互层对应的智能交互处理模块确定对应的一个或多个待执行处理模块。例如，若智能交互模块当前的交互状态信息处于第一状态交互层中某一个第一状态交互层对应的状态(如手检测状态信息等)，则从该第一状态交互层中选择对应的一个或多个第二状态交互层对应的智能交互处理模块作为对应待执行处理模块，如将其中的手跟踪处理模块、手跟踪重新判断处理模块、手精细检测处理模块及手轨迹判断处理模块作为对应待执行处理模块。其中，对于从所述之一第一状态交互层包含的一个或多个第二状态交互层中对应的一个或多个候选第二状态交互层的选择，可以是基于所述之一第一状态交互层包含的一个或多个第二状态交互层中所有的第二状态交互层进行全选，将该所述之一第一状态交互层中所有第二状态交互层确定为候选第二状态交互层，也可以从中选择一部分第二状态交互层作为候选第二状态交互层。其中，对于智能交互处理模块的选择，可以是基于候选第二状态交互层中所有的智能交互处理模块进行全选，将该候选第二状态交互层中所有智能交互处理模块确定为待执行处理模块，也可以从中选择一部分(如随机选择，或者根据一定规则(如预设顺序或者调用次数排序等))智能交互处理模块作为待执行智能交互处理模块。
又如，在一些实施方式中，所述交互状态信息处于第二状态交互层之一对应的第二状态信息；其中，在步骤S103中，交互设备从所述第二状态交互层对应的一个或多个智能交互处理模块确定对应的一个或多个待执行处理模块。例如，每个第二状态交互层包含一个或多个智能交互处理模块，当前状态机的状态对应着某一个第二状态交互层，则交互设备从该第二状态交互层中确定对应的一个或多个智能交互处理模块作为对应的一个或多个待执行处理模块。其中，对于智能交互处理模块的选择，可以是基于第二状态交互层中所有的智能交互处理模块进行全选，将该第二状态交互层中所有智能交互处理模块确定为待执行处理模块，也可以从中选择一部分(如随机选择，或者根据一定规则(如预设顺序或者调用次数排序等))智能交互处理模块作为待执行智能交互处理模块。
还如，在又一些实施方式中，所述交互状态信息处于第二状态交互层之一对应的第二状态信息；其中，在步骤S103中，交互设备基于所述第二状态信息确定与所述之一第二状态交互层关联的一个或多个其他第二状态交互层，从所述一个或多个其他第二状态交互层及所述第二状态交互层对应的智能交互处理模块确定对应的一个或多个待执行处理模块。例如，若智能交互模块当前的交互状态处于第二状态交互层中某一个第二状态交互层对应的状态(如手跟踪状态信息等)，则从该第二状态交互层相关联的第二状态交互层及所述第二状态交互层确定对应的一个或多个智能交互处理作为对应待执行处理模块，如将手跟踪重新判断处理模块、手轨迹判断处理模块等作为对应待执行处理模块。其中，对于与所述之一第二状态交互层关联的一个或多个其他第二状态交互层的选择，可以是基于与所述之一第二状态交互层关联的所有的第二状态交互层进行全选，也可以从中选择一部分关联的第二状态交互层。其中，对于智能交互处理模块的选择，可以是基于第二状态交互层中所有的智能交互处理模块进行全选，将该第二状态交互层中所有智能交互处理模块确定为待执行处理模块，也可以从中选择一部分(如随机选择，或者根据一定规则(如预设顺序或者调用次数排序等))智能交互处理模块作为待执行智能交互处理模块。
在步骤S104中，交互设备根据所述待处理数据执行所述一个或多个待执行处理模块得到对应的处理结果信息。例如，交互设备确定对应的一个或多个待执行处理模块后，通过将待处理数据信息输入该一个或多个待执行处理模块，获取对应的处理结果信息，并基于处理结果信息综合得到最终的处理结果信息。例如，根据一个或多个待执行处理模块(如手精细判断处理模块、手跟踪处理模块等)，串行或者并行处理待处理数据(如关于用户的图像信息等)，其中，手精细判断处理模块检测出是否存在手，手跟踪处理模块确定用户的手位置信息等，综合这些结果，可以得到用户当前手位置。在一些实施方式中，在步骤S104中，交互设备基于所述一个或多个待执行处理模块间的调用关系，执行所述一个或多个待执行处理模块，并获取对应的一个或多个处理结果，并根据所述一个或多个处理结果综合确定对应的处理结果信息。例如，智能处理模型根据一个或多个待执行处理模块间的逻辑关系，确定对应的处理模块执行顺序等，如基于以下逻辑：若跟踪到手，则确定后续会进行手轨迹判断处理模块等，若未跟踪到手，则确定后续进行人体跟踪处理模块，若未检测到人体等，则需执行对应的背景活体检测处理模块等……，确定可以先执行手跟踪处理模块，若跟踪到手，接下来行执行手轨迹判断处理模块，若未跟踪到手，则执行人体跟踪处理模块，若未跟踪到人，则执行背景活体检测处理模块。基于该逻辑，对用户的图像信息进行处理，可以确定执行的处理模块有手跟踪处理模块及手轨迹判断处理模块，并得到其结果，综合后可以得到用户当前手位置及手势动作1等。
在一些实施方式中，该方法还包括步骤S105(未示出)。在步骤S105中，交互设备输出所述处理结果信息。例如，交互设备通过文字呈现、语音提示、图像、视频提醒或者运行特定程序等输出方式输出处理结果信息，也可以将该处理结果信息发送至其他与交互设备建立通信连接的其他设备，如用户在交互设备(智能空调)前抬起手臂，并执行预设的手运动轨迹，交互设备采集用户相关图像信息，计算得到处理执行结果，并输出该结果，如智能空调运行开启/关闭等程序。当然，本领域技术人员应能理解上述输出方式仅为举例，其他现有的或今后可能出现的输出方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施方式中，该方法还包括步骤S106(未示出)。在步骤S106中，交互设备基于所述处理结果信息更新所述智能交互模型的交互状态信息。例如，交互设备基于所述处理结果信息(如用户当前手位置等)对智能交互模型的交互状态信息进行更新，如将其从手跟踪状态变化为手轨迹判断状态等。
图2示出了根据本申请的一个方面的一种执行智能交互处理模块的设备，其中，该设备包括进行人机交互的交互设备(如智能家居、智能音箱、智能电视、智能眼镜、智能手机、电脑等计算设备)，该设备包括一一模块101、一二模块102、一三模块103以及一四模块104。一一模块101，用于利用分层状态机对多个智能交互处理模块进行分层处理得到智能交互模型，其中，所述智能交互模型包括多个第一状态交互层和多个第二状态交互层，每个第一状态交互层内部包含一个或多个第二状态交互层，每个第二状态交互层包括至少一个智能交互处理模块；一二模块102，用于获取待处理数据，将所述待处理数据传输至所述智能交互模型；一三模块103，用于基于所述智能交互模型当前的交互状态信息，从所述多个智能交互处理模块中确定对应的一个或多个待执行处理模块，其中，所述交互状态信息包括所述多个第一状态交互层及所述多个第二状态交互层，中之一对应状态信息；一四模块104，用于根据所述待处理数据执行所述一个或多个待执行处理模块得到对应的处理结果信息。
具体而言，一一模块101，用于利用分层状态机对多个智能交互处理模块进行分层处理得到智能交互模型，其中，所述智能交互模型包括多个第一状态交互层和多个第二状态交互层，每个第一状态交互层内部包含一个或多个第二状态交互层，每个第二状态交互层包括至少一个智能交互处理模块。例如，所述分层状态机包括但不限于将同类型的状态作为一个状态机，然后再做一个大的状态机，来维护这些子状态机的整体状态机。又例如，所述分层状态机包括但不限于将状态进行“分类”，得到几个小状态，然后把几个小状态归并到多个高层状态里，然后再定义高层状态之间和高层状态中内部小状态的执行逻辑。所述智能交互处理模块包括但不限于用于进行人体行为交互、语音交互等人机交互的处理模块，如目标识别、目标跟踪、手势识别、语音识别等处理模块。基于任务的处理流程/逻辑，交互设备先基于分层状态机建立或更新一个关于智能交互处理模块的智能交互模型，如先基于智能交互处理模块间的功能进行分类，确定多个第二状态交互层，其中，具有相同功能的底层智能交互处理模块分类至同一个第二状态交互层(如语音识别中的孤立词识别、关键词识别或者连续语音识别等)，每一个第二状态交互层中至少包含一个智能交互处理模块，随后，根据各个功能不同的第二状态交互层基于相互间的联系强弱、交互的处理流程等分别划分成不同的第一交互状态层(如手势跟踪与手轨迹判断等均可以分类成手势识别)。在一些实施方式中，所述智能交互模型还包括多个第三状态交互层，其中，每个第二状态交互层内部包含一个或多个第三状态交互层，每个第三状态交互层包含至少一个智能交互处理模块；以此类推，所述智能交互模型还包括多个第N状态交互层，其中，每个第N-1状态交互层内部包含一个或多个第N状态交互层，每个第N状态交互层包含至少一个智能交互处理模块，其中，N为大于或等于3的正整数。例如，所述智能交互模型还可以包括多个第三状态交互层，该多个第三状态交互层包含于第二状态交互层，且每个第三状态交互层包括至少一个智能交互处理模块；以此类推，所述智能交互模型还可以包括多个第四状态交互层，该多个第四状态交互层包含于对应的第三状态交互层……假设，智能交互模型包含多个第N状态交互层，则每个第N-1状态交互层内部包含一个或多个第N状态交互层，每个第N状态交互层包含至少一个智能交互处理模块，其中，N为大于或等于3的正整数。在此，第N状态交互层包含于其上一状态交互层，即第N-1状态交互层，该智能交互模型根据实际设定需要的1至N层状态交互层满足需求，使得保持智能交互模型高效运算的基础上，使得智能交互模型的设置在一定程度上更加灵活。
在一些实施方式中，所述智能交互处理模块的调用顺序包括但不限于：线性整合串行、多模块并行、基于交互状态信息进行条件选择。例如，智能交互处理模块调用顺序可以是线性整合串行，如执行人体检测处理模块后执行人体精细检测处理模块等；又如，智能交互处理模块调用顺序也可以是并行，如远距离手跟踪处理模块与近距离手跟踪模块可以是同时执行；还如，智能交互处理模块调用顺序还可以基于当前状态进行条件选择等，根据当前状态确定所有需要执行的处理模块，然后进行选择，直至所有要执行的处理模块均执行完毕，返回执行结果。如执行手精细判断处理模块后，如果一开始状态确定的所有要执行的模块包括手跟踪处理模块，则继续执行手跟踪处理模块，如果执行手精细判断处理模块后，一开始状态确定的所有要执行的处理模块没有手跟踪处理模块，则不进行手跟踪处理模块，执行手精细判断处理模块后返回执行的结果。
一二模块102，用于获取待处理数据，将所述待处理数据传输至所述智能交互模型。例如，待处理数据包括但不限于用于人机交互的关于用户的文字、语音、图像、视频等多媒体信息。交互设备可以包括摄像装置、语音录入装置、触摸装置等人机交互采集装置，交互设备通过人机交互采集装置采集关于人机交互的待处理数据，并将该待处理数据传输至智能交互模型；又如，交互设备通过与其他设备(如其他摄像装置、语音录入装置、触摸装置等人机交互采集装置或者包含这些人机交互采集装置的其他设备)的通信链接，接收其他设备发送的待处理数据，并将该待处理数据传输至智能交互模型。在此，一二模块102中待处理数据的获取其他步骤没有必然联系，可以是一二模块101中，也可以是一三模块103中或者一四模块104之前，如先确定对应待执行处理模块，随后获取待处理数据，或者先获取待处理数据，再确定对应待执行处理模块等。
一三模块103，用于基于所述智能交互模型当前的交互状态信息，从所述多个智能交互处理模块中确定对应的一个或多个待执行处理模块，其中，所述交互状态信息包括所述多个第一状态交互层及所述多个第二状态交互层，中之一对应状态信息。例如，交互设备根据智能交互模型当前的交互状态信息，确定多个智能交互处理模型中对应的一个或多个待执行处理模型，如根据交互状态信息(如手跟踪状态)，将手跟踪处理模块确定为待执行处理模块，根据手跟踪处理模块执行结果继续判断交互状态；如果状态是手正在做特殊动作，将手特殊检测处理模块确定为待执行处理模块；如果状态是需要做背景活体检测时，将背景活体检测处理模块确定为待执行处理模块；如果不是，就继续判断交互状态是不是需做人体跟踪，将人体跟踪处理模块确定为待执行处理模块……。基于上述判断逻辑，交互设备依次分别确定手跟踪处理模块、手特殊检测处理模块、背景活体检测处理模块、人体跟踪处理模块等为不同交互状态对应的待执行处理模块。在一些实施方式中，所述智能交互模型还包括初始状态层，所述初始状态层内部包含所述多个第一状态交互层，所述交互状态信息包括所述初始状态层、所述多个第一状态交互层及所述多个第二状态交互层，中之一对应状态信息。例如，交互设备还包括初始状态层，该初始状态层包括初始处理模型，基于该初始处理模型，可以得到初始结果信息，进而判断后续需执行的对应的一个或多个第一状态交互层等。
如在一些实施方式中，所述交互状态信息处于初始状态层对应的初始状态信息；其中，一三模块103，用于基于所述智能交互模型当前的初始状态信息，从所述多个第一状态交互层中确定一个或多个候选第一状态交互层，并从每个候选第一状态交互层中确定对应的一个或多个候选第二状态交互层，从所述一个或多个候选第二状态交互层对应的智能交互处理模块确定对应的一个或多个待执行处理模块。例如，交互设备基于智能交互模型当前的交互状态信息(如初始状态信息等)，进而执行初始状态对应的处理模块，如判断待处理数据(如关于用户的图像信息等)中是否存在物体在活动等，执行背景活体检测对应的第一状态交互层，并从第一状态交互层中确定后续可执行的第二状态交互层，如关于背景活体检测处理模块、活体大小检测处理模块等对应的第二状态交互层等，从而将背景活体检测处理模块、活体大小检测处理模块等作为待执行处理模块。其中，对于候选第一状态交互层中对应的一个或多个候选第二状态交互层的选择，可以是基于候选第一状态交互层中所有的第二状态交互层进行全选，将该候选第一状态交互层中所有第二状态交互层确定为候选第二状态交互层，也可以从中选择一部分第二状态交互层作为候选第二状态交互层。其中，对于智能交互处理模块的选择，可以是基于候选第二状态交互层中所有的智能交互处理模块进行全选，将该候选第二状态交互层中所有智能交互处理模块确定为待执行处理模块，也可以从中选择一部分(如随机选择，或者根据一定规则(如预设顺序或者调用次数排序等))智能交互处理模块作为待执行智能交互处理模块。
又如，在另一些实施方式中，所述交互状态信息处于所述多个第一状态交互层之一对应的第一状态信息；其中，一三模块103，用于基于所述智能交互模型当前的第一状态信息，从所述之一第一状态交互层包含的一个或多个第二状态交互层中确定对应的一个或多个候选第二状态交互层，从所述一个或多个候选第二状态交互层对应的智能交互处理模块确定对应的一个或多个待执行处理模块。例如，若智能交互模块当前的交互状态信息处于第一状态交互层中某一个第一状态交互层对应的状态(如手检测状态信息等)，则从该第一状态交互层中选择对应的一个或多个第二状态交互层对应的智能交互处理模块作为对应待执行处理模块，如将其中的手跟踪处理模块、手跟踪重新判断处理模块、手精细检测处理模块及手轨迹判断处理模块作为对应待执行处理模块。其中，对于从所述之一第一状态交互层包含的一个或多个第二状态交互层中对应的一个或多个候选第二状态交互层的选择，可以是基于所述之一第一状态交互层包含的一个或多个第二状态交互层中所有的第二状态交互层进行全选，将该所述之一第一状态交互层中所有第二状态交互层确定为候选第二状态交互层，也可以从中选择一部分第二状态交互层作为候选第二状态交互层。其中，对于智能交互处理模块的选择，可以是基于候选第二状态交互层中所有的智能交互处理模块进行全选，将该候选第二状态交互层中所有智能交互处理模块确定为待执行处理模块，也可以从中选择一部分(如随机选择，或者根据一定规则(如预设顺序或者调用次数排序等))智能交互处理模块作为待执行智能交互处理模块。
又如，在一些实施方式中，所述交互状态信息处于第二状态交互层之一对应的第二状态信息；其中，在步骤S103中，交互设备从所述第二状态交互层对应的一个或多个智能交互处理模块确定对应的一个或多个待执行处理模块。例如，每个第二状态交互层包含一个或多个智能交互处理模块，当前状态机的状态对应着某一个第二状态交互层，则交互设备从该第二状态交互层中确定对应的一个或多个智能交互处理模块作为对应的一个或多个待执行处理模块。其中，对于智能交互处理模块的选择，可以是基于第二状态交互层中所有的智能交互处理模块进行全选，将该第二状态交互层中所有智能交互处理模块确定为待执行处理模块，也可以从中选择一部分(如随机选择，或者根据一定规则(如预设顺序或者调用次数排序等))智能交互处理模块作为待执行智能交互处理模块。
还如，在又一些实施方式中，所述交互状态信息处于第二状态交互层之一对应的第二状态信息；其中，一三模块103，用于基于所述第二状态信息确定与所述之一第二状态交互层关联的一个或多个其他第二状态交互层，从所述一个或多个其他第二状态交互层及所述第二状态交互层对应的智能交互处理模块确定对应的一个或多个待执行处理模块。例如，若智能交互模块当前的交互状态处于第二状态交互层中某一个第二状态交互层对应的状态(如手跟踪状态信息等)，则从该第二状态交互层相关联的第二状态交互层及所述第二状态交互层确定对应的一个或多个智能交互处理模块作为对应待执行处理模块，如将手跟踪重新判断处理模块、手轨迹判断处理模块等作为对应待执行处理模块。其中，对于与所述之一第二状态交互层关联的一个或多个其他第二状态交互层的选择，可以是基于与所述之一第二状态交互层关联的所有的第二状态交互层进行全选，也可以从中选择一部分关联的第二状态交互层。其中，对于智能交互处理模块的选择，可以是基于第二状态交互层中所有的智能交互处理模块进行全选，将该第二状态交互层中所有智能交互处理模块确定为待执行处理模块，也可以从中选择一部分(如随机选择，或者根据一定规则(如预设顺序或者调用次数排序等))智能交互处理模块作为待执行智能交互处理模块。
一四模块104，用于根据所述待处理数据执行所述一个或多个待执行处理模块得到对应的处理结果信息。例如，交互设备确定对应的一个或多个待执行处理模块后，通过将待处理数据信息输入该一个或多个待执行处理模块，获取对应的处理结果信息，并基于处理结果信息综合得到最终的处理结果信息。例如，根据一个或多个待执行处理模块(如手精细判断处理模块、手跟踪处理模块等)，串行或者并行处理待处理数据(如关于用户的图像信息等)，其中，手精细判断处理模块检测出是否存在手，手跟踪处理模块确定用户的手位置信息等，综合这些结果，可以得到用户当前手位置。在一些实施方式中，一四模块104，用于基于所述一个或多个待执行处理模块间的调用关系，执行所述一个或多个待执行处理模块，并获取对应的一个或多个处理结果，并根据所述一个或多个处理结果综合确定对应的处理结果信息。例如，智能处理模型根据一个或多个待执行处理模块间的逻辑关系，确定对应的处理模块执行顺序等，如基于以下逻辑：若跟踪到手，则确定后续会进行手轨迹判断处理模块等，若未跟踪到手，则确定后续进行人体跟踪处理模块，若未检测到人体等，则需执行对应的背景活体检测处理模块等……，确定可以先执行手跟踪处理模块，若跟踪到手，接下来行执行手轨迹判断处理模块，若未跟踪到手，则执行人体跟踪处理模块，若未跟踪到人，则执行背景活体检测处理模块。基于该逻辑，对用户的图像信息进行处理，可以确定执行的处理模块有手跟踪处理模块及手轨迹判断处理模块，并得到其结果，综合后可以得到用户当前手位置及手势动作1等。
在一些实施方式中，该设备还包括一五模块105(未示出)。一五模块105，用于输出所述处理结果信息。例如，交互设备通过文字呈现、语音提示、图像、视频提醒或者运行特定程序等输出方式输出处理结果信息，也可以将该处理结果信息发送至其他与交互设备建立通信连接的其他设备，如用户在交互设备(智能空调)前抬起手臂，并执行预设的手运动轨迹，交互设备采集用户相关图像信息，计算得到处理执行结果，并输出该结果，如智能空调运行开启/关闭等程序。当然，本领域技术人员应能理解上述输出方式仅为举例，其他现有的或今后可能出现的输出方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施方式中，该设备还包括一六模块106(未示出)。一六模块106，用于基于所述处理结果信息更新所述智能交互模型的交互状态信息。例如，交互设备基于所述处理结果信息(如用户当前手位置等)对智能交互模型的交互状态信息进行更新，如将其从手跟踪状态变化为手轨迹判断状态等。
除上述各实施例介绍的方法和设备外，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图3示出了可被用于实施本申请中所述的各个实施例的示例性系统；
如图3所示在一些实施例中，系统300能够作为各所述实施例中的任意一个上述设备。在一些实施例中，系统300可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。
对于一个实施例，系统控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330，以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例，系统存储器315可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块310可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如，NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (24)
1.一种执行智能交互处理模块的方法，其中，该方法包括：
利用分层状态机对多个智能交互处理模块进行分层处理得到智能交互模型，其中，所述智能交互模型包括多个第一状态交互层和多个第二状态交互层，每个第一状态交互层内部包含一个或多个第二状态交互层，每个第二状态交互层包括至少一个智能交互处理模块；
获取待处理数据，将所述待处理数据传输至所述智能交互模型；
基于所述智能交互模型当前的交互状态信息，从所述多个智能交互处理模块中确定对应的一个或多个待执行处理模块，其中，所述交互状态信息包括所述多个第一状态交互层及所述多个第二状态交互层，中之一对应状态信息；
根据所述待处理数据执行所述一个或多个待执行处理模块得到对应的处理结果信息。
2.根据权利要求1所述的方法，其中，所述方法还包括：
输出所述处理结果信息。
3.根据权利要求1所述的方法，其中，所述方法还包括：
基于所述处理结果信息更新所述智能交互模型的交互状态信息。
4.根据权利要求1所述的方法，其中，所述智能交互模型还包括初始状态层，所述初始状态层内部包含所述多个第一状态交互层，所述交互状态信息包括所述初始状态层、所述多个第一状态交互层及所述多个第二状态交互层，中之一对应状态信息。
5.根据权利要求1至4中任一项所述的方法，其中，所述智能交互处理模块的调用顺序包括以下至少任一项：
线性整合串行；
多模块并行；
基于交互状态信息进行条件选择。
6.根据权利要求4所述的方法，其中，所述交互状态信息处于初始状态层对应的初始状态信息；
其中，所述基于所述智能交互模型当前的交互状态信息，从所述多个智能交互处理模块中确定对应的一个或多个待执行处理模块，其中，所述交互状态信息包括所述多个第一状态交互层及所述多个第二状态交互层，中之一对应状态信息，包括：
基于所述智能交互模型当前的初始状态信息，从所述多个第一状态交互层中确定一个或多个候选第一状态交互层；
从每个候选第一状态交互层中确定对应的一个或多个候选第二状态交互层，从所述一个或多个候选第二状态交互层对应的智能交互处理模块确定对应的一个或多个待执行处理模块。
7.根据权利要求1至4中任一项所述的方法，其中，所述交互状态信息处于所述多个第一状态交互层之一对应的第一状态信息；
其中，所述基于所述智能交互模型当前的交互状态信息，从所述多个智能交互处理模块中确定对应的一个或多个待执行处理模块，其中，所述交互状态信息包括所述多个第一状态交互层及所述多个第二状态交互层，中之一对应状态信息，包括：
基于所述智能交互模型当前的第一状态信息，从所述之一第一状态交互层包含的一个或多个第二状态交互层中确定对应的一个或多个候选第二状态交互层，从所述一个或多个候选第二状态交互层对应的智能交互处理模块确定对应的一个或多个待执行处理模块。
8.根据权利要求1至4中任一项所述的方法，其中，所述交互状态信息处于第二状态交互层之一对应的第二状态信息；
其中，所述基于所述智能交互模型当前的交互状态信息，从所述多个智能交互处理模块中确定对应的一个或多个待执行处理模块，其中，所述交互状态信息包括所述多个第一状态交互层及所述多个第二状态交互层，中之一对应状态信息，包括：
从所述第二状态交互层对应的一个或多个智能交互处理模块确定对应的一个或多个待执行处理模块。
9.根据权利要求8所述的方法，其中，所述基于所述智能交互模型当前的交互状态信息，从所述多个智能交互处理模块中确定对应的一个或多个待执行处理模块，其中，所述交互状态信息包括所述多个第一状态交互层及所述多个第二状态交互层，中之一对应状态信息，包括：
基于所述第二状态信息确定与所述之一第二状态交互层关联的一个或多个其他第二状态交互层；
从所述一个或多个其他第二状态交互层及所述第二状态交互层对应的智能交互处理模块确定对应的一个或多个待执行处理模块。
10.根据权利要求1所述的方法，其中，所述根据所述待处理数据执行所述一个或多个待执行处理模块得到对应的处理结果信息，包括：
基于所述一个或多个待执行处理模块间的调用关系，执行所述一个或多个待执行处理模块，并获取对应的一个或多个处理结果；
根据所述一个或多个处理结果综合确定对应的处理结果信息。
11.根据权利要求1所述的方法，其中，所述智能交互模型还包括多个第三状态交互层，其中，每个第二状态交互层内部包含一个或多个第三状态交互层，每个第三状态交互层包含至少一个智能交互处理模块；以此类推，
所述智能交互模型还包括多个第N状态交互层，其中，每个第N-1状态交互层内部包含一个或多个第N状态交互层，每个第N状态交互层包含至少一个智能交互处理模块，其中，N为大于或等于3的正整数。
12.一种执行智能交互处理模块的设备，其中，该设备包括：
一一模块，用于利用分层状态机对多个智能交互处理模块进行分层处理得到智能交互模型，其中，所述智能交互模型包括多个第一状态交互层和多个第二状态交互层，每个第一状态交互层内部包含一个或多个第二状态交互层，每个第二状态交互层包括至少一个智能交互处理模块；
一二模块，用于获取待处理数据，将所述待处理数据传输至所述智能交互模型；
一三模块，用于基于所述智能交互模型当前的交互状态信息，从所述多个智能交互处理模块中确定对应的一个或多个待执行处理模块，其中，所述交互状态信息包括所述多个第一状态交互层及所述多个第二状态交互层，中之一对应状态信息；
一四模块，用于根据所述待处理数据执行所述一个或多个待执行处理模块得到对应的处理结果信息。
13.根据权利要求12所述的设备，其中，所述设备还包括：
一五模块，用于输出所述处理结果信息。
14.根据权利要求12所述的设备，其中，所述设备还包括：
一六模块，用于基于所述处理结果信息更新所述智能交互模型的交互状态信息。
15.根据权利要求12所述的设备，其中，所述智能交互模型还包括初始状态层，所述初始状态层内部包含所述多个第一状态交互层，所述交互状态信息包括所述初始状态层、所述多个第一状态交互层及所述多个第二状态交互层，中之一对应状态信息。
16.根据权利要求12至15中任一项所述的设备，其中，所述智能交互处理模块的调用顺序包括以下至少任一项：
线性整合串行；
多模块并行；
基于交互状态信息进行条件选择。
17.根据权利要求15所述的设备，其中，所述交互状态信息处于初始状态层对应的初始状态信息；
其中，所述一三模块用于：
基于所述智能交互模型当前的初始状态信息，从所述多个第一状态交互层中确定一个或多个候选第一状态交互层；
从每个候选第一状态交互层中确定对应的一个或多个候选第二状态交互层，从所述一个或多个候选第二状态交互层对应的智能交互处理模块确定对应的一个或多个待执行处理模块。
18.根据权利要求12至15中任一项所述的设备，其中，所述交互状态信息处于所述多个第一状态交互层之一对应的第一状态信息；
其中，所述一三模块用于：
基于所述智能交互模型当前的第一状态信息，从所述之一第一状态交互层包含的一个或多个第二状态交互层中确定对应的一个或多个候选第二状态交互层，从所述一个或多个候选第二状态交互层对应的智能交互处理模块确定对应的一个或多个待执行处理模块。
19.根据权利要求12至15中任一项所述的设备，其中，所述交互状态信息处于第二状态交互层之一对应的第二状态信息；
其中，所述一三模块用于：
从所述第二状态交互层对应的一个或多个智能交互处理模块确定对应的一个或多个待执行处理模块。
20.根据权利要求19所述的设备，其中，所述一三模块用于：
基于所述第二状态信息确定与所述之一第二状态交互层关联的一个或多个其他第二状态交互层；
从所述一个或多个其他第二状态交互层及所述第二状态交互层对应的智能交互处理模块确定对应的一个或多个待执行处理模块。
21.根据权利要求12所述的设备，其中，所述一四模块，用于：
基于所述一个或多个待执行处理模块间的调用关系，执行所述一个或多个待执行处理模块，并获取对应的一个或多个处理结果；
根据所述一个或多个处理结果综合确定对应的处理结果信息。
22.根据权利要求12所述的设备，其中，所述智能交互模型还包括多个第三状态交互层，其中，每个第二状态交互层内部包含一个或多个第三状态交互层，每个第三状态交互层包含至少一个智能交互处理模块；以此类推，
所述智能交互模型还包括多个第N状态交互层，其中，每个第N-1状态交互层内部包含一个或多个第N状态交互层，每个第N状态交互层包含至少一个智能交互处理模块，其中，N为大于或等于3的正整数。
23.一种执行智能交互处理模块的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至11中任一项所述方法的操作。
24.一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如权利要求1至11中任一项所述方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910152208.8A CN109814726B (zh) | 2019-02-28 | 2019-02-28 | 一种执行智能交互处理模块的方法与设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910152208.8A CN109814726B (zh) | 2019-02-28 | 2019-02-28 | 一种执行智能交互处理模块的方法与设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109814726A true CN109814726A (zh) | 2019-05-28 |
| CN109814726B CN109814726B (zh) | 2022-07-01 |
Family
ID=66607864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910152208.8A Active CN109814726B (zh) | 2019-02-28 | 2019-02-28 | 一种执行智能交互处理模块的方法与设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109814726B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080147364A1 (en) * | 2006-12-15 | 2008-06-19 | Motorola, Inc. | Method and apparatus for generating harel statecharts using forms specifications |
| CN102929697A (zh) * | 2012-10-09 | 2013-02-13 | Tcl集团股份有限公司 | 一种状态机、调度方法、装置及usb媒体播放控制装置 |
| CN103455328A (zh) * | 2013-08-16 | 2013-12-18 | 奥博杰天软件（西安）有限公司 | 基于多层次状态机的媒体播放控制器、播放器及播放方法 |
| CN106569613A (zh) * | 2016-11-14 | 2017-04-19 | 中国电子科技集团公司第二十八研究所 | 一种多模态人机交互系统及其控制方法 |
| CN106997236A (zh) * | 2016-01-25 | 2017-08-01 | 亮风台（上海）信息科技有限公司 | 基于多模态输入进行交互的方法和设备 |
-
2019
- 2019-02-28 CN CN201910152208.8A patent/CN109814726B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080147364A1 (en) * | 2006-12-15 | 2008-06-19 | Motorola, Inc. | Method and apparatus for generating harel statecharts using forms specifications |
| CN102929697A (zh) * | 2012-10-09 | 2013-02-13 | Tcl集团股份有限公司 | 一种状态机、调度方法、装置及usb媒体播放控制装置 |
| CN103455328A (zh) * | 2013-08-16 | 2013-12-18 | 奥博杰天软件（西安）有限公司 | 基于多层次状态机的媒体播放控制器、播放器及播放方法 |
| CN106997236A (zh) * | 2016-01-25 | 2017-08-01 | 亮风台（上海）信息科技有限公司 | 基于多模态输入进行交互的方法和设备 |
| CN106569613A (zh) * | 2016-11-14 | 2017-04-19 | 中国电子科技集团公司第二十八研究所 | 一种多模态人机交互系统及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109814726B (zh) | 2022-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107678799B (zh) | 应用程序管控方法、装置、存储介质及电子设备 | |
| CN110502298A (zh) | 一种用于提供电子书的更新提醒信息的方法与设备 | |
| CN109740696A (zh) | 一种用于压板识别的方法与设备 | |
| CN106067873A (zh) | 电子设备及其呼叫处理方法 | |
| CN107005796A (zh) | 用于执行电子设备的任务的装置和方法 | |
| CN108141702A (zh) | 上下文知晓的位置共享服务 | |
| CN110322300A (zh) | 数据处理方法及装置、电子设备、存储介质 | |
| CN110032358A (zh) | 一种应用程序生成方法、装置、设备及系统 | |
| CN109359237A (zh) | 一种用于搜索寄宿程序的方法与设备 | |
| CN109658033A (zh) | 货源路线相似度计算方法、系统、设备及存储介质 | |
| CN109376645A (zh) | 一种人脸图像数据优选方法、装置及终端设备 | |
| CN107643948A (zh) | 应用程序管控方法、装置、介质及电子设备 | |
| CN109922298A (zh) | 会议室监控方法和装置 | |
| US11120594B2 (en) | Floor planning and placement of objects in a loading space | |
| CN110321189A (zh) | 一种在宿主程序中呈现寄宿程序的方法与设备 | |
| CN109669657A (zh) | 一种用于进行远程文档协作的方法与设备 | |
| CN109595857A (zh) | 一种用于基于冰箱进行交互的方法以及冰箱 | |
| CN109656364A (zh) | 一种用于在用户设备上呈现增强现实内容的方法与设备 | |
| CN110413179A (zh) | 一种呈现会话消息的方法与设备 | |
| CN109787994A (zh) | 一种用于呈现救援资源信息的方法与设备 | |
| CN110457325A (zh) | 用于输出信息的方法和装置 | |
| CN109117433A (zh) | 一种索引树对象的创建及其索引方法和相关装置 | |
| CN110430253A (zh) | 一种提供小说更新通知信息的方法与设备 | |
| CN106791346A (zh) | 一种图像预测的方法及装置 | |
| CN109814726A (zh) | 一种执行智能交互处理模块的方法与设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai Patentee after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203 Patentee before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder |