CN106445100B - 用于处理多模输入信号的方法和系统 - Google Patents

用于处理多模输入信号的方法和系统 Download PDF

Info

Publication number
CN106445100B
CN106445100B CN201610637826.8A CN201610637826A CN106445100B CN 106445100 B CN106445100 B CN 106445100B CN 201610637826 A CN201610637826 A CN 201610637826A CN 106445100 B CN106445100 B CN 106445100B
Authority
CN
China
Prior art keywords
instruction
candidate target
candidate
instruction message
validity period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610637826.8A
Other languages
English (en)
Other versions
CN106445100A (zh
Inventor
J.克兰特
J.纽伯
J.珀库恩
S.舒尔茨
T.沃纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of CN106445100A publication Critical patent/CN106445100A/zh
Application granted granted Critical
Publication of CN106445100B publication Critical patent/CN106445100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B60K35/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • B60K2360/143—
    • B60K2360/1438—
    • B60K2360/146—
    • B60K2360/1464—
    • B60K2360/148—
    • B60K2360/149—
    • B60K2360/48—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

本发明涉及用于处理多模输入信号的方法和系统，尤其涉及一种用于处理多模输入信号的方法和系统(40)。设置为，系统(40)包括合并单元(26)，合并单元(26)被配置为用于从传感器数据分析装置(18；20；22)接收指令消息，其相应地描述指令并且分别包括候选对象的有效时间说明。合并单元(26)还构建为，在可与融合单元(26)耦合的应用(28；30；32)侧能够执行的两个候选数据。对于指令消息中的至少两个，合并单元(26)分别产生用于指令消息的候选对象，其中，如果候选对象中的有效时间信息说明了重叠的有效时间，则将该候选对象合并；以及向所述应用(28；30；32)转发指令，该指令通过由合并步骤产生的候选对象描述。

Description

用于处理多模输入信号的方法和系统
技术领域
本发明涉及一种用于处理多模输入信号的方法和系统。
背景技术
多模人机接口(“MMI”)允许用户经由预先给定的特定输入信号以不同的方式向应用输入指令，例如经由通过键盘、鼠标、触摸垫等的、涉及接触的输入，借助语音输入，经由身体、手或者手的各个手指的姿势，或者经由采集的眼睛的运动(所谓的“眼跟踪”)。
在此，可以按照模态将指令与预先给定的输入信号相关联。可以与例如读取电子书的指令或者车辆辅助系统一起使用的文档或者菜单中的指令“进一步翻阅”，例如对于语音输入模态，可以与语音输入信号“进一步”相关联，另一方面对于姿势输入，可以将该指令与预先给定的方向上的划动耦合。
借助这种多模人机接口，可以使用或者控制不同的计算机支持的系统，还例如汽车中的驾驶员辅助系统。
在此，可以一个接一个地输入不同模态的输入信号并且处理成总输入信息。于是称为交替多模态。将并行或者同时输入的不同模态的输入信号处理成总信息，也就是说，例如伴随语音输入的姿势，更有趣并且技术要求更高。于是称为协同多模态。
发明内容
现在，本发明要解决的技术问题是，提出一种方法和系统，其使得也能够可靠地并且以高鲁棒性处理并行或者同时经由不同的模态输入的输入信号。
上述技术问题通过根据本发明的方法和合并单元来解决。
本发明的一个优选构造包括系统的合并单元中的处理多模输入信号的方法。
在此，合并单元从至少一个传感器数据分析装置接收指令消息，其中，该指令消息相应地描述在能够与合并单元耦合的应用侧可执行的指令。随后，合并单元针对指令消息中的至少两个分别产生关于相应的指令消息的候选对象。该候选对象相应地描述在指令消息中描述的指令，并且包括候选对象的有效期规定。如果候选对象的有效期规定给出重叠的有效期，则合并单元将这些候选对象中的两个合并，并且向应用转发通过由该合并步骤产生的候选对象描述的这种指令。
结合本发明如下广泛地解释概念两个候选对象的合并：该步骤不一定必须产生新的、由两个合并的候选对象产生的候选对象。另外，这仅仅是一个可选项。根据第二可选项，由合并步骤可以不变地产生两个候选对象。如果由各个候选对象描述的指令不产生竞争，则是这种情况。下面将详细说明概念竞争的指令。最后，根据第三可选项，可能发生一个或者两个候选对象在合并步骤中被消除。换句话说，可能不再由合并步骤产生候选对象。
候选对象的有效期规定一般给出有效期，在该有效期内，由候选对象描述的指令可能与由其它候选对象描述的其它指令存在竞争。在此，有效期规定可以给出一个或更多个时间点或者一个或更多个时间区间或者时间点与时间区间的组合。在本发明的范围内，当由第一候选对象的有效期规定给出的第一有效期与由第二候选对象的有效期规定给出的第二有效期包括时间上的交叉时，第一有效期与第二有效期重叠。当第一有效期包括第一时间点，并且第二有效期包括与第一时间点相同的第二时间点时，存在时间上的交叉。当第一有效期包括一个时间点，并且第二有效期包括一个时间区间，该时间点位于该时间区间中时，也存在时间上的交叉。当第一有效期包括第一时间区间，并且第二有效期包括第二时间区间，并且第一时间区间与第二时间区间具有至少一个共同的时间点时，也存在时间上的交叉。一般来说，候选对象的有效期将包括至少一个时间区间。下面，出于可简单地阅读的原因，经常称为候选对象的有效时间段。在本发明的范围内，该有效时间段应当理解为由候选对象的有效时间规定给出的候选对象的有效时间。
本发明的另一个优选构造涉及一种用于用来处理多模输入信号的系统的合并单元。在此，合并单元被配置并且确定为接收来自至少一个传感器数据分析装置的指令消息，该指令消息相应地描述在与合并单元可耦合的应用侧可执行的指令。此外，合并单元被配置为针对指令消息中的至少两个相应地产生上面给出的类型的候选对象，该候选对象描述相应的指令并且包括有效期规定。最后，合并单元被配置为如果候选对象的有效期规定给出重叠的有效期，则合并这些候选对象中的两个，并且向应用转发指令，该指令通过由合并步骤产生的候选对象描述。
对于接收到的指令消息产生候选对象，使得能够将涉及并行或者同时采集的输入信号的指令消息彼此进行比较。在此，可以识别并且在需要时消除产生竞争或者彼此矛盾的指令。可以将经由不同的模态采集的彼此兼容的指令组合在一起并且作为共同的指令进一步进行处理。总而言之，引入候选对象的概念使得能够以合适的方式将源自于同时或者并行采集的输入信号的指令消息合并。如下面将详细描述的那样，以这种方式得到对输入信号的鲁棒的识别以及高识别率。
如所叙述的那样，合并单元接收多个指令消息，特别是第一指令消息和第二指令消息。在此，第二指令消息与第一指令消息不同。用来接收第二指令消息的第二传感器数据分析装置一方面可以与用来接收第一指令消息的第一传感器数据分析装置一致，或者另一方面可以与其不同。
如前面一般已经对于一个指令消息、例如第一指令消息所描述的那样，合并单元还对于第二指令消息产生第二候选对象，其中，第二候选对象描述第二指令并且包括第二候选对象的有效期规定。另外，第一候选对象和第二候选对象可以分别包括第一和第二候选对象的权重。
具体地，现在，如果第一候选对象的有效期规定给出第一有效期，该第一有效期与由第二候选对象的有效期规定给出的第二有效期重叠，并且如果第一指令与第二指令产生竞争，则合并单元可以与第一候选对象的权重和第二候选对象的权重有关地将第一候选对象与第二候选对象合并。
一般来说，在本发明的范围内，当第一指令和第二指令属于相同的指令类别时，第一指令与第二指令产生竞争。相同指令类别的指令涉及关于被配置为执行该指令类别的指令的应用的一个共同的技术方面。一种指令类别的指令例如可以是控制输入元件、例如光标的运动的这些指令(“开”、“关”、“左”、“右”)。另一种指令类别例如可以包括用于在文档、菜单等中进行导航的指令(“向前或者向后翻阅”)。第三种指令类别例如可以包括用于操作输入元件的指令(“点击”、“双击”、持续“点击”(具有压力和持续时间))。
如下面将要说明的，一方面产生竞争的指令可能彼此兼容。这涉及如下情况：指令基本上相同并且可以解释为共同的指令。另一方面，产生竞争的指令可能彼此发生冲突。当指令不相同，使得它们彼此不兼容时，是这种情况。
根据第一变形方案，当第一指令与第二指令产生冲突时，可以在第一候选对象与第二候选对象的合并步骤中，消除第一候选对象或者第二候选对象或者两个候选对象。如果剩余未消除的候选对象，则该未消除的候选对象由合并步骤以不改变的方式产生。
一般来说，在本发明的范围内，当第一指令和第二指令彼此不兼容或者彼此矛盾时，第一指令与第二指令产生冲突。对于前面示例性地提及的包括文档或者菜单中的导航的指令的指令类别，指令“向前翻阅”和“向后翻阅”彼此冲突，因为它们是矛盾的并且不兼容。同样地，例如用于将光标“向右”移动的指令与用于将光标“向左”移动的指令冲突。
消除的候选对象对其它过程没有影响，特别地，消除的候选对象对其它候选对象，不管是在描述的指令方面，还是在有效期规定或者权重方面都没有影响。
通常，在冲突的情况下，在合并步骤中至少消除权重小于相应的其它候选对象的权重的候选对象。然而，例如也可以设置为，在两个候选对象的权重不超过预先给定的值的情况下，消除这两个候选对象。
根据第二变形方案，当第一指令和第二指令彼此兼容时，在合并步骤中由第一候选对象和第二候选对象形成合并的候选对象。然后，用由合并步骤产生的该合并的候选对象代替相应地可以视为被消除的第一和第二候选对象。然而，与第一变形方案不同，第一和第二候选对象在合并的候选对象中继续存在，因此对其它过程有影响。
一般来说，在本发明的范围内，当第一指令与第二指令相同时，第一指令和第二指令彼此兼容。当第一指令由一个或更多个第一指令参数指定，并且第二指令由一个或更多个第二指令参数指定，并且对应的第一和第二指令参数相应地处于预先给定的兼容性容差区间内时，第一指令和第二指令也被视为是兼容的。如果作为指令参数指定相应的指令的X和Y坐标彼此足够近，也就是说，处于所给出的兼容性容差区间内，例如兼容性容差区间可以在X和Y方向上分别包括值10，则用于在预先给定的X和Y坐标上操作输入装置的指令(例如“点击(x＝1000,y＝500)”)，例如可以与对应的指令(例如“点击(x＝992,y＝507)”)是兼容的。
于是由合并的候选对象描述的指令从第一指令或者从第二指令或者从第一指令和第二指令得到。特别地，当第一指令与第二指令一致时，由合并的候选对象描述的指令可以对应于第一指令。
在第一指令由一个或更多个第一指令参数指定，并且第二指令由一个或更多个第二指令参数指定，并且对应的第一和第二指令参数相应地处于预先给定的、通常小于所述兼容性容差区间的相似性容差区间(对于前面的示例，仅允许偏差5，而不是10)内的情况下，由合并的候选对象描述的指令可以对应于第一指令或者第二指令。
在第二指令实质上不对应于第一指令，也就是说，虽然相应的指令参数处于预先给定的兼容性容差区间内，但是不处于预先给定的相似性容差区间内的情况下，由合并的候选对象描述的指令可以由一个或更多个第三指令参数指定，第三指令参数相对于对应的第一和第二指令参数相应地处于对应的兼容性容差区间内。该第三指令参数例如可以相应地通过大约以对应的第一和第二指令参数之间的中间值形成的方式来形成(对于前面的示例为“点击(x＝996,y＝503)”)。
合并的候选对象的有效期规定由第一候选对象的有效期规定或者由第二候选对象的有效期规定或者由第一候选对象的有效期规定和第二候选对象的有效期规定得出。如已经叙述的那样，候选对象的有效期规定一般给出有效期，在该有效期内，由该候选对象描述的指令与其它指令可能产生竞争。因此，候选对象的有效期规定可以依据不同的参数，分别专门针对每个候选对象单独确定。
优选由有效期规定给出的候选对象的有效时间段依据所描述的指令并且依据指令消息产生，对于该指令消息产生候选对象。不同指令类别的指令通常需要不同的有效时间段。例如，用于移动输入元件、例如光标的指令在非常短的时间区间内被传输至合并单元。因此，这些指令的对应的有效时间段，例如与用于在文档中进行导航、例如用于在文档中进行翻页的指令相比非常短。换句话说，这意味着，候选对象的有效时间段可以依据与采集传感器数据的第一传感器装置相关联的模态产生，第一传感器数据分析装置基于传感器数据产生第一指令消息。又换句话说，可以依据第一指令消息由语音输入、姿势输入、对用户瞳孔的采集、还是经由触摸垫输入而输入，来改变对于该指令消息产生的对应的候选对象的有效时间段的确定。
在此，根据第一变形方案，合并的候选对象的有效时间段可以对应于第一候选对象的有效时间段。根据第二变形方案，合并的候选对象的有效时间段可以对应于第二候选对象的有效时间段。根据第三变形方案，合并的候选对象的有效时间段可以对应于第一候选对象的有效时间段与第二候选对象的有效时间段的交集所包括的有效时间段。最后，根据第四变形方案，合并的候选对象的有效时间段可以对应于第一候选对象的有效时间段与第二候选对象的有效时间段的合集所包括的有效时间段。
合并的候选对象的权重由第一候选对象的权重或者由第二候选对象的权重或者由第一候选对象的权重和第二候选对象的权重得出。候选对象的权重一般给出该候选对象与其它候选对象相比与何位值相关联。较高的权重强调候选对象相对于具有对应地较低的权重的其它候选对象优先。显而易见，例如第一候选对象的权重可以依据描述第一候选对象的第一指令消息产生。以这种方式，指令相对于其它指令的优先能够以候选对象的权重来表示。如已经对于有效时间段所描述的，第一候选对象的权重还可以依据用来采集描述第一候选对象的第一指令消息的模态来产生。
合并的候选对象的权重通常大于第一候选对象的权重和第二候选对象的权重。为了确定合并的候选对象的权重，例如可以对对应的第一和第二候选对象的权重以合适的方式求和，或者以其它合适的方式在数学上合成。
根据前面已经简短地说明的第三变形方案，在由第一候选对象描述的指令与由第二候选对象描述的指令不产生竞争的情况下，又由合并步骤不变地产生这两个候选对象。这里也称为合并的事实实质上与这使合并处理的具体实现简化有关，因为在此当选择要合并的候选对象对时，仅必须考虑各个候选对象的有效时间段。
合并单元从传感器数据分析装置接收的指令消息除了对指令的描述之外，还可以包括其它参数。
根据第一变形方案，指令消息可以包括传感器装置参数，传感器装置参数描述提供了传感器数据的传感器装置，传感器数据分析装置基于该传感器数据产生指令消息。换句话说，该参数例如可以说明，指令消息是基于由照相机装置采集并且提供的图像数据识别出的。
根据第二变形方案，指令消息可以包括应用参数。该应用参数指定被配置或者设置为执行指令的一个或更多个应用。例如被配置为执行用于在文档或者菜单中向前或者向后翻阅的指令的应用，可以是汽车的车辆辅助系统的一部分。
根据第三变形方案，指令消息可以包括采集时间参数。该参数可以指定在传感器装置侧采集传感器数据的采集时间区间，对应的传感器数据分析装置基于该传感器数据产生指令消息。
根据第四变形方案，指令消息可以包括识别时间参数，该参数指定识别时间点，在该识别时间点，传感器数据分析装置从在传感器装置侧接收到的传感器数据中识别出在指令消息中描述的指令。
显而易见，候选对象的有效时间规定优选依据采集时间参数或者识别时间参数或者依据这两个参数来确定。
根据第五变形方案，指令消息可以包括置信参数。该置信参数指定，传感器数据分析装置有多可靠地从在传感器装置侧接收到的传感器数据中识别出在指令消息中描述的指令。由此，借助置信参数，可以将指令识别的可能的不可靠性相关地量化，并且一起包含在合并处理中。通常，该置信参数取0和1之间或者0和100之间的值，其中，该区间的上端值相应地表示指令识别的高可靠性。
显而易见，候选对象的权重也可以依据指令消息的对应的置信参数来确定。通常，以预先给定的方式在候选对象的权重的确定中一起考虑置信参数。
此外，显而易见，前面描述的变形方案可以以任意方式彼此组合。
如前面已经提到的，可以将采集传感器数据的第一传感器装置与第一模态相关联，第一传感器数据分析装置基于所采集的传感器数据产生第一指令消息，第一模态与第二模态不同，第二模态与采集传感器数据的第二传感器装置相关联，第二传感器数据分析装置基于所采集的传感器数据产生第二指令消息。用简单的话说，这意味着，可以对基于不同的模态采集并且识别的指令消息进行处理。对应的模态例如是语音识别、姿势识别、视线方向识别、经由键盘、鼠标或者触摸垫的机械输入等。
由此，结合当对应的有效时间段重叠时，将第一候选对象与第二候选对象合并的事实得出，当前描述的方法适合于并且被配置为用于支持协同的多模态，也就是说，支持并行或者同时输入不同模态的输入信号并且处理成总信息的情形。
通常，对于直至有效时间段到期未消除的每个候选对象，该方法包括另一个步骤。根据该步骤，向与合并单元耦合的应用转发由该候选对象描述的指令，该应用适合于或者被专门用于执行该指令。由此，直至有效时间段到期未消除的候选对象，相对于其它产生竞争或者甚至产生冲突的候选对象胜出。在此，其可以是最初对于接收到的指令消息产生的候选对象，或者是合并的候选对象，也就是说，在合并处理的范围内新产生的候选对象。
根据前面描述的方法的一个优选实施方式，第一候选对象或者一般每个在合并单元侧产生的候选对象可以包括合并参数。该合并参数给出是否提供第一候选对象，以进行潜在的与另一个候选对象的合并，如果是，则给出何时提供第一候选对象，以进行潜在的与另一个候选对象的合并。
根据第一变形方案，合并参数可以给出，直接向适合于或者专门用于执行第一指令的、与合并单元耦合的应用转发由第一候选对象描述的第一指令。换句话说，在向可能的前面描述的合并处理馈送候选对象之前，转发由该候选对象描述的指令。这对于对时间要求非常严格或者具有非常高的优先级的指令是有用的。
合并参数还可以规定，在转发由第一候选对象描述的第一指令之后提供第一候选对象用于潜在地与其它候选对象的合并，其它候选对象描述与第一指令冲突的其它指令。换句话说，这里不再提供候选对象与描述兼容的指令的候选对象的合并。此外，在这种情况下，合并参数优选给出，如果直至有效时间段到期第一候选对象未消除，则不再转发由第一候选对象描述的指令。
替换地，合并参数还可以进一步给出，在转发由第一候选对象描述的第一指令，以进行潜在的与其它候选对象的合并之后，不提供第一候选对象。换句话说，由此将候选对象从合并处理中完全去除。
根据第二变形方案，合并参数可以给出，在第一候选对象的有效时间段到期之后，向与合并单元耦合的应用转发由第一候选对象描述的第一指令，该应用适合于或者专门用于执行第一指令。这在第一候选对象在有效时间段的到期被视为消除时也可以适用。根据该变形方案，为了进行潜在的与第一候选对象的合并，同样仅提供指令与第一指令冲突的候选对象。
一般来说，传感器装置和传感器数据分析装置之间的用于传输由传感器装置采集的传感器数据的通信，或者传感器数据分析装置和合并单元之间的用于传输指令消息的通信，或者合并单元和与合并单元耦合的应用之间的用于转发指令的通信，可以以简单的方式经由插座、优选TCP插座进行。以这种方式，可以将附加的传感器单元和/或应用容易地集成到系统中。同样可以使用其它合适的通信方法和协议。
根据一个优选变形方案，以JSON数据格式对指令消息进行编码。这种标准化的数据格式提供容易理解、轻松可读并且可以简单地用已知工具处理的数据格式，其也使得能够以简单的方式接收变化的数量的参数。
前面描述的方法在接收第一指令信息之前包括如下步骤：由第一传感器装置以传感器数据的形式采集由系统的用户给出的输入信号。向第一传感器数据分析装置转发接收到的传感器数据，第一传感器数据分析装置从这些传感器数据中识别针对可与合并单元耦合的应用的指令。然后，传感器数据分析装置产生对应的指令消息，并且向合并单元转发该指令消息。
通常，作为用户输入其它输入信号的结果，还优选在并行或者同时使用不同的模态的情况下，多次重复对应的步骤。
具有前面描述的类型的合并单元的用于处理多模输入信号的系统的一个优选实施方式，还包括多个传感器装置。这些传感器装置被配置为采集传感器数据的形式的输入信号。在此，这些传感器装置中的至少两个与不同的模态相关联。例如，一个传感器装置可以被构造为照相机，用于采集用户的姿势或者用于采集用户的瞳孔运动。另一个传感器装置可以被构造用于记录所说的语言。最后，一个传感器装置也可以被构造为触摸敏感的输入装置，例如被构造为触摸屏或者触摸垫。
系统还包括至少一个传感器数据分析装置。其被配置用于接收来自一个或更多个传感器装置的传感器数据，从传感器数据中识别针对可与合并单元耦合的应用的指令，并且向合并单元转发描述相应的指令的指令消息。
至少一个传感器数据分析装置例如可以被配置为从借助照相机采集的图像数据中提取用户的姿势作为输入信号，并且从中识别针对可与合并单元耦合的应用的对应的指令。此外，该传感器数据分析装置或者另一个传感器数据分析装置可以被配置为从借助照相机采集的图像数据中提取用户的视线走向作为输入信号，并且从中识别针对可与合并单元耦合的应用的指令。所提及的类型的传感器数据分析装置还可以被配置为从记录的语音数据中提取在用户侧输入的语音命令作为输入信号，并且从中识别针对可与合并单元耦合的应用的指令。最后，可以存在传感器数据分析装置，其被配置为从采集的触摸数据中提取在用户侧输入的与接触有关的输入姿势，例如轻击、拖动、按压、滑动等，作为输入信号，并且从中识别针对可与合并单元耦合的应用的指令。
系统还可以包括至少一个预处理器，其被配置用于对从至少一个传感器数据分析装置接收到的指令消息进行预处理，例如进行平滑，然后向合并单元转发。
前面描述的系统可以被配置用于支持车辆辅助系统、例如汽车的导航系统的操作或者控制。
只要未在个别情况下另外描述，则可以将在本申请中提及的本发明的不同的实施方式有利地彼此组合。
附图说明
下面，在实施例中根据所属的附图示例性地说明本发明。其中：
图1示出了用于处理多模输入信号的系统的一个优选实施方式，以及
图2示出了用于处理多模输入信号的方法的一个优选实施方式的步骤。
具体实施方式
图1示出了用于处理多模输入信号的系统40。多模输入信号在此可以经由不同的传感器装置10,12,14,16采集，其形成系统的第一层。传感器装置10被配置用于采集语音数据。不同的照相机装置12,14可以以图像数据的形式一方面采集用户的瞳孔大小和运动，另一方面采集用户的姿势，特别是手或者手指的姿势。触摸垫16可以采集与触摸相关的输入姿势。
在第二层提供多个传感器数据分析装置18,20,22。在此，每个传感器装置10,12,14,16与一个传感器数据分析装置18,20,22相关联，其被配置为对在传感器装置10,12,14,16侧采集的传感器数据进行分析。
传感器数据分析装置18例如包括用于分析语音数据的语音识别功能。传感器数据分析装置20被配置用于处理图像数据，为此，其包括图像识别应用程序，其被配置为处理不同类型的图像数据的在其中可识别的输入信号。传感器数据分析装置22被配置用于对经由触摸敏感的传感器装置16给出的输入信号进行分析。
在此，通常基于预先给定的要识别的模板或姿势或者预先给定的要识别的词汇表，进行对传感器数据的分析。传感器数据分析装置18的语音识别装置例如能够识别预定数量的特定输入命令，并且将这些输入命令中的每一个与和命令相关联的指令相关联。以类似的方式，针对传感器数据分析装置20的图像识别装置例如预先给定特定的手或者手指的姿势，将其直接与对应的指令相关联。例如可以将语音命令“进一步”与用于在文档或者菜单中进一步翻阅的指令相关联。也可以将预先给定的手势、例如从右向左快速滑动与同一指令相关联。
传感器数据分析装置18,20,22被配置为以指令消息的形式，向连接在合并单元26或者合并单元26中的一个上游的预处理器24转发识别出的指令。合并单元26和可选的预处理器24形成系统40的第三层。
预处理器24被配置为对指令消息进行预处理。传感器数据分析装置20通常以大约30Hz的高更新频率，向预处理器24或者合并单元26发送例如与用户的视线位置有关的、基于由传感器装置12识别出的用户的瞳孔运动得出的指令消息。经由这些指令消息传输的视线位置经常不表示对视线走向的平滑或者连续的描述，而由于人眼的自然特性经常更像是不连续或者“断断续续”的。尽管如此，为了获得例如经由该视线方向控制的光标的平滑并且连续的走向，可以在预处理器24内进行对应的平滑。然后，预处理器基于平滑后的视线坐标参数，向合并单元26转发对应的指令消息。为此，可以在所提及的预处理器24中置入不同的图像平滑算法，特别是使用合适的滤波器(低通滤波器)。在这些平滑算法侧同样可以使用其它输入参数，例如，在连续的指令消息之间眼睛位置的改变有多强烈。如果识别出的改变非常大，则临时放弃借助低通滤波器的滤波是有利的，因为否则产生的光标走向太过“拖延”，也就是说，具有可识别的、对于用户产生干扰的延迟。
然后，在合并单元26中，将接收到的指令消息以下面参考图2详细描述的方式合并。合并单元26向与合并单元耦合的不同的应用28,30,32中的至少一个转发通过合并处理的这些指令，也就是说，由合并步骤产生的这些指令。
系统的第四层中的应用28,30,32分别以特定方式对指令进行处理，例如用于控制与相应的应用耦合的图形用户接口(GUI)34,36。
预处理器24和合并单元26集成在多模服务器38中。这样的多模服务器38例如可以存在于汽车中，并且用于对经由前面描述的一系列传感器10,12,14,16采集的多模输入信号进行处理，以便由此例如控制或者操作车辆辅助系统。
下面，参考图2示例性地描述用于处理多模输入信号的方法的一个优选实施方式的步骤。
在步骤S1中，系统40的用户例如通过说出输入命令来输入一个输入信号，该输入命令在步骤S2中由对应的传感器装置10采集，并且在步骤S3中在对应的传感器数据分析装置18侧被识别。传感器数据分析装置18在步骤S4中产生描述对应的指令的指令消息，并且向合并单元26转发该指令消息。
可以在时间上并行地或者至少交叉地，但是也可以在时间上有间隔而不交叉地，经由其它模态，例如经由输入姿势、经由视线方向或者经由在触摸垫16上的输入，进行用户的其它输入，如在图2中对于步骤S1’至S4’以及S1”至S4”所示出的。
现在，为了进一步处理指令消息，在合并单元26中基本上可以划分3个处理级。
在第一级中，在步骤S5中合并单元接收指令消息，并且在步骤S6中对于接收到的指令消息中的每一个产生候选对象。
在此，候选对象描述包含在指令消息中的对应的指令，并且包括给出候选对象的有效期的候选对象的有效期规定。该有效期也称为有效时间段。优选候选对象还包括候选对象的权重。
除了对指令的描述之外，如合并单元在步骤S5中接收到的指令消息还包括其它参数，例如传感器装置参数，其给出基于哪些传感器数据(语音数据、图像数据等)识别出了该指令消息。指令消息的应用参数给出在指令消息中描述的应用指的是应用28,30,32中的哪一个(对照图1)。指令消息还可以包括采集时间参数。该参数描述在传感器装置侧采集基于其产生指令消息的传感器数据的时间区间。另一个与时间有关的参数是识别时间参数。该参数指定时间点，在该时间点，对应的传感器数据分析装置从对应的传感器数据中识别出在指令消息中描述的指令。基于该最后提及的与时间有关的参数，合并单元26可以确定候选对象的有效期。该有效期例如可以经由最小寿命(minTTL)、即第一时间区间和最大寿命(maxTTL)、即第二时间区间，相应地参考共同的起始时间点来确定。
除了所提及的参数之外，指令消息通常还包括置信参数。其指定，传感器数据分析装置有多可靠地从各个传感器数据中识别出所描述的指令。合并单元26依据该置信参数确定候选对象的权重。例如，可以在第一步骤中对候选对象分配0和1之间的权重参数“weight”。然后，将该权重参数“weight”乘以置信参数“conf”。由此得出候选对象的权重“score”：score:＝conf*weight。
在第二处理级中，将产生的候选对象以下面描述的方式合并。在此，将兼容的、在时间上实际同时出现的指令组合，以防止意外的多次执行。此外，合并处理使得能够消除可能由于错误的采集或者识别而出现的、与其它指令冲突的指令。以这种方式能够确保对输入信号，特别是还对并行或者同时经由不同的模态输入的输入信号的鲁棒的识别和处理。
在步骤S7中，从有效时间段尚未到期的候选对象的集合中选择第一和第二候选对象。
在步骤S8中，检查第一候选对象的有效时间段与第二候选对象的有效时间段是否重叠。如果不是这种情况，则在步骤S7中选择新的候选对象。为了简化在时间上重叠的候选对象的寻找，例如可以对候选对象在时间上与其各自的有效时间段有关地进行排序。
如果对应的有效时间段重叠，则在步骤S9中检查在第一候选对象侧描述的第一指令是否与在第二候选对象侧描述的指令产生竞争。如果不是这种情况，则从合并步骤中不变地产生这两个候选对象。该合并方法以步骤S7继续进行。
相反，如果存在产生竞争的指令，则将其合并，如对于步骤S10所示出的。
在子步骤S10.1中，检查第一指令是否与第二指令产生冲突。如果是这种情况，则在子步骤S10.2中消除两个候选对象中具有较小的权重的候选对象。替换地可以设置为，如果其权重相应地不超过预先给定的最小权重，则消除两个候选对象。也可以设置为，当与候选对象分别相关联的权重之间的差值不超过预先给定的最小差值时，消除两个候选对象。
如果未被消除的候选对象的有效时间段当时未到期，则该候选对象进一步参与以步骤S7继续进行的合并处理。
在第一指令与第二指令兼容的情况下，在子步骤S10.3中形成合并的候选对象，来代替第一和第二候选对象。
特别是，当第一指令和第二指令相同时，存在兼容的指令。在这种情况下，合并的应用描述对应的应用。合并的候选对象的有效时间段和权重分别依据第一和第二候选对象的有效时间段和权重形成。在此，合并的候选对象的有效时间段例如一方面可以对应于合并的两个候选对象的有效时间段中的一个，或者可以由对应的有效时间段的合集或者交集形成。作为替换方式，合并的候选对象的有效时间段也可以从合并的候选对象的有效时间段中的至少一个中导出。合并的候选对象的权重通常大于第一和第二候选对象的权重。由此，合并的候选对象的优先级被加强。现在，再次向以步骤S7开始的合并处理馈送合并的候选对象。不进一步考虑合并的两个候选对象。
只要存在具有活动的有效时间段的候选对象，则合并处理，也就是说，步骤S7至S10可以在合并单元26中继续进行。
现在，在以步骤S11开始的第三处理级中，观察有效时间段到期的、尚未被消除的候选对象，因此其不再参与步骤S7至S10的合并处理。在步骤S11中，从该集合中选择候选对象。
在步骤S12中，向适合于或者被设置用于执行指令的应用28,30,32转发由该候选对象描述的指令。在此，特别是可以经由前面提及的候选对象的应用参数来控制转发。
现在，应用对指令的处理本身是特定于应用的，并且不再是当前描述的方法的内容。
下面，以编号的项给出本发明的优选实施方式：
1.一种用于处理多模输入信号的系统的合并单元中的方法可以包括以下步骤：
-接收相应地描述指令的指令消息，所述指令能够在能与所述合并单元耦合的应用侧执行；
-对于指令消息中的至少两个：产生用于指令消息的候选对象，其中，所述候选对象描述所述指令并且包括所述候选对象的有效期规定，
-如果候选对象中的两个的有效期规定给出重叠的有效期，则将这两个候选对象合并；以及
-向所述应用转发指令，该指令通过由合并步骤产生的候选对象描述。
2.在根据第1项所述的方法中，如果由相应的候选对象描述的指令不产生竞争，则可以由合并步骤不变地产生候选对象。
3.根据第1或第2项所述的方法可以包括以下步骤：
-从第一传感器数据分析装置接收第一指令消息，其中，第一指令消息描述第一指令，第一指令能够在能与所述合并单元耦合的应用侧执行；
-合并单元产生关于第一指令消息的第一候选对象，其中，第一候选对象描述第一指令并且包括第一候选对象的有效期规定以及第一候选对象的权重；
-从第二传感器数据分析装置接收第二指令消息，其中，第二指令消息描述第二指令，第二指令能够在能与所述合并单元耦合的应用侧执行；
-产生关于第二指令消息的第二候选对象，其中，第二候选对象描述第二指令并且包括第二候选对象的有效期规定以及第二候选对象的权重，以及
-如果第一候选对象的有效期规定给出第一有效时间，第一有效时间与由第二候选对象的有效期规定给出的第二有效时间重叠，并且如果第一指令与第二指令产生竞争，则与第一候选对象的权重和第二候选对象的权重有关地将第一候选对象与第二候选对象合并。
4.在根据第3项所述的方法中，在将第一候选对象与第二候选对象合并的步骤中，当第一指令与第二指令产生冲突时，可以将第一候选对象消除，或者将第二候选对象消除，或者将第一候选对象和第二候选对象都消除。
5.在根据第3项所述的方法中，在将第一候选对象与第二候选对象合并的步骤中，当第一指令与第二指令兼容时，可以形成合并的候选对象，其中，
由合并的候选对象描述的指令由第一指令或者由第二指令或者由第一指令和第二指令得出，以及其中，
合并的候选对象的有效期规定由第一候选对象的有效期规定或者由第二候选对象的有效期规定或者由第一候选对象的有效期规定和第二候选对象的有效期规定得出，以及其中，
合并的候选对象的权重由第一候选对象的权重或者由第二候选对象的权重或者由第一候选对象的权重和第二候选对象的权重得出。
6.在根据第5项所述的方法中，如果第一指令与第二指令一致，则由合并的候选对象描述的指令可以对应于第一指令。
7.在根据第5项所述的方法中，如果第一指令由一个或更多个第一指令参数指定，并且第二指令由一个或更多个第二指令参数指定，并且对应的第一和第二指令参数相应地处于预先给定的相似性容差区间内，则由合并的候选对象描述的指令可以对应于第一指令或者第二指令。
8.在根据第5项所述的方法中，当第二指令不对应于第一指令时，其中，第一指令由一个或更多个第一指令参数指定，并且第二指令由一个或更多个第二指令参数指定，并且对应的第一和第二指令参数相应地处于预先给定的兼容性容差区间内，由合并的候选对象描述的指令可以由一个或更多个第三指令参数指定，其相对于对应的第一和第二指令参数相应地位于对应的可比较性容差区间内。
9.在根据第5至第8项中至少一项所述的方法中，合并的候选对象的有效期规定可以对应于第一候选对象的有效期规定，或者对应于第二候选对象的有效期规定，或者给出包括第一候选对象的有效时间与第二候选对象的有效时间的交集的有效时间，或者给出由第一候选对象的有效时间与第二候选对象的有效时间的合集(Vereinigung)包含的有效时间。
10.在根据第5至第9项中至少一项所述的方法中，合并的候选对象的权重可以大于第一候选对象的权重和第二候选对象的权重。
11.在根据第1至第10项中至少一项所述的方法中，第一候选对象的有效期规定可以与第一指令消息有关地产生。
12.在根据第1至第11项中至少一项所述的方法中，第一候选对象的有效期规定可以与分配给第一传感器装置的模态有关地产生，传感器装置采集传感器数据，第一传感器数据分析装置基于传感器数据产生第一指令消息。
13.在根据第3至第12项中至少一项所述的方法中，第一候选对象的权重可以与第一指令消息有关地产生。
14.在根据第3至第13项中至少一项所述的方法中，第一候选对象的权重可以与分配给第一传感器装置的模态有关地产生，传感器装置采集传感器数据，第一传感器数据分析装置基于传感器数据产生第一指令消息。
15.在根据第1至第14项中至少一项所述的方法中，接收到的指令消息可以包括传感器装置参数，传感器装置参数描述提供了传感器数据的传感器装置，传感器数据分析装置基于传感器数据产生指令消息。
16.在根据第1至第15项中至少一项所述的方法中，接收到的指令消息可以包括应用参数，应用参数指定被配置或者设置为执行指令的一个或更多个应用。
17.在根据第1至第16项中至少一项所述的方法中，接收到的指令消息可以包括采集时间参数，采集时间参数指定在传感器装置侧采集传感器数据的采集时间区间，传感器数据分析装置基于传感器数据产生指令消息。
18.在根据第1至第17项中至少一项所述的方法中，接收到的指令消息可以包括识别时间参数，识别时间参数指定识别时间点，在该识别时间点，传感器数据分析装置从在传感器装置侧接收到的传感器数据中识别出在指令消息中描述的指令。
19.在根据第17或第18项所述的方法中，候选对象的有效期规定可以与采集时间参数有关地确定。
20.在根据第17至第19项所述的方法中，候选对象的有效期规定可以与识别时间参数有关地确定。
21.在根据第1至第20项中至少一项所述的方法中，接收到的指令消息可以包括置信参数，置信参数指定，传感器数据分析装置有多可靠地从在传感器装置侧接收到的传感器数据中识别出在指令消息中描述的指令。
22.在根据第21项所述的方法中，候选对象的权重可以与置信参数有关地确定。
23.在根据第1至第22项中至少一项所述的方法中，可以将采集传感器数据的第一传感器装置与第一模态相关联，第一传感器数据分析装置基于所采集的传感器数据产生第一指令消息，第一模态与第二模态不同，第二模态与采集传感器数据的第二传感器装置相关联，第二传感器数据分析装置基于所采集的传感器数据产生第二指令消息。
24.根据第1至第23项中至少一项所述的方法对于直至有效时间到期未被消除的每个候选对象可以包括如下的其它步骤：
-向与合并单元耦合的应用转发由候选对象描述的指令，该应用适合于或者专门用于执行该指令。
25.在根据第1至第24项中至少一项所述的方法中，候选对象还可以包括合并参数，合并参数给出是否提供候选对象，以进行潜在的与其它候选对象的合并，如果是，在什么时间点提供候选对象，以进行潜在的与其它候选对象的合并。
26.在根据第25项所述的方法中，合并参数可以给出，直接向适合于或者专门用于执行指令的、与合并单元耦合的应用，转发由候选对象描述的指令。
27.在根据第26项所述的方法中，合并参数还可以给出，在转发由候选对象描述的指令之后，提供候选对象用于进行潜在的与其它这些候选对象的合并，所述其它候选对象描述与由候选对象描述的指令冲突的其它指令。
28.在根据第26项所述的方法中，合并参数还可以给出，在转发由候选对象描述的指令之后，不提供候选对象用于进行潜在的与其它候选对象的合并。
29.在根据第25项所述的方法中，合并参数可以给出，在候选对象的有效时间到期之后，向与合并单元耦合的应用转发由候选对象描述的指令，该应用适合于或者专门用于执行指令，并且在第一候选对象的有效时间到期之前，提供第一候选对象，以进行潜在的与描述其它指令的其它候选对象的合并，该其它指令与由候选对象描述的指令冲突。
30.在根据第1至第29项中至少一项所述的方法中，传感器装置和传感器数据分析装置之间的用于传输由传感器装置采集的传感器数据的通信，或者传感器数据分析装置和合并单元之间的用于传输指令消息的通信，或者合并单元和与合并单元耦合的应用之间的用于转发指令的通信，可以经由插座进行。
31.在根据第1至第30项中至少一项所述的方法中，可以以JSON数据格式对指令消息进行编码。
32.根据第1至第31项中至少一项所述的方法可以包括接收第一指令消息之前的如下其它步骤：
-第一传感器装置以传感器数据的形式采集由用户输入的第一输入信号；
-第一传感器数据分析装置接收来自第一传感器装置的传感器数据，并且识别针对能与合并单元耦合的应用的指令；
-第一传感器数据分析装置产生第一指令消息；以及
-向合并单元转发第一指令消息。
33.一种用于处理多模输入信号的系统的合并单元可以被配置用于，
-至少一个传感器数据分析装置接收相应地描述指令的指令消息，所述指令能够在能与所述合并单元耦合的应用侧执行；
-对于指令消息中的至少两个，分别产生用于指令消息的候选对象，其中，所述候选对象分别描述所述指令并且分别包括所述候选对象的有效期规定，
-如果候选对象中的两个的有效期规定给出重叠的有效期，则将这两个候选对象合并；以及
-向所述应用转发指令，该指令通过由合并步骤产生的候选对象描述。
34.根据第33项所述的合并单元可以被配置并且确定用于执行根据第2至第32项中的至少一项所述的方法。
35.一种具有根据第33或34项所述的合并单元的用于处理多模输入信号的系统可以包括以下部件：
-多个传感器装置，其被配置用于以传感器数据的形式采集输入信号，其中，传感器装置中的至少两个与不同的模态相关联，以及
-至少一个传感器数据分析装置，其被配置用于接收传感器装置的传感器数据，从传感器数据中识别针对能与合并单元耦合的应用的指令，并且向合并单元发送描述指令的指令消息。
36.在根据第35项所述的系统中，传感器装置中的一个可以被构造为照相机。
37.在根据第36项所述的系统中，至少一个传感器数据分析装置可以被配置为从借助照相机采集的图像数据中提取用户的姿势作为输入信号，并且从中识别针对可与合并单元耦合的应用的指令。
38.在根据第36或37项所述的系统中，至少一个传感器数据分析装置可以被配置为从借助照相机采集的图像数据中提取用户的视线走向作为输入信号，并且从中识别针对可与合并单元耦合的应用的指令。
39.在根据第35至第38项中至少一项所述的系统中，传感器装置中的一个可以被构造用于记录说出的语音。
40.在根据第39项所述的系统中，至少一个传感器数据分析装置可以被配置为从记录的语音数据中提取在用户侧输入的语音命令作为输入信号，并且从中识别针对可与合并单元耦合的应用的指令
41.在根据第35至第40项中至少一项所述的系统中，传感器装置中的一个可以被构造为触摸敏感的输入装置，特别是被构造为触摸屏或者触摸垫。
42.在根据第41项所述的系统中，至少一个传感器数据分析装置可以被配置为从借助输入装置采集的触摸数据中提取在用户侧输入的与接触有关的输入姿势作为输入信号，并且从中识别针对可与合并单元耦合的应用的指令。
43.根据第35至第42项中至少一项所述的系统可以包括至少一个预处理器，其被配置用于对从至少一个传感器数据分析装置接收到的指令消息进行预处理，并且向合并单元转发。
44.一种汽车可以包括根据第35至第43项中至少一项所述的系统，其中，所述系统被配置用于支持车辆辅助系统的操作或者控制。
附图标记列表
10 传感器装置(语音)
12 传感器装置(图像)
14 传感器装置(图像)
16 传感器装置(触摸)
18 传感器数据分析装置(语音识别)
20 传感器数据分析装置(图像识别)
22 传感器数据分析装置(触摸识别)
24 预处理器
26 合并单元
28 应用
30 应用
32 应用
34 GUI
36 GUI
38 多模服务器
40 系统
S...,S...‘,S...“ 用于处理多模输入信号的方法的步骤。

Claims (15)

1.一种用于处理多模输入信号的系统的合并单元中的方法，包括如下步骤：
-接收相应地描述指令的指令消息，所述指令能够在能与所述合并单元耦合的应用侧执行；
-对于指令消息中的至少两个：产生用于指令消息的候选对象，其中，所述候选对象描述所述指令并且包括所述候选对象的有效期规定，
-如果候选对象中的两个的有效期规定给出重叠的有效期，则将这两个候选对象合并；以及
-向所述应用转发指令，向所述应用转发的指令通过由将两个候选对象合并的步骤产生的候选对象描述。
2.根据权利要求1所述的方法，其特征在于，如果由相应的候选对象描述的指令不产生竞争，则由将两个候选对象合并的步骤不变地产生候选对象。
3.根据权利要求1所述的方法，其特征在于如下步骤：
-从第一传感器数据分析装置接收第一指令消息，其中，第一指令消息描述第一指令，第一指令能够在能与所述合并单元耦合的应用侧执行；
-产生关于第一指令消息的第一候选对象，其中，第一候选对象描述第一指令并且包括第一候选对象的有效期规定以及第一候选对象的权重；
-从第二传感器数据分析装置接收第二指令消息，其中，第二指令消息描述第二指令，第二指令能够在能与所述合并单元耦合的应用侧执行；
-产生关于第二指令消息的第二候选对象，其中，第二候选对象描述第二指令并且包括第二候选对象的有效期规定以及第二候选对象的权重，以及-如果第一候选对象的有效期规定给出第一有效时间，第一有效时间与由第二候选对象的有效期规定给出的第二有效时间重叠，并且如果第一指令与第二指令产生竞争，则与第一候选对象的权重和第二候选对象的权重有关地将第一候选对象与第二候选对象合并。
4.根据权利要求3所述的方法，其特征在于，在将第一候选对象与第二候选对象合并的步骤中，当第一指令与第二指令产生冲突时，将第一候选对象消除，或者将第二候选对象消除，或者将第一候选对象和第二候选对象都消除。
5.根据权利要求3所述的方法，其特征在于，在将第一候选对象与第二候选对象合并的步骤中，当第一指令与第二指令兼容时，形成合并的候选对象，其中，
由合并的候选对象描述的指令由第一指令或者由第二指令或者由第一指令和第二指令得出，以及其中，
合并的候选对象的有效期规定由第一候选对象的有效期规定或者由第二候选对象的有效期规定或者由第一候选对象的有效期规定和第二候选对象的有效期规定得出，以及其中，
合并的候选对象的权重由第一候选对象的权重或者由第二候选对象的权重或者由第一候选对象的权重和第二候选对象的权重得出。
6.根据权利要求1至5中任一项所述的方法，其特征在于，候选对象的有效期规定与对应的指令消息有关地和/或与分配给传感器装置的模态有关地产生，传感器装置采集传感器数据，传感器数据分析装置基于传感器数据产生指令消息。
7.根据权利要求3至5中任一项所述的方法，其特征在于，候选对象的权重与对应的指令消息有关地和/或与分配给传感器装置的模态有关地产生，传感器装置采集传感器数据，传感器数据分析装置基于传感器数据产生指令消息。
8.根据权利要求1至5中任一项所述的方法，其特征在于，接收到的指令消息包括采集时间参数，采集时间参数指定在传感器装置侧采集传感器数据的采集时间区间，传感器数据分析装置基于传感器数据产生指令消息，和/或接收到的指令消息包括识别时间参数，识别时间参数指定识别时间点，在该识别时间点，传感器数据分析装置从在传感器装置侧接收到的传感器数据中识别出在指令消息中描述的指令，其中，候选对象的有效期规定与采集时间参数和/或识别时间参数有关地被确定。
9.根据权利要求3至5中任一项所述的方法，其特征在于，接收到的指令消息包括置信参数，置信参数指定传感器数据分析装置从在传感器装置侧接收到的传感器数据中识别出在指令消息中描述的指令有多可靠，其中，候选对象的权重与置信参数有关地被确定。
10.根据权利要求1至5中任一项所述的方法，其特征在于，将采集传感器数据的第一传感器装置与第一模态相关联，第一传感器数据分析装置基于所采集的传感器数据产生第一指令消息，第一模态与第二模态不同，第二模态与采集传感器数据的第二传感器装置相关联，第二传感器数据分析装置基于所采集的传感器数据产生第二指令消息。
11.根据权利要求1至5中任一项所述的方法，其特征在于，候选对象还包括合并参数，合并参数给出以何种形式和/或在什么时间点提供候选对象，以进行潜在的与其它候选对象的合并。
12.根据权利要求1至5中任一项所述的方法，其特征在于接收第一指令消息之前的如下其它步骤：
-第一传感器装置以传感器数据的形式采集由用户输入的第一输入信号；
-第一传感器数据分析装置接收来自传感器装置的传感器数据，并且识别针对能与合并单元耦合的应用的指令；
-第一传感器数据分析装置产生第一指令消息；以及
-向合并单元转发第一指令消息。
13.一种用于处理多模输入信号的系统的合并单元，其中，合并单元被配置用于
-接收相应地描述指令的指令消息，所述指令能够在能与所述合并单元耦合的应用侧执行；
-对于指令消息中的至少两个，分别产生用于指令消息的候选对象，其中，所述候选对象分别描述所述指令并且分别包括所述候选对象的有效期规定，
-如果候选对象中的两个的有效期规定给出重叠的有效期，则将这两个候选对象合并；以及
-向所述应用转发指令，向所述应用转发的指令通过由将两个候选对象合并的步骤产生的候选对象描述。
14.一种具有根据权利要求13所述的合并单元的用于处理多模输入信号的系统，还包括：
-多个传感器装置，其被配置用于以传感器数据的形式采集输入信号，其中，传感器装置中的至少两个与不同的模态相关联，以及
-至少一个传感器数据分析装置，其被配置用于接收传感器装置的传感器数据，从传感器数据中识别针对能与合并单元耦合的应用的指令，并且向合并单元发送描述指令的指令消息。
15.一种具有根据权利要求14所述的系统的汽车，其特征在于，所述系统被配置用于支持汽车的车辆辅助系统的操作或者控制。
CN201610637826.8A 2015-08-06 2016-08-05 用于处理多模输入信号的方法和系统 Active CN106445100B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015215044.5 2015-08-06
DE102015215044.5A DE102015215044A1 (de) 2015-08-06 2015-08-06 Verfahren und System zur Verarbeitung multimodaler Eingabesignale

Publications (2)

Publication Number Publication Date
CN106445100A CN106445100A (zh) 2017-02-22
CN106445100B true CN106445100B (zh) 2019-08-02

Family

ID=57853785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610637826.8A Active CN106445100B (zh) 2015-08-06 2016-08-05 用于处理多模输入信号的方法和系统

Country Status (3)

Country Link
US (1) US9594610B2 (zh)
CN (1) CN106445100B (zh)
DE (1) DE102015215044A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10832031B2 (en) * 2016-08-15 2020-11-10 Apple Inc. Command processing using multimodal signal analysis
JP6489250B1 (ja) * 2018-02-13 2019-03-27 オムロン株式会社 候補抽出装置、候補抽出方法及びプログラム
CN112506125A (zh) * 2020-11-19 2021-03-16 北京蓦然认知科技有限公司 一种多模态控制方法、装置和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1799020A (zh) * 2003-06-02 2006-07-05 佳能株式会社 信息处理方法和设备
CN104035551A (zh) * 2013-03-08 2014-09-10 联想(北京)有限公司 一种输入方法及电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE20015605U1 (de) 2000-09-08 2000-11-30 Caa Ag Wartungssystem für ein Fahrzeug
US8213917B2 (en) * 2006-05-05 2012-07-03 Waloomba Tech Ltd., L.L.C. Reusable multimodal application
US7676754B2 (en) * 2004-05-04 2010-03-09 International Business Machines Corporation Method and program product for resolving ambiguities through fading marks in a user interface
US7577959B2 (en) * 2004-06-24 2009-08-18 International Business Machines Corporation Providing on-demand capabilities using virtual machines and clustering processes
DE102008051756A1 (de) 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
DE102009027253A1 (de) * 2009-06-26 2010-12-30 Deutsche Telekom Ag Anordnung und Verfahren zur Bedienung eines Media-Gerätes
US20120222004A1 (en) * 2011-02-24 2012-08-30 Intuit Inc. Publishing and updating of multidimensional models using orchestration tools for software offerings
US9389681B2 (en) 2011-12-19 2016-07-12 Microsoft Technology Licensing, Llc Sensor fusion interface for multiple sensor input
WO2013170383A1 (en) 2012-05-16 2013-11-21 Xtreme Interactions Inc. System, device and method for processing interlaced multimodal user input
US10139937B2 (en) 2012-10-12 2018-11-27 Microsoft Technology Licensing, Llc Multi-modal user expressions and user intensity as interactions with an application

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1799020A (zh) * 2003-06-02 2006-07-05 佳能株式会社 信息处理方法和设备
CN104035551A (zh) * 2013-03-08 2014-09-10 联想(北京)有限公司 一种输入方法及电子设备

Also Published As

Publication number Publication date
US9594610B2 (en) 2017-03-14
CN106445100A (zh) 2017-02-22
US20170039097A1 (en) 2017-02-09
DE102015215044A1 (de) 2017-02-09

Similar Documents

Publication Publication Date Title
EP2659336B1 (en) User interface, apparatus and method for gesture recognition
EP2972669B1 (en) Depth-based user interface gesture control
EP2836892B1 (en) Control of remote device based on gestures
US20200225756A9 (en) System and method for close-range movement tracking
US9529527B2 (en) Information processing apparatus and control method, and recording medium
JP6902234B2 (ja) 文字列に文字を挿入するための方法および対応するデジタルデバイス
CN106445100B (zh) 用于处理多模输入信号的方法和系统
US20140351758A1 (en) Object selecting device
EP2703950A1 (en) Information processing device, information processing method, and recording medium
KR102347248B1 (ko) 터치 제스쳐 인식 방법 및 장치
EP2996022A1 (en) Input assistance device, input assistance method, and program
JP2009093291A (ja) ジェスチャー判定装置及び方法
JPWO2007088939A1 (ja) 情報処理装置
JP6711817B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
US20120218307A1 (en) Electronic device with touch control screen and display control method thereof
US20140298223A1 (en) Systems and methods for drawing shapes and issuing gesture-based control commands on the same draw grid
JP2012027515A (ja) 入力方法及び入力装置
EP2677404A1 (en) Touch input device, electronic apparatus, and input method
US20130229348A1 (en) Driving method of virtual mouse
CN104185829A (zh) 显示控制设备、显示控制方法和程序
JP5062898B2 (ja) ユーザインタフェイス装置
CN106095303A (zh) 一种应用程序操作方法及装置
JP6289655B2 (ja) 画面操作装置及び画面操作方法
JP6463209B2 (ja) 表示装置及び表示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant