CN104516499A - 利用用户接口的事件的设备和方法 - Google Patents

利用用户接口的事件的设备和方法 Download PDF

Info

Publication number
CN104516499A
CN104516499A CN201410361004.2A CN201410361004A CN104516499A CN 104516499 A CN104516499 A CN 104516499A CN 201410361004 A CN201410361004 A CN 201410361004A CN 104516499 A CN104516499 A CN 104516499A
Authority
CN
China
Prior art keywords
event
class
speed component
typical value
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410361004.2A
Other languages
English (en)
Other versions
CN104516499B (zh
Inventor
李圭彬
柳贤锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN201910303747.7A priority Critical patent/CN110045829B/zh
Publication of CN104516499A publication Critical patent/CN104516499A/zh
Application granted granted Critical
Publication of CN104516499B publication Critical patent/CN104516499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种利用用户接口的事件的设备和方法。提供一种用于用户接口的设备和用户接口的方法。所述设备可包括：分类器，被配置为将事件归类为与至少两类中的一类对应；更新器，被配置为更新关于与事件对应的类的类信息；处理器，被配置为基于更新后的类信息确定与事件对应的用户输入。

Description

利用用户接口的事件的设备和方法
技术领域
下面的描述涉及一种提供用户接口的设备和实现用户接口的方法，以及一种处理用户输入事件的设备和方法。
背景技术
人机交互(HCI)涉及改善用户和计算机之间的交互的研究。各种可用的用户接口使用鼠标、键盘、触摸屏等来将来自用户的输入传送到计算机。可通过硬件组件、软件组件或两者的组合来实现这样的用户接口。
例如，移动终端(诸如，智能电话)的触摸屏上的图形用户接口可包括诸如用于检测用户的输入的触摸屏的硬件组件，以及将按钮或图标的适当显示提供给用户来在触摸屏上做出选择的软件组件。
随着电子装置中的相机、麦克风以及其它交互组件的广泛应用，期望进一步改善用户和计算机之间的交互的用户接口，来充分利用可通过电子装置获得的各种功能。
发明内容
提供本发明内容来以简洁的形式介绍下面在具体实施方式中进一步描述的构思的选择。本发明内容并不意图标识要求主题的关键特征或基本特征，也不意图用于帮助确定要求的主题的范围。
在一个总体方面，用于用户接口的设备包括：分类器，被配置为将事件归类为与至少两类中的类对应；更新器，被配置为更新与对应于事件的类相关的类信息；处理器，被配置为基于更新后的类信息确定与事件对应的用户输入。
分类器可被配置为基于与所述至少两个类对应的代表值，将事件归类为与所述至少两个类中的类对应。
代表值可与关于所述至少两个类中的每一个的坐标或位置相关信息对应，或者与关于所述至少两个类中的每一个的频率、振幅或强度相关信息对应。
分类器可包括：比较器，被配置为将与事件对应的事件值与代表值进行比较；检测器，被配置为检测具有与事件值最近似的代表值的类。
更新后的类信息可包括：代表经过归类的事件的类的代表值。
所述至少两个类可与和用户输入相关联的至少两个对象对应。
处理器可被配置为跟踪所述至少两个对象来确定用户输入。
所述设备的总体方面可还包括：至少一个基于事件的传感器，被配置为检测事件。
所述至少一个基于事件的传感器可包括基于事件的视觉传感器、基于事件的声音传感器和基于事件的触摸传感器中的至少一个。
处理器可包括：光流计算器，被配置为计算与所述至少两个类对应的光流；速度分量计算器，被配置为基于计算出的光流计算与所述至少两个类对应的速度分量。
速度分量可包括以下速度分量中的至少一个：第一速度分量，产生事件的对象以所述第一速度分量在用于检测事件的虚拟平面上沿x轴方向移动；第二速度分量，对象以所述第二速度分量在虚拟平面上沿y轴方向移动；第三速度分量，对象以所述第三速度分量沿与虚拟平面正交的方向移动；第四速度分量，对象以所述第四速度分量在虚拟平面上旋转。
处理器还可包括：识别器，被配置为通过基于用户输入情境分析速度分量来识别用户输入。
处理器还可包括：识别器，被配置为通过基于速度分量分析经过分类的事件的类和至少一个其余类之间的相对速度，来识别用户输入。
处理器可包括：识别器，被配置为通过基于用户输入情境分析代表经过分类的事件的类的代表值和代表至少一个其余类的代表值来识别用户输入。
在另一个总体方面，用户接口的方法包括：接收包括事件的时间戳和事件的标识信息的信号；基于标识信息从多个预定类选择类；基于标识信息更新选择的类的代表值；基于时间戳更新与事件图中的事件对应的元素的值；基于事件图和所述多个类的代表值中的至少一个，确定与事件对应的用户输入。
事件的标识信息可包括：标识事件的索引、事件的坐标或位置相关信息、或关于事件的频率、振幅或强度相关信息；更新的步骤可包括更新存储在存储器中的元素的值。
选择的步骤可包括：将索引和所述多个类的代表值进行比较；检测具有与索引最近似的代表值的类。
确定的步骤可包括：基于更新后的元素和更新后的元素的周围元素，计算与更新后的元素对应的速度矢量；基于与更新后的元素对应的计算出的速度矢量，计算与选择出的类对应的多个速度分量；通过分析计算出的多个速度分量来识别用户输入。
计算速度矢量的步骤可包括：计算更新后的元素与周围元素之间的时间差；计算更新后的元素与周围元素之间的距离差；基于计算出的时间差和计算出的距离差，计算与更新后的元素对应的速度矢量。
所述多个速度分量可包括：第一速度分量，产生事件的对象以所述第一速度分量在用于检测事件的虚拟平面上沿x轴方向移动；第二速度分量，对象以所述第二速度分量在虚拟平面上沿y轴方向移动；第三速度分量，对象以所述第三速度分量沿与虚拟平面正交的方向移动；第四速度分量，对象以所述第四速度分量在虚拟平面上旋转。
计算所述多个速度分量的步骤可包括：从所述多个元素提取与选择出的类对应的元素；通过对提取出的元素的速度矢量取平均，来计算第一速度分量和第二速度分量；基于提取出的元素的速度矢量的大小，计算选择出的类的中心点；通过计算提取出的元素的速度矢量和从中心点朝向提取出的元素的矢量的内积，来计算第三速度分量；通过计算提取出的元素的速度矢量和从中心点朝向提取出的元素的矢量的外积，来计算第四速度分量。
确定的步骤可包括：分析选择出的类的更新后的代表值和其余类的代表值。
信号可包括被配置为检测事件的基于事件的传感器的输出信号。
在另一个总体方面，提供一种用户接口的方法，所述方法包括：接收与多个对象对应的事件；将每个事件归类为与对应于所述多个对象的多个类中的类对应；基于经过归类的事件，更新与所述多个类中的一个或更多个相关的类信息；基于更新后的类信息，确定用户输入。
分类的步骤可包括：针对每个事件，在所述多个类中检测具有与对应事件的值最近似的代表值的类。
类信息可包括：包括在类中的像素、包括在类中的事件和存储在存储器中的类的代表值中的至少一种。
确定的步骤可包括：针对类计算光流；基于计算出的光流计算类的速度分量；基于类的速度分量，识别用于处理用户输入的命令。
在另一个总体方面，一种非暂时性计算机可读存储介质包括程序，其中，所述程序包括用于使得计算机执行上面描述的方法的指令。
在另一个总体方面，一种用于用户接口的设备，所述设备包括：分类器，被配置为将事件分类为与所述多个对象中的对象对应；更新器，被配置为基于经过归类的事件，更新与所述多个对象中的至少一个对象对应的代表值；处理器，被配置为基于更新后的代表值，确定与事件对应的用户输入。
事件可包括：由传感器检测到的亮度变化事件、声音变化事件或触摸事件中的至少一种。
代表值可与关于所述至少两个类中的每一个的坐标或位置相关信息对应，或者与关于所述至少两个类中的每一个的频率、振幅或强度相关信息对应。
处理器可被配置为通过基于更新后的代表值确定关于所述多个对象中的一个或更多个对象的变化的方向，来确定用户输入。
处理器可被配置为通过确定所述多个对象中的一个对象相对于另一个对象的相对运动或所述多个对象中的一个或更多个对象产生的声音的频率、振幅或强度的变化，来基于更新后的代表值确定用户输入。
从下面的具体实施方式、附图和权利要求中，其它特征和方面将是清楚的。
附图说明
图1是示出用于用户接口的设备的示例的框图。
图2是示出用于用户接口的设备的另一示例的框图。
图3是示出对事件进行分类和更新类信息的方法的示例的示图。
图4是示出事件图的示例的示图。
图5是示出处理器的示图的框图。
图6是示出光流计算器的示例的示图。
图7是示出使用速度分量的输入方法的示例的示图。
图8是示出计算光流中心的方法的示例的示图。
图9是示出计算z轴速度和角速度的方法的示例的示图。
图10是示出用户接口的方法的示例的流程图。
图11A和图11B是示出事件图的示例的示图。
图12是示出用于用户接口的设备的另一示例的框图。
图13是示出跟踪对象的方法的示例的示图。
图14是示出用于用户接口的设备的另一示例的示图。
图15是示出用于用户接口的设备的另一示例的示图。
图16A和图16B是示出提供用户接口的方法的另一示例的示图。
图17是示出用于用户接口的设备的另一示例的示图。
在整个附图和详细描述中，除非另有提供或描述，否则相同的标号将被理解为指示相同的元件、特征和结构。附图可不被缩放，并且为了清楚、示出和方便起见，可夸大附图中的元素的相对大小、比例和描述。
具体实施方式
提供下面的详细描述以帮助读者对这里描述的方法、设备和/或系统获得全面的理解。然而，这里描述的系统、设备和/或方法的各种改变、修改以及等同物将对本领域的普通技术人员而言是清楚的。描述的处理步骤和/或操作的进行是示例；然而，步骤和/或操作的顺序不限于在此阐明的顺序，除了必须按照特定的顺序发生的步骤和/或操作以外，所述步骤和/或操作的顺序可如本领域中公知的被改变。此外，为了提高清楚性和简明性，对本领域的普通技术人员公知的功能和结构的描述可被省略。
这里描述的特征可以以不同的形式来实现，并且不应当被解释为局限于这里描述的示例。相反，已经提供这里描述的实施例，使得本公开将是彻底和完整的，并且将为本领域的普通技术人员传达本公开的全部范围。
图1示出提供用户接口的设备100的示例。
设备100可检测或监视事件的发生。事件可指用户接口事件。事件可与用于与设备交互的用户输入对应，并可包括，但不限于，各种可检测的输入事件，诸如，亮度变化事件、声音变化事件、触摸事件等。可通过各种基于事件的传感器来检测和/或输出事件。
例如，可由拍摄对象的拍摄图像的基于事件的视觉传感器来检测和输出事件。基于事件的视觉传感器可获得对象的拍摄图像，并可检测拍摄图像中的入射光的亮度随时间的变化。基于事件的视觉传感器可随后与已发生的亮度变化事件的时间异步地输出事件信号。例如，响应于检测到由相机拍摄的拍摄图像的预定像素处的亮度的增加，设备100可确定已发生了亮度增加事件。作为响应，基于事件的视觉传感器可针对预定像素输出ON事件。可选择地，响应于基于事件的视觉传感器检测到预定像素中的亮度的减少，设备100可确定已发生了亮度减小时间，并且基于事件的视觉传感器可输出与预定像素对应的OFF事件。
基于事件的视觉传感器可以是异步视觉传感器。相比基于帧的视觉传感器，基于事件的视觉传感器输出亮度已变化的图像的部分的像素数据，而不是以逐帧为基础扫描每个像素的光电二级管的输出。可由对象的移动造成进入视觉传感器的光的亮度的变化。例如，在光源相对于对象正移动的时间帧被基本固定在它的位置的情况下，对象不独立地发射光而是反射光，进入视觉传感器的光与从光源发射并由对象的表面反射的光对应。在对象相对于光源静止的情况下，由静止对象反射的光可基本不变。因此，对于静止对象，进入基于事件的视觉传感器的光的亮度没有变化。然而，对于在监视对象期间正移动的对象，由于对象的移动，由移动对象反射的光可变化。因此，由视觉传感器检测到的光的亮度的变化可传达关于对象的移动的信息。
由基于事件的视觉传感器响应于检测到对象移动而输出的事件信号可与和从人类视网膜传送到大脑的视神经信号类似的异步产生的信息相应。例如，基于事件的视觉传感器可对于静止对象不产生任何事件信号，并可响应于检测到移动对象而产生事件信号，这与响应于人类视网膜检测到移动对象而产生视神经信号非常相似。
虽然上面描述了利用给定像素处的亮度的变化的基于事件的视觉传感器作为示例，但是基于事件的视觉传感器不限于此。在另一示例中，视觉传感器可检测颜色的变化、深度的变化、辐射的变化等，而不是亮度的变化，来检测对象的移动。例如，基于事件的视觉传感器可检测像素处的颜色变化，而不是亮度变化。可使用例如来自国际照明委员会的颜色空间色度图将检测到的颜色转换为数值，数值可被用于将颜色变化事件归类为与多个类中的类对应。在另一示例中，红外线相机可用作基于事件的视觉传感器，来拍摄产生红外线辐射的对象的图像，由红外线相机检测到的红外线辐射的量的变化可用于监视对象的移动。红外线辐射也可用于确定所述对象是否是产生体热的活的对象。
在另一示例中，相比基于事件的视觉传感器，基于事件的声音传感器可用于检测环境的声音变化，并可输出事件信号。基于事件的声音传感器可检测接收到的声音的变化，并可异步地输出事件信号。例如，响应于在预定频带内增加的声音振幅，基于事件的声音传感器可检测到正发生响度增加事件，并可针对相应的频带输出ON事件。在另一方面，在基于事件的声音传感器检测到预定频带中声音的振幅的减少的情况下，基于事件的声音传感器可确定已发生响度减少事件，并可针对相应的频带输出OFF事件。
在另一示例中，基于事件的触摸传感器可检测触摸或触摸的变化，并可输出事件信号。基于事件的触摸传感器可检测施加的触摸的变化，并可相对于时间异步地输出事件信号。例如，在在触摸屏、触摸板等的预定位置检测到触摸输入事件的情况下，基于事件的触摸传感器可针对发生触摸输入的相应位置输出ON事件。响应于在预定位置检测到的触摸释放事件，基于事件的触摸传感器可针对相应的位置输出OFF事件。
参照图1，根据一个示例，用户接口设备100包括分类器110、更新器120和处理器130。
分类器110将检测到的事件归类为属于多个事件类中的一类的事件。可预先确定用于分类的可用的事件类，也就是说，可在检测事件之前确定或设置多个事件类。在一个示例中，分类器110可确定与检测到的事件最相似的类，并可将检测到的事件归类为属于所确定的类的事件。
由分类器110用于分类的多个类可包括相同类型的类。例如，所述多个类可包括与用户的左手相应的第一类和与用户的右手相应的第二类。响应于接收到新事件，分类器110可确定接收到的事件与第一类还是第二类对应。
可使用事件值表示事件。例如，响应于检测到亮度变化事件，可使用指示亮度已变化的像素的事件值表示相应的事件。类似地，响应于检测到声音变化事件，可使用指示声音已变化的频带的事件值表示相应的事件。此外，响应于检测到触摸事件，可用指示已发生触摸输入的位置的事件值表示相应的事件。
根据一个示例，所述多个类中的每一类包括表示相应类的代表值。每个类包括被预先归类的多个事件。基于被归类为相应类的事件的事件值计算表示每个类的代表值。例如，与用户的左手对应的像素的亮度变化可被确定为第一类，与用户的右手对应的像素的亮度变化可被确定为第二类。响应于接收到亮度变化事件，可基于指示亮度已变化的像素的事件值计算第一类和第二类中的每一类的代表值。
在这个示例中，分类器110将事件值与类的代表值进行比较，并计算接收到的事件和每个类之间的相似度。分类器110基于相似度确定接收到的事件与第一类还是第二类对应。例如，分类器110可在第一类和第二类之间选择具有更高相似度的类，并可将接收到的事件归类为所选择的类。
依据检测到的事件，所述多个类可包括不同类型的类。例如，除了第一类和第二类以外，所述多个类可还可包括关于声音变化事件的第三类。在这个示例中，分类器110可利用接收到的事件的类型对相应事件进行分类。响应于接收到声音变化事件，分类器110可确定接收到的事件与第三类最相似，并可将相应事件归类为第三类。
响应于分类器110基于事件类对事件进行分类，更新器120可更新关于经过分类的事件的类信息。关于事件的类的信息(以下称为类信息)可包括但不限于，像素识别信息、事件或事件类的代表值。更新器120可使用各种方案来更新类信息。例如，更新器120可将新归类为相应类的事件添加到先前被归类为相应类的事件，并可基于所有事件重新计算表示相应类的代表值。在另一示例中，更新器120可基于类的先前代表值和新经过归类的事件的事件值来更新所述类的代表值。例如，更新器120可使用下面的等式1更新检测到的事件的类：
[等式1]
在等式1中，ρi表示第i类的代表值，e表示与事件对应的事件值，α表示事件的权重。响应于第i类与所述事件最相似，更新器120可使用等式1中的第一表达式来更新第i类的代表值。响应于第i类不与事件最相似，更新器120可使用等式1中的第二表达式来保持类的先前代表值。
在这个示例中，处理器130基于更新后的类信息来处理与事件相应的用户输入。例如，处理器130可基于更新后的类信息来跟踪与所述多个类对应的对象，或获得所述对象的相对位置。跟踪的对象或相对位置被获得的对象可包括单个用户的双手或多个用户使用的多个输入装置。处理器130通过基于情境分析跟踪的对象来处理用户输入。响应于对象的相对位置之间的距离的减小，处理器130可缩小或可减小屏幕上的观察区域。相反地，响应于对象的相对位置之间的距离的增加，处理器可放大或可扩大屏幕上的观察区域。处理器130可输出包括对用户输入进行分析的结果的信号。由处理器130输出的信号可包括关于与所述多个类对应的对象的跟踪信息，或关于相关位置的信息。可通过各种有线和无线通信或云环境将由处理器130输出的信号传送到外部装置。
用户接口设备100可提供实时地将事件信息分类为至少两个类的技术。这样的实时信息分类技术可用于数据处理技术、人机交互(HCI)技术和图像处理技术。另外，用户接口设备100可提供通过对每个事件进行若干四则运算和比较操作来对事件进行分类的技术，从而能够快速、低功耗以及容易配置数字或模拟逻辑。用户接口设备100可与基于快速传送事件的通信技术结合。
图2示出用户接口设备200的另一示例。
参照图2，用户接口设备200包括分类器220、更新器230、处理器240和存储器250。参照图1提供的描述也适用于分类器220、更新器230和处理器240。用户接口设备200还包括基于事件的传感器210。基于事件的传感器210指使用人类神经系统的操作原则来感测事件的传感器，并可包括基于事件的视觉传感器、基于事件的声音传感器和基于事件的触摸传感器等。例如，人体使用各种感受器(诸如，用于检测压力、触摸和声音的机械感受器、用于检测可见光的光感受器，以及用于检测温度的温度感受器)，并将刺激转换为在中央神经系统整合的电信号，来允许人感知他的或她的环境的变化。
在用户接口设备200的一个示例中，基于事件的视觉传感器检测入射光的亮度的变化，并以相对于时间异步的方式输出事件信号。在另一示例中，基于事件的声音传感器检测接收到的声音的变化，并以针对时间异步的方式输出事件信号。在另一示例中，基于事件的触摸传感器检测施加的触摸的变化，并以异步方式输出事件信号。在另一示例中，各种基于事件的传感器用于检测事件并输出事件信号。
分类器220包括比较器221和检测器222。比较器221将事件和关于多个类的信息进行比较。例如，比较器221可将包括在事件信号中的事件值和所述多个类的代表值进行比较。检测器222基于由比较器221执行的比较的结果，检测与事件最相似的类。例如，检测器222可检测具有与事件值最相似的代表值的类。
响应于分类器220接收到亮度变化事件，包括在事件信号中的事件值可包括检测到的事件的像素索引(pixel index)和检测到的事件的时间戳。像素索引是指识别预定像素的信息，并可包括预定像素的位置信息或预定像素的坐标信息。所述多个类中的每个类可包括作为代表值的中心坐标。比较器221可将像素索引与所述多个类的中心坐标进行比较，检测器222可检测与像素索引最接近的中心坐标的类。
可使用各种方案确定像素索引和代表值之间的相似度。例如，可基于像素索引和代表值之间的距离确定相似度。在像素索引和代表值之间的距离相对短的情况下，可确定相对高的相似度。相反地，在像素索引和代表值之间的距离相对长的情况下，可确定相对低的相似度。可使用L2范数(还称为欧几里得范数)计算像素索引和代表值之间的距离，可基于N2范数的倒数计算像素索引和代表值之间的相似度。检测器222可基于L2范数的倒数来检测具有与像素索引最相似的代表值的类。
更新器230可基于检测到的类来更新与事件对应的类的代表值。类的代表值可被存储在存储器250中。
图3示出对事件进行分类和更新类信息的方法的示例。
参照图3，在310，用户接口设备接收新事件。在这个示例中，用户接口设备使用表示多个预定类的代表值来对接收到的事件进行分类。例如，用户接口设备可使用表示第一类的第一代表值CP1和表示第二类的第二代表值CP2。如上所述，第一代表值CP1和第二代表值CP2可分别与第一类的中心坐标和第二类的中心坐标对应。
在320，用户接口设备获得与接收到的事件对应的事件值E。在330，用户接口设备将事件值E与两个类的代表值进行比较。
用户接口设备在两个类的代表值中检测具有与事件值E最相似的代表值的类，并将事件归类为检测到的类。在示出的示例中，因为与第二代表值CP2相比，接收到的事件的事件值E与第一代表值CP1更相似，因此，用户接口设备将事件归类为属于第一类的事件。
在340，用户接口设备更新被归类的事件的类信息。例如，用户接口设备可基于事件值E更新第一类的代表值。
响应于接收到另一新事件，用户接口设备基于第一类的更新后的代表值和第二类的还未更新的代表值来确定所述另一新事件将要被归类到的类。
虽然在图3中示出了具有两个类的示例，前面的描述可适用于存在三个或更多的预定类的示例。
图4示出事件图400的示例。事件图400可被存储在存储器中。
参照图4，响应于接收到事件，用户接口设备可基于接收到的事件更新事件图400。事件图400包括与可被包括在事件中的多个事件值对应的元素。每个元素可存储指示与元素对应的事件发生的最近时间的时间戳。在事件图400中，Ti,j表示在位置(i,j)处的元素410中发生事件的最近时间，Ti,j+1表示在位置(i,j+1)处的元素420中发生事件的最近时间。另外，每个元素可存储与元素对应的经过分类的事件的类。
响应于接收到事件，用户接口设备更新与包括在接收到的事件中的事件值对应的元素。在一个示例中，用户接口设备可更新与事件对应的元素，而不是更新所有的元素。例如，用户接口设备可在包括在事件图400中的多个元素中检测与接收到的事件的事件值对应的元素，并可使用接收到的事件的时间戳来更新检测到的元素的时间戳。另外，用户接口设备可使用经过分类的接收到的事件的类来更新检测到的元素的类。
用户接口设备可以以小于或等于一微秒(μs)的单位，针对每个元素存储新事件发生的时间。用户接口设备可基于关于每个元素中发生的最新事件的信息来执行图像处理，而不考虑已随时间发生的事件的历史。用户接口设备可提供使用相对较小的存储器和相对低的操作复杂度来执行图像处理的技术。
图5示出处理器500的示例。以下，为了便于描述，将描述处理器500处理亮度变化事件的情况。然而，处理器500的操作不限于此。
参照图5，处理器500包括光流计算器510、速度分量计算器520和识别器530。光流计算器510可计算与类对应的光流。光流指包括关于亮度变化的信息的速度矢量集。例如，光流可包括与被归类为预定类的多个事件对应的速度矢量集。响应于对象相对于相机被重新定位，可改变每个像素的亮度。光流可包括这样的按照二维矢量的形式的亮度的变化。
在基于事件的视觉传感器用于检测亮度的变化的示例中，包括在图4的事件图400中的多个元素可与包括在基于事件的视觉传感器中的多个像素对应。多个类中的每一类可包括与被归类为相应类的事件对应的元素。包括在每个类中的元素可与多个像素中的至少一部分对应，并且每个类的光流可与包括所述多个像素的二维平面上的具有预定方向和大小的二维矢量集对应。
光流计算器510可包括与所述多个类对应的多个部分光流计算器。每个部分光流计算器可计算相应类的光流。在另一示例中，光流计算器510可包括配置为在没有类区分的情况下，整体地计算所有类的光流的整体光流计算器。
虽然提供处理视觉输入的示例作为示例，但是在另一示例中，上述处理方法可应用于声音输入或触摸输入。例如，除了在光流计算器510中计算光流以外，可通过触摸流计算器或声音变化计算器来计算声音变化或触摸变化。
以下，将参照图6详细地描述部分光流计算器或整体光流计算器的操作的方法的示例。光流计算器可指部分光流计算器或整体光流计算器。
参照图6，操作计算器600包括周围像素获得器610、时间差计算器620、距离差计算器630和光流计算执行器640。可用软件、硬件或其组合实现图6中示出的每个模块。例如，可用处理器、存储器、硬件加速器(HWA)、现场可编程门阵列(FPGA)或它们的任意组合来实现周围像素获得器610、时间差计算器620、距离差计算器630和光流计算执行器640中的每一个。
周围像素获得器610基于发生事件的像素获得多个周围像素。例如，周围像素获得器610可获得与发生事件的像素直接相邻的八个周围像素。在另一示例中，周围像素获得器610可获得与发生事件的像素直接相邻的八个周围像素，以及所述八个周围像素周围的十六个周围像素。
时间差计算器620基于存储在图4的事件图400中的时间戳信息来计算关于发生事件的像素和周围像素之间的时间差的信息。例如，响应于像素410中发生的新事件，时间差计算器620可计算存储在像素410中的时间Ti,j和存储在周围像素420中的时间Ti,j+1之间的差。在这个示例中，响应于新事件的发生，存储在像素410中的时间Ti,j的值可已经更新。因此，Ti,j-Ti,j+1可与大于或等于“0”的值相应。在像素420中同时发生事件的示例中，Ti,j-Ti,j+1可与值“0”相应。时间差计算器620可针对周围像素获得器610获得的多个周围像素中的每一个来计算前述时间差。此外，在计算出的时间差超出预定窗口范围(例如，0.1秒(s))的示例中，时间差计算器620可将时间差作为不重要的信息，并可输出“0”来代替计算出的时间差。
距离差计算器630计算关于发生事件的至少一个像素及其周围像素之间的距离差的信息。距离差计算器630可计算发生新事件的像素及其周围像素之间的像素距离的倒数。像素距离可包括多个图像像素之间的归一化距离。例如，图4的像素410和像素420之间的像素距离可与“1”相应。距离差计算器630可针对由周围像素获得器610获得的所述多个周围像素中的每一个，计算像素距离的倒数。
光流计算执行器640基于关于由时间差计算器620计算的时间差的信息和关于由距离差计算器630计算的距离差的信息来计算光流。在这个示例中，光流计算执行器640使用关于时间差的信息和关于距离差的信息来计算与发生事件的像素对应的二维矢量A，并执行将二维矢量A除以二维矢量A的内积的值的操作。
光流计算执行器640将关于与发生事件的像素的每个周围像素相应的时间差的信息的值乘以距离差的倒数。光流计算执行器640使用与周围像素相应的乘法的结果值的和来计算二维矢量A。光流计算执行器640使用下面的等式2来计算二维矢量A：
[等式2]
A → = d → · Δt 1 | | d → | | 2
在等式2中，Δt表示关于时间差的信息，二维矢量d表示关于距离差的信息。二维矢量A的单位与“时间/距离”相应。光流计算执行器640通过将二维矢量A除以二维矢量A的内积的值，来计算包括在光流中的速度矢量V。速度矢量V的单位与“距离/时间”相应。光流计算执行器640针对发生事件的每个像素，计算速度矢量V，从而产生包括每个像素的速度矢量的光流。
在一个示例中，光流计算器600针对包括在光流中的每个像素的速度矢量，消除可充当噪声的元素。如上所述，响应于发生事件的像素与其周围像素之间的时间差在预定窗口范围之外，时间差计算器620输出“0”。当发生事件的像素与其所有周围像素之间的差超出预定窗口范围时，由光流计算执行器640计算的二维矢量A与“0”对应。在这个示例中，光流计算执行器640输出“0”，来代替与计算出的速度矢量V的值对应的极大值。
返回参照图5，速度分量计算器520可基于光流计算来计算类信息被更新的类的速度分量。以下，将参照图7详细描述速度分量计算器520的操作的示例。
参照图7，速度分量包括对象在与其上布置传感器711的传感器平面710平行的平面720上沿着x轴方向722移动的第一速度分量Vx、对象在平面720上沿着y轴方向721移动的第二速度分量Vy、对象沿与平面720正交的方向723移动的第三速度分量Vz，以及对象在平面720上沿着逆时针方向724旋转的第四速度分量ω。
虽然附图中未示出，但是速度分量计算器520可包括平面速度计算器、光流中心计算器、z轴速度计算器和角速度计算器。平面速度计算器可基于光流计算第一速度分量Vx和第二速度分量Vy。平面速度计算器可计算光流的平均值，以计算第一速度分量Vx和第二速度分量Vy。
如上所述，光流可包括发生事件的像素的速度矢量。平面速度计算器可计算所有像素的速度矢量的和，从而计算光流的平均值。由于像素的每个速度矢量可与二维矢量相应，因此光流的平均值可与二维矢量对应。平面矢量计算器可分离计算出的光流的平均值中的x轴分量和y轴分量，从而计算第一速度分量Vx和第二速度分量Vy。
光流中心计算器可基于光流计算光流的中心。光流中心计算器可基于发生错误的像素的位置和包括在光流中的相应像素的速度矢量的大小，来执行重心操作，并可计算光流的中心。
例如，参照图8，在像素810、像素820、像素830和像素840发生事件。在这个示例中，由光流产生器产生的光流包括像素810的速度矢量V1815、像素820的速度矢量V2825、像素830的速度矢量V3835、像素840的速度矢量V4845像素。光流中心计算器通过将像素810、像素820、像素830和像素840中的每一像素的位置(例如，x轴像素坐标和y轴像素坐标)和速度矢量V1815、速度矢量V2825、速度矢量V3835、速度矢量V4845中的每一速度矢量的大小(例如，沿x轴方向的大小和沿y轴方向的大小)应用于下面的等式3来计算光流的中心C850。
[等式3]
c = ( Σ i | V xi | x i Σ i | V xi | , Σ i | V yi | y i Σ i | V yi | )
在这个示例中，z轴速度计算器基于光流和光流的中心计算第三速度矢量Vz。z轴速度计算器基于发生事件的像素的位置和光流的中心的位置，产生与像素对应的从中心朝向该像素的相对位置矢量。此外，z轴速度计算器通过使用相对位置矢量和包括在光流中的相应像素的速度矢量来执行内积操作，来计算第三速度矢量Vz。
例如，参照图9，C910表示由光流中心计算器计算出的光流的中心，像素920与发生事件的像素中的第i像素对应。Z轴速度计算器基于中心C910的位置和像素920的位置，来产生相对位置矢量915。此外，z轴速度计算器通过将像素920的相对位置矢量915和速度矢量925应用于下面的等式4来计算第三速度矢量Vz。
[等式4]
参照图7，响应于对象沿接近传感器711的z轴方向723移动，由z轴速度计算器计算出的第三速度分量Vz可具有正(+)值。相反地，响应于对象沿远离传感器711的相反方向移动，第三速度分量Vz可具有负(-)值。
角速度计算器基于光流和光流的中心，计算第四速度分量ω。在这个示例中，角速度计算器基于发生事件的像素的位置和光流的中心的位置，产生与像素对应的相对位置矢量。此外，角速度计算器通过执行使用相对位置矢量和包括在光流中的相应像素的速度矢量的外积操作，来计算第四速度矢量ω。
例如，参照图9，C910表示由光流中心计算器计算出的光流的中心，像素920与发生事件的像素中的第i像素相应。角速度计算器可基于中心C910的位置和像素920的位置产生相对位置矢量915。此外，角速度计算器可通过将像素920的相对位置矢量915和速度矢量925应用于下面的等式5来计算第四速度分量ω。
[等式5]
参照图7，响应于检测到沿逆时针方向724旋转的对象，由角速度计算器计算出的第四速度分量ω可具有正(+)值。相反地，响应于检测到沿顺时针方向旋转的对象，第四速度分量ω可具有负(-)值。
返回参照图5，识别器530可通过分析所述多个速度分量来识别用户输入。识别器530可使用各种方案来分析所述多个速度矢量。
在示例中，识别器530基于所述多个类的速度信息来识别用户输入。用户可在保持用双手握住方向盘的姿势的同时，执行沿逆时针方向旋转双手的运动(以下称为“运动A”)。作为响应，识别器530将关于与左手对应的第一类的速度的信息和关于与右手对应的第二类的速度的信息进行组合，以识别运动A。
在另一示例中，识别器530基于用户输入情境来分析所述多个速度分量。用户输入情境可包括当前正运行的应用的类、存储的历史信息、传感器信息、外围装置信息等。针对同样的速度分量，识别器530基于用户输入情境来不同地处理用户输入，从而提供用户定制的接口技术。例如，处理器530可基于正运行的应用将用户的同一运动识别为不同命令。在汽车游戏应用正被运行时，识别器530可将运动A识别为用于沿逆时针方向旋转用户车辆的方向盘的命令。在图像编辑应用正被运行时，识别器530可将运动A识别为用于沿逆时针方向旋转正被编辑的图像的命令。在多媒体回放应用正被运行时，识别器530可将运动A识别为用于使正被播放的多媒体内容倒带的命令。
在另一示例中，识别器530基于所述多个速度分量对所述多个类中的相对速度进行分析，并基于分析的结果识别用户输入。例如，用户可执行用两只手鼓掌的运动(以下称为“运动B”)。识别器530可响应于检测到与左手相应的第一类的代表值和与右手相应的第二类的代表值之间的距离正减小和增加，来识别运动B。为了便于描述，属于两类的输入用作示例。然而，识别器530不限于此。识别器530可通过分析三个或更多类中的相对速度，来识别用户输入。识别器530还可基于相对速度的相关性识别用户输入。在这个示例中，识别器530通过分析至少三类中的相对速度来识别用户输入。
在另一示例中，识别器530基于类中的相对速度识别用户输入，而不考虑事件的方位如何。例如，当用户在坐直的同时鼓掌时以及当用户在侧躺的同时鼓掌时，由于用户的方位，所以可由基于事件的传感器检测到不同事件信号。在用户在鼓掌的同时坐直的示例中，双手沿水平方向移动。在用户在鼓掌的同时侧躺的示例中，双手可沿竖直方向移动。不考虑与左手相应的第一类的代表值和与右手相应的第二类的代表值在绝对坐标上移动所沿的方向，识别器530可基于两个代表值之间的相对速度来识别用户输入。在这个示例中，识别器530识别出双手正做出鼓掌运动，而不管用户的姿势如何。
在另一示例中，识别器530基于用户输入情境来分析相对速度。例如，识别器530可基于用户输入情境和相对速度来识别用户输入。上面提供的描述可应用于使用用户输入情境的方案和使用相对速度的方案，因此为了简明起见将省略重复的描述。
在这个示例中，处理器500基于所述多个类中的相对位置而不是所述多个类的速度信息来处理用户输入。处理器500基于所述多个类的代表值分析所述多个类中的相对位置。随后，处理器500基于相对位置识别用户输入。例如，用户可执行用双手捂住双耳的运动(以下称为“运动C”)。处理器500通过分析与左手相应的第一类的中心坐标、与右手相应的第二类的中心坐标和与头部相应的第三类的中心坐标来识别运动C。
处理器500基于用户输入情境处理用户输入。例如，在音乐回放应用正被运行时，处理器500识别运动C并激活静音功能。
图10示出提供用户接口的方法的示例。
参照图10，在1010，用户接口设备接收信号。信号包括事件的时间戳和标识事件的索引。例如，用户接口设备可接收基于事件的图像传感器的输出。基于事件的图像传感器的输出可包括标识检测到的事件的索引。可通过事件的位置的坐标来标识事件。
在一个示例中，标识事件的索引与事件的坐标对应。参照图11A中示出的示例，由以二维矩阵的形式布置的多个元素表示基于事件的图像传感器的感测区域。二维矩阵中的所述多个元素中的每一个与唯一索引对应。响应于基于事件的图像传感器检测在元素1130的位置的新事件，基于事件的图像传感器的输出包括指示元素1130的坐标的索引。
此外，基于事件的图像传感器的输出包括指示关于由图像传感器检测到事件的时间的信息的时间戳。例如，时间戳可以以μs为单位来指示关于检测到事件的时间的信息。
在1020，用户接口设备基于索引选择多个预定类中的一个。用户接口设备可将索引与所述多个类的代表值进行比较来选择单个类。如上所述，索引可指示相应事件的坐标。因此，类选择是基于相应事件的坐标。在这个示例中，所述多个类中的每一个类的代表值被视为表示相应类的代表值，并指示例如表示相应类的坐标。所述多个类中的每一个的代表值可指示相应类的中心坐标。用户接口设备可将由索引指示的事件的坐标与由所述多个类的代表值指示的坐标进行比较，从而检测与由索引指示的事件的坐标最接近的坐标相应的代表值。在这个示例中，用户接口设备可选择具有检测到的代表值的类。
参照图11A，事件图1100包括第一类1110和第二类1120。第一类1110和第二类1120中的每一个包括多个元素。第一类1110的代表值可与中心坐标1115对应，其中，中心坐标1115与包括在第一类1110中的所述多个元素的中心对应。第二类1120的代表值可与中心坐标1125对应，其中，中心坐标1125与包括在第二类1120中的所述多个元素的中心对应。用户接口设备可接收与元素1130对应的新事件。用户接口设备可将元素1130的坐标与第一类1110的中心坐标1115和第二类1120的中心坐标1125进行比较。作为比较的结果，相比第二类1120的中心坐标1125，元素1130的坐标更接近第一类1110的中心坐标1115。因此，可选择第一类1110。
在1030，用户接口设备更新基于索引而选择的类的代表值。用户接口设备可将事件归类为选择的类。在这个示例中，考虑到新包括的事件，可更新经过分类的事件的代表值。参照图11B，用户接口设备将与事件相应的元素1130添加到第一类1110。如图11B中的箭头所示，响应于元素1130被添加到第一类1110，可改变第一类1110的中心。在这种情况下，在元素1130被添加之前，用户接口设备用中心坐标1116更新与中心坐标1115相应的第一类1110的代表值。
在1040，用户接口设备基于时间戳和选择出的类，更新包括在事件图中的多个事件中的与索引对应的元素的值。用户接口设备可更新时间戳信息和与索引对应的元素的类信息。参照图11A中示出的示例，包括在事件图110中的所述多个元素中的每一个存储时间戳信息和类信息。存储在单个元素中的时间戳信息可包括与元素对应的事件发生的最近时间。另外，存储在单个元素中的类信息可包括指示元件所属的类的信息。用户接口设备更新与事件的索引相应的元素1130的值。另外，用户接口设备可用发生相应事件的时间来更新元素1130的时间戳信息，并用指示第一类1110的信息来更新元素1130的类信息。
虽然附图中未示出，但是在另一示例中，用户接口设备针对与将被添加到每个类中的最近事件对应的元素来更新事件图。在这个示例中，用户接口设备将在基于当前时间的预定时间段内发生的事件归类为有效事件，并重置与无效事件对应的元素的类信息。类信息被重置的元素可不属于任何类。
用户接口设备可基于最新的事件的时间戳信息，将预定时间段内发生的事件归类为有效事件。例如，在与元素1130对应的事件被归类为第一类1110的情况下，包括在第一类1110中的所述多个元素中的最新元素可被归类为有效事件。在这个示例中，用户接口设备可将这样的元素归类为有效事件，在所述元素中，事件在基于发生与元素1130对应的事件的时间的预定时间段内发生，并且用户接口设备可重置其余元素的类信息。
根据情况，用户接口设备可针对将被添加到所述多个类中的每一个类的预定数量的元素更新事件图。响应于新元素被添加到单个类，用户接口设备可针对将添加到相应类的预定数量的元素，按年代从最老到最新来重置事件的类信息。
在1050，用户接口设备对事件图进行处理来确定与事件对应的用户输入。用户接口设备可基于包括在事件图中的所述多个类的代表值，来确定与事件相应的用户输入。响应于事件图包括与用户的左手相应的类A和与用户的右手相应的类B，用户接口设备可跟踪类A的代表值和类B的代表值被分别更新的情况(aspect)。例如，响应于类A的代表值和类B的代表值之间的距离的减小，用户接口设备可确定输入与用户的双手向彼此运动对应。用户接口设备可基于运动确定用户期望的输入，并可在1060基于确定的用户输入来输出信号。例如，用户接口设备可产生输出信号来缩小或减小屏幕上的观察区域。相反地，响应于类A的代表值和类B的代表值之间的距离的增加，用户接口设备可确定输入与用户的双手远离彼此的运动对应。在这个示例中，用户接口设备可产生输出信号来放大或扩大屏幕上的观察区域。
用户接口设备可提供使用前述方案以相对低的操作复杂度来迅速地并准确地跟踪多个类的技术。
参照图1至图9提供的描述可应用于图10中示出的每个操作，因此为了简明省略重复的描述。
图12示出用户接口设备1200的另一示例。
参照图12，用户接口设备1200包括：事件产生器1210，被配置为产生事件；比较器1220，被配置为比较多个类之间的相似度；多个代表值存储单元1231…1232，被配置为存储多个类的代表值；检测器1240，被配置为选择最相似类的标识(ID)；代表值更新器1250，被配置为更新被选择的类的代表值。比较器1220和检测器1240可分别与图2的比较器221和检测器222对应，比较器1220和检测器1240的组合可与图1的分类器110和图2的分类器220对应。
用户接口设备1200还包括：部分光流产生器1261…1262，被配置为产生所述多个类的光流；速度分量产生器1271…1272，被配置为基于与所述多个类对应的光流产生多个速度分量；相对速度整合器(integrator)1280，被配置为通过整合所述多个类的速度分量来分析相对速度。
用户接口设备1200还包括：情境产生器1285，被配置为产生用户输入情境。用户接口设备1200还包括：用户接口产生器1290，被配置为基于相对速度的相关性、所述多个类的代表值等来提供用户接口。
参照图1至图11B提供的描述可应用于图12中示出的每个模块，因此为了简明将省略重复描述。
此外，虽然为了简明，在图12中示出了包括用于处理听觉事件、触摸事件或非光学事件的部分光流产生器1261…1262的示例，但是以基本与部分光流产生器1261…1262相同的方式操作的触摸流计算器或声音流计算器可用于执行针对听觉事件、触摸事件和其它非光学事件的计算。
图13示出跟踪对象的操作的示例。
参照图13，用户接口设备可针对每个事件，跟踪与用户的左手相应的第一类1350和与用户的右手相应的第二类1370。如图像1310、1320和1330中所示，用户接口设备可跟踪经过分类的事件的类的ID和更新后的代表值(例如，相应类的中心坐标)，从而跟踪随时间变化的用户的双手的手势、方位和位置。这样的用户接口设备可适用于各种应用。
图14示出基于对事件的检测提供用户接口的用户接口设备1400的另一示例。用户接口设备1400包括基于事件的触摸传感器1410。在这个示例中，基于事件的触摸传感器1410与移动装置的触摸屏对应。然而，基于事件的触摸传感器不限于触摸屏。能够检测触摸的各种传感器可用于确定触摸事件的发生。在示出的示例中，基于事件的触摸传感器1410基于用户的一只手1420的手指在触摸屏上的移动来检测事件。用户的另一只手1430可以是静止地或在触摸屏上移动。在示出的示例中，触摸传感器1410检测与点1450对应的静止触摸。另一方面，随着手指沿轨迹1440移动，右手的手指1420在产生触摸事件。
用户接口设备1400的分类器可基于触摸屏的发生触摸事件的位置或坐标，将由移动的手1420产生的事件归类为与多个预定类中的一个类对应的事件。在示出的示例中，两个类可与由双手1420、1430产生的触摸相应。移动的手1420的手指的轨迹1440产生导致更新与移动的手1420对应的类的代表值的事件。通过所述更新产生的事件图可与图4中示出的事件图400相似。处理器可处理事件图以确定用户输入。针对图1至图13描述的方法和用户接口设备的组件的详细描述适用于设备1400。
虽然为了简明已示出仅一只手移动的示例，但是设备1400可被配置为检测双手在触摸屏上的同时移动。另外，移动对象不限于手或手指，而可包括可由基于事件的触摸传感器检测到触摸事件的有生命和无生命的对象。
图15示出用于提供用户接口的设备1500的另一示例。设备1500被配置为检测手掌和一只手1520的手指经过触摸屏的表面的移动，其中，所述触摸屏用作基于事件的触摸传感器1510。基于正由于手1520的移动而产生触摸事件的区域的坐标或位置的变化，设备1500可解释期望的用户输入。例如，静止的手1530和移动的手1520可被解释为用于放大的命令，移动的手1520的重复移动可被解释为用于擦除一部分屏幕上的图形信息的命令。针对图1至图14描述的用户接口设备和方法的示例的描述适用于用户接口设备1500，为了简明省略对其的详细描述。
图16A和图16B涉及基于声音变化事件提供用户接口的方法的示例。提供用户接口的方法利用基于事件的声音传感器来检测接收到的声音的变化，诸如，声音的振幅、频率或强度的变化。图16A示出预定频带内声音的振幅的增加。图16B示出与声音的音调的变化相应的声音的频率的变化。检测到的振幅、频率和/或强度可均被转换为与检测到的声音的响度、音调或其它特征相关的值，并与由检测触摸或像素的亮度的变化的用户接口设备使用的坐标或索引相似，被用于绘制事件图。
图17示出用户接口设备1700的另一示例。用户接口设备1700包括基于事件的声音传感器，其中，基于事件的声音传感器允许设备1700跟踪由两个用户1710、1720产生的语音的音调和响度。通过改变他们语音的音调和响度，两个用户1710、1720可例如产生设备1700的屏幕上的图形图像。例如，用户接口设备1700可允许用户1710、1720进行通过唱歌来确定用户1710、1720的歌唱能力的视频游戏。虽然已针对附图示出了一些用户接口技术的应用，但是公开的用于提供用户接口的方法和设备的应用不限于此。可使用描述的方法和设备获得跟踪环境刺激的变化的方向的各种应用。
可使用硬件组件和软件组件实现这里描述的单元。例如，硬件组件可包括麦克风、放大器、带通滤波器、音频至数字转换器以及处理装置。可使用一个或更多个通用或专用计算机(例如，处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够以限定的方式响应和执行指令的任何其它装置)来实现处理装置。处理装置可运行操作系统(OS)以及在OS上运行的一个或更多个软件应用。处理装置也可响应于软件的运行，访问、存储、操作、处理并创建数据。数据可被存储在存储器中。为了简单起见，对处理装置的描述用作单数；然而，本领域中的技术人员将理解，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或单个处理器和控制器。此外，不同的处理配置是可能的，诸如并行处理器。
软件可包括计算机程序、代码段、指令或它们的某种组合，以独立地或共同地指示或配置处理装置如所期望地操作。可以以任何类型的机器、组件、物理或虚拟设备、计算机存储介质或装置，或以能够将指令或数据提供给处理装置或由处理装置解释的传播的信号波永久地或暂时地实现软件和数据。软件也可分布在连接网络的计算机系统上，使得所述软件以分布方式被存储和运行。可由一个或更多个非暂时性计算机可读记录介质存储软件和数据。非暂时性计算机可读记录介质可包括可存储之后可由计算机系统或处理装置读取的数据的任意数据存储装置。非暂时性计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘以及光学数据存储装置。此外，这里公开的示例所属的本领域的编程人员基于并使用这里提供的附图的流程图和框图和如这里提供的它们相应的描述可很容易地解释实现所述示例的功能性程序、代码和代码段。
仅作为非穷尽的举例说明，这里描述的终端或装置可指移动设备，诸如蜂窝电话、个人数字助理(PDA)、数码相机、便携式游戏机和MP3播放器、便携式/个人多媒体播放器(PMP)、手持电子书、便携式膝上型计算机、全球定位系统(GPS)导航、平板、传感器，以及能够与这里公开一致地进行无线通信或网络通信的诸如台式PC、高清晰度电视(HDTV)、光盘播放器、机顶盒、家电等的装置。
虽然本公开包括特定示例，但是本领域的普通技术人员将清楚，在不脱离由权利要求及其等同物的精神和范围的情况下，可在这些示例中进行形式和细节上的各种变化。这里描述的示例应被认为仅是描述意义，并不是为了限制的目的。在每个示例中的特征或方面的描述将被认为是适用于其它示例中类似的特征或方面。如果以不同的顺序执行描述的技术，和/或如果描述的系统中的组件、架构、装置或电路以不同的方式被组合和/或取代或由其它组件或它们的等同物代替，则也可实现适当的结果。因此，本公开的范围不是由详细的描述限定，而是由权利要求书及其等同物限定，并且权利要求书及其等同物的范围之内的所有变化都将被解释为被包括在本公开中。

Claims (32)

1.一种用于用户接口的设备，所述设备包括：
分类器，被配置为将事件归类为与至少两类中的类对应；
更新器，被配置为更新与对应于事件的类相关的类信息；
处理器，被配置为基于更新后的类信息确定与事件对应的用户输入。
2.如权利要求1所述的设备，其中，分类器被配置为基于与所述至少两个类对应的代表值，将事件归类为与所述至少两个类中的所述类对应。
3.如权利要求2所述的设备，其中，代表值与关于所述至少两个类中的每一个类的坐标或位置相关信息对应，或者与关于所述至少两个类中的每一个类的频率、振幅或强度相关信息对应。
4.如权利要求2所述的设备，其中，分类器包括：
比较器，被配置为将与事件对应的事件值与代表值进行比较；
检测器，被配置为检测具有与所述事件值最近似的代表值的类。
5.如权利要求1所述的设备，其中，更新后的类信息包括：代表经过归类的事件的类的代表值。
6.如权利要求1所述的设备，其中，所述至少两个类与和用户输入相关联的至少两个对象对应。
7.如权利要求6所述的设备，其中，处理器被配置为跟踪所述至少两个对象来确定用户输入。
8.如权利要求1所述的设备，还包括：
至少一个基于事件的传感器，被配置为检测事件。
9.如权利要求8所述的设备，其中，所述至少一个基于事件的传感器包括基于事件的视觉传感器、基于事件的声音传感器和基于事件的触摸传感器中的至少一个。
10.如权利要求1所述的设备，其中，处理器包括：
光流计算器，被配置为计算与所述至少两个类对应的光流；
速度分量计算器，被配置为基于计算出的光流计算与所述至少两个类对应的速度分量。
11.如权利要求10所述的设备，其中，速度分量包括以下速度分量中的至少一个：
第一速度分量，产生事件的对象以所述第一速度分量在用于检测事件的虚拟平面上沿x轴方向移动；
第二速度分量，对象以所述第二速度分量在虚拟平面上沿y轴方向移动；
第三速度分量，对象以所述第三速度分量沿与虚拟平面正交的方向移动；
第四速度分量，对象以所述第四速度分量在虚拟平面上旋转。
12.如权利要求10所述的设备，其中，处理器还包括：
识别器，被配置为通过基于用户输入情境分析速度分量来识别用户输入。
13.如权利要求10所述的设备，其中，处理器还包括：
识别器，被配置为通过基于速度分量分析经过归类的事件的类和至少一个其余类之间的相对速度，来识别用户输入。
14.如权利要求1所述的设备，其中，处理器包括：
识别器，被配置为通过基于用户输入情境分析代表经过归类的事件的类的代表值和代表至少一个其余类的代表值来识别用户输入。
15.一种提供用户接口的方法，所述方法包括：
接收包括事件的时间戳和事件的标识信息的信号；
基于标识信息从多个预定类选择类；
基于标识信息更新被选择的类的代表值；
基于时间戳更新与事件图中的事件对应的元素的值；
基于事件图和所述多个类的代表值中的至少一个，确定与事件对应的用户输入。
16.如权利要求14所述的方法，其中，事件的标识信息包括：标识事件的索引、事件的坐标或位置相关信息或关于事件的频率、振幅或强度相关信息；
更新的步骤包括更新存储在存储器中的元素的值。
17.如权利要求16所述的方法，其中，选择的步骤包括：
将索引和所述多个类的代表值进行比较；
检测具有与索引最近似的代表值的类。
18.如权利要求16所述的方法，其中，所述确定的步骤包括：
基于更新后的元素和所述更新后的元素的周围元素，计算与所述更新后的元素对应的速度矢量；
基于与更新后的元素对应的计算出的速度矢量，计算与选择出的类对应的多个速度分量；
通过分析计算出的多个速度分量，识别用户输入。
19.如权利要求18所述的方法，其中，计算速度矢量的步骤包括：
计算更新后的元素与周围元素之间的时间差；
计算更新后的元素与周围元素之间的距离差；
基于计算出的时间差和计算出的距离差，计算与更新后的元素对应的速度矢量。
20.如权利要求18所述的方法，其中，所述多个速度分量包括：
第一速度分量，产生事件的对象以所述第一速度分量在用于检测事件的虚拟平面上沿x轴方向移动；
第二速度分量，对象以所述第二速度分量在虚拟平面上沿y轴方向移动；
第三速度分量，对象以所述第三速度分量沿与虚拟平面正交的方向移动；
第四速度分量，对象以所述第四速度分量在虚拟平面上旋转。
21.如权利要求20所述的方法，其中，计算所述多个速度分量的步骤包括：
从所述多个元素提取与选择出的类对应的元素；
通过对提取出的元素的速度矢量取平均，来计算第一速度分量和第二速度分量；
基于提取出的元素的速度矢量的大小，计算选择出的类的中心点；
通过计算提取出的元素的速度矢量与从中心点朝向提取出的元素的矢量的内积，来计算第三速度分量；
通过计算提取出的元素的速度矢量和从中心点朝向提取出的元素的矢量的外积，来计算第四速度分量。
22.如权利要求15所述的方法，其中，所述确定的步骤包括：分析选择出的类的更新后的代表值和其余类的代表值。
23.如权利要求15所述的方法，其中，所述信号包括被配置为检测事件的基于事件的传感器的输出信号。
24.一种提供用户接口的方法，所述方法包括：
接收与多个对象对应的事件；
将每个事件归类为与对应于所述多个对象的多个类中的类对应；
基于经过归类的事件，更新与所述多个类中的一个或更多个类相关的类信息；
基于更新后的类信息，确定用户输入。
25.如权利要求24所述的方法，其中，归类的步骤包括：针对每个事件，在所述多个类中检测具有与对应事件的值最近似的代表值的类。
26.如权利要求24所述的方法，其中，类信息包括：包括在所述多个类中的像素、包括在所述多个类中的事件和存储在存储器中的所述多个类的代表值中的至少一种。
27.如权利要求24所述的方法，其中，所述确定的步骤包括：
针对类计算光流；
基于计算出的光流计算类的速度分量；
基于类的速度分量，识别用于处理用户输入的命令。
28.一种用于用户接口的设备，所述设备包括：
分类器，被配置为将事件归类为与所述多个对象中的对象对应；
更新器，被配置为基于经过归类的事件，更新与所述多个对象中的至少一个对象对应的代表值；
处理器，被配置为基于更新后的代表值，确定与事件对应的用户输入。
29.如权利要求28所述的设备，其中，事件包括：由传感器检测到的亮度变化事件、声音变化事件或触摸事件中的至少一个。
30.如权利要求28所述的设备，其中，代表值与关于所述至少两个类中的每一个类的坐标或位置相关信息对应，或者与关于所述至少两个类中的每一个类的频率、振幅或强度相关信息对应。
31.如权利要求28所述的设备，其中，处理器被配置为通过基于更新后的代表值确定关于所述多个对象中的一个或更多个对象的变化的方向，来确定用户输入。
32.如权利要求28所述的设备，其中，处理器被配置为通过基于更新后的代表值确定所述多个对象中的一个对象相对于另一个对象的相对运动或所述多个对象中的一个或更多个对象产生的声音的频率、振幅或强度的变化，来确定用户输入。
CN201410361004.2A 2013-10-01 2014-07-25 利用用户接口的事件的设备和方法 Active CN104516499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910303747.7A CN110045829B (zh) 2013-10-01 2014-07-25 利用用户接口的事件的设备和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0117197 2013-10-01
KR1020130117197A KR102203810B1 (ko) 2013-10-01 2013-10-01 사용자 입력에 대응되는 이벤트를 이용한 유저 인터페이싱 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910303747.7A Division CN110045829B (zh) 2013-10-01 2014-07-25 利用用户接口的事件的设备和方法

Publications (2)

Publication Number Publication Date
CN104516499A true CN104516499A (zh) 2015-04-15
CN104516499B CN104516499B (zh) 2019-12-31

Family

ID=51485447

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410361004.2A Active CN104516499B (zh) 2013-10-01 2014-07-25 利用用户接口的事件的设备和方法
CN201910303747.7A Active CN110045829B (zh) 2013-10-01 2014-07-25 利用用户接口的事件的设备和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910303747.7A Active CN110045829B (zh) 2013-10-01 2014-07-25 利用用户接口的事件的设备和方法

Country Status (4)

Country Link
US (2) US10310615B2 (zh)
EP (1) EP2857951B1 (zh)
KR (1) KR102203810B1 (zh)
CN (2) CN104516499B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095262A (zh) * 2015-04-28 2016-11-09 三星电子株式会社 根据基于事件的传感器的输出提取静态图案的方法和设备
CN106997453A (zh) * 2016-01-22 2017-08-01 三星电子株式会社 事件信号处理方法和设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9846677B2 (en) * 2014-09-16 2017-12-19 Qualcomm Incorporated Event-based spatial transformation
US10909384B2 (en) * 2015-07-14 2021-02-02 Panasonic Intellectual Property Management Co., Ltd. Monitoring system and monitoring method
EP3120897A1 (en) * 2015-07-22 2017-01-25 Université Pierre et Marie Curie (Paris 6) Method for downsampling a signal outputted by an asynchronous sensor
US10725627B2 (en) * 2016-07-15 2020-07-28 International Business Machines Corporation Managing inputs to a user interface with system latency
US10685279B2 (en) 2016-09-26 2020-06-16 Splunk Inc. Automatically generating field extraction recommendations
US10909140B2 (en) 2016-09-26 2021-02-02 Splunk Inc. Clustering events based on extraction rules
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102356398A (zh) * 2009-02-02 2012-02-15 视力移动技术有限公司 用于视频流中的对象识别和跟踪的系统和方法
US20130229375A1 (en) * 2009-05-05 2013-09-05 Microsoft Corporation Contact Grouping and Gesture Recognition for Surface Computing
CN103324277A (zh) * 2012-03-22 2013-09-25 扬州永利宁科技有限公司 非触摸用户输入识别

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2256605B1 (en) * 1998-01-26 2017-12-06 Apple Inc. Method and apparatus for integrating manual input
US20030132950A1 (en) * 2001-11-27 2003-07-17 Fahri Surucu Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
US7814545B2 (en) 2003-07-22 2010-10-12 Sonicwall, Inc. Message classification using classifiers
US7676754B2 (en) 2004-05-04 2010-03-09 International Business Machines Corporation Method and program product for resolving ambiguities through fading marks in a user interface
US7653249B2 (en) * 2004-11-17 2010-01-26 Eastman Kodak Company Variance-based event clustering for automatically classifying images
US7958147B1 (en) 2005-09-13 2011-06-07 James Luke Turner Method for providing customized and automated security assistance, a document marking regime, and central tracking and control for sensitive or classified documents in electronic format
US7729808B2 (en) 2006-03-10 2010-06-01 Edsa Micro Corporation System for comparing real-time data and modeling engine data to predict arc flash events
US8378974B2 (en) * 2007-07-02 2013-02-19 Elo Touch Solutions, Inc. Method and system for detecting touch events based on magnitude ratios
US20110078218A1 (en) 2008-02-29 2011-03-31 Mitsubishi Electronic Corporation Event history storage device, event history tracking device, event history storage method, event history storage program, and data structure
KR100989081B1 (ko) 2008-08-11 2010-10-25 한국전자통신연구원 네트워크 카메라를 이용한 이벤트 감시 시스템 및 방법
JP5191321B2 (ja) * 2008-09-02 2013-05-08 株式会社ジャパンディスプレイウェスト 情報入力装置、情報入力方法、情報入出力装置および情報入力プログラム
KR20100130671A (ko) * 2009-06-04 2010-12-14 삼성전자주식회사 터치 인터페이스에서 선택 영역의 제공 장치 및 그 방법
US20120109901A1 (en) 2009-07-01 2012-05-03 Nec Corporation Content classification apparatus, content classification method, and content classification program
US9696856B2 (en) * 2009-09-29 2017-07-04 Elo Touch Solutions, Inc. Method and apparatus for detecting simultaneous touch events on a bending-wave touchscreen
JP5411641B2 (ja) 2009-09-29 2014-02-12 富士フイルム株式会社 画像分類装置、画像分類システム、画像分類方法、プログラム、および記録媒体
US8600166B2 (en) * 2009-11-06 2013-12-03 Sony Corporation Real time hand tracking, pose classification and interface control
US20110279682A1 (en) 2009-11-12 2011-11-17 Le Li Methods for Target Tracking, Classification and Identification by Using Foveal Sensors
AU2009243442B2 (en) 2009-11-30 2013-06-13 Canon Kabushiki Kaisha Detection of abnormal behaviour in video objects
US8758274B2 (en) 2010-01-08 2014-06-24 Medtronic, Inc. Automated adjustment of posture state definitions for a medical device
KR101158729B1 (ko) 2010-03-31 2012-06-22 한국과학기술원 실시간 다수 객체 추적시스템 및 방법
CN102314297B (zh) * 2010-07-07 2016-04-13 腾讯科技（深圳）有限公司 一种窗口对象惯性移动方法及实现装置
US20130275907A1 (en) * 2010-10-14 2013-10-17 University of Technology ,Sydney Virtual keyboard
WO2012073421A1 (ja) 2010-11-29 2012-06-07 パナソニック株式会社 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
TWI452540B (zh) * 2010-12-09 2014-09-11 Ind Tech Res Inst 影像式之交通參數偵測系統與方法及電腦程式產品
TWI448918B (zh) * 2011-09-09 2014-08-11 Pixart Imaging Inc 光學觸控系統
EP2677500B1 (en) 2012-06-19 2021-06-23 Samsung Electronics Co., Ltd. Event-based image processing apparatus and method
US20150070320A1 (en) * 2013-09-10 2015-03-12 Qualcomm Mems Technologies, Inc. Photoconductive optical touch

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102356398A (zh) * 2009-02-02 2012-02-15 视力移动技术有限公司 用于视频流中的对象识别和跟踪的系统和方法
US20130229375A1 (en) * 2009-05-05 2013-09-05 Microsoft Corporation Contact Grouping and Gesture Recognition for Surface Computing
CN103324277A (zh) * 2012-03-22 2013-09-25 扬州永利宁科技有限公司 非触摸用户输入识别

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095262A (zh) * 2015-04-28 2016-11-09 三星电子株式会社 根据基于事件的传感器的输出提取静态图案的方法和设备
CN106095262B (zh) * 2015-04-28 2021-04-23 三星电子株式会社 根据基于事件的传感器的输出提取静态图案的方法和设备
USRE48780E1 (en) 2015-04-28 2021-10-19 Samsung Electronics Co., Ltd. Method and apparatus for extracting static pattern based on output of event-based sensor
CN106997453A (zh) * 2016-01-22 2017-08-01 三星电子株式会社 事件信号处理方法和设备
CN106997453B (zh) * 2016-01-22 2022-01-28 三星电子株式会社 事件信号处理方法和设备

Also Published As

Publication number Publication date
CN110045829A (zh) 2019-07-23
CN104516499B (zh) 2019-12-31
EP2857951B1 (en) 2018-08-15
US20150095818A1 (en) 2015-04-02
KR102203810B1 (ko) 2021-01-15
CN110045829B (zh) 2021-11-02
US20190310715A1 (en) 2019-10-10
EP2857951A1 (en) 2015-04-08
US10838508B2 (en) 2020-11-17
US10310615B2 (en) 2019-06-04
KR20150038877A (ko) 2015-04-09

Similar Documents

Publication Publication Date Title
CN104516499A (zh) 利用用户接口的事件的设备和方法
Zhang et al. TapSkin: Recognizing on-skin input for smartwatches
Wang et al. Hear sign language: A real-time end-to-end sign language recognition system
CA2727213C (en) Camera gestures for user interface control
US20210109598A1 (en) Systems, methods and devices for gesture recognition
JP5527423B2 (ja) 画像処理システム、画像処理方法、及び画像処理プログラムを記憶した記憶媒体
Shrivastava et al. Control of A Virtual System with Hand Gestures
Li et al. Hand gesture recognition and real-time game control based on a wearable band with 6-axis sensors
Sluÿters et al. Quantumleap, a framework for engineering gestural user interfaces based on the leap motion controller
Li et al. Control your home with a smartwatch
Li et al. Finger gesture recognition using a smartwatch with integrated motion sensors
Ueng et al. Vision based multi-user human computer interaction
Soroni et al. Hand Gesture Based Virtual Blackboard Using Webcam
Chan et al. Recognition from hand cameras: A revisit with deep learning
Mo et al. MultiIoT: Towards Large-scale Multisensory Learning for the Internet of Things
Habibi Detecting surface interactions via a wearable microphone to improve augmented reality text entry
Babu et al. Controlling Computer Features Through Hand Gesture
Zhao et al. Motion gesture delimiters for smartwatch interaction
Mali et al. Hand gestures recognition using inertial sensors through deep learning
Mace et al. Improving accuracy and practicality of accelerometer-based hand gesture recognition
Yen et al. Adaptive Indoor People-Counting System Based on Edge AI Computing
CN106471445A (zh) 基于触摸输入的离散光标移动
Kano et al. Hand waving in command spaces: a framework for operating home appliances
Bhatia et al. Optically Detected Finger Recognition-Based Virtual Keyboard
Kader et al. Developing a Real-time Data Acquisition System to Prepare a 3D Accelerometer-based Air-writing Data Set of Bengali Characters

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant