CN103858075B - 利用基于事件的视觉传感器识别动作的设备和方法 - Google Patents

利用基于事件的视觉传感器识别动作的设备和方法 Download PDF

Info

Publication number
CN103858075B
CN103858075B CN201280050556.0A CN201280050556A CN103858075B CN 103858075 B CN103858075 B CN 103858075B CN 201280050556 A CN201280050556 A CN 201280050556A CN 103858075 B CN103858075 B CN 103858075B
Authority
CN
China
Prior art keywords
receptive field
moving direction
event
mobile
temporal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280050556.0A
Other languages
English (en)
Other versions
CN103858075A (zh
Inventor
李俊行
柳贤锡
朴根柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN201710325207.XA priority Critical patent/CN107066117A/zh
Publication of CN103858075A publication Critical patent/CN103858075A/zh
Application granted granted Critical
Publication of CN103858075B publication Critical patent/CN103858075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

提供一种利用基于事件的视觉传感器识别动作的设备和方法。根据本发明的一方面的动作识别设备当从视觉传感器输入与移动发生部位对应的事件时利用事件发生频率确定移动的类型，当移动类型确定的结果为小移动时根据移动轨迹确定动作模式，当移动类型确定的结果为大移动时确定对象已移动的移动方向，并且参考确定的动作模式或确定的移动方向控制装置。

Description

利用基于事件的视觉传感器识别动作的设备和方法
技术领域
示例实施例涉及一种识别动作(motion)的设备和方法，其中，所述设备和方法利用感测移动发生部位的视觉传感器(vision sensor)追踪手指的移动轨迹或手的移动方向，并控制装置的动作。
背景技术
用于人与电子装置之间的交互的用户接口(UI)可包括例如，键盘、鼠标和触摸面板。例如，基于触摸面板中所使用的触摸技术，用户可通过与屏幕直接接触来调整UI。随着触摸情况的数量增加，面板的屏幕上可能发生损坏，用户可能由于直接接触而体验不卫生的影响。因此，需要提供一种增强人与电子装置之间的交互的自然感的直观交互技术。
发明内容
技术方案
根据本发明的一方面，提供一种利用基于事件的视觉传感器识别动作的设备，所述设备包括：视觉传感器，感测移动发生部位并输出事件；移动类型确定单元，利用通过视觉传感器输出的事件的发生频率确定移动的类型；第一动作确定单元，当移动类型确定单元的结果指示小移动时，追踪移动发生部位的移动轨迹并基于所述移动轨迹确定动作模式；第二动作确定单元，当移动类型确定的结果指示大移动时，基于事件确定对象移动的移动方向；动作控制单元，基于第一动作确定单元所确定的动作模式或者第二动作确定单元所确定的移动方向来输出用于控制装置的控制指令。
移动类型确定单元可计算通过视觉传感器输出的事件的发生频率，并且将所述发生频率与预定阈值进行比较，以在所述发生频率小于所述阈值时将所述发生频率确定为对象的一部分移动的小移动，在发生频率大于或等于所述阈值时将所述发生频率确定为整个对象移动的大移动。
第一动作确定单元可包括：与视觉传感器的多个预定感受野对应的时空相关器，接收从预定感受野输出的事件的输入并针对预定感受野中的每一个计算时空相关性；移动轨迹追踪单元，基于预定感受野的时空相关性的波动追踪移动发生部位的移动轨迹；动作模式确定单元，从追踪的移动轨迹确定移动发生部位的动作模式。
所述感受野可对应于视觉传感器的划分的区域，并与另一邻近感受野的区域重叠。
移动轨迹追踪单元可通过将时空相关器中的具有高时空相关性的时空相关器分组来产生聚类，将包括聚类的预定区域设置为聚类区域，将聚类区域的中心计算为移动对象的位置，并且结合计算的移动对象的位置追踪移动轨迹。
当在时空相关器中不存在具有高时空相关性的时空相关器时，移动轨迹追踪单元可基于先前聚类区域中的时空相关器的内部状态值重新计算先前聚类区域的中心，将重新计算的先前聚类区域的中心计算为移动对象的位置，并且结合计算的移动对象的位置追踪移动轨迹。
第二动作确定单元可包括：第一方向检测滤波器，接收从视觉传感器的多个预定感受野输出的事件的输入，并针对所述多个预定感受野检测对象移动的移动方向；第二方向检测滤波器，基于针对所述多个感受野检测的移动方向确定对象的最终移动方向。
所述预定感受野可对应于视觉传感器的划分的区域，与另一邻近感受野的区域重叠，并且以圆的形式提供。
第一方向检测滤波器可包括与预定感受滤波器中的每一个对应的至少一个胜者全得电路，并且所述至少一个胜者全得电路可利用数量与第二动作确定单元所确定的方向的数量对应的神经元从对应感受滤波器输出对象的移动方向。
第二方向检测滤波器可包括基于针对所述多个感受野检测的移动方向确定对象的最终移动方向的胜者全得电路，并且所述胜者全得电路可利用数量与第二动作确定单元所确定的方向的数量对应的神经元基于针对所述多个预定感受野检测的移动方向输出对象的最终移动方向。
第二方向检测滤波器可通过计算针对所述多个预定感受野检测的移动方向的矢量和来确定对象的最终移动方向。
所述利用基于事件的视觉传感器识别动作的设备还可包括：第三动作确定单元，当移动类型确定单元的结果指示小移动时，将通过视觉传感器输出的事件分类为ON事件和OFF事件，计算OFF事件的比率，并通过将所述比率与至少一个预定参考值进行比较来确定对象的前进或后退。
根据本发明的另一方面，提供一种利用基于事件的视觉传感器识别动作的设备，所述设备包括：视觉传感器，感测移动发生部位并输出事件；第一方向检测滤波器，接收从视觉传感器的多个预定感受野输出的事件的输入，并针对所述多个预定感受野检测对象移动的移动方向；第二方向检测滤波器，基于针对所述多个预定感受野检测的移动方向确定对象的最终移动方向；动作控制单元，基于确定的移动方向输出用于控制装置的控制指令。
第一方向检测滤波器可包括与预定感受野中每一个对应的至少一个胜者全得电路，并且所述至少一个胜者全得电路可利用数量与第二动作确定单元所确定的方向的数量对应的神经元从对应感受滤波器输出对象的移动方向。
第二方向检测滤波器可包括基于针对所述多个预定感受野检测的移动方向确定对象的最终移动方向的胜者全得电路，并且所述胜者全得电路可利用数量与第二动作确定单元所确定的方向的数量对应的神经元基于针对所述多个预定感受野检测的移动方向输出对象的最终移动方向。
根据本发明的一方面，提供一种识别动作的方法，所述方法包括：从视觉传感器接收与移动发生部位对应的事件的输入；基于事件发生频率确定移动的类型；当确定移动的类型的结果指示小移动时，追踪移动发生部位的移动轨迹并基于所述移动轨迹确定动作模式；当确定移动的类型的结果指示大移动时，基于事件确定对象移动的移动方向；基于确定的动作模式或确定的移动方向控制装置。
根据本发明的一方面，提供一种识别动作的方法，所述方法包括：接收从视觉传感器的多个预定感受野输出的事件的输入；针对所述多个预定感受野检测对象移动的移动方向；基于针对所述多个预定感受野检测的移动方向确定对象的最终移动方向；基于确定的移动方向控制装置。
根据本发明的一方面，提供一种利用基于事件的视觉传感器识别动作的设备，所述设备包括：视觉传感器，感测移动发生部位并输出事件；以分层结构设置的多个方向检测滤波器，接收从视觉传感器的预定感受野输出的事件的输入并识别移动方向。
本发明的效果
根据示例实施例，提供一种利用视觉传感器识别动作的设备和方法，所述设备和方法从视觉传感器接收与移动发生部位对应的事件的输入并基于事件的发生频率确定移动的类型，当移动类型确定的结果指示小移动时基于移动轨迹确定动作模式，当移动类型确定的结果指示大移动时确定对象移动的移动方向，并基于确定的动作模式或确定的移动方向且控制装置，从而以1毫秒(ms)的速度相对快速地识别对象的移动，具有低功耗，并且不受环境亮度的影响。
附图说明
图1是示出根据示例实施例的用于识别动作的设备的构造的示例的示图。
图2是示出根据示例实施例的利用事件的发生频率确定移动的类型的方法的曲线图。
图3是示出根据示例实施例的第一动作确定单元的构造的示例的示图。
图4是示出根据示例实施例的构造视觉传感器的感测单元的阵列和感受野(receptive field)的示例的示图。
图5是示出根据示例实施例的第一至第n时空相关器之间的空间相关性的示图。
图6是示出根据示例实施例的通过将第一至第n时空相关器分组来产生第一至第三聚类并设置聚类区域的示例的示图。
图7是示出根据示例实施例的基于产生的聚类区域追踪移动发生部位的移动轨迹的示例的示图。
图8是示出根据示例实施例的第二动作确定单元的构造的示例的示图。
图9是示出根据示例实施例的胜者全得电路(winner takes all circuit)的示例的示图。
图10是示出根据示例实施例的胜者全得电路的另一示例的示图。
图11是示出根据示例实施例的用于检测移动方向的感受野的形式的示图。
图12是示出根据示例实施例的当胜者全得电路检测八个方向时检测的方向的示图。
图13是示出根据示例实施例的应用于包括在第一方向检测滤波器中的胜者全得电路的多个神经元的权重的示例的示图。
图14是示出根据示例实施例的包括在第二方向检测滤波器中的胜者全得电路的构造的示例的示图。
图15是示出根据示例实施例的应用于包括在第二方向检测滤波器中的胜者全得电路的多个神经元的权重的示例的示图。
图16是示出根据示例实施例的基于经由视觉传感器接收的事件的类型的胜者全得电路的构造的示例的示图。
图17是示出根据示例实施例的用于识别动作的设备的操作的流程图。
图18是示出根据示例实施例的识别手指的动作的操作的流程图。
图19是示出根据示例实施例的检测手的移动方向的操作的流程图。
具体实施方式
现在将详细参考示例实施例，其示例示出于附图中，在附图中相似标号始终表示相似元件。以下参照附图描述示例实施例以便解释示例实施例。
图1是示出根据示例实施例的用于识别动作的设备100的构造的示例的示图。
参照图1，识别基于诸如手指的小移动的动作模式或者识别诸如手掌的大移动的移动方向的用于识别动作的设备100包括视觉传感器110、移动类型确定单元120、第一动作确定单元130、第二动作确定单元140、第三动作确定单元145和动作控制单元150。
视觉传感器110可感测对象内的移动发生部位并输出事件。如图4所示，视觉传感器110包括多个感测单元的阵列。感测单元可以图像的像素为单位设置。例如，当用于交互的触摸屏输出60×60的图像时，感测单元可按照60×60的形式设置。
感测单元可表示光接收元件。当对象或对象的一部分移动时，由第一图像传感器的感测单元感测到的光强度可变化。在第一图像传感器的情况下，感测单元中的感测到光强度的改变的目标感测单元可输出事件。感测单元中的与移动发生部位对应的目标感测单元可输出事件。目标感测单元可表示输出事件的感测单元。
事件可包括例如事件发生时间、输出事件的感测单元的位置和极性(polarity)的信息。当由于从感测单元接收的光强度的增加而引起的事件发生时，极性可以是“ON”，当由于接收的光强度的减小而引起的事件发生时，极性可以是“OFF”。当光强度的改变水平大于或等于预定参考值时，感测单元可输出事件。
移动类型确定单元120可利用通过视觉传感器110输出的事件的发生频率来确定移动的类型。移动的类型可包括小移动和大移动。例如，小移动可以是例如手的对象的向前/向后移动或手指的移动，大移动可以是整个手(例如，手掌)的移动。
当检测到小移动时，响应于预定用户的请求，移动类型确定单元120可检测手的向前/向后移动和手指的移动中的一个，或者基于更详细的标准在手的向前/向后移动和手指的移动之间进行区分。
在本文所述的各种示例中，为了简明和易于描述，小移动被称为手指移动，大移动被称为手移动。
移动类型确定单元120可如图2的示例中所示确定移动的类型。
图2是示出根据示例实施例的利用事件的发生频率确定移动的类型的方法的曲线图。
参照图2，当手指移动时，视觉传感器110的事件的发生频率较低，当手移动时，视觉传感器110的事件的发生频率较高。因此，移动类型确定单元120可基于预定阈值确定是手指移动还是整个手移动。
第一动作确定单元130可追踪移动发生部位的移动轨迹，并基于根据从视觉传感器110输出的事件的时空相关性的移动轨迹确定动作模式。
图3是示出根据示例实施例的第一动作确定单元130的构造的示例的示图。
参照图3，第一动作确定单元130包括第一至第n时空相关器312、314和316、移动轨迹追踪单元320、模式存储单元330和动作模式确定单元340。
时空相关器312、314和316可基于从目标感测单元输入的事件计算目标感测单元之间的多个时空相关性。时空相关器312、314和316可通过尖峰神经元来实现。
以下，为了描述时空相关性，将参照图4讨论感受野(receptive field)，并且将使用第一时空相关器的例子。
图4是示出根据示例实施例的构造视觉传感器的感测单元的阵列和感受野的示例的示图。
参照图4，第一时空相关器312可接收从形成视觉传感器110的预定区域的感测单元输出的事件的输入。所述预定区域可表示感受野。与第一时空相关器312电连接并且被向第一时空相关器312输出事件的感测单元占据的区域可表示感受野。感受野可具有m×m的大小，“m”是正数。因此，第一时空相关器312可从感受野的感测单元中的至少一个接收事件的输入。第二至第n时空相关器314至316也可通过被连接到对应感受野的感测单元来接收事件的输入。
参照图3，第一至第n时空相关器312、314和316可具有多个内部状态值，所述多个内部状态值分别指示当前时空相关性。多个内部状态值可彼此相同或彼此不同，示例可包括电压值。可通过当前内部状态值和事件的新输入来确定内部状态值。当输入事件时，内部状态值可增大，当不存在事件时，内部状态值可基于逝去的预定时间段而减小。内部状态值的减小可使存储内部状态值的存储器的带宽负载最小化。
当从对应视觉传感器110输入事件时，第一至第n时空相关器312、314和316可增大内部状态值，以将增大的内部状态值与预定阈值进行比较，以便确定时空相关性的波动。时空相关性可分别指示输入到第一至第n时空相关器312、314和316的事件的时间相关性和空间相关性。
等式1是用于计算响应于事件的输入从时空相关器输出的输出值的等式。
[等式1]
Qn(t)＝f(Qn(tprev),e(t))
outn(t)＝φQn(t)
在等式1中，Qn(t)表示第n时空相关器在时间点“t”的内部状态值，Qn(tprev)表示第n时空相关器在先前时间点的内部状态值，例如，当前内部状态值，“tprev”表示先前输入的事件集当中的最近事件集发生的时间点。e(t)表示在时间点“t”输入的事件集，outn(t)表示第n时空相关器的输出值，φ表示阈值。事件集可表示关于在时间点“t”发生的事件的基本信息。例如，当在时间点“t＝0”发生三个事件时，e(0)＝{e_1,e_2,e_3}。“e_n”(其中“n”＝1,2,3,…)表示第n目标感测单元的事件。
当在时间点“t”从对应感受野的感测单元中的单个目标感测单元输入事件时，第n时空相关器可增大先前内部状态值Qn(tprev)。增大程度可受针对发生事件的目标感测单元设置的权重影响。因此，当同时输入多个事件时，增大速度可相应地加速。多个目标感测单元之间可设置不同的权重。
第一至第n时空相关器312、314和316可将基于时空相关性的波动而不同的输出值输出给第一移动轨迹追踪单元。例如，当内部状态值Qn(t)超过预定阈值φ时，第n时空相关器可确定向第n时空相关器输出事件的目标感测单元之间的时空相关性高，并且输出“1”。当内部状态值Qn(t)小于或等于预定阈值φ时，第n时空相关器可确定时空相关性低，并输出零。“1”可以以“高”或“真”的形式输出，零可以以“低”或“假”的形式输出。另选地，当第n时空相关器的输出为“1”时，第n时空相关器可将第n时空相关器的内部状态值减小预定值。
由第n时空相关器计算的内部状态值Qn(t)可指示从目标感测单元输入至第n时空相关器的事件的空间相关性和时间相关性。例如，当从单个目标感测单元接连将一系列事件输入至第n时空相关器时，内部状态值Qn(t)可指示输入的事件之间的时间相关性。当从两个目标感测单元同时将两个事件输入至第n时空相关器时，例如，当两个目标感测单元彼此相邻并连接到相同的第n时空相关器时，这两个事件可具有高等级的空间相关性。因为这两个事件是从两个目标感测单元同时输入的，所以这两个事件也可具有时间相关性。
第一至第n时空相关器312、314和316可具有彼此不同的空间相关性。
图5是示出根据示例实施例的第一至第n时空相关器之间的空间相关性的示图。
参照图5，视觉传感器110可逻辑上划分成多个感受野。划分的多个感受野可与至少一个邻近区域重叠。第一至第n时空相关器312、314和316可被映射至视觉传感器110的划分的多个感受野。设置在划分的多个感受野中的感测单元可将事件输出给第一至第n时空相关器312、314和316中的对应时空相关器。
在图5中，C(i,j)表示设置在视觉传感器110的中心处的感受野的中心坐标。C(i-1,j)表示朝着“x”轴方向(例如，水平方向)移动了“1”程度的感受野的中心坐标。在图4中，“1”可指示三个像素程度的间隔，该间隔程度可能改变。
如图5所示，感受野的重叠部分可指示同一事件可被同时输出给至少两个时空相关器。可在第一至第n相关器312、314和316之间给予空间相关性，或者可由于感受野的重叠部分而在感受野之间给予空间相关性。第一至第n时空相关器312、314和316之间的时空相关性可影响移动轨迹的追踪。
参照图3，移动轨迹追踪单元320可基于分别从第一至第n时空相关器312、314和316计算的时空相关性的输出值以及第一至第n时空相关器的内部状态值来追踪移动发生部位的移动轨迹。
移动轨迹追踪单元320可通过将第一至第n时空相关器312、314和316中的具有高时空相关性的时空相关器分组来产生单个聚类(cluster)。移动轨迹追踪单元320可基于感受野的重叠将第一至第n时空相关器312、314和316中的输出“1”的时空相关器分组。移动轨迹追踪单元320可通过将重叠的时空相关器分组来产生单个聚类。输出“1”可指示具有高时空相关性。
移动轨迹追踪单元320可通过将输出为“1”的时空相关器分组来产生聚类，并且将包括该聚类的预定区域设置为聚类区域。
图6是示出根据示例实施例的通过将第一至第n时空相关器分组来产生第一至第三聚类并设置聚类区域的示例的示图。
参照图6，可通过将彼此重叠的两个感受野601和602分组来产生第一聚类(以下也称为“聚类1”)。可通过将十个重叠的感受野分组来产生第二聚类(以下也称为“聚类2”)。可通过将七个重叠的感受野分组来产生第三聚类(以下也称为“聚类3”)。
第一聚类区域610可表示包括聚类1的预定区域。第二聚类区域620可表示包括聚类2的预定区域。第三聚类区域630可表示包括聚类3的预定区域。可基于聚类的中心产生聚类区域。
移动轨迹追踪单元320可计算聚类区域的中心作为对象的位置。移动轨迹追踪单元320可基于聚类区域内的时空相关器的内部状态值计算聚类区域的中心。
在不存在输出为“1”的时空相关器的情况下，移动轨迹追踪单元320可基于先前聚类区域内的时空相关器的内部状态值重新计算先前聚类区域的中心，并且将重新计算的先前聚类区域的中心计算为对象的位置。
移动轨迹追踪单元320可结合已计算的对象的位置和重新计算的对象的位置来追踪移动轨迹。聚类可具有与移动发生部位对应的形式。
移动轨迹追踪单元320可将包括在聚类区域中的多个时空相关器的位置乘以常数，并将乘法运算的平均值确定为聚类区域的中心。时空相关器的位置可以是代表时空相关器所覆盖的区域的位置。所述常数可包括各种值，例如，从时空相关器计算的内部状态值Q(t)以及在预定时间段期间输入至时空相关器的事件的数量。
例如，通过将第一时空相关器312和第二时空相关器314分组来产生聚类区域，第一时空相关器312的内部状态值为Q1，第二时空相关器314的内部状态值为Q2。代表第一时空相关器312的位置对应于(x1,y1)，代表第二时空相关器314的位置对应于(x2,y2)。移动轨迹追踪单元320可基于等式2计算聚类区域的中心。
[等式2]
在等式2中，“x”表示聚类区域的中心的“x”坐标，“y”表示聚类区域的中心的“y”坐标。
图7是示出根据示例实施例的基于产生的聚类区域追踪移动发生部位的移动轨迹的示例的示图。
移动轨迹追踪单元320可按照预定间隔产生聚类区域或者计算聚类区域的中心。参照图7，移动轨迹追踪单元320可在顺序时间点“t1”、“t2”和“t3”产生聚类区域，并计算聚类区域的中心。移动轨迹追踪单元320可结合计算的中心来追踪移动轨迹。可通过计算分组的时空相关器(例如，分组的感受野)的位置来追踪移动发生部位的移动轨迹。
参照图3，动作模式确定单元340可从移动轨迹追踪单元320所追踪的移动轨迹确定移动发生部位的动作模式。动作模式确定单元340可从追踪的移动轨迹获得表示动作模式的特征分量，并将特征分量与存储在模式存储单元330中的动作模式进行比较，以确定移动发生部位的动作模式。特征分量可包括各种参数，例如，聚类的位置、聚类移动的方向以及聚类的移动角度。
模式存储单元330可存储多个特征分量的值以及与所述多个特征分量对应的动作模式。
参照图1，第二动作确定单元140可基于从视觉传感器110输出的事件检测对象移动的移动方向。
图8是示出根据示例实施例的第二动作确定单元140的构造的示例的示图。
参照图8，第二动作确定单元140包括第一方向检测滤波器810和第二方向检测滤波器820。
第一方向检测滤波器810可基于从视觉传感器110输出的事件针对多个感受野检测对象移动的移动方向。
第一方向检测滤波器810包括胜者全得电路812、814和816，所述胜者全得电路的数量至少对应于感受野的数量。胜者全得电路812、814和816可从对应的感受野接收事件，并检测对象在对应感受野内移动的移动方向。
第二方向检测滤波器820可基于经由第一方向检测滤波器810针对感受野中的每一个检测到的移动方向来检测对象的最终移动方向。
第二方向检测滤波器820包括至少一个最终胜者全得电路822。胜者全得电路822可从针对胜者全得电路812、814和816中的每一个检测的对应感受野接收对象的移动方向信息，并基于视觉传感器110确定最终移动方向。
第二方向检测滤波器820可在没有胜者全得电路的情况下实现。
第二方向检测滤波器820可计算从第一方向检测滤波器810输入的针对胜者全得电路812、814和816中的每一个检测的对应感受野的移动方向信息的矢量和，并基于视觉传感器110计算最终移动方向。
在图8中，第二动作确定单元140通过具有分层结构的两个方向检测滤波器来实现，然而，也可通过具有分层结构的更多数量的方向检测滤波器来实现。
第二动作确定单元140可利用具有分层结构的方向检测滤波器来检测移动方向，然而，也可对滤波器进行各种改变和修改以检测移动，例如，使用检测预定形状的滤波器。
将参照图9或图10讨论构造胜者全得电路812、814和816以及最终胜者全得电路822的方法。
图9是示出根据示例实施例的胜者全得电路的示例的示图。
参照图9，胜者全得电路包括用于检测方向的四个神经元910、920、930和940以及抑制性神经元950。
神经元910、920、930和940中的每一个可接收从对应感受野输入的事件IN0至INN，将更大的权重应用于沿由对应神经元所检测的方向的事件，并通过计算应用了权重的事件之和来计算内部状态值。
当内部状态值超过预定阈值时，神经元910、920、930和940中的每一个可输出指示沿对应方向检测到移动的信号。
当在神经元910、920、930和940之中产生输出时，除了产生初始输出的神经元之外，抑制性神经元950可抑制神经元产生输出。
在图9的示例中，神经元910、920、930和940中的每一个可通过检测单个方向来检测四个方向。
图10是示出根据示例实施例的胜者全得电路的另一示例的示图。
参照图10，胜者全得电路包括用于检测方向的四个神经元1010、1020、1030和1040。
神经元1010、1020、1030和1040中的每一个可从对应感受野接收事件IN0至INN的输入，将更大的权重应用到沿分配给对应神经元的方向的事件，并且通过计算应用了权重的事件之和来计算内部状态值。
当内部状态值超过预定阈值时，神经元1010、1020、1030和1040中的每一个可输出指示沿对应方向检测到移动的信号。
当在神经元1010、1020、1030和1040当中出现输出指示沿对应方向检测到移动的信号的神经元时，输出所述信号的神经元可接收输出，后续输出的产生可被抑制。
除了产生初始输出的神经元之外，神经元可抑制彼此产生输出。
在图10的示例中，神经元1010、1020、1030和1040中的每一个可通过检测单个方向来检测四个方向。
参照图3，感受野(例如，向胜者全得电路812、814和816中的每一个提供事件的单元)可以各种形式来实现，然而，本文将提供图11的示例。
图11是示出根据示例实施例的用于检测移动方向的感受野的形式的示图。
参照图11，因为可能由于感受野的形式而发生朝着预定方向的方向性，所以感受野的形式以圆形形式提供。因此，输入至胜者全得电路812、814和816的事件的感受野可被设置为圆形感受野。
胜者全得电路812、814和816以及最终胜者全得电路822可通过使用检测不同方向的八个神经元沿如图12所示的八个方向检测移动。然而，胜者全得电路812、814和816以及最终胜者全得电路822的方向可被预先确定。
图12是示出根据示例实施例的当胜者全得电路检测八个方向时检测到的方向的示图。
参照图12，胜者全得电路812、814和816以及最终胜者全得电路822可检测朝着以索引“0”至“7”表示的八个方向的移动。
在图12中，“0”指示朝左的移动，“1”指示朝左下的移动，“2”指示朝下的移动，“3”指示朝右下的移动，“4”指示朝右的移动，“5”指示朝右上的移动，“6”指示朝上的移动，“7”指示朝左上的移动。
当胜者全得电路812、814和816检测如图12所示的八个方向时，可如图13所示设置将应用于连接到检测方向的神经元中的每个的感受野的权重。
图13是示出根据示例实施例的应用于包括在第一方向检测滤波器中的胜者全得电路的多个神经元的权重的示例的示图。
参照图13，阴影可指示权重程度，将应用于连接到沿与图12的索引对应的方向的每一神经元的感受野的权重可具有基于方向的梯度值。
当第二动作确定单元140沿八个方向确定移动时，最终胜者全得电路822的构造可如图14所示。
图14是示出根据示例实施例的包括在第二方向检测滤波器中的胜者全得电路的构造的示例的示图。
参照图14，最终胜者全得电路822包括九个神经元1410、1420和1430。
神经元1410、1420和1430中的每一个可接收针对胜者全得电路812、814和816中的每一个检测到的移动方向信息，将更大权重应用到分配给对应神经元的方向，并计算神经元1410、1420和1430的内部状态值。
当内部状态值超过预定阈值时，神经元1410、1420和1430中的每一个可输出指示沿对应方向检测到移动的信号。
除了产生初始输出的神经元之外，神经元1410、1420和1430可抑制彼此产生输出。
神经元(0)1410至神经元(7)1420可表示检测朝着与图12中所示的索引对应的方向的移动的神经元。
神经元(g)1430可表示检测事件的发生频率大于参考值或者移动没有沿预定方向的情况的神经元。
当事件的发生频率大于参考值或者移动没有沿预定方向时，移动可能是基于视觉传感器110来回移动的手的移动或者环绕移动。
当最终胜者全得电路822检测如图12所示的八个方向时，可如图15所示设置将应用于针对输入至检测方向的神经元的胜者全得电路812、814和186中的每一个所检测的移动方向信息的权重。
图15是示出根据示例实施例的应用于包括在第二方向检测滤波器中的胜者全得电路的多个神经元的权重的示例的示图。
参照图15，与对应方向越相似，将应用于针对输入至包括在最终胜者全得电路822中的神经元1410、1420和1430的胜者全得电路812、814和186中的每一个所检测的移动方向信息的权重越高，与对应方向越相反，将应用的权重越低。
然而，神经元(g)1430可能因为将要检测的方向不存在而将相同的权重应用于所有方向。
包括在第二动作确定单元140中的胜者全得电路812、814和816可在从视觉传感器110输出的事件的多种类型中进行分类。
例如，当从视觉传感器110输出的事件的类型包括ON事件和OFF事件时，第二动作确定单元140可包括与基于OFF事件检测移动方向的构造分开的基于ON事件检测移动方向的构造，并且可通过将基于ON事件检测的移动方向和基于OFF事件检测的移动方向集成来确定最终移动方向。
图16是示出根据示例实施例的基于经由视觉传感器接收的事件的类型的胜者全得电路的构造的示例的示图。
参照图16，当从视觉传感器110输出的事件的类型包括ON事件和OFF事件时，感受野的ON事件可被输入至ON事件胜者全得电路1610，感受野的OFF事件可被输入至OFF事件胜者全得电路1620。
参照图1，当移动的类型为小移动时，第三动作确定单元145可计算OFF事件与ON事件的比率，并且可将所述比率与至少一个预定参考值进行比较，以确定对象的向前移动或向后移动。
在增加照明的状态下，第三动作确定单元145当(ON事件发生频率/OFF事件发生频率)大于第一参考值时可将移动的类型确定为向前移动，并且当(ON事件发生频率/OFF事件发生频率)小于第二参考值时可将移动的类型确定为向后移动。第一参考值大于“1”，第二参考值小于“1”。
在减小照明的状态下，第三动作确定单元145当(ON事件发生频率/OFF事件发生频率)大于第一参考值时可将移动的类型确定为向后移动，并且当(ON事件发生频率/OFF事件发生频率)小于第二参考值时可将移动的类型确定为向前移动。
第一动作确定单元130和第三动作确定单元145可均使用小移动，并且第一动作确定单元130和第三动作确定单元145中的一个可基于用户的设置来操作。
动作控制单元150可基于第一动作确定单元130所确定的动作模式或者第二动作确定单元140所确定的移动方向将用于控制装置(未示出)的控制指令输出给装置。所述装置可设置在与用于识别动作的设备100的有线/无线通信可用的位置处，或者用于识别动作的设备100可设置在所述装置内部。
以下，将参照附图描述根据上述构造利用基于事件的视觉传感器的用于识别动作的方法。
图17是示出根据示例实施例的用于识别动作的设备100的操作的流程图。
参照图17，在操作1710中，用于识别动作的设备100可从视觉传感器输出与移动发生部位对应的事件。
在操作1712中，用于识别动作的设备100可验证事件的发生频率。
在操作1714中，用于识别动作设备100可将事件的发生频率与预定阈值进行比较，并验证移动的类型是不是小移动(例如，手指移动)。验证方法包括当事件的发生频率小于预定阈值时将移动的类型确定为手指移动，当发生频率大于预定阈值时将移动的类型确定为整个手移动。
当操作1714的结果被验证为是手指移动时，在操作1716中，用于识别动作的设备100可追踪手指的位置，并计算手指的移动轨迹。
在操作1718中，用于识别动作的设备100可从手指的移动轨迹确定移动发生部位的手指的动作模式。
当操作1714的结果被验证为是整个手移动时，在操作1720中，用于识别动作的设备100可追踪手的移动方向。
在操作1718或操作1720之后，用于识别动作的设备100可在操作1722中基于确定的动作模式或确定的移动方向输出用于控制装置的控制指令。
图18是示出根据示例实施例的识别手指的动作的操作的流程图。
参照图18，在操作1810中，用于识别动作的设备100可从视觉传感器110接收事件。在操作1812中，用于识别动作的设备100可基于接收的事件计算时空相关器的时空相关性。
在操作1814中，用于识别动作的设备100可验证输出为“1”的时空相关器的存在。
当作为操作1814的结果，输出为“1”的时空相关器被验证为存在时，用于识别动作的设备100可在操作1816中通过将输出为“1”的时空相关器分组来产生聚类。
在操作1818中，用于识别动作的设备100可从聚类的位置设置聚类区域。聚类区域可对应于包括聚类的预定区域，并且可以是从中心扩展的预定区域。
在操作1820中，用于识别动作的设备100可基于聚类区域内的时空相关器的内部状态值计算聚类区域的中心，并且计算聚类区域的中心作为对象的位置。
当作为操作1814的结果，输出为“1”的时空相关器被验证为不存在时，在操作1820中，用于识别动作的设备100可基于先前聚类区域内的时空相关器的内部状态值重新计算聚类区域的中心，并且将重新计算的聚类区域的中心计算作为对象的位置。如本文所用，先前聚类区域可表示最近设置的聚类区域。
在操作1820或操作1822之后，用于识别动作的设备100可在操作1824中结合先前计算的对象的位置追踪移动轨迹。
在操作1826中，用于识别动作设备100可从追踪的移动轨迹提取表示动作模式的特征分量。特征分量可包括各种参数，例如，聚类的位置、聚类的移动方向和聚类的移动角度。
在操作1828中，用于识别动作的设备100可将特征分量与存储的动作模式进行比较，确定移动发生部位的动作模式，并基于确定的动作模式输出用于控制装置的控制指令。
图19是示出根据示例实施例的检测手的移动方向的操作的流程图。
参照图19，在操作1910中，用于识别动作的设备100可从视觉传感器110接收事件。在操作1912中，用于识别动作的设备100可基于从视觉传感器110输出的事件针对多个感受野检测对象的移动方向。感受野可以圆形形式提供，以消除基于感受野的形式的预定方向性。
在操作1914中，用于识别动作的设备100可基于针对多个感受野检测的方向信息基于视觉传感器110检测最终移动方向(例如，对象的移动方向)。
示例实施例包括计算机可读介质，其包括实现由计算机实施的各种操作的程序指令。所述介质还可包括单独或与所述程序指令组合的数据文件、数据结构、表等。所述介质和程序指令可以是为了示例实施例的目的而专门设计并构造的那些，或者它们可以是计算机软件领域的技术人员熟知并可用的任何类型。计算机可读介质的示例包括：磁介质，例如硬盘、软盘和磁带；光学介质，例如CD ROM盘；磁光介质，例如光磁盘；以及专门被配置为存储和执行程序指令的硬件装置，例如只读存储装置(ROM)和随机存取存储器(RAM)。程序指令的示例包括诸如由编译器生成的机器代码和包含可由计算机利用解释器执行的高级代码的文件二者。所描述的硬件装置可被配置为用作一个或多个软件模块以便执行上述示例实施例的操作，反之亦然。
尽管已示出并描述了若干示例实施例，本公开不限于所描述的示例实施例。相反，本领域技术人员将理解，在不脱离本公开的原理和精神的情况下，可对这些示例实施例进行改变，本公开的范围由权利要求及其等同物限定。

Claims (22)

1.一种利用基于事件的视觉传感器识别动作的设备，所述设备包括：
视觉传感器，感测移动发生部位并输出事件；
移动类型确定单元，利用通过视觉传感器输出的事件的发生频率确定移动的类型；
第一动作确定单元，当移动类型确定单元的结果指示对象的一部分移动的小移动时，追踪移动发生部位的移动轨迹并基于所述移动轨迹确定动作模式；
第二动作确定单元，当移动类型确定单元的结果指示整个对象移动的大移动时，基于事件确定对象移动的移动方向；
动作控制单元，基于第一动作确定单元确定的动作模式或者第二动作确定单元确定的移动方向来输出用于控制装置的控制指令。
2.根据权利要求1所述的设备，其中，移动类型确定单元计算通过视觉传感器输出的事件的发生频率，并且将所述发生频率与预定阈值进行比较，以在所述发生频率小于所述阈值时确定为对象的一部分移动的小移动，在所述发生频率大于或等于所述阈值时确定为整个对象移动的大移动。
3.根据权利要求1所述的设备，其中，第一动作确定单元包括：
与视觉传感器的多个预定感受野对应的时空相关器，接收从预定感受野输出的事件的输入并针对预定感受野中的每一个计算时空相关性；
移动轨迹追踪单元，基于预定感受野的时空相关性的波动追踪移动发生部位的移动轨迹；
动作模式确定单元，从追踪的移动轨迹确定移动发生部位的动作模式。
4.根据权利要求3所述的设备，其中，感受野对应于视觉传感器的划分的区域，并与另一邻近感受野的区域重叠。
5.根据权利要求3所述的设备，其中，移动轨迹追踪单元通过将时空相关器中的具有高时空相关性的时空相关器分组来产生聚类，将包括聚类的预定区域设置为聚类区域，将聚类区域的中心计算为移动对象的位置，并且结合计算的移动对象的位置追踪移动轨迹。
6.根据权利要求5所述的设备，其中，当在时空相关器中不存在具有高时空相关性的时空相关器时，移动轨迹追踪单元基于先前聚类区域中的时空相关器的内部状态值重新计算先前聚类区域的中心，将重新计算的先前聚类区域的中心计算为移动对象的位置，并且结合计算的移动对象的位置追踪移动轨迹。
7.根据权利要求1所述的设备，其中，第二动作确定单元包括：
第一方向检测滤波器，接收从视觉传感器的多个预定感受野输出的事件的输入，并针对所述多个预定感受野检测对象移动的移动方向；
第二方向检测滤波器，基于针对所述多个预定感受野检测的移动方向确定对象的最终移动方向。
8.根据权利要求7所述的设备，其中，所述预定感受野对应于视觉传感器的划分的区域，与另一邻近感受野的区域重叠，并且以圆的形式提供。
9.根据权利要求7所述的设备，其中，第一方向检测滤波器包括：
至少一个胜者全得电路，与预定感受野中的每一个对应，并且
所述至少一个胜者全得电路利用数量与第二动作确定单元确定的方向的数量对应的神经元从对应感受野输出对象的移动方向。
10.根据权利要求7所述的设备，其中，第二方向检测滤波器包括：
胜者全得电路，基于针对所述多个预定感受野检测的移动方向确定对象的最终移动方向，并且
所述胜者全得电路利用数量与第二动作确定单元所确定的方向的数量对应的神经元基于针对所述多个预定感受野检测的移动方向输出对象的最终移动方向。
11.根据权利要求7所述的设备，其中，第二方向检测滤波器通过计算针对所述多个预定感受野检测的移动方向的矢量和来确定对象的最终移动方向。
12.根据权利要求1所述的设备，还包括：
第三动作确定单元，当移动类型确定单元的结果指示对象的一部分移动的小移动时，将通过视觉传感器输出的事件分类为ON事件和OFF事件，计算OFF事件的比率，并通过将所述比率与至少一个预定参考值进行比较来确定对象的前进或后退。
13.一种利用基于事件的视觉传感器识别动作的设备，所述设备包括：
视觉传感器，感测移动发生部位并输出事件；
第一方向检测滤波器，接收从视觉传感器的多个预定感受野输出的事件的输入，并针对所述多个预定感受野检测对象移动的移动方向；
第二方向检测滤波器，基于针对所述多个预定感受野检测的移动方向确定对象的最终移动方向；
动作控制单元，基于确定的移动方向输出用于控制装置的控制指令。
14.根据权利要求13所述的设备，其中，所述预定感受野对应于视觉传感器的划分的区域，与另一邻近感受野的区域重叠，并且以圆的形式提供。
15.根据权利要求13所述的设备，其中，第一方向检测滤波器包括：
至少一个胜者全得电路，与预定感受野中的每一个对应，并且
所述至少一个胜者全得电路利用数量与检测的移动方向的数量对应的神经元从对应感受野输出对象的移动方向。
16.根据权利要求13所述的设备，其中，第二方向检测滤波器包括：
胜者全得电路，基于针对所述多个预定感受野检测的移动方向确定对象的最终移动方向，并且
所述胜者全得电路利用数量与检测的移动方向的数量对应的神经元基于针对所述多个预定感受野检测的移动方向输出对象的最终移动方向。
17.一种识别动作的方法，所述方法包括：
从视觉传感器接收与移动发生部位对应的事件的输入；
基于事件发生频率确定移动的类型；
当确定移动的类型的结果指示对象的一部分移动的小移动时，追踪移动发生部位的移动轨迹并基于所述移动轨迹确定动作模式；
当确定移动的类型的结果指示整个对象移动的大移动时，基于事件确定对象移动的移动方向；
基于确定的动作模式或确定的移动方向控制装置。
18.根据权利要求17所述的方法，其中，确定动作模式的步骤包括：
接收从视觉传感器的多个预定感受野输出的事件的输入，并计算与预定感受野中的每一个对应的时空相关器的时空相关性；
针对预定感受野中的每一个基于时空相关性的波动追踪移动发生部位的移动轨迹；
从追踪的移动轨迹确定移动发生部位的动作模式。
19.根据权利要求18所述的方法，其中，追踪移动轨迹的步骤包括：通过将时空相关器中的具有高时空相关性的时空相关器分组来产生聚类，将包括聚类的预定区域设置为聚类区域，将聚类区域的中心计算为对象的位置，并且结合计算的对象的位置追踪移动轨迹。
20.根据权利要求19所述的方法，其中，追踪移动轨迹的步骤包括：当在时空相关器中不存在具有高时空相关性的时空相关器时，基于先前聚类区域中的时空相关器的内部状态值重新计算先前聚类区域的中心，将重新计算的先前聚类区域的中心计算为对象的位置，并且结合计算的对象的位置追踪移动轨迹。
21.根据权利要求17所述的方法，其中，确定移动方向的步骤包括：
基于从视觉传感器的预定感受野输出的事件针对多个预定感受野检测对象移动的移动方向；
基于针对所述多个预定感受野检测的移动方向确定对象的最终移动方向。
22.一种识别动作的方法，所述方法包括：
接收从视觉传感器的多个预定感受野输出的事件的输入；
针对所述多个预定感受野检测对象移动的移动方向；
基于针对所述多个预定感受野检测的移动方向确定对象的最终移动方向；
基于确定的移动方向控制装置。
CN201280050556.0A 2011-10-14 2012-10-12 利用基于事件的视觉传感器识别动作的设备和方法 Active CN103858075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710325207.XA CN107066117A (zh) 2011-10-14 2012-10-12 利用基于事件的视觉传感器识别动作的设备和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020110105341A KR101880998B1 (ko) 2011-10-14 2011-10-14 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
KR10-2011-0105341 2011-10-14
PCT/KR2012/008287 WO2013055137A1 (ko) 2011-10-14 2012-10-12 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710325207.XA Division CN107066117A (zh) 2011-10-14 2012-10-12 利用基于事件的视觉传感器识别动作的设备和方法

Publications (2)

Publication Number Publication Date
CN103858075A CN103858075A (zh) 2014-06-11
CN103858075B true CN103858075B (zh) 2017-06-06

Family

ID=48082099

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280050556.0A Active CN103858075B (zh) 2011-10-14 2012-10-12 利用基于事件的视觉传感器识别动作的设备和方法
CN201710325207.XA Withdrawn CN107066117A (zh) 2011-10-14 2012-10-12 利用基于事件的视觉传感器识别动作的设备和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710325207.XA Withdrawn CN107066117A (zh) 2011-10-14 2012-10-12 利用基于事件的视觉传感器识别动作的设备和方法

Country Status (6)

Country Link
US (1) US9389693B2 (zh)
EP (1) EP2767889B1 (zh)
JP (1) JP5982000B2 (zh)
KR (1) KR101880998B1 (zh)
CN (2) CN103858075B (zh)
WO (1) WO2013055137A1 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102022970B1 (ko) * 2013-04-30 2019-11-04 삼성전자주식회사 시각 센서에 기반하여 공간 정보를 감지하는 장치 및 방법
KR102129916B1 (ko) * 2013-07-29 2020-08-05 삼성전자주식회사 이벤트 정보를 포함하는 영상을 분석하는 장치 및 방법
US9767571B2 (en) * 2013-07-29 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing image including event information
KR102091473B1 (ko) 2014-01-07 2020-04-14 삼성전자주식회사 이벤트 기반 센서를 이용한 피사체의 움직임 분석 방법
US9671121B2 (en) 2014-02-19 2017-06-06 Enlighted, Inc. Motion tracking
KR102224932B1 (ko) * 2014-02-19 2021-03-08 삼성전자주식회사 비전 센서를 이용한 사용자 입력 처리 장치 및 사용자 입력 처리 방법
KR20150120124A (ko) * 2014-04-17 2015-10-27 삼성전자주식회사 다이내믹 비전 센서 및 이를 포함하는 모션 인식 장치
US9761009B2 (en) * 2014-10-20 2017-09-12 Sesame Enable Ltd. Motion tracking device control systems and methods
KR102347249B1 (ko) 2014-10-21 2022-01-04 삼성전자주식회사 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법
CN105844659B (zh) * 2015-01-14 2019-04-26 北京三星通信技术研究有限公司 运动部件的跟踪方法和装置
CN105844128B (zh) * 2015-01-15 2021-03-02 北京三星通信技术研究有限公司 身份识别方法和装置
KR102402678B1 (ko) 2015-03-18 2022-05-26 삼성전자주식회사 이벤트 기반 센서 및 프로세서의 동작 방법
KR20160121287A (ko) * 2015-04-10 2016-10-19 삼성전자주식회사 이벤트에 기반하여 화면을 디스플레이하는 방법 및 장치
KR102407274B1 (ko) 2015-07-31 2022-06-10 삼성전자주식회사 임계 전압 제어 방법 및 임계 전압 제어 장치
KR102523136B1 (ko) 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
KR102399017B1 (ko) 2015-11-16 2022-05-17 삼성전자주식회사 이미지 생성 방법 및 장치
CN105511631B (zh) * 2016-01-19 2018-08-07 北京小米移动软件有限公司 手势识别方法及装置
CN105718056B (zh) * 2016-01-19 2019-09-10 北京小米移动软件有限公司 手势识别方法及装置
US10198660B2 (en) * 2016-01-27 2019-02-05 Samsung Electronics Co. Ltd. Method and apparatus for event sampling of dynamic vision sensor on image formation
KR20180014992A (ko) 2016-08-02 2018-02-12 삼성전자주식회사 이벤트 신호 처리 방법 및 장치
KR102621725B1 (ko) * 2016-09-01 2024-01-05 삼성전자주식회사 데이터 출력 장치
US20180146149A1 (en) 2016-11-21 2018-05-24 Samsung Electronics Co., Ltd. Event-based sensor, user device including the same, and operation method of the same
KR102503543B1 (ko) 2018-05-24 2023-02-24 삼성전자주식회사 다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법
EP3595295B1 (en) * 2018-07-11 2024-04-17 IniVation AG Array of cells for detecting time-dependent image data
JP7369517B2 (ja) 2018-10-04 2023-10-26 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、被写体の検出方法およびプログラム
JP7023209B2 (ja) 2018-10-04 2022-02-21 株式会社ソニー・インタラクティブエンタテインメント 電子機器、アクチュエータの制御方法およびプログラム
JP7285058B2 (ja) 2018-10-04 2023-06-01 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、被写体の検出方法、プログラムおよび処理回路
JP7251942B2 (ja) * 2018-10-17 2023-04-04 株式会社ソニー・インタラクティブエンタテインメント センサの校正システム、表示制御装置、プログラム、およびセンサの校正方法
JP7152285B2 (ja) 2018-12-05 2022-10-12 株式会社ソニー・インタラクティブエンタテインメント 電子機器、補正方法およびプログラム
JP7175730B2 (ja) 2018-12-05 2022-11-21 株式会社ソニー・インタラクティブエンタテインメント 信号処理装置、電子機器、センサ装置、信号処理方法およびプログラム
US20220036110A1 (en) 2018-12-13 2022-02-03 Prophesee Method of tracking objects in a scene
WO2020255399A1 (ja) * 2019-06-21 2020-12-24 株式会社ソニー・インタラクティブエンタテインメント 位置検出システム、画像処理装置、位置検出方法および位置検出プログラム
CN114073070A (zh) * 2019-06-25 2022-02-18 索尼互动娱乐股份有限公司 系统、信息处理设备、信息处理方法和程序
WO2020261408A1 (ja) * 2019-06-26 2020-12-30 株式会社ソニー・インタラクティブエンタテインメント システム、情報処理装置、情報処理方法およびプログラム
WO2020261491A1 (ja) 2019-06-27 2020-12-30 株式会社ソニー・インタラクティブエンタテインメント センサ制御装置、センサ制御方法およびプログラム
KR20220050130A (ko) 2019-08-20 2022-04-22 주식회사 소니 인터랙티브 엔터테인먼트 화상 처리 장치, 촬상 장치, 시스템, 화상 처리 방법 및 프로그램
EP4020963A4 (en) 2019-08-20 2022-08-10 Sony Interactive Entertainment Inc. IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
US11910110B2 (en) 2019-08-20 2024-02-20 Sony Interactive Entertainment Inc. Transfer control device, image processing device, transfer control method, and program
JP7280860B2 (ja) 2020-11-17 2023-05-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、システム、情報処理方法および情報処理プログラム
US12003894B1 (en) 2020-12-29 2024-06-04 Waymo Llc Systems, methods, and apparatus for event detection
WO2023188184A1 (ja) * 2022-03-30 2023-10-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム
WO2023188183A1 (ja) * 2022-03-30 2023-10-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9025797D0 (en) 1990-11-28 1991-01-09 Hitachi Europ Ltd Motion target tracking system
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
EP0823683B1 (en) * 1995-04-28 2005-07-06 Matsushita Electric Industrial Co., Ltd. Interface device
JP3321053B2 (ja) * 1996-10-18 2002-09-03 株式会社東芝 情報入力装置及び情報入力方法及び補正データ生成装置
JP5048890B2 (ja) 1998-10-13 2012-10-17 ソニー エレクトロニクス インク 動作検知インターフェース
JP2001216069A (ja) 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP3732757B2 (ja) * 2001-06-08 2006-01-11 株式会社東芝 画像認識方法および画像認識装置
KR100419777B1 (ko) * 2001-10-09 2004-02-21 한국과학기술원 수화 인식 방법 및 시스템
US10242255B2 (en) * 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
JP2004094653A (ja) * 2002-08-30 2004-03-25 Nara Institute Of Science & Technology 情報入力システム
US7671916B2 (en) * 2004-06-04 2010-03-02 Electronic Arts Inc. Motion sensor using dual camera inputs
CA2609623C (en) 2005-06-03 2015-12-29 Universitaet Zuerich Photoarray for detecting time-dependent image data
KR100642499B1 (ko) * 2005-12-02 2006-11-10 주식회사 애트랩 광 네비게이션 장치 및 이의 동작 방법
JP4569555B2 (ja) * 2005-12-14 2010-10-27 日本ビクター株式会社 電子機器
JP4607797B2 (ja) * 2006-03-06 2011-01-05 株式会社東芝 行動判別装置、方法およびプログラム
JP4579191B2 (ja) * 2006-06-05 2010-11-10 本田技研工業株式会社 移動体の衝突回避システム、プログラムおよび方法
JP4650381B2 (ja) 2006-09-08 2011-03-16 日本ビクター株式会社 電子機器
JP4992618B2 (ja) * 2007-09-05 2012-08-08 カシオ計算機株式会社 ジェスチャー認識装置及びジェスチャー認識方法
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
WO2009155465A1 (en) * 2008-06-18 2009-12-23 Oblong Industries, Inc. Gesture-based control system for vehicle interfaces
US8514251B2 (en) * 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
CN101436301B (zh) * 2008-12-04 2012-01-18 上海大学 视频编码中特征运动区域的检测方法
JP5483899B2 (ja) 2009-02-19 2014-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
KR101234111B1 (ko) * 2009-10-13 2013-02-19 한국전자통신연구원 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법
JP2011170747A (ja) * 2010-02-22 2011-09-01 Brother Industries Ltd 情報入力装置
US20110223995A1 (en) * 2010-03-12 2011-09-15 Kevin Geisner Interacting with a computer based application
US20110254765A1 (en) 2010-04-18 2011-10-20 Primesense Ltd. Remote text input using handwriting
US8698092B2 (en) * 2010-09-10 2014-04-15 Samsung Electronics Co., Ltd. Method and apparatus for motion recognition
KR101792866B1 (ko) * 2011-04-06 2017-11-20 삼성전자주식회사 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dynamic vision sensor camera based bare hand gesture recognition;Eun Yeong Ahn et al.;《Computational Intelligence for Multimedia, Signal and Vision Processing (CIMSIVP), 2011 IEEE Symposium on》;20110415;摘要，第1节引言至第8节结论，图1-8 *

Also Published As

Publication number Publication date
KR20130040517A (ko) 2013-04-24
WO2013055137A1 (ko) 2013-04-18
CN107066117A (zh) 2017-08-18
EP2767889A1 (en) 2014-08-20
US9389693B2 (en) 2016-07-12
EP2767889B1 (en) 2023-09-13
JP5982000B2 (ja) 2016-08-31
JP2014535098A (ja) 2014-12-25
US20140320403A1 (en) 2014-10-30
KR101880998B1 (ko) 2018-07-24
CN103858075A (zh) 2014-06-11
EP2767889A4 (en) 2016-10-19

Similar Documents

Publication Publication Date Title
CN103858075B (zh) 利用基于事件的视觉传感器识别动作的设备和方法
KR101792866B1 (ko) 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법
US9285983B2 (en) Gesture recognition using neural networks
CN108596092A (zh) 手势识别方法、装置、设备和存储介质
CN101373416B (zh) 一种电阻式触控面板控制器与判别并运算多点坐标的方法
CN102221980B (zh) 电子书模拟翻页效果实现方法及系统
CN102073414B (zh) 基于机器视觉的多点触摸跟踪方法
CN104380234B (zh) 图标移动方法、装置和电子设备
CN101689089A (zh) 二维触摸面板
CN104517100B (zh) 手势预判方法和系统
CN105518599A (zh) 多用户多触摸的感应电容式触摸传感器
CN105892877A (zh) 多指并拢或打开手势的识别方法、装置及终端设备
CN103970322B (zh) 一种触摸屏轨迹跟踪处理的方法和系统
CN108021281A (zh) 触控处理装置、方法与电子系统
CN109685797A (zh) 骨骼点检测方法、装置、处理设备及存储介质
CN110268374A (zh) 有源触控笔差分同步
CN107092434A (zh) 重叠目标选择方法及装置、存储介质、电子设备
CN104820558B (zh) 一种拾取被遮挡图像的方法及装置
CN105117049B (zh) 触控信息传送方法、处理器与系统
CN101458610A (zh) 一种多点触控控制器的控制方法
CN107924246A (zh) 有源触控笔差分同步
CN103713755A (zh) 一种触摸识别装置及识别方法
CN101859204A (zh) 具有嵌入式光传感器的显示面板的输入检测系统与方法
CN105892895A (zh) 多指滑动手势的识别方法、装置及终端设备
CN106896966A (zh) 红外触摸屏中触点位置和形状信息存储的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant