CN102356398B - 用于视频流中的对象识别和跟踪的系统和方法 - Google Patents

用于视频流中的对象识别和跟踪的系统和方法 Download PDF

Info

Publication number
CN102356398B
CN102356398B CN201080012557.7A CN201080012557A CN102356398B CN 102356398 B CN102356398 B CN 102356398B CN 201080012557 A CN201080012557 A CN 201080012557A CN 102356398 B CN102356398 B CN 102356398B
Authority
CN
China
Prior art keywords
region
interest
frame
video
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080012557.7A
Other languages
English (en)
Other versions
CN102356398A (zh
Inventor
N·伊斯拉埃尔
I·卡茨
D·科恩
A·申弗尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eyesight Mobile Technologies Ltd
Original Assignee
Eyesight Mobile Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eyesight Mobile Technologies Ltd filed Critical Eyesight Mobile Technologies Ltd
Publication of CN102356398A publication Critical patent/CN102356398A/zh
Application granted granted Critical
Publication of CN102356398B publication Critical patent/CN102356398B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种用于在视频流中进行对象检测和对象跟踪的系统方法。将视频流的帧划分为关注区域，并且针对每个关注区域计算区域包含至少一部分要被跟踪的对象的概率。接着基于所计算的概率将每个帧中的关注对象分类。接着，针对每个视频帧构建关注区域(RI)帧，所述关注区域(RI)帧报告视频帧中的关注区域的分类。接着比较两个或者更多个RI帧以确定对象的运动。本发明还提供执行本发明的方法的系统以及包括该系统的装置。例如，装置可以是便携式计算机、移动电话、或者娱乐装置。

Description

用于视频流中的对象识别和跟踪的系统和方法
技术领域
本发明涉及用于对象检测和跟踪的方法和系统，以及包含这种系统的装置。
背景技术
下面的现有技术出版物被认为对理解本发明有关。
Digital Image Processing by Rafael C.Gonzalez，Richard E.Woods and Steven L.Eddins，Prentice Hall(2004)，10.4.2-Region Growing.
E.Deja，M.M.Deja，Dictionary of Distances，Elsevier(2006).
Mahalanobis，P C(1936).″On the generalised distance in statistics″.Proceedings of theNational Institute of Sciences of India 2(1)：49-55).
Itakura F.，″Line spectrum representation of linear predictive coefficients of speechsignals，″J.Acoust.Soc.Am.，57，537(A)，1975.
James M.Abello，Panos M.Pardalos，and Mauricio G.C.Resende(editors)(2002).Handbook of Massive Data Sets.Springer.
E.R.Berlekamp，Algebraic Coding Theory，McGraw-Hill 1968.
Richard W.Hamming.Error Detecting and Error Correcting Codes，Bell SystemTechnical Journal 26(2)：147-160，1950.
Dan Gusfield.Algorithms on strings，trees，and sequences：computer science andcomputational biology.Cambridge University Press，New York，NY，USA，1997).
美国专利第5,767,842号和第6,650,318号。
将数据输入到数据处理装置是使用诸如键盘、鼠标或者操纵杆的数据输入装置实现的。尽管电子装置被不断地小型化，但是各种相关的数据输入装置的大小不能充分地缩小，这是因为它们必须符合用户的手的大小。因此提出了用户的手不需要触摸装置来输入数据的方法。例如，授权给Korth的美国专利第5,767,842号和授权给Arnon的美国专利第6,650,318号公开了一种光学系统，其中使用照相机来监视用户的手和手指运动。软件应用将这些运动解读为在物理上不存在的计算机键盘或者其它输入装置上的操作。在这些系统中，相机具有固定位置，因而图像的背景保持恒定。这就允许软件应用利用存在于恒定背景中的信息来检测每幅图像中的用户的手。因此，该系统不能用在使用中会运动的装置中，这是因为，在此情况下图像的背景不恒定，所以图像中没有可靠的背景信息。在使用中会运动的装置包括手持装置，诸如个人数字助理(PDA)、移动电话、数字照相机和移动游戏机。
发明内容
在其第一个方面中，本发明提供了一种用于在视频流中进行对象检测和跟踪的系统。本发明的系统基于两个单独的逻辑架构。第一架构将视频流划分为关注区域，其充当环境中的单独的运动传感器、独立地负责计算在区域中存在被跟踪对象的可能性。第二架构基于可能性的模式来监视区域集合随着时间的行为，计算被跟踪对象的位置和运动参数。
本发明的系统包括存储器，其存储要被系统分析的视频流的帧。处理器获取存储在存储器中的视频流的帧。对象检测模块根据关注区域包含至少一部分的要跟踪的预定对象的概率、将每个帧中的关注区域分类。如下所述，对象检测模块的对象检测不涉及帧中的对象的边缘检测。对象跟踪模块接收由对象检测模块所输出的分类的帧作为其输入，通过比较连续的分类的帧来确定对象的运动。本发明的系统可以用于向装置输入操作系统(OS)命令，代替诸如键盘、鼠标或者操纵杆的与装置相关联的任何输入装置或者在这些输入装置之外添加。本发明的系统可以用于任何类型的数据处理装置，例如个人计算机(PC)、便携式计算机(诸如PDA、膝上型计算机或者奔迈掌上通(Palm Pilot))、移动电话、收音机或者其它娱乐装置、交通工具、数字照相机、移动游戏机、计算机医疗装置和智能住宅产品。
根据应用，处理器可以可选地包括模式识别模块，模式识别模块从预定的对象运动的集合识别被跟踪对象的运动的模式。该系统还可以包括存储有查找表的OS命令执行模块，该OS命令执行模块针对一个或者更多个预定的运动模式的每一个提供关联的OS命令。当识别出了一个预定的对象运动时，通过系统执行与该运动相关联的OS命令。
在其第二个方面中，本发明提供了一种包括本发明的系统的数据处理装置。例如，数据处理装置可以是个人计算机(PC)、诸如PDA、膝上型计算机的便携式计算机、或者移动电话、收音机或者其它娱乐装置、交通工具、数字式照相机或者移动游戏机。本发明的装置具有摄像机和处理器，它们被配置为进行如上所述的对象检测和对象跟踪。例如，要被检测和跟踪的对象可以是用户的手或者手指，或者手持触笔，或者其它预定的或者专用的装置。
本发明的装置包括存储有查找表的存储器，该查找表针对每个识别出的运动提供相关联的OS命令。当通过模式识别模块检测到运动模式时，在查找表中查找与该运动相关联的OS命令，并且接着执行与该运动相关联的OS命令。例如，OS命令可以是诸如扬声器开/关、MP3/IPTV的下一/前一音轨、控制GPS应用中的地图浏览和打开语音邮箱服务的激活功能。
根据本发明的此方面，将视频流的帧划分为两个或者更多个关注区域。针对每个关注区域，执行关注区域中的像素的统计分析。例如，统计分析可以包括针对基于所述关注区域中的像素限定的一个或者更多个函数中的每一个函数产生直方图。例如，该函数可以是像素的红色、绿色或者蓝色的任意一个的强度，或者像素的色相、饱和度或者亮度的任意一个。直方图可以是单变量的直方图或者可以是多变量的直方图，其中像素属性的n元组的频率被计数。统计分析还可以包括计算任意一个或更多个直方图的诸如平均数、众数、标准差、或者方差的统计参数的值。使用关注区域的统计分析的结果、根据该区域包括至少一部分被检测对象的概率对该区域分类。针对每个分析的帧，产生“关注区域(RI)帧”，它是帧的关注区域的分类的表征。
使用一个或者更多个模式检测模块、根据RI帧来检测对象的特定运动模式。每个模式检测模块输出在时间窗口期间发生模式检测模块检测到特定的运动模式的概率。将一个或者更多个模式识别模块的输出输入到运动识别模块，运动识别模块确定最有可能已发生的运动模式。运动检测模块的确定基于从模式识别模块所输入的概率，并且还可以将外部输入考虑在内，外部输入例如来自操作系统或者运行的应用的输入。
由此，在其第一个方面中，本发明提供了一种用于在视频流中进行对象检测和跟踪的系统，该系统包括：
(a)处理器，其包括对象检测模块和对象跟踪模块；
其中所述对象检测模块被配置为：
(i)针对所述视频流中的两个或者更多个帧中的每个帧中的一个或者更多个关注区域的每个关注区域计算所述关注区域包含至少一部分要被跟踪的对象的概率；以及
(ii)根据所计算出的概率将所述两个或者更多个帧的每个帧中的关注区域分类，并且针对每个视频帧产生关注区域(RI)帧，RI帧报告关注区域的分类；
并且其中，所述对象跟踪模块被配置为：
(i)比较由所述对象检测模块所产生的两个RI帧，并且确定对象的运动。
对象跟踪模块可以包括一个或者更多个模式检测模块，每个模式检测模块被配置为计算时间窗口期间被跟踪对象的运动的特定模式在所述时间窗口期间发生的概率。对象跟踪模块还可以包括运动识别模块，所述运动识别模块基于一个或者更多个模式检测模块所产生的概率来确定最有可能发生的运动模式。运动识别模块的确定可能涉及将外部信号考虑在内。
本发明的系统还可以包括操作系统(OS)命令执行模块，该模块被配置为执行与所识别出的运动的模式相关联的OS命令。
在其第二个方面中，本发明提供了一种用于在视频流中进行对象检测和跟踪的方法，该方法包括：
(i)针对所述视频流中的两个或者更多个帧的每个帧中的一个或者更多个关注区域的每个关注区域计算所述关注区域包含至少一部分要被跟踪的对象的概率；
(ii)根据所计算出的概率将所述两个或者更多个帧的每个帧中的关注区域分类，并且针对各视频帧产生关注区域(RI)帧，RI帧报告关注区域的分类；以及
(i)比较由所述对象检测模块产生的两个或者更多个RI帧并且确定对象的运动。
关注区域包含至少一部分要被跟踪的对象的概率可以以以下方法获得，所述方法包括：
(a)针对所述视频流中的每个帧中的一个或者更多个关注区域的每个关注区域计算在所述关注区域中的像素的统计分析；
(b)在涉及所述视频流的一个或者更多个先前帧中的所述关注区域的统计分析的计算中计算所述关注区域的离散分类。
统计分析可以包括针对基于所述关注区域中的像素所限定的一个或者更多个函数的每个函数产生直方图。一个或者更多个函数可以从包括以下各项的组中选出：
(a)所述像素的红色、绿色或者蓝色的任意一个的强度；以及
(b)所述像素的色相、饱和度或者亮度的任意一个。
本发明的方法还可以包括计算所述一个或者更多个函数的统计参数的值。一个或者更多个统计参数可以从包括以下各项的组中选出：
(a)平均数；
(b)众数；
(c)标准差；以及
(d)方差。
比较两个或者更多个RI帧的步骤可以包括：
(a)针对每个帧、以及针对所述帧中的每个分类的关注区域，将所述关注区域的分类与在包含所述帧的时间窗口中获得的多个帧中的关注区域的分类相比较；
(b)基于所述比较确定所选择的关注区域是否包含要被跟踪的对象；
(c)基于该确定、根据关注区域是否包含要被跟踪的对象将所述关注对象重新分类；以及
(d)基于在时间窗口期间两个或者更多个区域的状态的变化来计算所述对象的运动的一个或者更多个跟踪参数。
跟踪参数可以从包括以下各项的组中选出：
(a)所述对象的运动的方向；
(b)所述对象的运动的速度；
(c)所述对象的加速度；
(d)以像素计量的所述对象的宽度；以及
(e)以像素计量的所述对象的高度；以及
(f)所述对象在所述帧中的位置。
在其另一个方面中，本发明提供了一种包括本发明的系统的数据处理装置。数据处理装置可以从包括以下各项的组中选出：
(a)个人计算机(PC)；
(b)诸如PDA或者膝上型计算机的便携式计算机；
(c)移动电话；
(d)收音机；
(e)娱乐装置；
(f)智能住所；
(g)交通工具；
(h)数字照相机；
(i)厨房电器；
(j)媒体播放器或者媒体系统；
(k)基于位置的装置；以及
(l)移动游戏机；
(m)微型投影仪或者嵌入式投影仪；
(n)医疗显示装置；
(o)车载/机载信息娱乐系统。
本发明的装置还可以包括摄像机和显示屏幕中的一个或者两者。
被跟踪对象的一个或者更多个运动的模式可以从包括以下各项的组中选出：
(a)在所述时间窗口期间以像素计量的对象的宽度增加；
(b)在所述时间窗口期间以像素计的对象的所述宽度减少；
(c)所述对象运动接近所述照相机；
(d)所述对象运动远离所述照相机；
(e)所述对象在预定路径上运动；
(f)所述对象旋转；
(g)所述对象为静止；
(h)所述对象进行任意类型的运动；
(i)所述对象进行轻敲运动；
(j)所述对象加速；
(k)所述对象减速；以及
所述对象运动接着停止。
处理器还可以包括操作系统(OS)命令执行模块，操作系统(OS)命令执行模块被配置为执行所述装置的与所识别出的运动的模式相关联的OS命令。OS命令可以从包括以下各项的组中选出：
(a)按下显示在所述装置的显示屏幕上的虚拟按键；
(b)将在所述装置的显示屏幕上出现的光标移动到所述屏幕上的新位置；
(c)转动选择转盘；
(d)在多个桌上型计算机之间切换；
(e)在中央处理单元上运行预定的软件应用；
(f)关闭应用；
(g)打开或者关闭扬声器；
(h)调高/调低音量；
(i)转换到媒体播放器的下一音轨或者前一音轨，或者在IPTV频道之间转换；
(j)控制GPS应用；
(k)打开语音信箱服务；
(l)在照片/音乐专辑库中巡览；
(m)滚动网页、电子邮件、文档或者地图；
(n)控制移动游戏中的动作；以及
(o)控制交互式视频或者动画内容。
还应理解的是，根据本发明的系统可以是被适当编程的计算机。类似地，本发明预期一种可被计算机读取以便执行本发明的方法的计算机程序。本发明还预期一种有形的机器可读存储器，该机器可读存储器收录可被所述机器执行以便执行本发明的方法的指令的程序。
附图说明
为了理解本发明并了解如何在实践中实施本发明，现在通过仅为非限制性的示例并参照附图来描述一些实施方式，附图中：
图1示意性地示出了包括被划分为关注区域的多个帧的视频流；
图2示出了根据本发明的一种实施方式的用于对象检测和跟踪的系统；
图3示出了根据本发明的一种实施方式的用于对象检测的方法；
图4a示出了视频流中的三个帧，并且图4b示出了从图4a的帧所获得的关注区域(RI)帧；
图5示出了根据本发明的一种实施方式的用于对象跟踪的方法；
图6示出了用于对象检测和跟踪的、包括本发明的系统的数据处理装置；
图7示出了运动模式的示例和在各种类型的装置中执行OS命令的用途的示例；以及
具体实施方式
图1示意性地示出了包括视频帧4的序列的视频序列2。图1示出4个帧：4a、4b、4c和4d。这仅仅是示例，视频序列2可以包括至少为2的任意数目的视频帧。每个帧包括被划分为关注区域6的多个像素，在图1中用虚线8表示关注区域的边界。图1中示出了帧4被划分为36个关注区域6(6行，每行6个关注区域)。这仅仅是示例，帧4可被划分为至少为2的任意数目的关注区域。关注区域可以具有任意形状，并且可以交叠。
图2示出了根据本发明的一种实施方式的用于在诸如视频流2的视频流中进行对象检测和跟踪的系统40。视频流2被输入到存储器44中。存储器44可被处理器46访问，处理器46获取存储在存储器44中的视频流2的帧6。如以下所解释的，处理器46包括对象检测模块45和对象跟踪模块47，对象检测模块45分析视频流2，对象跟踪模块47分析对象检测模块45的输出。对象检测模块45根据关注区域包含要跟踪的对象的至少一部分的概率将各帧中的关注区域进行分类。对象跟踪模块47接收由对象检测模块45所输出的分类的帧作为其输入，并且通过比较连续的帧中的关注区域的分类来确定对象的运动。
系统40还可以包括OS命令执行模块51。在此情况下，存储器44存储查找表，该查找表针对一个或者更多个预定的运动模式中的每一个提供关联的OS命令。当识别出一个预定的对象运动时，执行与该运动相关联的OS命令。
如以下所解释的，用户输入装置48可以用于将任何相关数据输入到系统40，诸如视频流2的标识、或者将被处理器46分析的参数。可以在显示装置50(诸如CRT屏幕、LED或者打印机)上显示视频流2以及处理的结果。
图3示出了根据本发明的一种实施方式的由处理器46的对象检测模块45执行的、用于在视频流2的帧中检测对象的处理20。处理开始于步骤18，在步骤18中，从存储器44获取帧并且将帧划分为两个或更多个关注区域6。可以使用本领域已知的任何对象分割技术(如在Rafael C.Gonzalez，Richard E.Woods and Steven L.Eddins，Digital Image Processing，Prentice Hall(2004)，Section 10.4.1(Region Growing)中公开的种子区域生长(seeded region growing))来动态地创建关注区域。另选地，可以将关注区域静态地限定为一组区域，诸如通过固定的6×6矩阵将帧分割为36个区域。接着，在步骤24，在帧中选择关注区域6，并且在步骤26对关注区域中的像素进行统计分析。例如，统计分析可以包括针对基于区域中的像素所限定的一个或更多个函数的每一个产生直方图10。例如，该函数可以是像素的红色、绿色或者蓝色的任意一个的强度，或者像素的色相、饱和度或者亮度中的任意一个。直方图可以是单变量的直方图或者可以是多变量的直方图，其中像素属性的n元组的频率被计数。统计分析还可以包括计算任意一个或更多个直方图的诸如平均数、众数、标准差、或者方差的统计参数的值。将统计分析的结果存储在存储器44中。
在步骤30中，对刚被分析的关注区域进行分类。关注区域的分类是描述在关注区域中存在被跟踪对象的概率的离散函数。使用涉及视频流的当前帧中的关注区域的统计分析和视频流的一个或更多个先前帧中的关注区域的统计分析的方法确定关注区域的分类。在一种实施方式中，应用距离函数以计算所选择的区域中的各种参数和统计特征与表示被跟踪对象经过该区域的参数和统计特征的相似性。区域和对象参数例如可以包括不同形状和轮廓的存在以及它们的频率，而统计特征可以例如包括色相、亮度和饱和度的直方图以及颜色模式。将组合的距离结果与先前帧中的关注区域的结果进行比较。例如，色相参数中的距离可以指示与被跟踪对象的颜色相同的对象已经进入该区域。这可以使该区域被分类为具有包含被跟踪对象的更高的概率。该距离函数例如可以是欧几里得距离(E.Deja，M.M.Deja，Dictionary of Distances，Elsevier(2006))；马哈拉诺比斯距离(Mahalanobis，P C(1936).“On the generalised distance instatistics”.Proceedings of the National Institute of Sciences of India 2(1)：49-55)；板仓-齐藤(Itakura saito)距离(Itakura F.，″Line spectrum representation of linear predictivecoefficients of speech signals，″J.Acoust.Soc.Am.，57，537(A)，1975)；切比雪夫距离(James M.Abello，Panos M.Pardalos，and Mauricio G.C.Resende(editors)(2002).Handbook of Massive Data Sets.Springer.)；李(Lee)距离(E.R.Berlekamp，Algebraic Coding Theory，McGraw-Hill 1968)；汉明距离(Richard W.Hamming.ErrorDetecting and Error Correcting Codes，Bell System Technical Journal 26(2)：147-160，1950)；或者莱文斯坦(Levenshtein)距离(Dan Gusfield.Algorithms on strings，trees，andsequences：computer science and computational biology.Cambridge University Press，New York，NY，USA，1997)。将所选择的关注区域的分类存储在存储器44中(步骤31)。
在步骤32，确定帧的另一关注区域是否要被检测模块45分析。如果分析，则处理返回步骤24，选择当前帧中的另一关注区域。否则，处理继续到步骤34，在步骤34中产生针对视频帧的“关注区域(RI)帧”，并且处理终止。输入视频帧的RI帧是帧的关注区域的分类的表征。图4a示出了在三个不同的时间(分别为时间t0、t1和t2)所获得的视频流的3个帧110a、110b和110c。在该示例中，将帧任意地划分为用虚线112指示的静止的关注区域。另选地，可以使用将帧动态地划分为关注区域的方法。例如，预设种子区域的集合生长为保持统计均一性的更大的区域。例如，位于图4的天空区域的种子区域将生长直至该区域达到色相直方图和边缘频率急剧变化的地面。可以通过预先知道要跟踪的期望的运动的轴线、或者多个帧的统计分析来辅助该划分处理，其中该统计分析确定应从原始关注组中省略的高方差区域。在从t0到t2的时间间隔期间，要跟踪的对象114在帧中运动。图4b示出了分别对应于视频帧110a、110b和110c的关注区域帧116a、116b和116c。在图4的示例中，根据对象114的至少一部分是否位于关注区域中(在图4b中通过关注区域的网纹网状线来指示)，或者该关注区域是否不包含对象114的至少一部分(图4b中的无网纹网状线的关注区域)，将每个关注区域分类为两种类别中的一种。由此，在时间t0获得的RI帧116a中，将位于帧的右侧的区域117a分类为包含对象114。可以通过计算区域和被跟踪对象的相似性等级(例如通过测量被跟踪对象的色相直方图和所选择的区域的直方图之间的欧几里德距离)来得到该分类。使用相同的方法，在中间帧116b中，两个区域117b和117c被分类为包含对象114，并且在随后的帧116c中，两个区域117d和117e被分类为包含对象114。
跟踪模块47接收在视频流的时间窗口期间由检测模块45所产生的RI帧作为其输入。跟踪模块47可以与检测模块45同时工作，随着分类的帧被检测模块45产生而接收分类的帧。另选地，跟踪模块47可以与检测模块45顺序地工作，仅在将视频流的全部帧分类之后才接收所分类的帧。
图5示出了由根据本发明的一种实施方式的对象跟踪模块47执行的对象跟踪处理。在步骤52中，将时间窗口的RI帧输入到跟踪模块47，在步骤54，对RI帧进行滤波以去除随机噪声。接着将经滤波的RI帧输入到一个或者更多个独立的模式检测模块56。每个模式检测模块56被配置为根据经滤波的RI帧来检测对象的特定的运动模式，并且输出在时间窗口期间模式检测模块的特定的运动模式发生的概率。各个模式检测模块56对部分的或全部的输入的RI帧施加模式识别测试。例如，再次参照图4b，模式检测模块56将检测对象从帧的左侧向帧的右侧的运动。一个或者更多个模式识别模块56的输出被输入到运动识别模块58。运动识别模块58确定在时间窗口期间最可能发生的运动模式。运动检测模块58的确定基于从一个或者更多个模式识别模块56输入的概率，并且还可以将外部输入考虑在内，外部输入例如为来自操作系统或者运行的应用的输入。接着输出运动识别模块58的运动确定(步骤60)，并且处理终止。
图6示出了根据本发明的此方面的一种实施方式的包括系统40的数据处理装置72。例如，数据处理装置72可以是个人计算机(PC)、诸如PDA、膝上型计算机或者奔迈掌上通的便携式计算机、或者移动电话、收音机或者其它娱乐装置、交通工具、数字式照相机或者移动游戏机。装置72具有摄像机76。装置72还可以设置有显示屏幕74和诸如键盘78的各种数据输入装置，其中，键盘78具有用于将数据输入到数据输入装置72的多个按键80。
摄像机76观察由虚线指示的圆锥或者棱锥空间体86。摄像机76可以在装置72上具有固定位置，在此情况下观察空间86相对于装置72是固定的，或者在装置72上是可定位的，在此情况下观察空间86相对于装置72是可选择的。摄像机76捕捉的图像被摄像机76数字化并且输入到处理器46(另见图2)。如上所述，处理器46的对象检测模块45检测摄像机76所获得的帧中的预定对象94。对象94例如可以是处于各种位置的用户的手指或者整个手，诸如伸开的手、闭合的手、或者手背。如果装置2是手持式装置，则用户在使用中可以使用他的另一只手89来抓握装置2。手89还可以用于激活与装置72相关联的真实输入装置，诸如激活键盘78上的按键80。
存储器44存储查找表，该查找表针对每个测试提供相关联的OS命令。当通过模式识别模块49检测到运动模式时，在存储于存储器44中的查找表中查找与该运动相关联的OS命令，接着OS执行模块51执行与该运动相关联的OS命令。例如，OS命令可以是按压在显示屏幕上显示的虚拟键、将显示屏幕上出现的光标移动到所述屏幕上的新位置、在处理器46上运行存储在存储器44中的软件应用、或者关闭装置72。装置可以提供已经执行了OS命令的指示。例如，可以通过在屏幕4的虚拟键盘上简单地示出被按压的按键、或者通过简单地改变按键的外观来指示等同于按压虚拟键盘上的按键的OS命令。指示已经执行了OS命令的其它可能方法包括：简单地放大或者以其它方式改变被按压的键或者光标在屏幕4上的外观；在屏幕4上显示图标；产生声音以及使装置振动。
图7示出了可以由模式检测模块56识别出的运动模式的示例、以及根据装置72的类型如何使用运动模式以执行OS命令的示例。运动100包括将手移向装置72。运动102包括将手移向装置72接着将手从装置移开。运动104包括在装置上方从左向右移动手，并且运动106包括在装置上方从右向左移动手。

Claims (17)

1.一种用于在视频流中进行对象检测和跟踪的系统，所述系统包括：
(a)处理器，其包括对象检测模块和对象跟踪模块；
其中，所述对象检测模块被配置为：
(i)在将所述视频流的多个帧划分为静态地限定的多个关注区域之后，针对所述视频流中的多个帧中的每个帧中的多个关注区域的每个关注区域执行所述关注区域中的像素的统计分析；以及
(ii)基于所执行的统计分析将所述多个帧中的每个帧中的关注区域分类，并且针对每个视频帧产生关注区域RI帧，所述RI帧报告关注区域的分类，其中，所述关注区域的分类是描述在所述关注区域中存在被跟踪对象的概率的离散函数；
其特征在于，
所述对象跟踪模块被配置为通过比较连续的RI帧中的关注区域的分类来确定所述对象的运动。
2.根据权利要求1所述的系统，其中，所述对象跟踪模块包括一个或者更多个模式检测模块，各模式检测模块被配置为计算在时间窗口期间被跟踪对象的特定的运动模式在所述时间窗口期间发生的概率。
3.根据权利要求2所述的系统，其中，所述对象跟踪模块还包括运动识别模块，所述运动识别模块基于由所述一个或者更多个模式检测模块产生的概率来确定最有可能已发生的运动模式。
4.根据权利要求1所述的系统，所述系统还包括操作系统OS命令执行模块，所述操作系统OS命令执行模块被配置为执行与所识别出的运动模式相关联的OS命令。
5.根据权利要求1所述的系统，其中，以包括以下步骤的方法获得关注区域包含至少一部分要被跟踪的对象的概率，所述方法包括：
(a)针对所述视频流中的每个帧中的一个或者更多个关注区域中的每个关注区域计算所述关注区域中的像素的统计分析；
(b)在涉及所述视频流的一个或者更多个先前帧中的所述关注区域的所述统计分析的计算中计算所述关注区域的离散分类。
6.根据权利要求5所述的系统，其中，所述统计分析包括针对对所述关注区域中的像素限定的一个或者更多个函数中的每个函数产生直方图。
7.根据权利要求6所述的系统，其中，所述一个或者更多个函数从由包括以下各项的组中选出：
(a)所述像素的红色、绿色或者蓝色的任意一个的强度；以及
(b)所述像素的色相、饱和度或者亮度的任意一个。
8.根据权利要求6所述的系统，所述系统还包括计算所述一个或者更多个函数的统计参数的值。
9.根据权利要求8所述的系统，其中，一个或者更多个所述统计参数从包括以下各项的组中选出：
(a)平均数；
(b)众数；
(c)标准差；以及
(d)方差。
10.根据权利要求6到9中任何一项所述的系统，其中，所述统计分析还包括计算一个或者更多个所产生的直方图和指示存在要被跟踪的对象的直方图之间的距离。
11.根据权利要求4到9中任何一项所述的系统，其中，比较连续的RI帧中的关注区域的分类的步骤包括：
(a)针对每个帧、以及针对所述帧中的每个所分类的关注区域，将所述关注区域的分类与从包含所述帧的时间窗口中获得的多个帧中的关注区域的分类进行比较；
(b)基于所述比较确定所选择的关注区域是否包含要被跟踪的对象；
(c)基于该确定、根据所述关注区域是否包含要被跟踪的对象将所述关注区域重新分类；以及
(d)基于时间窗口期间的两个或者更多个所述关注区域的状态的变化计算所述对象的运动的一个或者更多个跟踪参数。
12.根据权利要求11所述的系统，其中，所述跟踪参数从包括以下各项的组中选出：
(a)所述对象的运动的方向；
(b)所述对象的运动的速度；
(c)所述对象的加速度；
(d)以像素计量的所述对象的宽度；以及
(e)以像素计量的所述对象的高度；
(f)所述对象在所述帧中的位置。
13.一种用于在视频流中进行对象检测和对象跟踪的方法，所述方法包括以下步骤：
(i)在将所述视频流的多个视频帧划分为静态地限定的多个关注区域之后，针对所述视频流的多个帧中的每个帧中的多个关注区域中的每个关注区域执行所述关注区域中的像素的统计分析；(ii)基于所执行的统计分析将每个视频帧中的关注区域分类，并且针对所述多个视频帧中的每个视频帧产生关注区域RI帧，所述RI帧报告关注区域的分类，其中，所述关注区域的分类是描述在所述关注区域中存在被跟踪对象的概率的离散函数；
其特征在于：
(iii)通过比较连续的RI帧中的关注区域的分类来确定所述对象的运动。
14.根据权利要求13所述的方法，其中，以包括以下步骤的方法获得关注区域包含至少一部分要被跟踪的对象的概率，所述方法包括：
(a)针对所述视频流中的每个视频帧中的每个关注区域计算所述关注区域中的像素的统计分析；
(b)在涉及所述视频流的一个或者更多个先前视频帧中的所述关注区域的所述统计分析的计算中计算所述关注区域的离散分类。
15.一种包括根据权利要求1到12中任何一项所述的系统的数据处理装置。
16.根据权利要求15所述的数据处理装置，其中所述被跟踪对象的一个或者更多个运动模式从包括以下各项的组中选出：
(a)在时间窗口期间以像素计量的对象的宽度增加；
(b)在时间窗口期间以像素计量的对象的所述宽度减少；
(c)所述对象运动接近照相机；
(d)所述对象运动远离照相机；
(e)所述对象在预定的路径上运动；
(f)所述对象旋转；
(g)所述对象为静止；
(h)所述对象进行任意类型的运动；
(i)所述对象进行轻敲运动；
(j)所述对象加速；
(k)所述对象减速；以及
(l)所述对象运动接着停止。
17.根据权利要求15到16中任何一项所述的数据处理装置，其中，所述处理器还包括操作系统OS命令执行模块，所述操作系统OS命令执行模块被配置为执行与所识别出的运动的模式相关联的所述装置的OS命令，其中，一个或者更多个所述OS命令从包括以下各项的组中选出：
(a)按下在所述装置的显示屏幕上显示的虚拟键；
(b)将出现在所述装置的显示屏幕上的光标移动到所述屏幕的新位置
(c)转动选择转盘；
(d)在多个桌上型计算机之间切换；
(e)在中央处理单元上运行预定的软件应用；
(f)关闭应用；
(g)打开或者关闭扬声器；
(h)调高/调低音量；
(i)跳至媒体播放器的下一音轨或者前一音轨，或者在IPTV频道之间转换；
(j)控制GPS应用；
(k)打开语音信箱服务；
(l)在照片/音乐专辑库中巡览；
(m)滚动网页、电子邮件、文档或者地图；
(n)控制移动游戏中的动作；以及
(o)控制交互式视频或者动画内容。
CN201080012557.7A 2009-02-02 2010-02-02 用于视频流中的对象识别和跟踪的系统和方法 Expired - Fee Related CN102356398B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US20215709P 2009-02-02 2009-02-02
US61/202,157 2009-02-02
PCT/IL2010/000092 WO2010086866A1 (en) 2009-02-02 2010-02-02 System and method for object recognition and tracking in a video stream

Publications (2)

Publication Number Publication Date
CN102356398A CN102356398A (zh) 2012-02-15
CN102356398B true CN102356398B (zh) 2016-11-23

Family

ID=42104703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080012557.7A Expired - Fee Related CN102356398B (zh) 2009-02-02 2010-02-02 用于视频流中的对象识别和跟踪的系统和方法

Country Status (6)

Country Link
US (2) US9405970B2 (zh)
EP (1) EP2391972B1 (zh)
JP (1) JP5816098B2 (zh)
KR (1) KR101632963B1 (zh)
CN (1) CN102356398B (zh)
WO (1) WO2010086866A1 (zh)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8121361B2 (en) 2006-05-19 2012-02-21 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
US9269154B2 (en) * 2009-01-13 2016-02-23 Futurewei Technologies, Inc. Method and system for image processing to classify an object in an image
CN102356398B (zh) * 2009-02-02 2016-11-23 视力移动技术有限公司 用于视频流中的对象识别和跟踪的系统和方法
US8686951B2 (en) 2009-03-18 2014-04-01 HJ Laboratories, LLC Providing an elevated and texturized display in an electronic device
US20110199342A1 (en) 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
EP2428870A1 (en) * 2010-09-13 2012-03-14 Samsung Electronics Co., Ltd. Device and method for controlling gesture for mobile device
US8890803B2 (en) 2010-09-13 2014-11-18 Samsung Electronics Co., Ltd. Gesture control system
US8872851B2 (en) * 2010-09-24 2014-10-28 Intel Corporation Augmenting image data based on related 3D point cloud data
US8782566B2 (en) 2011-02-22 2014-07-15 Cisco Technology, Inc. Using gestures to schedule and manage meetings
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US9733789B2 (en) 2011-08-04 2017-08-15 Eyesight Mobile Technologies Ltd. Interfacing with a device via virtual 3D objects
WO2013032933A2 (en) 2011-08-26 2013-03-07 Kinecticor, Inc. Methods, systems, and devices for intra-scan motion correction
KR20140069124A (ko) 2011-09-19 2014-06-09 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US9492749B2 (en) * 2012-03-05 2016-11-15 Capcom Co., Ltd. Game program and game system
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9299159B2 (en) * 2012-11-09 2016-03-29 Cyberlink Corp. Systems and methods for tracking objects
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
WO2014109125A1 (ja) * 2013-01-09 2014-07-17 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US10241639B2 (en) 2013-01-15 2019-03-26 Leap Motion, Inc. Dynamic user interactions for display control and manipulation of display objects
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9782141B2 (en) 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
KR102203810B1 (ko) * 2013-10-01 2021-01-15 삼성전자주식회사 사용자 입력에 대응되는 이벤트를 이용한 유저 인터페이싱 장치 및 방법
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
EP3055836B1 (en) * 2013-10-11 2019-03-20 Mauna Kea Technologies Method for characterizing images acquired through a video medical device
CN104574433A (zh) * 2013-10-14 2015-04-29 株式会社理光 对象跟踪方法和设备、跟踪特征选择方法
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9607015B2 (en) 2013-12-20 2017-03-28 Qualcomm Incorporated Systems, methods, and apparatus for encoding object formations
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
TWI509454B (zh) * 2014-02-17 2015-11-21 Noodoe Corp 基於動作偵測之作業啟始方法及系統，及相關電腦程式產品
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US10127783B2 (en) * 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US9170707B1 (en) 2014-09-30 2015-10-27 Google Inc. Method and system for generating a smart time-lapse video clip
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US9575566B2 (en) * 2014-12-15 2017-02-21 Intel Corporation Technologies for robust two-dimensional gesture recognition
CN105791906A (zh) * 2014-12-15 2016-07-20 深圳Tcl数字技术有限公司 信息推送的方法和系统
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US9767378B2 (en) * 2015-08-31 2017-09-19 Sony Corporation Method and system to adaptively track objects
CN106621336B (zh) * 2015-10-30 2019-07-26 网易（杭州）网络有限公司 一种fps游戏场景地图设计可视化验证方法及系统
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9659380B1 (en) 2016-01-07 2017-05-23 International Business Machines Corporation Object position tracking using motion estimation
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10957171B2 (en) 2016-07-11 2021-03-23 Google Llc Methods and systems for providing event alerts
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US10192415B2 (en) 2016-07-11 2019-01-29 Google Llc Methods and systems for providing intelligent alerts for events
US20180082428A1 (en) * 2016-09-16 2018-03-22 Qualcomm Incorporated Use of motion information in video data to track fast moving objects
US20180204344A1 (en) * 2017-01-17 2018-07-19 Thika Holdings Llc Method and system for data encoding from media for mechanical output
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10410086B2 (en) 2017-05-30 2019-09-10 Google Llc Systems and methods of person recognition in video streams
US10803598B2 (en) 2017-06-21 2020-10-13 Pankaj Chaurasia Ball detection and tracking device, system and method
US10304207B2 (en) * 2017-07-07 2019-05-28 Samsung Electronics Co., Ltd. System and method for optical tracking
US11134227B2 (en) 2017-09-20 2021-09-28 Google Llc Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
CN113168706A (zh) * 2018-12-05 2021-07-23 瑞典爱立信有限公司 视频流的帧中的对象位置确定
CN109740557B (zh) * 2019-01-10 2021-05-28 北京市商汤科技开发有限公司 对象检测方法及装置、电子设备和存储介质
CN109816700B (zh) * 2019-01-11 2023-02-24 佰路得信息技术(上海)有限公司 一种基于目标识别的信息统计方法
GB201903509D0 (en) * 2019-03-14 2019-05-01 Smith Andrew James Cyclic movement detection and synchronisation appartus
US11354534B2 (en) 2019-03-15 2022-06-07 International Business Machines Corporation Object detection and identification
CN110189364B (zh) * 2019-06-04 2022-04-01 北京字节跳动网络技术有限公司 用于生成信息的方法和装置，以及目标跟踪方法和装置
US11164047B2 (en) 2019-07-22 2021-11-02 International Business Machines Corporation Object detection optimization
US11555910B2 (en) 2019-08-02 2023-01-17 Motional Ad Llc Merge-split techniques for sensor data filtering
WO2021060684A1 (ko) * 2019-09-29 2021-04-01 주식회사 작당모의 머신 러닝을 이용한 영상 내 객체 인식 방법 및 장치
US11182906B2 (en) 2019-11-24 2021-11-23 International Business Machines Corporation Stream object tracking with delayed object detection
US11893795B2 (en) 2019-12-09 2024-02-06 Google Llc Interacting with visitors of a connected home environment
US11533428B2 (en) 2020-01-23 2022-12-20 Samsung Electronics Co., Ltd. Electronic device and method for controlling electronic device
EP3901819B1 (en) 2020-04-20 2024-04-10 Tata Consultancy Services Limited Detecting and validating a user activity captured from multiple sensors
KR102376665B1 (ko) * 2020-09-28 2022-03-22 한국생산기술연구원 불투명 부재를 이용한 비접촉식 인식 장치 및 방법
US11682218B2 (en) 2021-03-17 2023-06-20 Geotab Inc. Methods for vehicle data collection by image analysis
US11669593B2 (en) 2021-03-17 2023-06-06 Geotab Inc. Systems and methods for training image processing models for vehicle data collection
US11800065B2 (en) 2021-08-19 2023-10-24 Geotab Inc. Mobile image surveillance systems and methods
US11693920B2 (en) 2021-11-05 2023-07-04 Geotab Inc. AI-based input output expansion adapter for a telematics device and methods for updating an AI model thereon
US11989949B1 (en) 2023-03-31 2024-05-21 Geotab Inc. Systems for detecting vehicle following distance

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236736B1 (en) * 1997-02-07 2001-05-22 Ncr Corporation Method and apparatus for detecting movement patterns at a self-service checkout terminal
CN1556506A (zh) * 2003-12-30 2004-12-22 上海交通大学 视频监控系统的智能化报警处理方法
CN101208710A (zh) * 2005-06-24 2008-06-25 实物视频影像公司 从俯视视频流进行目标检测及跟踪

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69204045T2 (de) 1992-02-07 1996-04-18 Ibm Verfahren und Vorrichtung zum optischen Eingang von Befehlen oder Daten.
GB9308952D0 (en) * 1993-04-30 1993-06-16 Philips Electronics Uk Ltd Tracking objects in video sequences
US7650015B2 (en) * 1997-07-22 2010-01-19 Image Processing Technologies. LLC Image processing method
US6724915B1 (en) * 1998-03-13 2004-04-20 Siemens Corporate Research, Inc. Method for tracking a video object in a time-ordered sequence of image frames
US6226388B1 (en) * 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
US6650318B1 (en) 2000-10-13 2003-11-18 Vkb Inc. Data input device
JP4079690B2 (ja) * 2002-05-23 2008-04-23 株式会社東芝 物体追跡装置及び方法
JP4481663B2 (ja) * 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
JP4168940B2 (ja) 2004-01-26 2008-10-22 三菱電機株式会社 映像表示システム
US7733369B2 (en) * 2004-09-28 2010-06-08 Objectvideo, Inc. View handling in video surveillance systems
JP2007087089A (ja) * 2005-09-21 2007-04-05 Fujitsu Ltd ジェスチャ認識装置、ジェスチャ認識プログラムおよびジェスチャ認識方法
JP2007122218A (ja) * 2005-10-26 2007-05-17 Fuji Xerox Co Ltd 画像分析装置
US8121347B2 (en) * 2006-12-12 2012-02-21 Rutgers, The State University Of New Jersey System and method for detecting and tracking features in images
WO2008139399A2 (en) 2007-05-15 2008-11-20 Philips Intellectual Property & Standards Gmbh Method of determining motion-related features and method of performing motion classification
WO2010030984A1 (en) * 2008-09-12 2010-03-18 Gesturetek, Inc. Orienting a displayed element relative to a user
CN102356398B (zh) * 2009-02-02 2016-11-23 视力移动技术有限公司 用于视频流中的对象识别和跟踪的系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236736B1 (en) * 1997-02-07 2001-05-22 Ncr Corporation Method and apparatus for detecting movement patterns at a self-service checkout terminal
CN1556506A (zh) * 2003-12-30 2004-12-22 上海交通大学 视频监控系统的智能化报警处理方法
CN101208710A (zh) * 2005-06-24 2008-06-25 实物视频影像公司 从俯视视频流进行目标检测及跟踪

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Real-Time Gesture Recognition by Learning and Selective Control of Visual Interest Points;Toshiyuki Kirishima etc.;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20050331;第27卷(第3期);351-364 *

Also Published As

Publication number Publication date
US9405970B2 (en) 2016-08-02
JP2012517044A (ja) 2012-07-26
KR101632963B1 (ko) 2016-06-23
US20110291925A1 (en) 2011-12-01
EP2391972B1 (en) 2015-05-27
JP5816098B2 (ja) 2015-11-18
WO2010086866A1 (en) 2010-08-05
US20160343145A1 (en) 2016-11-24
CN102356398A (zh) 2012-02-15
EP2391972A1 (en) 2011-12-07
KR20110138212A (ko) 2011-12-26

Similar Documents

Publication Publication Date Title
CN102356398B (zh) 用于视频流中的对象识别和跟踪的系统和方法
US20210072889A1 (en) Systems and methods for representing data, media, and time using spatial levels of detail in 2d and 3d digital applications
US20180024643A1 (en) Gesture Based Interface System and Method
CN105830062B (zh) 用于编码对象阵型的系统、方法及设备
CN104573706B (zh) 一种物体图像识别方法及其系统
US8553931B2 (en) System and method for adaptively defining a region of interest for motion analysis in digital video
US8269842B2 (en) Camera gestures for user interface control
EP3933552B1 (en) Method and device for determining gaze position of user, storage medium, and electronic apparatus
Takahashi et al. Human gesture recognition system for TV viewing using time-of-flight camera
CN109063580A (zh) 人脸识别方法、装置、电子设备及存储介质
US20230113643A1 (en) Leveraging unsupervised meta-learning to boost few-shot action recognition
CN104516499A (zh) 利用用户接口的事件的设备和方法
CN111797850A (zh) 视频分类方法、装置、存储介质及电子设备
Chan et al. Recognition from hand cameras: A revisit with deep learning
CN107436896A (zh) 一种输入推荐方法、装置及电子设备
CN109308133A (zh) 智能交互投影互动技术
KR20230168568A (ko) 정보 입력 방법 및 장치, 전자 기기 및 저장 매체
Fa et al. Global and local C3D ensemble system for first person interactive action recognition
US11308150B2 (en) Mobile device event control with topographical analysis of digital images inventors
Marteau et al. Down-sampling coupled to elastic kernel machines for efficient recognition of isolated gestures
Zanganeh et al. Automatic weak learners selection for pattern recognition and its application in soccer goal recognition
Kumari et al. Automatic Double Contact Fault Detection in Outdoor Volleyball Videos
Yong et al. Zero-shot Learning on Gesture Movement for Interactive Dashboard Control
DiMartino Statistical Hand Gesture Recognition System Using the Leap Motion Controller
Hsieh et al. Detecting Scoreboard Updates to Increase the Accuracy of ML Automatic Extraction of Highlights in Badminton Games

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161123

Termination date: 20200202