CN100550055C - 检测视频的图像时间序列中的活动对象的方法 - Google Patents

检测视频的图像时间序列中的活动对象的方法 Download PDF

Info

Publication number
CN100550055C
CN100550055C CNB2004800005442A CN200480000544A CN100550055C CN 100550055 C CN100550055 C CN 100550055C CN B2004800005442 A CNB2004800005442 A CN B2004800005442A CN 200480000544 A CN200480000544 A CN 200480000544A CN 100550055 C CN100550055 C CN 100550055C
Authority
CN
China
Prior art keywords
image
detection window
filtrator
moving object
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CNB2004800005442A
Other languages
English (en)
Other versions
CN1698069A (zh
Inventor
保罗·A·维奥拉
迈克·J·琼斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN1698069A publication Critical patent/CN1698069A/zh
Application granted granted Critical
Publication of CN100550055C publication Critical patent/CN100550055C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Abstract

一种方法检测图像时间序列中的活动对象。从时间排序的图像序列中选择图像。对所选图像应用一组功能，以产生一组组合图像。对组合图像组中的检测窗应用过滤器的线性组合，以确定检测窗的动作和外观特征。总计动作和外观特征，以确定累积分，这使得可以将检测窗分类为含有活动对象的检测窗。

Description

检测视频的图像时间序列中的活动对象的方法
技术领域
本发明一般涉及计算机视觉和模式识别，尤其涉及检测视频中的诸如行人之类的活动对象。
背景技术
为了检测和识别图像中的对象，模式识别方法在计算机视觉领域中已取得了重大的成就，实例包括面部、机动车和行人检测，可以参见例如：Avidan，“Support vector tracking，”IEEE Conference onComputer Vision and Pattern Recognition，2001；Papageorgiou et al.，“A general framework for object detection，”International Conferenceon Computer Vision，1998；Rowley et al.，“Neural network-based facedetection，”IEEE Patt.Anal.Mach.Intell.，Volume 20，pages 22-38，1998；Schneiderman et al.，“A statistical method for 3D objectdetection applied to faces and cars，”International Conference onComputer Vision，2000；和Viola et al.“Rapid object detection using aboosted cascade of simple features，”IEEE Conference on ComputerVision and Pattern Recognition，2001。
这些方法一般利用机器学习能力，以根据大量的训练图像构造检测器或过滤器。然后在输入图像上用过滤器进行扫描，以便找出特征的模式，这种模式与目标对象相符。那些系统对于面部检测运行得很好，但对行人检测却运行得不太好，这可能是因为，由于身体姿势和服装的变化而使行人的图像变化较大，而面部在纹理和构造方面相当统一并且相对来说动作很少。因此，需要提供一种方法，能对时间排序的图像序列以及对单个静态图像起作用。
在监视应用中，行人检测甚至更为困难，在这些应用中，图像分辨率相对较低，例如，目标对象可能只有总共约100-200个像素，例如5×20或10×20个像素。尽管利用更好的“图像强度”的功能进行行人检测的改进是一项很有价值的工作，然而，还是需要一种新的解决办法。
众所周知，人体动作的模式(尤其像步行动作那样的摆动)与其他类型的动作不同，并且，动作可以用来识别和检测人，参见：Cutleret al.，“Robust real-time periodic motion detection：Analysis andapplications，”IEEE Patt.Anal.Mach.Intell.，Volume 22，pages781-796，2000；Lee，“Gait dynamics for recognition andclassification，”MIT AI Lab.，Memo，AIM-2001-019，MIT，2001；Liu etal.，“Finding periodicity in space and time，”IEEE InternationalConference on Computer Vision，pages 376-383，1998；和Polana et al.，“Detecting activities，”Journal of Visual Communication and ImageRepresentation，June 1994。
与基于强度的方法相比，这些方法一般设法通过许多帧来跟踪活动对象，然后分析其动作以寻找周期性或其他提示。检测动作“式样”的过程是十分有效的，并且可以按多标度分辨率对整个图像进行彻底的搜索。当用图像的大量数据组进行训练后，这些过程可以达到高检测率和很低的误肯定率(false positive rate)。
人体动作分析领域很广，其历史可以追溯到Hoffman等人的工作：“The interpretation of biological motion，”Biological Cybernetics，pages 195-204，1982。大多数现有技术的系统都认为一半问题已经解决，即已经检测了特定类型的活动对象(例如人)，剩余的问题只是要识别、分类或分析该特定活动对象的动作的长期模式。
近来，人们对基于动作的方法越来越感兴趣，因为这些方法可能应用到监视问题中。上述Cutler等人对该领域中的相关工作作了很好的综述。他们描述了一种直接对图像起作用的系统。他们的系统首先是要进行对象的分割和跟踪。将这些对象对准对象的重心。然后，构造一种2D格子，对其进行周期分析。
对象检测领域同样很广，尽管还不了解同时能利用强度和动作信息进行直接行人检测的系统。在静态强度图像中，已利用一组例子通过先提取边缘再匹配边缘来检测行人，参见：Gavrila et al.，“Real-timeobject detection for“smart”vehicles，”IEEE International Conferenceon Computer Vision，pages 87-93，1999。他们的系统是一种高度优化的系统，并且似乎已成为机动车中的内装候选系统。然而，在每一图像误肯定率为2的情况下，所公布的检测率约为75％。其他相关工作包括上述Papageorgiou等人的工作。该系统利用基于过完全小波训练的支持矢量机来检测行人。根据所公布的实验数据，这种系统的误肯定率大大高于相关面部检测系统的误肯定率。
因此，需要根据图像时间序列直接提取动作的短期模式和外观信息，以便检测诸如行人之类的活动对象的情况。
发明内容
本发明提供了一种通过同时综合图像强度和动作信息来检测特定类型的活动对象的系统。通过一组组合图像对一组过滤器进行扫描。例如，过滤器是矩形的，并通过对视频中的连续图像应用某些功能来获得组合图像。过滤器的扫描产生一些特征值。总计这些特征并进行分类。
训练分类器，以便利用特定类型的对象(比如行人)的动作和外观信息。过去的某些方法根据动作信息构成一些检测器。其他检测器基于外观信息。然而，本发明则在单个检测器中综合了动作和外观信息。
附图说明
图1是一种根据本发明用于检测活动对象的方法的流程图；
图2A是本发明所用的矩形过滤器的框图；
图2B是本发明所用的矩形过滤器的框图；
图2C是本发明所用的矩形过滤器的框图；
图2D是本发明所用的矩形过滤器的框图；
图2E是本发明所用的矩形过滤器的框图；
图2F是本发明所用的矩形过滤器的框图；
图3A是本发明所用的组合图像的框图；
图3B是本发明所用的组合图像的框图；
图3C是本发明所用的组合图像的框图；
图3D是本发明所用的组合图像的框图；
图3E是本发明所用的组合图像的框图；
图3F是本发明所用的组合图像的框图；
图3G是本发明所用的组合图像的框图；和
图3H是本发明所用的组合图像的框图。
具体实施方式
图1示出了一种用于检测时间排序的图像序列101(即视频)中的活动对象105(例如行人)的方法100。所选图像111从输入视频101中得到，例如相邻对、重叠对、每间隔两个的图像等。功能102应用120于所选图像111，以产生组合图像组121。将组合图像分割成不同尺寸的检测窗或“碎块”，例如，整个图像4个窗口(每个为图像的1/4)，等等。通过组合图像组的检测窗对过滤器200进行扫描和评估，以确定130一些特征131，将这些特征总计140到累积分C 141中。对累积分进行分类150，以判断特定检测窗是否真的含有特定类型的活动对象，例如行人105。针对所有组合图像的所有检测窗重复151这一过程，然后针对视频101中的所有图像重复152这一过程。
过滤器、特征和分类器
如图2A-2F中所示，我们的动态行人检测器采用了Viola等人于2002年7月22日所申请的美国专利申请系列号10/200,726“ObjectRecognition System”中所述的矩形过滤器200，该申请在此作为参考。
图2F示出了相对于封闭检测窗201(本例组合图像202中有8个检测窗)的矩形过滤器200。应当注意，有几万种其他简单的矩形过滤器结构可以使用。这些过滤器可具有不同的尺寸，以便与检测窗的尺寸匹配。对于两个矩形过滤器情况，可从将阴影矩形中的像素的强度总和减去无阴影矩形中的像素的强度总和。对于三个矩形过滤器情况，可将无阴影矩形中的像素的总和乘以2，以计算出阴影像素的两倍，依次类推。利用根据本发明的过滤器，还可以使用其他组合功能。我们优先选择我们的过滤器的简单操作，因为这些过滤器与现有技术的更复杂的过滤器相比评估起来很快。
Viola等人使用了矩形过滤器，用于检测单个图像中的静态面部。我们以两种方式延伸了将他们的工作。第一，我们还使用了其内部构成是对角线排列的矩形过滤器，参见图2E。对角线过滤器其优点是适合于检测象腿部动作那样的摆动。此外，对角线过滤器对不同取向的对象也敏感。对角线的角度可以由过滤器内的组成矩形的纵横比来控制。第二，我们将过滤器应用于时间移位图像的组合，如下所述。取决于其设计，这些矩形过滤器可以按不同比例、取向和纵横比非常快地进行评估，以测量区域平均值。尽管这些过滤器好像有些限制，然而，显然它们提供了一些便于对特定活动对象(比如行人)进行精确检测的有用信息。
形式上，我们的过滤器、特征和分类器的操作定义如下(其他细节参见Viola等人的描述)。图像特征hi(x)按
Figure C20048000054400081
被赋予权重αj或βj，其中，过滤器fj(x)是图像x(即检测窗)的线性函数，而θj是预定过滤器阈值。累积和C(x)按
Figure C20048000054400082
被赋予值1或0，其中，hi是图像x的多个特征，而T是预定分类器阈值。同时考虑外观和动作的定义如下所述。
在现有技术中，动作信息按不同方式(包括光流量和块动作估算)从图像对中提取。块动作估算需要比较窗的规格，这决定了估算的比例。这与多比例对象检测完全不兼容。在对象检测情况下，光流量估算通常很耗时，因为每一像素都需要上百或上千条操作。我们要求更快一些。
尽管已利用矩形过滤器确定分类器的特征值描述了本发明，然而，应当理解还可以使用其他类型的过滤器。例如，可以用其他线性或非线性过滤器(比如盖博过滤器或高斯过滤器)来代替矩形过滤器。矩形过滤器的优点在于，它们从计算角度上讲评估起来很有效。然而，其他类型的过滤器有可能捕捉到更复杂的动作和外观信息，因此也可能有其优点，参见：Daugman，“Uncertainty Relation for Resolution inSpace，Spatial Frequency，and Orientation Optimized byTwo-Dimensional Visual Cortical Filters，”J.Opt.Soc.Am.A，vol 2，no 7，pp 1160-1169，July 1985。
组合图像
因此，如图3A-3H中所示，我们的特征不同于Viola等人所述的那些特征，是对组合图像组121进行操作。可以通过对所选图像111应用不同的功能102来确定组合图像组。例如，所选图像组包括连续图像对、不相交图像对或重叠图像对。此外，这个组还可以包括预定时间段上的每间隔9个的图像，或者这个组还可以包括三个一组的图像。在所选图像111中还可能采用其他组合和时间排序。
功能102在应用于所选图像111时，得到一个“组合”图像。例如，该功能可以只选择该组中的一个图像，如图3A。这一功能可以彼此减去该组中的所选图像。在这种情况下，这样的组合图像称之为差或Δ图像，如图3B。组合图像中差的绝对值的和为非零的区域(例如沿对象边缘)相应于动作。如下所述，还可以确定动作的幅度和方向。
可以通过对所选图像111应用其他功能102来确定动作的方向。例如，该功能在做差操作之前可以对组中的图像进行“移位”。这种移位可以是线性的、旋转的、按比例的或它们的组合，以检测例如实质上在图像平面中的线性运动、环形运动或实质上与图像平面垂直的运动。图3C和3D示出了上(U)和下(D)移位的图像，图3E和3F示出了左(L)和右(R)移位的图像，图3G示出了旋转
Figure C20048000054400091
的图像，而图3H示出了按比例(s)的移位。这组功能可表示为：
a.I＝It|It+1
Δ＝abs(It-It+1)，
U＝abs(ItIt+1↑)，
D＝abs(It-It+1↓)，
L＝abs(It-It+1←)，
R＝abs(It-It+1→)，
Figure C20048000054400101
s＝abs(It-It1s)，
其中，It和It+1是随着时间的图像，另外，箭头表示线性移位操作，
Figure C20048000054400102
是旋转，而s表示按比例。移位可以是一个或多个像素。应当注意，其他差及其他移位操作也是可能的，只是上述例子针对我们的用途来说计算起来简单快捷而已。
一种动作特征根据fi＝ri(Δ)-ri(S)对差图像Δ与集合{U，L，R，D，
Figure C20048000054400103
s}中的一个或多个移位图像之间的绝对差值的和进行比较，其中，S是{U，L，R，D，s}之一，ri是检测窗内的和。这些特征提取出与特定区域正以给定方向移动的可能性相关的信息。
另一种动作特征根据fj＝φj(S)对同一图像内的和进行比较，其中，φj是像图2A-2F中所示的例子那样的过滤器。这些特征近似于测量动作修剪。
另一种动作特征按照fk＝rk(S)测量运动图像之一的动作幅度。
动作幅度还可以由组中的图像之间的时间差来确定。
我们还可以利用外观特征，这些特征使用根据fm＝φ(It)对组中单个图像进行操作的过滤器。
应当注意，一旦在图像的某一区域中检测到活动对象，就有可能跟踪后续图像中的对象，以便更好地理解动作的幅度和方向。由于活动对象的位置是知道的，因此，只需要评估少部分后续图像，这可以以快得多的帧速率来完成。
这些动作特征以及外观信息可以利用功能{It，Δ，U，D，L，R，
Figure C20048000054400105
s}中的“综合图像”进行快速评估。由于过滤器可以具有任何尺寸、纵横比或取向，因此，只要它们符合检测窗，就有很多种可能的动作和外观特征。过滤器还可以按不同的尺寸来定标。所有这些都可以存储在缓存器中以便快速处理。在训练期间，可以选择最能区分肯定例子与否定例子的特征。
动作特性131 Fj为而累积分141为
Figure C20048000054400112
图像锥
为了支持多比例检测，功能102{↑，↓，←，→，
Figure C20048000054400113
s}根据检测比例来定义。这就可以保证按比例不变的方式来测量动作速率。比例不变性可以在训练期间通过按基本分辨率20×15像素定标训练图像来取得。检测的比例不变性通过对图像锥进行操作来取得。最初，计算It和It+1的锥。{Δ，U，D，L，R，
Figure C20048000054400114
s}的锥表示计算如下：
Δl＝abs(Il t-Il t+1)，
Ul＝abs(Il t-Il t+1↑)，
Dl＝abs(Il t-Il t+1↓)，
Ll＝abs(Il t-Il t+1←)，
Rl＝abs(Il t-Il t+1→)，
Figure C20048000054400115
和
sl＝abs(Il t-Il t+1s)，
其中，XI是指锥的第l级。从定标为20×15训练图像学习到的分类器和特征按比例不变的方式对锥的每一级进行操作。
训练
训练过程利用Adaboost来选择特征子集并构造分类器。Adaboost提供了一种有效学习算法和通用性能的强界限，参见：Freund ea al.，“A decision-theoretic generalization of on-line learning andapplication to boosting，”Computational Learning Theory，Eurocolt’95，pages 23-37.，Springer-Verlag，1995；Schapire et al.，“Boosting the margin：A new explanation for the effectiveness ofvoting methods，”Proceedings of the Fourteenth InternationalConference on Machine Learning，1997；和Tieu et al.，“Boostingimage retrieval，”International Conference on Computer Vision，2000。
发明的效果
本发明提供了一种用于检测视频序列中的活动对象的方法。该方法利用了矩形过滤器，通过组合图像对这种过滤器进行扫描以确定组合图像的特征。总计这些特征，以检测诸如行人之类的特定活动对象。
尽管本发明利用几例优选实施方式进行了描述，然而，应当理解，在本发明的思想和范围内可以作出其他不同的变动和修改。因此，附属权利要求书的目的在于，覆盖本发明的真实思想和范围内的所有这些变化和修改。

Claims (18)

1.一种用于检测视频的图像时间序列中的活动对象的方法，包括：
选择步骤，用于从时间排序的图像序列中选择图像；
应用步骤，用于对所选图像应用一组功能，以产生一组组合图像，其中，所述一组功能根据检测窗的比例来定义；
评估步骤，用于在所述一组组合图像中的检测窗上评估过滤器的线性组合，以确定该检测窗的动作和外观特征，其中，所述动作和外观特征hj按
Figure C2004800005440002C1
被评估为权重αj或βj，其中，所述过滤器fj(x)是检测窗x的线性函数，而θj是预定过滤器阈值；
总计步骤，用于总计所述动作和外观特征，以确定累积分；和
分类步骤，用于当该累积分大于预定阈值时，将该检测窗分类为含有活动对象的检测窗。
2.权利要求1的方法，其中，活动对象是行人。
3.权利要求1的方法，其中，所选图像是一对相邻的图像。
4.权利要求1的方法，其中，针对整个视频重复进行所述选择、应用、评估、总计和分类步骤。
5.权利要求1的方法，还包括：
将每一组合图像分割成一组检测窗；和
针对每一检测窗重复进行所述评估、总计和分类步骤。
6.权利要求1的方法，其中，所述过滤器的内部部件是矩形的并且是以对角线排列的。
7.权利要求6的方法，其中，使每一矩形过滤器的尺寸与相关的检测窗匹配。
8.权利要求1的方法，其中，特定累积和C(x)按
Figure C2004800005440002C2
彼赋予值1或0，其中，hj是检测窗x的多个经评估的所述动作和外观特征，而T是预定分类器阈值。
9.权利要求1的方法，其中，所述组合图像是所选图像的差。
10.权利要求1的方法，其中，所述组合图像是移位的所选图像的差。
11.权利要求10的方法，其中，移位是线性的。
12.权利要求10的方法，其中，移位是旋转的。
13.权利要求10的方法，其中，移位是按比例的。
14.权利要求1的方法，还包括：
确定活动对象的动作方向。
15.权利要求1的方法，还包括：
确定活动对象的动作幅度。
16.权利要求1的方法，其中，过滤器是矩形过滤器。
17.权利要求1的方法，其中，过滤器是线性的。
18.权利要求1的方法，其中，过滤器是非线性的。
CNB2004800005442A 2003-06-17 2004-05-31 检测视频的图像时间序列中的活动对象的方法 Active CN100550055C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/463,800 US7212651B2 (en) 2003-06-17 2003-06-17 Detecting pedestrians using patterns of motion and appearance in videos
US10/463,800 2003-06-17

Publications (2)

Publication Number Publication Date
CN1698069A CN1698069A (zh) 2005-11-16
CN100550055C true CN100550055C (zh) 2009-10-14

Family

ID=33517147

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800005442A Active CN100550055C (zh) 2003-06-17 2004-05-31 检测视频的图像时间序列中的活动对象的方法

Country Status (5)

Country Link
US (1) US7212651B2 (zh)
EP (1) EP1634244B1 (zh)
JP (1) JP4575374B2 (zh)
CN (1) CN100550055C (zh)
WO (1) WO2004114219A1 (zh)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788020B2 (en) 1998-10-23 2014-07-22 Varian Medical Systems, Inc. Method and system for radiation application
US7259784B2 (en) 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
US20050046703A1 (en) * 2002-06-21 2005-03-03 Cutler Ross G. Color calibration in photographic devices
US20050117015A1 (en) * 2003-06-26 2005-06-02 Microsoft Corp. Foveated panoramic camera system
US7495694B2 (en) 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US20050053267A1 (en) * 2003-09-05 2005-03-10 Varian Medical Systems Technologies, Inc. Systems and methods for tracking moving targets and monitoring object positions
US7590941B2 (en) * 2003-10-09 2009-09-15 Hewlett-Packard Development Company, L.P. Communication and collaboration system using rich media environments
JP3934119B2 (ja) * 2004-06-14 2007-06-20 本田技研工業株式会社 車両周辺監視装置
US7593057B2 (en) * 2004-07-28 2009-09-22 Microsoft Corp. Multi-view integrated camera system with housing
US7466841B2 (en) * 2004-08-16 2008-12-16 Siemens Corporate Research, Inc. Method for traffic sign detection
US7885440B2 (en) * 2004-11-04 2011-02-08 Dr Systems, Inc. Systems and methods for interleaving series of medical images
US7768544B2 (en) * 2005-01-21 2010-08-03 Cutler Ross G Embedding a panoramic image in a video stream
US7286707B2 (en) * 2005-04-29 2007-10-23 National Chiao Tung University Object-detection method multi-class Bhattacharyya Boost algorithm used therein
JP4767595B2 (ja) * 2005-06-15 2011-09-07 パナソニック株式会社 対象物検出装置及びその学習装置
US7576766B2 (en) * 2005-06-30 2009-08-18 Microsoft Corporation Normalized images for cameras
DE102005038603A1 (de) 2005-08-16 2007-02-22 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verfolgung eines Objekts in einer Bildersequenz
US7630571B2 (en) * 2005-09-15 2009-12-08 Microsoft Corporation Automatic detection of panoramic camera position and orientation table parameters
US20070189607A1 (en) * 2005-10-17 2007-08-16 Siemens Corporate Research Inc System and method for efficient feature dimensionality and orientation estimation
US8024189B2 (en) 2006-06-22 2011-09-20 Microsoft Corporation Identification of people using multiple types of input
US7697839B2 (en) * 2006-06-30 2010-04-13 Microsoft Corporation Parametric calibration for panoramic camera systems
EP1912157A1 (en) * 2006-10-09 2008-04-16 MAGNETI MARELLI SISTEMI ELETTRONICI S.p.A. Digital image processing system for automatically representing surrounding scenes to the driver of a vehicle for driving assistance, and corresponding operating method
US20080147488A1 (en) * 2006-10-20 2008-06-19 Tunick James A System and method for monitoring viewer attention with respect to a display and determining associated charges
EP2088558B1 (en) * 2006-11-30 2013-03-27 Mitsubishi Electric Corporation Motion vector detecting device
EP2126833A2 (en) * 2006-11-30 2009-12-02 Dolby Laboratories Licensing Corporation Extracting features of video&audio signal content to provide reliable identification of the signals
US20080255840A1 (en) * 2007-04-16 2008-10-16 Microsoft Corporation Video Nametags
US8245043B2 (en) * 2007-06-15 2012-08-14 Microsoft Corporation Audio start service for Ad-hoc meetings
US8526632B2 (en) * 2007-06-28 2013-09-03 Microsoft Corporation Microphone array for a camera speakerphone
US8330787B2 (en) * 2007-06-29 2012-12-11 Microsoft Corporation Capture device movement compensation for speaker indexing
US8300080B2 (en) * 2007-06-29 2012-10-30 Microsoft Corporation Techniques for detecting a display device
US8165416B2 (en) * 2007-06-29 2012-04-24 Microsoft Corporation Automatic gain and exposure control using region of interest detection
US8433061B2 (en) * 2007-12-10 2013-04-30 Microsoft Corporation Reducing echo
US8219387B2 (en) * 2007-12-10 2012-07-10 Microsoft Corporation Identifying far-end sound
US8744069B2 (en) * 2007-12-10 2014-06-03 Microsoft Corporation Removing near-end frequencies from far-end sound
US8314829B2 (en) * 2008-08-12 2012-11-20 Microsoft Corporation Satellite microphones for improved speaker detection and zoom
US10667727B2 (en) 2008-09-05 2020-06-02 Varian Medical Systems, Inc. Systems and methods for determining a state of a patient
MY159289A (en) * 2008-09-24 2016-12-30 Mimos Berhad A system and a method for identifying human behavioural intention based on an effective motion analysis
US8909572B2 (en) * 2008-10-03 2014-12-09 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for performing classification using a boosted classifier
KR101192365B1 (ko) * 2008-12-18 2012-10-17 한국전자통신연구원 얼굴 검출 시스템 및 그 방법
JP2010165052A (ja) * 2009-01-13 2010-07-29 Canon Inc 画像処理装置及び画像処理方法
US8509526B2 (en) * 2010-04-13 2013-08-13 International Business Machines Corporation Detection of objects in digital images
JP4712907B2 (ja) * 2010-10-12 2011-06-29 パナソニック株式会社 対象物検出装置及びその学習装置
JP4741036B2 (ja) * 2011-02-18 2011-08-03 パナソニック株式会社 特徴抽出装置、対象物検出装置、特徴抽出方法、および対象物検出方法
KR101289087B1 (ko) 2011-11-03 2013-08-07 인텔 코오퍼레이션 얼굴 검출 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US20130156343A1 (en) * 2011-12-20 2013-06-20 Harman International Industries, Incorporated System for communicating relationship data associated with image characteristics
US8594488B1 (en) * 2012-03-13 2013-11-26 Google Inc. Methods and systems for video retargeting using motion saliency
CN103366177B (zh) * 2012-03-28 2016-12-07 佳能株式会社 对象检测分类器生成方法和设备、图像对象检测方法和设备
FR2990038A1 (fr) 2012-04-25 2013-11-01 St Microelectronics Grenoble 2 Procede et dispositif de detection d'un objet dans une image
US9260122B2 (en) * 2012-06-06 2016-02-16 International Business Machines Corporation Multisensor evidence integration and optimization in object inspection
CN104412300B (zh) * 2012-06-14 2017-09-29 丰田自动车株式会社 识别器生成装置及图案检测装置
KR20140013142A (ko) * 2012-07-18 2014-02-05 삼성전자주식회사 이미지에서 목표를 검출하는 목표 검출 방법 및 이미지 처리 장치
US9633436B2 (en) 2012-07-26 2017-04-25 Infosys Limited Systems and methods for multi-dimensional object detection
US9336436B1 (en) * 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
GB2519620B (en) * 2013-10-23 2015-12-30 Imagination Tech Ltd Skin colour probability map
CN104881881B (zh) 2014-02-27 2018-04-10 株式会社理光 运动对象表示方法及其装置
US10460194B2 (en) * 2014-03-07 2019-10-29 Lior Wolf System and method for the detection and counting of repetitions of repetitive activity via a trained network
JP6609505B2 (ja) * 2016-04-06 2019-11-20 Ｋｄｄｉ株式会社 画像合成装置及びプログラム
US10241514B2 (en) 2016-05-11 2019-03-26 Brain Corporation Systems and methods for initializing a robot to autonomously travel a trained route
US10282849B2 (en) * 2016-06-17 2019-05-07 Brain Corporation Systems and methods for predictive/reconstructive visual object tracker
CN106203276A (zh) * 2016-06-30 2016-12-07 中原智慧城市设计研究院有限公司 一种视频客流统计系统及客流统计方法
US10016896B2 (en) 2016-06-30 2018-07-10 Brain Corporation Systems and methods for robotic behavior around moving bodies
US10037471B2 (en) 2016-07-05 2018-07-31 Nauto Global Limited System and method for image analysis
US10133942B2 (en) 2016-07-05 2018-11-20 Nauto Global Limited System and method for automatic driver identification
EP3497405B1 (en) * 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
WO2018053175A1 (en) 2016-09-14 2018-03-22 Nauto Global Limited Systems and methods for near-crash determination
CN106504266B (zh) * 2016-09-29 2019-06-14 北京市商汤科技开发有限公司 行走行为的预测方法和装置、数据处理装置和电子设备
US10274325B2 (en) 2016-11-01 2019-04-30 Brain Corporation Systems and methods for robotic mapping
US10001780B2 (en) 2016-11-02 2018-06-19 Brain Corporation Systems and methods for dynamic route planning in autonomous navigation
EP3535646A4 (en) 2016-11-07 2020-08-12 Nauto, Inc. SYSTEM AND METHOD FOR DETERMINING DRIVER DISTRACTION
US10723018B2 (en) 2016-11-28 2020-07-28 Brain Corporation Systems and methods for remote operating and/or monitoring of a robot
US10852730B2 (en) 2017-02-08 2020-12-01 Brain Corporation Systems and methods for robotic mobile platforms
WO2018229550A1 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for adverse vehicle event determination
US10552671B2 (en) 2017-11-22 2020-02-04 King Fahd University Of Petroleum And Minerals Multi-kernel fuzzy local Gabor feature extraction method for automatic gait recognition
WO2019169031A1 (en) 2018-02-27 2019-09-06 Nauto, Inc. Method for determining driving policy
CN108520216B (zh) * 2018-03-28 2022-05-03 电子科技大学 一种基于步态图像的身份识别方法
US11050933B2 (en) * 2018-04-27 2021-06-29 Continenal Automotive Systems, Inc. Device and method for determining a center of a trailer tow coupler
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
KR102198912B1 (ko) * 2018-09-21 2021-01-06 네이버웹툰 유한회사 비디오 영상 내의 행동 인식 방법 및 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5150426A (en) * 1990-11-20 1992-09-22 Hughes Aircraft Company Moving target detection method using two-frame subtraction and a two quadrant multiplier
JP3300092B2 (ja) * 1993-02-19 2002-07-08 オリンパス光学工業株式会社 画像特徴抽出装置
GB9308952D0 (en) * 1993-04-30 1993-06-16 Philips Electronics Uk Ltd Tracking objects in video sequences
JPH1091795A (ja) * 1996-09-12 1998-04-10 Toshiba Corp 移動物体検出装置及び移動物体検出方法
EP1010130A4 (en) * 1996-12-23 2005-08-17 Esco Electronics Corp VIDEO SECURITY SYSTEM WITH LOW FALSE ALERTS RATES USING CLASSIFICATION OF OBJECTS
US6999604B1 (en) * 1998-08-07 2006-02-14 Korea Institute Of Science And Technology Apparatus and method for detecting a moving object in a sequence of color frame images
JP3141004B2 (ja) * 1998-08-31 2001-03-05 インターナショナル・ビジネス・マシーンズ・コーポレ−ション 動画中のオブジェクトを分類する方法
US7099510B2 (en) * 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
US6778705B2 (en) * 2001-02-27 2004-08-17 Koninklijke Philips Electronics N.V. Classification of objects through model ensembles
TW503650B (en) * 2001-04-13 2002-09-21 Huper Lab Co Ltd Method using image screen to detect movement of object
JP2003044853A (ja) * 2001-05-22 2003-02-14 Matsushita Electric Ind Co Ltd 顔検出装置、顔向き検出装置、部分画像抽出装置及びそれらの方法
US7177445B2 (en) * 2002-04-16 2007-02-13 Koninklijke Philips Electronics N.V. Discriminating between changes in lighting and movement of objects in a series of images using different methods depending on optically detectable surface characteristics

Also Published As

Publication number Publication date
EP1634244A1 (en) 2006-03-15
US20040258307A1 (en) 2004-12-23
JP2006527881A (ja) 2006-12-07
WO2004114219A1 (en) 2004-12-29
JP4575374B2 (ja) 2010-11-04
CN1698069A (zh) 2005-11-16
EP1634244B1 (en) 2013-09-18
US7212651B2 (en) 2007-05-01

Similar Documents

Publication Publication Date Title
CN100550055C (zh) 检测视频的图像时间序列中的活动对象的方法
Sharif et al. A framework of human detection and action recognition based on uniform segmentation and combination of Euclidean distance and joint entropy-based features selection
Memarzadeh et al. Automated 2D detection of construction equipment and workers from site video streams using histograms of oriented gradients and colors
CN101981582A (zh) 用于检测对象的方法、装置和程序
Babahajiani et al. Object recognition in 3D point cloud of urban street scene
Naik et al. Deep-violence: individual person violent activity detection in video
Chun et al. Floor detection based depth estimation from a single indoor scene
WO2017161443A1 (en) A method and system for tracking objects
Chamveha et al. Appearance-based head pose estimation with scene-specific adaptation
Mondal et al. Moving object detection for event-based vision using k-means clustering
Qian et al. Recognizing human actions from silhouettes described with weighted distance metric and kinematics
Vennila et al. A Rough Set Framework for Multi-Human Tracking in Surveillance Video
Kim et al. Stereo-based region of interest generation for real-time pedestrian detection
Suheryadi et al. Spatio-temporal analysis for moving object detection under complex environment
Yan et al. Spacecraft detection based on deep convolutional neural network
Mehta et al. Region graph based method for multi-object detection and tracking using depth cameras
Khatri et al. Video analytics based identification and tracking in smart spaces
Wang et al. Fast pedestrian detection based on object proposals and HOG
Ghadiri et al. Spatio-Temporal Consistency to Detect and Segment Carried Objects.
Thomas et al. Discovery of compound objects in traffic scenes images with a cnn centered context using open cv
Beleznai et al. Multi-resolution binary shape tree for efficient 2D clustering
Arthi et al. An Efficient Data Augmentation CNN-Network for Skeleton-based Human Action Recognition
Pogaru et al. Multiple Object Association Incorporating Object Tracking, Depth, and Velocity Analysis on 2D Videos
SP et al. FACERECOGNITION SYSTEM USING VIOLA JONES ALGORITHM & CASCADE CLASSIFICATION
Subramanian et al. Automatic traffic sign identification system for real time operation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant