CN103716687A - 使用指纹以在视频中追踪移动对象的系统和方法 - Google Patents
使用指纹以在视频中追踪移动对象的系统和方法 Download PDFInfo
- Publication number
- CN103716687A CN103716687A CN201310461763.1A CN201310461763A CN103716687A CN 103716687 A CN103716687 A CN 103716687A CN 201310461763 A CN201310461763 A CN 201310461763A CN 103716687 A CN103716687 A CN 103716687A
- Authority
- CN
- China
- Prior art keywords
- image
- group
- segmentation
- fingerprint
- main
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
Abstract
本发明提供了一种在序列图像(110)中追踪移动对象(155)的系统和方法。在一个示例实施例中,在序列图像(110)中的当前图像(128)被分段为多个分段(138)。在多个分段(138)中属于同一个运动文件的分段被融合到一起以形成主分段组(142)。目标分段组(154)被从所述主分段组(142)中确定。所述目标分段组(154)表示在当前图像(128)中移动对象组(155)。指纹组(156)被创建,其用于在序列图像(110)中的多个后续图像(162)中追踪所述移动对象组(155)。
Description
本发明涉及下列专利申请:名为“用于使用指纹处理一序列图像的方法和系统”,序列号:US13/631,705,以及律师案卷号为12-0178-US-NP的专利申请,转让给同一受让人,其内容通过引用并入本文。
技术领域
本发明基本涉及图像处理,更具体地,涉及检测和追踪图像中移动的对象。更特别的,本发明涉及通过为所述移动的对象创建指纹用于检测和追踪图像中移动的对象的系统和方法。
背景技术
现有不同的有效的技术用于在一序列图像中检测和追踪移动的对象,所述一序列图像,例如视频。但是,现有这些有效地技术可不能够在一定预期的精度水平下检测和/或追踪移动的对象。例如,现有这些有效的技术在所述移动的对象在所述图像序列的一个或多个图像中变得部分被遮挡时,可不能检测和/或追踪移动的对象。
另外,一些现有的技术在一定预期精度水平下可不能确定所述移动对象的轮廓。此处所用的对象的轮廓可为对象的轮廓线或对象的形状。所述轮廓线可为所述对象的外表面。
分段是用于确定图像中对象的轮廓的过程的例子。此处所用的“分段”是将图像分为多个段的过程。每个段包括一组像素,其被确定为分享相似的视觉特征。该视觉特性可为,例如但不限于,颜色、纹理、强度或一些其他类型的特性。这样,彼此相连的分段在超过一些选定的阈值的所述特定的视觉特征方面是不同的。
分段可被用于简化和/或改变图像的表示,这样所述分段图像相比于原图像而言更容易分析。例如,当图像被分段以形成分段图像,所述分段图像内的特征相比于原图像而言更容易辨别。特别的,在原图像中被获取的所述对象的轮廓和/或特征在所述分段图像中更容易识别。
但是,一些现有的分段技术可不能按照预期精度确定单一移动的对象的轮廓的方式来分段图像。例如,当图像被基于颜色分段以形成分段图像,被所述图像获取的具有两个或多于两个颜色的对象,在所述分段图像中可被多个分段展示。
所以,在所述分段图像中的所述对象的轮廓可不能如描述的被简单的辨别出来。进一步的,分离所述特征的信息可产生不如描述的准确的信息,所述特征是关于由不同类型的分段展示。所以,需要有一种方法和装置,考虑到至少一些上面讨论的问题,以及其他可能的问题。
发明内容
在一个示例实施例中,图像处理系统包括图像分段器、连续性检查器和指纹器。所述图像分段器被配置为将一序列图像中的当前图像分段为多个分段以形成分段化的图像,并融合所述多个分段中属于同一个运动剖面的分段以形成主分段组。所述连续性检查器被配置为从所述主分段组中识别目标分段组。所述指纹器被配置为创建指纹组,其用于追踪在所述一序列图像中的多个后续图像中所述移动对象组。
在另一个示例实施例中,一种用于计算机实施的方法被提供,其用于追踪在一序列图像中的移动的对象。所述图像序列中的当前图像被分段为多个段。在所述多个段中的属于同一个动作剖面的分段被融合到一起以形成主分段组。目标分段组被从主分段中识别。所述目标分段组表示当前图像中一组正在移动的对象。指纹组被创建,其用于追踪在所述图像序列中多个后续图像中的移动对象组。
在又一个示例实施例中,一种计算机实现的方法被提供,其用于在一序列图像中追踪移动的对象。在当前图像中,本地动作和全局动作被识别。所述全局动作被从所述本地动作中分离以形成动作图像。所述动作图像包括一组动作剖面。在所述图像序列中的所述当前图像被分段为多个分段以形成分段化图像。在所述多个分段中属于同意动作剖面的分段融合在一起以形成具有主分段的主图像。目标分段组被从所述主分段中分离出来以形成目标图像。所述目标分段组表示当前图像中移动对象组。指纹组被创建,以用于在所述序列图像的多个后续图像中追踪所述移动对象组。
在本发明的多个实施例中特征和功能可被独立完成,或其可被合并完成,在另外的实施例中,其中进一步的细节可见带参照的下列附图和描述。
附图说明
被认为是示例实施例的特征的新颖特点在所附的权利要求书中被描述。所述示例实施例,其也是应用的优选方式,其进一步的目标和功能,通过参照本发明示例实施例的下列细节描述和附图会更容易理解,对于所述附图,其中:
图1是方框图形式的图像处理环境的图示,其中示例实施例可被实施;
图2是根据本发明实施例的方框图形式的指纹器的图示;
图3是根据本发明实施例的图像的图示;
图4是根据本发明实施例的动作图像的图示;
图5是根据本发明实施例的一部分的动作图像放大图的图示;
图6是根据本发明实施例的分段化图像的图示;
图7是根据本发明实施例的一部分的分段化图像的图示;
图8是根据本发明实施例的运动分段图像的图示;
图9是根据本发明实施例的主图像的图示;
图10是根据本发明实施例的一部分的主图像放大图的图示;
图11是根据本发明实施例的图像的图示;
图12是根据本发明实施例的主图像的图示;
图13是根据本发明实施例的执行图像处理的过程的流程图的图示;
图14是根据本发明实施例的从主分段组建立目标分段组的流程图的图示;
图15是根据本发明实施例的创建指纹的过程的流程图的图示;
图16是根据本发明实施例的形成主分段组的过程的流程图的图示;
图17是根据本发明实施例的数据处理系统的图示。
具体实施方式
所述不同的示例实施例识别并考虑不同的情况。例如,所述不同的示例实施例识别并考虑一些现有可用的系统和方法,其用于检测和追踪目标,特别是移动的目标,可能无法执行的像描述的一样好。
特别的,一些用于检测和追踪视频中目标的现有可用的方法可能不能在预期的精确度下追踪在来自所述视频的一个或多于一个图像的至少一部分被遮挡对象。进一步的,这些现有的可用的方法在所述视频的一些时间段内可能不能追踪对象,此时所述对象暂时移出所述视频摄像机系统的视角范围。更进一步的,一些用于追踪对象的现有可用方法可需要指令,基于所述指令,不同类型的对象可被寻找或追踪。例如,在不知道要检测或追踪哪种类型的对象情况下,这些方法可不能追踪对象,特别是移动对象。
所以,所述不同的示例实施例提供了用于为移动的对象产生指纹的系统和方法,所述移动的对象在序列图像中的一幅图像中已经被检测,以用于在整个图像序列中检测和追踪所述移动的对象。特别的,所述指纹可被用于在序列图像的一幅图像中检测和追踪所述移动的对象,即使所述移动的对象被部分遮挡或不再处于所述图像的范围。
现在参照所述图像,特别的,参照图1,根据示例实施例,方框图形式的图像处理环境被描述。在图1中,图像处理环境100包括成像系统102和图像处理系统104。
在这些图示示例中,成像系统102可为任意类型的感知系统,其被配置为场景108产生图像数据106。成像系统102可被从下列系统中选择,例如但不限于,电光(EO)成像系统,红外(IR)成像系统,雷达成像系统,热成像系统,超声成像系统,光探测和测距(LIDAR)系统,以及一些其它合适的类型的成像系统。这样,由成像系统102产生的图像数据106可包括电光图像、红外图像、雷达图像、热图像、光探测和测距图像,或一些其他类型的图像。电光图像可为,例如,可见光图像。
在这些图示示例中,图像数据106可表现为序列图像110的形式。此处所用的“图像”是数字二维图像,其包括被组织为行和列的像素。每个像素可具有值,其表示该像素的颜色和/或亮度。进一步的,“图像序列”,此处所用的,是按照时间的连续顺序产生的两个或两个以上图像。
为场景108产生的图像序列110可被称作视频112,在图像序列110中的每个图像可被称为“帧”。
场景108可为物理区域,例如但不限于,城市区域、邻近区域、海洋上的区域、森林中的区域、在沙漠中的一个区域、镇、地理区域、生产设施内的区域、在建筑物内的地板、公路的一段、或一些其他合适类型的区域。
移动对象114可在场景108中显示。此处所用的“移动的对象”,例如移动对象116,可为相对于成像系统102的视野移动的任意对象。移动对象116可为在场景108中移动的对象114的示例之一。
这样,移动对象116可表现为不在场景108中保持静止状态的任意对象。例如,移动对象116可表现为在场景108中走或跑的人、车辆、活动建筑、位于移动中的车辆中的对象、或一些其他合适类型的移动对象。在场景108中的车辆可表现为,例如但不限于,轿车、卡车、飞机、面包车、坦克、无人机、飞船、导弹、火箭或一些其他合适类型的车辆。
在一些情况下,移动对象116可为两个或多个对象一起移动。例如,移动对象116可包括互相连接在一起的两个或多于两个对象,其一起做同一种类型的运动。
另外,移动对象116可表现为任意对象的形式,所述对象随着成像系统102的直接朝向的角度和/或随着成像系统102改变的位置关于成像系统102的视野移动。例如,移动对象116可为可为静止对象,当成像系统102移动的时候,其像是在图像序列110中移动。
成像系统102被配置为使用多个通信链路120发送图像数据106给图像处理系统104。此处所用的“多个”条目意味着一个或多于一个条目。这样,多个通信链路120可为一个或多于一个通信链路。多个通信链路120可包括至少一个,例如,有线通信链路、无线通信链路、光通信链路和一些其他类型的通信链路。
此处所用的短语“其中至少一个”,当其与一个列表的物品一起用时,意味着一个或多于一个列表内的物品的不同组合可被使用,并且列表内的物品只有一个是被需要的。例如,“物品A、物品B以及物品C其中至少一个”可包括,例如但不限于,物品A或物品A与物品B的组合。这个示例也可包括物品A、物品B和物品C,或物品B与物品C。在其他的示例中,“其中至少一个”可为,例如但不限于,两个物品A,一个物品B,和10个物品C;4个物品B和7个物品C;以及其他合适的组合。
图像处理系统104可使用硬件、软件或二者的结合被实施。在这些图示示例中,图像处理系统104可在计算机系统122中被实施。计算机系统122可包括多个计算机。当多于一个计算机存在于计算机系统122中时,这些计算机可互相通信。
图像处理系统104被配置为处理从成像系统102接收到的图像数据106。在一些图示示例中,当所述图像被从成像系统102产生时,图像处理系统104可接收在图像序列110中的所述图像。例如,当所述图像被产生,图像处理系统104可接收基本实时的图像序列。在其他图示示例中,在某些点,当所述图像序列被产生出来以后,图像处理系统104可接收整个图像序列110。
图像处理系统104处理图像序列110以检测并追踪图像序列序列110中移动对象的存在。如所述,图像处理系统104包括运动检测器124和对象追踪器126。运动检测器被配置为在图像序列110中检测运动的存在
例如,运动检测器124接收在图像序列110中的当前图像128。运动检测器124被配置为在当前图像128中检测运动。在一个图示示例中,运动检测器124使用当前图像128和之前的图像134以形成运动图像136。之前图像134是在图像序列110中的图像,其位于当前图像128之前,且没有任何图像位于当前图像128和之前图像134之间。进一步的,之前图像134之前被运动检测器124处理过。
运动检测器124使用当前图像128和之前图像134以在当前图像128中识别本地运动和全局运动。此处所用的在当前图像128中的“全局运动”可为当前图像128的整体运动。全局运动可包括,例如,当前图像128中与之前图像127的背景特征相关的背景特征的运动。这些背景特征可包括,例如但不限于,树木、天空、道路、灌木、绿地、草地、建筑物、人造结构和/或其他类型的背景特征。这样,相对于之前图像134的整体场景108,当前图像128中的全局运动是整个场景108的运动。
此处所用的“本地运动”包括与所述全局运动不同的运动。本地运动可包括,例如地表特征的运动,例如,相对于之前图像134,在当前图像128运动对象114。运动检测器124可将被识别在当前图像128中的所述全局运动从识别在当前图像128中的所述本地运动分离,以形成运动图像136。
在这些图示示例中,运动图像136可包括一组运动文件135。此处所用的“一组”条目可为零个或多于零个条目。也就是说,一组条目可为空的组或组。这样,在一些情况下,运动文件组可包括一个、两个、三个、五个、十个或一些其他数量的运动文件。也就是说,组运动文件可为空组。
此处所用的“运动文件”是一部分运动图像136,其在运动图像136中表示本地运动。例如,运动文件可为具有不同于运动图像136背景颜色的部分运动图像136。该颜色可表示,例如,移动的对象,例如在场景108中移动的对象116。
目标追踪器126被配置为接收当前图像128和运动图像136以处理。如所述,目标追踪器126包括图像分段器130、多个数据结构158、连续性检查器132和指纹133。
图像分段器130被配置为将当前图像128分段或分离为多个分段138以形成分段化图像140。在这些图示示例中,在多个分段138中的每个分段包括一个或多个像素。当多于一个像素出现在分段中,这些像素是连续像素。也就是说,在所述分段中的每个像素是彼此互相挨着的,没有不属于该分段的任何其他像素位于这两个像素之间。
在这些图示示例中,图像分段器130将当前图像128分段,这样在多个分段138中的每个分段的全部像素分享共同的视觉特征。这些视觉特性可为,例如,颜色、亮度值、质地或一些其他类型的视觉特性。例如,在多个分段138的特定分段中的所有像素可具有在一个选定范围内的值,其表示一种选定的颜色。
图像分段器130考虑不同移动对象的不同部分,例如在场景108中的移动对象116,在当前图像128中可具有不同的视觉特征。例如,当移动对象116是汽车时,车身在当前图像128中可为一种颜色,而车窗在当前图像128中可为另一种颜色。
所以,移动对象116可通过在多个分段138中的多个分段在分段化图像140所被表现。辨别出在多个分段138中的哪个分段实际上表示移动对象116可不容易达到。
所以,图像分段器130被配置为将在多个分段138中的多个分段组织在一起以形成主分段组142,其使用运动图像136。特别的,图像分段器130将在多个分段138中的属于同一个运动图像的多个像素融合在一起以形成主图像143,其具有主分段组142。
更特别的,在多个分段138中的属于同一个运动文件的分段融合到一起以形成主分段,其位于主分段组142,所述运动文件在运动图像136的运动文件组中。在这些图示示例中,当所述多个像素在所述分段与特定的运动文件重叠大于一个选定的阈值时,在多个分段138中的可被认为是“属于”在运动文件组135中的特定的运动文件。当然,在其他实施例中,其他类别和/或原因可被用于检测在哪些分段138中的分段能融合到一起以形成主分段组142。
在这些图示示例中,图像分段器130只可将连续的分段融合到一起。也就是说,在多个分段138中的两个分段,只有当着两个分段彼此相邻时,才能被融合到一起。这样,在主分段组142中的每个主分段包括多个连续的分段。
在一些图示示例中,图像分段器130合并运动图像136和分段话图像140以形成移动的分段图像145。移动分段图像145可被通过,例如但不限于,将运动图像136重叠在分段化图像140上来创建。在多个分段138中与运动文件组135重叠的部分可被认为是“移动分段”。对每个运动文件,与移动文件重合的所述移动分段被融合在一起以形成主分段。这样,主分段组142可被以不同的方式形成。
其后,图像分段器130为主分段组142产生主统计信息(或统计数据,即statistics)144。如一个图示示例,图像分段器130为在主分段组142中的每个主分段识别分段数据146。对应于特别的主分段的分段数据146可包括,例如但不限于,色度数据、亮度数据、像素位置的数据、熵数据和/或其他类型的数据。
色度数据可包括,例如,对应于主分段每个像素的色度值。所述色度值可为颜色值或饱和度值。亮度数据可包括,例如,在所述主分段中每个像素的亮度值。所述亮度值(luma value)可为明亮程度值。像素位置数据可包括,例如,相对于主图像143中的行和列,每个像素在所述主分段中的像素的位置。熵数据可包括用熵滤波器过滤过的色度数据。
在该图示示例中,图像分段器130通过填充分段数据到数据模型148来产生主统计信息144。在一些情况下,数学模型148可为线性回归模型,例如但不限于,广义线性模型(generalized linear model即GLM)。所述广义线性模型可为,例如,全协方差的高斯模型。
图像分段器130发送主图像143和主统计信息144给连续性检查器以进一步处理。连续性检查器132被配置为进一步确定是否在主分段组142中的每个主分段实际表示一个移动对象。也就是说,连续性检查器132确定是否在主分段组142中的主分段表示移动的对象或图像异常。
在一个图示示例中,连续性检查器(consistency checker)132将在主分段组142中的主分段152与之前识别的主分段进行匹配,所述之前识别的主分段是为之前图像134识别的。连续性检查器确定是否对应于主分段152的主统计信息144和为之前识别的主分段而识别的主统计信息之间的和差距大于一定阈值。
如果所述差距没有大于选定阈值,主分段152就被加到目标分段组154。这样,连续性检查器132为当前图像128创建目标分段组。目标分段组154可包括一些、零个或全部主分段组142。
在目标分段组154中的每个目标分段达标一个在当前图像128中移动的对象。也就是说,目标分段组154表示移动的对象组155。移动的对象组155可包括一些、零个或全部在场景108中移动的对象114,基于所述实施。例如,在一些情况下,移动对象组155可包括移动对象116。
在一些图示示例中,连续性检查器132可不能匹配主分段152到之前确定的主分段。在这些情况下,主分段152可被分析以确定是否主分段152表示异常或新的之前没有检测到的移动对象。当主分段152被识别位表示新的移动对象时,主分不断152被加到目标分段组154。连续性检查器132将目标分段组154作为目标图像157发送到指纹器133。
指纹器133接收目标图像157并为在目标图像157中的目标分段组154识别指纹组156。此处所用的对应于目标分段的指纹是对所述目标分段所表示的移动对象的特别特征的描述。指纹组156被配置为用于追踪在图像序列110中多个后续图像中的移动对象组155。
指纹器133将指纹组156存储在多个数据结构158中。在多个数据结构158中的数据结构可表现为,例如但不限于,表、电子表格、图表、数据库、报告、相联存储器或一些其他类型的数据结构。
如一个图示示例,指纹组156可被存储在多个数据结构158的指纹数据库160以备将来检测和追踪移动对象。指纹数据库160包括指纹,其为在场景108序列图像110中检测和追踪的部分移动对象114创建。
目标追踪器126可使用存储在指纹数据库160中的指纹组156以增加移动对象组155可被追踪的相似性,所述移动对象组155位于序列图像110中的多个后续图像162中。特别的,指纹组156可被用于追踪在多个后续图像162中的移动对象组155,即使在一个或多于一个这样的移动对象变得部分或全部遮挡之后或当一个或多于一个这样的移动对象移出成像系统102的视野范围。多个后续图像162可为在序列图像110中位于当前图像128之后的图像。
在这些图示示例中,在指纹组156中的每个指纹是轻量级指纹。如此处所用的,“轻量级指纹”是对应目标分段表示的移动对象特征的描述,考虑到事件和空间复杂度,所述描述被最小化。这样,需要存储指纹组的存储空间的量就被减小了。
在一些图示示例中,图像分段器130可使用指纹以确定多个分段138中的哪一个将被融合到一起以形成主分段组142,作为运动图像136的附加或代替运动图像136。在一个图示示例中,图像分段器130发送分段化的图像140给指纹器133。指纹器133为在分段化图像140中的多个分段138创建多个分段指纹164。多个分段指纹164中的每一个是对应于在多个分段138中的对应分段的指纹。
指纹器133存储多个分段指纹164在指纹数据库160以备图像分段器使用。图像分段器130检索多个分段指纹164和来自指纹数据库160的先前分段指纹组166,并使用这些不同的指纹以形成主分段组142。
先前分段指纹组166可包括之前确定的所述指纹组,所述指纹组是之前为之前图像134识别的,基于为之前图像134识别的目标分段。在该图示示例中,图像分段器130将在多个分段指纹164中的连续分段指纹组合到一起以形成主分段;所述连续分段指纹匹配在先前分段指纹组166中的特定的指纹。
先参照图2,根据本发明实施例,以方框图形式的指纹的图示被描述。在图2中,图1中的指纹器133被更详细的描述。
如所描述,指纹器133接收目标图像157以处理。指纹器133包括特征分析器202和指纹管理器204。特征分析器202被配置为在目标分段执行特征分析206以形成指纹组156,所述目标分段在在目标图像157中的目标分段组154中。在这些图示示例中,执行特征分析206可包括为在目标分段组154中的每个目标分段分离特征数据208并给多个数学模型210拟合特征数据208。
多个数学模型210可包括不同类型的模型。在多个数学模型210中的模型可为,例如但不限于,参数的或非参数的。如此处所用的,“参数模型”是可以用有限数量的参数来描述的族的分支。对比的,“非参数模型”,如此处所用,不依赖所述属于任何分支的拟合数据。
进一步的,在多个数学模型210中的模型可为,例如但不限于,空间可知的或空间不可知的。空间可知的模型可考虑位置、空间定位和/或校准特征。但是,空间不可知的模型可不考虑位置、空间定位和/或校准特征。
空间广义线性模型212和仅特征的广义线性模型(feature-onlygeneralized linear model)214是参数模型220的示例。空域图(spatiogram)和直方图是非参数模型222的示例。进一步的,空间广义线性模型212和空域图216是空间可知模型224的示例。仅特征的广义线性模型214和直方图是空间不可知模型226的示例。
对应于目标分段组154中每个特征分段的特征数据208可被拟合到一个或多于一个多个数学模型210,来为在目标分段组154中的每个目标分段形成适合的数据228。例如,特征数据208可将特征数据208拟合到在目标分段组154中的目标分段230到空间广义线性模型212、仅特征的广义线性模型214、空域图216、直方图218或以上的一些组合以对目标分段230形成拟合数据228。
当指纹器133如图1描述的被配置为创建多个分段指纹164,特征数据208可为图1中的多个分段138的每个分段被分离并以与如上所述的方式相似的方式拟合到多个数学模型210。特别的,对于多个分段138的特征数据208可被拟合到多个数学模型210以形成对多个分段138中的每个分段的拟合的数据228。
指纹管理器204被配置为接收拟合的数据228对目标分段组154并创建指纹组156。对应目标分段组154的每个目标分段的拟合的数据228被用于在指纹组156中形成指纹。例如,对应目标分段230的拟合数据228被用于形成指纹232。在一个图示示例中,目标分段230表示图1中的移动对象116。所以,指纹232是对应移动对象116的指纹。
这样,指纹组156是为图1中的当前图像128被创建。指纹管理器204被配置为存储指纹组156在多个数据结构158以备处理图1的序列图像110中的多个后续图像162时使用。例如,指纹组156可与其他指纹一起被存储在指纹数据库160。
当指纹管理器204从特征分析器202接收到用于图1中的多个分段138的拟合数据228时,指纹管理器204使用用于多个分段138的拟合数据228以创建多个分段指纹164。指纹管理器204可存储多个分段指纹164在多个数据结构158和/或发送多个分段指纹164给图1中的图像分段器130。
在处理图1中的多个后续图像162的过程中,图1中的一组或多于移动对象组155可变的部分闭塞或不再可见。例如,图1中的移动对象116可在一个或多于一个后续图像162中部分闭塞。所以,移动对象116在这些后续图像中可为不可检测的。但是,对应移动对象116的指纹232可被用于重新获取移动对象的踪迹。
例如,为图1中在当前图像128之后的图像而创建的新指纹可被用于与指纹组156和任何其他之前创建的存储在指纹数据库160中的指纹比较。该比较被用于确定是否所述新指纹对应于指纹之前就被创建的移动对象。
如一个示例实施例,图1的后续图像162中的一个可被处理并且新指纹234可为该后续图像而被创建。在该图示示例中,指纹管理器204比较新指纹234和存储在指纹数据库中的不同的指纹以确定是否新指纹是对应于指纹之前就被创建的移动对象。
例如,指纹管理器204可比较新指纹234和指纹232。如果新指纹234在选定的限度内匹配指纹232,指纹管理器204确定新指纹234和指纹232是对应同一个移动对象,即移动对象116。
在一些图示示例中,指纹管理器204将新指纹234和指纹232平均以创建修改指纹,其取代指纹数据库160中的指纹232。在其他图示示例中,指纹管理器204在指纹数据库160中用新指纹234取代指纹232。这样,这样,指纹可被用于追踪移动对象并重新获取图1的序列图像110中的移动对象的踪迹。
在一些情况下,指纹管理器204可被配置为使用之前创建的指纹以追踪静止对象。例如,在一些情况下,指纹在之前已经被创建的移动对象在序列图像110被产生的这段时间可变静止。该之前创建的指纹可被用于持续追踪该对象,即使该对象不再移动。
图1中的图像处理环境100的图示和图2中的指纹器133并不意味着暗示给示例实施例可被实施的方式以物理的或结构上的限制。其他附加组件或替代示出组件的组件可被实施。一些组件为可选的。而且,方框图被展示以图示一些功能组件。当一个或多于一个这样的框图被实施在示例实施例中时,其可被组合、分离或合并被分成不同的框图。
例如,图像分段器130、连续性检查器132和指纹器133在一些情况下可全部为相同模块的一部分。在一些图示示例中,其他数学模型可被使用,其作为图2中的多个数学模型210的附加模型和/或替代的所述模型。在其他实施例中,连续性检查器132可被配置为替代图像分段器130产生主统计信息144。
现参照图3,图像的图示的按照示例实施例被描述。图像300是可被成像系统产生的图像的示例,例如图1中的成像系统102。
特别的,图像300是图1中序列图像110的一幅图像实施的示例。进一步的,图像300可为图1中当前图像128的一个实施的示例。如所述,图像300包括背景302和移动对象组304。图像300中在移动对象组304中的移动对象的示例包但不限于,车辆306、308、310和312。
现参照图4,根据示例实施例,运动图像的图示被描述。运动图像400是图1中运动图像136的一个实施的示例。图3中的图像300可被运动检测器处理,比如图1中的运动检测器124,以形成运动图像400。
如所述,运动图像400包括背景402和运动文件组404。进一步的,来自图3中图像300的移动对象304在运动图像400中仍然可见。背景402表示对图3中图像300的全局运动有帮助的部分。图像300的全局运动可为,例如,在图像300中场景的全局运动。
运动文件组404是图1中运动文件组135的一个实施的示例。运动文件组404中的每一个运动文件表示来自图3的图像300中的本地运动。本地运动是与图像300的全局运动的差值超过了一些选定阈值的运动。
在运动文件组404中的运动文件的示例包括但不限于运动文件406、408、410、412、414和416。在该图示示例中,运动文件406、408、410和412表示本地运动,其分别包括车辆306、308、310和312的运动。这些运动表示这些车辆的运动与图3中图像300中获取的所述场景的全局运动不同。运动图像400的部分418在下图5中被更加详细描述。
现转向图5,根据本发明实施例,来自图4的运动图像400的部分418的放大图的图示被描述。如所描述的,运动文件408覆盖运动图像400中车辆308的顶部。运动文件408表示本地运动包括车辆308的运动。进一步的,如所示,运动文件408也表示本地运动包括车辆308的影子。
现参照图6,根据本发明实施例,分段化图像的图示被描述。分段化图像600是图1中分段化图像140的一个实施的示例。图3中的图像300可被例如图1中的图像分段器130处理,以形成分段化图像600。
如所述,分段化图像600包括多个分段602。多个分段602是图1中多个分段138的一个实施的示例。多个分段602中的每个分段包括一个或多于一个连续像素。在多个分段602中形成特定的分段的连续像素对应于图3的图像300中的连续像素,上述两者分享相似的视觉特征。在多个分段602中形成分段的像素都被指定了相同的值,其表示视觉特征。
在多个分段602中的分段的示例包括但不限于分段604、606、608、610、612、614和616。这些分段中的每一个表示图3的图像300的特定的特征。例如,分段604表示图3的图像300中车辆306、308、310和312行驶的路。进一步的,分段606和分段614表示图3中图像300的背景302中的草。
分段608表示图3中车辆306的发动机罩。分段610表示图3中车辆310的发动机罩,而分段612表示车辆310的前窗。分段616表示图3中图像300中的车辆312投下的影子。分段化图像600的部分618在下图7中被描述的更详细。
现转向图7,根据本发明实施例分段化图像600的部分618的图示被描述。如所述,分段化图像600的多个分段602中的分段702、704、706和708在该图中看的更清楚。
分段702表示图3的图像300中车辆308车身的顶部。分段704表示图3中车辆308发动机罩的至少一部分。分段706表示图3的图像300中车辆308的投影。进一步的,分段708表示图3中车辆308的右侧门。
现参照图8,根据示例实施例,移动分段图像的图示被描述。在图8中,移动分段图像800是图1中移动分段图像145的一个实施的示例。图4中的运动图像400和图6中的分段化图像600已经被;例如图1中的图像分段器130所整合,以形成移动分段图像。
如所述,移动分段图像800包括背景分段802和移动分段804。移动分段804是图6中分段化图像600的多个分段602与图4中运动图像400的运动文件组重叠的分段。被同一个运动文件重叠的分段可被融合到一起以形成主分段。
现参照图9,根据示例实施例,主图像的图示被描述。主图像900是图1中主图像143的一个实施的示例。在该图示的示例中,图8中的移动分段图像800中的移动分段804被相同的运动文件重叠,所述运动文件例如图1中的图像分段器,以在主图像900中形成主分段组901。
主分段组901是图1中主分段组142的一个实施的示例。在主分段组901中的主分段的示例包括但不限于主分段902、904、906、908和910。主分段中的每一个包括移动分段,其来自图8中的移动分段图像,属于同一个运动文件,所述运动文件位于图4中的运动文件组404中。主图像900的的部分912包括主分段904,其在线面的图10中被更详细的描述。
在主分段组901中的每个主分段可被与之前确定的主分段组作比较,所述之前确定的主分段组是在图3中的图像300之前被处理的图像。该比较可被用于确定是否所述主分段实际表示移动对象、无关的特性或异常。
例如,主分段902可被与主分段组比较以确定是否主分段902表示移动屋体,所述主分段组是为之前的图像确定的。如果主分段902不匹配任何一个之前确定的主分段,那分析可被执行以确定是否主分段902表示之前为检测到的移动对象、异常或是一些其他不相关特征。
现转向图10,根据示例实施例,图9中图像900的部分912的放大图的图示被描述。在该图示示例中,主分段904已经被形成,这样主分段904的轮廓1000在选定的容忍限度内匹配图3中图像300中的车辆308的轮廓。
现参照图11,根据示例实施例。一幅图像的图示被描述。在图11中,图像1100是可被成像系统产生的图像的示例,所述成像系统例如图1中的成像系统102。
特别的,图像1100是图1中序列图像110的一个实施的示例。进一步的,图像1100可为图1中当前图像128的一个实施的示例。如所述,图像1100包括背景1102和移动对象组1104。图像1100中移动对象组1104中的移动对象的示例包括但不限于,车辆1106、1108、1110、1112、1114和1116。
现参照图12,根据示例实施例一幅主图像的图示被描述。主图像1200是图1中主图像143的一个实施的示例。来自图11的图像1100可被图1中的对象追踪器126处理以形成主图像1200。
如所述,主图像1200包括背景分段1202和主图像组1204。主图像组1204包括主分段1206、1208、1210、1212、1214和1216。在该图示示例中,主分段1206、1208、1210、1212、1214和1216分别表示图1中的车辆1106、1108、1110、1112、1114和1116。
在主分段组1204中的每个主分段通过融合来自多个分段化图像的多个主分段而形成。关于哪个分段被融合以形成主分段组1204的选择使用之前的指纹来执行,所述之前的指纹对应于图11中在图像1100之前被处理的图像。
现参照图13,根据示例实施例,流程图形式的执行图像处理的过程的图示被描述。在图13中图示的所述过程可被使用图1中的图像处理系统104而执行。
所述过程由接收当前图像以处理而开始(操作1300)。所述当前图像可为,例如,图1中的当前图像128。之后,当前图像中的全局运动和当前图像中的本地运动被识别(操作1302)。当前图像中的所述全局运动随后被从当前图像中的本地运动分离以形成运动图像,其中所述运动图像包括运动文件组(操作1304)。操作1302和操作1304可被使用例如图1中的运动检测器124来执行。
接下来,所述当前图像被分段为多个分段以形成分段化图像(操作1306)。操作1306可被使用例如图1中的图像分段器130来执行。在所述多个分段中属于同一个运动文件的分段被融合到一起以形成主分段组(操作1308)。之后,需要被加指纹的目标分段组被从所述主分段组创建(操作1310)。在操作1310中,在目标分段组中的一个目标分段表示一个移动对象。
指纹随后为目标分段组中的每个目标分段创建以在多个后续图像中追踪所述移动对象时使用(操作1312),该过程随后中止。操作1312可被例如图1-2中的指纹器133执行。所述指纹器133可通过执行所述主分段的特征分析来执行操作1310。
现参照图14,根据示例实施例,流程图形式的实施来自主分段组的的目标分段组的的过程的图示被描述。在图14中被图示的过程可为图13中的操作1310可被执行的一种方式的示例。该过程可被执行,通过例如图1中的图像分段器130和连续性检查器132。
该过程由为主分段组中的每个主分段产生主统计信息或主统计数据开始(操作1400)。之后,主分段被从主分段组中选定以处理(操作1402)。
所选定的主分段被链接到最靠近的匹配的为处理的先前图像确定的主分段(操作1404)。所述最靠近的匹配的主分段可为,例如,之前确定的主分段具有在之前图像中的位置,所述位置距离选定的主分段在当前图像中的位置最近。当然,在其他图示示例中,所述最靠近的匹配的主分段可基于对应所述选定的主分段的主统计信息和对应之前确定的主分段组的主统计信息,所述主分段组对应所述之前图像。
接下来,所述过程确定是否任何附加的未处理的主分段存在于主分段组(操作1406)。如果附加的未处理的主分段出现,所述过程如上所述回到操作1402。否则,所述过程计算链接在一起的每对分段对相似性分数(操作1408)。该相似性分数可为,例如但不限于,Kullback-Leibler差异值(Kullback-Leibler(KL)divergence value)。
在操作1408中,所述相似性分数可被基于主统计信息计算,所述主统计信息被确定用于当前图像的主分段和为之前图像的之前确定的主分段。在一些图示示例中,被基于相对于当前图像,对于之前被处理的多个图像计算所述相似性分数。
之后,在一个选定的阈值内具有相似性分数的主分段被增加到目标分段组(操作1410),该过程随后中止。这样,只有与之前确定的主分段一致的主分段可选为目标分段以备将来处理。
现参照图15,根据示例实施例,流程图形式的创建指纹的过程的图示被示出。在图15中所示的过程可为图13中操作1312可被实施的一个方式的示例。该过程可被使用图1-2中的指纹器133执行。
所述过程可由为目标分段组中的每个目标分段识别目标像素开始(操作1500)。目标像素是位于目标分段内的像素。之后,对应于在目标分段组中的目标分段内的每个目标像素的特征数据被识别(操作1502)。所述对应于目标像素的特征数据可为,例如,特征向量,其包括色度数据,像素位置的数据,熵的数据,其他的像素数据,或该目标像素的以上组合。
基于为对应每个目标分段的目标像素产生的特征数据,拟合数据随后为目标分段组中的每个目标分段产生(操作1504)。接下来,基于所述拟合数据,对应目标分段组的每个目标分段的指纹被创建(操作1506),该过程随后中止。在操作1506中,对应所述目标分段组的指纹机被创建。这些指纹被存储以备将来在后续图像中检测和追踪移动对象。
现参照图16,根据示例实施例,流程图形式的形成主分段组的过程的图示被示出。图16中所图示的过程可为图13中操作1308可被实施的一种方式的示例。该过程可被使用图1-2中的指纹器133执行。
该过程可由创建对应分段化图像中的多个分段的多个分段指纹而开始(操作1600)。在操作1600中,分段指纹为所述多个分段中的每个分段而被创建。
在一个图示示例中,高斯协方差模型可被用于创建每个分段指纹。使用的模型可如下所示:
其中,μp是特征数据的1×7矩阵平均值,{a,b,Le,ae,be,u,v},对分段中的每个像素,P。其中∑p是特征数据的7×7的全协方差矩阵;其中a和b是每个像素的色度分量,并被认为是色度数据;其中ε是熵过滤值;并且其中u和v是像素位置数据。特别的,u是所述像素在所述图像中的水平位置且v是所述像素在所述图像中的垂直位置。
在一些图示示例中,并非全部在多个分段中的分段都被加指纹。一组规则可被用于确定是否在所述多个分段中的分段需要加指纹。这些规则可包括,例如但不限于,像素在所述分段中的个数大于12;对应分段中全部像素的特征数据可不是常数;所述分段具有大于一像素的长度和宽度;所述图像边缘和所述分段的像素距离不小于一个选定的阈值;所述分段小于所述整个图像像素大小的一半;和/或其他类型的规则。
之后,背景指纹为所述分段化图像的背景被创建(操作1602)。在操作1602中,所述分段化图像的背景可为所述图像除去所述多个分段的全部剩余部分。所述背景指纹也可使用高斯全协方差模型被创建。
每个分段指纹被匹配先前分段指纹组和背景指纹,以形成匹配的分段指纹(操作1604)。在操作1604中,该匹配可被以不同的方式执行,例如,相似性分数可被用于在操作1604中执行所述匹配。在一些情况下,图像配准被用于在操作1604中执行所述匹配。
在一个图示示例中,在每个分段指纹和每个之前确定的分段指纹之间的Kullback-Leibler差异值可被计算。每个分段指纹匹配先前分段指纹组中Kullback-Leibler差异值低于选定阈值的一个先前分段指纹,匹配的会被增加到匹配分段指纹组。匹配背景指纹的分段指纹且Kullback-Leibler差异值低于选定阈值可被从匹配分段指纹组中排除。
之后,所述过程将对应于分段指纹的分段融合在一起以形成主分段组(操作1606),随后该过程中止,其中所述分段指纹在匹配的分段指纹组中互相匹配且互相相邻。例如,在操作1606中,识别或确定在匹配的分段指纹组中互相相邻的第一分段指纹和第二分段指纹分别对应第一分段和第二分段。确定是否所述第一分段指纹和第二分段指纹之间的相似性分数在一选定的阈值之内。
所述第一分段和第二分段可被融合到一起以响应一个确定,其为第一分段指纹和第二分段指纹之间的相似性分数在一定的阈值之内。在操作1606中,第一分段和第二分段至少一个被融合以形成新的主分段,其可被加入到主分段组并被融合到主分段组中已有的一个主分段。
在不同实施例中的流程图和方框图图示了在一个示例实施例中的设备和方法可能的实施的结构、功能和操作。在这方面,在流程图或方框图中的每个方框可表示模块、分段、功能和/或部分操作或步骤。例如,一个或多于一个可被实施为程序代码、硬件或程序代码和硬件的结合。当其实施为硬件时,所述硬件可,例如,表现为集成电路,其被制造或配置为执行一个或多于一个在流程图或框图中的操作。
在示例实施例的一些可替代实施中,所述功能或在方框中标明的功能可不按照图中标注的顺序发生。例如,在一些情况下,基于其所涉及的功能,两个连续被示出的方框可基本同时被执行,或所述方框可有时按照相反顺序被执行。而且,其他方框可被增加到流程图或方框图中的所述图示方框。
现转向图17,根据示例实施例方框图形式的数据处理系统的图示被描述。在该图示示例中,数据处理系统1700可被用于在图1中的计算机系统122中实施一个或多于一个计算机。
在该图示示例中,数据处理系统1700包括通信框架1706、永久存储器1708、通信单元1710、输入/输出单元1712和显示器1714。通信框架1702在一些示例中可被实施为总线系统。
处理器单元1704可用于为下载到存储器1706中的软件执行指令以执行多个操作。处理器单元可为多个处理器,多处理器核心或一些其他类型的处理器,基于所述特殊实施。在一些情况下,处理器单元1704可表现为硬件单元的形式,例如电路系统、特定应用集成电路(ASIC)、可编程逻辑器件或一些其他合适类型的硬件。
在一些情况下,图1中的运动检测器124和/或目标追踪器126可被实施为处理器单元1704内的处理器。进一步的,图1中的图像分段器130、连续性检查器132和指纹器133可被实施为模块,其位于处理器单元1704中的一个或多于一个处理器。
存储器1706和永久存储器1708是存储设备1706的示例。存储设备1716可通过通信框架1702与处理器单元1704通信。存储设备,也被称为计算机可读存储设备,是能够存储信息的任意硬件,其例如但不限于,数据、功能形式的程序代码和/或临时基础上的或永久基础上的其他合适的信息。存储器1706可为,例如,随机存取存储器或任何其它合适的易失性或非易失性存储设备。
永久存储器1708可表现为多种形式且包含任意数量的组件或设备,基于特定的实施。例如,永久存储器1708可为硬盘驱动器、闪存、可重写光盘、可重写的磁带或上述的一些组合。基于所述实施,被永久存储器1708使用的介质可以或不可以为可移动的。
通信单元1710,在这些示例中,为通信提供其他数据处理系统或设备。通信单元1710可通过使用无论物理的或无线的通信链路来提供通信。
输入/输出单元1712允许数据的输入输出,用可被连接到数据处理系统1700中的其他设备。例如,输入/输出单元1712可提供连接使用户通过键盘、鼠标和/或其他合适的输入设备来输入和/或可发送输出给打印机。显示器1714提供机制以显示信息给用户。
对于所述操作系统、应用和/或程序的指令可位于存储设备1706。不同实施例的所述过程可被处理器单元1704使用基于计算机的指令来执行。这些指令被称为程序代码、计算机可用程序代码、或计算机可读程序代码,并可被处理器单元1704中的一个或多于一个处理器读取或执行。
在这些示例中,程序代码1718位于计算机可读介质1720中的函数形式,所述计算机可读介质1720可为选择性可移动的并可被下载到或数据处理系统1700以被处理器单元1704执行。在这些示例中,程序代码1718和计算机可读介质1720形成计算机程序产品。在一些图示示例中,图1中的运动检测器124和/或目标追踪器126可被实施在计算机程序产品1722中。在一些情况下,图1中的图像分段器130、连续性检查器132和分段器133可被实施为程序代码1718中的软件模块。
计算机可读介质1720可表现为计算机可读存储介质1724或计算机可读信号介质1726。计算机可读存储介质1724是物理的或有形的存储设备,其用于存储程序代码1718,而不是传播或传送程序代码的介质。计算机可读存储介质1724可表现为,例如但不限于光盘或磁盘或连接到数据存储系统1700的永久存储设备。
可替代的,使用计算机可读信号介质1726,程序代码1718可被转移到数据处理系统1700。计算机可读信号介质1726可为,例如但不限于,包含程序代码1718的传播的数据信号,该数据信号可为电磁信号,光信号和/或一些其他合适类型的信号,其可被通过物理的或无线的通信链路传输。
对于数据处理系统1700的图示不同组件并不意味着对不同实施例可被实施的方式提供结构限制。可被实施在数据处理系统的所述不同的示例实施例包括图示在数据处理系统1700中的组件的附加组件或替代组件。图17中所示的其他组件可从图示示例改变。所述不同的实施可被使用能够运行程序代码的任何硬件设备或系统实施。如一个示例,所述数据处理系统可包括有机组件与无机组件的集成和/或可包括除人以外的整个有机组件。例如,存储设备可包括有机半导体。
不同示例实施例的描述已被展示,其出于图示和说明的目的,并不打算穷举或限制公开的的实施例。许多修改和变化对本领域技术人员来说是明显的。
进一步的,不同的示例实施例可提供与其他实施例相比的不同特征。选择的实施例或实施例的选择和描述是为了更好地解释的实施例的原理、实际应用,以使其他在本技术领域的普通技术人员理解本公开的各种实施例进行各种修改至适合于特定使用。
Claims (14)
1.一种图像处理系统(104),其包括:
图像分段器(130),其被配置为将序列图像(110)中的当前图像(128)分段为多个分段(138)以形成分段化图像(140),并将在多个分段(138)中属于同一个运动文件的分段融合在一起以形成主分段组(142);
连续性检查器(132),其被配置为从主分段组(142)中识别目标分段组(154),其中所述目标分段组(154)表示在当前图像(128)中的移动对象组(155);以及
指纹器(133),其被配置为创建用于在序列图像(110)中的多个后续图像(162)中追踪所述移动对象组(155)的指纹组(156)。
2.根据权利要求1所述的图像处理系统(104),进一步包括:
运动检测器(124),其被配置为使用当前图像(128)形成运动图像(136),其中所述运动图像(136)包括运动文件组(135)。
3.根据权利要求2所述的图像处理系统(104),其中所述运动检测器(124)进一步配置为:在当前图像(128)中识别本地运动和全局运动,并在当前图像(128)中将所述全局运动从所述本地运动中分离以形成所述运动图像(136)。
4.根据权利要求1所述的图像处理系统(104),其中所述连续性检查器(132)进一步配置为:根据为所述主分段(152)产生的主统计信息(144),确定是否在主分段组中的主分段(152)要被增加到所述目标分段组(154)。
5.根据权利要求4所述的图像处理系统(104),其中所述图像分段器(130)被配置为:通过为所述主分段(152)产生分段数据(146)并将所述分段数据(146)拟合到数学模型(148)中,来为所述主分段(152)产生主统计信息(144)。
6.根据权利要求5所述的图像处理系统(104),其中所述数学模型(148)是广义线性模型(212)。
7.根据权利要求1所述的图像处理系统(104),其中所述指纹器(133)进一步配置为:对所述目标分段组(154)中的目标分段(230)执行特征分析(206),从而形成被增加到所述指纹组(156)的用于所述目标分段的指纹(232);
为在所述目标分段组(154)中的每个目标(230)分段识别特征数据(208),将所述特征数据(208)拟合到多个数学模型(210)中以产生拟合数据(228),并使用所述拟合数据(228)创建所述指纹组(156);并且
其中所述多个数学模型(210)包括空间广义线性模型(212)、仅特征的广义线性模型(214)、空域图(216)和直方图(218)之中的至少一个。
8.用于在序列图像(110)中追踪移动对象(155)的计算机实施的方法,所述计算机实施的方法包括:
将序列图形(110)中的当前图像(128)分段为多个分段(138);
将在多个分段(138)中属于同一个运动文件的分段融合在一起以形成主分段组(142);
从所述主分段组(142)识别目标分段组(154),其中所述目标分段组(154)表示在当前图像(128)中的移动对象组(155);并且
创建用于在序列图像(110)中的多个后续图像(162)中追踪移动对象组(155)的指纹组(156)。
9.根据权利要求8所述的计算机实施的方法,进一步包括:
使用所述当前图像形成运动图像(136),其中所述运动图像(136)包括运动文件组(135);并且其中所述形成所述运动图像(136)的步骤包括:
识别当前图像(128)中的本地运动和全局运动;并且
从所述本地运动中分离所述全局运动以形成所述运动图像(136)。
10.根据权利要求9所述的计算机实施的方法,其中所述将在多个分段(138)中属于同一个运动文件(135)的分段融合在一起以形成所述主分段组(142)的步骤包括:
将在多个分段(138)中属于相同运动文件的分段融合在一起以形成主分段组(142),所述运动文件在所述运动图像(136)的运动文件组(135)中。
11.根据权利要求8所述的计算机实施的方法,其中从所述主分段组(142)中识别目标分段组(154)的步骤包括:
为在主分段组(142)中的主分段(152)产生主统计信息(144);
基于对应所述主分段(152)的主统计信息(144),确定是否所述主分段(152)要被增加到所述目标分段组(154);
其中为在所述主分段组(142)中的主分段(152)产生主统计信息(144)的步骤包括:
为所述主分段(152)产生分段数据(146);
将所述分段数据(146)拟合到数学模型(148),以为所述主分段(152)产生主统计信息(144);并且
其中拟合所述分段数据(146)到所述数学模型(148)以为所述主分段(152)产生所述主统计信息(144)包括:
拟合所述分段数据(146)到所述数学模型(148)为所述主分段(152)产生所述主统计信息(144),其中所述数学模型(148)是广义线性模型(212)。
12.根据权利要求8所述的计算机实施的方法,其中创建用于追踪在序列图像(110)的多个后续图像(162)中的所述移动对象组(155)的指纹组(156)的步骤包括:
对在目标分段组(154)中的目标分段(230)执行特征分析(206),以形成用于所述目标分段(230)的所述指纹组(156)中的指纹(232)。
13.根据权利要求8所述的计算机实施的方法,其中创建用于追踪在序列图像(110)的多个后续图像(162)中的所述移动对象组(155)的指纹组(156)的步骤包括:
识别用于目标分段组(154)中的每个目标分段(230)的特征数据(208);
拟合所述特征数据(208)到多个数学模型(210)以产生拟合数据(228);
使用所述拟合数据(228)创建所述指纹组(156);并且
其中拟合所述特征数据(208)到多个数学模型(210)以产生拟合数据(228)的步骤包括:
拟合所述特征数据(208)到多个数学模型(210),以产生拟合数据(228),其中所述多个数学模型(210)包括空间广义线性模型(212),仅特征的广义线性模型(214),空域图(216)和直方图(218)之中的至少一个。
14.根据权利要求5所述的图像处理系统(104),配置为执行用于在序列图像(110)中追踪移动对象(155)的方法,包括:
在当前图像(128)中识别本地运动和全局运动;
将所述全局运动从本地运动中分离以形成运动图像(136),其中所述运动图像(136)包括运动文件组(135);
将在图像序列(110)中的所述当前图像(128)分段为多个分段(138)以形成分段化图像(140);
将在多个分段(138)中属于同一个运动文件的分段融合到一起以形成具有主分段组(142)的主图像;
从所述主分段组(142)的识别目标分段组(154)以形成目标图像,其中所述目标分段组(154)表示在所述当前图像(128)中的移动对象组(155);并且
创建用于在序列图像(110)的多个后续图像(162)中追踪移动对象组(155)的指纹组(156)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/631,726 US8811670B2 (en) | 2012-09-28 | 2012-09-28 | Method and system for using fingerprints to track moving objects in video |
US13/631,726 | 2012-09-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103716687A true CN103716687A (zh) | 2014-04-09 |
CN103716687B CN103716687B (zh) | 2019-01-08 |
Family
ID=49223564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310461763.1A Active CN103716687B (zh) | 2012-09-28 | 2013-09-30 | 使用指纹以在视频中追踪移动对象的系统和方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US8811670B2 (zh) |
EP (1) | EP2713308B1 (zh) |
JP (1) | JP6650657B2 (zh) |
KR (1) | KR102069390B1 (zh) |
CN (1) | CN103716687B (zh) |
AU (1) | AU2013213659B2 (zh) |
BR (1) | BR102013024785B1 (zh) |
RU (1) | RU2013143669A (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9036910B1 (en) | 2012-09-28 | 2015-05-19 | The Boeing Company | Method and system for processing a sequence of images using fingerprints |
US9429425B2 (en) * | 2013-03-05 | 2016-08-30 | Here Global B.V. | Aerial image collection |
JP6278752B2 (ja) * | 2014-03-05 | 2018-02-14 | 株式会社キーエンス | 形状検査装置及び形状検査方法 |
US9639807B2 (en) * | 2014-06-10 | 2017-05-02 | Jose Oriol Lopez Berengueres | Method and system for forecasting future events |
US9791541B2 (en) | 2014-12-19 | 2017-10-17 | The Boeing Company | System and method to improve object tracking using multiple tracking systems |
US9940726B2 (en) | 2014-12-19 | 2018-04-10 | The Boeing Company | System and method to improve object tracking using tracking fingerprints |
DE102015002923B4 (de) * | 2015-03-06 | 2023-01-12 | Mekra Lang Gmbh & Co. Kg | Anzeigeeinrichtung für ein Fahrzeug insbesondere Nutzfahrzeug |
US9483839B1 (en) | 2015-05-06 | 2016-11-01 | The Boeing Company | Occlusion-robust visual object fingerprinting using fusion of multiple sub-region signatures |
KR102334767B1 (ko) * | 2015-07-23 | 2021-12-02 | 한화테크윈 주식회사 | 네트워크 카메라 제어 장치 및 방법 |
US9495763B1 (en) | 2015-09-28 | 2016-11-15 | International Business Machines Corporation | Discovering object pathways in a camera network |
CN111263954A (zh) * | 2017-05-02 | 2020-06-09 | 赫尔实验室有限公司 | 基于根据自运动的感官预测检测移动障碍物的系统和方法 |
US10460156B2 (en) | 2018-03-06 | 2019-10-29 | Sony Corporation | Automated tracking and retaining of an articulated object in a sequence of image frames |
CN109214315A (zh) * | 2018-08-21 | 2019-01-15 | 北京深瞐科技有限公司 | 人车跨镜头追踪方法及装置 |
EP3935581A4 (en) | 2019-03-04 | 2022-11-30 | Iocurrents, Inc. | DATA COMPRESSION AND COMMUNICATION USING MACHINE LEARNING |
US11734907B2 (en) | 2020-04-24 | 2023-08-22 | Humanising Autonomy Limited | Tracking vulnerable road users across image frames using fingerprints obtained from image analysis |
US11430221B2 (en) * | 2020-09-11 | 2022-08-30 | Sensormatic Electronics, LLC | Enhancing detection of occluded objects in a multiple object detection system |
CN113891012A (zh) * | 2021-09-17 | 2022-01-04 | 北京极豪科技有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030219146A1 (en) * | 2002-05-23 | 2003-11-27 | Jepson Allan D. | Visual motion analysis method for detecting arbitrary numbers of moving objects in image sequences |
CN101124588A (zh) * | 2004-06-01 | 2008-02-13 | 光谱辨识公司 | 多光谱成像生物识别 |
CN102216941A (zh) * | 2008-08-19 | 2011-10-12 | 数字标记公司 | 用于内容处理的方法和系统 |
WO2012065184A2 (en) * | 2010-11-12 | 2012-05-18 | Nextnav, Llc | Wide area positioning system |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000222584A (ja) * | 1999-01-29 | 2000-08-11 | Toshiba Corp | 映像情報記述方法、映像検索方法及び映像検索装置 |
US7886365B2 (en) * | 2002-06-11 | 2011-02-08 | Panasonic Corporation | Content-log analyzing system and data-communication controlling device |
JP4768544B2 (ja) * | 2006-08-10 | 2011-09-07 | 株式会社東芝 | 目標検出追随装置 |
GB0818561D0 (en) | 2008-10-09 | 2008-11-19 | Isis Innovation | Visual tracking of objects in images, and segmentation of images |
JP5103665B2 (ja) * | 2008-10-24 | 2012-12-19 | 国立大学法人広島大学 | 物体追跡装置および物体追跡方法 |
JP4715909B2 (ja) * | 2008-12-04 | 2011-07-06 | ソニー株式会社 | 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム |
JP5214533B2 (ja) * | 2009-05-21 | 2013-06-19 | 富士フイルム株式会社 | 人物追跡方法、人物追跡装置および人物追跡プログラム |
US8116527B2 (en) * | 2009-10-07 | 2012-02-14 | The United States Of America As Represented By The Secretary Of The Army | Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background |
US8731239B2 (en) * | 2009-12-09 | 2014-05-20 | Disney Enterprises, Inc. | Systems and methods for tracking objects under occlusion |
US8620026B2 (en) * | 2011-04-13 | 2013-12-31 | International Business Machines Corporation | Video-based detection of multiple object types under varying poses |
US8498448B2 (en) * | 2011-07-15 | 2013-07-30 | International Business Machines Corporation | Multi-view object detection using appearance model transfer from similar scenes |
-
2012
- 2012-09-28 US US13/631,726 patent/US8811670B2/en active Active
-
2013
- 2013-08-06 AU AU2013213659A patent/AU2013213659B2/en active Active
- 2013-08-12 KR KR1020130095201A patent/KR102069390B1/ko active IP Right Grant
- 2013-09-12 EP EP13184081.1A patent/EP2713308B1/en active Active
- 2013-09-25 JP JP2013198438A patent/JP6650657B2/ja active Active
- 2013-09-26 BR BR102013024785-5A patent/BR102013024785B1/pt active IP Right Grant
- 2013-09-27 RU RU2013143669/08A patent/RU2013143669A/ru not_active Application Discontinuation
- 2013-09-30 CN CN201310461763.1A patent/CN103716687B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030219146A1 (en) * | 2002-05-23 | 2003-11-27 | Jepson Allan D. | Visual motion analysis method for detecting arbitrary numbers of moving objects in image sequences |
CN101124588A (zh) * | 2004-06-01 | 2008-02-13 | 光谱辨识公司 | 多光谱成像生物识别 |
CN102216941A (zh) * | 2008-08-19 | 2011-10-12 | 数字标记公司 | 用于内容处理的方法和系统 |
WO2012065184A2 (en) * | 2010-11-12 | 2012-05-18 | Nextnav, Llc | Wide area positioning system |
Non-Patent Citations (2)
Title |
---|
KANG-YU NI ET AL: ""Manifold-based Fingerprinting for Target Identification"", 《2012 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS(CVPRW)》 * |
T. NATHAN MUNDHENK ET AL: ""Detection of unknown targets from aerial camera and extraction of simple object fingerprints for th e purpose of target reacquisition"", 《INTELLIGENT ROBOTS AND COMPUTER VISION XXIX: ALGORITHMS AND TECHNIQUES》 * |
Also Published As
Publication number | Publication date |
---|---|
US20140093127A1 (en) | 2014-04-03 |
RU2013143669A (ru) | 2015-04-10 |
AU2013213659A1 (en) | 2014-04-17 |
BR102013024785B1 (pt) | 2021-04-06 |
AU2013213659B2 (en) | 2018-06-07 |
EP2713308A3 (en) | 2015-08-05 |
KR102069390B1 (ko) | 2020-01-23 |
JP6650657B2 (ja) | 2020-02-19 |
CN103716687B (zh) | 2019-01-08 |
US8811670B2 (en) | 2014-08-19 |
BR102013024785A2 (pt) | 2015-09-15 |
EP2713308A2 (en) | 2014-04-02 |
EP2713308B1 (en) | 2021-11-03 |
KR20140043023A (ko) | 2014-04-08 |
JP2014071902A (ja) | 2014-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103716687A (zh) | 使用指纹以在视频中追踪移动对象的系统和方法 | |
US10832063B2 (en) | Systems and methods for detecting an object | |
Xiao et al. | Vehicle detection and tracking in wide field-of-view aerial video | |
JP2014071902A5 (zh) | ||
Azevedo et al. | Automatic vehicle trajectory extraction by aerial remote sensing | |
CN109341580A (zh) | 钢轨廓形的追踪方法、系统及装置 | |
CN111954886A (zh) | 对象追踪的系统和方法 | |
CN105825495A (zh) | 物体检测装置和物体检测方法 | |
CN105608417A (zh) | 交通信号灯检测方法及装置 | |
Khalifa et al. | A novel multi-view pedestrian detection database for collaborative intelligent transportation systems | |
Arsic et al. | Applying multi layer homography for multi camera person tracking | |
US9036910B1 (en) | Method and system for processing a sequence of images using fingerprints | |
Tran et al. | UIT-ADrone: A Novel Drone Dataset for Traffic Anomaly Detection | |
Rateke et al. | Passive vision road obstacle detection: a literature mapping | |
Chen et al. | MRSI: A multimodal proximity remote sensing data set for environment perception in rail transit | |
Mussone et al. | An innovative method for the analysis of vehicle movements in roundabouts based on image processing | |
Matsuda et al. | A system for real-time on-street parking detection and visualization on an edge device | |
Wang et al. | Lane detection algorithm based on temporal–spatial information matching and fusion | |
Zhang et al. | Night time vehicle detection and tracking by fusing sensor cues from autonomous vehicles | |
Khalil et al. | Licanext: Incorporating sequential range residuals for additional advancement in joint perception and motion prediction | |
Nejadasl et al. | Optical flow based vehicle tracking strengthened by statistical decisions | |
Imad et al. | Navigation system for autonomous vehicle: A survey | |
LaLonde et al. | Fully convolutional deep neural networks for persistent multi-frame multi-object detection in wide area aerial videos | |
CN108268813B (zh) | 一种车道偏离预警方法、装置及电子设备 | |
CN116958195A (zh) | 物件追踪整合方法及整合装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |