CN103679698A - 用于检测和跟踪移动对象的系统和方法 - Google Patents

用于检测和跟踪移动对象的系统和方法 Download PDF

Info

Publication number
CN103679698A
CN103679698A CN201310444138.6A CN201310444138A CN103679698A CN 103679698 A CN103679698 A CN 103679698A CN 201310444138 A CN201310444138 A CN 201310444138A CN 103679698 A CN103679698 A CN 103679698A
Authority
CN
China
Prior art keywords
bounding box
fuzzy
box
parameter
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310444138.6A
Other languages
English (en)
Other versions
CN103679698B (zh
Inventor
涂吉林
徐毅
A.I.德尔阿莫
T.B.塞巴斯蒂安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN103679698A publication Critical patent/CN103679698A/zh
Application granted granted Critical
Publication of CN103679698B publication Critical patent/CN103679698B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)

Abstract

公开了使用基于处理器的设备而实现的方法。该方法包括接收包括多个图像帧（其具有至少一个移动对象）的视频流、确定该多个图像帧之中的至少两个图像帧之间的差以及生成差分图像，其包括对应于该至少一个移动对象的多个图像块。该方法进一步包括：生成多个包围盒，每个包围盒环绕多个图像块之中的至少一个对应的图像块；以及基于包围盒的子集的感知表征使用模糊技术确定多个包围盒之中的包围盒的子集，其与对应的移动对象关联。该方法还包括使包围盒的子集合并来生成使包围盒的子集封闭的合并包围盒来检测移动对象。

Description

用于检测和跟踪移动对象的系统和方法
技术领域
本文公开的主旨大体上涉及视觉监测和视频监控。更具体地，该主旨涉及用于检测并且跟踪视频流中的移动对象的方法和系统。
背景技术
视频检测和跟踪是例如监控和侦查系统的许多现代技术水平的系统的主要部分。ISR（情报、监控和侦查）系统包含例如用于支持军事行动的数据收集、处理和利用。ISR系统典型地包括无人驾驶飞行器和基于地面、空中、海上或空间的装备。这样的视频处理系统用于检测移动对象并且还可在例如交通管理、增强现实、通信和压缩的领域中有用。
典型地，从视频流提取的图像序列被处理以使用视频处理系统来检测并且追踪移动对象。识别并且跟踪视频流中的移动目标的手动方法是慢且集中的并且在许多情况下不实际。近年来已经提出朝着解决与视频监控关联的问题的自动化方案。与视频流的自动处理有关的技术关于在摄像机的视场中辨认单独目标方面具有限制。在空中监控系统中，移动摄像机由于视差而造成额外的噪声。用于识别图像序列中的移动目标的常规算法可能未提供满意的主观质量。这些算法中的许多因为现实世界数据的固有不确定性而不能最佳地处理数据。
需要能够最佳地处理实时图像以便可靠地检测移动目标的视频处理的优越技术。
发明内容
根据本技术的一个方面，公开了使用基于处理器的设备而实现的方法。该方法包括接收包括多个图像帧（其具有至少一个移动对象）的视频流、确定该多个图像帧之中的至少两个图像帧之间的差以及生成差分图像，其包括对应于该至少一个移动对象的多个图像块。该方法进一步包括：生成多个包围盒，每个包围盒环绕多个图像块之中的至少一个对应的图像块；以及基于包围盒的子集的感知表征使用模糊技术确定多个包围盒之中的包围盒的子集，其与对应的移动对象关联。该方法还包括使包围盒的子集合并来生成使包围盒的子集封闭的合并包围盒来检测移动对象。
根据本系统的一个方面，公开了一种系统。该系统包括基于处理器的设备，其配置成：从摄像机接收视频流，该视频流包括具有至少一个移动对象的多个图像帧；并且确定多个图像帧之中的至少两个图像帧之间的差来生成包括多个图像块的差分图像。基于处理器的设备进一步配置成：生成多个包围盒，每个包围盒环绕多个图像块之中的至少一个对应图像块；并且基于包围盒的子集的感知表征使用模糊技术来确定多个包围盒之中的包围盒的子集，其与对应的移动对象关联。最后，基于处理器的设备配置成使包围盒的子集合并来生成使包围盒的子集封闭的合并包围盒来检测移动对象。
根据本技术的另一个方面，公开了用指示基于处理器的设备的程序编码的非暂时性计算机可读介质。该程序指示基于处理器的设备接收视频流（其包括具有至少一个移动对象的多个图像帧），并且确定多个图像帧之中的至少两个图像帧之间的差来生成差分图像，其包括对应于至少一个移动对象的多个图像块。该程序进一步指示基于处理器的设备生成多个包围盒，每个包围盒环绕多个图像块之中的至少一个对应图像块；并且基于包围盒的子集的感知表征使用模糊技术来确定多个包围盒之中的包围盒的子集，其与对应的移动对象关联。该程序还指示基于处理器的设备使包围盒的子集合并来生成使包围盒的子集封闭的合并包围盒来检测移动对象。
提供一种使用基于处理器的设备而实现的方法，其包括：
接收包括多个图像帧的视频流，所述多个图像帧具有至少一个移动对象；
确定所述多个图像帧之中的至少两个图像帧之间的差以及生成差分图像，其包括对应于所述至少一个移动对象的多个图像块；
生成多个包围盒，每个包围盒环绕所述多个图像块之中的至少一个对应的图像块；
基于包围盒的子集的感知表征使用模糊技术确定所述多个包围盒之中的包围盒的子集，其与对应的移动对象关联；以及
使包围盒的子集合并来生成使所述包围盒的子集封闭的合并包围盒来检测所述移动对象。
优选的，所述模糊技术包括：
基于包围盒对的几何、运动和外观性质中的至少一个来确定与所述多个包围盒之中的所述包围盒对关联的表征参数；
基于所述表征参数来确定与所述包围盒对关联的模糊参数；
基于所述模糊参数来确定与所述包围盒对关联的盒合并参数；以及
基于所述盒合并参数来确定所述包围盒对之间的模糊距离。
优选的，所述几何性质包括所述包围盒对的几何仿射性。
优选的，所述运动性质包括所述包围盒对之间的运动内聚性。
优选的，所述外观性质包括所述包围盒对之间的外观相似性。
优选的，所述模糊参数包括基于所述表征参数和隶属函数而确定的语言变量。
优选的，所述隶属函数包括高斯函数或S形函数。
优选的，确定所述盒合并参数包括：
确定所述几何、所述运动和所述外观性质，其分别包括与所述包围盒对关联的几何仿射性、运动内聚性和外观相似性；
确定与所述包围盒对关联的多个模糊参数，其中所述多个模糊参数中的每个对应于所述包围盒对的几何仿射性、运动内聚性和外观相似性中的一个；以及
基于决策规则来确定语言变量，所述决策规则基于所述多个模糊参数而制定。
优选的，使所述包围盒的子集合并基于凝聚聚类算法。
优选的，使所述包围盒的子集合并包括使包围盒对合并来生成使所述包围盒对封闭的合并包围盒。
优选的，所述方法进一步包括确定所述合并包围盒的面积，其中使所述包围盒对合并基于所述合并包围盒的确定面积。
优选的，所述感知表征基于所述包围盒对的几何、运动和外观性质中的至少一个。
提供一种系统，其包括：
基于处理器的设备，其配置成：
从摄像机接收视频流，所述频流包括具有至少一个移动对象的多个图像帧；
确定所述多个图像帧之中的至少两个图像帧之间的差来生成包括多个图像块的差分图像；
生成多个包围盒，每个包围盒环绕所述多个图像块之中的至少一个对应图像块；
基于所述包围盒的子集的感知表征使用模糊技术来确定所述多个包围盒之中的包围盒的子集，其与对应的移动对象关联；以及
使所述包围盒的子集合并来生成使所述包围盒的子集封闭的合并包围盒来检测所述移动对象。
优选的，所述基于处理器的设备配置成使用所述模糊技术，其包括：
基于所述包围盒对的几何、运动和外观性质中的至少一个来确定与所述多个包围盒之中的所述包围盒对关联的表征参数；
基于所述表征参数来确定与所述包围盒对关联的模糊参数；
基于所述模糊参数来确定与所述包围盒对关联的盒合并参数；以及
基于所述盒合并参数来确定所述包围盒对之间的模糊距离。
优选的，所述基于处理器的设备进一步配置成确定所述几何、所述运动和所述外观性质中的至少一个，其分别包括盒仿射性、运动内聚性和外观相似性。
优选的，所述基于处理器的设备进一步配置成确定所述模糊参数，其包括基于所述表征参数和隶属函数而确定的语言变量。
优选的，所述基于处理器的设备进一步配置成通过以下来确定所述盒合并参数：
确定所述几何、所述运动和所述外观性质，其分别包括与所述包围盒对关联的几何仿射性、运动内聚性和外观相似性；
确定与所述包围盒对关联的多个模糊参数，其中所述多个模糊参数中的每个对应于所述包围盒对的几何仿射性、运动内聚性和外观相似性中的一个；以及
基于决策规则来确定语言变量，所述决策规则基于所述多个模糊参数而制定。
优选的，所述基于处理器的设备配置成使所述包围盒的子集之中的包围盒对合并来生成使所述包围盒对封闭的合并包围盒。
优选的，所述基于处理器的设备配置成确定所述合并包围盒的面积，其中所述包围盒对基于所述合并包围盒的确定面积而合并。
优选的，所述基于处理器的设备配置成基于所述包围盒对的几何、运动和外观性质中的至少一个来确定所述表征参数。
提供一种用程序来编码的非暂时性计算机可读介质，所述程序指示基于处理器的设备：
接收视频流，其包括具有至少一个移动对象的多个图像帧；
确定所述多个图像帧之中的至少两个图像帧之间的差来生成差分图像，其包括对应于至少一个移动对象的多个图像块；
生成多个包围盒，每个包围盒环绕所述多个图像块之中的至少一个对应图像块；
基于所述包围盒的子集的感知表征使用模糊技术来确定所述多个包围盒之中的包围盒的子集，其与对应的移动对象关联；以及
使所述包围盒的子集合并来生成使所述包围盒的子集封闭的合并包围盒来检测移动对象。
附图说明
当下列详细描述参照附图（其中类似的符号在整个图中代表类似的部件）阅读时，本发明的实施例的这些和其他特征和方面将变得更好理解，其中：
图1是根据示范性实施例用于移动对象检测和跟踪的基于模糊逻辑的系统的示意图示；
图2是根据示范性实施例图示在从视频序列确定移动对象中牵涉的步骤的流程图；
图3a和3b图示具有移动对象的两个图像帧，图3c图示具有多个块的差分图像，并且图3d图示根据示范性实施例与使图像块封闭的多个包围盒叠加的图像帧；
图4图示根据示范性实施例的凝聚聚类算法的示例；
图5图示如在示范性实施例中限定的包围盒；
图6图示根据示范性实施例从较小的包围盒对生成的合并包围盒；
图7是根据示范性实施例图示在模糊技术中牵涉的步骤的流程图；
图8图示根据示范性实施例采用的模糊参数中使用的隶属函数；
图9a-9c图示与在克服过合并失效模式中的常规乘积融合比较的模糊技术的示范性实施例的性能；以及
图10a-10c图示与在克服欠合并失效模式中的常规乘积融合方法比较的模糊技术的示范性实施例的性能。
具体实施方式
本技术的实施例涉及用于使用模糊技术来检测视频流中的移动对象的系统和方法。确定视频流的至少两个图像帧之间的差来生成具有多个图像块的差分图像。如本文使用的，图像块指具有非零值（其示出来自相应图像帧的差）的像素或像素组。生成多个包围盒，每个包围盒环绕至少一个对应的图像块。牵涉模糊框架的聚类技术用于准确地对包围盒分组来形成独特的合并包围盒。该模糊框架采用与包围盒关联的模糊参数和与模糊参数关联的模糊规则来生成使包围盒的子集合并来检测移动对象的健壮决策。根据本技术的实施例的健壮且准确的移动对象检测使稍后的视觉处理的不必要计算时间减少并且使整体视觉分析性能增强。
图1是采用模糊系统来检测视频流中的移动对象的ISR（情报、监控和侦查）系统100的示意图示。在图示的实施例中，ISR系统100包括空中飞行器102，其使用机载摄像机116来捕获具有移动对象120、122的视场125内的场景的视频流。该空中飞行器102可以是无人驾驶飞行器（UAV）或载人军事侦察机。空中飞行器102在一个示例中具有与通信卫星104的通信链路。地面站包括多个通信天线106和107，其配置成分别从空中飞行器102和/或通信卫星104接收通信信号。天线106和107还可用于将信号从地面站传送到空中飞行器102或到通信卫星104。根据一个实施例，由空中飞行器102的摄像机116捕获的视频流信号被天线106接收。中央基站108协调空中飞行器102、通信卫星104与天线106、107之间的通信。中央站108可访问基于处理器的设备110来对ISR系统的控制和协调活动提供计算资源。基于处理器的设备110可以是通用处理器或控制器并且在一个实施例中是多处理器计算设备。基于处理器的设备110具有处理由天线106接收的视频流信号的能力。备选地，基于处理器的设备110可通信地耦合于视频处理器模块114。视频处理器114使用模糊技术来执行视频流对象的检测任务。
在一个示例中，基于处理器的设备110使用来自盘或来自存储器的软件指令来处理视频流信号。软件可以采用任何语言来编码，其包括但不限于，汇编语言、VHDL（Verilog硬件描述语言）、类似Fortran、Pascal、C、C++和Java的高级语言、ALGOL（算法语言）以及前述的至少一个的任何组合或派生物。视频流处理的结果被存储、传送用于进一步处理和/或在耦合于视频处理器114的显示器112上显示。
图2图示根据示范性实施例的流程图200，其图示在从视频序列确定移动对象中牵涉的技术。来自视频流的多个图像帧由如在202中示出的视频处理模块114接收。该多个图像帧包括要检测的至少一个移动对象。这些图像帧通常例如由用于噪声去除和图像稳定化204的技术来预处理。预处理取决于图像帧的质量和期望的应用。
计算多个图像帧之中至少两个图像帧之间的差来生成差分图像。该差分图像指两个图像帧之间的像素或像素组中的变化。差分图像从具有移动对象（其处于稍微不同的位置处）的连续图像帧生成。快速移动对象在差分图像中产生更多数量的非零像素并且这样的像素在相对更大的区域中散布。相似地，跨场景图像的对象遮挡可在差分图像中产生图像块。对应于至少一个移动对象的多个块从差分对象206检测。这些块代表基于某些特性而分组在一起的相应帧之中的不同的像素。
生成多个包围盒，其中每个包围盒环绕多个图像块之中的至少一个对应图像块。牵涉模糊框架的聚类技术用于使包围盒分组来形成独特的合并包围盒208，如在本文进一步详述的。
模糊聚类技术使用模糊框架中的凝聚聚类算法来检测移动对象210。在本文应该注意该凝聚聚类算法使用模糊技术而确定多个包围盒之中的包围盒的子集，其与对应的移动对象关联。该包围盒的子集合并来生成使包围盒的子集封闭的合并包围盒。使包围盒的子集封闭的合并包围盒用于确定视频流的移动对象。模糊技术基于包围盒的子集的感知表征。根据包围盒的子集的“几何”、“运动”和“外观”性质限定包围盒的子集的感知表征。模糊技术使用感知表征以根据使用适合的隶属函数而限定的模糊集来限定模糊参数。模糊决策规则基于多个模糊参数而制定来确定用于合并的包围盒的子集。本文论述的步骤参考后续图而更详细地论述。
图3a-3d图示视频流中的多个图像帧300的示例，该多个图像帧300具有用于生成多个包围盒的移动对象。在图3a-3b的图示实施例中，考虑视频流的两个图像帧302和304。图像帧302和304之间的两个块在图3c中示出的差分图像306中图示。这些块包括由移动对象、视差和噪声所贡献的多个帧差。由于移动对象而引起的块跨连续差分图像展现相似的样式。由于噪声和视差而引起的块可能未示出这样的相似样式。从差分图像306检测的多个图像块310被考虑用于进一步处理以便检测移动对象。在本文应该注意与视差和噪声关联的帧差图像典型地未与与移动对象关联的帧差区分开。在本文应该进一步注意，对应于移动对象、视差和噪声的块的处理使用在下文进一步详细论述的示范性算法来执行。块周围的区域代表没有差异的连续图像帧的像素。根据一个实施例，包围盒内的图像块的识别考虑除不同像素的仅接近位置以外的性质。例如，图像帧之间的差可包括紧密接近的独立移动对象并且像素根据例如颜色的特征而区分开。
在图3d中，使一个或多个图像块310封闭的多个包围盒314叠加在图像帧302上。在备选实施例中，包围盒314还可叠加在整个图像帧304或图像帧304的一部分（例如帧的一半）上。紧密接近的单个块或多个块310在每个包围盒314中被封闭。包围盒314的大小可根据块的数量和大小而变化。图像帧上的每个移动对象占据与差分图像中的块的子集的相同的面积。使图像块310封闭的包围盒314的子集通过采用聚类技术来生成使包围盒子集封闭的合并包围盒312而合并。在下文更详细地解释聚类技术。从而，移动对象从而在图像帧中被识别并且限定在包围盒内。
图4图示用于生成合并包围盒312的凝聚聚类算法。该凝聚聚类算法通过考虑图像帧350中的包围盒的初始集而发起。在处理的每个步骤处，确定包围盒的每对之间的相异性（由D指示）的度量。如先前指出的，来自图3a-3d的包围盒识别具有某些特性的像素组。“相异性”的度量可基于包围盒对的表征。包围盒对的表征可基于与包围盒对关联的至少一个性质而限定。例如，在一个实施例中，包围盒对的表征可基于包围盒对的几何性质，例如包围盒对的大小或接近性。在另一个实施例中，表征可基于视频流中包围盒对的运动性质，例如包围盒对移动的速度和内聚性。在再另一个实施例中，包围盒对的表征可基于包围盒对的内容的相似性，例如包围盒对的纹理、颜色或诸如此类。包围盒对的表征可基于确定性函数或模糊函数或两个函数的组合。在某些实施例中，可使用包围盒对的多个表征技术并且这样的表征可融合来对包围盒对表征。在本文应该注意本系统的表征技术能够借助于包围盒的优越聚类而捕获感知因子。在更特定的细节中，感知因子包括例如几何、运动和/或外观性质的特征。
在图示的实施例中，选择具有最少值D（指示为“Dmin”）的包围盒对。例如，在第一迭代中，识别它们之间具有最少距离的包围盒352和354。如果最小距离Dmin小于阈值τ，最接近的包围盒合并。例如，如在图像帧353中示出的，当它们之间的最小距离小于阈值时，包围盒352和354合并到单个合并包围盒356内。聚类的下一个迭代中包围盒的总数量比先前的迭代中的包围盒的数量要少一个。在图像帧355中示出的图示实施例中，包围盒358和360在聚类的第二迭代中合并到包围盒362内。相似地，包围盒364和366在第三迭代中合并到合并包围盒368内，如在图像帧357中描绘的。如在示例中示出的，在对于图像帧370的下一个迭代中包围盒之中的相异性的最小度量Dmin大于阈值τ并且因此聚类算法被终止。
图5图示根据本技术的示范性实施例的包围盒400。包围盒B限定为：
Figure 2013104441386100002DEST_PATH_IMAGE001
其中W是盒的宽度，H是盒的高度，点（x, y）是盒中心的坐标，（dx, dy, f）代表盒在XY平面中的运动性质，其中（dx, dy）代表具有运动置信度度量f的运动向量。T代表包围盒B内图像片的纹理。纹理称为像素样式并且提供表面强度中的变化的度量。包围盒的面积（指示为A）是盒宽度W与盒高度H的乘积。参数W、H、x、y与包围盒的几何性质有关。相似地，参数dx、dy和f与包围盒的运动性质有关。参数T与包围盒的外观性质有关。
图6图示包围盒对B1和B2的示范性合并操作（分别由502、504指示），其生成由506指示的合并包围盒Bm。合并包围盒Bm（由506指示）限定为：
其中Wm是宽度，Hm是高度，（xm, ym）是中心，（dxm, dym, fm）代表运动性质并且Tm是合并包围盒的纹理。包围盒Bm的参数可根据限定包围盒B1和B2的参数来限定。包围盒B1和B2指示为：
Figure DEST_PATH_IMAGE003
并且
其中，W1、W2代表包围盒的宽度，H1、H2代表包围盒的高度，（x1, y1）、（x2, y2）代表包围盒的中心点，（dx1, dy1, f1）、（dx2, dy2, f2）代表包围盒的运动性质并且T1、T2分别代表包围盒B1、B2的纹理。对应于合并包围盒Bm的极左508、右510、上512和下514坐标（其基于对应于包围盒B1和B2的参数）的坐标（由项xm、xr m、yt m、yb m指示）限定为：
Figure DEST_PATH_IMAGE005
利用上文的标记，合并包围盒的参数限定为，
Figure 238759DEST_PATH_IMAGE006
利用标记，
Figure DEST_PATH_IMAGE007
在这里，标记A1f和A2f分别是包围盒的面积的分数。可根据包围盒的共享性质方面表征包围盒对。例如，可根据包围盒对的几何、运动和外观性质表征包围盒对。这样的性质适合于对包围盒对表征因为这样的性质紧密地与关联图像的感知特性关联。
在技术的一个实施例中，可根据包围盒对的几何性质对包围盒对限定特性参数。可考虑的几何性质代表包围盒对B1和B2的几何仿射性并且限定为：
其中Am是使包围盒B1和B2封闭的合并包围盒Bm的面积。面积Am是合并盒宽度Wm与合并盒高度Hm的乘积。当包围盒对非常接近时，仿射性AF近似等于一。对于相隔太远的包围盒对，仿射性AF近似等于零。在另一个实施例中，特性参数可根据包围盒对的运动性质来限定。可考虑的运动性质代表包围盒对B1和B2的运动内聚性并且限定为：
Figure 2013104441386100002DEST_PATH_IMAGE009
其中V1=（dx1, dy1）并且V2=（dx2, dy2）分别是盒B1和B2的运动向量。当包围盒对B1和B2沿相同的方向移动时，运动内聚性值“MC”近似是正一（+1）。相似地，当包围盒对在相反方向上移动时，运动内聚性“MC”近似等于负一（-1）。在另一个实施例中，特性参数可根据包围盒的外观性质来限定。可考虑的外观性质代表包围盒对B1和B2的外观相似性并且限定为：
Figure 510658DEST_PATH_IMAGE010
其中盒B1具有纹理T1={ui}i=1至N并且盒B2具有纹理T2={vj}j=1至M，其中{ui}i=1至N和{vj}j=1至M指示N和M维纹理值。参数σ控制像素强度的相似性度量对包围盒B1和B2的外观相似性的贡献。经验值σ=10可在确定包围盒对的外观相似性中使用。当纹理T1和T2相似时，外观相似性“AS”近似等于一。当在纹理T1和T2之间没有相似性时，外观相似性“AS”近似等于零。
图7是流程图600，其根据本过程的示范性实施例图示模糊技术中牵涉的示范性步骤。处理开始于如在图2的206中提及的检测的多个图像块，并且视为生成包围盒集。该包围盒集用作对凝聚聚类算法的输入。在凝聚聚类算法的每个迭代中，包围盒集的每对604通过多个模糊参数来表征。该模糊参数可基于与对应包围盒对关联的性质有关的特性参数。
模糊参数是限定为语言变量集（称为“模糊集”）的模糊变量（备选地，语言变量）。语言变量基于与隶属函数关联的特性参数来限定。模糊变量的特定值可与多个模糊集关联。模糊变量的值的隶属程度基于隶属函数而确定。例如，盒仿射性模糊参数606限定为：
[低仿射性] 
Figure DEST_PATH_IMAGE011
[中等仿射性] 
Figure 395437DEST_PATH_IMAGE012
[高仿射性] 
Figure DEST_PATH_IMAGE013
其中分别由Cl AF、Cm AF和Ch AF指示的项[低仿射性]、[中等仿射性]和[高仿射性]是对应于盒仿射性模糊参数的模糊集的语言项，x=AF（B1, B2）表示对于B1和B2的盒仿射性，并且Γ(x; μ,σ )是具有均值“μ”和标准偏差“σ”的高斯隶属函数。隶属函数Γ用于使确定性变量模糊化为模糊变量。作为另一个示例，运动内聚性模糊参数608限定为：
[低内聚性] 
Figure 662470DEST_PATH_IMAGE014
[中等内聚性] 
Figure DEST_PATH_IMAGE015
[高内聚性] 
Figure 189267DEST_PATH_IMAGE016
其中x=MC（B1, B2）是对于包围盒B1和B2的运动内聚性。分别由Cl MC、Cm MC和Ch MC指示的项[低内聚性]、[中等内聚性]和[高内聚性]是基于运动内聚性限定的模糊参数的语言项。Γ(x; μ,σ )是具有均值“μ”和标准偏差“σ”的高斯隶属函数。作为再另一个示例，外观相似性模糊参数610限定为：
[相似性低] 
Figure DEST_PATH_IMAGE017
[相似性中等] 
Figure 858145DEST_PATH_IMAGE018
 
[相似性高] 
Figure DEST_PATH_IMAGE019
其中x=AS（B1, B2）是对于包围盒B1和B2的运动内聚性。分别由Cl AS、Cm AS和Ch AS指示的项[相似性低]、[相似性中等]和[相似性高]是相似性外观模糊参数的语言项。Γ(x; μ,σ )是具有均值“μ”和标准偏差“σ”的高斯隶属函数。参考图8进一步论述步骤612、614和210。
图8图示在根据实施例采用的模糊参数中使用的隶属函数。盒仿射性特性参数的值由X轴表示并且隶属程度由Y轴表示。曲线702、704和706代表几何仿射性模糊参数的隶属函数。曲线702代表语言项[低仿射性]的隶属函数。曲线704代表与语言项[中等仿射性]关联的隶属函数。曲线706代表与语言项[高仿射性]关联的隶属函数。
在本文概述由在图7中概述的凝聚聚类算法所采用的决策规则。决策规则612基于模糊参数中的至少一个而操作。决策规则接收至少一个输入变量并且生成至少一个决策变量。输入和输出变量在本质上可以是确定性或模糊的。模糊规则可接收输入语言变量中的至少一个并且生成输出，其也可是语言变量。根据本技术的实施例的模糊决策规则可接受一个或多个模糊参数，即，盒仿射性模糊参数、运动内聚性模糊参数和外观相似性模糊参数，来生成模糊决策。模糊决策变量（称为盒合并）基于输入模糊参数在下文给出的查找表中限定。
表-1
相似性低 低内聚性 中等内聚性 高内聚性
低仿射性 否 否 否
中等仿射性 否 否 否
高仿射性 否 可能 可能
相似性中等 低内聚性 中等内聚性 高内聚性
低仿射性 否 否 否
中等仿射性 否 否 可能
高仿射性 可能 可能 合并
相似性高 低内聚性 中等内聚性 高内聚性
低仿射性 否 否 否
中等仿射性 可能 可能 合并
高仿射性 可能 合并 合并
表-1的模糊规则考虑内聚性、仿射性和相似性度量来确定盒合并决策变量。这些度量中的每个取三个值中的一个－“低”、“中等”和“高”。作为示例，当要合并的包围盒之间的仿射性度量的值为“低”时，盒合并参数设置成“否”，其阻止包围盒的合并。在另一个示例中，当仿射性度量的值和内聚性度量的值为“高”时，盒合并参数设置成“合并”，其允许包围盒合并（假定相似性度量的值不为低）。采用相似的方式解释表的其他条目。模糊盒合并决策由以下限定的语言变量限定：
[否] C否 M
Figure 429939DEST_PATH_IMAGE020
[可能] C可能 M
[是] C是 M
Figure 246586DEST_PATH_IMAGE022
其中x=Merge(B1, B2)是基于包围盒对的几何仿射性、运动内聚性和外观相似性的盒合并决策。分别由C否 M、C可能 M和C是 M指示的项[否]、[可能]和[是]是基于盒合并决策而限定的模糊参数的语言项。Γ(x; μ,σ )是具有均值“μ”和标准偏差“σ”的高斯隶属函数。表-1的模糊规则基于直观逻辑。当包围盒对之间的仿射性为低时，盒不合并。除非运动内聚性和外观相似性两者都非常低，否则当盒仿射性为高时盒合并。
两个包围盒之间的距离的度量可基于输出语言变量而限定为：
假设包围盒集B=｛B1, B2,…, Bn｝具有n个包围盒。在这里，d(Bi, Bj)是距离度量，并且“Merge”从表-1的模糊决策规则得出。凝聚聚类算法确定包围盒的所有可能组合之间的距离d，并且在特定包围盒对之间的距离“d”小于阈值“τ”时选择要合并的特定包围盒对。当特定包围盒对之间的距离小于阈值“τ”时，如在614中确定的，发起凝聚聚类算法的另一个迭代。再次，识别具有最小距离度量Dmin的另一包围盒对并且将其合并到合并包围盒对内。当最小距离“Dmin”大于阈值“τ”时，终止凝聚聚类算法。在终止后，210中的剩余合并包围盒视为检测的移动对象。凝聚聚类法总结如下：
Figure 983598DEST_PATH_IMAGE024
Figure DEST_PATH_IMAGE025
代表由具有初始数量的包围盒（由指示）的多个包围盒“B”所表示的包围盒集。以等于集
Figure 999144DEST_PATH_IMAGE025
的包围盒的初始数量的最大数量的迭代而迭代地执行凝聚算法。距离D用于评估所有包围盒对Bj和Bk的相似性。具有最小距离度量Dmin的包围盒对合并，从而使集
Figure 240769DEST_PATH_IMAGE025
的维度减少一。如果特定包围盒对之间的最小距离大于预定阈值τ，则迭代终止。在迭代循环终止时剩余包围盒的数量是聚类算法的输出。
在本技术的一个实施例中，可在确定要合并的盒时考虑包围盒的大小。如果所得的合并包围盒在大小上相对较小，则包围盒对合并。备选地，如果所得的合并包围盒太大，则包围盒对不合并。基于合并包围盒大小的语言变量限定为:
[盒大] 
[盒正常] 
Figure 578210DEST_PATH_IMAGE028
[盒小] 
Figure DEST_PATH_IMAGE029
其中，x=SZ(B1, B2)=(A(Bm))1/2是合并包围盒Bm的面积的均方根。分别由Cl SZ、Cm SZ和Cs SZ指示的项[盒大]、[盒正常]和[盒小]是基于盒合并决策而限定的模糊参数的语言项。Z(x:a,c)是S形隶属函数1/(1+e-a(x-c))，并且Γ2(x; μ1,σ1, μ2,σ2)是高斯组合隶属函数，其的左边形状由高斯函数Γ(x; μ1,σ1)限定，并且其最右边的形状由高斯函数Γ2(x;μ2,σ2)限定。项“μ1”和“μ2”是均值并且σ1和σ2是对应的标准偏差。当合并包围盒大小“SZ”正常时，凝聚聚类算法与表-1的模糊规则一起使用。否则，考虑下面的两个规则连同在表-1中概述的规则，其识别包围盒对。
如果SZ是大的，不合并；
如果SZ是小的，并且如果AF不为低仿射性，同意合并。
在一些实施例中，基于模糊的凝聚算法的性能可与基于非模糊的技术比较。启发式乘积融合规则可在非模糊盒合并方法中使用。距离量度可限定为：
Figure 221681DEST_PATH_IMAGE030
其具有当SZ>25则d(Bi, Bj)=1的条件。在这里，AF、MC和AS代表包围盒Bi和Bj的几何仿射性、运动内聚性和外观相似性。SZ代表合并包围盒的大小。可关于盒合并算法的失效模式而将基于模糊的方法与非模糊方法的性能比较。大体上对于盒合并算法考虑两个失效模式。
1. 欠合并：移动对象被多个初始包围盒覆盖。算法未能将它们合并到一个合并包围盒内。
2. 过合并：具有两个或以上移动对象的初始包围盒合并到合并包围盒内。
对于聚类算法中的每个，对其的初始包围盒欠合并的移动对象的数量计数。相似地，对其的初始包围盒过合并的移动对象的数量计数。欠合并和过合并的失效相对于两个包围盒合并方法的移动对象的总数量的百分比在下表中总结：
表-2
% 欠合并 过合并 正确合并
乘积融合量度 44.8 16.7 38.5
模糊聚类量度 5.2 2.1 92.7
表-2的条目证实模糊聚类量度与乘积融合量度相比的优越性能。提出的本实施例的算法展现欠合并失效（从44.8%至5.2%）、过合并失效（16.7%至2.1%）中的明显减少。模糊聚类量度执行百分比增加的正确合并（从38.5%至92.7%）。
图9a-9c图示与常规乘积融合方法相比的模糊技术的示范性实施例的性能。用于两个方法的包围盒的初始集在图9a中示出。由具有启发式距离量度的盒合并的移动对象检测结果在图9b中示出。图示出在已经检测为单个包围盒806的场景中存在两个移动对象802和804。由模糊盒合并距离量度的移动对象检测结果在图9c中示出。在图9b中检测为单个包围盒的相同移动对象检测为两个包围盒808和810。在两个算法中使用的“τ”值是0.3。结果示出在克服过合并失效模式中模糊方法的优越性能。
图10a-10c图示与常规乘积融合方法比较的模糊技术的示范性实施例的性能。用于两个方法的包围盒的初始集在图10a中示出。由具有启发式距离量度的盒合并的移动对象检测结果在图10b中示出。图示出在已经检测为多个包围盒904的场景中存在一个移动对象902。由模糊盒合并距离量度的移动对象检测结果在图10c中示出。在图10b中检测为多个包围盒的移动对象902检测为单个包围盒906。在两个算法中使用的“τ”值是0.3。结果示出在克服欠合并失效模式中模糊方法的优越性能。
图9a-9c和图10a-10c的结果指示通过乘积融合的启发式距离量度不是用于区分属于相同移动对象与属于不同移动对象的盒的良好量度。可靠的移动包围盒检测无法使用启发式距离量度（不考虑距离阈值τ的调谐）来实现。结果进一步证实基于模糊逻辑的距离量度使属于相同移动对象的所有包围盒正确地合并到车辆包围盒内。基于模糊逻辑制定的盒合并方法与人类启发法整合，其无法采用有意义的方式而用明确的数学模型来限定。
根据本文论述的实施例，基于模糊的凝聚聚类算法识别在有噪环境中用于合并的适合的盒。数据中的不确定性通过提出的实施例而准确地建模。由帧差检测产生的包围盒可能噪声非常强。因此，确定自动学习最佳盒合并准则的机器学习策略，这不是简单的任务。由于数据技术中固有的不确定性，采用最佳方式的合并盒的过程是复杂的。本技术的实施例准确地对与数据和决策规则关联的不确定性建模。基于模糊逻辑的包围盒合并技术使移动对象检测性能增强。
要理解，不一定上文描述所有这样的目的或优势可根据任意特定实施例而实现。从而，例如本领域内技术人员将认识到，本文描述的系统和技术可采用实现或优化如本文教导的一个优势或一组优势的方式来实施或实行，而不必实现如可在本文中教导或启示的其他目的或优势。
尽管本发明仅连同有限数量的实施例详细描述，应该容易理解本发明不限于这样公开的实施例。相反，本发明可以修改以包含此前未描述的许多变化、改动、替代或等同布置，但其与本发明的精神和范围相当。另外，尽管描述了本发明的各种实施例，要理解本发明的方面可仅包括描述的实施例中的一些。因此，本发明不视为由前面的描述限制，而仅由附上的权利要求的范围限制。随附如由美国专利证书保护的新的且期望的权利要求。

Claims (10)

1. 一种使用基于处理器的设备而实现的方法，包括：
接收包括多个图像帧的视频流，所述多个图像帧具有至少一个移动对象；
确定所述多个图像帧之中的至少两个图像帧之间的差以及生成差分图像，其包括对应于所述至少一个移动对象的多个图像块；
生成多个包围盒，每个包围盒环绕所述多个图像块之中的至少一个对应的图像块；
基于包围盒的子集的感知表征使用模糊技术确定所述多个包围盒之中的包围盒的子集，其与对应的移动对象关联；以及
使包围盒的子集合并来生成使所述包围盒的子集封闭的合并包围盒来检测所述移动对象。
2. 如权利要求1所述的方法，其中，所述模糊技术包括：
基于包围盒对的几何、运动和外观性质中的至少一个来确定与所述多个包围盒之中的所述包围盒对关联的表征参数；
基于所述表征参数来确定与所述包围盒对关联的模糊参数；
基于所述模糊参数来确定与所述包围盒对关联的盒合并参数；以及
基于所述盒合并参数来确定所述包围盒对之间的模糊距离。
3. 如权利要求2所述的方法，其中，所述几何性质包括所述包围盒对的几何仿射性。
4. 如权利要求2所述的方法，其中，所述运动性质包括所述包围盒对之间的运动内聚性。
5. 如权利要求2所述的方法，其中，所述外观性质包括所述包围盒对之间的外观相似性。
6. 如权利要求2所述的方法，其中，所述模糊参数包括基于所述表征参数和隶属函数而确定的语言变量。
7. 如权利要求6所述的方法，其中，所述隶属函数包括高斯函数或S形函数。
8. 如权利要求2所述的方法，其中，确定所述盒合并参数包括：
确定所述几何、所述运动和所述外观性质，其分别包括与所述包围盒对关联的几何仿射性、运动内聚性和外观相似性；
确定与所述包围盒对关联的多个模糊参数，其中所述多个模糊参数中的每个对应于所述包围盒对的几何仿射性、运动内聚性和外观相似性中的一个；以及
基于决策规则来确定语言变量，所述决策规则基于所述多个模糊参数而制定。
9. 如权利要求1所述的方法，其中，使所述包围盒的子集合并基于凝聚聚类算法。
10. 如权利要求9所述的方法，其中，使所述包围盒的子集合并包括使包围盒对合并来生成使所述包围盒对封闭的合并包围盒。
CN201310444138.6A 2012-09-26 2013-09-26 用于检测和跟踪移动对象的系统和方法 Expired - Fee Related CN103679698B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/627629 2012-09-26
US13/627,629 US9465997B2 (en) 2012-09-26 2012-09-26 System and method for detection and tracking of moving objects

Publications (2)

Publication Number Publication Date
CN103679698A true CN103679698A (zh) 2014-03-26
CN103679698B CN103679698B (zh) 2018-05-22

Family

ID=49356186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310444138.6A Expired - Fee Related CN103679698B (zh) 2012-09-26 2013-09-26 用于检测和跟踪移动对象的系统和方法

Country Status (6)

Country Link
US (1) US9465997B2 (zh)
EP (1) EP2713310A3 (zh)
JP (1) JP6294615B2 (zh)
CN (1) CN103679698B (zh)
BR (1) BR102013024545A2 (zh)
CA (1) CA2827661A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111257592A (zh) * 2020-03-05 2020-06-09 广东零偏科技有限公司 一种用于检测装置的静态判别的方法
CN111332201A (zh) * 2014-04-09 2020-06-26 捷豹路虎有限公司 用于车辆的显示设备和方法以及包括该显示设备的车辆
CN112784670A (zh) * 2019-11-01 2021-05-11 希侬人工智能公司 基于像素差异的对象检测
CN113450459A (zh) * 2020-03-25 2021-09-28 北京四维图新科技股份有限公司 目标物的三维模型构建方法及装置
WO2024078106A1 (zh) * 2022-10-10 2024-04-18 深圳市Tcl云创科技有限公司 图像帧序列处理方法、装置、计算机设备以及存储介质

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9906838B2 (en) 2010-07-12 2018-02-27 Time Warner Cable Enterprises Llc Apparatus and methods for content delivery and message exchange across multiple content delivery networks
US9987743B2 (en) 2014-03-13 2018-06-05 Brain Corporation Trainable modular robotic apparatus and methods
US9533413B2 (en) 2014-03-13 2017-01-03 Brain Corporation Trainable modular robotic apparatus and methods
US20170244937A1 (en) * 2014-06-03 2017-08-24 Gopro, Inc. Apparatus and methods for aerial video acquisition
GB201416736D0 (en) * 2014-08-08 2014-11-05 Airbus Operations Ltd System and method for airside activity management using video analytics
CN106296725B (zh) * 2015-06-12 2021-10-19 富泰华工业（深圳）有限公司 运动目标实时检测与跟踪方法及目标检测装置
US9840003B2 (en) 2015-06-24 2017-12-12 Brain Corporation Apparatus and methods for safe navigation of robotic devices
US9760791B2 (en) * 2015-09-01 2017-09-12 Sony Corporation Method and system for object tracking
US11514244B2 (en) * 2015-11-11 2022-11-29 Adobe Inc. Structured knowledge modeling and extraction from images
US10255523B2 (en) 2015-11-16 2019-04-09 Orbital Insight, Inc. Moving vehicle detection and analysis using low resolution remote sensing imagery
EP3410415B1 (en) * 2016-01-28 2020-11-18 Ricoh Company, Ltd. Image processing device, imaging device, moving body device control system and image processing program
US20180047193A1 (en) * 2016-08-15 2018-02-15 Qualcomm Incorporated Adaptive bounding box merge method in blob analysis for video analytics
CN106469299B (zh) * 2016-08-31 2019-07-19 北京邮电大学 一种车辆搜索方法及装置
KR102645202B1 (ko) * 2017-01-03 2024-03-07 한국전자통신연구원 기계 학습 방법 및 장치
US20190130586A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Robust sleeping object detection in video analytics
US20190130191A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Bounding box smoothing for object tracking in a video analytics system
US10776983B2 (en) 2018-02-27 2020-09-15 Nvidia Corporation Analysis of point cloud data using depth and texture maps
US10909377B2 (en) * 2018-04-18 2021-02-02 Baidu Usa Llc Tracking objects with multiple cues
US10565728B2 (en) * 2018-06-01 2020-02-18 Tusimple, Inc. Smoothness constraint for camera pose estimation
US10650547B2 (en) 2018-07-26 2020-05-12 Microsoft Technology Licensing, Llc Blob detection using feature match scores
US20200065706A1 (en) * 2018-08-24 2020-02-27 Htc Corporation Method for verifying training data, training system, and computer program product
US10643667B2 (en) * 2018-09-11 2020-05-05 Avigilon Corporation Bounding box doubling as redaction boundary
JP7162983B2 (ja) 2018-12-13 2022-10-31 株式会社ディスコ 加工装置及び加工方法
CN112668377A (zh) * 2019-10-16 2021-04-16 清华大学 信息识别系统及其方法
US11227404B2 (en) * 2020-02-25 2022-01-18 Zebra Technologies Corporation Transporter segmentation for data capture system
US11734924B1 (en) * 2020-05-20 2023-08-22 Hrl Laboratories, Llc System and method for onboard, real-time mission analytics with anomaly detection and explanation
US11222215B1 (en) * 2020-07-13 2022-01-11 Toyota Motor Engineering & Manufacturing North America, Inc. Identifying a specific object in a two-dimensional image of objects
US11882366B2 (en) * 2021-02-26 2024-01-23 Hill-Rom Services, Inc. Patient monitoring system
EP4064116B1 (en) * 2021-03-23 2024-01-17 Aptiv Technologies Limited Method and a device for assigning a bounding box to an object

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110134245A1 (en) * 2009-12-07 2011-06-09 Irvine Sensors Corporation Compact intelligent surveillance system comprising intent recognition

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0293991A (ja) * 1988-09-30 1990-04-04 Omron Tateisi Electron Co データ処理装置
EP0631683B1 (en) 1992-03-20 2001-08-01 Commonwealth Scientific And Industrial Research Organisation An object monitoring system
WO1994017636A1 (en) 1993-01-29 1994-08-04 Bell Communications Research, Inc. Automatic tracking camera control system
EP0722149B1 (en) * 1995-01-13 2003-05-02 STMicroelectronics S.r.l. Hough transform with fuzzy gradient and fuzzy voting
JP3194419B2 (ja) * 1995-10-04 2001-07-30 ダイハツ工業株式会社 エンジン外付け部品の誤欠品検査方法
US6061088A (en) * 1998-01-20 2000-05-09 Ncr Corporation System and method for multi-resolution background adaptation
US6570608B1 (en) * 1998-09-30 2003-05-27 Texas Instruments Incorporated System and method for detecting interactions of people and vehicles
US6633232B2 (en) * 2001-05-14 2003-10-14 Koninklijke Philips Electronics N.V. Method and apparatus for routing persons through one or more destinations based on a least-cost criterion
US20040100563A1 (en) * 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
US7764808B2 (en) 2003-03-24 2010-07-27 Siemens Corporation System and method for vehicle detection and tracking
US7801330B2 (en) 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
US8233712B2 (en) 2006-07-28 2012-07-31 University Of New Brunswick Methods of segmenting a digital image
JP2008197848A (ja) * 2007-02-09 2008-08-28 Kakei Gakuen ファジィ制御装置、レーン走行支援装置、および操舵補助装置
US8542872B2 (en) * 2007-07-03 2013-09-24 Pivotal Vision, Llc Motion-validating remote monitoring system
US8576281B2 (en) * 2007-09-12 2013-11-05 Its-7 Pty Ltd Smart network camera system-on-a-chip
US7940961B2 (en) * 2007-12-20 2011-05-10 The United States Of America As Represented By The Secretary Of The Navy Method for enhancing ground-based detection of a moving object
EP2093699A1 (en) * 2008-02-19 2009-08-26 British Telecommunications Public Limited Company Movable object status determination
WO2010124062A1 (en) * 2009-04-22 2010-10-28 Cernium Corporation System and method for motion detection in a surveillance video
JP5290227B2 (ja) * 2010-03-30 2013-09-18 セコム株式会社 対象物検知装置及びその学習装置
JP2012141223A (ja) * 2010-12-29 2012-07-26 Yaskawa Information Systems Co Ltd 表面欠陥検出・指示システムおよび表面処理の伴う加工物の製造方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110134245A1 (en) * 2009-12-07 2011-06-09 Irvine Sensors Corporation Compact intelligent surveillance system comprising intent recognition

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JESUS GARCIA ET AL: "A Multitarget Tracking Video System Based on Fuzzy and Neuro-Fuzzy Techniques", 《EURASIP JOURNAL ON APPLIED SIGNAL PROCESSING 2005》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111332201A (zh) * 2014-04-09 2020-06-26 捷豹路虎有限公司 用于车辆的显示设备和方法以及包括该显示设备的车辆
US11597318B2 (en) 2014-04-09 2023-03-07 Jaguar Land Rover Limited Apparatus and method for displaying information
CN112784670A (zh) * 2019-11-01 2021-05-11 希侬人工智能公司 基于像素差异的对象检测
CN111257592A (zh) * 2020-03-05 2020-06-09 广东零偏科技有限公司 一种用于检测装置的静态判别的方法
CN111257592B (zh) * 2020-03-05 2022-04-12 广东零偏科技有限公司 一种用于检测装置的静态判别的方法
CN113450459A (zh) * 2020-03-25 2021-09-28 北京四维图新科技股份有限公司 目标物的三维模型构建方法及装置
CN113450459B (zh) * 2020-03-25 2024-03-22 北京四维图新科技股份有限公司 目标物的三维模型构建方法及装置
WO2024078106A1 (zh) * 2022-10-10 2024-04-18 深圳市Tcl云创科技有限公司 图像帧序列处理方法、装置、计算机设备以及存储介质

Also Published As

Publication number Publication date
JP2014067413A (ja) 2014-04-17
US20140085545A1 (en) 2014-03-27
BR102013024545A2 (pt) 2016-05-24
CA2827661A1 (en) 2014-03-26
US9465997B2 (en) 2016-10-11
EP2713310A2 (en) 2014-04-02
EP2713310A3 (en) 2015-04-29
JP6294615B2 (ja) 2018-03-14
CN103679698B (zh) 2018-05-22

Similar Documents

Publication Publication Date Title
CN103679698A (zh) 用于检测和跟踪移动对象的系统和方法
US10607089B2 (en) Re-identifying an object in a test image
EP3295424B1 (en) Systems and methods for reducing a plurality of bounding regions
CN108182413B (zh) 一种矿井移动目标检测与跟踪识别方法
CN103020992B (zh) 一种基于运动颜色关联的视频图像显著性检测方法
CN103514432A (zh) 人脸特征提取方法、设备和计算机程序产品
CN111598952B (zh) 一种多尺度合作靶标设计与在线检测识别方法及系统
CN104156937A (zh) 阴影检测方法和装置
CN103824070A (zh) 一种基于计算机视觉的快速行人检测方法
CN104077596A (zh) 一种无标志物跟踪注册方法
CN104298996A (zh) 一种应用于仿生机器鱼的水下主动视觉跟踪方法
CN103577832B (zh) 一种基于时空上下文的人流量统计方法
CN103761523A (zh) 一种机载遥感视频特定人造区域自动识别跟踪方法
Wang et al. Pedestrian detection based on YOLOv3 multimodal data fusion
Ückermann et al. Realtime 3D segmentation for human-robot interaction
KR101542206B1 (ko) 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법
CN117557784A (zh) 目标检测方法、装置、电子设备及存储介质
CN102063726A (zh) 一种运动目标分类方法和系统
Cigla et al. Image-based visual perception and representation for collision avoidance
Shan et al. Maritime target detection based on electronic image stabilization technology of shipborne camera
Kaimkhani et al. UAV with Vision to Recognise Vehicle Number Plates
Mtir et al. Aerial sequence registration for vehicle detection
Gubbi et al. Visual change detection using multiscale super pixel
Pandian et al. Military Aircraft Detection using Deep Learning
ZHANG et al. Prohibited item detection within X-ray security inspection images based on an improved cascade network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180522

Termination date: 20210926