CN111801706A - 视频对象检测 - Google Patents

视频对象检测 Download PDF

Info

Publication number
CN111801706A
CN111801706A CN201980016242.0A CN201980016242A CN111801706A CN 111801706 A CN111801706 A CN 111801706A CN 201980016242 A CN201980016242 A CN 201980016242A CN 111801706 A CN111801706 A CN 111801706A
Authority
CN
China
Prior art keywords
interest
point
points
video
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980016242.0A
Other languages
English (en)
Inventor
S·N·纳戈里
M·马修
K·德萨班
P·K·斯瓦米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Texas Instruments Inc
Original Assignee
Texas Instruments Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Texas Instruments Inc filed Critical Texas Instruments Inc
Publication of CN111801706A publication Critical patent/CN111801706A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

视频对象检测包括检测第一视频帧中的对象(302)，以及选择对象(302)的第一兴趣点(306B)和第二兴趣点(310B)。第一兴趣点(306B)在位于围绕对象(302)的框(300)的第一角(312)处的第一兴趣区域(304)中。第二兴趣点(310B)在位于框(300)的第二角(314)处的第二兴趣区域(308)中。第二角(314)与第一角(312)对角地相对。确定第一兴趣点(306B)的第一光流和第二兴趣点(310B)的第二光流。通过在第二视频帧中基于第一光流确定第一兴趣点(306B)的位置并且基于第二光流确定第二兴趣点(310B)的位置来估计对象(302)在第二视频帧中的位置。

Description

视频对象检测
背景技术
对象检测是计算机视觉中的重要问题。为了分析场景中的对象的行为和运动，视频处理系统应可靠地从视频数据中检测对象。检测对象涉及确定对象的位置和比例。各种分析应用程序基于确定场景中的对象的位置和比例。例如，对象检测是对象跟踪的必要先决条件，因为必须使用对象的位置和比例尺来初始化跟踪器。
高级驾驶员辅助系统(ADAS)和自动驾驶系统依靠对象检测来确定对象在车辆操作环境中的位置。ADAS的操作可以包括警告驾驶员检测到的对象或承担对车辆的控制以避开检测到的对象。
发明内容
一种视觉处理器包括对象检测电路和对象传播电路。对象检测电路被配置为检测第一视频帧中的对象。对象传播电路被配置为选择对象的第一兴趣点。第一兴趣点设置在位于围绕对象的框的第一角处的第一兴趣区域中。对象传播电路还被配置为选择对象的第二兴趣点。第二兴趣点设置在位于围绕对象的框的第二角处的第二兴趣区域中。第二角与第一角对角地相对。对象传播电路还被配置为确定第一兴趣点的第一光流(opticalflow)，并且确定第二兴趣点的第二光流。对象传播电路还被配置为通过基于第一光流确定第一兴趣点在第二视频帧中的位置并且基于第二光流确定第二兴趣点在第二视频帧中的位置，来估计对象在第二视频帧中的位置。
一种用于视频对象检测的方法包括检测第一视频帧中的对象。选择对象的第一兴趣点。第一兴趣点设置在位于围绕对象的框的第一角处的第一兴趣区域中。选择对象的第二兴趣点。第二兴趣点设置在位于围绕对象的框的第二角处的第二兴趣区域中。第二角与第一角对角地相对。确定第一兴趣点的第一光流。确定第二兴趣点的第二光流。通过基于第一光流确定第一兴趣点在第二视频帧中的位置并且基于第二光流确定第二兴趣点在第二视频帧中的位置，来估计对象在第二视频帧中的位置。
一种视频系统包括相机和视频处理器。相机被配置为捕获操作环境的图像。视频处理器耦合到相机，并且被配置为从相机接收视频帧，检测视频帧的第一视频帧中的对象。视频处理器还被配置为定义围绕对象的框，在框的第一角处定义第一兴趣区域，在第一区域中标识第一多个兴趣点，从第一多个兴趣点中选择第一兴趣点，并且确定第一兴趣点的第一光流。视频处理器还被配置为在框的第二角处定义第二兴趣区域，在第二区域中标识第二多个兴趣点，从第二多个兴趣点中选择第二兴趣点，并且确定第二兴趣点的第二光流。第二角与第一角对角地相对。视频处理器还被配置为通过基于第一光流确定第一兴趣点在第二视频帧中的位置并且基于第二光流确定第二兴趣点在第二视频帧中的位置，来估计对象在第二视频帧中的位置。
附图说明
图1示出了根据本说明书的用于处理视频图像的示例系统的框图。
图2示出了根据本说明书的用于对象检测的示例方法的流程图。
图3示出了根据本说明书的基于视频处理系统检测到的对象的光流进行兴趣点的选择。
图4A和图4B示出了根据本说明书的基于对由视频处理系统检测到的对象的极线(epipolar)检查进行的兴趣点的选择。
图5A和图5B示出了根据本说明书的通过光流传播的对象池。
图6A、图6B和图6C示出了根据本说明书的通过光流进行对象传播的条件。
图7A和图7B示出了根据本说明书的基于条件式非最大抑制对由光流传播的对象的抑制。
图8示出了根据本说明书的适于通过光流实现对象传播的示例片上系统的框图。
具体实施方式
在本说明书中，术语“耦合”或“耦接”是指间接或直接的有线或无线连接。因此，如果第一设备耦合到第二设备，则该连接可以是通过直接连接或通过经由其他设备和连接的间接连接。另外，在本说明书中，“基于”的表述是指“至少部分地基于”。因此，如果X基于Y，则X可以是Y和其他任何因素的函数。
深度学习的使用大大改善了视频中的对象的检测和识别。然而，实施深度学习所需的计算复杂性使得在实时处理视频的嵌入式设备上实施具有挑战性。基于深度学习的对象检测的实施(特别针对嵌入式设备中的对象检测(诸如单帧检测器(SSD))是有帮助的，但与大多数嵌入式设备相比，其仍需要明显更多的计算能力。
本文描述的视频处理装置和方法以明显较低的计算复杂度(例如80倍)提供类似于SSD的对象检测准确度。实施方式在与检测到的对象相关联的两个兴趣区域的每一个中选择兴趣点。兴趣区域位于界定对象的矩形的相对顶点处。确定每个兴趣点的光流，并且基于兴趣点的光流确定对象在后续视频帧中的位置。维持使用光流传播的检测到的对象的池。传播池中的小于选择年龄的所有检测到的对象。具有高于第一置信度阈值的检测置信度分数的检测到的对象被添加到池中。如果传播的对象与检测置信度分数低于第一阈值的对象重叠，则基于光流传播检测到的对象。
图1示出了根据本说明书的用于处理视频图像的示例视频处理系统100的框图。视频处理系统100包括一个或多个相机102和视频处理器104。相机102可以以适合于特定应用中的对象检测的帧速率和分辨率捕获可见光或红外图像。例如，视频处理系统100可以被应用在高级驾驶员辅助系统(ADAS)或自动驾驶系统中，以检测车辆的操作环境中的对象。在这样的应用中，相机102可以以每秒60帧、每秒30帧或其他合适的速率以0.5至8兆像素或更高的分辨率来操作。相机102可以经由移动工业处理器接口联盟指定的相机串行接口(例如，MIPI CSI-2)或适合于将视频数据传递到处理器的其他接口耦合到视频处理器104。
视频处理器104是指令执行设备，其适于基于从相机102接收的视频数据检测对象并执行其他操作。例如，在ADAS实施方式中，视频处理器104可以是由德州仪器有限公司生产的TDA2系列的片上系统(SoC)。视频处理器104可以包括任何数量和类型的子处理器。视频处理器104的各种实施方式可以包括一个或多个通用微处理器核，和/或一个或多个通用协处理器核，和/或一个或多个数字信号处理器核，和/或一个或多个硬件视频加速器核，以及一个或多个视觉引擎核，以操纵从相机102接收的视频数据并且控制相机102和视频处理系统100的其他部件(例如，视频显示器、汽车控制系统等)。视频处理器104的实施方式还可以包括存储器和接口，该存储器用于存储待处理的视频数据以及将由视频处理器104中包括的各种处理器核执行的指令，该接口用于访问存储器并且与视频处理器104外部的其他设备进行通信。
视频处理器104包括对象检测电路106和对象传播电路108。对象检测电路106和对象传播电路108可以由视频处理器104的一个或多个处理器核实施，该一个或多个处理器核执行存储在视频处理器104的存储器中的指令。对象检测电路106分析从相机102接收的视频帧，并且检测每个帧中的对象。为每个对象检测分配置信度值(即，检测置信度分数)，其表示检测到的对象存在于视频帧中的可能性。例如，在0.4到0.6范围内的检测置信度分数可以指示检测到的对象存在于视频帧中的良好置信度。对象检测电路106的示例可以实施SSD、更快的R-CNN(区域方案+卷积神经网络)或其他对象检测架构。
对象传播电路108估计先前视频帧中检测到的对象在当前视频帧中的位置。对象传播电路108分析先前视频帧中的对象的兴趣点的光流，并且通过将确定的光流应用于对象来将对象从先前视频帧传播到当前视频帧。对象传播电路108的实施方式通过将对象的传播位置与对象检测相关联来提供改善的对象检测，否则由于低检测置信度(例如，检测置信度分数在0.3至0.5的范围内)，对象检测将保持未被识别。因此，对象传播电路108检测视频帧中的否则可能未被检测到的对象的存在，并且与提供相似检测性能的其他算法相比，对象传播电路108以较低的计算复杂度提供了改善的检测。
图2示出了根据本说明书的用于对象检测的示例方法200的流程图。尽管为了方便起见顺序地描绘，但是所示的动作中的至少一些可以以不同的顺序执行和/或并行执行。此外，某些实施方式可以仅执行所示的某些动作。方法200的操作可以由视频处理器104和/或视频处理系统100的实施方式执行。
在框202中，相机102在视频帧中捕获视频处理系统100的操作环境的图像。对象检测电路106处理视频帧以检测对象。
在框204中，对于由对象检测电路106在视频帧中检测到的每个对象，对象传播电路108识别对象的两个兴趣区域中的兴趣点。图3示出了由对象检测电路106检测到的对象302。对象302由矩形300界定。对象传播电路108将矩形300的第一角312处的区域标识为第一兴趣区域304，并且将矩形300的第二角314处的区域标识为第二兴趣区域308。第一角312与第二角314对角地相对。在兴趣区域304和兴趣区域308内，对象传播电路108标识多个兴趣点。兴趣点可以由位于兴趣区域304中标识的边缘上或角处的点(例如，像素)来标识。例如，对象传播电路108可以将具有超过阈值的边缘或角分数的点标识为兴趣点。在兴趣区域304中，对象传播电路108标识兴趣点306A、兴趣点306B、兴趣点306C、兴趣点306D和兴趣点306E。在兴趣区域308中，对象传播电路108标识兴趣点310A、兴趣点310B、兴趣点310C、兴趣点310D和兴趣点310E。
在标识出兴趣区域中的多个兴趣点之后，对象传播电路108在每个兴趣区域中从多个兴趣点中选择一个兴趣点。为了在每个兴趣区域中选择单个兴趣点，对象传播电路108确定每个经识别的兴趣点的光流。表现出不良光流的兴趣点被排除在考虑之外。例如，具有将对象带出帧外、导致对象被遮挡等的光流的兴趣点可以被认为是不良光流。在兴趣区域304中，兴趣点306A被标识为具有不良光流，并且在兴趣区域308中，兴趣点310A被标识为具有不良光流。因此，兴趣点306A将不会被选择为兴趣区域304中的一个兴趣点，并且兴趣点310A将不会被选择为兴趣区域308中的一个兴趣点。
在框206中，因为除了对象302之外，矩形300还包含部分背景，所以对象传播电路108还确定每个兴趣点是对象302的一部分还是背景的一部分。将不是对象302的一部分的兴趣点排除在成为在兴趣区域中选择的一个兴趣点的考虑之外。图4A和图4B示出了设置在矩形400中的检测到的对象402。图4A示出了矩形400内包括的背景的各种部件，并且那些部件中的一些可以指示兴趣区域404或兴趣区域40内的边缘或角。对于兴趣区域404和兴趣区域408中的每个兴趣点，对象传播电路108使用由相机102在不同时间捕获的两个图像来执行极线检查。对象传播电路108计算对象402的基本矩阵。使用该基本矩阵，对象传播电路108计算极线。具有远离极线结束的光流的任何兴趣点被视为背景或不同对象的一部分并且被排除在选择成为在兴趣区域中的一个兴趣点的考虑之外。
在框208中，对于具有良好光流并且视为检测到的对象的点的兴趣点，对象传播电路108将与锚定点接近(即，具有最小距离)的兴趣点(即，最接近兴趣区域的角)选择为兴趣区域中的一个兴趣点。例如，在图3中，如果兴趣点306B、兴趣点306C、兴趣点306D和兴趣点306E具有良好光流并且通过了极线检查，则对象传播电路108将兴趣点306B选择为兴趣区域304中的一个兴趣点，因为兴趣点306B最靠近角312。类似地，如果兴趣点310B、兴趣点310C、兴趣点310D和兴趣点310E具有良好光流和通过了极线检查，则对象传播电路108将兴趣点310B选择为兴趣区域308中的一个兴趣点，因为兴趣点310B最靠近角314。在图4B中，对象传播电路108将兴趣点410选择为兴趣区域404中的一个兴趣点并且将兴趣点412选择为兴趣区域408中的一个兴趣点。
对象传播电路108基于光流来维持要传播的对象池。在框210中，将框202中标识的对象添加到池。如果由对象检测电路106分配给该对象的检测置信度分数指示该检测到的对象存在于视频帧中的良好置信度，则可以将标识的对象添加到池。例如，如果由对象检测电路106分配给对象的检测置信度分数超过置信度阈值(例如，阈值在0.4到0.6的范围内)，则可以将对象添加到500。图5A和图5B示出了根据本说明书的通过光流传播的对象池500。图5A示出了池500，其中池500包括对象502、对象504和对象506。池500可以存储在视频处理器104的存储器中。池500可以包括任何数量的对象。当检测到新对象时，将检测到的对象添加到池500。当将对象添加到池500时，将生命时间值分配给该对象。例如，当将对象添加到池时，可以为每个对象分配0.5秒、1秒等的生命时间。在生命时间到期时，可以将对象从池500中删除。在池500中的对象的生命时间期间，可以在每个新的视频帧中传播该对象(即，估计对象的位置)。
在框212中，存储在池500中的对象被传播。图5B示出了池500中的对象在后续视频帧中的传播。通过将光流应用于围绕对象的框的锚定点(即，兴趣区域的顶点)，应用在每个对象中标识的两个兴趣点的光流，以估计对象的位置。在图5B中，基于光流503A和光流503B，将对象502传播到位置512。基于光流505A和光流505B，将对象504传播到位置514。基于光流507A和光流507B，将对象506传播到位置516。
在对象检测电路106的实施方式中，如果视频处理器104在视频帧中检测到具有中等检测置信度分数的对象并且检测到的对象与传播的对象重叠，则可以传播池500中的对象。中等检测置信度分数指示比用于将对象添加到池500的良好检测置信度分数更低的置信度。例如，良好检测置信度分数可以为0.4或更高，而中等检测置信度分数可以至少为0.2并且低于0.4。
图6A、图6B和图6C示出了根据本说明书的基于与具有至少中等检测置信度分数的新检测到的对象的重叠进行的对象传播的示例。如果具有至少中等检测置信度分数的新检测到的对象与池500中的对象的估计位置重叠，并且交并比(IoU)超过重叠阈值，则将池500中的对象传播到估计位置。在图6A中，已经基于对象602的兴趣点的光流来估计对象602的位置。已经在当前帧中检测到检测置信度分数为0.3(中等检测置信度分数)的对象604，并且已经在当前帧中检测到检测置信度分数为0.4(中等或良好检测置信度分数)的对象606。然而，由于对象602与对象604或对象606中的任一个之间没有重叠，所以对象传播电路108将不在当前视频帧中传播对象602，并且可以从池500中删除对象602。
在图6B中，已经基于对象602的兴趣点的光流来估计对象602的位置。已经在当前帧中检测到检测置信度分数为0.3(中等检测置信度分数)的对象608，并且已经在当前帧中检测到检测置信度分数为0.4(中等或良好检测置信度分数)的对象610。对象602和对象610之间没有重叠，并且对象602和对象608的IoU小于重叠阈值。因此，对象传播电路108将不在当前视频帧中传播对象602，并且可以从池500中删除对象602。
在图6C中，已经基于对象602的兴趣点的光流来估计对象602的位置。已经在当前帧中检测到检测置信度分数为0.3(中等检测置信度分数)的对象612，并且已经在当前帧中检测到检测置信度分数为0.4(中等或良好检测置信度分数)的对象614。对象602与对象612和对象614都重叠。对象602和对象614的IoU小于重叠阈值，并且因此将不触发对象602的传播。对象602和对象612的IoU超过重叠阈值。基于对象602和612的重叠，对象传播电路108在当前视频帧中传播对象602，并且对象602保留在池500中。
在对象传播电路108的实施方式中，如果在当前视频帧中，池500中的对象被传播并且被对象检测电路106检测到，则基于光流的对象传播可以导致对同一对象的多次检测。对象传播电路108应用条件式非最大抑制(NMS)操作来避免这种多次检测。如果对象的两个实例的重叠度高于预定阈值(例如0.5)，则条件式NMS抑制该对象的两个实例中的较老者，而不考虑两个检测到的对象的检测置信度分数。在对象传播电路108中，基于光流传播的对象将总是比新检测到的对象老，并且将始终被抑制而支持新检测到的对象。
图7A和图7B示出了根据本说明书的基于条件式NMS对由光流传播的对象的抑制。在图7A中，传播的对象702具有0.6的检测置信度分数，并且新检测到的对象704的实例具有0.8的检测置信度分数。因为对象702比对象704老，所以对象传播电路108应用条件式NMS来抑制对象702，并且可以从池500中删除对象702。在这些条件下，条件式NMS产生与NMS相同的结果，该NMS依靠检测置信度分数来选择要抑制哪个对象实例。
在图7B中，传播的对象710具有0.8的检测置信度分数，并且新检测到的对象708的实例具有0.6的检测置信度分数。对象传播电路108应用条件式NMS来抑制对象710。虽然对象708的检测置信度分数低于对象710的检测置信度分数，但是对象710比对象708老，这导致对象传播电路108抑制对象710而支持对象708，并且可以从池500中删除对象710。在这些条件下，条件式NMS产生与NMS不同的结果，该NMS依靠检测置信度分数来选择要抑制哪个对象实例。
返回图2，在框214中，对象传播电路108从池500中移除生命时间已到期或与新检测到的对象的重叠没有达到至少预定IoU阈值量的对象。
图8示出了SoC 800的示例，其为处理器视频处理器104的实施方式。SoC800包括经由高速互连820耦合的一个或多个通用处理器(GPP)核802、一个或多个数字信号处理器(DSP)核806、一个或多个视觉处理器核812以及一个或多个处理加速器核804。处理加速器核804包括若干硬件加速器，这些硬件加速器被配置为对从相机102接收的传入图像执行各种处理操作。视觉处理器核812是针对计算机视觉处理(诸如，梯度计算、取向合并、直方图归一化等)进行了调谐的矢量处理器。此类计算机视觉处理可以使用处理加速器804的预处理输出。GPP核802托管操作系统并且提供对SoC 800的操作的总体控制，包括调度由804执行的预处理任务。DSP核806提供对计算机视觉处理(诸如对象检测和分类、对象传播等)的支持。
SoC 800还包括DMA控制器816、相机接口818、显示管理部件810、片上随机存取存储器(RAM)814(例如，计算机可读介质)以及各种输入/输出(I/O)外围设备822，全部这些经由高速互连820耦合到处理器核802、804、806和812。此外，针对汽车应用的SoC 800的一些实施方式包括安全部件824，该安全部件824包括与安全相关的功能以使得能够符合汽车安全要求。这样的功能可以包括对数据的CRC(循环冗余校验)、用于漂移检测的时钟比较器、错误信号、窗口式看门狗计时器以及用于损坏和故障的SoC 800的自测试的支持。
在权利要求的范围内，在所描述的实施例中可以进行修改，并且其他实施例也是可能的。

Claims (20)

1.一种视频处理器，包括：
对象检测电路，其被配置为检测第一视频帧中的对象；以及
对象传播电路，其被配置为：
选择所述对象的第一兴趣点，所述第一兴趣点设置在位于围绕所述对象的框的第一角处的第一兴趣区域中；
选择所述对象的第二兴趣点，所述第二兴趣点设置在位于围绕所述对象的所述框的第二角处的第二兴趣区域中，其中所述第二角与所述第一角对角地相对；
确定所述第一兴趣点的第一光流；
确定所述第二兴趣点的第二光流；并且
通过基于所述第一光流确定所述第一兴趣点在第二视频帧中的位置并且基于所述第二光流确定所述第二兴趣点在所述第二视频帧中的位置，估计所述对象在所述第二视频帧中的位置。
2.根据权利要求1所述的视频处理器，其中所述对象传播电路被配置为：
在所述第一兴趣区域中标识多个兴趣点；
确定每个所述兴趣点是否为所述对象的一部分；并且
选择所述兴趣点中的被确定为所述对象的一部分并且最接近所述第一角的一个兴趣点作为所述第一兴趣点。
3.根据权利要求1所述的视频处理器，其中所述对象传播电路被配置为：
在所述第一兴趣区域中标识多个兴趣点；
确定每个所述兴趣点的光流；并且
基于所述兴趣点的所述光流，选择所述兴趣点中的一个兴趣点作为所述第一兴趣点。
4.根据权利要求1所述的视频处理器，其中所述对象传播电路被配置为：
维持要传播的对象池；并且
向所述池中的每个对象分配生命时间值，在所述生命时间值期间，在每个视频帧中估计所述对象的位置。
5.根据权利要求4所述的视频处理器，其中所述对象传播电路被配置为基于分配给检测到的对象的检测置信度值超过第一阈值而将所述检测到的对象添加到所述池。
6.根据权利要求4所述的视频处理器，其中所述对象传播电路被配置为基于在给定视频帧中检测到的对象的估计位置处的所述检测到的对象与在所述给定视频帧中检测到的第二对象的重叠小于预定重叠阈值，而将所述检测到的对象从所述池中删除。
7.根据权利要求1所述的视频处理器，其中所述对象是第一对象，并且所述对象传播电路被配置为响应于在所述第二帧中检测到的对象与所述对象重叠至少预定量而在所述第二视频帧中的所述第一对象的估计位置处抑制所述第一对象；其中在所述第二视频帧中检测到的所述对象的检测置信度分数低于所述第一对象的检测置信度分数。
8.一种用于视频对象检测的方法，包括：
检测第一视频帧中的对象；
选择所述对象的第一兴趣点，所述第一兴趣点设置在位于围绕所述对象的框的第一角处的第一兴趣区域中；
选择所述对象的第二兴趣点，所述第二兴趣点设置在位于围绕所述对象的所述框的第二角处的第二兴趣区域中，其中所述第二角与所述第一角对角地相对；
确定所述第一兴趣点的第一光流；
确定所述第二兴趣点的第二光流；并且
通过基于所述第一光流确定所述第一兴趣点在第二视频帧中的位置并且基于所述第二光流确定所述第二兴趣点在所述第二视频帧中的位置，估计所述对象在所述第二视频帧中的位置。
9.根据权利要求8所述的方法，还包括：
在所述第一兴趣区域中标识多个兴趣点；
确定每个所述兴趣点是否为所述对象的一部分；并且
选择所述兴趣点中被确定为所述对象的一部分并且最接近所述第一角的一个兴趣点作为所述第一兴趣点。
10.根据权利要求8所述的方法，还包括：
在所述第一兴趣区域中标识多个兴趣点；
确定每个所述兴趣点的光流；并且
基于所述兴趣点的所述光流，选择所述兴趣点中的一个兴趣点作为所述第一兴趣点。
11.根据权利要求8所述的方法，还包括：维持要传播的对象池；并且向所述池中的每个对象分配生命时间值，在所述生命时间值期间，在每个视频帧中估计所述对象的位置。
12.根据权利要求11所述的方法，还包括：基于分配给检测到的对象的检测置信度值超过第一阈值而将所述检测到的对象添加到所述池。
13.根据权利要求11所述的方法，还包括：基于在给定视频帧中检测到的对象的估计位置处的所述检测到的对象与在所述给定视频帧中检测到的第二对象的重叠小于预定重叠阈值，而将所述检测到的对象从所述池中删除。
14.根据权利要求8所述的方法，其中所述对象是第一对象，并且所述方法还包括：响应于在所述第二帧中检测到的对象与所述对象重叠至少预定量而在所述第二视频帧中的所述第一对象的估计位置处抑制所述第一对象；其中在所述第二帧中检测到的所述对象的检测置信度分数低于所述第一对象的检测置信度分数。
15.一种视频系统，包括：
相机，其被配置为捕获操作环境的图像；
视频处理器，其耦合到所述相机，所述视频处理器被配置为：
从所述相机接收视频帧；
检测所述视频帧的第一视频帧中的对象；
定义围绕所述对象的框；
在所述框的第一角处定义第一兴趣区域；
在所述第一区域中标识第一多个兴趣点；
从所述第一多个兴趣点中选择第一兴趣点；
确定所述第一兴趣点的第一光流；
在所述框的第二角处定义第二兴趣区域，其中所述第二角与所述第一角对角地相对；
在所述第二区域中标识第二多个兴趣点；
从所述第二多个兴趣点中选择第二兴趣点；
确定所述第二兴趣点的第二光流；并且
通过基于所述第一光流确定所述第一兴趣点在第二视频帧中的位置并且基于所述第二光流确定所述第二兴趣点在所述第二视频帧中的位置，估计所述对象在所述第二视频帧中的位置。
16.根据权利要求15所述的视频系统，其中所述视频处理器被配置为：
通过执行极线检查确定所述第一多个兴趣点中的每个所述兴趣点是否为所述对象的一部分；并且
选择所述第一多个兴趣点中是所述对象的一部分并且最接近所述框的所述第一角的兴趣点作为所述第一兴趣点；
通过执行极线检查确定所述第二多个兴趣点中的每个所述兴趣点是否为所述对象的一部分；并且
选择所述第二多个兴趣点中是所述对象的一部分并且最接近所述框的所述第二角的兴趣点作为所述第二兴趣点。
17.根据权利要求15所述的视频系统，其中所述视频处理器被配置为：维持要传播的对象池；并且向所述池中的每个对象分配生命时间值，在所述生命时间值期间，在每个视频帧中估计所述对象的位置。
18.根据权利要求17所述的视频系统，其中所述视频处理器被配置为基于分配给检测到的对象的检测置信度值超过第一阈值而将所述检测到的对象添加到所述池。
19.根据权利要求17所述的视频系统，其中所述视频处理器被配置为基于在给定视频帧中检测到的对象的估计位置处的所述检测到的对象与在所述给定视频帧中检测到的第二对象的重叠小于预定重叠阈值，而将所述检测到的对象从所述池中删除。
20.根据权利要求15所述的视频系统，其中所述对象是第一对象，并且所述视频处理器被配置为响应于在所述第二帧中检测到的第二对象与所述第一对象重叠至少预定量而在所述第二视频帧中的所述第一对象的估计位置处抑制所述第一对象；其中在所述第二视频帧中检测到的所述对象的检测置信度分数低于所述第一对象的检测置信度分数。
CN201980016242.0A 2018-03-22 2019-03-21 视频对象检测 Pending CN111801706A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
IN201841010577 2018-03-22
IN201841010577 2018-03-22
US16/157,861 2018-10-11
US16/157,861 US10867393B2 (en) 2018-03-22 2018-10-11 Video object detection
PCT/US2019/023437 WO2019183398A1 (en) 2018-03-22 2019-03-21 Video object detection

Publications (1)

Publication Number Publication Date
CN111801706A true CN111801706A (zh) 2020-10-20

Family

ID=67985421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980016242.0A Pending CN111801706A (zh) 2018-03-22 2019-03-21 视频对象检测

Country Status (6)

Country Link
US (2) US10867393B2 (zh)
EP (1) EP3769286A4 (zh)
JP (1) JP7365055B2 (zh)
KR (1) KR20200135351A (zh)
CN (1) CN111801706A (zh)
WO (1) WO2019183398A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170044B (zh) * 2018-12-06 2023-10-24 索尼半导体解决方案公司 接收装置和发送装置
CN112711972A (zh) * 2019-10-26 2021-04-27 上海海思技术有限公司 一种目标检测方法及装置
US11301705B2 (en) * 2020-02-27 2022-04-12 Western Digital Technologies, Inc. Object detection using multiple neural network configurations
CN111899285B (zh) * 2020-07-08 2023-03-14 浙江大华技术股份有限公司 目标对象的跟踪轨迹的确定方法和装置、存储介质
CN111932590B (zh) * 2020-09-28 2021-03-16 创新奇智(广州)科技有限公司 对象跟踪方法、装置、电子设备及可读存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7616782B2 (en) * 2004-05-07 2009-11-10 Intelliview Technologies Inc. Mesh based frame processing and applications
US7801328B2 (en) 2005-03-31 2010-09-21 Honeywell International Inc. Methods for defining, detecting, analyzing, indexing and retrieving events using video image processing
US7602944B2 (en) 2005-04-06 2009-10-13 March Networks Corporation Method and system for counting moving objects in a digital video stream
US7633383B2 (en) 2006-08-16 2009-12-15 International Business Machines Corporation Systems and arrangements for providing situational awareness to an operator of a vehicle
US8116550B2 (en) * 2006-12-20 2012-02-14 Cytyc Corporation Method and system for locating and focusing on fiducial marks on specimen slides
US8340352B2 (en) * 2009-08-18 2012-12-25 Behavioral Recognition Systems, Inc. Inter-trajectory anomaly detection using adaptive voting experts in a video surveillance system
US8358691B1 (en) 2009-10-30 2013-01-22 Adobe Systems Incorporated Methods and apparatus for chatter reduction in video object segmentation using a variable bandwidth search region
US8527445B2 (en) * 2010-12-02 2013-09-03 Pukoa Scientific, Llc Apparatus, system, and method for object detection and identification
WO2013124923A1 (ja) * 2012-02-23 2013-08-29 パナソニック株式会社 興味区間特定装置、興味区間特定方法、興味区間特定プログラム
GB201306313D0 (en) * 2013-04-08 2013-05-22 Vision Semantics Ltd Queue analysis
AU2013273831B2 (en) * 2013-12-23 2016-02-25 Canon Kabushiki Kaisha A method for improving tracking using dynamic background compensation with centroid compensation
US9727786B2 (en) * 2014-11-14 2017-08-08 Intel Corporation Visual object tracking system with model validation and management
US9811732B2 (en) * 2015-03-12 2017-11-07 Qualcomm Incorporated Systems and methods for object tracking
US9390506B1 (en) * 2015-05-07 2016-07-12 Aricent Holdings Luxembourg S.A.R.L. Selective object filtering and tracking
US10586102B2 (en) * 2015-08-18 2020-03-10 Qualcomm Incorporated Systems and methods for object tracking
US9734587B2 (en) * 2015-09-30 2017-08-15 Apple Inc. Long term object tracker
US10282617B2 (en) * 2017-03-28 2019-05-07 Qualcomm Incorporated Methods and systems for performing sleeping object detection and tracking in video analytics
WO2018201444A1 (en) * 2017-05-05 2018-11-08 Boe Technology Group Co., Ltd. Method for detecting and tracking target object, target object tracking apparatus, and computer-program product
CN111133447B (zh) * 2018-02-18 2024-03-19 辉达公司 适于自主驾驶的对象检测和检测置信度的方法和系统
US10719712B2 (en) * 2018-02-26 2020-07-21 Canon Kabushiki Kaisha Classify actions in video segments using play state information
US20190304102A1 (en) * 2018-03-30 2019-10-03 Qualcomm Incorporated Memory efficient blob based object classification in video analytics

Also Published As

Publication number Publication date
EP3769286A1 (en) 2021-01-27
US10867393B2 (en) 2020-12-15
US20210056710A1 (en) 2021-02-25
US20190295262A1 (en) 2019-09-26
KR20200135351A (ko) 2020-12-02
WO2019183398A1 (en) 2019-09-26
EP3769286A4 (en) 2021-05-26
JP7365055B2 (ja) 2023-10-19
US11688078B2 (en) 2023-06-27
JP2021519970A (ja) 2021-08-12

Similar Documents

Publication Publication Date Title
US11210534B2 (en) Method for position detection, device, and storage medium
CN111801706A (zh) 视频对象检测
CN108960163B (zh) 手势识别方法、装置、设备和存储介质
US20160042223A1 (en) Method and apparatus for facial recognition
KR102399017B1 (ko) 이미지 생성 방법 및 장치
CN110587597B (zh) 一种基于激光雷达的slam闭环检测方法及检测系统
EP3319010A1 (en) Face recognition system and face recognition method
CN110263713B (zh) 车道线检测方法、装置、电子设备及存储介质
KR102476022B1 (ko) 얼굴검출 방법 및 그 장치
US10347100B2 (en) Information processing system, method and computer readable medium for determining whether moving bodies appearing in first and second videos are the same or not
US10496874B2 (en) Facial detection device, facial detection system provided with same, and facial detection method
CN109145752B (zh) 用于评估对象检测和跟踪算法的方法、装置、设备和介质
CN113420682A (zh) 车路协同中目标检测方法、装置和路侧设备
KR20160086605A (ko) 객체 인식 방법 및 장치
CN113392794B (zh) 车辆跨线识别方法、装置、电子设备和存储介质
US20160110840A1 (en) Image processing method, image processing device, and robot system
CN110738078A (zh) 一种人脸识别方法及终端设备
CN110390295B (zh) 一种图像信息识别方法、装置及存储介质
US10068335B2 (en) Moving-object counter apparatus, moving-object counting method, and non-transitory computer readable medium
JP2007510994A (ja) ビデオ画像内でのオブジェクトトラッキング
JP7279892B2 (ja) 顔向き検出装置、顔向き検出方法、及びプログラム
KR101519966B1 (ko) 기준판 기반의 비전 인식 방법 및 시스템
CN113762027A (zh) 一种异常行为的识别方法、装置、设备及存储介质
WO2014030442A1 (ja) 入力装置、入力方法、プログラム、及び、電子看板
US11941870B1 (en) System for action recognition error detection and correction using probabilistic signal temporal logic

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination