CN105628951B - 用于测量对象的速度的方法和装置 - Google Patents

用于测量对象的速度的方法和装置 Download PDF

Info

Publication number
CN105628951B
CN105628951B CN201511032318.9A CN201511032318A CN105628951B CN 105628951 B CN105628951 B CN 105628951B CN 201511032318 A CN201511032318 A CN 201511032318A CN 105628951 B CN105628951 B CN 105628951B
Authority
CN
China
Prior art keywords
information
frame image
speed
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511032318.9A
Other languages
English (en)
Other versions
CN105628951A (zh
Inventor
俞刚
李超
何奇正
陈牧歌
彭雨翔
印奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Maigewei Technology Co Ltd filed Critical Beijing Maigewei Technology Co Ltd
Priority to CN201511032318.9A priority Critical patent/CN105628951B/zh
Publication of CN105628951A publication Critical patent/CN105628951A/zh
Priority to US15/391,449 priority patent/US10289918B2/en
Application granted granted Critical
Publication of CN105628951B publication Critical patent/CN105628951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G08G1/054—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles

Abstract

一种用于测量对象的速度的方法和装置，所述方法包括：对于图像序列中的至少两帧图像中的每一帧图像，获取该帧图像的图像信息，所述图像信息包括深度信息；基于所述深度信息检测该帧图像中的对象，以获得对象检测结果；基于所述至少两帧图像各自的对象检测结果进行对象跟踪，以获得对象跟踪结果；以及基于所述对象跟踪结果、以及所述至少两帧图像之间的时间差，计算所检测的至少一个对象的速度。

Description

用于测量对象的速度的方法和装置
技术领域
本发明涉及图像处理的领域，更具体地，本发明涉及一种用于测量对象的速度的方法和装置。
背景技术
如何高效而精确地测量对象的速度一直是监控领域的热点之一。以对象为车辆的情况为例，监控车辆的行驶速度对于避免城市道路拥堵和合理规划出行线路有着非常重要的意义。
目前，在一种方法中，通过车载GPS(Global Positioning System，全球定位系统)来监控车辆的行驶速度。然而，在这种方法中，需要在所监控的车辆上安装额外的GPS装置。当GPS装置出现故障或者由于诸如隧道等的原因而导致无法与卫星通信时，这种方法的精度会受严重的影响。
发明内容
有鉴于上述情况，本发明提供了一种用于测量对象的速度的方法和装置，其能够高效而准确地测量场景中的对象的速度，且无需在被监控的对象上安装额外的装置，从而便利对所述场景中的对象进行全面及时地监控。
根据本发明一实施例，提供了一种用于测量对象的速度的方法，包括：对于图像序列中的至少两帧图像中的每一帧图像，获取该帧图像的图像信息，所述图像信息包括深度信息；基于所述深度信息检测该帧图像中的对象，以获得对象检测结果；基于所述至少两帧图像各自的对象检测结果进行对象跟踪，以获得对象跟踪结果；以及基于所述对象跟踪结果、以及所述至少两帧图像之间的时间差，计算所检测的至少一个对象的速度。
根据本发明另一实施例，提供了一种用于测量对象的速度的装置，包括：第一获取单元，对于图像序列中的至少两帧图像中的每一帧图像，获取该帧图像的图像信息，所述图像信息包括深度信息；检测单元，基于所述深度信息检测该帧图像中的对象，以获得对象检测结果；跟踪单元，基于所述至少两帧图像各自的对象检测结果进行对象跟踪，以获得对象跟踪结果；以及计算单元，基于所述对象跟踪结果、以及所述至少两帧图像之间的时间差，计算所检测的至少一个对象的速度。
根据本发明另一实施例，提供了一种用于测量对象的速度的装置，包括：处理器；存储器；和存储在所述存储器中的计算机程序指令，在所述计算机程序指令被所述处理器运行时执行以下步骤：对于图像序列中的至少两帧图像中的每一帧图像，获取该帧图像的图像信息，所述图像信息包括深度信息；基于所述深度信息检测该帧图像中的对象，以获得对象检测结果；基于所述至少两帧图像各自的对象检测结果进行对象跟踪，以获得对象跟踪结果；以及基于所述对象跟踪结果、以及所述至少两帧图像之间的时间差，计算所检测的至少一个对象的速度。
根据本发明另一实施例，提供了一种计算机程序产品，包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令在被计算机运行时执行以下步骤：对于图像序列中的至少两帧图像中的每一帧图像，获取该帧图像的图像信息，所述图像信息包括深度信息；基于所述深度信息检测该帧图像中的对象，以获得对象检测结果；基于所述至少两帧图像各自的对象检测结果进行对象跟踪，以获得对象跟踪结果；以及基于所述对象跟踪结果、以及所述至少两帧图像之间的时间差，计算所检测的至少一个对象的速度。
在本发明实施例的用于测量对象的速度的方法和装置中，基于各帧图像的深度信息检测对象，进而跟踪对象并检测对象的速度，由此，能够高效而准确地检测场景中的对象的速度，且无需在被监控的对象上安装额外的装置，从而便利对所述场景中的对象进行全面及时地监控。
此外，在本发明实施例的用于测量对象的速度的方法和装置中，不仅能够高效而准确地测量场景中的对象的速度，还能够利用所述速度进行诸如非常速预警、拥挤程度预测等各种处理，进一步便利对所述场景中的对象进行全面及时地监控。
附图说明
图1是图示根据本发明实施例的用于测量对象的速度的方法的主要步骤的流程图；
图2A-2C是示出应用本发明实施例的方法的三帧图像的对象检测结果的示意图；
图3A和图3B是示出了对于图2的场景通过基于网络流的方法进行对象跟踪的过程的示意图；
图4是示出根据本发明实施例的用于测量对象的速度的装置的主要配置的框图；以及
图5是图示根据本发明另一实施例的用于测量对象速度的装置的框图。
具体实施方式
以下将参考附图详细描述本发明实施例。
首先，参照图1描述根据本发明实施例的用于测量对象的速度的方法。
图1是示出根据本发明实施例的用于测量对象的速度的方法的主要步骤的流程图。本发明实施例的方法用于对场景中的对象进行监控。以下，将以对象为车辆的情况为例进行描述。当然，本领域技术人员能够理解，本发明实施例的方法不限于此，而是可以应用于其他各种类型的对象。
所述场景中布置了一个或多个摄像头，用于拍摄所述场景中存在的对象的图像。所述摄像头为深度摄像头，从而能够采集图像中的对象的深度信息。在第一示例中，所述摄像头通过双目摄像头实现。在第二示例中，所述摄像头通过TOF(Time of Flight，飞行时间)摄像头实现。当然，本领域技术人员能够理解，以上所述仅为示例。本发明实施例的方法可以用除此以外的各种摄像头实现，只要其能够采集所述深度信息。
此外，可选地，作为准备工作，可以对所布置的摄像头进行配准处理，以得到从图像深度空间到三维空间(示例性地，以摄像头为中心的摄像头坐标系统)的变换关系。
由此，可以将所述摄像头所拍摄的视频流(即，下文所述的图像序列)通过网络传输到远程服务器，并在所述远程服务器处应用根据本发明实施例的方法。替代地，也可以将所述摄像头与本地的处理器相连接，并在所述处理器处应用根据本发明实施例的方法。
如图1所示，首先，在步骤S110，对于图像序列中的至少两帧图像中的每一帧图像，获取该帧图像的图像信息。
具体地，本发明实施例的方法可以应用于图像序列中的至少两帧图像。当然，为了提高后续对象检测和跟踪的精度，本发明实施例的方法可以应用于所述图像序列中的每一帧图像。
更具体地，在第一实施例中，所述图像信息包括如上所述的深度信息，其可以通过诸如上述的深度摄像头而获取。
此后，在步骤S120，基于所述深度信息检测该帧图像中的对象，以获得对象检测结果。
具体地，在第一示例中，可以基于所述深度信息对该帧图像进行诸如边缘检测等的处理，以检测该帧图像中的对象。所述边缘检测的具体处理为本领域技术人员所知，在此不再详述。
在第二示例中，可以基于所述深度信息，通过分类器来检测该帧图像中的对象。所述分类器包括但不限于支持向量机、神经网络等。
具体地，以神经网络为例，首先，可以将所述深度信息输入CNN(ConvolutionalNeural Network，卷积神经网络)，以提取卷积神经网络特征。具体地，例如，CNN可以包括卷积层、pool层、非线性激活层(relu)、全连接层、softmax层等。此外，CNN还可以可选地连接损耗函数(loss function)。由此，可以通过CNN的学习而提取出卷积神经网络特征。
接下来，可以将所提取的卷积神经网络特征输入训练后的RNN(Recurrent NeuralNetwork，反馈神经网络)，以得到该帧图像中对象所处的位置以及所述位置处存在所述对象的置信度，作为所述对象检测结果。具体地，在一示例中，将所述对象抽象为点，则所述对象所处的位置可通过所述对象的预定参照点(例如，左上角点，中心点等)的坐标信息表示。在另一示例中，所述对象所处的位置例如可通过所述预定参照点的坐标信息以及所述对象在图像中的宽度和高度信息来表示。更具体地，首先，可以获取该帧图像之前的任一帧图像(例如，紧挨该帧图像的前一帧图像)的对象检测结果。然后，可以将所提取的卷积神经网络特征和该帧图像之前的任一帧图像的对象检测结果输入RNN，并通过RNN得到该帧图像中对象所处的位置以及所述位置处存在所述对象的置信度，作为所述对象检测结果。
例如，通过RNN，在每一次检测过程中输出一个对象的位置以及在此位置处存在所述对象的置信度。此外，可选地，还可设置每一帧图像中能够检测到的对象的上限。由此，判断是否达到结束条件。当没有达到结束条件时，进行下一次检测过程。当达到结束条件时，输出该帧图像中对象所处的位置以及所述位置处存在所述对象的置信度，作为所述对象检测结果。
示例性地，所述结束条件可以是所检测到的对象的数量达到预先设置的能够检测到的对象的上限。替代地，可以将每一次检测过程的结果按照置信度的大小以例如降序的预定顺序排列。由此，所述结束条件可以是当前输出的置信度小于预先设置的阈值。当然，以上所述的结束条件仅为示例。本领域技术人员可以在此基础之上设计其他各种结束条件。
此外，关于所述RNN网络的训练，例如，可以首先确定RNN的网络结构，例如VGG网络。接下来，可选地，可以基于诸如KITTI等的预设的训练数据集对所述网络结构进行精细调整。此外，可选地，还可以对所述网络结构添加损耗函数。所述损耗函数例如可以基于欧氏距离等等。由此，将精细调整和/或添加损耗函数的网络结构输入RNN而进行对象检测。
此外，本领域技术人员能够理解，在得到该帧图像中对象所处的位置以及所述位置处存在所述对象的置信度之后，可选地，为了提高对象检测的精度，还可以增加诸如约束框回归(bounding box regression)处理的后处理，以进一步优化处理结果，并输出优化之后的处理结果作为所述对象检测结果。
以上，以CNN和RNN相结合的神经网络为例，描述了对象检测的具体操作。当然，以上所述的情况仅为示例。本领域技术人员能够在此基础之上基于其他各种结构的神经网络来检测对象，其都在本发明的范围内。
此外，在上述第一实施例中，以基于深度信息检测对象的方式为例进行了描述。替代地，在第二实施例中，本发明实施例的方法还可结合深度信息以及其他图像信息来检测对象。
具体地，所述图像信息还可包括颜色信息。例如，在RGB色彩空间的情况下，可以获取该帧图像的RGB信息作为所述颜色信息。又例如，在HSV色彩空间的情况下，可以获取该帧图像的HSV信息作为所述颜色信息。当然，以上所述仅为示例。取决于所采用的色彩空间不同，本发明实施例的方法可以获取各种相应的颜色信息。此外，替代地，在通过红外成像的情况下，所述图像信息还可包括红外信息。
由此，在步骤S120，可以基于所述颜色信息和所述红外信息之一、以及所述深度信息，检测该帧图像中的对象，以获得对象检测结果。具体地，本发明实施例的方法同样可通过诸如边缘检测、分类器等的各种方式，基于所述颜色信息和所述红外信息之一、以及所述深度信息来检测对象，其处理与上述类似，在此不再重复。
需要指出的是，以上以颜色信息和红外信息为例而进行了描述。本领域技术人员能够理解，取决于成像方式不同以及所采用的对象检测方式不同，还可以通过将深度信息与除此以外的各种图像信息相结合来检测对象。
在此第二实施例中，由于考虑了除深度信息以外的其他方面的图像信息，因此进一步提高了对象检测的精度。
在上述的第一和第二实施例中，基于该帧图像自身的图像信息(包括深度信息)而进行对象检测。替代地，在第三实施例中，可以基于该帧图像自身的深度信息以及至少两帧图像之间的图像间信息而进行对象检测。
具体地，在此实施例中，还可进一步获取所述图像序列中该帧图像之前的至少任意两帧图像之间的光流(optical flow)信息，作为所述图像间信息。
更具体地，所述光流信息可以反映所述至少两帧图像之间基于像素的运动偏移量。可以通过本领域已知和未来发展的各种光流计算的算法，从该帧图像之前的至少任意两帧图像计算所述光流信息。当然，本领域技术人员能够理解，取决于所使用的光流计算的算法不同，该帧图像之前的所述至少任意两帧图像可以包含该帧图像自身。而且，可以通过该帧图像之前的多于两帧的图像来获取光流信息。
由此，在步骤S120，可以基于所述深度信息和所述光流信息，检测该帧图像中的对象，以获得对象检测结果。具体地，本发明实施例的方法同样可通过诸如边缘检测、分类器等的各种方式，基于所述深度信息和所述光流信息来检测对象，其处理与上述类似，在此不再重复。
需要指出的是，以上以光流信息为例而进行了描述。本领域技术人员能够理解，取决于所采用的对象检测方式不同，还可以通过将深度信息与除此以外的各种图像间信息相结合来检测对象。
在此第三实施例中，由于除深度信息之外还考虑了至少两帧图像之间的图像间信息，因此进一步提高了对象检测的精度。
本领域技术人员能够理解，如上所述的各种实施例可以适当地组合、子组合、修改和替换。例如，可以基于该帧图像的颜色信息和红外信息之一、深度信息、以及该帧图像之前的至少任意两帧图像之间的图像间信息，检测该帧图像中的对象；等等。
在获得了至少两帧图像各自的对象检测结果之后，所述方法进行到步骤S130。在步骤S130，基于所述至少两帧图像各自的对象检测结果进行对象跟踪，以获得对象跟踪结果。
具体地，作为一示例，可以采用基于网络流的方法来进行对象跟踪。
下面，将结合图2和图3的示意图描述基于网络流的方法进行对象跟踪的具体处理。
图2A-2C是示出应用本发明实施例的方法的三帧图像的对象检测结果的示意图。具体地，图2A-图2C分别图示了图像序列中按时间顺序排列的三帧图像的对象检测结果，其中，以同样线型标记的对象代表实际上的同一对象。在第一帧图像中，检测出了三个对象，分别标记为1、2和3。在第二帧图像中，由于对象之间的互相遮挡，只检测出了两个对象，分别标记为4和5。在第三帧图像中，原本在第二帧中被遮挡的对象不再被遮挡，从而重新检测出三个对象，分别标记为6、7和8。在步骤S130的处理中，需要将各帧的检测结果相匹配，从而跟踪图像序列中同一对象的运动。
图3A和图3B中示意性示出了对于图2的场景通过基于网络流的方法进行对象跟踪的过程。
首先，基于所述至少两帧图像各自的对象检测结果，建立由节点和连接两个节点的边所组成的网络图模型。所述节点表示每一帧图像中检测的对象。具体地，图2A-图2C所对应的网络图模型例如如图3A所示，其中的标记1-8分别对应于图2A-图2C的三帧图像中所检测出的每个对象。每两个对象之间都有边相连接。
接下来，获取所述对象的颜色信息、纹理信息和位置信息中的至少一个，并基于所述对象的颜色信息、纹理信息和位置信息中的所述至少一个，计算每一条边的权重。
示例性地，可通过如下表达式(1)计算每一条边的权重：
E_ij＝||c(i)-c(j)||+a||t(i)-t(j)||+b||p(i)-p(j)|| (1)
其中，i和j表示图模型中的任意两个节点，E_ij表示点i与点j之间的边的权重，c(i)和c(j)分别表示点i与点j的颜色信息，t(i)和t(j)分别表示点i与点j的纹理信息，p(i)和p(j)分别表示点i与点j的空间位置信息，a和b分别为整合参数，可以由本领域技术人员根据需要任意地设置。
通过如上所述的计算，可以得到每一条边的权重，其表示相应的边连接的两个节点所对应的两个对象为同一对象的概率。
由此，基于所述网络图模型和所述权重，获得所述对象跟踪结果。
具体地，如图3A和图3B中所示，权重越大的边越粗，权重越小的边越细。由此，在图中寻找从第一帧图像到第三帧图像之间最大网络流的路径，从而得到一个对象的跟踪结果。在得到该对象的跟踪结果之后，去除此对象的路径。在剩余的路径中继续寻找最大网络流的路径，以此类推。最终得到如图3B所示的对象跟踪结果。
当然，本领域技术人员能够理解，以上所述的基于网络流的算法仅为示例。本领域技术人员可以根据本领域已知的和未来开发的各种算法，来对各帧对象检测结果进行匹配，从而获得对象跟踪结果。示例性地，例如，可以采用基于二分图匹配的算法、基于卡尔曼滤波器的算法等等来进行对象跟踪。
在获得对象跟踪结果之后，所述方法进行到步骤S140。在步骤S140，基于所述对象跟踪结果、以及所述至少两帧图像之间的时间差，计算所检测的至少一个对象的速度。
具体地，首先，可以基于所述至少一个对象的跟踪结果，计算所述至少一个对象在所述至少两帧图像之间的位置偏移量。例如，通过所述至少一个对象的跟踪结果，分别确定了所述对象在所述至少两帧图像中的位置。由此，通过所述对象的深度信息，可以计算所述至少一个对象在所述至少两帧图像之间的欧氏距离作为所述位置偏移量。在一个实施例中，对于所述至少两帧图像的每一帧图像，通过所述对象的深度信息以及在该帧图像中的二维坐标信息(例如，所述对象的诸如中心的预定参照点的深度信息以及二维坐标信息)，基于如上所述的从图像深度空间到三维空间的变换关系，可以获得所述对象在三维空间中的三维坐标信息，也就是，预定三维坐标系统(例如，以摄像头为中心的摄像头坐标系统)中的坐标信息。由此，基于所述对象在两帧图像之间的三维坐标信息计算三维空间中的所述欧氏距离，作为所述位置偏移量。在下文中将结合表达式(2)对速度的计算进行具体描述。在另一实施例中，对于所述至少两帧图像的每一帧图像，通过所述对象的所述二维坐标信息计算二维图像空间中的欧氏距离。然后，通过所述欧氏距离，并参考诸如深度信息以及所述对象在该帧图像中的尺寸与预设真实尺寸之间的比率等的信息，对所述欧氏距离进行相应的缩放，以计算所述位置偏移量。当然，以上所述的仅为示例。本领域技术人员可通过其他各种方式来计算所述对象在所述至少两帧图像之间的位置偏移量。
在通过如上所述的计算得到了所述至少一个对象的位置偏移量之后，可以基于所述位置偏移量和所述时间差，计算该对象的速度。例如，假设所述至少两帧图像分别为第t-k帧和第t帧图像，则所述至少一个对象的速度可通过以下表达式(2)表示：
其中，v为所述至少一个对象的速度，单位可以为米/秒，d为所述位置偏移量(例如，以对象在三维空间中的欧氏距离作为所述位置偏移量)，单位可以为米，k为所述至少两帧图像的帧号差，并且fr为所述图像序列的帧率，示例性地为30fps、60fps等。
此外，可选地，为使速度计算更精确，在本发明一实施例中，可以计算所述至少一个对象在所述图像序列中的多个时刻的速度。示例性地，可计算所述至少一个对象在第t帧与第t-k帧之间的速度、在第t帧与第t-2k帧之间的速度、在第t帧与第t-3k帧之间的速度等等。然后，可以对所计算的多个速度求平均，从而得到所述至少一个对象在所述图像序列中的平均速度。
以上，参照图1至图3描述了本发明实施例的用于测量对象的速度的方法。
在测量了对象的速度之后，可以以不同方式利用所述速度。在第一示例中，可以将所述速度应用于非常速预警，例如超速预警或过低速预警。具体地，可以预先设置速度阈值。所述速度阈值可以为上限值，也可以为下限值。然后，判断所述速度是否大于上限值或低于下限值。当判断所述速度大于上限值或低于下限值时，生成报警信息。所述报警信息例如可以为文字形式、语音形式、图像形式等多种形式。然后，相应地输出所述报警信息。这在交通监控的应用中尤其有用。例如通过测量所监控的场景中的各个车辆的速度，可以及时提醒非常速行驶的对象的存在并采取相应的措施。例如，可进一步通过图像识别而获取非常速行驶的车辆的车牌信息并进行预警。
在第二示例中，还可以将所述速度应用于交通状况预测。示例性地，可计算所述场景中所检测的每一个对象的速度，并将其汇总作为当前对象速度信息。此外，另一方面，还可获取参考信息。具体地，所述参考信息可包括历史对象数量信息、历史对象速度信息、天气信息、周边信息中的至少一个。
更具体地，以对象为车辆的情况为例，所述历史对象数量信息例如包括所述场景在之前的若干小时内每个时刻的车辆的数目、之前一天或若干天内在相同时刻的车辆的数目等等。所述历史对象速度信息例如包括所述场景在之前的若干小时内每个时刻的各个车辆的速度、之前一天或若干天内在相同时刻的各个车辆的速度等等。所述天气信息例如包括当前时刻的天气信息等等。所述周边信息例如包括距所述场景预定范围内的交通状况信息等等。
当然，以上所述的参考信息仅为示例。本领域技术人员能够在此基础之上获取其他各种类型的参考信息，例如，当前时间信息、交通管制信息等等，其都在本发明的范围内。
在获取了所述当前对象数量信息、当前对象速度信息和所述参考信息之后，可以基于这些信息来确定所述图像序列所针对的场景的拥挤程度。具体地，可以将所述当前对象数量信息、当前对象速度信息和所述参考信息输入反馈神经网络，以确定所述拥挤程度。所述拥挤程度例如可以通过离散值来表示。
关于所述反馈神经网络的训练，例如，可以预先收集各场景不同时刻的流量数据，并对这些流量数据进行人工的量化标注。例如，将第一场景第一时刻的第一流量数据标记为对应于拥挤程度高，将第二场景第二时刻的第二流量数据标记为对应于拥挤程度低，等等。由此，将经过量化标注的流量数据集输入反馈神经网络，从而训练所述反馈神经网络。
以上，以将所测量的对象速度应用于非常速预警和交通状况预测的情况为例描述了本发明实施例的方法的两种应用。本领域技术人员能够理解，以上所述仅为示例。可以根据需要将所测量的对象速度适当地应用于其他各种场景。
以上，参照图1-3描述了本发明实施例的用于测量对象的速度的方法。在本发明实施例的方法中，基于各帧图像的深度信息检测对象，进而跟踪对象并检测对象的速度，由此，能够高效而准确地检测场景中的对象的速度，且无需在被监控的对象上安装额外的装置，从而便利对所述场景中的对象进行全面及时地监控。
此外，在本发明实施例的用于测量对象的速度的方法中，不仅能够高效而准确地测量场景中的对象的速度，还能够利用所述速度进行诸如非常速预警、拥挤程度预测等各种处理，进一步便利对所述场景中的对象进行全面及时地监控。
下面，将参照图4描述本发明实施例的用于测量对象的速度的装置。
图4是示出根据本发明实施例的用于测量对象的速度的装置的主要配置的框图。如图4所示，本发明实施例的用于测量对象的速度的装置400包括：第一获取单元410、检测单元420、跟踪单元430和计算单元440。
所述第一获取单元410对于图像序列中的至少两帧图像中的每一帧图像，获取该帧图像的图像信息，所述图像信息包括深度信息。所述检测单元420基于所述深度信息检测该帧图像中的对象，以获得对象检测结果。所述跟踪单元430基于所述至少两帧图像各自的对象检测结果进行对象跟踪，以获得对象跟踪结果。所述计算单元440基于所述对象跟踪结果、以及所述至少两帧图像之间的时间差，计算所检测的至少一个对象的速度。
在一实施例中，所述图像信息还包括颜色信息和红外信息之一。所述检测单元420基于所述颜色信息和所述红外信息之一、以及所述深度信息，检测该帧图像中的对象，以获得对象检测结果。
在另一实施例中，所述装置400还包括未示出的第二获取单元，获取所述图像序列中该帧图像之前的至少任意两帧图像之间的图像间信息。所述检测单元420基于所述深度信息和所述图像间信息，检测该帧图像中的对象，以获得对象检测结果。
在另一实施例中，所述检测单元420基于所述深度信息，通过分类器检测该帧图像中的对象，以获得对象检测结果。
在另一实施例中，所述分类器包括卷积神经网络和反馈神经网络，并且，所述检测单元420包括：卷积神经网络处理单元，将所述深度信息输入所述卷积神经网络以提取卷积神经网络特征；以及反馈神经网络处理单元，将所提取的卷积神经网络特征输入所述反馈神经网络，以得到该帧图像中对象所处的位置以及所述位置处存在所述对象的置信度，作为所述对象检测结果。其中，如上所述，所述对象所处的位置可通过所述对象的预定参照点(例如，左上角点，中心点等)的坐标信息表示，或可通过所述预定参照点的坐标信息以及所述对象在图像中的宽度和高度信息来表示。
在另一实施例中，所述装置400还包括：中间结果获取单元，获取该帧图像之前的任一帧图像的对象检测结果，例如，获取该帧图像的前一帧图像的对象检测结果，所述反馈神经网络处理单元单元将所提取的卷积神经网络特征和该帧图像之前的任一帧图像的对象检测结果输入所述反馈神经网络，以得到该帧图像中对象所处的位置以及所述位置处存在所述对象的置信度，作为所述对象检测结果。其中，如上所述，所述对象所处的位置可通过所述对象的预定参照点(例如，左上角点，中心点等)的坐标信息表示，或可通过所述预定参照点的坐标信息以及所述对象在图像中的宽度和高度信息来表示。
在另一实施例中，所述跟踪单元430包括：模型建立单元，基于所述至少两帧图像各自的对象检测结果，建立由节点和连接两个节点的边所组成的网络图模型，所述节点表示每一帧图像中检测的对象；对象信息获取单元，获取所述对象的颜色信息、纹理信息和位置信息中的至少一个；权重计算单元，基于所述对象的颜色信息、纹理信息和位置信息中的所述至少一个，计算每一条边的权重，所述权重表示相应的边连接的两个节点所对应的两个对象为同一对象的概率；以及跟踪结果获得单元，基于所述网络图模型和所述权重，获得所述对象跟踪结果。
在另一实施例中，所述计算单元440包括：偏移量计算单元，基于所述至少一个对象的跟踪结果，计算所述至少一个对象在所述至少两帧图像之间的位置偏移量；以及速度计算单元，基于所述位置偏移量和所述时间差，计算所述至少一个对象的速度。
在一个实施例中，所述偏移量计算单元可通过如上参照图1-图3所述的本发明实施例的测量对象的速度的方法中的各种偏移量计算方式，计算位置偏移量。然后，所述速度计算单元可以基于所述位置偏移量和所述时间差，计算所述至少一个对象的速度。例如，假设所述至少两帧图像分别为第t-k帧和第t帧图像，则所述至少一个对象的速度可通过上述表达式(2)表示。
在另一实施例中，所述装置400还包括：判断单元，判断所述速度是否大于上限阈值或低于下限阈值；生成单元，当判断所述速度大于上限阈值或低于下限阈值时，生成报警信息；以及输出单元，输出所述报警信息。
在另一实施例中，所述对象检测结果包括当前对象数量信息；所述计算单元440配置为：计算所检测的每一个对象的速度，以获得当前对象速度信息。所述装置400还包括：第三获取单元，获取参考信息，所述参考信息包括历史对象数量信息、历史对象速度信息、天气信息、周边信息中的至少一个；以及拥挤程度确定单元，基于所述当前对象数量信息、当前对象速度信息和所述参考信息，确定所述图像序列所针对的场景的拥挤程度。
在另一实施例中，所述拥挤程度确定单元配置为：将所述当前对象数量信息、当前对象速度信息和所述参考信息输入反馈神经网络，以确定所述拥挤程度。
对象速度测量装置400的各个单元的具体配置和操作已经在参照图1-3所述的本发明实施例的对象速度测量方法中详细描述，在此不再重复。
下面，将参照图5描述本发明另一实施例的用于测量对象速度的装置。
图5是图示根据本发明另一实施例的用于测量对象速度的装置的框图。
如图5所示，本发明实施例的对象速度测量装置500主要包括：一个或多个处理器510和存储器520，这些组件通过总线系统530和/或其它形式的连接机构(未示出)互连。应当注意，图5所示的对象速度测量装置500的组件和结构只是示例性的，而非限制性的，根据需要，对象速度测量装置500也可以具有其他组件和结构。
处理器510可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制对象速度测量装置500中的其它组件以执行期望的功能。
存储器520可以包括各种形式的存储器，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述存储器520上可以存储一个或多个计算机程序指令，处理器510可以运行所述计算机程序指令，以实现本发明实施例的对象速度测量方法的功能以及/或者其它期望的功能。
根据本发明一个实施例，在所述计算机程序指令被所述处理器510运行时执行以下步骤：对于图像序列中的至少两帧图像中的每一帧图像，获取该帧图像的图像信息，所述图像信息包括深度信息；基于所述深度信息检测该帧图像中的对象，以获得对象检测结果；基于所述至少两帧图像各自的对象检测结果进行对象跟踪，以获得对象跟踪结果；以及基于所述对象跟踪结果、以及所述至少两帧图像之间的时间差，计算所检测的至少一个对象的速度。
在一实施例中，所述图像信息还包括颜色信息和红外信息之一；此外，在所述计算机程序指令被所述处理器510运行时所执行的检测该帧图像中的对象的步骤包括：基于所述颜色信息和所述红外信息之一、以及所述深度信息，检测该帧图像中的对象，以获得对象检测结果。
在另一实施例中，在所述计算机程序指令被所述处理器510运行时还执行以下步骤：获取所述图像序列中该帧图像之前的至少任意两帧图像之间的图像间信息；并且，在所述计算机程序指令被所述处理器510运行时所执行的检测该帧图像中的对象的步骤包括：基于所述深度信息和所述图像间信息，检测该帧图像中的对象，以获得对象检测结果。
在另一实施例中，在所述计算机程序指令被所述处理器510运行时所执行的检测该帧图像中的对象的步骤包括：基于所述深度信息，通过分类器检测该帧图像中的对象，以获得对象检测结果。
在另一实施例中，所述分类器包括卷积神经网络和反馈神经网络，并且，在所述计算机程序指令被所述处理器510运行时所执行的检测该帧图像中的对象的步骤包括：将所述深度信息输入所述卷积神经网络以提取卷积神经网络特征；以及将所提取的卷积神经网络特征输入所述反馈神经网络，以得到该帧图像中对象所处的位置以及所述位置处存在所述对象的置信度，作为所述对象检测结果。
在另一实施例中，在所述计算机程序指令被所述处理器510运行时所执行步骤还包括：获取该帧图像之前的任一帧图像的对象检测结果；并且，将所提取的卷积神经网络特征输入反馈神经网络的步骤包括：将所提取的卷积神经网络特征和该帧图像之前的任一帧图像的对象检测结果输入所述反馈神经网络，以得到该帧图像中对象所处的位置以及所述位置处存在所述对象的置信度，作为所述对象检测结果。
在另一实施例中，在所述计算机程序指令被所述处理器510运行时所执行的进行对象跟踪的步骤包括：基于所述至少两帧图像各自的对象检测结果，建立由节点和连接两个节点的边所组成的网络图模型，所述节点表示每一帧图像中检测的对象；获取所述对象的颜色信息、纹理信息和位置信息中的至少一个；基于所述对象的颜色信息、纹理信息和位置信息中的所述至少一个，计算每一条边的权重，所述权重表示相应的边连接的两个节点所对应的两个对象为同一对象的概率；以及基于所述网络图模型和所述权重，获得所述对象跟踪结果。
在另一实施例中，在所述计算机程序指令被所述处理器510运行时所执行的计算所检测的至少一个对象的速度的步骤包括：基于所述至少一个对象的跟踪结果，计算所述至少一个对象在所述至少两帧图像之间的位置偏移量；以及基于所述位置偏移量和所述时间差，计算所述至少一个对象的速度。
在另一实施例中，所述计算机程序指令被所述处理器510运行时还执行：判断所述速度是否大于上限阈值或低于下限阈值；当判断所述速度大于上限阈值或低于下限阈值时，生成报警信息；以及输出所述报警信息。
在另一实施例中，所述计算机程序指令被所述处理器510运行时所执行的步骤中，所述对象检测结果包括当前对象数量信息；所述计算机程序指令被所述处理器510运行时所执行的计算所检测的至少一个对象的速度的步骤包括：计算所检测的每一个对象的速度，以获得当前对象速度信息；所述方法还包括:获取参考信息，所述参考信息包括历史对象数量信息、历史对象速度信息、天气信息、周边信息中的至少一个；以及基于所述当前对象数量信息、当前对象速度信息和所述参考信息，确定所述图像序列所针对的场景的拥挤程度。
在另一实施例中，所述计算机程序指令被所述处理器510运行时所执行的确定所述图像序列所针对的场景的拥挤程度的步骤包括：将所述当前对象数量信息、当前对象速度信息和所述参考信息输入反馈神经网络，以确定所述拥挤程度。
根据本发明另一实施例，提供了一种计算机程序产品，包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令在被计算机或处理器运行时执行根据本发明实施例的用于测量对象的速度的方法，并且用于实现根据本发明实施例的用于测量对象的速度的装置的各个功能模块的功能。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
在一个实施例中，所述计算机程序指令在被计算机运行时执行以下步骤：对于图像序列中的至少两帧图像中的每一帧图像，获取该帧图像的图像信息，所述图像信息包括深度信息；基于所述深度信息检测该帧图像中的对象，以获得对象检测结果；基于所述至少两帧图像各自的对象检测结果进行对象跟踪，以获得对象跟踪结果；以及基于所述对象跟踪结果、以及所述至少两帧图像之间的时间差，计算所检测的至少一个对象的速度。
在一实施例中，所述图像信息还包括颜色信息和红外信息之一；此外，所述计算机程序指令在被计算机运行时所执行的检测该帧图像中的对象的步骤包括：基于所述颜色信息和所述红外信息之一、以及所述深度信息，检测该帧图像中的对象，以获得对象检测结果。
在另一实施例中，在所述计算机程序指令被计算机运行时还执行以下步骤：获取所述图像序列中该帧图像之前的至少任意两帧图像之间的图像间信息；并且，在所述计算机程序指令被计算机运行时所执行的检测该帧图像中的对象的步骤包括：基于所述深度信息和所述图像间信息，检测该帧图像中的对象，以获得对象检测结果。
在另一实施例中，在所述计算机程序指令被计算机运行时所执行的检测该帧图像中的对象的步骤包括：基于所述深度信息，通过分类器检测该帧图像中的对象，以获得对象检测结果。
在另一实施例中，所述分类器包括卷积神经网络和反馈神经网络，并且，所述计算机程序指令在被计算机运行时所执行的检测该帧图像中的对象的步骤包括：将所述深度信息输入所述卷积神经网络以提取卷积神经网络特征；以及将所提取的卷积神经网络特征输入所述反馈神经网络，以得到该帧图像中对象所处的位置以及所述位置处存在所述对象的置信度，作为所述对象检测结果。
在另一实施例中，在所述计算机程序指令被计算机运行时所执行的步骤还包括：获取该帧图像之前的任一帧图像的对象检测结果；并且，将所提取的卷积神经网络特征输入反馈神经网络的步骤包括：将所提取的卷积神经网络特征和该帧图像之前的任一帧图像的对象检测结果输入所述反馈神经网络，以得到该帧图像中对象所处的位置以及所述位置处存在所述对象的置信度，作为所述对象检测结果。
在另一实施例中，在所述计算机程序指令被所述计算机运行时所执行的进行对象跟踪的步骤包括：基于所述至少两帧图像各自的对象检测结果，建立由节点和连接两个节点的边所组成的网络图模型，所述节点表示每一帧图像中检测的对象；获取所述对象的颜色信息、纹理信息和位置信息中的至少一个；基于所述对象的颜色信息、纹理信息和位置信息中的所述至少一个，计算每一条边的权重，所述权重表示相应的边连接的两个节点所对应的两个对象为同一对象的概率；以及基于所述网络图模型和所述权重，获得所述对象跟踪结果。
在另一实施例中，在所述计算机程序指令被所述计算机运行时所执行的计算所检测的至少一个对象的速度的步骤包括：基于所述至少一个对象的跟踪结果，计算所述至少一个对象在所述至少两帧图像之间的位置偏移量；以及基于所述位置偏移量和所述时间差，计算所述至少一个对象的速度。
在另一实施例中，所述计算机程序指令被所述计算机运行时还执行：判断所述速度是否大于上限阈值或低于下限阈值；当判断所述速度大于上限阈值或低于下限阈值时，生成报警信息；以及输出所述报警信息。
在另一实施例中，所述计算机程序指令被所述计算机运行时所执行的步骤中，所述对象检测结果包括当前对象数量信息；所述计算机程序指令被所述计算机运行时所执行的计算所检测的至少一个对象的速度的步骤包括：计算所检测的每一个对象的速度，以获得当前对象速度信息；所述方法还包括:获取参考信息，所述参考信息包括历史对象数量信息、历史对象速度信息、天气信息、周边信息中的至少一个；以及基于所述当前对象数量信息、当前对象速度信息和所述参考信息，确定所述图像序列所针对的场景的拥挤程度。
此外，所述计算机程序指令被所述计算机运行时所执行的确定所述图像序列所针对的场景的拥挤程度的步骤包括：将所述当前对象数量信息、当前对象速度信息和所述参考信息输入反馈神经网络，以确定所述拥挤程度。
以上，参照图4和图5描述了本发明实施例的用于测量对象的速度的装置。在本发明实施例的对象速度测量装置中，基于各帧图像的深度信息检测对象，进而跟踪对象并检测对象的速度，由此，能够高效而准确地检测场景中的对象的速度，且无需在被监控的对象上安装额外的装置，从而便利对所述场景中的对象进行全面及时地监控。
此外，在本发明实施例的用于测量对象的速度的装置中，不仅能够高效而准确地测量场景中的对象的速度，还能够利用所述速度进行诸如非常速预警、拥挤程度预测等各种处理，进一步便利对所述场景中的对象进行全面及时地监控。
以上，参照图1到图5描述了根据本发明实施例的用于测量对象的速度的方法和装置。
需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，需要说明的是，在本说明书中，类似“第一…单元”、“第二...单元”的表述仅为了在描述时方便区分，而并不意味着其必须实现为物理分离的两个或多个单元。事实上，根据需要，所述单元可以整体实现为一个单元，也可以实现为多个单元。
最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
在本发明实施例中，单元/模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成单元/模块并且实现该单元/模块的规定目的。
在单元/模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的单元/模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (18)

1.一种用于测量对象的速度的方法，包括：
对于图像序列中的至少两帧图像中的每一帧图像，获取该帧图像的图像信息，所述图像信息包括深度信息；并且获取所述图像序列中该帧图像之前的至少任意两帧图像之间的图像间信息；
基于所述深度信息和所述图像间信息，检测该帧图像中的对象，以获得对象检测结果；
基于所述至少两帧图像各自的对象检测结果，建立由节点和连接两个节点的边所组成的网络图模型，所述节点表示每一帧图像中检测的对象；
获取所述对象的颜色信息、纹理信息和位置信息中的至少一个；
基于所述对象的颜色信息、纹理信息和位置信息中的所述至少一个，计算每一条边的权重，所述权重表示相应的边连接的两个节点所对应的两个对象为同一对象的概率；
基于所述网络图模型和所述权重，获得所述对象跟踪结果；以及
基于所述对象跟踪结果、以及所述至少两帧图像之间的时间差，计算所检测的至少一个对象的速度。
2.如权利要求1所述的方法，其中，所述图像信息还包括颜色信息和红外信息之一；
基于所述深度信息和所述图像间信息检测该帧图像中的对象的步骤包括：
基于所述颜色信息和所述红外信息之一、以及所述深度信息和所述图像间信息，检测该帧图像中的对象，以获得对象检测结果。
3.如权利要求1所述的方法，其中，基于所述深度信息和所述图像间信息，检测该帧图像中的对象的步骤包括：
基于所述深度信息和所述图像间信息，通过分类器检测该帧图像中的对象，以获得对象检测结果。
4.如权利要求3所述的方法，其中，所述分类器包括卷积神经网络和反馈神经网络，并且，检测该帧图像中的对象的步骤包括：
将所述深度信息和所述图像间信息输入所述卷积神经网络以提取卷积神经网络特征；以及
将所提取的卷积神经网络特征输入所述反馈神经网络，以得到该帧图像中对象所处的位置以及所述位置处存在所述对象的置信度，作为所述对象检测结果。
5.如权利要求4所述的方法，还包括：
获取该帧图像之前的任一帧图像的对象检测结果；
并且，将所提取的卷积神经网络特征输入反馈神经网络的步骤包括：
将所提取的卷积神经网络特征和该帧图像之前的任一帧图像的对象检测结果输入所述反馈神经网络，以得到该帧图像中对象所处的位置以及所述位置处存在所述对象的置信度，作为所述对象检测结果。
6.如权利要求1所述的方法，其中，计算所检测的至少一个对象的速度的步骤包括：
基于所述至少一个对象的跟踪结果，计算所述至少一个对象在所述至少两帧图像之间的位置偏移量；以及
基于所述位置偏移量和所述时间差，计算所述至少一个对象的速度。
7.如权利要求1所述的方法，还包括：
判断所述速度是否大于上限阈值或低于下限阈值；
当判断所述速度大于上限阈值或低于下限阈值时，生成报警信息；以及
输出所述报警信息。
8.如权利要求1所述的方法，其中，所述对象检测结果包括当前对象数量信息；
计算所检测的至少一个对象的速度的步骤包括：
计算所检测的每一个对象的速度，以获得当前对象速度信息；
所述方法还包括：
获取参考信息，所述参考信息包括历史对象数量信息、历史对象速度信息、天气信息、周边信息中的至少一个；以及
基于所述当前对象数量信息、当前对象速度信息和所述参考信息，确定所述图像序列所针对的场景的拥挤程度。
9.如权利要求8所述的方法，其中，确定所述图像序列所针对的场景的拥挤程度的步骤包括：
将所述当前对象数量信息、当前对象速度信息和所述参考信息输入反馈神经网络，以确定所述拥挤程度。
10.一种用于测量对象的速度的装置，包括第一获取单元、第二获取单元、检测单元、跟踪单元和计算单元，其中：
第一获取单元，对于图像序列中的至少两帧图像中的每一帧图像，获取该帧图像的图像信息，所述图像信息包括深度信息；以及
第二获取单元，获取所述图像序列中该帧图像之前的至少任意两帧图像之间的图像间信息；
检测单元，基于所述深度信息和所述图像间信息，检测该帧图像中的对象，以获得对象检测结果；
跟踪单元，包括：
模型建立单元，基于所述至少两帧图像各自的对象检测结果，建立由节点和连接两个节点的边所组成的网络图模型，所述节点表示每一帧图像中检测的对象；
对象信息获取单元，获取所述对象的颜色信息、纹理信息和位置信息中的至少一个；
权重计算单元，基于所述对象的颜色信息、纹理信息和位置信息中的所述至少一个，计算每一条边的权重，所述权重表示相应的边连接的两个节点所对应的两个对象为同一对象的概率；以及
跟踪结果获得单元，基于所述网络图模型和所述权重，获得所述对象跟踪结果；
以及
计算单元，基于所述对象跟踪结果、以及所述至少两帧图像之间的时间差，计算所检测的至少一个对象的速度。
11.如权利要求10所述的装置，其中，所述图像信息还包括颜色信息和红外信息之一；
所述检测单元基于所述颜色信息和所述红外信息之一、以及所述深度信息和所述图像间信息，检测该帧图像中的对象，以获得对象检测结果。
12.如权利要求10所述的装置，所述检测单元基于所述深度信息和所述图像间信息，通过分类器检测该帧图像中的对象，以获得对象检测结果。
13.如权利要求12所述的装置，所述分类器包括卷积神经网络和反馈神经网络，并且，所述检测单元包括：
卷积神经网络处理单元，将所述深度信息和所述图像间信息输入所述卷积神经网络以提取卷积神经网络特征；以及
反馈神经网络处理单元，将所提取的卷积神经网络特征输入所述反馈神经网络，以得到该帧图像中对象所处的位置以及所述位置处存在所述对象的置信度，作为所述对象检测结果。
14.如权利要求13所述的装置，还包括：
中间结果获取单元，获取该帧图像之前的任一帧图像的对象检测结果；
并且，所述反馈神经网络处理单元配置为：
将所提取的卷积神经网络特征和该帧图像之前的任一帧图像的对象检测结果输入所述反馈神经网络，以得到该帧图像中对象所处的位置以及所述位置处存在所述对象的置信度，作为所述对象检测结果。
15.如权利要求10所述的装置，其中，所述计算单元包括：
偏移量计算单元，基于所述至少一个对象的跟踪结果，计算所述至少一个对象在所述至少两帧图像之间的位置偏移量；以及
速度计算单元，基于所述位置偏移量和所述时间差，计算所述至少一个对象的速度。
16.如权利要求10所述的装置，还包括：
判断单元，判断所述速度是否大于上限阈值或低于下限阈值；
生成单元，当判断所述速度大于上限阈值或低于下限阈值时，生成报警信息；以及
输出单元，输出所述报警信息。
17.如权利要求10所述的装置，其中，所述对象检测结果包括当前对象数量信息；
所述计算单元配置为：
计算所检测的每一个对象的速度，以获得当前对象速度信息；
所述装置还包括：
第三获取单元，获取参考信息，所述参考信息包括历史对象数量信息、历史对象速度信息、天气信息、周边信息中的至少一个；以及
拥挤程度确定单元，基于所述当前对象数量信息、当前对象速度信息和所述参考信息，确定所述图像序列所针对的场景的拥挤程度。
18.如权利要求17所述的装置，所述拥挤程度确定单元配置为：
将所述当前对象数量信息、当前对象速度信息和所述参考信息输入反馈神经网络，以确定所述拥挤程度。
CN201511032318.9A 2015-12-31 2015-12-31 用于测量对象的速度的方法和装置 Active CN105628951B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201511032318.9A CN105628951B (zh) 2015-12-31 2015-12-31 用于测量对象的速度的方法和装置
US15/391,449 US10289918B2 (en) 2015-12-31 2016-12-27 Method and apparatus for detecting a speed of an object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511032318.9A CN105628951B (zh) 2015-12-31 2015-12-31 用于测量对象的速度的方法和装置

Publications (2)

Publication Number Publication Date
CN105628951A CN105628951A (zh) 2016-06-01
CN105628951B true CN105628951B (zh) 2019-11-19

Family

ID=56044081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511032318.9A Active CN105628951B (zh) 2015-12-31 2015-12-31 用于测量对象的速度的方法和装置

Country Status (2)

Country Link
US (1) US10289918B2 (zh)
CN (1) CN105628951B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769453B2 (en) 2017-05-16 2020-09-08 Samsung Electronics Co., Ltd. Electronic device and method of controlling operation of vehicle
US11144761B2 (en) * 2016-04-04 2021-10-12 Xerox Corporation Deep data association for online multi-class multi-object tracking
CN107563256A (zh) * 2016-06-30 2018-01-09 北京旷视科技有限公司 辅助驾驶信息产生方法及装置、辅助驾驶系统
CN106326837B (zh) * 2016-08-09 2019-09-17 北京旷视科技有限公司 对象追踪方法和装置
CN106886516A (zh) * 2017-02-27 2017-06-23 竹间智能科技（上海）有限公司 自动识别语句关系和实体的方法及装置
WO2018212538A1 (en) * 2017-05-16 2018-11-22 Samsung Electronics Co., Ltd. Electronic device and method of detecting driving event of vehicle
CN110997415A (zh) * 2017-08-01 2020-04-10 三星电子株式会社 控制车辆的操作的电子设备和方法
CN107609635A (zh) * 2017-08-28 2018-01-19 哈尔滨工业大学深圳研究生院 一种基于物体检测与光流计算的物体物理速度估计方法
CN107679452A (zh) * 2017-08-28 2018-02-09 中国电子科技集团公司第二十八研究所 大数据下基于卷积神经网络的货运列车车号实时识别系统
US20200241549A1 (en) * 2017-10-12 2020-07-30 Sony Corporation Information processing apparatus, moving apparatus, and method, and program
EP3495988A1 (en) 2017-12-05 2019-06-12 Aptiv Technologies Limited Method of processing image data in a connectionist network
EP3561727A1 (en) * 2018-04-23 2019-10-30 Aptiv Technologies Limited A device and a method for extracting dynamic information on a scene using a convolutional neural network
EP3561726A1 (en) 2018-04-23 2019-10-30 Aptiv Technologies Limited A device and a method for processing data sequences using a convolutional neural network
KR20200023697A (ko) * 2018-08-21 2020-03-06 한국과학기술정보연구원 교통상태정보를 예측하는 장치, 교통상태정보를 예측하는 방법 및 교통상태정보를 예측하는 프로그램을 저장하는 저장매체
CN110007106B (zh) * 2018-10-30 2021-03-23 深圳昌恩智能股份有限公司 后方车辆逼近速率分析系统
CN109543613A (zh) * 2018-11-22 2019-03-29 西安科技大学 基于tof成像的车辆行驶速度及车牌识别系统及方法
JP7292979B2 (ja) * 2019-05-31 2023-06-19 株式会社東芝 画像処理装置及び画像処理方法
CN112101071A (zh) * 2019-06-18 2020-12-18 富士通株式会社 停车检测方法、停车检测装置和电子设备
EP3998577A4 (en) * 2019-07-11 2022-08-24 Konica Minolta, Inc. OBJECT RECOGNITION DEVICE, OBJECT RECOGNITION METHOD AND PROGRAM
CN110243828B (zh) * 2019-07-18 2021-07-30 华中科技大学 基于卷积神经网络的生物组织三维成像方法
CN110378936B (zh) * 2019-07-30 2021-11-05 北京字节跳动网络技术有限公司 光流计算方法、装置及电子设备
CN110969113B (zh) * 2019-11-28 2023-05-26 江苏农林职业技术学院 一种鱼漂状态辅助判断系统及方法
US11774582B2 (en) * 2020-01-28 2023-10-03 Aptiv Technologies Limited Imaging and radar fusion for multiple-object tracking
US11455713B2 (en) * 2020-05-08 2022-09-27 Paypal, Inc. Automatic document processing
CN115097156A (zh) * 2020-05-15 2022-09-23 北京百度网讯科技有限公司 一种自动驾驶中障碍物的速度估计方法、装置和电子设备
US11227402B2 (en) * 2020-05-29 2022-01-18 Icatch Technology, Inc. Velocity measuring device
CN115147451A (zh) * 2021-03-29 2022-10-04 华为技术有限公司 目标跟踪方法及其装置
CN113095183A (zh) * 2021-03-31 2021-07-09 西北工业大学 一种基于深度神经网络的微表情检测方法
CN115499334B (zh) * 2022-08-25 2023-11-21 浪潮云信息技术股份公司 一种跨应用情景下的文件传输过程监控方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10258794A1 (de) * 2002-12-16 2004-06-24 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten
CN101425128A (zh) * 2007-10-30 2009-05-06 同济大学 基于激光传感器深度图像的人流检测方法
CN102622895A (zh) * 2012-03-23 2012-08-01 长安大学 一种基于视频的车辆速度检测方法
CN102867311A (zh) * 2011-07-07 2013-01-09 株式会社理光 目标跟踪方法和目标跟踪设备
CN103077423A (zh) * 2011-10-25 2013-05-01 中国科学院深圳先进技术研究院 基于视频流的人群数量估计、局部人群聚集状态以及人群跑动状态检测方法
CN104155470A (zh) * 2014-07-15 2014-11-19 华南理工大学 一种基于双目摄像头的实时车速检测方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4355341B2 (ja) * 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
US6956469B2 (en) * 2003-06-13 2005-10-18 Sarnoff Corporation Method and apparatus for pedestrian detection
DE102006035559B4 (de) * 2006-07-27 2023-11-23 Heidelberger Druckmaschinen Intellectual Property Ag & Co. Kg Bogenbremsensystem zum Bremsen von Druckbogen
EP2209091B1 (en) * 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
US9159137B2 (en) * 2013-10-14 2015-10-13 National Taipei University Of Technology Probabilistic neural network based moving object detection method and an apparatus using the same
US10054777B2 (en) * 2014-11-11 2018-08-21 California Institute Of Technology Common-mode digital holographic microscope
US11144761B2 (en) * 2016-04-04 2021-10-12 Xerox Corporation Deep data association for online multi-class multi-object tracking
CN108269807B (zh) * 2017-01-03 2021-06-22 联华电子股份有限公司 半导体元件的制作方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10258794A1 (de) * 2002-12-16 2004-06-24 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten
CN101425128A (zh) * 2007-10-30 2009-05-06 同济大学 基于激光传感器深度图像的人流检测方法
CN102867311A (zh) * 2011-07-07 2013-01-09 株式会社理光 目标跟踪方法和目标跟踪设备
CN103077423A (zh) * 2011-10-25 2013-05-01 中国科学院深圳先进技术研究院 基于视频流的人群数量估计、局部人群聚集状态以及人群跑动状态检测方法
CN102622895A (zh) * 2012-03-23 2012-08-01 长安大学 一种基于视频的车辆速度检测方法
CN104155470A (zh) * 2014-07-15 2014-11-19 华南理工大学 一种基于双目摄像头的实时车速检测方法及系统

Also Published As

Publication number Publication date
US10289918B2 (en) 2019-05-14
US20170193310A1 (en) 2017-07-06
CN105628951A (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
CN105628951B (zh) 用于测量对象的速度的方法和装置
Zhao et al. Detection, tracking, and geolocation of moving vehicle from uav using monocular camera
Ke et al. Real-time bidirectional traffic flow parameter estimation from aerial videos
US20200401617A1 (en) Visual positioning system
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
EP2131328A2 (en) Method for automatic detection and tracking of multiple objects
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
Zhao et al. Automated traffic surveillance system with aerial camera arrays imagery: Macroscopic data collection with vehicle tracking
CN111553321A (zh) 一种流动商贩目标检测模型、检测方法及其管理方法
Zhao et al. Abnormal trajectory detection based on a sparse subgraph
Li et al. Multi-view crowd congestion monitoring system based on an ensemble of convolutional neural network classifiers
Wan et al. Small object detection leveraging density‐aware scale adaptation
CN114495266A (zh) 非站立姿态检测方法、装置、计算机设备及存储介质
Mitzel et al. Real-Time Multi-Person Tracking with Time-Constrained Detection.
Barba-Guaman et al. Object detection in rural roads using Tensorflow API
CN110636248A (zh) 目标跟踪方法与装置
BOURJA et al. Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3
Elassal et al. Unsupervised crowd counting
Rong et al. Big data intelligent tourism management platform design based on abnormal behavior identification
CN113012215A (zh) 一种空间定位的方法、系统及设备
CN112651351B (zh) 一种数据处理的方法和装置
CN115240168A (zh) 感知结果获取方法、装置、计算机设备、存储介质
CN114494977A (zh) 一种异常停车检测方法、电子设备及存储介质
Di et al. An automatic and integrated self-diagnosing system for the silting disease of drainage pipelines based on SSAE-TSNE and MS-LSTM
Belyaev et al. Development of the Detecting System of the Landmark Tags to Increase the Navigation Accuracy of an Unmanned Vehicle in a Known Location

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100190 A, block 2, South Road, Haidian District Academy of Sciences, Beijing 316-318, China

Applicant after: Beijing maigewei Technology Co., Ltd.

Address before: 100080 A, block 2, South Road, Haidian District Academy of Sciences, Beijing 316-318, China

Applicant before: Beijing aperture Science and Technology Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant