CN110929567B - 基于单目相机监控场景下目标的位置速度测量方法及系统 - Google Patents

基于单目相机监控场景下目标的位置速度测量方法及系统 Download PDF

Info

Publication number
CN110929567B
CN110929567B CN201910986660.4A CN201910986660A CN110929567B CN 110929567 B CN110929567 B CN 110929567B CN 201910986660 A CN201910986660 A CN 201910986660A CN 110929567 B CN110929567 B CN 110929567B
Authority
CN
China
Prior art keywords
target
coordinates
frame
image
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910986660.4A
Other languages
English (en)
Other versions
CN110929567A (zh
Inventor
陈晓光
潘铁男
王智新
刘震
史龙
吴穗宁
李斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRSC Research and Design Institute Group Co Ltd
Original Assignee
CRSC Research and Design Institute Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRSC Research and Design Institute Group Co Ltd filed Critical CRSC Research and Design Institute Group Co Ltd
Priority to CN201910986660.4A priority Critical patent/CN110929567B/zh
Publication of CN110929567A publication Critical patent/CN110929567A/zh
Application granted granted Critical
Publication of CN110929567B publication Critical patent/CN110929567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及轨道交通技术领域，公开了一种基于单目相机监控场景下目标的位置速度测量方法及系统，位置速度测量方法包括：步骤S1：对单目相机进行标定，获得地面坐标系到图像坐标系的单应矩阵；步骤S2：根据标定好的单目相机进行图像采集获得的实时图像，通过深度学习的方法对实时图像逐帧检测，得到目标在实时图像中的图像坐标；步骤S3：根据图像坐标和单应矩阵获得目标在地面坐标系的地面坐标，并获得目标于俯瞰图中的位置；步骤S4：对实时图像的相邻多帧图像中的目标进行相关性匹配，找到同一目标并建立关联；步骤S5：根据同一目标在不同帧图像中的地面坐标获得目标的速度。本发明具有实时性，且能够进一步提升检测速度。

Description

基于单目相机监控场景下目标的位置速度测量方法及系统
技术领域
本发明属于轨道交通技术领域，特别涉及一种基于单目相机监控场景下目标的位置速度测量方法及系统。
背景技术
在轨道交通路口的监控场景中，行人和车辆等障碍物的检测是一项基础而关键的内容。通过对道路监控场景中的行人和车辆进行检测，可以有效获取当前监控场景的信息，从而进行入侵物报警等目的。
在监控场景下，对监控区域中的行人车辆等目标进行位置和速度的测量，对获取当前监控场景信息、进行入侵物报警和目标行为预测等具有重要意义。目前的目标位置速度测量方法中，大多使用雷达进行测量，易受到回波干扰和多径效应等影响，在复杂环境下精度有限；或使用双目相机通过视差法三维重建进行测量，依赖于双目图像的匹配效果，计算量大，不具备较高的实时性。
因此急需开发一种克服上述缺陷的基于单目相机监控场景下目标的位置速度测量方法及系统。
发明内容
针对上述问题，本发明提供一种基于单目相机监控场景下目标的位置速度测量方法，其中，包括：
步骤S1：对单目相机进行标定，获得地面坐标系到图像坐标系的单应矩阵；
步骤S2：根据标定好的所述单目相机进行图像采集获得的实时图像，通过深度学习的方法对所述实时图像进行逐帧检测，得到目标在实时图像中的图像坐标；
步骤S3：根据所述图像坐标和所述单应矩阵获得所述目标在所述地面坐标系的地面坐标，并获得所述目标于俯瞰图中的位置；
步骤S4：对所述实时图像的相邻多帧图像中的所述目标进行相关性匹配，找到同一所述目标并建立关联；
步骤S5：根据同一所述目标在不同帧图像中的地面坐标获得所述目标的速度。
上述的位置速度测量方法，其中，于所述步骤S1中包括：
步骤S11：于所述单目相机的视场内的地面上设置标定场；
步骤S12：以单目相机固定处的底端为原点建立地面坐标系，根据测量特征点之间的距离以及所述标定场到所述单目相机固定处的底端的距离，获得地面坐标系中所述测量特征点的坐标；
步骤S13：拍摄标定场图像，获得图像坐标系中所述测量特征点的坐标；
步骤S14：根据地面坐标系中所述测量特征点的坐标及图像坐标系中所述测量特征点的坐标获得单应矩阵。
上述的位置速度测量方法，其中，于所述步骤S3中包括：
步骤S31：计算所述实时图像中目标检测框的底边中点的坐标；
步骤S32：根据所述单应矩阵，计算每一所述目标在地面坐标系下的世界坐标，并建立所述俯瞰图。
上述的位置速度测量方法，其中，于所述步骤S4中包括：
步骤S41：根据所述实时图像的第一帧构建全目标序列；
步骤S42：比较当前帧与所述全目标序列中的目标数量；
步骤S43：将所述当前帧的目标的世界坐标进行全排列；
步骤S44：将所述全目标序列中各个目标的世界坐标与当前帧目标世界坐标全排列中的某一个排列进行一一对应后，分别计算其欧氏距离，并将计算结果进行加和处理；
步骤S45：将得到的所有加和处理的结果进行比较，找到最小值，此最小值对应的当前帧目标世界坐标全排列中的该排列为最佳匹配结果，将当前帧目标的世界坐标及检测时间加入至所述全目标序列中对应目标的位置；
步骤S46：如果当前帧某一目标未加入至所述全目标序列中，则认为该目标为新目标，在所述全目标序列中初始化一个相应的序列；
步骤S47：如果所述全目标序列中某一目标未有当前帧目标信息加入，则认为该目标在当前帧漏检，将漏检数增加1，如果漏检数达到3则将其从所述全目标序列中去除；
步骤S48：更新所述全目标序列，当所述全目标序列中一目标存有超过6帧的世界坐标，则将最早一帧的信息去除。
上述的位置速度测量方法，其中，于所述步骤S5中包括：
步骤S51：遍历所述全目标序列，找出其中存有6帧世界坐标的目标；
步骤S52：计算世界坐标之间的距离，并除以相应时间间隔获得多个第一速度值；
步骤S53：对多个所述第一速度值进行处理获得目标的最终速度值。
上述的位置速度测量方法，其中，于所述步骤S32中，通过所述单应矩阵，由以下公式获得每一所述目标在地面坐标系下的世界坐标(X,Y)：
Figure BDA0002236910070000031
其中u、v为实时图像中目标检测框的底边中点的坐标。
上述的位置速度测量方法，其中，于所述步骤S41中，所述全目标序列包括：目标编号、漏检次数、世界坐标及当前时间。
上述的位置速度测量方法，其中，于所述步骤S53中，分别计算第1帧与第4帧、第2帧与第5帧、第3帧与第6帧的世界坐标之间的距离，并除以相应时间间隔，获得三个所述第一速度值，于所述步骤S54中，对三个所述第一速度值进行求均值处理获得所述最终速度值。
本发明还提供一种基于单目相机监控场景下目标的位置速度测量系统，其中，包括：
单应矩阵获得单元，对单目相机进行标定，获得地面坐标系到图像坐标系的单应矩阵；
图像坐标获得单元，根据标定好的所述单目相机进行图像采集获得的实时图像，通过深度学习的方法对所述实时图像进行逐帧检测，得到目标在实时图像中的图像坐标；
地面坐标获得单元，根据所述图像坐标和所述单应矩阵获得所述目标在所述地面坐标系的地面坐标，并获得所述目标于俯瞰图中的位置；
关联单元，对所述实时图像的相邻多帧图像中的所述目标进行相关性匹配，找到同一所述目标并建立关联；
速度获得单元，根据同一所述目标在不同帧图像中的地面坐标获得所述目标的速度。
上述的位置速度测量系统，其中，所述单应矩阵获得单元包括：
标定场设置模块，于所述单目相机的视场内的地面上设置标定场；
第一测量特征点坐标获得模块，以单目相机固定处的底端为原点建立地面坐标系，根据测量特征点之间的距离以及所述标定场到所述单目相机固定处的底端的距离，获得地面坐标系中所述测量特征点的坐标；
第二测量特征点坐标获得模块，根据拍摄的标定场图像，获得图像坐标系中所述测量特征点的坐标；
单应矩阵获得模块，根据地面坐标系中所述测量特征点的坐标及图像坐标系中所述测量特征点的坐标获得单应矩阵。
上述的位置速度测量系统，其中，所述地面坐标获得单元包括：
第一计算模块，计算所述实时图像中目标检测框的底边中点的坐标；
俯瞰图建立模块，根据所述单应矩阵，计算每一所述目标在地面坐标系下的世界坐标，并建立所述俯瞰图。
上述的位置速度测量系统，其中，所述关联单元包括：
全目标序列构建模块，根据所述实时图像的第一帧构建全目标序列；
比较模块，比较当前帧与所述全目标序列中的目标数量；
排列模块，将所述当前帧的目标的世界坐标进行全排列；
第二计算模块，将所述全目标序列中各个目标的世界坐标与当前帧目标世界坐标全排列中的某一个排列进行一一对应后，分别计算其欧氏距离，并将计算结果进行加和处理；
匹配模块，将得到的所有加和处理的结果进行比较，找到最小值，此最小值对应的当前帧目标世界坐标全排列中的该排列为最佳匹配结果，将当前帧目标的世界坐标及检测时间加入至所述全目标序列中对应目标的位置，如果当前帧某一目标未加入至所述全目标序列中，则认为该目标为新目标，在所述全目标序列中初始化一个相应的序列，如果所述全目标序列中某一目标未有当前帧目标信息加入，则认为该目标在当前帧漏检，将漏检数增加1，如果漏检数达到3则将其从所述全目标序列中去除；
更新模块，更新所述全目标序列，当所述全目标序列中一目标存有超过6帧的世界坐标，则将最早一帧的信息去除。
上述的位置速度测量系统，其中，所述速度获得单元包括：
查找模块，遍历所述全目标序列，找出其中存有6帧世界坐标的目标；
第一速度值获得模块，计算世界坐标之间的距离，并除以相应时间间隔获得多个第一速度值；
最终速度值获得模块，对多个所述第一速度值进行处理获得目标的最终速度值。
上述的位置速度测量系统，其中，所述俯瞰图建立模块通过所述单应矩阵，由以下公式获得每一所述目标在地面坐标系下的世界坐标(X,Y)：
Figure BDA0002236910070000051
其中u、v为实时图像中目标检测框的底边中点的坐标。
15、如权利要求12所述的位置速度测量系统，其特征在于，所述全目标序列包括：目标编号、漏检次数、世界坐标及当前时间。
上述的位置速度测量系统，其中，所述第一速度值获得模块，分别计算第1帧与第4帧、第2帧与第5帧、第3帧与第6帧的世界坐标之间的距离，并除以相应时间间隔，获得三个所述第一速度值，所述最终速度值获得模块对三个所述第一速度值进行求均值处理获得所述最终速度值。
本发明针对于现有技术其功效在于：本发明基于单目相机监控场景下目标的位置速度测量方法及系统，使用单目相机，通过深度学习的方法检测行人车辆等目标，并通过视频序列，构建多帧之间目标的相关性匹配，通过标定得到的相机参数，计算目标的位置，并通过差分进行速度测量，测量方法具有实时性，进一步提升检测速度。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明位置速度测量方法的流程图；
图2为图1中步骤S1的分步骤流程图；
图3为图1中步骤S3的分步骤流程图；
图4为图1中步骤S4的分步骤流程图；
图5为图1中步骤S5的分步骤流程图；
图6为本发明位置速度测量系统的结构示意图；
图7为标定场示意图；
图8为棋盘格靶标板示意图；
图9为俯瞰图；
图10为检测结果示意图。
其中，附图标记为：
单目相机10
单应矩阵获得单元11
标定场设置模块111
第一测量特征点坐标获得模块112
第二测量特征点坐标获得模块113
单应矩阵获得模块114
图像坐标获得单元12
地面坐标获得单元13
第一计算模块131
俯瞰图建立模块132
关联单元14
全目标序列构建模块141
比较模块142
排列模块143
第二计算模块144
匹配模块145
更新模块146
速度获得单元15
查找模块151
第一速度值获得模块152
最终速度值获得模块153
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，图1为本发明位置速度测量方法的流程图。如图1所示，本发明的基于单目相机监控场景下目标的位置速度测量方法，其单目相机使用安防监控摄像头，安装在距离地面6m高的支架处，调整摄像头角度，使被监控区域处于摄像头视场中。
位置速度测量方法包括以下步骤：
步骤S1：对单目相机进行标定，获得地面坐标系到图像坐标系的单应矩阵；
请参照图2、图7并结合图1，图2为图1中步骤S1的分步骤流程图；图7为标定场示意图。如图2所示，具体地说，步骤S1包括：
步骤S11：于单目相机的视场内的地面上设置标定场；具体地说，如图7所示，首先安装摄像头，调整摄像头角度，使被监控区域处于摄像头视场中，在地面上的单目相机视场内布置标定场，其中本实施例中通过设置9个发光测量特征点进行布置标定，但本发明并不以此为限。
步骤S12：以单目相机固定处的底端为原点建立地面坐标系(xw，yw，zw)，根据测量特征点之间的距离以及标定场到单目相机固定处的底端b的距离，获得地面坐标系中测量特征点的坐标。
步骤S13：拍摄标定场图像，获得图像坐标系中测量特征点的坐标；具体地说，在标定场图像中提取测量特征点，得到图像坐标系中测量特征点的坐标。
步骤S14：根据地面坐标系中测量特征点的坐标及图像坐标系中测量特征点的坐标获得单应矩阵；具体地说，通过两组对应坐标计算地面坐标系到图像坐标系的单应矩阵，两组对应坐标为地面坐标系中测量特征点的坐标及图像坐标系中测量特征点的坐标。
步骤S2：根据标定好的单目相机进行图像采集获得的实时图像，通过深度学习的方法对实时图像进行逐帧检测，得到目标在实时图像中的图像坐标。
步骤S3：根据图像坐标和单应矩阵获得目标在地面坐标系的地面坐标，并获得目标于俯瞰图中的位置；
请参照图3并结合图1，图3为图1中步骤S3的分步骤流程图。如图3所示，具体地说，步骤S3包括：
步骤S31：计算实时图像中目标检测框的底边中点的坐标(u,v)；
步骤S32：根据单应矩阵，计算每一目标在地面坐标系下的世界坐标，并建立俯瞰图。
具体地说，对于某一目标，通过标定得到的单应矩阵H，由公式
Figure BDA0002236910070000091
Figure BDA0002236910070000092
计算目标在地面坐标系下的世界坐标(X,Y)，重复步骤S32，得到所有目标在地面坐标系下的世界坐标，并建立俯瞰图。
步骤S4：对实时图像的相邻多帧图像中的目标进行相关性匹配，找到同一目标并建立关联。
请参照图4并结合图1，图4为图1中步骤S4的分步骤流程图。如图4所示，具体地说，步骤S4包括：
步骤S41：根据实时图像的第一帧构建全目标序列；具体地说，全目标序列包括：目标编号、漏检次数、世界坐标及当前时间，其中标编号及漏检次数为设定值。
步骤S42：比较当前帧与全目标序列中的目标数量；具体地说，对于图像中的某一帧，比较当前帧与全目标序列中的目标数量，如果二者不同，即检测的目标数量不一致，则用-1进行填充，将二者长度补齐。
步骤S43：将当前帧的目标的世界坐标进行全排列；
步骤S44：将全目标序列中各个目标的世界坐标与当前帧目标世界坐标全排列中的某一个排列进行一一对应后，分别计算其欧氏距离，并将计算结果进行加和处理；具体地说，将全目标序列中各个目标的世界坐标与当前帧目标世界坐标全排列中的某一个排列进行一一对应，分别计算其欧氏距离，如遇到-1则不进行计算，将结果加和，加和结果记为sum。
步骤S45：将得到的所有加和处理的结果进行比较，找到最小值，此最小值对应的当前帧目标世界坐标全排列中的该排列为最佳匹配结果，将当前帧目标的世界坐标及检测时间加入至所述全目标序列中对应目标的位置；具体地说，将得到的所有加和结果sum进行比较，找到最小值，此最小值对应的当前帧目标世界坐标全排列中的该排列即为最佳匹配结果，将当前帧目标的世界坐标及检测时间加入至全目标序列中对应目标的位置。
步骤S46：如果当前帧某一目标未加入至所述全目标序列中，则认为该目标为新目标，在全目标序列中初始化一个相应的序列；
步骤S47：如果全目标序列中某一目标未有当前帧目标信息加入，则认为该目标在当前帧漏检，将漏检数增加1，如果漏检数达到3则将其从全目标序列中去除；
步骤S48：更新全目标序列，当全目标序列中一目标存有超过6帧的世界坐标，则将最早一帧的信息去除；具体地说随着单目相机的实时拍摄，重复S42-S47更新全目标序列，如果全目标序列中某个目标存有超过6帧的世界坐标信息，则将最早一帧的信息去除。
步骤S5：根据同一所述目标在不同帧图像中的地面坐标获得目标的速度。
请参照图5并结合图1，图5为图1中步骤S5的分步骤流程图。如图5所示，具体地说，步骤S5包括：
步骤S51：遍历所述全目标序列，找出其中存有6帧世界坐标的目标。
步骤S52：计算世界坐标之间的距离，并除以相应时间间隔获得多个第一速度值；具体地说，在本实施例中，分别计算第1帧与第4帧、第2帧与第5帧、第3帧与第6帧的世界坐标之间的距离，并除以相应时间间隔获得三个第一速度值。
步骤S53：对多个第一速度值进行处理获得目标的最终速度值；具体地说，在本实施例中，对三个第一速度值进行求均值处理获得最终速度值。
以下结合附图，具体说明本发明的位置速度测量方法。
本发明的实验环境配置如下：CPU型号为Intel Xeon E5-1650v4处理器，显卡型号为Nvidia GeForce GTX 1080，CUDA版本为8.0.44，OpenCV版本为3.1.0，操作系统为Ubuntu16.04。安装海康威视DS-2DC7223IW-A安防摄像头，调整摄像头角度，使被监控区域处于摄像头视场中。在视场中放置棋盘格靶标板如图8所示，
以相机所在支架底部为原点建立坐标系，测量出靶标板到原点的距离，计算出靶标版上各特征点在支架坐标系下的世界坐标。拍摄靶标板图像，在图像中获取靶标板各特征点的图像坐标，得到靶标板特征点的图像坐标与世界坐标的一一对应关系。使用OpenCV的findHomography函数，输入靶标板特征点的图像坐标与世界坐标，计算出地平面到图像平面的单应矩阵H，
Figure BDA0002236910070000111
并保存在txt文件中。
使用摄像头实时拍摄场景图像，将图像输入至训练好的YOLOv3网络模型，输出图像中检出目标在图像坐标系中的类别编号、左上坐标和右下坐标，利用各目标的左上坐标和右下坐标计算底边中点坐标(u,v)。计算单应矩阵H的逆矩阵H-1，利用公式
Figure BDA0002236910070000112
计算出各目标底边中点在支架坐标系下的世界坐标，建立俯瞰图如图9所示，图9中pos为目标位置坐标，type为目标类别，ID为目标编号。
在实时拍摄图像的第一帧，构建全目标序列，包含第一帧中检出目标的编号、漏检次数、世界坐标、当前时间，其中编号从0开始，漏检次数均初始化为0。使用pythonitertools的permutations函数对当前帧检出目标的世界坐标进行全排列，并将其与全目标序列中各目标的世界坐标一一对应，计算相应的欧氏距离，并将其加和，找出距离和最小的排列，该排列对应最佳匹配结果。将当前帧目标的世界坐标及检测时间加入至全目标序列中对应目标的位置，构建的全目标序列举例为：
[5,2[1033.5,718,(850,23),(1217,718),1570794335.1685054],[923.5,720,(722,16),(1125,720),1570794336.2359662],[762.0,720,(595,0),(929,720),1570794337.3094258],[852.5,720,(677,0),(1028,720),1570794338.3822205],[933.0,711,(747,27),(1119,711),1570794339.4623163],[949.0,718,(756,22),(1142,718),1570794340.5465097]]。
全目标序列中某一目标的信息累积至6帧时，即开始计算其速度信息。分别计算第1帧与第4帧、第2帧与第5帧、第3帧与第6帧的世界坐标之间的距离，并除以相应时间间隔，将得到的三个结果取平均，即为该目标的速度。将最终的位置、速度测量结果显示在俯瞰图中，如图10所示，图10中pos为目标位置坐标，type为目标类别，ID为目标编号，vel为目标速度，dist为目标距离。
请参照图6，图6本发明位置速度测量系统的结构示意图。如图6所示，本发明的位置速度测量系统，应用前述的位置速度测量方法，位置速度测量系统包括：单应矩阵获得单元11、图像坐标获得单元12、地面坐标获得单元13、关联单元14及速度获得单元15。
其中，单应矩阵获得单元11对单目相机10进行标定，获得地面坐标系到图像坐标系的单应矩阵；图像坐标获得单元12根据标定好的单目相机进行图像采集获得的实时图像，通过深度学习的方法对所述实时图像进行逐帧检测，得到目标在实时图像中的图像坐标；地面坐标获得单元13根据图像坐标和单应矩阵获得目标在所述地面坐标系的地面坐标，并获得目标于俯瞰图中的位置；关联单元14对实时图像的相邻多帧图像中的目标进行相关性匹配，找到同一目标并建立关联；速度获得单元15根据同一目标在不同帧图像中的地面坐标获得目标的速度。
进一步地，单应矩阵获得单元11包括：标定场设置模块111、第一测量特征点坐标获得模块112、第二测量特征点坐标获得模块113及单应矩阵获得模块114。
其中，标定场设置模块11于单目相机10的视场内在地面设置标定场；第一测量特征点坐标获得模块112以单目相机固定处的底端为原点建立地面坐标系，根据测量特征点之间的距离以及标定场到单目相机固定处的底端的距离，获得地面坐标系中测量特征点的坐标；第二测量特征点坐标获得模块113根据拍摄的标定场图像，获得图像坐标系中测量特征点的坐标；单应矩阵获得模块114根据地面坐标系中测量特征点的坐标及图像坐标系中测量特征点的坐标获得单应矩阵。
再进一步地，地面坐标获得单元13包括：第一计算模块131及俯瞰图建立模块132；第一计算模块131计算实时图像中目标检测框的底边中点的坐标；俯瞰图建立模块132根据单应矩阵，计算每一目标在地面坐标系下的世界坐标，并建立俯瞰图。
其中，俯瞰图建立模块通过单应矩阵，由以下公式获得每一目标在地面坐标系下的世界坐标(X,Y)：
Figure BDA0002236910070000121
H为坐标系转换中从世界坐标系到像素坐标系的转换系数矩阵。其意义是真实坐标和像素点的对应关系。可以通过标准的测量方法得到
又进一步地，关联单元14包括：
全目标序列构建模块141根据实时图像的第一帧构建全目标序列；其中，全目标序列包括：目标编号、漏检次数、世界坐标及当前时间；
比较模块142比较当前帧与全目标序列中的目标数量；
排列模块143将当前帧的目标的世界坐标进行全排列；
第二计算模块144将全目标序列中各个目标的世界坐标与当前帧目标世界坐标全排列中的某一个排列进行一一对应后，分别计算其欧氏距离，并将计算结果进行加和处理；
匹配模块145将得到的所有加和处理的结果进行比较，找到最小值，此最小值对应的当前帧目标世界坐标全排列中的该排列为最佳匹配结果，将当前帧目标的世界坐标及检测时间加入至所述全目标序列中对应目标的位置，如果当前帧某一目标未加入至所述全目标序列中，则认为该目标为新目标，在所述全目标序列中初始化一个相应的序列，如果所述全目标序列中某一目标未有当前帧目标信息加入，则认为该目标在当前帧漏检，将漏检数增加1，如果漏检数达到3则将其从所述全目标序列中去除；
更新模块146更新全目标序列，当全目标序列中一目标存有超过6帧的世界坐标，则将最早一帧的信息去除。
更进一步地，速度获得单元15包括：查找模块151、第一速度值获得模块152及最终速度值获得模块153；查找模块151遍历全目标序列，找出其中存有6帧世界坐标的目标；第一速度值获得模块152计算世界坐标之间的距离，并除以相应时间间隔获得多个第一速度值；最终速度值获得模块153对多个第一速度值进行处理获得目标的最终速度值。
其中，第一速度值获得模块152分别计算第1帧与第4帧、第2帧与第5帧、第3帧与第6帧的世界坐标之间的距离，并除以相应时间间隔，获得三个第一速度值，最终速度值获得模块153对三个第一速度值进行求均值处理获得最终速度值。
综上所述，本发明使用单目相机，通过深度学习的方法检测行人车辆等目标，通过标定得到的单应矩阵，计算目标在世界坐标系下的位置，并通过视频序列，构建多帧之间目标的相关性匹配，通过差分进行速度测量，测量方法具有较高实时性，进一步提升检测速度。
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种基于单目相机监控场景下目标的位置速度测量方法，其特征在于，包括：步骤S1：对单目相机进行标定，获得地面坐标系到图像坐标系的单应矩阵；
步骤S2：根据标定好的所述单目相机进行图像采集获得的实时图像，通过深度学习的方法对所述实时图像进行逐帧检测，得到目标在实时图像中的图像坐标；
步骤S3：根据所述图像坐标和所述单应矩阵获得所述目标在所述地面坐标系的地面坐标，并获得所述目标于俯瞰图中的位置；
步骤S4：对所述实时图像的相邻多帧图像中的所述目标进行相关性匹配，找到同一所述目标并建立关联；
步骤S5：根据同一所述目标在不同帧图像中的地面坐标获得所述目标的速度；
所述步骤S4包括：
步骤S41：根据所述实时图像的第一帧构建全目标序列；
步骤S42：比较当前帧与所述全目标序列中的目标数量；
步骤S43：将所述当前帧的目标的世界坐标进行全排列；
步骤S44：将所述全目标序列中各个目标的世界坐标与当前帧目标世界坐标全排列中的某一个排列进行一一对应后，分别计算其欧氏距离，并将计算结果进行加和处理；
步骤S45：将得到的所有加和处理的结果进行比较，找到最小值，此最小值对应的当前帧目标世界坐标全排列中的该排列为最佳匹配结果，将当前帧目标的世界坐标及检测时间加入至所述全目标序列中对应目标的位置；
步骤S46：如果当前帧某一目标未加入至所述全目标序列中，则认为该目标为新目标，在所述全目标序列中初始化一个相应的序列；
步骤S47：如果所述全目标序列中某一目标未有当前帧目标信息加入，则认为该目标在当前帧漏检，将漏检数增加1，如果漏检数达到3则将其从所述全目标序列中去除；
步骤S48：更新所述全目标序列，当所述全目标序列中一目标存有超过6帧的世界坐标，则将最早一帧的信息去除。
2.如权利要求1所述的位置速度测量方法，其特征在于，于所述步骤S1中包括：步骤S11：于所述单目相机的视场内的地面上设置标定场；
步骤S12：以单目相机固定处的底端为原点建立地面坐标系，根据测量特征点之间的距离以及所述标定场到所述单目相机固定处的底端的距离，获得地面坐标系中所述测量特征点的坐标；
步骤S13：拍摄标定场图像，获得图像坐标系中所述测量特征点的坐标；
步骤S14：根据地面坐标系中所述测量特征点的坐标及图像坐标系中所述测量特征点的坐标获得单应矩阵。
3.如权利要求1所述的位置速度测量方法，其特征在于，于所述步骤S3中包括：步骤S31：计算所述实时图像中目标检测框的底边中点的坐标；
步骤S32：根据所述单应矩阵，计算每一所述目标在地面坐标系下的世界坐标，并建立所述俯瞰图。
4.如权利要求1所述的位置速度测量方法，其特征在于，于所述步骤S5中包括：步骤S51：遍历所述全目标序列，找出其中存有6帧世界坐标的目标；
步骤S52：计算世界坐标之间的距离，并除以相应时间间隔获得多个第一速度值；
步骤S53：对多个所述第一速度值进行处理获得目标的最终速度值。
5.如权利要求3所述的位置速度测量方法，其特征在于，于所述步骤S32中，通过所述单应矩阵，由以下公式获得每一所述目标在地面坐标系下的世界坐标(X,Y)：
Figure 176632DEST_PATH_IMAGE001
，其中u、v为实时图像中目标检测框的底边中点的坐标。
6.如权利要求1所述的位置速度测量方法，其特征在于，于所述步骤S41中，所述全目标序列包括：目标编号、漏检次数、世界坐标及当前时间。
7.如权利要求4所述的位置速度测量方法，其特征在于，于所述步骤S53中，分别计算第1帧与第4帧、第2帧与第5帧、第3帧与第6帧的世界坐标之间的距离，并除以相应时间间隔，获得三个所述第一速度值，对三个所述第一速度值进行求均值处理获得所述最终速度值。
8.一种基于单目相机监控场景下目标的位置速度测量系统，其特征在于，包括：单应矩阵获得单元，对单目相机进行标定，获得地面坐标系到图像坐标系的单应矩阵；
图像坐标获得单元，根据标定好的所述单目相机进行图像采集获得的实时图像，通过深度学习的方法对所述实时图像进行逐帧检测，得到目标在实时图像中的图像坐标；
地面坐标获得单元，根据所述图像坐标和所述单应矩阵获得所述目标在所述地面坐标系的地面坐标，并获得所述目标于俯瞰图中的位置；
关联单元，对所述实时图像的相邻多帧图像中的所述目标进行相关性匹配，找到同一所述目标并建立关联；
速度获得单元，根据同一所述目标在不同帧图像中的地面坐标获得所述目标的速度；
所述关联单元包括：
全目标序列构建模块，根据所述实时图像的第一帧构建全目标序列；
比较模块，比较当前帧与所述全目标序列中的目标数量；
排列模块，将所述当前帧的目标的世界坐标进行全排列；
第二计算模块，将所述全目标序列中各个目标的世界坐标与当前帧目标世界坐标全排列中的某一个排列进行一一对应后，分别计算其欧氏距离，并将计算结果进行加和处理；
匹配模块，将得到的所有加和处理的结果进行比较，找到最小值，此最小值对应的当前帧目标世界坐标全排列中的该排列为最佳匹配结果，将当前帧目标的世界坐标及检测时间加入至所述全目标序列中对应目标的位置，如果当前帧某一目标未加入至所述全目标序列中，则认为该目标为新目标，在所述全目标序列中初始化一个相应的序列，如果所述全目标序列中某一目标未有当前帧目标信息加入，则认为该目标在当前帧漏检，将漏检数增加1，如果漏检数达到3则将其从所述全目标序列中去除；
更新模块，更新所述全目标序列，当所述全目标序列中一目标存有超过6帧的世界坐标，则将最早一帧的信息去除。
9.如权利要求8所述的位置速度测量系统，其特征在于，所述单应矩阵获得单元包括：标定场设置模块，于所述单目相机的视场内的地面上设置标定场；
第一测量特征点坐标获得模块，以单目相机固定处的底端为原点建立地面坐标系，根据测量特征点之间的距离以及所述标定场到所述单目相机固定处的底端的距离，获得地面坐标系中所述测量特征点的坐标；
第二测量特征点坐标获得模块，根据拍摄的标定场图像，获得图像坐标系中所述测量特征点的坐标；
单应矩阵获得模块，根据地面坐标系中所述测量特征点的坐标及图像坐标系中所述测量特征点的坐标获得单应矩阵。
10.如权利要求8所述的位置速度测量系统，其特征在于，所述地面坐标获得单元包括：第一计算模块，计算所述实时图像中目标检测框的底边中点的坐标；
俯瞰图建立模块，根据所述单应矩阵，计算每一所述目标在地面坐标系下的世界坐标，并建立所述俯瞰图。
11.如权利要求8所述的位置速度测量系统，其特征在于，所述速度获得单元包括：查找模块，遍历所述全目标序列，找出其中存有6帧世界坐标的目标；
第一速度值获得模块，计算世界坐标之间的距离，并除以相应时间间隔获得多个第一速度值；
最终速度值获得模块，对多个所述第一速度值进行处理获得目标的最终速度值。
12.如权利要求10所述的位置速度测量系统，其特征在于，所述俯瞰图建立模块通过所述单应矩阵，由以下公式获得每一所述目标在地面坐标系下的世界坐标(X,Y)：
Figure 297035DEST_PATH_IMAGE001
，其中u、v为实时图像中目标检测框的底边中点的坐标。
13.如权利要求8所述的位置速度测量系统，其特征在于，所述全目标序列包括：目标编号、漏检次数、世界坐标及当前时间。
14.如权利要求11所述的位置速度测量系统，其特征在于，所述第一速度值获得模块，分别计算第1帧与第4帧、第2帧与第5帧、第3帧与第6帧的世界坐标之间的距离，并除以相应时间间隔，获得三个所述第一速度值，所述最终速度值获得模块对三个所述第一速度值进行求均值处理获得所述最终速度值。
CN201910986660.4A 2019-10-17 2019-10-17 基于单目相机监控场景下目标的位置速度测量方法及系统 Active CN110929567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910986660.4A CN110929567B (zh) 2019-10-17 2019-10-17 基于单目相机监控场景下目标的位置速度测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910986660.4A CN110929567B (zh) 2019-10-17 2019-10-17 基于单目相机监控场景下目标的位置速度测量方法及系统

Publications (2)

Publication Number Publication Date
CN110929567A CN110929567A (zh) 2020-03-27
CN110929567B true CN110929567B (zh) 2022-09-27

Family

ID=69849339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910986660.4A Active CN110929567B (zh) 2019-10-17 2019-10-17 基于单目相机监控场景下目标的位置速度测量方法及系统

Country Status (1)

Country Link
CN (1) CN110929567B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021223124A1 (zh) * 2020-05-06 2021-11-11 深圳市大疆创新科技有限公司 位置信息获取方法、设备及存储介质
CN111928857B (zh) * 2020-10-14 2021-01-05 蘑菇车联信息科技有限公司 一种动态环境中实现slam定位的方法及相关装置
CN112422910A (zh) * 2020-11-10 2021-02-26 张庆华 一种通过监控画面判断人员方向运动速度的方法
CN112798811B (zh) * 2020-12-30 2023-07-28 杭州海康威视数字技术股份有限公司 速度测量方法、装置和设备
CN113096151B (zh) * 2021-04-07 2022-08-09 地平线征程(杭州)人工智能科技有限公司 对目标的运动信息进行检测的方法和装置、设备和介质
CN114527294B (zh) * 2022-04-24 2022-07-26 安徽科大擎天科技有限公司 一种基于单个摄像头的目标速度测量方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158640A (ja) * 2006-12-21 2008-07-10 Fuji Heavy Ind Ltd 移動物体検出装置
CN104036522A (zh) * 2014-04-16 2014-09-10 嘉兴博海信息科技有限公司 一种基于视频中运动目标识别的流水速度监测方法
CN106780538A (zh) * 2016-12-30 2017-05-31 南京仁光电子科技有限公司 一种解决图像跟踪过程中误匹配的方法
CN106803270A (zh) * 2017-01-13 2017-06-06 西北工业大学深圳研究院 无人机平台基于单目slam的多关键帧协同地面目标定位方法
CN109212545A (zh) * 2018-09-19 2019-01-15 长沙超创电子科技有限公司 基于主动视觉的多信源目标跟踪测量系统及跟踪方法
CN109615641A (zh) * 2018-11-23 2019-04-12 中山大学 基于kcf算法的多目标行人跟踪系统及跟踪方法
CN110044374A (zh) * 2018-01-17 2019-07-23 南京火眼猴信息科技有限公司 一种基于图像特征的单目视觉测量里程的方法及里程计
CN110070560A (zh) * 2019-03-20 2019-07-30 西安理工大学 基于目标检测的物体运动方向识别方法
CN110110649A (zh) * 2019-05-02 2019-08-09 西安电子科技大学 基于速度方向的可选择性人脸检测方法
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10685244B2 (en) * 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158640A (ja) * 2006-12-21 2008-07-10 Fuji Heavy Ind Ltd 移動物体検出装置
CN104036522A (zh) * 2014-04-16 2014-09-10 嘉兴博海信息科技有限公司 一种基于视频中运动目标识别的流水速度监测方法
CN106780538A (zh) * 2016-12-30 2017-05-31 南京仁光电子科技有限公司 一种解决图像跟踪过程中误匹配的方法
CN106803270A (zh) * 2017-01-13 2017-06-06 西北工业大学深圳研究院 无人机平台基于单目slam的多关键帧协同地面目标定位方法
CN110044374A (zh) * 2018-01-17 2019-07-23 南京火眼猴信息科技有限公司 一种基于图像特征的单目视觉测量里程的方法及里程计
CN109212545A (zh) * 2018-09-19 2019-01-15 长沙超创电子科技有限公司 基于主动视觉的多信源目标跟踪测量系统及跟踪方法
CN109615641A (zh) * 2018-11-23 2019-04-12 中山大学 基于kcf算法的多目标行人跟踪系统及跟踪方法
CN110070560A (zh) * 2019-03-20 2019-07-30 西安理工大学 基于目标检测的物体运动方向识别方法
CN110110649A (zh) * 2019-05-02 2019-08-09 西安电子科技大学 基于速度方向的可选择性人脸检测方法
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Online Multi-Object Tracking with Three-Stage Data Association;Shijun He et al;《2019 IEEE International Conference on Computational Electromagnetics (ICCEM)》;20190729;第1-3页 *
基于单目视频的车辆测速研究;潘振军;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20180315;第2018年卷(第03期);31页第1段、32页第3-4段、42页第4段、43页第2段、第52页第1段 *

Also Published As

Publication number Publication date
CN110929567A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN110929567B (zh) 基于单目相机监控场景下目标的位置速度测量方法及系统
CN105335955B (zh) 对象检测方法和对象检测装置
CN107615334B (zh) 物体识别装置以及物体识别系统
JP4800455B2 (ja) 車速計測方法および装置
US9070023B2 (en) System and method of alerting a driver that visual perception of pedestrian may be difficult
Kumar et al. A semi-automatic 2D solution for vehicle speed estimation from monocular videos
CN108197604A (zh) 基于嵌入式设备的快速人脸定位跟踪方法
CN108805832B (zh) 适于隧道环境特性的改进灰度投影稳像方法
WO2008020598A1 (fr) Dispositif et procédé de détection d'un nombre d'objets
KR102522928B1 (ko) 차량의 이동 속도 추정 방법 및 장치
JP2002373332A (ja) 画像認識装置および画像認識方法
CN107894189A (zh) 一种目标点自动追踪的光电瞄准系统及其自动追踪方法
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
CN108960115A (zh) 基于角点的多方向文本检测方法
Dawson et al. An energy minimization approach to automatic traffic camera calibration
CN108399627A (zh) 视频帧间目标运动估计方法、装置和实现装置
US20220366570A1 (en) Object tracking device and object tracking method
CN111368797A (zh) 一种基于路端单目摄像头的目标实时测距方法
CN112017243B (zh) 一种介质能见度识别方法
CN112906777A (zh) 目标检测方法、装置、电子设备及存储介质
CN110718068B (zh) 一种道路监控摄像机安装角度估计方法
CN112541938A (zh) 一种行人速度测量方法、系统、介质及计算设备
CN107506753B (zh) 一种面向动态视频监控的多车辆跟踪方法
CN110555423B (zh) 基于多维运动摄像机的航拍视频的交通参数提取方法
CN112016558B (zh) 一种基于图像质量的介质能见度识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant