CN110322702B - 一种基于双目立体视觉系统的车辆智能测速方法 - Google Patents

一种基于双目立体视觉系统的车辆智能测速方法 Download PDF

Info

Publication number
CN110322702B
CN110322702B CN201910608772.6A CN201910608772A CN110322702B CN 110322702 B CN110322702 B CN 110322702B CN 201910608772 A CN201910608772 A CN 201910608772A CN 110322702 B CN110322702 B CN 110322702B
Authority
CN
China
Prior art keywords
matching
point
vision system
license plate
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910608772.6A
Other languages
English (en)
Other versions
CN110322702A (zh
Inventor
杨蕾
宋晓炜
李梦龙
李渊
蔡文静
罗建晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongyuan University of Technology
Original Assignee
Zhongyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongyuan University of Technology filed Critical Zhongyuan University of Technology
Priority to CN201910608772.6A priority Critical patent/CN110322702B/zh
Publication of CN110322702A publication Critical patent/CN110322702A/zh
Priority to US17/624,508 priority patent/US11922643B2/en
Priority to PCT/CN2020/105454 priority patent/WO2021004548A1/zh
Application granted granted Critical
Publication of CN110322702B publication Critical patent/CN110322702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于双目立体视觉系统的车辆智能测速方法，其步骤如下：车牌作为检测特征对SSD神经网络进行训练得到车牌识别模型；对双目立体视觉系统进行标定获取两部相机的自身参数和外部参数；利用车牌识别模型对获取的视频帧进行车牌检测，定位出目标车辆的车牌位置；基于特征的匹配算法对车牌位置进行特征点提取和立体匹配；对保留的匹配点进行筛选和剔除，保留位置最接近车牌中心的匹配点的坐标；对筛选后的匹配点对进行立体测量，获取空间坐标下的位置；计算目标车辆在一定时间内通过的距离，获得目标车辆运行速度。本发明安装调试简易、可以同时自动识别经过训练的多种特征，能够更好地满足未来智能交通网络及物联网的发展需求。

Description

一种基于双目立体视觉系统的车辆智能测速方法
技术领域
本发明涉及双目立体视觉的技术领域，尤其涉及一种基于双目立体视觉系统的车辆智能测速方法。
背景技术
传统的交通监控系统通常是通过安装在道路上方或者侧面的摄像设备对道路进行拍摄，进而配合预埋线圈或者雷达、激光雷达等方式检测超速行为并拍照取证，需要多个系统配合工作才可以完成测速、车牌识别、取证并记录的工作，安装铺设和调试工作相对复杂。而对于其他违规驾驶行为，诸如驾驶过程中接听电话、未系安全带等行为通常还需要人为查看视频或图像记录进行检测。而面对越来越多的车辆，人工检测违规行为的方式显然将无法满足未来道路监控发展的需求。智能交通的建设迫在眉睫。
双目立体视觉系统是机器视觉领域的一个十分经典的视觉体系，它利用两部摄像机获取一对存在一定视差的视频图像，通过对两幅图像中差异进行计算即可获取物体在现实三维空间中的一些状态。用的雷达、激光等测速方法，需破坏道路埋设线圈且不能同时测量视野内所有车辆目标，不能够在起伏路段及转向路段完成车辆测速。
发明内容
针对现有车辆测速方法需要破坏道路且不能测量视野内的所有车辆的技术问题，本发明提出一种基于双目立体视觉系统的车辆智能测速方法，利用双目立体视觉系统测速具有探测隐秘性，无需破坏道路埋设线圈且可以同时测量视野内所有车辆目标，能够在起伏路段及转向路段完成车辆测速。。
为了达到上述目的，本发明的技术方案是这样实现的：一种基于双目立体视觉系统的车辆智能测速方法，其步骤如下：
步骤一：将带有车牌的图像组成的数据集输入SSD神经网络，车牌作为检测特征对SSD神经网络进行训练得到车牌识别模型；
步骤二：将双目立体视觉系统架设在车道右侧、中间或上方，利用对双目立体视觉系统进行标定获取两部相机的自身参数和外部参数；利用标定后的双目立体视觉系统拍摄运动的目标车辆的视频；
步骤三：利用步骤一训练好的车牌识别模型对标定好的双目立体视觉系统获取的视频帧进行车牌检测，定位出目标车辆的车牌位置；
步骤四：利用基于特征的匹配算法对同一相机的前后帧图像中车牌位置进行特征点提取和立体匹配，通过单应性矩阵过滤后保留正确的匹配点；利用基于特征的匹配算法对双目立体视觉系统左右路对应视频帧中的对应车牌进行特征点提取和立体匹配，利用单应性矩阵过滤后将正确的匹配点进行保留；
步骤五：对步骤四保留的匹配点对进行进一步筛选，然后利用双目立体视觉系统测距的方法对筛选后的匹配点进行剔除，保留位置最接近车牌中心的匹配点的坐标作为当前帧中目标车辆所处的位置；
步骤六：利用双目立体视觉系统对筛选后的匹配点对进行立体测量，获取空间坐标下的位置；通过位置信息计算目标车辆在一定时间内通过的距离，获得目标车辆运行速度。
所述步骤一中的SSD神经网络是在经典SSD神经网络的基础上去除了卷积层conv11_2，采用conv4_3、conv7、conv8_2、conv9_2、conv10_2和conv11_2层，将各卷积层提取的不同尺度的特征信息进行融合并输入到分类器中，车牌识别模型通过分类器输出的特征图预测车牌的位置。
所述数据集包括北京理工大学提供的BIT-Vehicle数据集、广东省智能交通系统重点实验室主持的OpenITS研究计划提供的车牌公开数据库以及自行拍摄的1000张车辆车牌图像，共计11000幅图像。
所述双目立体视觉系统包括两部相机和上位机，两部相机均采用flea2工业摄像机，两部相机包括左目相机和右目相机，左目相机和右目相机均与上位机相连接。
所述步骤二中对双目立体视觉系统进行标定的方法是：利用张正友标定法对两部相机进行标定，获取两部相机各自的光心坐标、焦距、尺度因子和/或镜头畸变的参数；获取两部相机自身参数后再利用张正友标定法对双目立体视觉系统进行标定，以左目相机为基准，通过标定获取右目相机相对左目相机的位移以及旋转角度。
所述双目立体视觉系统的三维测量原理为：以左目相机为主相机，经过张正友标定法标定操作获取右目相机的相对平移向量T1＝(l,m,n)T、相对旋转向量V＝(α,β,γ)T的外参数及两部相机自身的焦距、光轴角度、畸变的内参数；l,m,n分别表示右目相机相对于左目相机在x、y、z轴三个方向上的平移距离，α,β,γ分别表示右目相机相对于左目相机绕x、y、z三个轴的旋转角度；
相机外参数及双目立体视觉系统的会聚点为：
Figure GDA0002503681920000021
其中，B为两目相机的基线，ε表示两目相机光轴之间的夹角；
建立目标夹角的变换模型，同一空间点在两部相机内的成像点分别称为左对应点和右对应点，左对应点和右对应点分别为左目相机、右目相机的光轴与各自图像平面的交点；a’、b’分别为左对应点、右对应点和会聚点在图像坐标系的u方向上像素的差值，且：若左对应点或右对应点在会聚点的左边，则差值<0，反之差值>0；
光轴垂直于各自的图像平面，光心到目标点的连线称为对应周，对应周与光轴的夹角a、b的计算公式为：
Figure GDA0002503681920000031
其中，fl、fr分别表示左目相机和右目相机的焦距；
当目标处于区域I中时，目标夹角c表示为：
Figure GDA0002503681920000032
设目标点P位于左侧区域，该点的世界坐标为(x，y，z)，建立目标点P的深度计算模型，则：
Figure GDA0002503681920000033
Figure GDA0002503681920000034
联立可得
Figure GDA0002503681920000035
通过目标点P的深度计算模型计算x的世界坐标为
Figure GDA0002503681920000036
根据左对应点和右对应点在图像坐标系的关系及图像坐标系与世界坐标系的关系可以得到y的世界坐标；
得到目标点P的世界坐标为：
Figure GDA0002503681920000037
其中，v′表示目标点在图像坐标系的纵向上到图像中心点的像素差值；同理，可得到目标点处于区域II、区域III和区域IV的世界坐标。
所述基于特征的匹配算法为SURF特征提取和匹配算法，利用SURF描述子对视频图像的局部特征进行描述；所述单应性矩阵过滤描述针对同一事物在不同的视角下拍摄的两幅图像之间的关系：假设两幅图像之间是透视变换，则单应性矩阵H为：
Figure GDA0002503681920000041
则有
Figure GDA0002503681920000042
其中，x′、y′、1及x、y、1分别表示单应性矩阵变换前后两个匹配点的坐标，h11-32为需要求得的变换参数；
要计算出单应性矩阵H中的8个变换参数h11-32，需要至少4对匹配点，过程如下：
Figure GDA0002503681920000043
每次从所有的匹配点中选出4对，计算单应性矩阵H，然后选出准确匹配点个数最多时的单应性矩阵H矩阵作为正确结果；为了校验单应性矩阵H的准确性，计算经过透视变换后对应匹配点之间欧氏距离：
Figure GDA0002503681920000044
其中，x′i1、y′i1、1及xi1、yi1、1分别表示变换前后匹配点的坐标，t为欧氏距离阈值，i1＝1,2,3,4；欧氏距离越小表明两个匹配点的匹配准确度越高。
所述步骤五中筛选的方法为：在左目相机的视频帧中的车牌区域中取一个以该区域的中心点为圆心、以区域高度为直径的圆，而在对应的右目相机的视频对应帧中以匹配区域中心为圆心取等大的圆形区域，将不同时包含在这两个圆内的匹配点剔除。
所述步骤五中双目立体视觉系统测距的方法为：分别计算所有N个匹配点的距离di、平均值μ和标准差σ，并计算出每个匹配点的Z分数Zi：
Figure GDA0002503681920000051
Figure GDA0002503681920000052
Figure GDA0002503681920000053
将Z分数Zi绝对值大于1的m1个匹配点剔除，并将余下的N-m1个的匹配点中位置最接近车牌中心的匹配点的坐标作为当前帧中目标车辆所处位置Pi。
所述步骤六中利用双目立体视觉系统对筛选后的匹配点对进行立体测量，获得时间t1时目标车辆的位置为P1＝(x1,y1,z1)，时间t2时目标车辆的位置为P2＝(x2,y2,z2)，时间间隔均为Δt＝t1-t2，则计算出目标车辆在P1和P2点位置之间的平均速度s为：
Figure GDA0002503681920000054
本发明的有益效果：利用双目立体视觉系统作为车辆视频获取设备，利用经过训练的SSD神经网络自动识别和定位车辆位置，通过图像匹配算法对双目立体视频中的相同目标进行追踪和立体匹配，最后利用双目立体视觉系统检测出车辆的空间位置，计算出车辆速度；其中双目立体视觉系统安装调试简易、可以同时自动识别经过训练的多种特征，能够更好地满足未来智能交通网络及物联网的发展需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图。
图2为SSD神经网络的结构图。
图3为会聚型双目立体视觉系统结构示意图。
图4为目标夹角的变换模型示意图。
图5为目标点的深度计算模型示意图。
图6为y值的计算方法示意图，其中，(a)在像平面上目标点相对于中心点的位置，(b)表示实际空间中目标点与相机光轴的相对位置。
图7为SURF特征提取和匹配算法的流程图。
图8为单目视频帧特征点匹配与双目立体匹配的流程图。
图9为单路视频中车牌追踪效果图，其中，(a)为前一帧图像，(b)为前帧中白色车牌与后帧图像匹配结果，(c)为(b)利用单应性矩阵过滤后的匹配效果。
图10为匹配点进一步筛选的示意图。
图11为第一组实验三维目标车辆位于15米处SSD提取的车牌目标，其中，(a)左目视频图像，(b)为右目视频图像。
图12为第一组实验的目标车辆位于1米处SSD提取的车牌目标，其中，(a)左目视频图像，(b)为右目视频图像。
图13为第一组实验的对左右目对应视频帧车牌区域匹配的示意图。
图14为匀速直线实验的测速结果对比图。
图15为第二组变速直线实验拍摄视频截图及车牌检测结果，其中，(a)左目视频图像，(b)为右目视频图像。
图16为变速直线实验测速结果对比图。
图17为第三组转向实验左右目视频部分对应截图(每3帧取1帧)及车牌检测结果，其中，(a1)为左目视频图像1，(a2)为左目视频图像2，(a3)为左目视频图像3，(b1)为右目视频图像1，(b2)为右目视频图像2，(b3)为右目视频图像3。
图18为第三组转向实验测速结果对比图。
图19为两车相向行驶测速实验拍摄视频截图及车牌检测结果图，其中，(a)为左目视频图像1，(b)为右目视频图像1，(c)为左目视频图像2，(d)为右目视频图像2。
图20为两车相向行驶实验测速结果对比图，其中，(a)为左侧驶近车辆测速结果，(b)右侧驶离车辆测速结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于双目立体视觉系统的车辆智能测速方法，其步骤如下：
步骤一：将公开的交通监控视频中带有车牌的图像输入SSD神经网络，车牌作为检测特征对SSD神经网络进行训练得到车牌识别模型。
在双目立体视觉系统拍摄的交通视频中检测车辆运动状态，首先要实现对车辆位置的准确检测。为了适应智能交通网络的发展需求以及越来越大的交通视频数据量带来的压力，针对交通视频监控这一类特殊场景，选择基于精度较好且检测速度快的SSD神经网络来实现视频中车辆目标的自动检测及定位。训练一个基于SSD神经网络算法的车牌识别模型备用。在这里，将国内燃油车辆的车牌作为检测的目标，因为其具有标准样式、尺寸统一、纹理较为丰富、外形规则平坦且目标相对较小，有助于提高位置检测的准确性，便于在之后更好的获取匹配点的位置进行三维信息测量。不同于传统基于图像处理的车牌检测方法，不仅可以将车牌作为目标车辆的一个检测特征，还可以加入车标、车轮、车窗、倒车镜等特征，进一步提高车牌目标检测的精确度，且可以在后续应用中用于对违章车辆进行目标识别。
根据道路监控视野及拍摄画面中目标尺寸分布情况，本发明所用检测网络在经典SSD神经网络的基础上，去除了卷积层conv11_2，采用conv4_3、conv7、conv8_2、conv9_2、conv10_2和conv11_2层，将各卷积层提取的不同尺度的特征信息进行融合并输入到分类器中，以这些层输出的特征图来预测车牌的位置。
利用北京理工大学提供的BIT-Vehicle数据集，广东省智能交通系统重点实验室主持的OpenITS研究计划提供的车牌公开数据库(http://www.openits.cn/)以及本发明团队自行拍摄的1000张车辆车牌图片，共计11000幅图像训练SSD神经网络，对交通监控视频中的车牌目标进行自动识别和定位。通过SSD神经网络训练的车牌识别模型可以对视频中每帧图像的车牌进行准确识别。
步骤二：将双目立体视觉系统架设在车道右侧、中间或上方，利用对双目立体视觉系统进行标定获取两部相机的自身参数和外部参数；利用标定后的双目立体视觉系统拍摄运动的目标车辆的视频。
使用了两部POINT GRAY公司的flea2工业摄像机以及一台笔记本电脑搭建双目立体视觉系统，作为测速平台，两部摄像机同步拍摄测速区域，使用USB数据线与笔记本电脑进行通信。使用的笔记本电脑搭载酷睿i7 CPU、8G内存、英伟达Geforce 830M独立显卡以及固态硬盘。将双目立体视觉系统架设在车道右侧、车道中间或车道上方，确保两部相机均能拍摄到车辆车牌(前后车牌均可)。之后，对双目立体视觉系统的两目相机进行标定，获取两目相机的内外参数。本发明利用张正友标定法对两目相机进行标定，以获取两部相机各自的光心坐标、焦距、尺度因子、镜头畸变等参数。在获取相机自身参数后再利用张正友标定法对双目立体视觉系统进行标定，在本实验中，以左目相机为基准，通过标定获取右目相机相对左目相机的位移以及旋转。
在实际测量，每次改变相机位置后都要对相机系统进行标定操作，以保证测量的准确性。在获取相机系统内部和外部参数之后，将利用这套双目立体视觉系统进行测距、测速的工作。利用标定的双目立体视觉系统拍摄运动车辆，左右目相机视频画面拍摄区域存在一定差异，且拍摄角度略有不同，两幅图像存在一定的视差。利用双目立体视觉系统三维测量原理进行处理，双目立体视觉系统三维测量原理以左目相机为主相机，经过张正友标定法标定操作，便可以获取双目立体视觉系统中右目相机的相对平移向量T1＝(l,m,n)T、相对旋转向量V＝(α,β,γ)T等外参数以及两部相机自身诸如焦距、光轴角度、畸变等内参数，l,m,n分别表示右目相机相对于左目相机在x、y、z轴三个方向上的平移距离，α,β,γ分别表示右目相机相对于左目相机绕x、y、z三个轴的旋转角度。进而可以获取两目相机的之间间距即基线长度B以及两目相机光轴之间的夹角ε，相机外参及双目立体视觉系统的会聚点，如图3所示。
相机外参及双目立体视觉系统的会聚点为：
Figure GDA0002503681920000081
在获取到基线长度和变换角度之后，即可计算目标夹角c以及目标物体的深度信息。目标夹角的变换模型如图4所示。同一空间点在两部摄像机内的成像点被分别称为左对应点(LCP)和右对应点(RCP)。而LPP和RPP分别为左、右目相机的光轴与各自图像平面的交点。a’、b’分别为对应点和主点(会聚点)在u方向上像素的差值，并规定：如对应点在主点左边，则差值<0，反之差值>0。当目标位于区域1中时，a’、b’都小于0。光轴垂直于各自的图像平面，光心到目标点的连线称为对应周，其与光轴的夹角a、b可由以下公式计算：
Figure GDA0002503681920000082
其中，fl、fr表示两部摄像机的焦距。当目标处于区域I中时，目标夹角c表示为：
Figure GDA0002503681920000083
而在另外三个区域中可以得到类似的目标夹角推导，在区域II中a’<0、b’>0，在区域III中a’>0、b’>0，在区域IV中a’>0、b’<0。目标点P的深度计算模型如图5所示，设目标点P位于区域I，目标点P的世界坐标为(x，y，z)，则：
Figure GDA0002503681920000084
图5中a为负值
Figure GDA0002503681920000091
联立公式可得
Figure GDA0002503681920000092
如上可以计算得到x的世界坐标。目标待测点通过映射关系在左目相机里面的投影点叫做左对应点LCP，左主点即会聚点LPP是左目相机的光轴和二维成像面的交汇点。如图6所示，在左图像坐标系内，左对应点LCP与会聚点LPP处于v方向(即图像坐标系的纵向)上的像素差值是v'，fl则是左目相机的焦距，所以有：
Figure GDA0002503681920000093
综上所述，可以得到目标点P的世界坐标为：
Figure GDA0002503681920000094
同理，可得到目标点处于区域II、区域III和区域IV的世界坐标，具体参看发明专利CN 107705331 A一种基于多视点摄像机的车辆视频测速方法。进一步计算
Figure GDA0002503681920000095
即可得到目标点距离相机(即左相机传感器中心)的距离。
步骤三：利用步骤一训练好的车牌识别模型对标定好的双目立体视觉系统获取的视频帧进行车牌检测，定位出目标车辆的车牌位置。
使用SSD神经网络算法进行车牌目标提取，标记出具有规则轮廓的目标框，且在保证检测准确度的同时提供了较快的处理速度，能够满足在视频中快速检测、定位目标的需求。利用步骤一中训练好的模型，对步骤二中标定好的相机获取的视频帧进行目标检测，从而进行车牌目标定位。理论上，无须对每一帧的图像都进行准确的目标检测，而只需要有两对准确检测的图像帧即可完成瞬时速度检测。
步骤四：利用基于特征的匹配算法对同一相机的前后帧图像中车牌位置进行特征点提取和立体匹配，通过单应性矩阵过滤后保留正确的匹配点；利用基于特征的匹配算法对双目立体视觉系统左右路对应视频帧中的对应车牌进行特征点提取和立体匹配，利用单应性矩阵过滤后将正确的匹配点进行保留。
为了保证在接下来的双目视频检测过程中获得准确的三维信息，需要对左右两目相机所获取的对应视频图像进行特征点的提取和匹配。需要注意的是，视频中会有多个目标同时存在的情况，也需要确定对每个目标的追踪正确，因而对于同一路视频各帧中的相同目标也需要进行匹配，而后再对同时刻左右相机拍摄视频对应帧的匹配点进行三维信息检测。
本发明使用的二维图像匹配算法是基于特征的匹配算法，根据图像的特征，主要可以分为点、线(边缘)、面等特征，生成特征描述子，最后比较描述子的相似程度，从而实现两幅视频图像相应特征之间的匹配。面特征提取比较麻烦，计算量大而耗时，本发明中使用了SURF特征进行视频图像特征提取及匹配。SURF描述子对视频图像的局部特征进行描述，当视频图像发生旋转、平移、尺度缩放等情况时，SURF特征提取和匹配算法都具有很好的稳定性。
如图7所示，SURF特征提取和匹配算法分为以下几个部分：1、提取关键点，尽量选取不受光线变化影响的点，例如角点、边缘点、暗区域的亮点以及亮区域的暗点；2、对这些关键点提取详细的局部特征向量；3、对模板图像和目标图像的特征向量进行两两比较，找到相互匹配度最好的匹配点对，从而实现两幅图像的匹配。
如图8所示，利用SURF特征提取算法在单路视频中对检测到的车牌进行匹配以实现对多个目标的独立追踪，再对左右路视频中对应的视频帧进行匹配提取对应的特征点，用以立体测量。例如，以图9中的(a)中白色车辆车牌作为追踪目标，利用SURF特征提取和匹配算法与第二张图像进行匹配，准确定位了相同车牌所在的位置，如图9中的(b)中虚线框所示。
然而，不管是SIFT、SURF还是其他一些特征点提取的算法，其匹配的结果都不会是百分之百的准确，如果图像不够清晰或者存在不同于匹配模板的区域，就会出现产生错误匹配点。如果有错误的匹配点存在，会对车辆追踪的正确性以及立体测量的结果产生很大的影响。因而，对于匹配的结果，还需要对其中错误的匹配点进行消除。
利用单应性矩阵描述针对同一事物，在不同的视角下拍摄的两幅图像之间的关系。假设这两幅图像之间是透视变换，则单应性矩阵也就是透视变换矩阵H定义如下：
Figure GDA0002503681920000101
则有
Figure GDA0002503681920000111
其中，x′、y′、1及x、y、1分别表示变换前后两个对应点的坐标，h11-32为需要求得的变换参数。
要计算出单应性矩阵H中的8个变换参数h11-32，需要至少4对匹配点，过程如下：
Figure GDA0002503681920000112
每次从所有的匹配点中选出4对，计算单应性矩阵H，然后选出内点(即准确匹配点)个数最多时的单应性矩阵H作为正确结果；为了校验单应性矩阵H的准确性，计算经过透视变换后对应匹配点之间欧氏距离的方法如下：
Figure GDA0002503681920000113
其中，x′i1、y′i1、1及xi1、yi1、1分别表示变换前后匹配点的坐标，t为欧氏距离阈值，i1＝1,2,3,4。当该距离越小则表明两个匹配点的匹配准确度越高。如图9中的(c)所示，利用SURF特征提取和匹配算法提取了匹配点，在经过单应性矩阵过滤之后，正确的匹配点得以保留。
接下来，再利用SURF特征提取和匹配算法对左右目相机对应视频帧中的对应车牌进行特征点提取和立体匹配，同样利用单应性矩阵过滤，将正确的结果进行保留。同时，为了减少计算量，仅对步骤三中识别的车牌区域进行特征点提取，再进一步筛选之后将保留的特征点作为车辆当前位置进行立体测量。
步骤五：对步骤四保留的匹配点对进行进一步筛选，然后利用双目立体视觉系统测距的方法对筛选的匹配点进行剔除，保留位置最接近车牌中心的匹配点的坐标作为当前帧中目标车辆所处的位置。
为了提高匹配准确率并减少计算量，对保留的匹配点对进行进一步筛选。在左目相机视频帧中的车牌区域中取一个以该区域的中心点为圆心，以区域高度为直径的圆，而在对应的另一路视频对应帧中则以匹配区域中心为圆心取等大的圆形区域，将不同时包含在这两个圆内的匹配点剔除。如图10所示，其中实线连线的两对匹配点分别在圆形区域范围之内且正确匹配，将其保留，而虚线连接的匹配点在右侧车牌中并未在相应的圆形区域之中，因而将其剔除。最后再选取最靠近车牌中心点的实线表示匹配点作为立体检测的目标位置。
经过了对不在目标范围内的特征点对的消除，为了进一步消除由于图像特征点提取和匹配过程存在的匹配不准确而引起的立体测量计算误差。在这里，利用双目立体视觉系统测距，分别计算所有N个匹配位置的距离di，平均值μ和标准差σ，并计算出每个点的Z分数Zi:
Figure GDA0002503681920000121
Figure GDA0002503681920000122
Figure GDA0002503681920000123
将Z分数Zi绝对值大于1的m1个点(即不准确的匹配点)剔除，并将余下的N-m1个的点中位置最接近车牌中心的一点i的坐标作为当前帧中目标车辆所处位置Pi。
步骤六：利用双目立体视觉系统对筛选后的匹配点对进行立体测量，获取空间坐标下的位置；通过位置信息计算目标车辆在一定时间内通过的距离，获得目标车辆运行速度。
假设时间t1时车辆位置为P1＝(x1,y1,z1)，时间t2时车辆位置为P2＝(x2,y2,z2)，时间间隔均为Δt。根据公式
Figure GDA0002503681920000124
即可计算出车辆在P1和P2点位置之间的平均速度s。利用获取到的位置信息计算相邻两个车辆位置的距离，除以这两个测量点间隔的时间，即可测量出车辆速度。
仿真实验
在实地实验中，设计了三种车辆运动条件用以检测本发明的有效性，分别是：匀速直线运动、变速直线运动和转弯运动，一共进行了4组实验：1.一辆车由远及近匀速直线行驶。2、一辆车由远及近加速直线行驶。3、一辆车由远及近匀速转向行驶。4、两车从不同的方向相向而行，各自匀速行驶。以车辆自身的车速表为参考进行驾驶，同时，使用了P-Gear P-510卫星测速仪的测速结果作为速度真实值进行对比。该设备利用GPS+GLONASS双卫星定位系统的数据进行测速，通过蓝牙4.0芯片与手机通信，10HZ高频GPS数据交换以保证测量精度，其测量误差为2％。设备通过手机app显示实时数据并记录每次测试的速度以及加速度曲线。
第一组实验：
以车辆速度表为参照，驾驶车辆以30km/h的速度匀速运行。当车辆达到预设的起点线(距离拍摄位置15米远)时开始使用双目立体视觉系统进行拍摄，直到车辆离开拍摄区域为止。双目立体视觉系统设备架设在车道右侧，与车道保持20度的夹角。在拍摄期间，车辆保持直线运动，拍摄设备位置和角度保持不变。拍摄视频分辨率为1288×964，帧率为30f/s。对两路视频进行车牌目标检测。
由图11可见，当目标车辆位于15米距离时，车牌目标较小，而当车辆位于1米距离时如图12所示，由于车速较快出现了车牌模糊的现象，但是在两种情况下SSD神经网络都很好地完成了车牌检测、定位的工作，实验证明双目立体视觉在1-15米范围内可以实现100％的车牌检测，因而在后面的各组实验中都主要在这一区间内进行测速的实验。接下来对左目相机采集图像中车牌进行各自匹配，同时对左右目对应帧车牌进行匹配，提取匹配点。图13是对左右目对应视频帧车牌区域匹配的示意图，左侧为左目视频图像，右侧为右目视频图像。利用步骤物中方法进行匹配点筛选之后，以每3帧为一个时间节点计算车速及车辆转弯状态，即每秒测量10次。并绘制速度表(表1)及轨迹图表如下：
表1：匀速直线实验测速结果
时间点 卫星测速 本发明测速 误差率％
0 30.7 30.7 0
2 30.2 30.3 0.33
4 29.7 30.1 1.35
6 29.3 29.5 0.68
8 29.9 29.3 2.01
10 30.4 29.7 2.30
12 30.3 29.9 1.32
14 30.4 30 1.32
16 30.1 29.8 1.00
18 29.8 29.9 0.34
图14中，横坐标表示检测时间点，纵坐标表示车速。星号线条表示卫星测速仪测得车速，实心点线条表示本发明测得速度。由于车辆在实际行驶过程中无法严格保证匀速，因而将卫星测速仪的数据作为真实数据进行比对。由表1可见，在车辆以30km/h运行的情况下，利用本发明的测速方法所测速度与卫星测速器所测结果基本一致，误差最大处(时间节点8，卫星测速数据为29.9km/h，本发明测速为29.3km/h)仅为2％。
第二组实验：
以车辆速度表为参照，驾驶车辆逐步加速至30km/h的速度，之后保持匀速运行。该组实验从车辆起步时开始使用双目立体视觉系统进行拍摄，直到车辆离开拍摄区域为止。双目立体视觉系统架设在车道右侧，与车道保持大约20度的夹角。在完成车牌检测、特征点提取和匹配之后，接下来计算车辆运动速度。图15为变速直线实验拍摄视频截图及车牌检测结果，其中，(a)左目视频图像，(b)为右目视频图像，变速直线实验测速结果如图16和表2所示。
表2变速直线实验测速结果
时间点 卫星测速 本发明测速 误差率％
0 17.8 18.1 1.69
2 22.1 21.6 2.26
4 24.9 24.5 1.61
6 28.9 29 0.35
8 31.9 31.7 0.63
10 30.4 30.7 0.99
12 29.1 29.2 0.34
14 28.7 29 1.05
图16中，横坐标表示检测时间点，纵坐标表示车速。交叉线条表示卫星测速仪测得车速，三角形线条表示本文方案测得线条。由表2可以看出，车辆在变速运动过程中，本发明测速方法依然可以获得较好的测速效果，最大误差(时间节点2，卫星测速为22.1km/h，本发明测速为21.6km/h)为2.3％，具有较好的检测精度。
第三组实验：
以车辆速度表为参照，驾驶车辆从停止状态逐步加速至30km/h的速度，之后保持匀速运行。当车辆到达起点位置(距离双目立体视觉系统20米)时开始拍摄。同时，车辆按逆时针绕行环岛，从起步时开始向左侧转向，之后保持直行然后再向右转。该组实验从车辆起步时开始使用双目立体视觉系统进行拍摄，直到车辆离开拍摄区域为止。双目立体视觉系统架设在环岛南侧出口的车道右侧，面向北方偏东方向，以使其视野覆盖环岛西侧路段。拍摄期间设备位置和角度保持不变。部分拍摄画面截图及检测结果如图17所示，每3帧取1帧，由图17可知。经过对车牌的检测以及对特征点的提取和匹配，对这些点进行立体测量已测量车辆速度，其结果如下：
表3：转向实验测速结果
Figure GDA0002503681920000141
Figure GDA0002503681920000151
表3及图18显示的是车辆测速情况，由于车辆发生转弯，车速出现了上下浮动，而本发明测速依然与卫星测速结果比较吻合，最大误差出现在第10个时间节点，卫星测速为30.4km/h，本发明测速为29.6km/h，误差为2.6％。
第四组实验：
两辆车相向行驶，双目立体视觉系统架设在两车道中间，左侧车辆由远及近，右侧车辆由近及远。以车辆速度表为参照，驾驶两辆车各自以最高30km/h的速度直线行驶。两辆车中各自架设一部卫星测速设备，利用其结果作为对比，两车相向行驶测速结果，如表4及图20可见。
表4：两车相向行驶测速结果
Figure GDA0002503681920000152
图20中，横坐标表示检测时间节点，纵坐标表示车速。星号线条表示卫星测速仪测得车速，实心点线条表示本发明测得速度。辆车均保持大约30km/h的速度运行。其中正值表示车辆向双目立体视觉系统靠近，而负值表示车辆运行方向为远离双目立体视觉系统。表4中包括有未测车速的时间节点，是由于车辆位置较远，使用的相机无法清晰拍摄车牌而造成该帧中某一车牌未被识别所造成的，然而当车辆驶入可以清晰拍摄的区域后，测速工作正常进行，且取得了较好的准确度。测速最大误差出现在左侧车速测量的第8个时间节点，卫星测速为21.7km/h，本发明测速为20.9km/h，误差率3.69％。
由上述四组实验可以验证，双目立体视觉系统在实际车速测量应用中有较好的稳定性和可靠性。相比于传统测速方式，本发明具有智能化程度高、可扩展能力强，可以独立完成视频采集、车辆识别、测速等功能，无需其它设备的辅助。另外，双目立体测距技术属于被动型测距，即该系统不主动辐射任何信号或射线，更加的安全、低能耗且不会影响人体健康或对其他电子设备产生干扰；无需限制安放角度，无需垂直或者平行于目标物体的运行方向；稳定性更高，成本却更低，易于安装调试，可以对现有多车道交控系统进行升级改造从而同时实现监控和测距测速等多重功能。根据机动车测速仪国家标准GB/T21255-2007规定，车辆行驶速度在0-100km/h以下是，测速误差不能超过6mk/h，车速在100km/h以上时误差不能超过6％，而本发明的实验结果显示，测速误差未超过4％(即1.5km/h)，达到测速精度要求。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于双目立体视觉系统的车辆智能测速方法，其特征在于，其步骤如下：
步骤一：将带有车牌的图像组成的数据集输入SSD神经网络，车牌作为检测特征对SSD神经网络进行训练得到车牌识别模型；
步骤二：将双目立体视觉系统架设在车道右侧、中间或上方，对双目立体视觉系统进行标定获取两部相机的自身参数和外部参数；利用标定后的双目立体视觉系统拍摄运动的目标车辆的视频；
步骤三：利用步骤一训练好的车牌识别模型对标定好的双目立体视觉系统获取的视频帧进行车牌检测，定位出目标车辆的车牌位置；
步骤四：利用基于特征的匹配算法对同一相机的前后帧图像中车牌位置进行特征点提取和立体匹配，通过单应性矩阵过滤后保留正确的匹配点；利用基于特征的匹配算法对双目立体视觉系统左右路对应视频帧中的对应车牌进行特征点提取和立体匹配，利用单应性矩阵过滤后将正确的匹配点进行保留；
步骤五：对步骤四保留的匹配点对进行进一步筛选，然后利用双目立体视觉系统测距的方法对筛选后的匹配点进行剔除，保留位置最接近车牌中心的匹配点的坐标作为当前帧中目标车辆所处的位置；
步骤六：利用双目立体视觉系统对筛选后的匹配点对进行立体测量，获取空间坐标下的位置；通过位置信息计算目标车辆在一定时间内通过的距离，获得目标车辆运行速度；
所述步骤二中对双目立体视觉系统进行标定的方法是：利用张正友标定法对两部相机进行标定，获取两部相机各自的光心坐标、焦距、尺度因子和/或镜头畸变的参数；获取两部相机自身参数后再利用张正友标定法对双目立体视觉系统进行标定，以左目相机为基准，通过标定获取右目相机相对左目相机的位移以及旋转角度；
利用张正友标定法对双目立体视觉系统进行标定的方法为：以左目相机为主相机，经过张正友标定法标定操作获取右目相机的相对平移向量T1＝(l,m,n)T、相对旋转向量V＝(α,β,γ)T的外参数及两部相机自身的焦距、光轴角度、畸变的内参数；l,m,n分别表示右目相机相对于左目相机在x、y、z轴三个方向上的平移距离，α,β,γ分别表示右目相机相对于左目相机绕x、y、z三个轴的旋转角度；
相机外参数及双目立体视觉系统的会聚点为：
Figure FDA0002551903620000011
其中，B为两目相机的基线长度，ε表示两目相机光轴之间的夹角；
建立目标夹角的变换模型，同一空间点在两部相机内的成像点分别称为左对应点和右对应点，左对应点和右对应点分别为左目相机、右目相机的光轴与各自图像平面的交点；a’、b’分别为左对应点、右对应点和会聚点在图像坐标系的u方向上像素的差值，且：若左对应点或右对应点在会聚点的左边，则差值<0，反之差值>0；
光轴垂直于各自的图像平面，光心到目标点的连线称为对应周，对应周与光轴的夹角a、b的计算公式为：
Figure FDA0002551903620000021
其中，fl、fr分别表示左目相机和右目相机的焦距；
当目标处于区域I中时，目标夹角c表示为：
Figure FDA0002551903620000022
设目标点P位于左侧区域，该点的世界坐标为(x，y，z)，建立目标点P的深度计算模型，则：
Figure FDA0002551903620000023
Figure FDA0002551903620000024
联立可得
Figure FDA0002551903620000025
通过目标点P的深度计算模型计算x的世界坐标：
Figure FDA0002551903620000026
同理可得z的世界坐标：
Figure FDA0002551903620000027
根据左对应点和右对应点在图像坐标系的关系及图像坐标系与世界坐标系的关系可以得到y的世界坐标；
得到目标点P的世界坐标为：
Figure FDA0002551903620000031
其中，v′表示目标点在图像坐标系的纵向上到图像中心点的像素差值；同理，可得到目标点处于区域II、区域III和区域IV的世界坐标。
2.根据权利要求1所述的基于双目立体视觉系统的车辆智能测速方法，其特征在于，所述步骤一中的SSD神经网络是在经典SSD神经网络的基础上去除了卷积层conv11_2，采用conv4_3、conv7、conv8_2、conv9_2、conv10_2和conv11_2层，将各卷积层提取的不同尺度的特征信息进行融合并输入到分类器中，车牌识别模型通过分类器输出的特征图预测车牌的位置。
3.根据权利要求1或2所述的基于双目立体视觉系统的车辆智能测速方法，其特征在于，所述数据集包括北京理工大学提供的BIT-Vehicle数据集、广东省智能交通系统重点实验室主持的OpenITS研究计划提供的车牌公开数据库以及自行拍摄的1000张车辆车牌图像，共计11000幅图像。
4.根据权利要求1所述的基于双目立体视觉系统的车辆智能测速方法，其特征在于，所述双目立体视觉系统包括两部相机和上位机，两部相机均采用flea2工业摄像机，两部相机包括左目相机和右目相机，左目相机和右目相机均与上位机相连接。
5.根据权利要求1所述的基于双目立体视觉系统的车辆智能测速方法，其特征在于，所述基于特征的匹配算法为SURF特征提取和匹配算法，利用SURF描述子对视频图像的局部特征进行描述；所述单应性矩阵过滤描述针对同一事物在不同的视角下拍摄的两幅图像之间的关系：假设两幅图像之间是透视变换，则单应性矩阵H为：
Figure FDA0002551903620000032
则有
Figure FDA0002551903620000033
其中，x′、y′、1及x、y、1分别表示单应性矩阵变换前后两个匹配点的坐标，h11-32为需要求得的变换参数；
要计算出单应性矩阵H中的8个变换参数h11-32，需要至少4对匹配点，过程如下：
Figure FDA0002551903620000041
每次从所有的匹配点中选出4对，计算单应性矩阵H，然后选出准确匹配点个数最多时的单应性矩阵H作为正确结果；为了校验单应性矩阵H的准确性，计算经过透视变换后对应匹配点之间欧氏距离：
Figure FDA0002551903620000042
其中，x′i1、y′i1、1及xi1、yi1、1分别表示变换前后匹配点的坐标，t为欧氏距离阈值，i1＝1,2,3,4；欧氏距离越小表明两个匹配点的匹配准确度越高。
6.根据权利要求1或5所述的基于双目立体视觉系统的车辆智能测速方法，其特征在于，所述步骤五中筛选的方法为：在左目相机的视频帧中的车牌区域中取一个以该区域的中心点为圆心、以区域高度为直径的圆，而在对应的右目相机的视频对应帧中以匹配区域中心为圆心取等大的圆形区域，将不同时包含在这两个圆内的匹配点剔除。
7.根据权利要求1或5所述的基于双目立体视觉系统的车辆智能测速方法，其特征在于，所述步骤五中双目立体视觉系统测距的方法为：分别计算所有N个匹配点的距离di、平均值μ和标准差σ，并计算出每个匹配点的Z分数Zi：
Figure FDA0002551903620000043
Figure FDA0002551903620000044
Figure FDA0002551903620000045
将Z分数Zi绝对值大于1的m1个匹配点剔除，并将余下的N-m1个的匹配点中位置最接近车牌中心的匹配点i的坐标作为当前帧中目标车辆所处位置Pi。
8.根据权利要求6所述的基于双目立体视觉系统的车辆智能测速方法，其特征在于，所述步骤六中利用双目立体视觉系统对筛选后的匹配点对进行立体测量，获得时间t1时目标车辆的位置为P1＝(x1,y1,z1)，时间t2时目标车辆的位置为P2＝(x2,y2,z2)，时间间隔均为Δt＝t1-t2，则计算出目标车辆在P1和P2点位置之间的平均速度s为：
Figure FDA0002551903620000051
CN201910608772.6A 2019-07-08 2019-07-08 一种基于双目立体视觉系统的车辆智能测速方法 Active CN110322702B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910608772.6A CN110322702B (zh) 2019-07-08 2019-07-08 一种基于双目立体视觉系统的车辆智能测速方法
US17/624,508 US11922643B2 (en) 2019-07-08 2020-07-29 Vehicle speed intelligent measurement method based on binocular stereo vision system
PCT/CN2020/105454 WO2021004548A1 (zh) 2019-07-08 2020-07-29 一种基于双目立体视觉系统的车辆智能测速方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910608772.6A CN110322702B (zh) 2019-07-08 2019-07-08 一种基于双目立体视觉系统的车辆智能测速方法

Publications (2)

Publication Number Publication Date
CN110322702A CN110322702A (zh) 2019-10-11
CN110322702B true CN110322702B (zh) 2020-08-14

Family

ID=68123016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910608772.6A Active CN110322702B (zh) 2019-07-08 2019-07-08 一种基于双目立体视觉系统的车辆智能测速方法

Country Status (3)

Country Link
US (1) US11922643B2 (zh)
CN (1) CN110322702B (zh)
WO (1) WO2021004548A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10691968B2 (en) 2018-02-08 2020-06-23 Genetec Inc. Systems and methods for locating a retroreflective object in a digital image
WO2020230237A1 (ja) * 2019-05-13 2020-11-19 日本電信電話株式会社 交通流推定装置、交通流推定方法、交通流推定プログラムおよび交通流推定プログラムを記憶した記憶媒体
CN110322702B (zh) * 2019-07-08 2020-08-14 中原工学院 一种基于双目立体视觉系统的车辆智能测速方法
CN110285793B (zh) * 2019-07-08 2020-05-15 中原工学院 一种基于双目立体视觉系统的车辆智能测轨迹方法
CA3155551C (en) 2019-10-26 2023-09-26 Louis-Antoine Blais-Morin Automated license plate recognition system and related method
CN113449571A (zh) * 2020-03-27 2021-09-28 杭州海康威视数字技术股份有限公司 目标对象的匹配方法及装置、目标对象监控系统
CN111476169B (zh) * 2020-04-08 2023-11-07 智慧互通科技股份有限公司 一种基于视频帧的复杂场景路侧停车行为识别方法
CN111611872A (zh) * 2020-04-27 2020-09-01 江苏新通达电子科技股份有限公司 新型双目视觉车辆检测方法及检测系统
CN111598939B (zh) * 2020-05-22 2021-01-26 中原工学院 一种基于多目视觉系统的人体围度测量方法
CN111783882B (zh) * 2020-06-30 2022-09-09 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质
CN111723778B (zh) * 2020-07-07 2022-07-19 厦门大学 基于MobileNet-SSD的车辆测距系统及方法
CN112509054B (zh) * 2020-07-20 2024-05-17 重庆兰德适普信息科技有限公司 一种相机外参动态标定方法
CN114693785A (zh) * 2020-12-31 2022-07-01 华为技术有限公司 一种目标定位的方法、系统及相关设备
CN112991401B (zh) * 2021-01-20 2023-07-14 深兰科技（上海）有限公司 车辆运行轨迹追踪方法、装置、电子设备和存储介质
CN112802123B (zh) * 2021-01-21 2023-10-27 北京科技大学设计研究院有限公司 一种基于条纹虚拟靶标的双目线阵相机静态标定方法
CN112819770B (zh) * 2021-01-26 2022-11-22 中国人民解放军陆军军医大学第一附属医院 碘对比剂过敏监测方法及系统
CN112926493B (zh) * 2021-03-19 2023-11-03 浙江大华技术股份有限公司 一种车牌检测方法、装置、设备及介质
CN113030506B (zh) * 2021-03-25 2022-07-12 上海其高电子科技有限公司 基于多车牌标定库的微区间测速方法及系统
CN112991433B (zh) * 2021-04-26 2022-08-02 吉林大学 基于双目深度感知和车辆位置的货车外廓尺寸测量方法
US20220414899A1 (en) * 2021-06-29 2022-12-29 7-Eleven, Inc. Item location detection using homographies
CN113504385B (zh) * 2021-06-30 2023-07-14 安徽爱观视觉科技有限公司 复数相机测速方法及测速装置
CN113570671A (zh) * 2021-06-30 2021-10-29 惠州市德赛西威智能交通技术研究院有限公司 鱼眼摄像头标定方法、存储介质和电子设备
CN113487683B (zh) * 2021-07-15 2023-02-10 中国人民解放军火箭军工程大学 一种基于三目视觉的目标跟踪系统
CN114016451B (zh) * 2021-12-20 2023-05-30 北京易泊安科技有限公司 一种减速带预警装置及控制方法
CN114280323A (zh) * 2021-12-24 2022-04-05 凌云光技术股份有限公司 一种轨道车辆矢量速度的测量设备、系统及方法
CN114677430B (zh) * 2022-01-12 2024-04-16 深圳市路远智能装备有限公司 一种组合式的多相机视觉对位方法
CN114332187B (zh) * 2022-03-09 2022-06-14 深圳安智杰科技有限公司 单目目标测距方法及装置
CN114812416B (zh) * 2022-03-25 2023-09-15 合肥舒合机器人科技有限公司 一种利用双目立体视觉进行拖车轴距测量的方法
CN115497303A (zh) * 2022-08-19 2022-12-20 招商新智科技有限公司 一种复杂检测条件下的高速公路车速检测方法及系统
CN115096196B (zh) * 2022-08-25 2022-12-27 中国科学院西安光学精密机械研究所 一种用于火箭回收的视觉测高测速方法、系统及存储介质
CN115657061B (zh) * 2022-12-13 2023-04-07 成都量芯集成科技有限公司 一种室内墙面三维扫描装置及方法
CN115816833B (zh) * 2023-01-07 2023-06-30 深圳市创想三维科技股份有限公司 图像校正数据的确定方法、装置、电子设备及存储介质
CN116168088A (zh) * 2023-01-10 2023-05-26 武汉微创光电股份有限公司 一种单目的侧角度成像的车辆尺度估计与速度估计方法
CN116311903A (zh) * 2023-01-28 2023-06-23 深圳市综合交通运行指挥中心 一种基于视频分析评估道路运行指数的方法
CN116137109B (zh) * 2023-04-17 2023-07-07 青岛益合泊朗创新科技有限公司 一种基于云计算的机械停车设备控制系统及方法
CN116953680B (zh) * 2023-09-15 2023-11-24 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及系统
CN117237418B (zh) * 2023-11-15 2024-01-23 成都航空职业技术学院 一种基于深度学习的运动目标检测方法和系统
CN117876713A (zh) * 2024-01-16 2024-04-12 长安大学 一种塔式起重机吊钩的测距方法、装置、设备及存储介质
CN118115945B (zh) * 2024-03-05 2024-09-03 江苏濠汉信息技术有限公司 一种基于双目视觉测距的变电站施工安全管控系统及方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877174B (zh) * 2009-09-29 2012-07-25 杭州海康威视软件有限公司 车速测量方法、监控机及车速测量系统
CN103177582A (zh) * 2013-04-22 2013-06-26 杜东 一种视频测速和车牌识别的一体机
US20160232410A1 (en) * 2015-02-06 2016-08-11 Michael F. Kelly Vehicle speed detection
CN105225482B (zh) * 2015-09-02 2017-08-11 上海大学 基于双目立体视觉的车辆检测系统和方法
US10304191B1 (en) * 2016-10-11 2019-05-28 Zoox, Inc. Three dimensional bounding box estimation from two dimensional images
US10296794B2 (en) * 2016-12-20 2019-05-21 Jayant Rtti On-demand artificial intelligence and roadway stewardship system
CN106803262A (zh) * 2016-12-21 2017-06-06 上海交通大学 利用双目视觉自主解算汽车速度的方法
WO2018215562A1 (en) * 2017-05-24 2018-11-29 Starship Technologies Oü Device and method for detection and localization of vehicles
KR101828558B1 (ko) * 2017-06-22 2018-02-14 주식회사 디아이랩 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법
US20220044558A1 (en) * 2019-04-15 2022-02-10 Huawei Technologies Co.,Ltd. Method and device for generating a digital representation of traffic on a road
CN110189377A (zh) * 2019-05-14 2019-08-30 河南省计量科学研究院 一种基于双目立体视觉的高精度测速方法
CN110322702B (zh) * 2019-07-08 2020-08-14 中原工学院 一种基于双目立体视觉系统的车辆智能测速方法
CN110285793B (zh) * 2019-07-08 2020-05-15 中原工学院 一种基于双目立体视觉系统的车辆智能测轨迹方法
US11393227B1 (en) * 2021-02-02 2022-07-19 Sony Group Corporation License plate recognition based vehicle control

Also Published As

Publication number Publication date
WO2021004548A1 (zh) 2021-01-14
CN110322702A (zh) 2019-10-11
US20220405947A1 (en) 2022-12-22
US11922643B2 (en) 2024-03-05

Similar Documents

Publication Publication Date Title
CN110322702B (zh) 一种基于双目立体视觉系统的车辆智能测速方法
CN110285793B (zh) 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN104173054B (zh) 基于双目视觉技术的人体身高测量方法及其装置
CN105989593B (zh) 视频录像中进行特定车辆速度测量的方法及装置
CN106370884B (zh) 基于双目相机计算机视觉技术的车辆测速方法
CN106529495A (zh) 一种飞行器的障碍物检测方法和装置
CN104700414A (zh) 一种基于车载双目相机的前方道路行人快速测距方法
CN108257137A (zh) 一种基于视觉光斑自动判读的角度测量方法及系统
CN105043350A (zh) 一种双目视觉测量方法
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN104574393A (zh) 一种三维路面裂缝图像生成系统和方法
CN102176243A (zh) 一种基于可见光和红外摄像机的目标测距方法
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
CN106529587A (zh) 基于目标点识别的视觉航向识别方法
CN112950717B (zh) 一种空间标定方法和系统
CN106183995A (zh) 一种基于立体视觉的可视倒车方法
CN107067755A (zh) 一种基于计算机视觉自动校准交通监控相机的方法
CN114463303B (zh) 一种基于双目相机和激光雷达融合的道路目标检测方法
CN106225676A (zh) 三维测量方法、装置及系统
CN107589069A (zh) 一种物体碰撞恢复系数的非接触式测量方法
CN109407080A (zh) 一种基于双目摄像头的车辆测距系统及其测距方法
Kim et al. External vehicle positioning system using multiple fish-eye surveillance cameras for indoor parking lots
CN111243021A (zh) 基于多组合相机的车载视觉定位方法、系统及存储介质
CN112446915A (zh) 一种基于图像组的建图方法及装置
Dirgantara et al. Object Distance Measurement System Using Monocular Camera on Vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant