CN107492123B - 一种利用路面信息的道路监控摄像机自标定方法 - Google Patents

一种利用路面信息的道路监控摄像机自标定方法 Download PDF

Info

Publication number
CN107492123B
CN107492123B CN201710553188.6A CN201710553188A CN107492123B CN 107492123 B CN107492123 B CN 107492123B CN 201710553188 A CN201710553188 A CN 201710553188A CN 107492123 B CN107492123 B CN 107492123B
Authority
CN
China
Prior art keywords
road
camera
coordinate system
axis
takes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710553188.6A
Other languages
English (en)
Other versions
CN107492123A (zh
Inventor
王伟
程钰清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201710553188.6A priority Critical patent/CN107492123B/zh
Publication of CN107492123A publication Critical patent/CN107492123A/zh
Application granted granted Critical
Publication of CN107492123B publication Critical patent/CN107492123B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于道路信息摄像机自标定技术领域，具体涉及一种利用路面信息的道路监控摄像机自标定方法。该方法基于一个消失点，道路宽度以及道路虚线长度，经过一系列的公式推导和试验数据采集，最终得到科学合理的公式参数。该方法包括以下步骤：1)确定摄像机空间模型的单应矩阵；2)将步骤1)所确定的参数通过消失点在3D齐次坐标与图像坐标之间的转换公式，得到初步的摄像机内部参数；3)在步骤2)的基础上运用道路宽度、虚线长度以及一个消失点三个摄像机外部参数，进一步联立方程推导公式，得到准确度、精确度更高的摄像机内部参数。通过该方法辨识，可高效快速地辨识出摄像机的内部参数，易于实现，鲁棒性强。

Description

一种利用路面信息的道路监控摄像机自标定方法
技术领域
本发明属于信息技术视觉处理技术领域，具体涉及一种利用路面信息的道路监控摄像机自标定方法。
背景技术
随着相机和处理器的成本不断下降，基于视觉的感测正在成为越来越受欢迎的传统传感器用于采集交通数据的替代方案。许多研究和商业系统都通过对视频的分析得到了一系列我们所感兴趣的信息，比如道路占有率、车速、车型、事件检测等。除了成本以外，视觉系统由于其非侵入性和丰富的数据收集能力而特别有吸引力。
为了基于视觉的系统来测量车辆的速度，必须有一个从图像中的像素到世界坐标的映射。这种映射也可以用于提高其他类型的数据(例如卷，分类或事件)的估计的准确性。虽然一些系统只依靠基于像素的测量来推断某些方向上的世界长度，但一个完整的图像到世界的映射可以对场景进行更详细的分析。图像坐标系与世界坐标系的映射关系是通过一系列的摄像机内外参数来定义的。内参数描述了摄像机的内部几何和光学特性，比如摄像机焦距、比例因子以及透镜畸变等，外参数则描述了摄像机相对于世界坐标系的位置和转角。在交通监控中，往往会从场景中提取某些点和线构成一些特殊的标定模板，通过标定模板中点线的几何关系来计算获取这些参数。
VVW算法是一种基于消失点得到的一个数学推导公式算法，可以准确的测量出摄像机的内部参数，被广泛应用与车辆交通学的研究中。VVW算法是基于两个消失点，已知车道宽度的一个算法，从算法中推导出来的公式可完整地表达摄像头左右摇动，上下摆动以及绕轴旋转所观察到的内容进行内部参数求解，同时能够根据真实路面信息进行摄像机焦距的计算。
VVW算法的一般表达式为：
Figure BDA0001344996630000021
其中，f是摄像机焦距，(u0,v0)表示的是图像坐标系中平行于交通流方向的消失点的坐标，v1表示的是图像坐标系中垂直于交通流方向的消失点的纵坐标，w是道路宽度，φ是摄像机倾斜角，θ是摄像机左右摇摆角，δ是图像中的投影线段的水平长度且δ＝Δu。可见VVW算法公式参数多，高度非线性化，所以对其中参数的辨识显得较为困难。
发明内容
本发明的目的在于克服现有技术的不足之处，提出一种利用消失点、已知车道宽度和虚线长度来求取摄像机内参矩阵、旋转矩阵、外参矩阵中未知参数的方法。
一种利用路面信息的道路监控摄像机自标定方法，包括以下步骤：
步骤1，确定世界坐标系与图像坐标系之间的关系；
利用摄像机拍摄道路的路面图像，找到路面图像中的2个消失点，设2 个消失点在世界坐标系中的坐标分别为x0＝[-tanθ 1 0 0]T， x1＝[1 tanθ 0 0]T，θ为摄像机的摇摆角，通过式(1)将2个消失点的坐标从世界坐标系转换到图像坐标系中：
p0＝KRTx0
p1＝KRTx1 (1)
式(1)中，p0＝(u0,v0,α)，p1＝(u1,v1,α)，α为缩放因子，α≠0，(u0,v0)、 (u1,v1)分别为2个消失点在图像坐标系下的坐标；
K为摄像机的内参矩阵，
Figure BDA0001344996630000031
f为摄像机的焦距；
R为摄像机机的旋转矩阵，
Figure BDA0001344996630000032
φ为摄像机的倾斜角， 0＜φ＜π/2；
T为摄像机的外参矩阵，
Figure BDA0001344996630000033
h为摄像机的高度；
所述世界坐标系以摄像机投影到道路平面的点为原点，以垂直于道路方向为x轴，以平行于道路方向为y轴，以垂直于道路平面的方向为z轴，所述x轴和y轴位于道路平面上；
所述图像坐标系以路面图像的中心为原点，以水平方向为u轴，以竖直方向为v轴；
步骤2，通过世界坐标系与图像坐标系之间的关系，得到摄像机的参数表达式：
Figure BDA0001344996630000035
Figure BDA0001344996630000042
Figure BDA0001344996630000043
f4+[2(u0 2+v0 2)-kV 2]f2+(u0 2+v0 2)2-kV 2v0 2＝0
其中，kV＝δkl/wv0，w是道路的宽度，l为道路上平行于交通流量方向的任一段路段的长度，δ是长度为l的路段在水平方向的投影长度； k＝(vf-v0)(vb-v0)/(vf-vb)，vf为长度为l的路段的前端点坐标投影到图像坐标系中v轴的坐标值。
进一步地，
Figure BDA0001344996630000044
与现有技术相比，本发明具有以下技术效果：
(1)本发明弥补了基于两个消失点算法在参数u0→∞时会产生数值溢出问题；
(2)本发明采用VWL算法，该算法规则简单，目的性强；鲁棒性高，公式复杂度低；求解精度高，容易实现。
附图说明
图1为实施例中路面图像的示意图。
具体实施方式
下面通过附图和实施例对本发明作进一步的说明。
本实施例提供了一种利用路面信息的道路监控摄像机自标定方法，包括以下步骤：
步骤1，确定世界坐标系与图像坐标系之间的关系；
利用摄像机拍摄道路的路面图像，找到路面图像中的2个消失点，2 个消失点是指路面图像中沿道路延伸方向上道路在无限远端汇聚的一点和与道路延伸方向垂直方向上无限远端汇聚的一点，设2个消失点在世界坐标系中的坐标分别为x0＝[-tanθ 1 0 0]T，x1＝[1 tanθ 0 0]T，θ为摄像机的摇摆角，通过式(1)将2个消失点的坐标从世界坐标系转换到图像坐标系中：
p0＝KRTx0
p1＝KRTx1 (1)
式(1)中，p0＝(u0,v0,α)，p1＝(u1,v1,α)，α为缩放因子，α≠0，(u0,v0)、 (u1,v1)分别为2个消失点在图像坐标系下的坐标；
本发明中，摄像机的摇摆角θ为摄像机的光轴与道路在水平方向的夹角。
K为摄像机的内参矩阵，
Figure BDA0001344996630000051
f为摄像机的焦距；
R为摄像机机的旋转矩阵，φ为摄像机的倾斜角， 0＜φ＜π/2；
本发明中，摄像机的倾斜角φ为摄像机的光轴与道路在竖直方向的夹角。
T为摄像机的外参矩阵，
Figure BDA0001344996630000053
h为摄像机相对于路面的高度；
所述世界坐标系以摄像机投影到道路平面的点为原点，以垂直于道路方向为x轴，以平行于道路方向为y轴，以垂直于道路平面的方向为z轴，所述x轴和y轴位于道路平面上；
所述图像坐标系以路面图像的中心为原点，以水平方向为u轴，以竖直方向为v轴；
步骤2，与道路长度上的交通流量方向相关联的无限远点以3D齐次坐标表示为x0＝[-tanθ 1 0 0]T,垂直于交通流量的道路平面上与方向有关的无限点为x1＝[1 tanθ 00]T,投影到图像平面上产生消失点(u0,v0)和(u1,v1)满足：[αui αvi α]T＝Pxi，其中i∈{0,1}。通过扩展这个表达式，得到：
u0＝αu0/α＝-ftanθ/cosφ (2)
v0＝αv0/α＝αv1/α＝-ftanφ (3)
u1＝αu1/α＝f/cosφtanθ (4)
并且假设v0＝v1产生于零倾角。则可通过式(2)、(3)、(4)直接求解出摄像机的内参矩阵K、摄像机机的旋转矩阵R、摄像机的外参矩阵T中的未知参数：
Figure BDA0001344996630000061
Figure BDA0001344996630000062
Figure BDA0001344996630000063
Figure BDA0001344996630000064
Figure BDA0001344996630000065
f4+[2(u0 2+v0 2)-kV 2]f2+(u0 2+v0 2)2-kV 2v0 2＝0
其中，kV＝δkl/wv0，w是道路的宽度，l为道路上平行于交通流量方向的任一段路段的长度，δ是长度为l的路段在水平方向的投影长度； k＝(vf-v0)(vb-v0)/(vf-vb)，vf为长度为l的路段的前端点坐标投影到图像坐标系中v轴的坐标值。
进一步找到焦距f的约束公式：
本实施例中，如图1所示的路面图像中道路宽度w为375cm，道路虚线长度l为600cm；且两个消失点的坐标分别(u0，v0)＝(44.534701， -312.683980)；(u1，v1)＝(-1287.943061，-312.683980)；
最终得到摄像机的内外参数为：摄像机的摇摆角θ为6.201338°；摄像机的倾斜角φ为45.179248°；摄像机的焦距为345，摄像机的高度h为 600cm。

Claims (2)

1.一种利用路面信息的道路监控摄像机自标定方法，其特征在于，包括以下步骤：
步骤1，确定世界坐标系与图像坐标系之间的关系；
利用摄像机拍摄道路的路面图像，找到路面图像中的2个消失点，设2个消失点在世界坐标系中的坐标分别为x0＝[-tanθ 1 0 0]T，x1＝[1 tanθ 0 0]T，θ为摄像机的摇摆角，通过式(1)将2个消失点的坐标从世界坐标系转换到图像坐标系中：
p0＝KRTx0
p1＝KRTx1 (1)
式(1)中，p0＝(u0,v0,α)，p1＝(u1,v1,α)，α为缩放因子，α≠0，(u0,v0)、(u1,v1)分别为2个消失点在图像坐标系下的坐标；
K为摄像机的内参矩阵，
Figure FDA0002218206590000011
f为摄像机的焦距；
R为摄像机的旋转矩阵，
Figure FDA0002218206590000012
φ为摄像机的倾斜角，0<φ<π/2；
T为摄像机的外参矩阵，
Figure FDA0002218206590000013
h为摄像机的高度；
所述世界坐标系以摄像机投影到道路平面的点为原点，以垂直于道路方向为x轴，以平行于道路方向为y轴，以垂直于道路平面的方向为z轴，所述x轴和y轴位于道路平面上；
所述图像坐标系以路面图像的中心为原点，以水平方向为u轴，以竖直方向为v轴；
步骤2，通过世界坐标系与图像坐标系之间的关系，得到摄像机的参数表达式：
Figure FDA0002218206590000022
Figure FDA0002218206590000023
Figure FDA0002218206590000024
Figure FDA0002218206590000025
f4+[2(u0 2+v0 2)-kV 2]f2+(u0 2+v0 2)2-kV 2v0 2＝0
其中，kV＝δkl/wv0，w是道路的宽度，l为道路上平行于交通流量方向的任一段路段的长度，δ是长度为l的路段在水平方向的投影长度；k＝(vf-v0)(vb-v0)/(vf-vb)，vf为长度为l的路段的前端点坐标投影到图像坐标系中v轴的坐标值，vb为长度为l的路段的后端点坐标投影到图像坐标系中v轴的坐标值。
2.如权利要求1所述的道路监控摄像机自标定方法，其特征在于，
Figure FDA0002218206590000026
CN201710553188.6A 2017-07-07 2017-07-07 一种利用路面信息的道路监控摄像机自标定方法 Expired - Fee Related CN107492123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710553188.6A CN107492123B (zh) 2017-07-07 2017-07-07 一种利用路面信息的道路监控摄像机自标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710553188.6A CN107492123B (zh) 2017-07-07 2017-07-07 一种利用路面信息的道路监控摄像机自标定方法

Publications (2)

Publication Number Publication Date
CN107492123A CN107492123A (zh) 2017-12-19
CN107492123B true CN107492123B (zh) 2020-01-14

Family

ID=60644436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710553188.6A Expired - Fee Related CN107492123B (zh) 2017-07-07 2017-07-07 一种利用路面信息的道路监控摄像机自标定方法

Country Status (1)

Country Link
CN (1) CN107492123B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685855B (zh) * 2018-12-05 2022-10-14 长安大学 一种道路云监控平台下的摄像机标定优化方法
CN110033493B (zh) * 2019-04-17 2021-05-11 深圳金三立视频科技股份有限公司 摄像机3d标定方法及终端
CN110148185B (zh) * 2019-05-22 2022-04-15 北京百度网讯科技有限公司 确定成像设备坐标系转换参数的方法、装置和电子设备
CN110718068B (zh) * 2019-09-27 2020-12-08 华中科技大学 一种道路监控摄像机安装角度估计方法
CN112734768B (zh) * 2020-12-31 2021-12-03 网御安全技术（深圳）有限公司 一种影像消失点的搜寻方法、装置及电子设备
CN112950725A (zh) * 2021-03-22 2021-06-11 深圳市城市交通规划设计研究中心股份有限公司 一种监控相机参数标定方法及装置
CN113284190B (zh) * 2021-06-09 2023-04-25 上海临港绝影智能科技有限公司 标定方法、装置、设备、存储介质及产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103747A (zh) * 2009-12-16 2011-06-22 中国科学院电子学研究所 采用参照物高度的监控摄像机外部参数标定方法
CN103729837A (zh) * 2013-06-25 2014-04-16 长沙理工大学 一种单个路况摄像机的快速标定方法
CN105163065A (zh) * 2015-08-04 2015-12-16 深圳市哈工大交通电子技术有限公司 一种基于摄像机前端处理的交通测速方法
CN105389808A (zh) * 2015-10-27 2016-03-09 郑州大学 一种基于二消失点的相机自标定方法
CN106570906A (zh) * 2016-11-09 2017-04-19 东南大学 一种摄像机角度偏移条件下基于矩形图样的距离检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103747A (zh) * 2009-12-16 2011-06-22 中国科学院电子学研究所 采用参照物高度的监控摄像机外部参数标定方法
CN103729837A (zh) * 2013-06-25 2014-04-16 长沙理工大学 一种单个路况摄像机的快速标定方法
CN105163065A (zh) * 2015-08-04 2015-12-16 深圳市哈工大交通电子技术有限公司 一种基于摄像机前端处理的交通测速方法
CN105389808A (zh) * 2015-10-27 2016-03-09 郑州大学 一种基于二消失点的相机自标定方法
CN106570906A (zh) * 2016-11-09 2017-04-19 东南大学 一种摄像机角度偏移条件下基于矩形图样的距离检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Camera calibration using two or three vanishing points;Radu Orghidan 等;《Proceedings of the Federated Conference on Computer Science and Information Systems》;20120131;123-130 *
一种基于单幅图像双消失点的摄像机标定方法;崔灿 等;《科学技术与工程》;20121231;第12卷(第34期);9186-9190 *
基于两平行线及其线上三点的摄像机标定方法;贺科学 等;《光学技术》;20161130;第42卷(第6期);545-551 *
基于视频的交通流参数提取方法及系统实现研究;张润初;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20151215(第12期);C034-185 *

Also Published As

Publication number Publication date
CN107492123A (zh) 2017-12-19

Similar Documents

Publication Publication Date Title
CN107492123B (zh) 一种利用路面信息的道路监控摄像机自标定方法
WO2021004312A1 (zh) 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN110322702B (zh) 一种基于双目立体视觉系统的车辆智能测速方法
Kanhere et al. A taxonomy and analysis of camera calibration methods for traffic monitoring applications
TWI448977B (zh) 基於視訊分析的物件計數方法與裝置
WO2019137065A1 (zh) 图像处理方法、装置、车载抬头显示系统及车辆
JP4919036B2 (ja) 移動物体認識装置
JP6779365B2 (ja) 物体検出装置及び車両
CN106845552B (zh) 在光强分布不均匀环境下的融合光流和sift特征点匹配的低动态载体速度计算方法
JP4619962B2 (ja) 路面標示計測システム、白線モデル計測システムおよび白線モデル計測装置
WO2018133727A1 (zh) 一种正射影像图的生成方法及装置
JP5834933B2 (ja) 車両位置算出装置
CN102136140B (zh) 一种基于矩形图样的视频图像距离检测方法
CN110930365B (zh) 一种交通场景下的正交消失点检测方法
JP2008299458A (ja) 車両監視装置および車両監視方法
WO2024066816A1 (zh) 相机与惯性测量单元的标定方法、装置和计算机设备
WO2018032860A1 (zh) 一种测量方法及装置
CN103106661A (zh) 空间二条相交直线线性求解抛物折反射摄像机内参数
CN109934207A (zh) 基于面部表情疲劳驾驶检测算法的一种驾驶员面部的特征距离修正方法
CN112489106A (zh) 基于视频的车辆尺寸测量方法、装置、终端及存储介质
CN101685532B (zh) 简易线性广角镜头的校正法
KR101482645B1 (ko) Ｆｏｖ왜곡 보정 모델에 2ｄ패턴을 적용한 왜곡중심 보정 방법
CN107481291A (zh) 基于标识虚线物理坐标的交通监控模型标定方法及系统
US20180040138A1 (en) Camera-based method for measuring distance to object (options)
CN106355581B (zh) 利用车辆检测实现车载摄像头的在线标定的装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200114

Termination date: 20210707