CN112950662B - 一种交通场景空间结构提取方法 - Google Patents

一种交通场景空间结构提取方法 Download PDF

Info

Publication number
CN112950662B
CN112950662B CN202110330448.XA CN202110330448A CN112950662B CN 112950662 B CN112950662 B CN 112950662B CN 202110330448 A CN202110330448 A CN 202110330448A CN 112950662 B CN112950662 B CN 112950662B
Authority
CN
China
Prior art keywords
straight line
line segments
line segment
image
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110330448.XA
Other languages
English (en)
Other versions
CN112950662A (zh
Inventor
杨开富
何得淮
曾广
李永杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110330448.XA priority Critical patent/CN112950662B/zh
Publication of CN112950662A publication Critical patent/CN112950662A/zh
Application granted granted Critical
Publication of CN112950662B publication Critical patent/CN112950662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种交通场景空间结构提取方法，将待处理彩色图像转换为灰度图像，并提取图像边缘，获得二值化边缘图像；通过对图像边缘进行直线拟合，获得图像中的主要直线段。根据每条直线段的方向信息，对将直线段分为三组，并筛选适用于消失点估计的候选直线段；联立候选直线段的共线直线的线性方程，组成超定方程组，通过解方程组估计初始消失点位置；去除位于初始估计消失点上侧的候选直线段，重新构建和求解超定方程组，优化消失点位置；基于左侧、右侧两类直线段及其交点，构建由一个交点和左右两条线段组成的交通场景结构；通过计算各候选场景结构的交点与估计的消失点间的距离，获得最终的交通场景结构，适合于全天候交通场景的分析。

Description

一种交通场景空间结构提取方法
技术领域
本发明属于计算机视觉领域，具体涉及交通场景的空间结构提取方法。
背景技术
交通场景通常包含道路、建筑等相对固定的元素以及具有相对稳定的空间结构。建立交通场景进行空间结构提取和分析方法，对场景理解、目标检测等计算机视觉任务具有重要意义。由于不同天气条件(例如白天、夜间)下的视觉场景特征差异大，因此从全天候交通场景中提取稳定的空间结构是主要难点。
现有的场景结构提取方法主要针对光照充足的室内场景，参见文献“V.Hedau,D.Hoiem,and D.Forsyth,Recovering the spatial layout of cluttered rooms.IEEEInternational Conference on Computer Vision,2009”。该方法适用于光照充足且高度结构化的室内场景。但是目前还缺乏交通场景结构的表达方法以及针对不同光照下交通场景的空间结构提取方法。
发明内容
本发明的目的是为了解决目前缺乏针对交通场景的结构提取方法的现状，提出了一种交通场景结构提取方法。
为了实现上述目的，本发明的技术方案是：一种交通场景空间结构提取方法，包括以下步骤：
S1.提取交通图像的边缘信息；
具体为：利用颜色空间变换方法，提取交通场景的灰度通道图像，然后利用边缘检测算法提取交通图像边缘，并对边缘图像进行二值化处理；
S2.从二值边缘图像中提取直线段；
具体为：基于边缘拟合方法对二值化的边缘进行直线拟合，提取边缘中的直线段，得到每条直线段位于图像中的端点坐标，并根据端点坐标计算出每条直线段的方向和长度；
S3.筛选适用于消失点估计的候选直线段；
具体为：根据直线段的方向，将直线段分为三组，第一类为需要舍弃的直线段，包括与水平或垂直方向夹角小于给定夹角阈值的直线段以及位于图像顶部三分之一部分的直线段；对剩余的直线段根据角度方位符号(正或负)分为左侧直线段和右侧直线段；计算左侧、右侧直线段各自组内直线段角度的中位数，分别去除左侧、右侧直线段中角度与中位数角度夹角大于给定夹角阈值的直线段；所剩下的左侧、右侧直线段组成适用于消失点估计的候选直线段；
S4.估计交通场景消失点位置；
具体为：分别用线性方程表示步骤S3中筛选的各候选直线段的共线直线，联立所有共线直线的线性方程，组成一个超定方程组，超定方程组的解即为估计的初始消失点位置；获得初始消失点位置后，去除位于初始消失点上侧的候选直线段，获得剩余候选直线段；再利用剩余候选直线段再一次构建对应共线直线的超定方程组，并求解，获得最终估计的消失点位置；
S5.构建交通场景结构；
具体为：基于步骤S4中筛选得到的剩余候选直线段，分别依次从左侧、右侧直线段中各取一根，沿着指向两条线段交点的方向延长至交点位置，沿着相反方向延长至图像边界，形成由一个交点和左右两条线段组成的交通场景结构；依次遍历左侧、右侧直线段，生成交通场景结构候选组；分别计算交通场景结构候选组中各候选场景结构的交点与估计的消失点间的距离，选择距离最小的候选场景结构作为最终的交通场景结构。
作为一个较佳的实施例，步骤S1中的边缘检测算法为Canny算法。
作为一个较佳的实施例，步骤S1还包括对二值边缘图像进行膨胀运算过程。
作为一个较佳的实施例，步骤S3中夹角阈值取值范围为0°～45°。
作为一个较佳的实施例，步骤S4中的超定方程组表达式为：
G(a,b)TG(a,b)X*＝G(a,b)Tβ(c)
其中，基于线参数方程anx+bny＝cn描述第n条候选直线段，an、bn、cn为第n条直线方程对应参数，
Figure BDA0002990952970000021
和
Figure BDA0002990952970000022
表示所有n条直线方程参数构成的参数矩阵，G(a,b)T表示G(a,b)矩阵的转置矩阵；
Figure BDA0002990952970000023
为候选直线段交点近似解，即求解的消失点位置。
本发明的有益效果：本发明的方法首先将待处理彩色图像转换为灰度图像，并提取图像边缘，获得二值化边缘图像；通过对图像边缘进行直线拟合，获得图像中的主要直线段。根据每条直线段的方向信息，对将直线段分为三组，并筛选适用于消失点估计的候选直线段；联立候选直线段的共线直线的线性方程，组成一个超定方程组，通过解方程组估计的初始消失点位置；进一步去除位于初始估计消失点上侧的候选直线段，重新构建和求解超定方程组，优化消失点位置；最终，基于左侧、右侧两类直线段及其交点，构建由一个交点和左右两条线段组成的交通场景结构；通过计算各候选场景结构的交点与估计的消失点间的距离，获得最终的交通场景结构。
本发明所展示的方法定义了一种交通场景结构的表示方法，并通过基于边缘信息能够获得不同光照条件下稳定的交通场景估计结果，适合于全天候交通场景的分析和处理。
附图说明
图1是本发明实施例的交通场景结构提取方法的流程示意图。
图2是本发明所定义的交通场景结构示意图。
图3是采用本发明方法对夜间交通图像场景结构提取结果示意图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的阐述。
从目前公开的夜间交通图像库The Dark Zurich Dataset(下载地址：https://www.trace.ethz.ch/publications/2019/GCMA_UIoU/)中选择一幅夜间交通图像(编号：GOPR0364_frame_000092_rgb_anon.png)作为实施对象，图像大小为360×640×3，格式为24位png格式的彩色图像。
具体计算方法的流程如图1所示，具体过程如下：
S1.提取交通图像的边缘信息：本实例将输入的待处理交通图像(RGB图像)转换到YCbCr颜色空间，并提取Y通道作为灰度通道，即Y＝0.2989*R+0.5870*G+0.1140*B，获得灰度通道图像。利用Canny算子提取二值化的图像边缘，并对得到的二值边缘图像进行膨胀运算，膨胀算子采用半径为2的圆形平坦结构元。
以像素点(235,246)为例，该像素点在边缘图像中灰度值为0，即非边缘区域，在膨胀运算后灰度值为1，即被连接到边缘区域。此处Canny算子参数和膨胀算子大小，可根据输入图像进行调整，以取得最优结果。
S2.从二值边缘图像中提取主要的直线段：采用Peter Kovesi开发的MATLAB工具箱中的edgelink和lineseg函数对图像边缘进行直线拟合，设定参数：保留最短边缘长度为15像素，直线拟合的最大误差为1像素。
本实施例中，获得130条直线段及其端点坐标和长度，并通过反正切函数得到直线角度(以弧度表示)，例如获得的其中一条直线段参数表示为：左端点坐标为(2,194)，右端点坐标为(26,195)，方向为-0.0417，长度为24.0208。此处直线拟合参数，可根据S1所得边缘进行调整，以取得最优结果。
S3.筛选适用于消失点估计的候选直线段；根据直线段的方向，将直线段分为三组。第一类为需要舍弃的直线段，本实例取夹角阈值取10°，即与水平或竖直方向夹角小于10°或位于图上方1/3处的线段被舍弃；对剩余的直线段根据角度方位符号，将正角度线段分为左侧直线段，将负角度线段分为右侧直线段；计算左侧、右侧直线段各自组内直线段角度的中位数，左侧直线段方向的中位数为弧度0.2000，右类直线段方向的中位数为弧度-0.2162；分别去除左侧、右侧直线段中角度与中位数角度夹角大于给定夹角阈值的直线段，例如左端点为(418,240)、右端点为(430,256)的直线段，其方向-1.3333，其与右侧中位数角度差值为1.1711弧度(即大约64°)，大于夹角阈值10°，因此被舍弃；最后，所剩下的左侧、右侧直线段组成适用于消失点估计的候选直线段。
S4.估计交通场景消失点位置：首先分别用线性方程表示步骤S3中筛选的各候选直线段的共线直线，联立所有共线直线的线性方程，组成一个超定方程组G(a,b)TG(a,b)X*＝G(a,b)Tβ(c)，这超定方程组的解即为估计的初始消失点位置。本实施例中，求解获得消失点近似估计为(391，177)；获得初始消失点位置后，进一步去除位于初始估计消失点上侧的候选直线段，如左端点为(438,129)、右端点为(455,130)的直线段，得到矫正后的备选线段，然后重新构建线性方程和超定方程组，求解方程得到最终消失点的位置为(390,178)。
S5.构建交通场景结构；基于步骤S4中筛选后得到的候选直线段，分别一次从左侧、右侧两类候选直线段中各取一根，沿着指向两条线段交点的方向延长至交点位置，沿着相反方向延长至图像边界，形成由一个交点和左右两条线段组成的交通场景结构；如左侧直线段(左端点(32,201)、右端点(61,199)、方向0.0690)，右侧直线段(左端点(505,205)、右端点(479,204)、方向-0.0385)，获得交点为(164,192)，左侧、右侧直线段延长线与图像边界的交点分别为(1,203)、(640,210)；依次遍历左侧、右侧直线段，生成交通场景结构候选组；分别计算交通场景结构候选组中各候选场景结构的交点与估计的消失点间的距离；例如，以备选场景结构(左侧直线段：左端点(32，201)、右端点(61，199)，右侧直线段：左端点(505,205)、右端点(479,204))，其交点为(164,192)，交点与估计的消失点间的距离为225.5350；依次遍历所有场景结构候选组，得到交点与估计的消失点距离最小的场景结构为(左侧直线段：左端点(1,228)、右端点(389,178)，右侧直线段：左端点(389,178)、右端点(640,266))，其交点为(389,178)，即为最终获得的场景结构。
测试结果如图3所示，其中：3a.原始夜间交通图像，3b.检测的交通场景结构(白色线条)。从图中可以清楚看出，采用本发明方法能够对夜间交通图像构建合理的场景结构。
这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (5)

1.一种交通场景空间结构提取方法，包括以下步骤：
S1.提取交通图像的边缘信息；
具体为：利用颜色空间变换方法，提取交通场景的灰度通道图像，然后利用边缘检测算法提取交通图像边缘，并对边缘图像进行二值化处理；
S2.从二值边缘图像中提取直线段；
具体为：基于边缘拟合方法对二值化的边缘进行直线拟合，提取边缘中的直线段，得到每条直线段位于图像中的端点坐标，并根据端点坐标计算出每条直线段的方向和长度；
S3.筛选适用于消失点估计的候选直线段；
具体为：根据直线段的方向，将直线段分为三组，第一类为需要舍弃的直线段，包括与水平或垂直方向夹角小于给定夹角阈值的直线段以及位于图像顶部三分之一部分的直线段；对剩余的直线段根据角度方位符号分为左侧直线段和右侧直线段；计算左侧、右侧直线段各自组内直线段角度的中位数，分别去除左侧、右侧直线段中角度与中位数角度夹角大于给定夹角阈值的直线段；所剩下的左侧、右侧直线段组成适用于消失点估计的候选直线段；
S4.估计交通场景消失点位置；
具体为：分别用线性方程表示步骤S3中筛选的各候选直线段的共线直线，联立所有共线直线的线性方程，组成一个超定方程组，超定方程组的解即为估计的初始消失点位置；获得初始消失点位置后，去除位于初始消失点上侧的候选直线段，获得剩余候选直线段；再利用剩余候选直线段再一次构建对应共线直线的超定方程组，并求解，获得最终估计的消失点位置；
S5.构建交通场景结构；
具体为：基于步骤S4中筛选得到的剩余候选直线段，分别依次从左侧、右侧直线段中各取一根，沿着指向两条线段交点的方向延长至交点位置，沿着相反方向延长至图像边界，形成由一个交点和左右两条线段组成的交通场景结构；依次遍历左侧、右侧直线段，生成交通场景结构候选组；分别计算交通场景结构候选组中各候选场景结构的交点与估计的消失点间的距离，选择距离最小的候选场景结构作为最终的交通场景结构。
2.根据权利要求1所述的交通场景空间结构提取方法，其特征在于，步骤S1中所述的边缘检测算法为Canny算法。
3.根据权利要求1所述的交通场景空间结构提取方法，其特征在于，步骤S1还包括对二值边缘图像进行膨胀运算过程。
4.根据权利要求1所述的交通场景空间结构提取方法，其特征在于，步骤S3中所述的夹角阈值取值范围为0°～45°。
5.根据权利要求1所述的交通场景空间结构提取方法，步骤S4中的超定方程表达式为：
G(a,b)TG(a,b)X*＝G(a,b)Tβ(c)
其中，基于线参数方程anx+bny＝cn描述第n条候选直线段，an、bn、cn为第n条直线方程对应参数，
Figure FDA0002990952960000021
和
Figure FDA0002990952960000022
表示所有n条直线方程参数构成的参数矩阵，G(a,b)T表示G(a,b)矩阵的转置矩阵；
Figure FDA0002990952960000023
为候选直线段交点近似解，即求解的消失点位置。
CN202110330448.XA 2021-03-24 2021-03-24 一种交通场景空间结构提取方法 Active CN112950662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110330448.XA CN112950662B (zh) 2021-03-24 2021-03-24 一种交通场景空间结构提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110330448.XA CN112950662B (zh) 2021-03-24 2021-03-24 一种交通场景空间结构提取方法

Publications (2)

Publication Number Publication Date
CN112950662A CN112950662A (zh) 2021-06-11
CN112950662B true CN112950662B (zh) 2022-04-01

Family

ID=76227074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110330448.XA Active CN112950662B (zh) 2021-03-24 2021-03-24 一种交通场景空间结构提取方法

Country Status (1)

Country Link
CN (1) CN112950662B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743344A (zh) * 2021-09-10 2021-12-03 北京精英路通科技有限公司 道路信息的确定方法、装置和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296658A (zh) * 2016-07-28 2017-01-04 电子科技大学 一种基于相机响应函数的场景光源估计准确性提升方法
CN107424161A (zh) * 2017-04-25 2017-12-01 南京邮电大学 一种由粗至精的室内场景图像布局估计方法
CN107679520A (zh) * 2017-10-30 2018-02-09 湖南大学 一种适用于复杂条件下的车道线视觉检测方法
CN109766846A (zh) * 2019-01-15 2019-05-17 电子科技大学 一种基于视频的自适应多车道车流检测方法及系统
CN110909620A (zh) * 2019-10-30 2020-03-24 北京迈格威科技有限公司 车辆检测方法、装置、电子设备及存储介质
CN110930365A (zh) * 2019-10-30 2020-03-27 长安大学 一种交通场景下的正交消失点检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10008000B2 (en) * 2016-05-18 2018-06-26 Conduent Business Services, Llc Camera calibration based on moving vehicle line segments

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296658A (zh) * 2016-07-28 2017-01-04 电子科技大学 一种基于相机响应函数的场景光源估计准确性提升方法
CN107424161A (zh) * 2017-04-25 2017-12-01 南京邮电大学 一种由粗至精的室内场景图像布局估计方法
CN107679520A (zh) * 2017-10-30 2018-02-09 湖南大学 一种适用于复杂条件下的车道线视觉检测方法
CN109766846A (zh) * 2019-01-15 2019-05-17 电子科技大学 一种基于视频的自适应多车道车流检测方法及系统
CN110909620A (zh) * 2019-10-30 2020-03-24 北京迈格威科技有限公司 车辆检测方法、装置、电子设备及存储介质
CN110930365A (zh) * 2019-10-30 2020-03-27 长安大学 一种交通场景下的正交消失点检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Method to Calibrate Vehicle-Mounted;Yaonan Wang等;《 IEEE Transactions on Intelligent Transportation Systems 》;IEEE;20150601;第16卷;第3270-3279页 *
Detecting Dominant Vanishing Points in Natural Scenes with Application to Composition-Sensitive Image Retrieval;Zihan Zhou等;《IEEE Transactions on Multimedia 》;IEEE;20170512;第19卷;第2651-2665页 *
一种鲁棒的消失点估计算法;王锐等;《科技资讯》;20160708(第06期);第116-120页 *
汽车辅助安全驾驶中基于视频的障碍物检测方法研究;陆臻;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;中国学术期刊（光盘版）电子杂志社;20170215(第2期);C035-252 *

Also Published As

Publication number Publication date
CN112950662A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN108519605B (zh) 基于激光雷达和摄像机的路沿检测方法
CN107045629B (zh) 一种多车道线检测方法
CN109389121B (zh) 一种基于深度学习的铭牌识别方法及系统
CN109785291B (zh) 一种车道线自适应检测方法
CN107092877B (zh) 基于建筑物基底矢量的遥感影像屋顶轮廓提取方法
CN108280450B (zh) 一种基于车道线的高速公路路面检测方法
CN107424142B (zh) 一种基于图像显著性检测的焊缝识别方法
CN108596055B (zh) 一种复杂背景下高分辨遥感图像的机场目标检测方法
CN107392141B (zh) 一种基于显著性检测和lsd直线检测的机场提取方法
CN110516550B (zh) 一种基于fpga的车道线实时检测方法
CN110110682B (zh) 遥感图像的语义立体重构方法
CN108133216B (zh) 基于机器视觉的可实现小数点读取的数码管读数识别方法
CN105809149A (zh) 基于最大长度直线的车道线检测方法
CN104794421A (zh) 一种qr码定位及识别方法
KR101549155B1 (ko) 라이다 자료를 활용한 구조물의 직선경계 추출방법
CN112950662B (zh) 一种交通场景空间结构提取方法
CN111354047A (zh) 一种基于计算机视觉的摄像模组定位方法及系统
CN106709952A (zh) 一种显示屏幕的自动标定方法
CN114419165B (zh) 相机外参校正方法、装置、电子设备和存储介质
CN113793309B (zh) 一种基于形态学特征的亚像素级椭圆检测方法
Chaloeivoot et al. Building detection from terrestrial images
CN104036295A (zh) 多光谱遥感影像道路中心线自动检测方法
CN111241911B (zh) 一种自适应的车道线检测方法
CN112308801A (zh) 基于大数据图像采集的道路交通追踪管理方法及系统
CN113095309B (zh) 一种基于点云的道路场景地面标识物的提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant