CN106205163A - 基于全景摄像技术的山区公路弯道盲区会车预警系统 - Google Patents

基于全景摄像技术的山区公路弯道盲区会车预警系统 Download PDF

Info

Publication number
CN106205163A
CN106205163A CN201610573666.5A CN201610573666A CN106205163A CN 106205163 A CN106205163 A CN 106205163A CN 201610573666 A CN201610573666 A CN 201610573666A CN 106205163 A CN106205163 A CN 106205163A
Authority
CN
China
Prior art keywords
image
module
bend
sigma
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610573666.5A
Other languages
English (en)
Other versions
CN106205163B (zh
Inventor
韩毅
邢亚山
魏敬东
刘伟
肖旭辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201610573666.5A priority Critical patent/CN106205163B/zh
Publication of CN106205163A publication Critical patent/CN106205163A/zh
Application granted granted Critical
Publication of CN106205163B publication Critical patent/CN106205163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于全景摄像技术的山区公路弯道盲区会车预警系统,包括图像获取模块,用于实时采集弯道左右入口和弯道内的图像;图像处理模块,用于接收图像信号,并对图像进行处理,对车辆进行识别,判断其运动方向;控制模块,用于根据车辆识别模块的输出结果,输出相应的控制指令,用以控制信号输出显示模块是否输出特定的图像信息。该系统能够实时检测弯道入口处、弯道内、弯道出口处位置的交通信息,从而能够给即将进入弯道的驾驶员提供预警提示,提高了行车的安全性。

Description

基于全景摄像技术的山区公路弯道盲区会车预警系统
技术领域
本发明属于车辆检测和道路交通安全技术领域,具体涉及一种基于全景摄像技术的山区公路弯道盲区会车预警系统,适用于山区道路上弯道的车辆会车预警场合。
背景技术
随着我国经济的快速发展,道路基础设施的完善,加之我国幅员辽阔,地形复杂多样,山区公路众多,导致我国公路交通系统存在非常多的弯道,特别是山区公路存在行车视野盲区的U形上下坡弯道处最为危险,是交通事故高发区。因此、公路弯道盲区车辆会车预警,成为降低交通事故发生几率的重要手段。
目前公认的弯道安全预警措施比较少,主要有两类:基于雷达的防撞安全预警系统、在弯道处竖立凸面镜。
随着车辆检测和道路交通安全技术的发展,用于车辆行驶安全的辅助设备越来越多,现行的弯道行车安全预警措施主要有:(1)在弯道处竖立凸面镜显示对面来车情况,但凸面镜作用距离有限,只有当车辆距离凸面镜很近时才能被显示,且预警提示不明显,而且在夜晚行车时,凸面镜的反射灯光可能使对向来车驾驶员感到目眩,凸面镜的反射效果很容易受雪雾等恶劣天气的影响。(2)基于雷达的车载防撞安全预警系统,该系统对于直线道路上行驶的车辆预警效果非常好,而对于弯道处特别是有山体遮挡盲区的弯道处车辆防撞预警效果很有限的,因为雷达只能对前方一定直线区域进行扫描,所以在弯道处能扫描的有效距离很短。(3)基于地地磁传感器或激光传感器的弯道车辆预警装置,该系统虽然能够对弯道对向来车进行很好的提前预警,且受环境因素影响较小,但当弯道内有车辆停留或发生车祸时,则不能弯道两侧来车进行预警。还有学者提出基于车联网车-车通信技术,使弯道两侧来车及时进行通信,以达到相互预警的目的,但这种方式无疑会增加车辆成本,而且目前技术还不成熟,因此这种方式也不可行。
通过上述分析,弯道车辆预警装置需解决的问题主要有:准确可靠地检测对面来车情况;要在两车距离较远时就起到预警效果;预警提示应该清晰醒目,且受气候影响较小;能够实时检测弯道内是否有车辆停留或有车祸发生。
发明内容
针对上述现有技术中存在的问题,本发明的目的在于,提供一种满足驾驶员在准备驶入山区公路U形弯道时,能够实时提供U形弯道内交通信息,从而给驾驶员提供行车参考的基于全景摄像技术的山区公路弯道盲区会预警系统。
为了实现上述任务,本发明采用以下技术方案:
基于全景摄像技术的山区公路弯道盲区会车预警系统,包括:图像获取模块、图像处理模块、车辆识别模块以及信号输出显示模块,其中:
图像获取模块用于获取山区公路弯道进口处、弯道处、弯道出口处的图像,并将采集到的图像输入到图像处理模块;
图像处理模块接收到上述的图像后,将图像灰度化处理后转换为数字信号,再对图像进行全景拼接处理,经过图像增强和形态学运算后再将全景拼接处理后的数字信号还原为全景图像后进行输出;
车辆识别模块用于识别所述的全景图像中的车辆,并判断识别出车辆的运动速度、运动方向以及整个弯道内的车辆数量;
信号输出显示模块用于将所述的全景图像中的车辆、速度以及车辆数量信息通过设置在弯道进口处、弯道出口处的显示器进行实时显示。
进一步地,所述的系统还包括:输入模块和控制模块,其中:
输入模块包括设置在弯道进口处、弯道出口处的地磁传感器,用于进行车辆检测;
控制模块用于接收输入模块传递来的、当前是否有车辆经过弯道的指令,并根据该指令以及车辆识别模块的识别结果,共同控制信号输出显示模块;控制过程为:当控制模块未接收到所述的指令以及识别结果时,使信号输出显示模块断电以节省能源;当控制模块接收到所述的指令以及识别结果时,通过信号输出显示模块将识别结果进行实时的显示。
进一步地,所述的信号输出显示模块包括安装在弯道进口处和弯道出口处的显示器。
进一步地,所述的系统还包括:图像存储模块,图像存储模块与图像获取模块、图像处理模块连接,用于接收并存储最近2~3天所述的图像获取模块采集的图像以及经过图像处理模块处理得到的全景图像。
进一步地,所述的图像处理模块中,对信号进行全景拼接处理的方法包括:
对图像信号进行特征点的提取,提取的过程中加入Harris角点算子,筛选出鲁棒性较强的特征点,然后借助匹配特征点对之间的几何一致性来对特征点进行粗提纯;最后采用重叠区域线性过渡融合算法对图像信号进行平滑过渡,消除拼接缝隙。
进一步地,所述的特征点提取、加入Harris角点算子,筛选出鲁棒性较强的特征点的具体算法为:
从图像中提取的特征点的信息可以表示为:I(xn,ynnn),其中xn、yn是特征点的横坐标和纵坐标,σn为特征点的尺度,θn为特征点的方向;n∈(1,N),N为从图像中提取的特征点的总数;则Harris角点检测的自相关矩阵可以表示为:
M = Σ ( x , y ) ∈ W ( x n , y n ) w ( x , y ) I x 2 I x I y I x I y I y 2
上式中,w(x,y)是以(xn、yn)为中心的高斯加权窗口函数,Ix,Iy表示图像在x方向和y方向的偏导数,W(xn,yn)为特征点的坐标集合;
记λ1,λ2为自相关矩阵M的两个特征值,则使用以下公式来判断角点量R:
R=λ1λ2-k(λ12)2=det(M)-ktrace2(M)
上式中,k是一个常数,取值为0.04~0.06,det(M)是矩阵M的行列式,trace(M)为矩阵M的迹;
设定一个阈值T,当角点量R大于T时,则判定当前的特征点是候选角点,即所述的鲁棒性较强的特征点;否则不是候选角点。
进一步地,所述的阈值T的计算公式如下:
T = 1 2 N Σ n = 1 N | R σ n ( x n , y n ) |
在上式中,N为提取的特征点的总数,为特征点的角点值;。
进一步地,所述的对特征点进行粗提纯的算法包括:
记图像A和图像B表示待匹配的图像,图像A的特征点集合a=(a1,a2,...,an),
图像B的特征点集合b=(b1,b2,...,bn);记粗匹配点集的尺度比集合和角度差集合为C、D,则有:
C = { σ a 1 σ b 1 ≈ σ a 2 σ b 2 ≈ σ a 3 σ b 3 ... ≈ σ a n σ b n }
D = { | θ a 1 - θ b 1 | , | θ a 2 - θ b 2 | , ... , | θ a n - θ b n | }
上式中,分别为特征点ai、bi的尺度,分别为特征点ai、bi的方向,i=1,2,...,n;
计算下面两个式子:
l 1 = | σ a i σ b i - m σ | , l 2 = | | θ a i - θ b i | - n θ |
上式中,mσ为全景图像尺度的缩放比例,nθ为全景图像的旋转角度;
设置阈值T′,如果l1,l2均小于阈值T′,则保留匹配点对(ai,bi),否则剔除该匹配点对。
进一步地,所述的重叠区域线性过渡融合算法的步骤包括:
记两幅待拼接的图像重叠区域的宽度为L,过渡因子为σ;如果两幅图像的重叠区域在水平轴方向上的最大值和最小值分别是xmax和xmin那么过渡因子:
σ = x m a x - x x m a x - x m i n
上式中x为重叠区域像素点水平方向坐标;
令f1(x,y)、f2(x,y)分别表示待拼接的两幅图像的灰度值,f3(x,y)表示融合两幅图像之后的图像的灰度值,那么重叠区域f3(x,y)的计算公式为:
f3(x,y)=σf1(x,y)+(1-σ)f2(x,y)
上式中,过渡因子为σ的取值范围为0到1。
本发明具有以下技术特点:
1.本系统能够满足驾驶员在准备驶入山区公路U形弯道时,能够实时提供给驾驶员U形弯道内的全景图像信息,并智能判断弯道内是否有车辆以及车速、车数是否有车辆停留在弯道内等详细交通信息,从而给驾驶员提供参考,有利于驾驶员的安全驾驶,大大降低了因转向盲区引发的交通事故发生的可能,进而增加了安全驾驶概率,尤其在给日间行车带来了极大的方便性的同时,有效地提高了行车的安全性;
2.预驶入弯道车辆检测模块的设定,可有效提高系统运行效率,并减少系统用电量;
3.本发明结构简单,便于实现。提高驾驶员的山区行车安全性。
附图说明
图1为本发明的整体结构示意图;
图2为本发明供电系统的结构示意图;
图3为摄像头以及地磁传感器的布设位置示意图;
图4为弯道预警方法的流程逻辑图;
具体实施方式
遵从上述技术方案,如图1至图4所示,本发明提供了一种基于全景摄像技术的山区公路弯道盲区会车预警系统,包括:图像获取模块、图像处理模块、车辆识别模块以及信号输出显示模块,其中:
图像获取模块用于获取山区公路弯道进口处、弯道处、弯道出口处的图像,并将采集到的图像输入到图像处理模块;如图1所示,弯道可以看成由三部分构成:弯道进口处、弯道处以及弯道出口处;其中弯道进口处、弯道出口处均为直线结构,而弯道处表示整个弯道弯折的位置。弯道进口处、弯道出口处的这段距离起到预警作用,例如这段距离可以为10~20m,使驾驶员能充分地了解弯道进出位置的车流情况。
在本实施例中,图像采集模块采用三个摄像头,如图1所述,三个摄像头分别置于弯道进口处路段内侧、弯道处路段内侧以及弯道出口处路段内侧,分别用于实时采集弯道进口处、弯道处以及弯道出口处的图像,这三个摄像头与图像处理模块连接。
所述三个摄像头均采用具有红外夜视功能的红外摄像头。在光线暗淡情况下,所述红外摄像头也可以用于实时采集图像,并将采集到的上述三种图像信号输出,而不受外界光线强度的影响,能够实时输出清晰的图像。可以在道路周围光线暗淡甚至在夜间光线强度几乎为零的情况下使用,满足了光线暗淡情况下的需要。
图像处理模块接收到上述的三个摄像头传递来的图像后,将图像灰度化处理后转换为数字信号,再对图像进行全景拼接处理,经过图像增强和形态学运算后再将全景拼接处理后的数字信号还原为全景图像后进行输出;
所述图像处理模块包括依次相连的A/D转换器、DSP处理器以及D/A转换器。所述A/D转换器用于接收三个摄像头实时采集的弯道进口处、弯道处、弯道出口处的三种图像信号并将所接收到的三种图像信号转换为数字信号;所述DSP处理器用于对转换为数字信号的三种图像进行全景拼接处理;所述D/A转换器用于将所述经过全景拼接处理的数字信号转换为图像信号并输出。
在本发明中,图像拼接处理采用基于特征点匹配的图像拼接算法进行处理,过程包括:
对图像信号进行特征点的提取,提取的过程中加入Harris角点算子,筛选出鲁棒性较强的特征点,然后借助匹配特征点对之间的几何一致性来对特征点进行粗提纯,以提高算法运行效率;最后采用重叠区域线性过渡融合算法对图像信号进行平滑过渡,消除拼接缝隙。
具体过程如下:
通过计算特征点的幅值和方向,每一个特征点均包含有位置、尺度和方向的信息。记从图像中共提取了N个特征点,每个特征点的信息可以表示为:I(xn,ynnn),其中xn、yn是特征点的横坐标和纵坐标,σn为特征点的尺度,θn为特征点的方向,n∈(1,N);则Harris角点检测的自相关矩阵可以表示为:
M = Σ ( x , y ) ∈ W ( x n , y n ) w ( x , y ) I x 2 I x I y I x I y I y 2
上式中,w(x,y)是以(xn、yn)为中心的高斯加权窗口函数,Ix,Iy表示图像在x方向和y方向的偏导数,W(xn,yn)为特征点的坐标集合;
记λ1,λ2为自相关矩阵M的两个特征值,则使用以下公式来判断角点量R:
R=λ1λ2-k(λ12)2=det(M)-ktrace2(M)
上式中,k是一个常数,取值为0.04~0.06,det(M)是矩阵M的行列式,trace(M)为矩阵M的迹,也即矩阵M的两个特征值之和;
设定一个阈值T,当角点量R大于T时,则判定当前的特征点是候选角点,即所述的鲁棒性较强的特征点;否则不是候选角点。
阈值T的计算公式如下:
T = 1 2 N Σ n = 1 N | R σ n ( x n , y n ) |
在上式中,N为提取的特征点的总数,为特征点的角点值。
通过上述步骤的处理,得到了鲁棒性较强的特征点,而对比度较低的极值点和一些不稳定的边缘点可以部分去除,这样处理的好处就是算法的匹配稳定性增强了,同时抗噪声能力也提高了,并且有利于减少下一步计算特征点的幅值和方向的计算量。
为了使图像在发生旋转的情况下依然能够很好的匹配,本算法利用统计直方图信息的方式来对特征点的主方向进行确定。对于在在上述步骤中找出的候选角点(即鲁棒性较强的特征点),计算其所在的高斯金字塔邻域窗口内像素梯度的模值m(xn,yn)和方向θ(xn,yn)。梯度统计直方图将0-360度划分为36个柱,其中每10度为一个柱。直方图的峰值代表该特征点的主方向。通过以上计算,每一个特征点都拥有位置、方向、尺度这三个信息。为了保证特征点的旋转不变性,需要将坐标轴旋转到关键点所在的主方向。以特征点为中心取一个16×16的矩形窗口,把窗口均匀地分为16个4×4的的子窗口。然后在每一个4×4的子窗口上计算8个方向的梯度累加值。每一个4×4的子窗口可形成一个种子点,因此每一个特征点都由16个种子点构成,每个种子点都含有8个方向的向量信息,所以一个特征点最终可以形成128维的特征向量。为了减少光照变化带来的影响,还需要对生成的特征向量进行归一化,以期提高匹配的稳定性。
当图像发生尺度和旋转变化时,对应的正确匹配点的主方向和尺度满足一定的规律。即正确匹配的特征点尺度的比值近似等于两幅图像尺度缩放的比值;正确匹配的特征点主方向角度的差值近似等于两幅图像旋转变化的角度。
记图像A(原图像)和图像B(将原图像A经旋转和缩放后的图像)表示待匹配的图像,将图像A图像与图像B进行SIFT特征提取和采用欧式距离法进行粗匹配,可以得到1组粗匹配点集(采用欧式距离进行匹配往往会有很多的误匹配点,误匹配点需要剔除,因此这个步骤为粗匹配过程),粗匹配可以减少计算量,并为下面特征点的筛选做准备。
图像A、图像B粗匹配的特征点集合为a=(a1,a2,...,an)、b=(b1,b2,...,bn);记粗匹配点集的尺度比集合和角度差集合为C、D,则有:
C = { σ a 1 σ b 1 ≈ σ a 2 σ b 2 ≈ σ a 3 σ b 3 ... ≈ σ a n σ b n }
D = { | θ a 1 - θ b 1 | , | θ a 2 - θ b 2 | , ... , | θ a n - θ b n | }
上式中,分别为特征点ai、bi的尺度,分别为特征点ai、bi的方向,i=1,2,...,n;
计算下面两个式子:
l 1 = | σ a i σ b i - m σ | , l 2 = | | θ a i - θ b i | - n θ |
上式中,mσ为图像B相对于原图像A的尺寸缩放比例,nθ为图像B相对于原图像A的尺寸的旋转角度。mσ、nθ均可通过计算得到。
设置阈值T′,如果l1,l2均小于阈值T′,则保留匹配点对(ai,bi),否则剔除该匹配点对。
在本方法中,图像A、B可以是同一摄像机先后时刻拍摄的有适当重叠区域的两幅图像,也可以是同一型号的两个摄像机拍摄的有适当重叠区域的两幅图像。(而在本实施例中,采用三台摄像机同一时刻拍摄的图像间两两匹配与融合拼接。)特征点的匹配主要是寻找两幅图像之间的对应特征点,用来确定两幅图像的重叠区域。即:对图像进行特征点提取后,两幅图像生成大量的特征点,这时需要对特征点进行匹配拼接位置。
图像融合过程中采用重叠区域线性过渡融合的方法进行图像拼接。记两幅待拼接的图像重叠区域的宽度为L,过渡因子为σ;如果两幅图像的重叠区域在水平轴方向上的最大值和最小值分别是xmax和xmin那么过渡因子:
σ = x m a x - x x m a x - x m i n
上式中x为重叠区域像素点水平方向坐标;
令f1(x,y)、f2(x,y)分别表示待拼接的两幅图像的灰度值,f3(x,y)表示融合两幅图像之后的图像的灰度值,那么重叠区域f3(x,y)的计算公式为:
f3(x,y)=σf1(x,y)+(1-σ)f2(x,y)
上式中,过渡因子为σ的取值范围为0到1。由于σ的值由1渐变为0,1-σ的值由0渐变为1,权值在不断的变化,因此上式即可实现两幅图像在重叠区域的平滑过渡,达到无缝拼接的效果。
车辆识别模块与图像处理模块连接,具体为与上述的DSP处理器相连,用于识别所述的全景图像中的车辆,并判断识别出车辆的运动速度、运动方向以及整个弯道内的车辆数量;信号输出显示模块用于将所述的全景图像中的车辆、速度以及车辆数量信息通过设置在弯道进口处、弯道出口处的显示器进行实时显示。
本发明的系统进一步包括:输入模块和控制模块,其中:
输入模块包括设置在弯道进口处、弯道出口处的地磁传感器,用于进行车辆检测;
控制模块用于接收输入模块传递来的、当前是否有车辆经过弯道的指令,并根据该指令以及车辆识别模块的识别结果,共同控制信号输出显示模块;控制模块可与所述的图像处理模块集成为一体结构,其功能可以在图像处理模块中的处理器中完成。控制过程为:当控制模块未接收到所述的指令以及识别结果时,使信号输出显示模块断电以节省能源;当控制模块接收到所述的指令以及识别结果时,通过信号输出显示模块将识别结果进行实时的显示。信号输出显示模块包括安装在弯道进口处和弯道出口处的显示器,通过显示器,在经过弯道时,驾驶员可以实时地观察到弯道另一侧当前的车辆的数量、速度等信息,并可根据车辆数量、车速等设定预定策略,进行实时的预警,预警策略如图4所示。
由于本系统用于山区公路,为了节省能源,所以采用上述的控制策略;即显示屏并不是实时开启的,而是在接收到输入模块和控制模块的指令后才进行通电开启,从而达到减少耗电量和延长使用寿命的目的。显示器采用LED显示器;整个系统的供电采用太阳能供电系统,如图2所示,其中图像采集与处理识别总成指的就是图1系统。
该系统中还包括图像存储模块,所述图像存储单元与图像采集模块、图像处理模块分别连接,用于接收并存储最近2~3天所述图像采集模块采集的图像以及经图像处理模块处理过的全景图像。所述图像存储模块存储的图像就可以用于分析事故发生的原因和事故的责任并为事故再现提供可靠参考,为分析、判断汽车驾驶状态和处理交通事故提供了可靠准确的科学依据。

Claims (9)

1.基于全景摄像技术的山区公路弯道盲区会车预警系统,其特征在于,包括:图像获取模块、图像处理模块、车辆识别模块以及信号输出显示模块,其中:
图像获取模块用于获取山区公路弯道进口处、弯道处、弯道出口处的图像,并将采集到的图像输入到图像处理模块;
图像处理模块接收到上述的图像后,将图像灰度化处理后转换为数字信号,再对图像进行全景拼接处理,经过图像增强和形态学运算后再将全景拼接处理后的数字信号还原为全景图像后进行输出;
车辆识别模块用于识别所述的全景图像中的车辆,并判断识别出车辆的运动速度、运动方向以及整个弯道内的车辆数量;
信号输出显示模块用于将所述的全景图像中的车辆、速度以及车辆数量信息通过设置在弯道进口处、弯道出口处的显示器进行实时显示。
2.如权利要求1所述的基于全景摄像技术的山区公路弯道盲区会车预警系统,其特征在于,所述的系统还包括:输入模块和控制模块,其中:
输入模块包括设置在弯道进口处、弯道出口处的地磁传感器,用于进行车辆检测;
控制模块用于接收输入模块传递来的、当前是否有车辆经过弯道的指令,并根据该指令以及车辆识别模块的识别结果,共同控制信号输出显示模块;控制过程为:当控制模块未接收到所述的指令以及识别结果时,使信号输出显示模块断电以节省能源;当控制模块接收到所述的指令以及识别结果时,通过信号输出显示模块将识别结果进行实时的显示。
3.如权利要求1所述的基于全景摄像技术的山区公路弯道盲区会车预警系统,其特征在于,所述的信号输出显示模块包括安装在弯道进口处和弯道出口处的显示器。
4.如权利要求1所述的基于全景摄像技术的山区公路弯道盲区会车预警系统,其特征在于,所述的系统还包括:图像存储模块,图像存储模块与图像获取模块、图像处理模块连接,用于接收并存储最近2~3天所述的图像获取模块采集的图像以及经过图像处理模块处理得到的全景图像。
5.如权利要求1所述的基于全景摄像技术的山区公路弯道盲区会车预警系统,其特征在于,所述的图像处理模块中,对信号进行全景拼接处理的方法包括:
对图像信号进行特征点的提取,提取的过程中加入Harris角点算子,筛选出鲁棒性较强的特征点,然后借助匹配特征点对之间的几何一致性来对特征点进行粗提纯;最后采用重叠区域线性过渡融合算法对图像信号进行平滑过渡,消除拼接缝隙。
6.如权利要求5所述的基于全景摄像技术的山区公路弯道盲区会车预警系统,其特征在于,所述的特征点提取、加入Harris角点算子,筛选出鲁棒性较强的特征点的具体算法为:
从图像中提取的特征点的信息可以表示为:I(xn,ynnn),其中xn、yn是特征点的横坐标和纵坐标,σn为特征点的尺度,θn为特征点的方向;n∈(1,N),N为从图像中提取的特征点的总数;则Harris角点检测的自相关矩阵可以表示为:
M = Σ ( x , y ) ∈ W ( x n , y n ) w ( x , y ) I x 2 I x I y I x I y I y 2
上式中,w(x,y)是以(xn、yn)为中心的高斯加权窗口函数,Ix,Iy表示图像在x方向和y方向的偏导数,W(xn,yn)为特征点的坐标集合;
记λ1,λ2为自相关矩阵M的两个特征值,则使用以下公式来判断角点量R:
R=λ1λ2-k(λ12)2=det(M)-ktrace2(M)
上式中,k是一个常数,取值为0.04~0.06,det(M)是矩阵M的行列式,trace(M)为矩阵M的迹;
设定一个阈值T,当角点量R大于T时,则判定当前的特征点是候选角点,即所述的鲁棒性较强的特征点;否则不是候选角点。
7.如权利要求6所述的基于全景摄像技术的山区公路弯道盲区会车预警系统,其特征在于,所述的阈值T的计算公式如下:
T = 1 2 N Σ n = 1 N | R σ n ( x n , y n ) |
在上式中,N为提取的特征点的总数,为特征点的角点值。
8.如权利要求5所述的基于全景摄像技术的山区公路弯道盲区会车预警系统,其特征在于,所述的对特征点进行粗提纯的算法包括:
记原图像A和将原图像A经过旋转和缩放后的图像B表示待匹配的图像,图像A的特征点集合a=(a1,a2,...,an),图像B的特征点集合b=(b1,b2,...,bn);记粗匹配点集的尺度比集合和角度差集合为C、D,则有:
C = { σ a 1 σ b 1 ≈ σ a 2 σ b 2 ≈ σ a 3 σ b 3 ... ≈ σ a n σ b n }
D = { | θ a 1 - θ b 1 | , | θ a 2 - θ b 2 | , ... , | θ a n - θ b n | }
上式中,分别为特征点ai、bi的尺度,分别为特征点ai、bi的方向,i=1,2,...,n;
计算下面两个式子:
l 1 = | σ a i σ b i - m σ | , l 2 = | | θ a i - θ b i | - n θ |
上式中,mσ为图像B相对于原图像A的尺寸缩放比例,nθ为图像B相对于原图像A的尺寸的旋转角度;
设置阈值T′,如果l1,l2均小于阈值T′,则保留匹配点对(ai,bi),否则剔除该匹配点对。
9.如权利要求5所述的基于全景摄像技术的山区公路弯道盲区会车预警系统,其特征在于,所述的重叠区域线性过渡融合算法的步骤包括:
记两幅待拼接的图像重叠区域的宽度为L,过渡因子为σ;如果两幅图像的重叠区域在水平轴方向上的最大值和最小值分别是xmax和xmin那么过渡因子:
σ = x m a x - x x m a x - x m i n
上式中x为重叠区域像素点水平方向坐标;
令f1(x,y)、f2(x,y)分别表示待拼接的两幅图像的灰度值,f3(x,y)表示融合两幅图像之后的图像的灰度值,那么重叠区域f3(x,y)的计算公式为:
f3(x,y)=σf1(x,y)+(1-σ)f2(x,y)
上式中,过渡因子为σ的取值范围为0到1。
CN201610573666.5A 2016-07-20 2016-07-20 基于全景摄像技术的山区公路弯道盲区会车预警系统 Active CN106205163B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610573666.5A CN106205163B (zh) 2016-07-20 2016-07-20 基于全景摄像技术的山区公路弯道盲区会车预警系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610573666.5A CN106205163B (zh) 2016-07-20 2016-07-20 基于全景摄像技术的山区公路弯道盲区会车预警系统

Publications (2)

Publication Number Publication Date
CN106205163A true CN106205163A (zh) 2016-12-07
CN106205163B CN106205163B (zh) 2019-06-07

Family

ID=57493725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610573666.5A Active CN106205163B (zh) 2016-07-20 2016-07-20 基于全景摄像技术的山区公路弯道盲区会车预警系统

Country Status (1)

Country Link
CN (1) CN106205163B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846913A (zh) * 2017-03-31 2017-06-13 浙江警察学院 急弯道路显示屏预警系统及其方法
CN106887158A (zh) * 2017-03-31 2017-06-23 浙江警察学院 急弯道路信号灯预警系统及其方法
CN106952502A (zh) * 2017-05-11 2017-07-14 迈锐数据(北京)有限公司 一种弯道车辆预警设备及系统
CN106959108A (zh) * 2017-03-23 2017-07-18 联想(北京)有限公司 位置确定方法、系统及电子设备
CN107610527A (zh) * 2017-09-21 2018-01-19 临沂市华夏高科信息有限公司 一种急转弯车辆避让警示系统
CN107680412A (zh) * 2017-11-16 2018-02-09 张立锋 一种应用于视线盲区的会车预警装置和方法
CN108327719A (zh) * 2018-01-31 2018-07-27 京东方科技集团股份有限公司 辅助车辆行驶的方法及装置
CN108804997A (zh) * 2018-03-29 2018-11-13 李金平 视角场景图像处理平台
CN109165657A (zh) * 2018-08-20 2019-01-08 贵州宜行智通科技有限公司 一种基于改进sift的图像特征检测方法及装置
CN109949614A (zh) * 2019-04-29 2019-06-28 盐城工学院 一种地下停车场隧道出口专用安全视觉系统
CN110379157A (zh) * 2019-06-04 2019-10-25 深圳市速腾聚创科技有限公司 道路盲区监控方法、系统、装置、设备和存储介质
CN111835998A (zh) * 2019-04-13 2020-10-27 长沙智能驾驶研究院有限公司 超视距全景图像获取方法、装置、介质、设备及系统
CN112133128A (zh) * 2019-06-25 2020-12-25 奥迪股份公司 弯道防撞预警方法、装置、计算机设备和存储介质
CN113486729A (zh) * 2021-06-15 2021-10-08 北京道达天际科技有限公司 基于gpu的无人机影像特征点提取方法
CN114915817A (zh) * 2022-05-18 2022-08-16 中山亿联智能科技有限公司 一种温差发电机顶盒
CN114926978A (zh) * 2022-04-19 2022-08-19 安徽农网信息科技有限公司 一种基于乡镇综合事件的视频智能分析系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201266439Y (zh) * 2008-10-13 2009-07-01 交通部公路科学研究所 弯道障碍物预警系统
CN102157069A (zh) * 2011-04-01 2011-08-17 北京航空航天大学 一种基于视频融合的平面交叉口交通冲突检测方法
CN202018739U (zh) * 2011-04-18 2011-10-26 王帅 公路转角预视系统
CN202217399U (zh) * 2011-09-15 2012-05-09 山东科技大学 山区公路弯道视距延伸装置
CN202434069U (zh) * 2012-02-15 2012-09-12 交通运输部公路科学研究所 基于地磁传感器的公路弯道会车预警系统
CN103000035A (zh) * 2012-11-22 2013-03-27 北京交通大学 引导左转车辆通过交叉口的信息获取发布系统及方法
CN203366541U (zh) * 2013-07-24 2013-12-25 马捷 信息化实时交通管理系统
US20150103175A1 (en) * 2013-10-15 2015-04-16 Hyundai Mobis Co., Ltd. Safety alarm system and method for vehicle
CN104599531A (zh) * 2015-02-05 2015-05-06 长安大学 适用于双向两车道的盘山公路转角预视系统及其控制方法
CN104882027A (zh) * 2015-05-29 2015-09-02 武汉理工大学 一种弯道会车预警系统
CN105205785A (zh) * 2015-10-09 2015-12-30 济南东朔微电子有限公司 一种可定位的大型车辆运行管理系统及其运行方法
CN105469641A (zh) * 2015-12-15 2016-04-06 华南理工大学 一种山区高速公路特殊线形路段险态判别装置及预警方法
CN105719486A (zh) * 2016-05-05 2016-06-29 郑州轻工业学院 公路急转弯车辆通行智能警示控制系统及方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201266439Y (zh) * 2008-10-13 2009-07-01 交通部公路科学研究所 弯道障碍物预警系统
CN102157069A (zh) * 2011-04-01 2011-08-17 北京航空航天大学 一种基于视频融合的平面交叉口交通冲突检测方法
CN202018739U (zh) * 2011-04-18 2011-10-26 王帅 公路转角预视系统
CN202217399U (zh) * 2011-09-15 2012-05-09 山东科技大学 山区公路弯道视距延伸装置
CN202434069U (zh) * 2012-02-15 2012-09-12 交通运输部公路科学研究所 基于地磁传感器的公路弯道会车预警系统
CN103000035A (zh) * 2012-11-22 2013-03-27 北京交通大学 引导左转车辆通过交叉口的信息获取发布系统及方法
CN203366541U (zh) * 2013-07-24 2013-12-25 马捷 信息化实时交通管理系统
US20150103175A1 (en) * 2013-10-15 2015-04-16 Hyundai Mobis Co., Ltd. Safety alarm system and method for vehicle
CN104599531A (zh) * 2015-02-05 2015-05-06 长安大学 适用于双向两车道的盘山公路转角预视系统及其控制方法
CN104882027A (zh) * 2015-05-29 2015-09-02 武汉理工大学 一种弯道会车预警系统
CN105205785A (zh) * 2015-10-09 2015-12-30 济南东朔微电子有限公司 一种可定位的大型车辆运行管理系统及其运行方法
CN105469641A (zh) * 2015-12-15 2016-04-06 华南理工大学 一种山区高速公路特殊线形路段险态判别装置及预警方法
CN105719486A (zh) * 2016-05-05 2016-06-29 郑州轻工业学院 公路急转弯车辆通行智能警示控制系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张勇等: "基于改进SIFT特征点匹配的图像拼接算法研究", 《微电子学与计算机》 *
郑丽等: "新型山区弯道会车预警系统的设计研究", 《自动化与仪器仪表》 *
陈勇等: "图像拼接中运动目标干扰的自适应消除", 《光电技术应用》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106959108A (zh) * 2017-03-23 2017-07-18 联想(北京)有限公司 位置确定方法、系统及电子设备
CN106846913A (zh) * 2017-03-31 2017-06-13 浙江警察学院 急弯道路显示屏预警系统及其方法
CN106887158A (zh) * 2017-03-31 2017-06-23 浙江警察学院 急弯道路信号灯预警系统及其方法
CN106952502A (zh) * 2017-05-11 2017-07-14 迈锐数据(北京)有限公司 一种弯道车辆预警设备及系统
CN107610527A (zh) * 2017-09-21 2018-01-19 临沂市华夏高科信息有限公司 一种急转弯车辆避让警示系统
CN107680412A (zh) * 2017-11-16 2018-02-09 张立锋 一种应用于视线盲区的会车预警装置和方法
CN108327719A (zh) * 2018-01-31 2018-07-27 京东方科技集团股份有限公司 辅助车辆行驶的方法及装置
CN108804997A (zh) * 2018-03-29 2018-11-13 李金平 视角场景图像处理平台
CN109165657A (zh) * 2018-08-20 2019-01-08 贵州宜行智通科技有限公司 一种基于改进sift的图像特征检测方法及装置
CN111835998A (zh) * 2019-04-13 2020-10-27 长沙智能驾驶研究院有限公司 超视距全景图像获取方法、装置、介质、设备及系统
CN109949614A (zh) * 2019-04-29 2019-06-28 盐城工学院 一种地下停车场隧道出口专用安全视觉系统
CN110379157A (zh) * 2019-06-04 2019-10-25 深圳市速腾聚创科技有限公司 道路盲区监控方法、系统、装置、设备和存储介质
CN112133128A (zh) * 2019-06-25 2020-12-25 奥迪股份公司 弯道防撞预警方法、装置、计算机设备和存储介质
CN113486729A (zh) * 2021-06-15 2021-10-08 北京道达天际科技有限公司 基于gpu的无人机影像特征点提取方法
CN114926978A (zh) * 2022-04-19 2022-08-19 安徽农网信息科技有限公司 一种基于乡镇综合事件的视频智能分析系统
CN114915817A (zh) * 2022-05-18 2022-08-16 中山亿联智能科技有限公司 一种温差发电机顶盒
CN114915817B (zh) * 2022-05-18 2023-08-18 中山亿联智能科技有限公司 一种温差发电机顶盒

Also Published As

Publication number Publication date
CN106205163B (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
CN106205163A (zh) 基于全景摄像技术的山区公路弯道盲区会车预警系统
Hasegawa et al. Robust Japanese road sign detection and recognition in complex scenes using convolutional neural networks
CN105844257B (zh) 基于机器视觉雾天行车错失道路标志牌的预警系统及方法
CN107025432B (zh) 一种高效的车道线检测跟踪方法及系统
CN101214851B (zh) 船舶行驶智能型全天候主动安全预警系统及其预警方法
CN101916383B (zh) 基于多摄像机的车辆检测跟踪识别系统
Alefs et al. Road sign detection from edge orientation histograms
CN102509098B (zh) 一种鱼眼图像车辆识别方法
CN102867417B (zh) 一种出租车防伪系统及方法
CN109948416A (zh) 一种基于深度学习的违法占用公交车道自动审核方法
CN103824452A (zh) 一种轻量级的基于全景视觉的违章停车检测装置
CN105260712A (zh) 一种车辆前方行人检测方法及系统
CN108638999A (zh) 一种基于360度环视输入的防碰撞预警系统及方法
WO2024037408A1 (zh) 一种基于图像融合和特征增强的煤矿井下行人检测方法
CN105205785A (zh) 一种可定位的大型车辆运行管理系统及其运行方法
CN105513349A (zh) 基于双视角学习的山区高速公路车辆事件检测方法
CN105336217A (zh) 一种基于机器视觉和安卓平台的行车安全预警系统
CN106845359A (zh) 基于红外发射的隧道入口行车提示装置及方法
Riaz et al. YOLO based recognition method for automatic license plate recognition
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法
CN109740486B (zh) 一种对图像包含的人类数量进行识别的方法及系统
CN107545244A (zh) 基于图像处理技术的限速标志检测方法
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
Fleyeh et al. Invariant road sign recognition with fuzzy artmap and zernike moments
CN116486359A (zh) 一种面向全天候的智能车环境感知网络自适应选择方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant