CN110781883A - 一种基于360度环视摄像头的车位尺寸识别系统及方法 - Google Patents

一种基于360度环视摄像头的车位尺寸识别系统及方法 Download PDF

Info

Publication number
CN110781883A
CN110781883A CN201910882342.3A CN201910882342A CN110781883A CN 110781883 A CN110781883 A CN 110781883A CN 201910882342 A CN201910882342 A CN 201910882342A CN 110781883 A CN110781883 A CN 110781883A
Authority
CN
China
Prior art keywords
image
parking space
vehicle
camera
parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910882342.3A
Other languages
English (en)
Other versions
CN110781883B (zh
Inventor
马世典
江中旭
方伟锋
李玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201910882342.3A priority Critical patent/CN110781883B/zh
Publication of CN110781883A publication Critical patent/CN110781883A/zh
Application granted granted Critical
Publication of CN110781883B publication Critical patent/CN110781883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于360度环视摄像头的车位尺寸识别系统及方法,该系统包括中央控制器、图像采集模块、图像处理控制器、无线传输控制器和数据库。搭载该系统的智能汽车进行自动泊车时,通过360度环视摄像头拍摄空闲泊车位和停放车辆的泊车位的图像。经过图像处理控制器进行图像处理后,分别获取空闲泊车位的长宽比和车位中车辆与车位的长宽比,并通过图像处理控制器的识别匹配技术,将拍摄到该车辆的图像与数据库中的车辆信息分析匹配,智能识别出该车辆的品牌型号,获取该车辆的外部尺寸(长度与宽度),然后通过简单的比例换算从而得到泊车位的尺寸(宽度及深度)。该系统适用性强、识别率高,能大大提高泊车时的车位尺寸识别精度。

Description

一种基于360度环视摄像头的车位尺寸识别系统及方法
技术领域
本发明属于自动泊车领域,具体涉及一种基于视觉的车位尺寸识别系统与方法。
背景技术
随着城市的发展,城市用地规划愈加严谨,泊车位也越来狭窄,为寻求高效的泊车方案,减轻驾驶员的疲劳,自动泊车系统应运而生,其中基于超声波雷达的泊车系统是车位识别技术中主流的技术方案,但由于超声波雷达超声波散射角大,方向性较差,在测量较远距离的目标时,其回波信号会比较的弱,影响测量精度,因此不能得到泊车位准确的尺寸信息。
此外,还能通过摄像头技术实现车位识别,能够通过车载的摄像头拍摄的车位照片实现车位线的识别,但并不能获取车位的尺寸。
发明内容
针对上述情况中超声波雷达和摄像头不能准确得到泊车位尺寸的问题,本发明提供一种基于360度环视摄像头的车位尺寸识别系统及方法,以提高车位尺寸识别的精度。
为了实现上述目的,本发明具体技术方案如下:
一种基于360度环视摄像头的车位尺寸识别系统,包括中央控制器,以及与中央控制器相连的图像采集模块、图像处理控制器、无线传输控制器;
所述中央控制器负责控制和监测图像采集模块和图像处理控制器的运行,并通过无线传输控制器实现数据库与图像处理控制器的信息传输;
所述图像采集模块负责车辆周围图像信息的采集工作,包括依次相连的照明设备、图像采集控制器、360度环视摄像头、图像存储器;所述照明设备包括光传感器和LED灯;
该系统还包括数据库,数据库具有联网功能,中央控制器能通过无线控制器控制数据库进行联网数据更新,数据库中有完备的各种车辆图像以及这些车辆对应的型号尺寸信息;
装备该系统的智能汽车来到停车场或在路边排列整齐的停车位附近开始寻找车位时,通过360度环视摄像头拍摄空闲泊车位和停放车辆的泊车位图像,在对拍摄图像处理后,分别获取车位的长宽比以及车位中车辆与车位的长宽比,同时,通过图像识别技术,将拍摄到的车位中车辆的图像信息与数据库中车辆的图像信息分析对比,识别出该车辆的品牌型号,获取该车辆的外部尺寸,从而通过比例换算得到车位的尺寸。
进一步,360度环视摄像头是安装于汽车前、后、左及右侧的多个摄像头组件,摄像头为广角摄像头,能对车辆四周环境图像实时采集。
进一步,所述图像采集模块负责对车辆周围信息的采集,其中,图像采集控制器控制360度环视摄像头拍摄开始与停止,并将拍摄的图像或影像传输给图像存储器。
进一步,所述照明设备是在泊车环境光线昏暗时,如夜间泊车环境或地下停车场照明不足环境,光传感器根据光线强弱,给采集控制器发送信号,并由采集控制器控制LED的亮和灭。光传感器和LED灯安装于车身四侧,能有效辅助360度环视摄像头工作。
进一步,所述图像处理控制器负责对图像信息的处理与识别,通过图像处理控制器实现了对采集图像的畸变矫正、鸟瞰变换、图像的拼接、图像的预处理和图像的识别。
进一步,所述无线传输控制器负责中央控制器与数据库的信息交互,通过编译好的通信协议,实现无线数据传输。
本发明的一种基于360度环视摄像头的车位尺寸识别方法,技术方案包括以下步骤:
步骤1)智能汽车在寻找车位时,驾驶员启动该系统,光传感器采集周围光照强度信息,并发送给采集控制器,若泊车环境光线昏暗,则采集控制器控制车身周围的LED灯开启,辅助照明;
步骤2)采集控制器控制360度环视摄像头拍摄车辆周围环境图像,并将采集到的图像信息编号和存放至图像存储器中;
步骤3)中央控制器控制图像处理控制器从图像存储器中调取图像信息,图像处理控制器对这些图像信息进行识别与处理,首先识别出泊车位区域的图像,然后进一步识别出空闲泊车位图像和停放车辆的泊车位图像;
步骤4)通过处理空闲泊车位的图像,获取泊车位的长宽比例为S;通过停放车辆的泊车位图像,获取车位长度与车辆长度的比例为T1,或车位宽度与车辆宽度的比例为T2,并将该车位的车辆图像分割出来;
步骤5)中央控制器控制无线传输控制器将数据库中的车辆图像发送给图像处理控制器,图像处理控制器将分割出来的车辆图像与数据库中车辆图像进行匹配,匹配成功后得到该车辆的尺寸信息,车辆长度为l,宽度为w;
步骤6)中央控制器计算车位长度为L=T1×l,宽度为
Figure BDA0002206257840000021
或车位长度为L=T2×w×S,宽度为W=T2×w。
进一步,所述步骤3)中:
识别出空闲泊车位图像的方法步骤为:图像处理控制器从图像存储器中提取360度环视摄像头拍摄的图片,并对图片进行编号对应,即同一时间四个摄像头拍摄的图片为一组,然后进行图像处理,包括步骤:
步骤3.1.对这些图像进行畸变矫正:通过张正友标定法对360环视摄像头进行标定,获取摄像头的内参和外参,然后对图像进行畸变矫正;
步骤3.2.对图像进行鸟瞰变换处理,鸟瞰变换可以通过逆透视变换算法实现,透视变换的通用变换公式[x′,y′,w′]为:
Figure BDA0002206257840000031
其中(u,v)为原始的图像像素坐标,
Figure BDA0002206257840000034
为变换后的图像像素坐标,
Figure BDA0002206257840000032
为透视变换矩阵;
步骤3.3.对处理后的图像进行裁剪拼接,形成一幅完整的360环视图像;
步骤3.4.对图像进行预处理,包括滤波去噪和图像灰度化处理步骤,采用均值滤波的方法,消除图像中的尖锐噪声,图像f(i,j)通过均值滤波算法进行平滑去噪后得到图像g(x,y),其方程为:
其中M为该模板中包含当前像素在内的像素总个数,i,j为像素坐标;模板算子一般为m×m;
图像灰度的计算公式如下:
F(x,y)=0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y)
彩色图像中所有的像素点都经过上式转变后,R(x,y)、G(x,y)、B(x,y)彩色图像即转变为灰度图像;
步骤3.5.识别图像中矩形区域,具体过程如下:
对图像进行canny边缘检测,并提取图像的轮廓,通过Hough变换识别矩形,然后提取矩形区域轮廓并计算轮廓的面积,舍去途中不符合车位面积的矩形区域;
步骤3.6.识别车位角,具体包括如下:
通过寻找凸包得到矩形区域的四个点,即车位角的坐标,矩形区域内四个车位角坐标符合车位的长宽比,则认为是有效的车位,并得到车位的长宽比例为S;
识别停放车辆的泊车位图像的方法步骤为:图像处理控制器从图像存储器中提取出的图片进行复制,分别为A组和B组图片,并分别编号,然后进行图像处理,具体包括如下步骤:
A组图像:
通过获得的摄像头内外参数对图像进行畸变矫正;
对图像进行预处理,包括对图像均值滤波去噪消除图像中的尖锐噪声,对图像伽马变换增强图像的细节;
编辑车辆的正负样本,训练识别车辆的SVM分类器,通过SVM分类器识别出车辆,将该区域作为感兴趣区域;
通过canny边缘检测提取感兴趣区域的轮廓,通过调节阈值,提取该车辆轮廓;
编辑车位角的正负样本,训练识别车位角的SVM分类器,通过SVM分类器识别出车位角;
根据车位角所在区域,确定该车辆是否在泊车位区域内,若在泊车位区域内,则通过语义分割,将泊车位中的车辆与周围的背景分割开来;
通过神经网络方法,将分割出来的该车辆图像与数据库中的车辆图像进行识别匹配,得到该车辆的型号,然后获取其尺寸信息,得到该车辆长度为l宽度为w;
B组图像:
将B组中编号对应A组中识别的该车辆的图像提取出来;
通过获得的摄像头内外参数对该图像进行畸变矫正;
编辑车位角的正负样本,训练识别前后车灯的SVM分类器,识别车辆图像中的前后车灯,并将车灯外侧标记出来。若为两前车灯或两后车灯,则该图像为车身前侧或后侧,若为前车灯与后车灯,则该图像为车身左侧或右侧;
通过识别车位角的SVM的分类器识别出车位角并标记;
对该图像进行鸟瞰变换处理;
计算两车位角与两车灯外侧的长度比例,若该图像为车身前侧或后侧,车位线与两车灯外侧的长度比例作为车位宽度与车辆宽度的比例T2;若该图像为车身左侧或右侧,车位线与两车灯外侧的长度比例作为车位长度与车辆长度的比例T1。
本发明具有以下技术效果:该系统适用性强、识别率高,能大大提高泊车时的车位尺寸识别精度。经过图像处理控制器进行图像处理后,分别获取空闲泊车位的长宽比和车位中车辆与车位的长宽比,并通过图像处理控制器的识别匹配技术,将拍摄到该车辆的图像与数据库中的车辆信息分析匹配,智能识别出该车辆的品牌型号,获取该车辆的外部尺寸(长度与宽度),然后通过简单的比例换算从而得到泊车位的尺寸(宽度及深度)。
除此之外,本发明的识别方法不但能够得到泊车位准确的尺寸信息;而且还能通过360度环视摄像头技术实现车位识别,能够通过车载的摄像头拍摄的车位照片实现车位线的识别,且轻易获取车位的尺寸。
附图说明
图1是本发明一种基于360度环视摄像头的车位尺寸识别系统的结构示意图。
图2是本发明一种基于360度环视摄像头的车位尺寸识别方法的流程图。
图3是本发明一种基于360度环视摄像头的车位尺寸识别系统和方法的空闲车位图像处理识别算法流程图。
图4是本发明一种基于360度环视摄像头的车位尺寸识别系统和方法的停放车辆的泊车位图像处理识别算法流程图。
具体实施方式
下面结合附图对本发明作进一步描述:
基于360度环视摄像头的车位尺寸识别系统结构如图1所示,该系统组件包括中央控制器、图像采集模块、图像处理控制器、无线传输控制器和数据库。其中,图像采集模块包括图像采集控制器、360度环视摄像头、图像存储器以及照明设备;上述模块及控制器均为市面上通用的模块及控制器,为本领域容易获得的公知技术模块。
所述中央控制器负责控制和监测图像采集模块和图像处理控制器的运行,并通过无线传输控制器实现数据库与图像处理控制器的信息传输。
所述图像采集模块负责对车辆周围信息的采集,其中,采集控制器控制360度环视摄像头拍摄开始与停止,并将拍摄的图像或影像传输给图像存储器。照明设备包括光传感器和LED灯,光传感器负责感知车辆周围光线强度,当光线不满足360度环视摄像头拍摄条件时,发送信号给采集控制器,采集控制器打开LED灯,辅助照明,使环视摄像头正常工作。
所述360度环视摄像头是安装于汽车前、后、左及右侧的四个摄像头,根据实际情况也能增加摄像头的数量。360度环视摄像头能够单独获取各个方向的环境信息,也能经过图像拼接得到车辆四周的360度全景信息,摄像头的安装位置如下:前摄像头安装在中网上,后摄像头安装在后备箱把手处,前后摄像头位于中轴线上,使前后拍摄出的画面高度一致;左右摄像头安装于左右后视镜下方,左右拍摄的画面高度一致。摄像头采用鱼眼镜头,视角大于180度以便于图像的拼接和显示,并具有足够的清晰度从而进行下一步的图像处理和识别工作。
所述照明设备是在泊车环境光线昏暗时,如夜间泊车环境或地下停车场照明不足环境,光传感器根据光线强弱,给采集控制器发送信号,并由采集控制器控制LED的亮和灭。光传感器和LED灯安装于车身四侧,能有效辅助360度环视摄像头工作。
所述图像处理控制器负责对图像信息的处理与识别,通过图像处理控制器实现了对采集图像的畸变矫正、鸟瞰变换、图像的拼接、图像的预处理和图像的识别。
所述无线传输控制器负责中央控制器与数据库的信息交互,通过编译好的通信协议,实现无线数据传输。
所述数据库具有联网功能,中央控制器能通过无线控制器控制数据库进行联网数据更新,数据库中有完备的各种车辆图像以及这些车辆对应的型号尺寸信息。
基于360度环视摄像头的车位尺寸识别方法如图2所示,装备该系统的智能汽车来到停车场或在路边排列整齐的停车位附近开始寻找车位时,通过360度环视摄像头拍摄空闲泊车位和停放车辆的泊车位图像,在对拍摄图像处理后,分别获取车位的长宽比以及车位中车辆与车位的长宽比,同时,通过图像识别技术,将拍摄到的车位中车辆的图像信息与数据库中车辆的图像信息分析对比,识别出该车辆的品牌型号,获取该车辆的外部形状尺寸(长度与宽度),从而通过比例换算得到车位的尺寸(宽度及深度)。
具体包括如下步骤:
(1)装备该系统的智能汽车在寻找车位时,驾驶员启动该系统,光传感器采集周围光照强度信息,并发送给采集控制器。若泊车环境光线昏暗,则采集控制器控制车身周围的LED灯开启,辅助照明。
(2)采集控制器控制360度环视摄像头拍摄车辆周围环境图像,并将采集到的图像信息编号和存放至图像存储器中。
(3)中央控制器控制图像处理控制器从图像存储器中调取图像信息,图像处理控制器对这些图像信息进行识别与处理,首先识别出泊车位区域的图像,然后进一步识别出空闲泊车位图像和停放车辆的泊车位图像。
(4)通过处理空闲泊车位的图像,获取泊车位的长宽比例为S;通过停放车辆的泊车位图像,获取车位长度与车辆长度的比例为T1(或车位宽度与车辆宽度的比例为T2),并将该车位的车辆图像分割出来。
(5)中央控制器控制无线传输控制器将数据库中的车辆图像发送给图像处理控制器,图像处理控制器将分割出来的车辆图像与数据库中车辆图像进行匹配,匹配成功后得到该车辆的尺寸信息,车辆长度为l宽度为w。
(6)中央控制器计算车位长度为L=T1×l,宽度为
Figure BDA0002206257840000071
(或车位长度为L=T2×w×S,宽度为W=T2×w)。
基于360度环视摄像头的车位尺寸识别系统和方法的空闲车位图像处理识别算法流程图如图3所示,图像处理控制器从图像存储器中提取360度环视摄像头拍摄的图片,并对图片进行编号对应,即同一时间四个摄像头拍摄的图片为一组。然后进行图像处理,具体包括如下步骤:
1.对这些图像进行畸变矫正。通过张正友标定法对360环视摄像头进行标定,获取摄像头的内参和外参,然后对图像进行畸变矫正;
2.对图像进行鸟瞰变换处理,鸟瞰变换可以通过逆透视变换算法实现,透视变换的通用变换公式为:
Figure BDA0002206257840000072
其中(u,v)为原始的图像像素坐标,
Figure BDA0002206257840000073
为变换后的图像像素坐标,
Figure BDA0002206257840000074
为透视变换矩阵。
3.对处理后的图像进行裁剪拼接,形成一幅完整的360环视图像;
4.对图像进行预处理,包括滤波去噪和图像灰度化处理步骤,本案例中采用均值滤波的方法,消除图像中的尖锐噪声,图像f(i,j)通过均值滤波算法进行平滑去噪后得到图像g(x,y),其方程为:
Figure BDA0002206257840000081
其中M为该模板中包含当前像素在内的像素总个数,模板算子一般为m×m。
图像灰度的计算公式如下:
F(x,y)=0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y)
彩色图像中所有的像素点都经过上式转变后,彩色图像即转变为灰度图像;
5.识别图像中矩形区域,具体过程如下:
对图像进行canny边缘检测,并提取图像的轮廓,通过Hough变换识别矩形,然后提取矩形区域轮廓并计算轮廓的面积,舍去途中不符合车位面积的矩形区域;
6.识别车位角,具体包括如下:
通过寻找凸包得到矩形区域的四个点,即车位角的坐标,矩形区域内四个车位角坐标符合车位的长宽比,则认为是有效的车位,并得到车位的长宽比例为S。
基于360度环视摄像头的车位尺寸识别系统和方法的停放车辆的泊车位图像处理识别算法流程图如图4所示,图像处理控制器从图像存储器中提取出的图片进行复制,分别为A组和B组图片,并分别编号,然后进行图像处理,具体包括如下步骤:
A组图像:
1.通过获得的摄像头内外参数对图像进行畸变矫正;
2.对图像进行预处理,包括对图像均值滤波去噪消除图像中的尖锐噪声,对图像伽马变换增强图像的细节;
3.编辑车辆的正负样本,训练识别车辆的SVM分类器,通过SVM分类器识别出车辆,将该区域作为感兴趣区域;
4.通过canny边缘检测提取感兴趣区域的轮廓,通过调节阈值,提取该车辆轮廓;
5.编辑车位角的正负样本,训练识别车位角的SVM分类器,通过SVM分类器识别出车位角;
6.根据车位角所在区域,确定该车辆是否在泊车位区域内,若在泊车位区域内,则通过语义分割,将泊车位中的车辆与周围的背景分割开来;
7.通过神经网络方法,将分割出来的该车辆图像与数据库中的车辆图像进行识别匹配,得到该车辆的型号,然后获取其尺寸信息,得到该车辆长度为l宽度为w。
B组图像:
1.将B组中编号对应A组中识别的该车辆的图像提取出来;
2.通过获得的摄像头内外参数对该图像进行畸变矫正;
3.编辑车位角的正负样本,训练识别前后车灯的SVM分类器,识别车辆图像中的前后车灯,并将车灯外侧标记出来。若为两前车灯或两后车灯,则该图像为车身前侧或后侧,若为前车灯与后车灯,则该图像为车身左侧或右侧;
4.通过识别车位角的SVM的分类器识别出车位角并标记;
4.对该图像进行鸟瞰变换处理;
5.计算两车位角与两车灯外侧的长度比例,若该图像为车身前侧或后侧,车位线与两车灯外侧的长度比例作为车位宽度与车辆宽度的比例T2;若该图像为车身左侧或右侧,车位线与两车灯外侧的长度比例作为车位长度与车辆长度的比例T1。
上述实施例中,SVM分类器可以直接通过MATLAB调用自带SVM算法通用模块实现。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (8)

1.本发明公开了一种基于360度环视摄像头的车位尺寸识别系统,其特征在于:包括中央控制器,以及与中央控制器相连的图像采集模块、图像处理控制器、无线传输控制器;
所述中央控制器负责控制和监测图像采集模块和图像处理控制器的运行,并通过无线传输控制器实现数据库与图像处理控制器的信息传输;
所述图像采集模块负责车辆周围图像信息的采集工作,包括依次相连的照明设备、图像采集控制器、360度环视摄像头、图像存储器;所述照明设备包括光传感器和LED灯;
该系统还包括数据库,数据库具有联网功能,中央控制器能通过无线控制器控制数据库进行联网数据更新,数据库中有完备的各种车辆图像以及这些车辆对应的型号尺寸信息;
装备该系统的智能汽车来到停车场或在路边排列整齐的停车位附近开始寻找车位时,通过360度环视摄像头拍摄空闲泊车位和停放车辆的泊车位图像,在对拍摄图像处理后,分别获取车位的长宽比以及车位中车辆与车位的长宽比,同时,通过图像识别技术,将拍摄到的车位中车辆的图像信息与数据库中车辆的图像信息分析对比,识别出该车辆的品牌型号,获取该车辆的外部尺寸,从而通过比例换算得到车位的尺寸。
2.根据权利要求1所述的一种基于360度环视摄像头的车位尺寸识别系统,其特征在于:360度环视摄像头是安装于汽车前、后、左及右侧的多个摄像头组件,摄像头为广角摄像头,能对车辆四周环境图像实时采集。
3.根据权利要求1、2所述的一种基于360度环视摄像头的车位尺寸识别系统,其特征在于:所述图像采集模块负责对车辆周围信息的采集,其中,图像采集控制器控制360度环视摄像头拍摄开始与停止,并将拍摄的图像或影像传输给图像存储器。
4.根据权利要求1所述的一种基于360度环视摄像头的车位尺寸识别系统,其特征在于:所述照明设备是在泊车环境光线昏暗时,如夜间泊车环境或地下停车场照明不足环境,光传感器根据光线强弱,给采集控制器发送信号,并由采集控制器控制LED的亮和灭,光传感器和LED灯安装于车身四侧,能有效辅助360度环视摄像头工作。
5.根据权利要求1所述的一种基于360度环视摄像头的车位尺寸识别系统,其特征在于:所述图像处理控制器负责对图像信息的处理与识别,通过图像处理控制器实现了对采集图像的畸变矫正、鸟瞰变换、图像的拼接、图像的预处理和图像的识别。
6.根据权利要求1所述的一种基于360度环视摄像头的车位尺寸识别系统,其特征在于:所述无线传输控制器负责中央控制器与数据库的信息交互,通过编译好的通信协议,实现无线数据传输。
7.根据权利要求1所述的一种基于360度环视摄像头的车位尺寸识别方法,其特征在于:包括以下步骤:
步骤1)智能汽车在寻找车位时,驾驶员启动该系统,光传感器采集周围光照强度信息,并发送给采集控制器,若泊车环境光线昏暗,则采集控制器控制车身周围的LED灯开启,辅助照明;
步骤2)采集控制器控制360度环视摄像头拍摄车辆周围环境图像,并将采集到的图像信息编号和存放至图像存储器中;
步骤3)中央控制器控制图像处理控制器从图像存储器中调取图像信息,图像处理控制器对这些图像信息进行识别与处理,首先识别出泊车位区域的图像,然后进一步识别出空闲泊车位图像和停放车辆的泊车位图像;
步骤4)通过处理空闲泊车位的图像,获取泊车位的长宽比例为S;通过停放车辆的泊车位图像,获取车位长度与车辆长度的比例为T1,或车位宽度与车辆宽度的比例为T2,并将该车位的车辆图像分割出来;
步骤5)中央控制器控制无线传输控制器将数据库中的车辆图像发送给图像处理控制器,图像处理控制器将分割出来的车辆图像与数据库中车辆图像进行匹配,匹配成功后得到该车辆的尺寸信息,车辆长度为l,宽度为w;
步骤6)中央控制器计算车位长度为L=T1×l,宽度为
Figure FDA0002206257830000021
或车位长度为L=T2×w×S,宽度为W=T2×w。
8.根据权利要求7所述的一种基于360度环视摄像头的车位尺寸识别方法,其特征在于:所述步骤3)中:
识别出空闲泊车位图像的方法步骤为:图像处理控制器从图像存储器中提取360度环视摄像头拍摄的图片,并对图片进行编号对应,即同一时间四个摄像头拍摄的图片为一组,然后进行图像处理,包括步骤:
步骤3.1.对这些图像进行畸变矫正:通过张正友标定法对360环视摄像头进行标定,获取摄像头的内参和外参,然后对图像进行畸变矫正;
步骤3.2.对图像进行鸟瞰变换处理,鸟瞰变换可以通过逆透视变换算法实现,透视变换的通用变换公式[x′,y′,w′]为:
其中(u,v)为原始的图像像素坐标,为变换后的图像像素坐标,
Figure FDA0002206257830000034
为透视变换矩阵;
步骤3.3.对处理后的图像进行裁剪拼接,形成一幅完整的360环视图像;
步骤3.4.对图像进行预处理,包括滤波去噪和图像灰度化处理步骤,采用均值滤波的方法,消除图像中的尖锐噪声,图像f(i,j)通过均值滤波算法进行平滑去噪后得到图像g(x,y),其方程为:
Figure FDA0002206257830000032
其中M为该模板中包含当前像素在内的像素总个数,i,j为像素坐标;模板算子一般为m×m;
图像灰度的计算公式如下:
F(x,y)=0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y)
彩色图像中所有的像素点都经过上式转变后,R(x,y)、G(x,y)、B(x,y)彩色图像即转变为灰度图像;
步骤3.5.识别图像中矩形区域,具体过程如下:
对图像进行canny边缘检测,并提取图像的轮廓,通过Hough变换识别矩形,然后提取矩形区域轮廓并计算轮廓的面积,舍去途中不符合车位面积的矩形区域;
步骤3.6.识别车位角,具体包括如下:
通过寻找凸包得到矩形区域的四个点,即车位角的坐标,矩形区域内四个车位角坐标符合车位的长宽比,则认为是有效的车位,并得到车位的长宽比例为S;
识别停放车辆的泊车位图像的方法步骤为:图像处理控制器从图像存储器中提取出的图片进行复制,分别为A组和B组图片,并分别编号,然后进行图像处理,具体包括如下步骤:
A组图像:
通过获得的摄像头内外参数对图像进行畸变矫正;
对图像进行预处理,包括对图像均值滤波去噪消除图像中的尖锐噪声,对图像伽马变换增强图像的细节;
编辑车辆的正负样本,训练识别车辆的SVM分类器,通过SVM分类器识别出车辆,将该区域作为感兴趣区域;
通过canny边缘检测提取感兴趣区域的轮廓,通过调节阈值,提取该车辆轮廓;
编辑车位角的正负样本,训练识别车位角的SVM分类器,通过SVM分类器识别出车位角;
根据车位角所在区域,确定该车辆是否在泊车位区域内,若在泊车位区域内,则通过语义分割,将泊车位中的车辆与周围的背景分割开来;
通过神经网络方法,将分割出来的该车辆图像与数据库中的车辆图像进行识别匹配,得到该车辆的型号,然后获取其尺寸信息,得到该车辆长度为l宽度为w;
B组图像:
将B组中编号对应A组中识别的该车辆的图像提取出来;
通过获得的摄像头内外参数对该图像进行畸变矫正;
编辑车位角的正负样本,训练识别前后车灯的SVM分类器,识别车辆图像中的前后车灯,并将车灯外侧标记出来。若为两前车灯或两后车灯,则该图像为车身前侧或后侧,若为前车灯与后车灯,则该图像为车身左侧或右侧;
通过识别车位角的SVM的分类器识别出车位角并标记;
对该图像进行鸟瞰变换处理;
计算两车位角与两车灯外侧的长度比例,若该图像为车身前侧或后侧,车位线与两车灯外侧的长度比例作为车位宽度与车辆宽度的比例T2;若该图像为车身左侧或右侧,车位线与两车灯外侧的长度比例作为车位长度与车辆长度的比例T1。
CN201910882342.3A 2019-09-18 2019-09-18 一种基于360度环视摄像头的车位尺寸识别系统及方法 Active CN110781883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910882342.3A CN110781883B (zh) 2019-09-18 2019-09-18 一种基于360度环视摄像头的车位尺寸识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910882342.3A CN110781883B (zh) 2019-09-18 2019-09-18 一种基于360度环视摄像头的车位尺寸识别系统及方法

Publications (2)

Publication Number Publication Date
CN110781883A true CN110781883A (zh) 2020-02-11
CN110781883B CN110781883B (zh) 2024-03-19

Family

ID=69383584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910882342.3A Active CN110781883B (zh) 2019-09-18 2019-09-18 一种基于360度环视摄像头的车位尺寸识别系统及方法

Country Status (1)

Country Link
CN (1) CN110781883B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814773A (zh) * 2020-09-07 2020-10-23 广州汽车集团股份有限公司 一种划线车位识别方法及系统
CN112052782A (zh) * 2020-08-31 2020-12-08 安徽江淮汽车集团股份有限公司 基于环视的停车位识别方法、装置、设备及存储介质
CN112102408A (zh) * 2020-09-09 2020-12-18 东软睿驰汽车技术(沈阳)有限公司 单目视觉的尺度修正方法、装置及自动驾驶汽车
CN112733703A (zh) * 2021-01-07 2021-04-30 深圳市捷顺科技实业股份有限公司 一种车辆停放状态检测方法及系统
CN113064373A (zh) * 2021-04-07 2021-07-02 四川中鼎智能技术有限公司 基于视频图像识别的工业水电设备逻辑信号控制方法、系统、终端及存储介质
CN113353067A (zh) * 2021-07-14 2021-09-07 重庆大学 一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划系统
CN113793529A (zh) * 2021-08-25 2021-12-14 阿波罗智能技术(北京)有限公司 用于辅助泊车的方法、装置、设备、存储介质和程序产品
CN114566064A (zh) * 2022-02-16 2022-05-31 北京梧桐车联科技有限责任公司 停车位的位置确定方法、装置、设备及存储介质
WO2022156044A1 (zh) * 2021-01-22 2022-07-28 逆可网络科技有限公司 一种即时获得线上物体实际尺寸测量方法
CN115311891A (zh) * 2022-07-28 2022-11-08 重庆长安汽车股份有限公司 路边和停车场空闲停车位的共享方法、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204483186U (zh) * 2015-03-18 2015-07-22 深圳前海零距物联网科技有限公司 具有音频输入输出的安全头盔
CN106230460A (zh) * 2016-08-15 2016-12-14 广东远峰电子科技股份有限公司 无线遥控蓝牙耳机的通信方法、通信系统及头盔交互系统
CN107403454A (zh) * 2017-08-03 2017-11-28 武汉纺织大学 一种立体停车场车辆位置参数和尺寸参数测量系统及方法
CN108263283A (zh) * 2018-01-25 2018-07-10 长沙立中汽车设计开发股份有限公司 多编组变角度车辆全景环视系统标定及拼接方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204483186U (zh) * 2015-03-18 2015-07-22 深圳前海零距物联网科技有限公司 具有音频输入输出的安全头盔
CN106230460A (zh) * 2016-08-15 2016-12-14 广东远峰电子科技股份有限公司 无线遥控蓝牙耳机的通信方法、通信系统及头盔交互系统
CN107403454A (zh) * 2017-08-03 2017-11-28 武汉纺织大学 一种立体停车场车辆位置参数和尺寸参数测量系统及方法
CN108263283A (zh) * 2018-01-25 2018-07-10 长沙立中汽车设计开发股份有限公司 多编组变角度车辆全景环视系统标定及拼接方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052782A (zh) * 2020-08-31 2020-12-08 安徽江淮汽车集团股份有限公司 基于环视的停车位识别方法、装置、设备及存储介质
CN112052782B (zh) * 2020-08-31 2023-09-05 安徽江淮汽车集团股份有限公司 基于环视的停车位识别方法、装置、设备及存储介质
CN111814773A (zh) * 2020-09-07 2020-10-23 广州汽车集团股份有限公司 一种划线车位识别方法及系统
CN112102408A (zh) * 2020-09-09 2020-12-18 东软睿驰汽车技术(沈阳)有限公司 单目视觉的尺度修正方法、装置及自动驾驶汽车
CN112733703A (zh) * 2021-01-07 2021-04-30 深圳市捷顺科技实业股份有限公司 一种车辆停放状态检测方法及系统
WO2022156044A1 (zh) * 2021-01-22 2022-07-28 逆可网络科技有限公司 一种即时获得线上物体实际尺寸测量方法
CN113064373B (zh) * 2021-04-07 2022-04-15 四川中鼎智能技术有限公司 基于视频图像识别的工业水电设备逻辑信号控制方法、系统、终端及存储介质
CN113064373A (zh) * 2021-04-07 2021-07-02 四川中鼎智能技术有限公司 基于视频图像识别的工业水电设备逻辑信号控制方法、系统、终端及存储介质
CN113353067A (zh) * 2021-07-14 2021-09-07 重庆大学 一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划系统
CN113793529A (zh) * 2021-08-25 2021-12-14 阿波罗智能技术(北京)有限公司 用于辅助泊车的方法、装置、设备、存储介质和程序产品
CN114566064A (zh) * 2022-02-16 2022-05-31 北京梧桐车联科技有限责任公司 停车位的位置确定方法、装置、设备及存储介质
CN115311891A (zh) * 2022-07-28 2022-11-08 重庆长安汽车股份有限公司 路边和停车场空闲停车位的共享方法、系统及存储介质
CN115311891B (zh) * 2022-07-28 2023-07-18 重庆长安汽车股份有限公司 路边和停车场空闲停车位的共享方法、系统及存储介质

Also Published As

Publication number Publication date
CN110781883B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN110781883B (zh) 一种基于360度环视摄像头的车位尺寸识别系统及方法
US7366325B2 (en) Moving object detection using low illumination depth capable computer vision
US8995723B2 (en) Detecting and recognizing traffic signs
CN113243016A (zh) 物体识别系统、运算处理装置、汽车、车辆用灯具、分类器的学习方法
US11061122B2 (en) High-definition map acquisition system
EP2924653A1 (en) Image processing apparatus and image processing method
JP6819996B2 (ja) 交通信号認識方法および交通信号認識装置
CN111369541A (zh) 一种智能汽车恶劣天气条件下车辆检测方法
CN110717445B (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
JP2008158958A (ja) 路面判別方法および路面判別装置。
CN112364707B (zh) 一种智能车对复杂路况进行超视距感知的系统及方法
WO2023155483A1 (zh) 一种车型识别方法、装置和系统
CN115797873B (zh) 一种人群密度检测方法、系统、设备、存储介质及机器人
KR20080004833A (ko) 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치
CN110549934A (zh) 一种基于图像处理和深度学习的汽车智能灯光调节系统
CN107292818B (zh) 一种基于环视相机的捕线器自动定位系统及方法
CN116794650A (zh) 一种毫米波雷达与摄像头数据融合的目标检测方法和装置
Dai et al. A driving assistance system with vision based vehicle detection techniques
EP3349201A1 (en) Parking assist method and vehicle parking assist system
CN114677658A (zh) 十亿像素动态大场景图像采集和多目标检测方法及装置
CN116258740A (zh) 基于多摄像头像素融合的车载前视多目标跟踪方法
CN102722724A (zh) 具有目标识别功能的车载夜视系统及其目标标识方法
CN113781805A (zh) 一种特种车辆优先通过的红绿灯控制系统及控制方法
CN113052118A (zh) 基于高速快球摄像机实现场景变换视频分析检测的方法、系统、装置、处理器及存储介质
CN105138999A (zh) 基于阴影的夜间物体单目定位装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant