发明内容
本发明针对现有技术存在的缺陷,提出一种基于视频的车辆泊车入位指示系统及指示方法,通过对泊车入位指示装置和车载装置的设计,可以有效提高驾驶员泊车入位的准确度和效率,避免产生不必要的时间与油量的消耗,并有效提高安全性。
本发明是采用以下的技术方案实现的:基于视频图像处理的泊车入位指示系统,包括泊车入位指示装置和车载装置,泊车入位指示装置和车载装置之间无线通信;
所述泊车入位指示装置安装在停车位上方,包括第一控制单元以及与第一控制单元相连的摄像头、第一通信模块、数据存储单元、入位轨迹预测模块、泊车位置指示模块和语音生成模块;摄像头用以采集目标停车位环境图像及车辆泊车入位实时环境图像信息,并经过第一控制单元对图像处理和分析生成车辆与泊位的相关数据信息;入位轨迹预测模块用以对目标车辆泊车入位运动轨迹进行预测;泊车位置指示模块用以生成泊车指示准则并对泊车入位进行实时判断并指示,通过第一通信模块将上述信息实时传输给车载装置;
所述车载装置安装在车辆上,包括第二控制单元以及与第二控制单元相连的显示器、语音输出模块、第二通信模块、存储模块、车辆转向角获取模块和车辆档位获取模块;车辆转向角获取模块和车辆档位获取模块获取车辆的转向角度及档位信息,并连同车辆自身参数发送给泊车入位指示装置;车载装置接收泊车入位指示装置发送来的停车位环境信息、车辆泊车入位实时环境图像信息,以及车辆泊车入位运动轨迹信息并显示,并结合提示指示驾驶员进行车辆快速准确的泊车入位;
所述泊车位置指示模块生成的泊车指示准则的原理如下:
1)通过对车辆轮廓进行识别与处理,得到车辆的轮廓尺寸;
2)根据目标停车位的尺寸规划出目标车辆在车位的位置,以车辆轮廓的中心与目标停车位的中心重合为理想停车位置,从而计算得到车辆的前后、左右轮廓线到目标停车位的边界线的距离,设为Δ前,Δ后,Δ左,Δ右,并设置误差范围E;
3)假设目标车辆在目标停车位泊车完成后,实际的车辆轮廓到目标停车位边界线的距离分别为S前,S后,S左,S右,得到目标车辆相对于目标停车位的合适停车位置为:
①:│Δ前-S前│≤E,│Δ后–S后│≤E,│Δ左–S左│≤E和│Δ右–S右│≤E;
当左右两个距离相差较大时,则车辆在车位中的位置不合理,此时意味着车辆过于靠近停车位的另一边,会影响相邻停车位的车辆停放,需要调整车辆重新进行泊车;
同时,其他需要调整的情况如下:
②:如果│Δ前-S前│>E,│Δ左–S左│>E,则车辆泊车位置偏后和右,意味着车辆过于靠近停车位的右边线,影响右边相邻车位的车辆停放,同时偏停车位的后部;
③:如果│Δ前-S前│>E,│Δ右–S右│>E,则车辆泊车位置偏后和左,意味着车辆过于靠近停车位的左边线,影响左边相邻车位的车辆停放,同时偏停车位的后部;
④:如果│Δ前-S前│>E,│Δ左–S左│≤E和│Δ右–S右│≤E,则车辆泊车位置偏后,意味着车辆距离停车位的左右边界合适,但偏停车位的后部;
⑤:如果│Δ后–S后│>E,│Δ左–S左│>E,则车辆泊车位置偏前和右,意味着车辆过于靠近停车位的右边线,影响右边相邻车位的车辆停放,同偏停车位的前部;
⑥:如果│Δ后–S后│>E,│Δ右–S右│>E,则车辆泊车位置偏前和左,意味着车辆过于靠近停车位的左边线,影响左边相邻车位的车辆停放,同偏停车位的前部;
⑦:如果│Δ后–S后│>E,│Δ左–S左│≤E和│Δ右–S右│≤E,则车辆泊车位置偏前,意味着车辆距离停车位的左右边界合适,但偏停车位的前部;
4)根据上述所述,得到目标车辆泊车位置指示准则,如下:
准则I:当目标车辆与目标停车位的位置关系为①时,则语音指示为正确泊车;
准则II:当目标车辆与目标停车位的位置关系为②、③、⑤和⑥时,则语音指示为重新泊车;
准则III:当目标车辆与目标停车位的位置关系为④时,则语音指示为将车辆向前移动泊车;
准则IV:当目标车辆与目标停车位的位置关系为⑦时,则语音指示为将车辆向后移动泊车。
进一步的,所述入位轨迹预测模块对目标车辆泊车入位运动轨迹预测时根据目标车辆相对于目标停车位的当前位置,以及车载装置获得的目标车辆的转向角度θ预测车辆入位运动轨迹,具体的:
(1)识别出目标车辆的轮廓,根据获得的车辆的自身参数,包括轴距、前悬、后悬、轮距,得到目标车辆四个车轮中点,分别设为T1(XT1,YT1),T2(XT2,YT2),T3(XT3,YT3),T4(XT4,YT4);进而得到过目标车辆两个后轮中点T3(XT3,YT3)和T4(XT4,YT4)的直线,设为LBR;
(2)根据目标车辆的中心线LV和前轮转角θ,得到过左前轮中点T1(XT1,YT1)的直线LFR;过点T1(XT1,YT1)做LFR的垂线LFRC,得到两条直线LBR,和LFRC的交点,记为O1;由此,得到以O1为圆心分别过目标车辆后左轮T3(XT3,YT3),后右轮T4(XT4,YT4)的圆,得到目标车辆两后轮在当前位置及转向角θ时,形成的车辆入位运动轨迹。
进一步的,所述入位轨迹预测模块还需要对目标车辆的转向角度的可行性进行判断,具体的:
泊车入位指示装置将生成的目标车辆入位运动轨迹实时传输到车载装置,并在车载装置中进行显示,根据目标车辆的转向角及车辆的当前位置,通过目标车辆的入位运动轨迹预测得到目标车辆在当前转向角下的运动轨迹,根据该运动轨迹与目标停车位中心线的偏差判断方向盘转角是否可行。
进一步的,所述目标停车位环境图像信息包括目标停车位和目标停车位相邻停车位使用状态信息,所述状态信息为空闲状态或占用状态;
目标停车位及其左右相邻停车位的使用状态信息分别对应的用符号Eob、Eleft和Eright表示:Eob:目标停车位的状态,当有车辆占用该停车位时候,Eob=1,否则,Eob=0;Eleft:目标停车位的左相邻停车位的状态,当有车辆占用该停车位时候,Eleft=1,否则,Eleft=0;Eright:目标停车位的右相邻停车位的状态,当有车辆占用该停车位时候,Eright=1,否则,Eright=0。
进一步的,所述车辆泊车入位实时环境图像信息包括目标车辆与目标停车位的实时关系,目标车辆与目标停车位的实时关系由目标车辆与目标停车位的关系参数来表示;目标车辆与目标停车位关系参数包括目标车辆到目标停车位标线的距离参数,目标车辆的中心线与目标停车位中心线间的夹角和距离:
所述目标车辆到目标停车位标线的距离参数包括dL、dR和dC,其中,dL和dR定义为目标车辆尾部左右两个端点BL和BR到目标停车位标线的距离;
目标车辆的中心线为过车辆轮廓中心点Ov和车辆尾部线中点Bm的直线,用符号LV表示;目标停车位中心线为过目标停车位的前标线中间点Cm和后标线中间点Dm的直线,用符号LP表示;
目标车辆的中心线L
V到目标停车位中心线L
P的夹角定义为L
V逆时针到L
P的夹角,用符号
表示,则目标车辆的中心线L
V到目标停车位中心线L
P的距离定义为d
L和d
R的差,用符号d
O表示,d
O=d
L-d
R。
进一步的,目标车辆到目标停车位标线的距离参数dL、dR和dC的获取采用以下方式:
(1)识别出目标车辆和目标停车位的轮廓,根据目标车辆的轮廓获得目标车辆的关键点位置,包括尾部左右两个端点的位置,记为BL和BR,尾部中点位置Bm;根据目标停车位的轮廓获得目标停车位的关键点位置,包括前标线的两个端点,记为CL和CR,前标线的中点Cm,后标线的两个端点及其中点:DL、DR和Dm;
(2)当车辆尾部没有进入目标停车位前,获得BL到CC的像素数量PBCL,BR到CR的像素数量PBCR,得到距离dL和dR:
dL=PABL*μ
dR=PABR*μ
其中μ的表达式为:
μ=停车位标线像素数/停车位标线实际尺寸
其中,停车位标线的实际尺寸为其长度或宽度;
(3)当车辆尾部进入目标停车位后,通过点BL和BR到目标停车位标线做垂线,得到点BL和BR到垂足的像素数量,设为PBCL和PBCR:
dL=PBCL*μ
dR=PBCR*μ
dC=PBDm*μ
其中,PBDm为Bm到Dm的像素数量。
进一步的,所述目标车辆的中心线与目标停车位中心线间的夹角
采用以下方式获得:
(1)根据目标停车位的后标线中点Dm(XDm,YDm)和前标线中点Cm(XCm,YCm),得到目标停车位中心线LP,其表达式为:
令该直线的斜率为k1:
该目标停车位中心线不会变化,为静态直线;
利用重心法得到目标车辆的中心Ov(XOV,YOV),从而根据车辆尾部中点Bm(XBm,YBm)得到目标车辆的中心线LV,其表达式为:
令该直线的斜率为k2,则其表达式为:
该目标车辆的中心线随着车辆的运动而不断变化,是动态直线;
(2)根据L
V和L
P两条直线的斜率,以及其夹角
的正切值,得到
停车过程中,由于L
V的不断变化,使得L
V和L
P的两条直线间的夹角
也在不断变化。
本发明另外还提出一种基于视频图像处理的泊车入位指示系统的指示方法,包括以下步骤:
(1)目标车辆获得目标停车位的位置后,在导航仪的引导下前往目标停车位,当车辆到达距离目标停车位距离为d1时,车载装置启动,通过无线通信与泊车入位指示装置建立联系,并接收泊车入位指示装置传送来的目标停车位环境图像及相邻停车位的使用状态信息,同时通过显示器显示出来;
(2)当目标车辆继续行进到达距离目标停车位距离为d2时,此时车辆已经到达目标停车位的相邻车位,目标车辆将准备泊车入位,此情况下,泊车入位指示装置将目标车辆与目标停车位的环境图像传送给车载装置;
(3)随着驾驶员实时操作的目标车辆方向盘的变化,泊车入位指示装置读取车载装置传送来的车辆转向角,对目标车辆的入位运动轨迹进行预测,并将结果及指示语音传送给车载装置,并进行初始的转向角是否可行的语音提示;
(4)随着目标车辆开始进入泊车入位的操作,泊车入位指示装置实时传送目标车辆与目标停车位的环境图像的同时,将目标车辆与目标停车位的关系参数传送给车载装置,并由车载装置通过显示器显示;
(5)显示车辆泊车入位的过程的同时,车载装置的语音模块实时播报目标车辆相对于目标停车位的参数数值;将从泊车入位指示装置传送来的车辆到停车位左标线的距离dL、车辆到停车位右标线的距离dR、车辆到到停车位后标线的距离dC,根据由小到大的顺序进行排序,得到三个数据的优先级,并根据优先级的从高到低的顺序实时播报;
当某个值连续变小时,启动报警语音提示功能,将连续输出针对该距离的报警声音,并在显示器上以闪烁形式提出警示;
随着泊车入位操作的不断进行,泊车入位指示装置持续传输如上数据,车载装置不断接收数据,在显示器上显示,并进行语音播放及报警;
(6)上述的(3)、(4)、(5)是实时同时进行的,而且该过程一直持续进行,直到正确完成泊车;
(7)当驾驶员完成泊车时,则泊车入位指示装置根据准则判断是否为正确完成泊车,并向车载装置发布语音指示。
进一步的,所述步骤(7)中,如果目标车辆与目标停车位的关系符合准则I,则意味着泊车合适,泊车入位指示装置将正确泊车的语音指示发送给车载设备,并通过语音输出模块,提示驾驶员已经正确完成停车,并转到步骤(8):目标车辆正确停入目标停车位,泊车入位指示装置和车载装置停止工作;
如果目标车辆没有正确泊车入位,并符合准则II时,泊车入位指示装置将重新泊车的语音指示发送给车载设备,并通过语音输出模块,提示驾驶员需要继续泊车操作,并转到(3)继续泊车;
如果目标车辆没有正确泊车入位,并符合准则III时,泊车入位指示装置将“车辆向前移动”的语音指示发送给车载设备,并通过语音输出模块,指示驾驶员将车辆向前移动泊车,并转到(3),继续泊车;
如果发现目标车辆没有正确泊车入位,并符合准则IV时,泊车入位指示装置将“车辆向后移动”的语音指示发送给车载设备,并通过语音输出模块,指示驾驶员将车辆向后移动泊车,并转到(3)继续泊车
与现有技术相比,本发明的优点和积极效果在于:
本方案提出的泊车入位指示系统及指示方法,通过在停车位端设计泊车入位指示装置,在车辆上设计车载装置,能够把自身车辆与周围环境的关系全面的表达出来,将车辆和停车位环境信息通过显示和语音完全提供给驾驶员,并根据驾驶员的实时停车操作给出相应的指示,有效辅助驾驶员安全、准确和有效的完成车位泊车。
具体实施方式
为了能够更加清楚地理解本发明的上述目的、特征和优点,下面结合附图及实施例对本发明做进一步说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用不同于在此描述的其他方式来实施,因此,本发明并不限于下面公开的具体实施例。
实施例1,一种基于视频图像处理的泊车入位指示系统,如图9所示,包括泊车入位指示装置和车载装置,泊车入位指示装置和车载装置之间无线通信;
所述泊车入位指示装置安装在停车位上方,包括第一控制单元以及与第一控制单元相连的摄像头、第一通信模块、数据存储单元、入位轨迹预测模块、泊车位置指示模块和语音生成模块;所述车载装置安装在车辆上,包括第二控制单元以及与第二控制单元相连的第二通信模块、存储模块、车辆转向角获取模块、车辆档位获取模块、显示器和语音输出模块,第一通信模块和第二通信模块无线连接;
泊车入位指示装置的摄像头负责采集停车位环境图像及车辆泊车入位实时环境图像信息,并经过第一控制单元对图像处理和分析生成车辆与泊位的相关数据信息;入位轨迹预测模块用以对目标车辆泊车入位运动轨迹进行预测;泊车位置指示模块用以生成入位准则并对泊车入位进行实时判断和指示;通过第一通信模块将上述信息实时传输给车载装置实现实时的泊车入位指示;
车载装置通过车辆转向角获取模块和车辆档位获取模块获取车辆的转向角度及档位信息,并连同车辆自身参数发送给泊车入位指示装置;第二控制模块接收泊车入位指示装置发送来的停车位环境信息、车辆与停车位的实时关系数据,以及车辆泊车入位运动轨迹,并将这些信息显示在显示器上;结合语音提示和显示器以闪烁形式警示指示驾驶员进行车辆快速准确的泊车入位。
具体的,下面结合具体的模块设计对本发明方案进行详细的介绍:
1、泊车入位指示装置
泊车入位指示装置包括摄像头、第一控制单元、第一通信模块、数据存储单元、入位轨迹预测模块、泊车位置指示模块、语音生成模块;泊车入位指示装置的具体功能即包括:1)实时获取停车位环境图像;2)实时获取欲泊车入位车辆与停车位环境图像;3)分析车辆与停车位环境图像信息获得停车位位置信息及欲入位停车车辆位置信息,并计算车辆与停车位关系数据;4)预测目标车辆泊车入位运动轨迹并进行指示;5)判断泊车入位,并进行指示;6)生成提示语音,包括根据预测的目标车辆泊车入位运动轨迹判断转向角的可行性指示语音、依据泊车位置指示准则判断是否为正确完成泊车的指示语音;7)将上述环境图像及车辆与停车位关系数据,以及目标车辆入位运动轨迹和提示语音实时传送给车载装置。泊车入位指示装置各组成部分的功能如下:
①摄像头
设置在停车位上方的摄像头用来采集车辆准备入位的视频图像,具体包括目标停车位环境图像、车辆泊车入位实时环境图像信息,同时,将采集到的图像数据送装置的第一控制单元。
②第一控制单元
第一控制单元是该装置的核心,其根据摄像头传输来的目标停车位环境图像、车辆泊车入位实时环境图像信息首先对其进行处理。通过对目标停车位环境图像的处理获得目标停车位及其相邻停车位的使用状态信息,即表2的信息。
实时处理和分析车辆泊车入位实时环境图像信息,即通过应用图像处理方法Canny算子法获得目标车辆与目标停车位的关系参数,包括d
L(到左标线的距离)、d
R(到右标线的距离)、d
C(到后标线的距离)、
(车辆中心线到停车位中心线的角度)和d
O(车辆中心线到车位中心线的距离)。
将通过图像处理和分析得到的数据存入存储单元,并送第一通信模块将其实时传输给车载装置。
③数据存储单元
数据存储单元用于存放目标停车位属性数据、目标停车位及其相邻停车位的使用状态信息、车辆泊车入位实时环境图像信息以及目标车辆与目标停车位的关系参数。这些数据由第一控制单元负责存取。
④第一通信模块
通信模块负责与车辆装置间的通信,其传输的内容主要包括目标停车位属性数据、目标停车位及其相邻停车位的使用状态信息、车辆泊车入位实时环境图像信息以及目标车辆与目标停车位的关系参数。
⑤语音生成模块
车辆实时入位过程中,泊车入位指示装置根据摄像头获得的实时目标车辆和目标停车位的环境图像的分析,以及根据泊车入位预测轨迹给出转向角是否合理,依据泊车位置指示准则判断是否为正确完成泊车,并向车载装置发布语音指示。
(1)目标停车位属性信息
目标停车位属性信息包括停车位的形状及尺寸,尺寸主要为停车位的长度和宽度,该数据为停车位静态数据,可以直接存入泊车入位指示装置的数据存储单元中。目标停车位属性数据的格式如表1所示。
表1目标停车位属性数据格式
目标停车位编号 |
目标停车位形状 |
目标停车位尺寸1 |
目标停车位尺寸2 |
目标停车位尺寸3 |
XXXX |
矩形 |
XX |
XX |
XX |
(2)目标停车位环境图像及其使用状态信息
目标停车位的环境图像及其使用状态信息为动态数据,其中,目标停车位环境图像由泊车入位指示装置的摄像头实时获取,而目标停车位使用状态信息则通过第一控制单元对目标停车位环境图像的分析得到。
①目标停车位环境图像
目标停车位环境图像由泊车入位指示装置通过摄像头实时获得,该图像包含目标停车位和目标停车位相邻停车位使用状态信息;如图1所示,为一个目标停车位的环境图像示意图,图1中显示出了目标停车位和其相邻停车位的使用状态情况。
②目标停车位及其相邻停车位的使用状态信息
目标停车位及其相邻停车位的使用状态信息,即空闲状态或占用状态,其通过对目标停车位环境图像分析得到。目标停车位及其左右相邻停车位的使用状态信息分别用符号Eob、Eleft和Eright表示:
Eob:目标停车位的状态,当有车辆占用该停车位时候,Eob=1,否则,Eob=0;
Eleft:目标停车位的左相邻停车位的状态,当有车辆占用该停车位时候,Eleft=1,否则,Eleft=0;
Eright:目标停车位的右相邻停车位的状态,当有车辆占用该停车位时候,Eright=1,否则,Eright=0;
本实施例中,目标停车位及其相邻停车位的使用状态信息通过对目标停车位环境图像中的停车位标线及已泊车辆的轮廓识别获取;图像处理中轮廓识别的方法较多,其中Canny算子把边缘检测问题转换为检测单位函数极大值的问题来考虑,具有低失误率、高位置精度和单像素边缘的优良特点。本实施例优先选择Canny算子图像处理方法获得停车位标线,停车位中车辆的轮廓,从而可以得到目标停车位及其相邻车位是否被使用的信息,即使用状态。
根据图1所示的目标停车位环境图像示意图,应用Canny算子对其图像进行分析,经过分析可以得到目标停车位及其相邻停车位的使用状态信息,其数据格式如表2所示。
表2目标停车位及其相邻停车位使用状态信息数据格式
具体的,本实施例中,应用Canny算子对图1的图像进行处理和分析的过程如下:
步骤1:用高斯滤波器平滑处理图像图1中的图像;
步骤2:先对图1的图像灰度化,用高斯滤波器滤除中的噪声;
步骤3:采用一阶偏导的有限差分法计算图像边缘的梯度的幅值和方向;
步骤4:根据图像的梯度大小和方向,进行分析计算,去除掉图像中可能不能构成边缘的像素。即对图像的像素点的梯度幅值寻找局部最大值;
步骤5:采用用双阈值算法进行检测,即采用一个高阈值和一个低阈值来对边缘像素进行区分。如果边缘像素点的梯度值大于高阈值,则认为其是强边缘点。如果边缘像素点的梯度值比高阈值小,比低阈值大,则认为其为弱边缘点。而梯度值比低阈值小的点则被抑制掉;
步骤6:图像边缘连接,得到停车位的轮廓及车辆的轮廓;
步骤7:根据停车位中车辆的轮廓信息可以计算得到目标停车位及其相邻停车位的使用状态信息,即Eob=0、Eleft=1和Eright=1。
(3)车辆泊车入位实时环境图像信息
欲进入目标停车位的车辆,称为目标车辆。车辆泊车入位实时环境图像信息为目标车辆与目标停车位动态环境图像,为动态数据。该图像在车辆泊入目标停车位的过程中通过检测装置的摄像头实时获取。如图2所示为车辆泊车入位实时环境图像信息示意图。
车辆泊车入位实时环境图像信息包含目标车辆与目标停车位的实时关系,目标车辆与目标停车位的实时关系由目标车辆与目标停车位的关系参数来表示。
目标车辆与目标停车位关系参数包括目标车辆到目标停车位标线的距离参数,目标车辆的中心线与目标停车位中心线间的夹角和距离。
①目标车辆到目标停车位标线距离参数及其定义
目标车辆到目标停车位标线的距离参数包括dL、dR和dC,其定义分别为:
dL和dR定义为目标车辆尾部左右两个端点BL和BR到目标停车位标线的距离,并分为两种情况进行计算:
当车辆尾部没有进入停车位前,dL和dR分别为车辆尾部左右两个端点到目标停车位停车线的两个端点(CL和CR)的距离,如图3中的(a)所示;当车辆尾部进入到停车位后,dL和dR分别为车辆尾部左右两个端点到目标停车位停车线的距离,如图3中的(b)所示,dC为车辆尾部中心点到停车位后标线的中点Dm间的距离,如图3所示。
②目标车辆的中心线与目标停车位中心线间的夹角和距离定义
目标车辆的中心线为过车辆轮廓中心点Ov和车辆尾部线中点Bm的直线,用符号LV表示。
目标停车位中心线为过目标停车位的前标线和后标线的中间点Cm和Dm的直线,用符号LP表示。
目标车辆中心线L
V到目标停车位中心线L
P的夹角定义为L
V逆时针到L
P的夹角,用符号
表示,如图4所示。
则目标车辆的中心线LV到目标停车位中心线LP的距离定义为dL和dR的差,用符号dO表示,即
dO=dL-dR
很明显,dO越小越好,越小表示车辆的中心线越靠近停车位的中心线。
(4)目标车辆与目标停车位关系参数获取
目标车辆与目标停车位关系参数通过对车辆泊车入位实时环境图像信息处理获得。
①目标车辆到目标停车位标线距离参数dL、dR和dC的计算:
应用Canny算子对图2进行处理,可以识别出目标车辆和目标停车位的轮廓,根据目标车辆的轮廓可以获得目标车辆的关键点位置,包括尾部左右两个端点的位置,即为BL和BR,尾部中点位置Bm;根据目标停车位的轮廓可以获得目标停车位的关键点位置,包括前标线的两个端点,即为CL和CR,前标线的中点Cm,后标线的两个端点及其中点:DL、DR和Dm。
应用Canny算子对图2进行处理的过程如下:
步骤1:先对图2的图像灰度化,用高斯滤波器滤除中的噪声;
步骤2:采用一阶偏导的有限差分法计算图像边缘的梯度的幅值和方向;
步骤3:根据图像的梯度大小和方向,进行分析计算,去除掉图像中可能不能构成边缘的像素,即对图像的像素点的梯度幅值寻找局部最大值;
步骤4:采用用双阈值算法进行检测,即采用一个高阈值和一个低阈值来对边缘像素进行区分。如果边缘像素点的梯度值大于高阈值,则认为其是强边缘点。如果边缘像素点的梯度值比高阈值小,比低阈值大,则认为其为弱边缘点。而梯度值比低阈值小的点则被抑制掉。
步骤5:图像边缘连接,得到停车位的轮廓及车辆的轮廓;
步骤6:根据目标车辆的轮廓获得目标车辆的关键点位置,包括尾部左右两个端点的位置,即为BL(XBL,YBL)和BR(XBR,YBR),尾部中点位置Bm(XBm,YBm);
步骤7:根据目标停车位的轮廓获得目标停车位的关键点位置,包括前标线的两个端点及中点:CL(XCL,YCL)、CR(XCR,YCR)和Cm(XCm,YCm),后标线的两个端点及其中点:DL(XDL,YDL)、DR(XDR,YDR)和Dm(XDm,YDm);
根据获得的目标车辆和目标停车位的关键点位置,计算目标车辆与目标停车位的关系参数,即目标车辆到目标停车位标线距离参数dL、dR和dC的计算:
a、当车辆尾部没有进入停车位前,可以获得BL到CC的像素数量PBCL,BR到CR的像素数量PBCR,从而可以计算出距离dL和dR,其计算公式如下:
dL=PABL*μ
dR=PABR*μ
其中μ的计算公式为:
μ=停车位标线像素数/停车位标线实际尺寸
其中,停车位标线的实际尺寸为其长度或宽度。
b、当车辆尾部进入停车位后,此情况下,通过点BL和BR到目标停车位标线做垂线,进而可以得到点BL和BR到垂足的像素数量,设为PBCL和PBCR,则计算公式如下:
dL=PBCL*μ
dR=PBCR*μ
关于dC的计算,则可以通过获取Bm到Dm的像素进行计算,设其为PBDm,从而可以计算出dC的,公式如下:
dC=PBDm*μ
根据目标停车位的后标线中点Dm(XDm,YDm)和前标线中点Cm(XCm,YCm),可以得到目标停车位中心线LP,其表达式为:
令该直线的斜率为k1,则其表达式为:
该目标停车位中心线不会变化,为静态直线。
利用重心法可以找到目标车辆的中心Ov(XOV,YOV),从而根据车辆尾部中点Bm(XBm,YBm)得到目标车辆的中心线LV,其表达式为:
令该直线的斜率为k2,则其表达式为:
该目标车辆的中心线随着车辆的运动而不断变化,是动态直线。
则根据L
V和L
P两条直线的斜率,以及其夹角
的正切值计算公式,可以得到
的计算公式为:
停车过程中,由于L
V的不断变化,这使得L
V和L
P的两条直线间的夹角
也在不断变化。
(5)目标车辆泊车入位运动轨迹预测及提示
①目标车辆泊车入位运动轨迹预测
根据目标车辆相对于目标停车位的当前位置,以及目标车辆的转向角度预测车辆入位运动轨迹。如图5所示,通过前述Canny图像处理的方法得到目标车辆的中心线Lv。通过与车载装置的实时通信获取车辆转向角,即如图5中的角θ。
在识别出车辆的轮廓后,根据获得的车辆的自身参数,包括轴距、前悬、后悬、轮距,可以得到目标车辆四个车轮中点,分别设为T1(XT1,YT1),T2(XT2,YT2),T3(XT3,YT3),T4(XT4,YT4),如图5中所示。
则可以得到过目标车辆两个后轮中点T3(XT3,YT3)和T4(XT4,YT4)的直线,设为LBR。
根据目标车辆的中心线LV和前轮转角θ,可以得到过左前轮中点T1(XT1,YT1)的直线LFR。
过点T1(XT1,YT1)做LFR的垂线LFRC,则可以得到两条直线LBR,和LFRC的交点,即为O1。
由此,可以得到以O1为圆心分别过目标车辆后左轮,即T3(XT3,YT3),后右轮,即T4(XT4,YT4)的圆,即为目标车辆两后轮在当前位置及转向角θ时,形成的车辆入位运动轨迹,如图5中的两个灰色虚线圆所示。
②目标车辆转向角度可行性判断及指示
根据目标车辆的转向角及车辆的当前位置,通过目标车辆的入位运动轨迹预测可以得到目标车辆在当前转向角下的运动轨迹,如图5所示。根据该轨迹可以判断车辆是否可以以该转向角运动。图5中可以看到当前转向角是可行的,而图6所示的转向角下车辆的入位轨迹是不可行的。由此可以生成转向角可行性判断指示,并通过不同的颜色进行显示。
从图5可以看出此时车辆以角度θ倒车可以进入目标停车位;相反,如图6,可以看出此时车辆以当前角度θ倒车不可以进入目标停车位。
泊车入位指示装置将生成的目标车辆入位运动轨迹实时传输到车载装置,并在车载装置中显示出来。以不同颜色表示方向盘转角是否可行,并进行语音提示。如图(b)中显示的车轮轨迹线为灰色,角度可行,图(c)中,显示的车轮轨迹线为灰色,角度不可行。
(6)目标车辆泊车位置指示
根据图2的图像可计算得到泊车指示准则,过程如下:
1)应用Canny算子对车辆轮廓进行识别与处理,得到车辆的轮廓尺寸。
2)然后根据目标停车位的尺寸规划出目标车辆在车位的位置,即以车辆轮廓的中心与目标停车位的中心重合为理想停车位置,从而计算得到车辆的前后、左右轮廓线到目标停车位的边界线的距离,设为Δ前,Δ后,Δ左,Δ右,并设置误差范围,设为E(可以根据具体停车位的尺寸进行设置)。
3)假设目标车辆在目标停车位泊车完成后,实际的车辆轮廓到目标停车位边界线的距离分别为S前,S后,S左,S右。则可以得到目标车辆相对于目标停车位的合适停车位置为:
①:│Δ前-S前│≤E,│Δ后–S后│≤E,│Δ左–S左│≤E和│Δ右–S右│≤E。
当左右两个距离相差较大时候,则车辆在车位中的位置不合理,此时意味着车辆过于靠近停车位的另一边,会影响相邻停车位的车辆停放,需要调整车辆重新进行泊车。
同时,其他位置则为需要调整的位置,即如下情况:
②:如果│Δ前-S前│>E,│Δ左–S左│>E,则车辆泊车位置偏后和右,意味着车辆过于靠近停车位的右边线,影响右边相邻车位的车辆停放,同时偏停车位的后部。
③:如果│Δ前-S前│>E,│Δ右–S右│>E,则车辆泊车位置偏后和左,意味着车辆过于靠近停车位的左边线,影响左边相邻车位的车辆停放,同时偏停车位的后部。
④:如果│Δ前-S前│>E,│Δ左–S左│≤E和│Δ右–S右│≤E,则车辆泊车位置偏后,意味着车辆距离停车位的左右边界合适,但偏停车位的后部。
⑤:如果│Δ后–S后│>E,│Δ左–S左│>E,则车辆泊车位置偏前和右,意味着车辆过于靠近停车位的右边线,影响右边相邻车位的车辆停放,同偏停车位的前部。
⑥:如果│Δ后–S后│>E,│Δ右–S右│>E,则车辆泊车位置偏前和左,意味着车辆过于靠近停车位的左边线,影响左边相邻车位的车辆停放,同偏停车位的前部。
⑦:如果│Δ后–S后│>E,│Δ左–S左│≤E和│Δ右–S右│≤E,则车辆泊车位置偏前,意味着车辆距离停车位的左右边界合适,但偏停车位的前部。
4)根据上述,可以得到目标车辆泊车位置指示,如下:
准则I:当目标车辆与目标停车位的位置关系为①时,则语音指示为正确泊车;
准则II:当目标车辆与目标停车位的位置关系为②、③、⑤和⑥时,则语音指示为重新泊车;
准则III:当目标车辆与目标停车位的位置关系为④时,则语音指示为将车辆向前移动泊车;
准则IV:当目标车辆与目标停车位的位置关系为⑦时,则语音指示为将车辆向后移动泊车。
(7)基于无线通信的目标车辆和目标停车位环境数据的实时传输
将上述环境图像及车辆与停车位关系数据、相关指示实时传送给车载装置,具体包括:目标车辆与目标停车位的环境图像,目标停车位及其相邻停车位的使用状态信息,目标车辆与目标停车位实时关系参数,预测的目标车辆泊车入位运动轨迹以及提示语音,目标车辆泊车位置指示。
2、车载装置
车载装置包括第二控制单元、显示器、第二通信模块、存储模块、车辆转向角获取模块、档位获取模块、语音输出模块。车载装置安装在车上,其具体功能包括:获取目标停车位环境图像及相邻停车位的使用状态信息,并通过显示器进行显示;实时获取目标车辆与目标停车位的环境图像及关系参数,并通过显示器进行显示;实时获取目标车辆泊车入位过程中车辆入位运动轨迹,并进行显示;接收泊车指示装置发送来的泊车入位时车辆转向角是否合理以及是否正确完成泊车的语音指示并通过语音输出模块给予泊车语音指示,同时通过语音输出模块输出目标车辆相对于目标停车位的相关参数,具体的,各模块功能介绍如下:
①第二控制单元
第二控制单元是该装置的核心,其首先通过通信模块获取泊车入位装置实时传输来的目标停车位环境图像、目标停车位的相邻停车位使用状态信息、目标车辆与目标停车位动态环境图像、目标车辆与目标停车位的关系参数。然后,第二控制单元将目标停车位环境图像和目标停车位的相邻停车位使用状态信息融合送显示器显示,在车辆进入泊车阶段时候控制单元将实时获取的目标车辆与目标停车位动态环境图像及目标车辆和目标停车位关系参数融合送显示器显示。与此同时,第二控制单元控制语言输出模块,语音输出泊车过程中的相关参数。
②第二通信模块
第二通信模块负责与泊车入位指示装置的通信,其主要接受泊车入位指示装置传送来的信息,并将其送存储单元。接收的内容包括目标停车位属性数据、目标停车位的环境图像及其相邻停车位的使用状态信息、目标车辆与目标停车位动态环境图像以及目标车辆与目标停车位的关系参数。
③存储模块
存储模块用于存放第二通信模块从泊车入位指示装置接收的数据,包括目标停车位环境图像及其相邻停车位的使用状态信息、车辆泊车入位实时环境图像信息以及目标车辆与目标停车位的关系参数,这些数据由第二控制单元负责存取。
④语音输出模块
语音输出模块负责泊车过程中语音的输出,其与第二控制单元相连,由第二控制单元控制输出语音信息。
⑤车辆转向角获取及车辆档位获取模块
车辆转向角获取通过安装在车辆方向盘上的方向盘转角传感器获得;车辆档位通过车辆档位传感器获取。
(1)获取目标停车位环境图像及相邻停车位的使用状态信息并显示
车载装置通过第二通信模块获取泊车入位指示装置发送来的目标停车位环境图像及相邻停车位使用状态信息,并通过显示器显示出来,其表现形式如图1所示。该信息在目标车辆接近目标停车位的时候获取,即没有开始进行泊车入位前。
(2)实时获取目标车辆与目标停车位的环境图像及关系参数
进入倒车范围时,车载装置通过通信模块实时获取泊车入位指示装置发送的目标车辆与目标停车位的动态环境图像,以及车辆与停车的关系参数,并实时显示在显示器上。
获得的目标车辆与目标停车位的环境图像如图2所示。
获得的目标车辆与目标停车位的关系参数为:d
L(到左标线的距离)、d
R(到右标线的距离)、d
C(到后标线的距离)、
(车辆中心线到停车位中心线的角度)和d
O(车辆中心线到车位中心线的距离)。
将车辆泊车入位实时环境图像信息及目标车辆与目标停车位的关系参数合并,显示在显示器上,并分为两种情况显示,如图7所示。图中(a)表示目标车辆的尾部没有进入目标停车位,此时显示的是车尾两个端点到停车位前两个端点的距离;图中(b)表示目标车辆的尾部进入停车位,显示的是车尾两个端点到停车位左右边线的距离,这样便于驾驶员进行操作。
(3)随着目标车辆的实时操作,目标车辆与目标停车位的关系参数实时变化,即d
L(到左标线的距离)、d
R(到右标线的距离)、d
C(到后标线的距离)、
(车辆中心线到停车位中心线的角度)和d
O(车辆中心线到车位中心线的距离)动态变化。根据这些数据的变化,驾驶员停可以清楚的理解自己对车辆的操作所产生的相对于停车位的位置变化,从而利于驾驶员进行下一步的操作,实现安全、准确和高效的停车。
(4)目标车辆入位运动轨迹显示及语音指示
目标车辆泊车入位过程中,驾驶员实时操作的目标车辆方向盘的变化,即车辆转向角,由车辆转向角模块实时获取;同时通过车辆档位获取模块获得当前的档位同车辆转向角一起传送给泊车入位指示装置。泊车入位指示装置获得该数据后,会根据车辆的实时位置对目标车辆的入位运动轨迹进行预测,得到目标车辆后轮运动轨迹圆,然后将该数据传送给车载装置进行显示,显示结果如图8中的(a)或(b),(a)图中灰色表示的车辆入位轨迹,也表示当前驾驶员的转向角是可行的;而图(b)中灰色表示的车辆入位轨迹,表示当前驾驶员转向角是不可行的。同时,车载装置也获得了该转向角是否可行的语音指示。
(5)泊车过程中目标车辆相对于目标停车位关系参数的语音指示及报警
目标车辆泊车进入目标停车位的过程中,显示器上显示目标车辆与目标停车位的关系的同时,车载装置中的语音输出模块会实时提示目标车辆与目标停车位的关系参数,而且会根据优先级进行提示。
当目标车辆距离目标停车位某边界的距离近时候,驾驶员应更加注意该距离,所以,优先级设置原则为距离越小优先级越高。因此,语音提示根据优先级由高到低进行语言提示。语音提示的数据主要包括目标车辆到目标停车位标线的距离,即dL(车辆到停车位左标线的距离)、dR(车辆到停车位右标线的距离)、dC(车辆到到停车位后标线的距离)。根据优先级设置原则,首先判断dL、dR和dC三个值的大小,并进行从小到大排序;然后,根据有小到大的顺序依次进行语音提示。其间,还设置报警语音提示功能,即当某个值连续变小时候,则将连续输出针对该距离的报警声音,并在显示器上以闪烁形式提出警示。
(6)目标车辆泊车位置指示
当目标车辆在目标停车位中完成泊车时,会接收到泊车位置指示装置发送来的泊车位置指示,并通过语音输出模块指示给驾驶员。该指示目标车辆泊车位置指示准则包括:正确泊车、重新泊车、将车辆向前移动泊车、将车辆向后移动泊车。
本实施例中,车载装置与泊车入位指示装置之间采用无线通信技术,该通信技术采用短距离无线通信技术,如蓝牙5.0等。蓝牙5.0是由蓝牙技术联盟在2016年提出的蓝牙技术标准,蓝牙5.0针对低功耗设备速度有相应提升和优化,蓝牙5.0结合WiFi提高传输速度,增加有效工作距离。蓝牙5.0针对低功耗设备,有着更广的覆盖范围和相较现在四倍的速度提升。蓝牙5.0传输速度上限为24Mbps。传输级别达到无损级别,有效工作距离可达300米。为应对移动客户端需求,其功耗更低,且兼容旧的版本。
实施例2,基于实施例1所述的泊车入位指示系统,本实施例提出一种对应的泊车入位指示方法,具体包括:
(1)目标车辆获得目标停车位的位置后,将在导航仪的引导下前往目标停车位,当车辆到达距离目标停车位距离为d1(d1的大小可设置为50米)时,车载装置启动,通过无线通信模块与泊车入位指示装置建立联系,并接收泊车入位指示装置传送来的目标停车位环境图像及相邻停车位的使用状态信息,同时通过显示器显示出来,其显示形式如图1所示。
(2)当目标车辆继续行进到达距离目标停车位距离为d2(相比d1,d2的设置应该较小,可设为3米)时,此时车辆已经到达目标停车位的相邻车位,目标车辆将准备泊车入位。此情况下,泊车入位指示装置将目标车辆与目标停车位的环境图像传送给车载装置,如图2所示。
(3)随着驾驶员实时操作的目标车辆方向盘的变化,泊车入位指示装置读取车载装置传送来的车辆转向角,对目标车辆的入位运动轨迹进行预测,并将结果及指示语音传送给车载装置。车载装置实时显示如图8中的(a)或(b),并进行先用的转向角是否可行的语音提示。
(4)随着目标车辆开始进入泊车入位的操作,泊车入位指示装置实时传送目标车辆与目标停车位的环境图像的同时,将目标车辆与目标停车位的关系参数传送给车载装置,并由车载装置通过显示器显示,显示的图像如图7所示的(a)或(b)。
(5)显示车辆泊车入位的过程的同时,车载装置的语音模块也实时播报目标车辆相对于目标停车位的参数数值。将从泊车入位指示装置传送来的dL(车辆到停车位左标线的距离)、dR(车辆到停车位右标线的距离)、dC(车辆到到停车位后标线的距离),根据由小到大的顺序进行排序,从而得到三个数据的优先级。然后,根据优先级的从高到低的顺序实时播报这些数据。而且还实时判断是否启动报警语音提示,即当某个值连续变小时候,启动报警语音提示功能,将连续输出针对该距离的报警声音,并在显示器上以闪烁形式提出警示。
随着泊车入位操作的不断进行,泊车入位指示装置持续传输如上数据,车载装置不断接收数据,在显示器上显示,并进行语音播放,以及可能出现的语音报警及闪烁报警。
(6)上述的(3)、(4)、(5)是实时同时进行的,而且该过程一直持续进行,直到正确完成泊车。
(7)当驾驶员完成泊车时候,则泊车入位指示装置根据准则判断是否为正确完成泊车,并向车载装置发布语音指示。
如果目标车辆与目标停车位的关系符合准则I,则意味着泊车合适,泊车入位指示装置将正确泊车的语音指示发送给车载设备,并通过语音输出模块,提示驾驶员已经正确完成停车,并转到(8)。
如果发现目标车辆没有正确泊车入位,并符合准则II时,泊车入位指示装置将重新泊车的语音指示发送给车载设备,并通过语音输出模块,提示驾驶员需要继续泊车操作,并转到(3)继续泊车。
如果发现目标车辆没有正确泊车入位,并符合准则III时,泊车入位指示装置将“车辆向前移动”的语音指示发送给车载设备,并通过语音输出模块,指示驾驶员将车辆向前移动泊车,并转到(3),继续泊车;
如果发现目标车辆没有正确泊车入位,并符合准则IV时,泊车入位指示装置将“车辆向后移动”的语音指示发送给车载设备,并通过语音输出模块,指示驾驶员将车辆向后移动泊车,并转到(3)继续泊车。
(8)此时,目标车辆正确停入目标停车位,泊车入位指示装置和车载装置停止工作。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域,但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。