CN112150857B - 基于视频图像处理的泊车入位指示系统及指示方法 - Google Patents

基于视频图像处理的泊车入位指示系统及指示方法 Download PDF

Info

Publication number
CN112150857B
CN112150857B CN202010846652.2A CN202010846652A CN112150857B CN 112150857 B CN112150857 B CN 112150857B CN 202010846652 A CN202010846652 A CN 202010846652A CN 112150857 B CN112150857 B CN 112150857B
Authority
CN
China
Prior art keywords
vehicle
parking
target
parking space
target vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010846652.2A
Other languages
English (en)
Other versions
CN112150857A (zh
Inventor
任传祥
尹唱唱
陈允芳
滕升华
李玉善
管德永
孙波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Xinkong Intelligent Technology Co ltd
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202010846652.2A priority Critical patent/CN112150857B/zh
Publication of CN112150857A publication Critical patent/CN112150857A/zh
Application granted granted Critical
Publication of CN112150857B publication Critical patent/CN112150857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种基于视频图像处理的泊车入位指示系统及指示方法,指示系统包括泊车入位指示装置和车载装置,泊车入位指示装置安装在停车位上方,通过图像处理和分析生成车辆与泊位的相关数据信息,并实现对目标车辆泊车入位运动轨迹的预测,生成入位准则并对泊车入位进行实时判断和指示;车载装置获取车辆的转向角度及档位信息,并连同车辆自身参数发送给泊车入位指示装置,实现停车位环境信息、车辆与停车位的实时关系数据,以及车辆泊车入位运动轨迹的实时显示,结合语音提示和显示器以闪烁形式警示指示驾驶员进行车辆快速准确的泊车入位。本方案实现自身车辆与周围环境的关系的全面表达,并根据驾驶员的实时停车操作给出相应的指示,有效辅助驾驶员安全、准确和有效的完成车位泊车。

Description

基于视频图像处理的泊车入位指示系统及指示方法
技术领域
本发明涉及停车场智能泊车领域,具体涉及一种基于视频的车辆泊车入位指示系统及指示方法。
背景技术
随着我国经济的快速发展,汽车拥有量越来越多,人们在日常驾车出行时无法避免的会遇到泊车问题,驾驶员泊车经验的多少以及场景的复杂程度决定了泊车的难易程度。为了提高驾驶员泊车的便利性以及弥补驾驶员后方视觉的缺失,将倒车雷达系统及倒车影像系统先后配置在车辆上。
车载倒车雷达系统利用了超声波传播原理。当泊车倒车时,安装在车辆尾部保险杠上的超声波发射探头发出超声波,超声波传播过程中遇到障碍物后被反射回来。倒车雷达系统据此,计算出车体与障碍物间的距离,然后提示给驾驶员,以此辅助驾驶员完成泊车。但倒车雷达是安装在车体上的,且仅通过判断与障碍物的距离来提醒驾驶员,无法让驾驶员掌握车辆后方的环境信息,不利于更加有效和安全泊车。
随着视频技术的发展,倒车影像系统逐渐配置到车辆上以辅助驾驶员泊车。倒车影像系统在车辆泊车倒车时自动开启安装于车尾的倒车摄像头,将车后状况清晰的显示于倒车显示屏上,让驾驶员准确把握后方路况。而且,更为先进的全景可视系统可以有四路视频输出,即前、后、左、右。将摄像头安装在车前,车尾以及后视镜的下面。其由遥控控制,能自动的切换画面,视频可以由四个视频组成,也可以为单一的视频倒车影像系统,这为车辆泊车提供了很好的辅助。
然而,不管是倒车雷达系统还是倒车影像系统,虽然其为驾驶员提供了车后障碍物距离信息,甚至通过视频可看到前后左右环境信息,但是,视频采集装置是安装在车体上的,所呈现出来的图像无法克服车体本身的限制,这些信息不能把自身车辆与周围环境的关系全面的表达出来,驾驶员停车时仍然需要依靠自身经验判断做出对车辆的操作。同时,在实际停车入位的时候,经常需要有人在车外指导车内驾驶员停车,如果能够将车外指导停车人观察到的信息,即车辆和停车位实时环境信息,实时通过显示和语音提供给驾驶员,并根据驾驶员的实时停车操作给出相应的指示,则能够更好的辅助驾驶员安全、准确和有效的完成车位泊车,克服传统思维限制,对于智能泊车具有重大改革意义。
发明内容
本发明针对现有技术存在的缺陷,提出一种基于视频的车辆泊车入位指示系统及指示方法,通过对泊车入位指示装置和车载装置的设计,可以有效提高驾驶员泊车入位的准确度和效率,避免产生不必要的时间与油量的消耗,并有效提高安全性。
本发明是采用以下的技术方案实现的:基于视频图像处理的泊车入位指示系统,包括泊车入位指示装置和车载装置,泊车入位指示装置和车载装置之间无线通信;
所述泊车入位指示装置安装在停车位上方,包括第一控制单元以及与第一控制单元相连的摄像头、第一通信模块、数据存储单元、入位轨迹预测模块、泊车位置指示模块和语音生成模块;摄像头用以采集目标停车位环境图像及车辆泊车入位实时环境图像信息,并经过第一控制单元对图像处理和分析生成车辆与泊位的相关数据信息;入位轨迹预测模块用以对目标车辆泊车入位运动轨迹进行预测;泊车位置指示模块用以生成泊车指示准则并对泊车入位进行实时判断并指示,通过第一通信模块将上述信息实时传输给车载装置;
所述车载装置安装在车辆上,包括第二控制单元以及与第二控制单元相连的显示器、语音输出模块、第二通信模块、存储模块、车辆转向角获取模块和车辆档位获取模块;车辆转向角获取模块和车辆档位获取模块获取车辆的转向角度及档位信息,并连同车辆自身参数发送给泊车入位指示装置;车载装置接收泊车入位指示装置发送来的停车位环境信息、车辆泊车入位实时环境图像信息,以及车辆泊车入位运动轨迹信息并显示,并结合提示指示驾驶员进行车辆快速准确的泊车入位;
所述泊车位置指示模块生成的泊车指示准则的原理如下:
1)通过对车辆轮廓进行识别与处理,得到车辆的轮廓尺寸;
2)根据目标停车位的尺寸规划出目标车辆在车位的位置,以车辆轮廓的中心与目标停车位的中心重合为理想停车位置,从而计算得到车辆的前后、左右轮廓线到目标停车位的边界线的距离,设为Δ,Δ,Δ,Δ,并设置误差范围E;
3)假设目标车辆在目标停车位泊车完成后,实际的车辆轮廓到目标停车位边界线的距离分别为S,S,S,S,得到目标车辆相对于目标停车位的合适停车位置为:
①:│Δ-S│≤E,│Δ–S│≤E,│Δ–S│≤E和│Δ–S│≤E;
当左右两个距离相差较大时,则车辆在车位中的位置不合理,此时意味着车辆过于靠近停车位的另一边,会影响相邻停车位的车辆停放,需要调整车辆重新进行泊车;
同时,其他需要调整的情况如下:
②:如果│Δ-S│>E,│Δ–S│>E,则车辆泊车位置偏后和右,意味着车辆过于靠近停车位的右边线,影响右边相邻车位的车辆停放,同时偏停车位的后部;
③:如果│Δ-S│>E,│Δ–S│>E,则车辆泊车位置偏后和左,意味着车辆过于靠近停车位的左边线,影响左边相邻车位的车辆停放,同时偏停车位的后部;
④:如果│Δ-S│>E,│Δ–S│≤E和│Δ–S│≤E,则车辆泊车位置偏后,意味着车辆距离停车位的左右边界合适,但偏停车位的后部;
⑤:如果│Δ–S│>E,│Δ–S│>E,则车辆泊车位置偏前和右,意味着车辆过于靠近停车位的右边线,影响右边相邻车位的车辆停放,同偏停车位的前部;
⑥:如果│Δ–S│>E,│Δ–S│>E,则车辆泊车位置偏前和左,意味着车辆过于靠近停车位的左边线,影响左边相邻车位的车辆停放,同偏停车位的前部;
⑦:如果│Δ–S│>E,│Δ–S│≤E和│Δ–S│≤E,则车辆泊车位置偏前,意味着车辆距离停车位的左右边界合适,但偏停车位的前部;
4)根据上述所述,得到目标车辆泊车位置指示准则,如下:
准则I:当目标车辆与目标停车位的位置关系为①时,则语音指示为正确泊车;
准则II:当目标车辆与目标停车位的位置关系为②、③、⑤和⑥时,则语音指示为重新泊车;
准则III:当目标车辆与目标停车位的位置关系为④时,则语音指示为将车辆向前移动泊车;
准则IV:当目标车辆与目标停车位的位置关系为⑦时,则语音指示为将车辆向后移动泊车。
进一步的,所述入位轨迹预测模块对目标车辆泊车入位运动轨迹预测时根据目标车辆相对于目标停车位的当前位置,以及车载装置获得的目标车辆的转向角度θ预测车辆入位运动轨迹,具体的:
(1)识别出目标车辆的轮廓,根据获得的车辆的自身参数,包括轴距、前悬、后悬、轮距,得到目标车辆四个车轮中点,分别设为T1(XT1,YT1),T2(XT2,YT2),T3(XT3,YT3),T4(XT4,YT4);进而得到过目标车辆两个后轮中点T3(XT3,YT3)和T4(XT4,YT4)的直线,设为LBR
(2)根据目标车辆的中心线LV和前轮转角θ,得到过左前轮中点T1(XT1,YT1)的直线LFR;过点T1(XT1,YT1)做LFR的垂线LFRC,得到两条直线LBR,和LFRC的交点,记为O1;由此,得到以O1为圆心分别过目标车辆后左轮T3(XT3,YT3),后右轮T4(XT4,YT4)的圆,得到目标车辆两后轮在当前位置及转向角θ时,形成的车辆入位运动轨迹。
进一步的,所述入位轨迹预测模块还需要对目标车辆的转向角度的可行性进行判断,具体的:
泊车入位指示装置将生成的目标车辆入位运动轨迹实时传输到车载装置,并在车载装置中进行显示,根据目标车辆的转向角及车辆的当前位置,通过目标车辆的入位运动轨迹预测得到目标车辆在当前转向角下的运动轨迹,根据该运动轨迹与目标停车位中心线的偏差判断方向盘转角是否可行。
进一步的,所述目标停车位环境图像信息包括目标停车位和目标停车位相邻停车位使用状态信息,所述状态信息为空闲状态或占用状态;
目标停车位及其左右相邻停车位的使用状态信息分别对应的用符号Eob、Eleft和Eright表示:Eob:目标停车位的状态,当有车辆占用该停车位时候,Eob=1,否则,Eob=0;Eleft:目标停车位的左相邻停车位的状态,当有车辆占用该停车位时候,Eleft=1,否则,Eleft=0;Eright:目标停车位的右相邻停车位的状态,当有车辆占用该停车位时候,Eright=1,否则,Eright=0。
进一步的,所述车辆泊车入位实时环境图像信息包括目标车辆与目标停车位的实时关系,目标车辆与目标停车位的实时关系由目标车辆与目标停车位的关系参数来表示;目标车辆与目标停车位关系参数包括目标车辆到目标停车位标线的距离参数,目标车辆的中心线与目标停车位中心线间的夹角和距离:
所述目标车辆到目标停车位标线的距离参数包括dL、dR和dC,其中,dL和dR定义为目标车辆尾部左右两个端点BL和BR到目标停车位标线的距离;
目标车辆的中心线为过车辆轮廓中心点Ov和车辆尾部线中点Bm的直线,用符号LV表示;目标停车位中心线为过目标停车位的前标线中间点Cm和后标线中间点Dm的直线,用符号LP表示;
目标车辆的中心线LV到目标停车位中心线LP的夹角定义为LV逆时针到LP的夹角,用符号
Figure GDA0003166346080000041
表示,则目标车辆的中心线LV到目标停车位中心线LP的距离定义为dL和dR的差,用符号dO表示,dO=dL-dR
进一步的,目标车辆到目标停车位标线的距离参数dL、dR和dC的获取采用以下方式:
(1)识别出目标车辆和目标停车位的轮廓,根据目标车辆的轮廓获得目标车辆的关键点位置,包括尾部左右两个端点的位置,记为BL和BR,尾部中点位置Bm;根据目标停车位的轮廓获得目标停车位的关键点位置,包括前标线的两个端点,记为CL和CR,前标线的中点Cm,后标线的两个端点及其中点:DL、DR和Dm
(2)当车辆尾部没有进入目标停车位前,获得BL到CC的像素数量PBCL,BR到CR的像素数量PBCR,得到距离dL和dR
dL=PABL
dR=PABR
其中μ的表达式为:
μ=停车位标线像素数/停车位标线实际尺寸
其中,停车位标线的实际尺寸为其长度或宽度;
(3)当车辆尾部进入目标停车位后,通过点BL和BR到目标停车位标线做垂线,得到点BL和BR到垂足的像素数量,设为PBCL和PBCR
dL=PBCL
dR=PBCR
dC=PBDm
其中,PBDm为Bm到Dm的像素数量。
进一步的,所述目标车辆的中心线与目标停车位中心线间的夹角
Figure GDA0003166346080000056
采用以下方式获得:
(1)根据目标停车位的后标线中点Dm(XDm,YDm)和前标线中点Cm(XCm,YCm),得到目标停车位中心线LP,其表达式为:
Figure GDA0003166346080000051
令该直线的斜率为k1
Figure GDA0003166346080000052
该目标停车位中心线不会变化,为静态直线;
利用重心法得到目标车辆的中心Ov(XOV,YOV),从而根据车辆尾部中点Bm(XBm,YBm)得到目标车辆的中心线LV,其表达式为:
Figure GDA0003166346080000053
令该直线的斜率为k2,则其表达式为:
Figure GDA0003166346080000054
该目标车辆的中心线随着车辆的运动而不断变化,是动态直线;
(2)根据LV和LP两条直线的斜率,以及其夹角
Figure GDA0003166346080000057
的正切值,得到
Figure GDA0003166346080000058
Figure GDA0003166346080000055
停车过程中,由于LV的不断变化,使得LV和LP的两条直线间的夹角
Figure GDA0003166346080000059
也在不断变化。
本发明另外还提出一种基于视频图像处理的泊车入位指示系统的指示方法,包括以下步骤:
(1)目标车辆获得目标停车位的位置后,在导航仪的引导下前往目标停车位,当车辆到达距离目标停车位距离为d1时,车载装置启动,通过无线通信与泊车入位指示装置建立联系,并接收泊车入位指示装置传送来的目标停车位环境图像及相邻停车位的使用状态信息,同时通过显示器显示出来;
(2)当目标车辆继续行进到达距离目标停车位距离为d2时,此时车辆已经到达目标停车位的相邻车位,目标车辆将准备泊车入位,此情况下,泊车入位指示装置将目标车辆与目标停车位的环境图像传送给车载装置;
(3)随着驾驶员实时操作的目标车辆方向盘的变化,泊车入位指示装置读取车载装置传送来的车辆转向角,对目标车辆的入位运动轨迹进行预测,并将结果及指示语音传送给车载装置,并进行初始的转向角是否可行的语音提示;
(4)随着目标车辆开始进入泊车入位的操作,泊车入位指示装置实时传送目标车辆与目标停车位的环境图像的同时,将目标车辆与目标停车位的关系参数传送给车载装置,并由车载装置通过显示器显示;
(5)显示车辆泊车入位的过程的同时,车载装置的语音模块实时播报目标车辆相对于目标停车位的参数数值;将从泊车入位指示装置传送来的车辆到停车位左标线的距离dL、车辆到停车位右标线的距离dR、车辆到到停车位后标线的距离dC,根据由小到大的顺序进行排序,得到三个数据的优先级,并根据优先级的从高到低的顺序实时播报;
当某个值连续变小时,启动报警语音提示功能,将连续输出针对该距离的报警声音,并在显示器上以闪烁形式提出警示;
随着泊车入位操作的不断进行,泊车入位指示装置持续传输如上数据,车载装置不断接收数据,在显示器上显示,并进行语音播放及报警;
(6)上述的(3)、(4)、(5)是实时同时进行的,而且该过程一直持续进行,直到正确完成泊车;
(7)当驾驶员完成泊车时,则泊车入位指示装置根据准则判断是否为正确完成泊车,并向车载装置发布语音指示。
进一步的,所述步骤(7)中,如果目标车辆与目标停车位的关系符合准则I,则意味着泊车合适,泊车入位指示装置将正确泊车的语音指示发送给车载设备,并通过语音输出模块,提示驾驶员已经正确完成停车,并转到步骤(8):目标车辆正确停入目标停车位,泊车入位指示装置和车载装置停止工作;
如果目标车辆没有正确泊车入位,并符合准则II时,泊车入位指示装置将重新泊车的语音指示发送给车载设备,并通过语音输出模块,提示驾驶员需要继续泊车操作,并转到(3)继续泊车;
如果目标车辆没有正确泊车入位,并符合准则III时,泊车入位指示装置将“车辆向前移动”的语音指示发送给车载设备,并通过语音输出模块,指示驾驶员将车辆向前移动泊车,并转到(3),继续泊车;
如果发现目标车辆没有正确泊车入位,并符合准则IV时,泊车入位指示装置将“车辆向后移动”的语音指示发送给车载设备,并通过语音输出模块,指示驾驶员将车辆向后移动泊车,并转到(3)继续泊车
与现有技术相比,本发明的优点和积极效果在于:
本方案提出的泊车入位指示系统及指示方法,通过在停车位端设计泊车入位指示装置,在车辆上设计车载装置,能够把自身车辆与周围环境的关系全面的表达出来,将车辆和停车位环境信息通过显示和语音完全提供给驾驶员,并根据驾驶员的实时停车操作给出相应的指示,有效辅助驾驶员安全、准确和有效的完成车位泊车。
附图说明
图1为本发明实施例所述的目标停车位环境图像示意图;
图2为本发明实施例目标车辆与目标停车位动态环境图像示意图;
图3为本发明实施例目标车辆到目标停车位标线距离参数指示示意图;
图4为本发明实施例目标车辆中心线与目标停车位中心线间的夹角指示示意图;
图5为本发明实施例目标车辆在可入位转向角下的入位运动轨迹示意图;
图6为本发明实施例目标车辆在不可入位转向角下的入位运动轨迹示意图;
图7为本发明实施例目标车辆入位动态参数指示示意图,其中,(a)表示目标车辆的尾部没有进入目标停车位,(b)表示目标车辆的尾部进入停车位;
图8为本发明实施例车载装置显示后轮运动轨迹示意图,其中,(a)中入位轨迹表示当前驾驶员的转向角是可行的;(b)中入位轨迹是不可行的;
图9为本发明实施例所述指示系统的整体原理框图;
其中:1、目标停车位;2、目标车辆。
具体实施方式
为了能够更加清楚地理解本发明的上述目的、特征和优点,下面结合附图及实施例对本发明做进一步说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用不同于在此描述的其他方式来实施,因此,本发明并不限于下面公开的具体实施例。
实施例1,一种基于视频图像处理的泊车入位指示系统,如图9所示,包括泊车入位指示装置和车载装置,泊车入位指示装置和车载装置之间无线通信;
所述泊车入位指示装置安装在停车位上方,包括第一控制单元以及与第一控制单元相连的摄像头、第一通信模块、数据存储单元、入位轨迹预测模块、泊车位置指示模块和语音生成模块;所述车载装置安装在车辆上,包括第二控制单元以及与第二控制单元相连的第二通信模块、存储模块、车辆转向角获取模块、车辆档位获取模块、显示器和语音输出模块,第一通信模块和第二通信模块无线连接;
泊车入位指示装置的摄像头负责采集停车位环境图像及车辆泊车入位实时环境图像信息,并经过第一控制单元对图像处理和分析生成车辆与泊位的相关数据信息;入位轨迹预测模块用以对目标车辆泊车入位运动轨迹进行预测;泊车位置指示模块用以生成入位准则并对泊车入位进行实时判断和指示;通过第一通信模块将上述信息实时传输给车载装置实现实时的泊车入位指示;
车载装置通过车辆转向角获取模块和车辆档位获取模块获取车辆的转向角度及档位信息,并连同车辆自身参数发送给泊车入位指示装置;第二控制模块接收泊车入位指示装置发送来的停车位环境信息、车辆与停车位的实时关系数据,以及车辆泊车入位运动轨迹,并将这些信息显示在显示器上;结合语音提示和显示器以闪烁形式警示指示驾驶员进行车辆快速准确的泊车入位。
具体的,下面结合具体的模块设计对本发明方案进行详细的介绍:
1、泊车入位指示装置
泊车入位指示装置包括摄像头、第一控制单元、第一通信模块、数据存储单元、入位轨迹预测模块、泊车位置指示模块、语音生成模块;泊车入位指示装置的具体功能即包括:1)实时获取停车位环境图像;2)实时获取欲泊车入位车辆与停车位环境图像;3)分析车辆与停车位环境图像信息获得停车位位置信息及欲入位停车车辆位置信息,并计算车辆与停车位关系数据;4)预测目标车辆泊车入位运动轨迹并进行指示;5)判断泊车入位,并进行指示;6)生成提示语音,包括根据预测的目标车辆泊车入位运动轨迹判断转向角的可行性指示语音、依据泊车位置指示准则判断是否为正确完成泊车的指示语音;7)将上述环境图像及车辆与停车位关系数据,以及目标车辆入位运动轨迹和提示语音实时传送给车载装置。泊车入位指示装置各组成部分的功能如下:
①摄像头
设置在停车位上方的摄像头用来采集车辆准备入位的视频图像,具体包括目标停车位环境图像、车辆泊车入位实时环境图像信息,同时,将采集到的图像数据送装置的第一控制单元。
②第一控制单元
第一控制单元是该装置的核心,其根据摄像头传输来的目标停车位环境图像、车辆泊车入位实时环境图像信息首先对其进行处理。通过对目标停车位环境图像的处理获得目标停车位及其相邻停车位的使用状态信息,即表2的信息。
实时处理和分析车辆泊车入位实时环境图像信息,即通过应用图像处理方法Canny算子法获得目标车辆与目标停车位的关系参数,包括dL(到左标线的距离)、dR(到右标线的距离)、dC(到后标线的距离)、
Figure GDA0003166346080000081
(车辆中心线到停车位中心线的角度)和dO(车辆中心线到车位中心线的距离)。
将通过图像处理和分析得到的数据存入存储单元,并送第一通信模块将其实时传输给车载装置。
③数据存储单元
数据存储单元用于存放目标停车位属性数据、目标停车位及其相邻停车位的使用状态信息、车辆泊车入位实时环境图像信息以及目标车辆与目标停车位的关系参数。这些数据由第一控制单元负责存取。
④第一通信模块
通信模块负责与车辆装置间的通信,其传输的内容主要包括目标停车位属性数据、目标停车位及其相邻停车位的使用状态信息、车辆泊车入位实时环境图像信息以及目标车辆与目标停车位的关系参数。
⑤语音生成模块
车辆实时入位过程中,泊车入位指示装置根据摄像头获得的实时目标车辆和目标停车位的环境图像的分析,以及根据泊车入位预测轨迹给出转向角是否合理,依据泊车位置指示准则判断是否为正确完成泊车,并向车载装置发布语音指示。
(1)目标停车位属性信息
目标停车位属性信息包括停车位的形状及尺寸,尺寸主要为停车位的长度和宽度,该数据为停车位静态数据,可以直接存入泊车入位指示装置的数据存储单元中。目标停车位属性数据的格式如表1所示。
表1目标停车位属性数据格式
目标停车位编号 目标停车位形状 目标停车位尺寸1 目标停车位尺寸2 目标停车位尺寸3
XXXX 矩形 XX XX XX
(2)目标停车位环境图像及其使用状态信息
目标停车位的环境图像及其使用状态信息为动态数据,其中,目标停车位环境图像由泊车入位指示装置的摄像头实时获取,而目标停车位使用状态信息则通过第一控制单元对目标停车位环境图像的分析得到。
①目标停车位环境图像
目标停车位环境图像由泊车入位指示装置通过摄像头实时获得,该图像包含目标停车位和目标停车位相邻停车位使用状态信息;如图1所示,为一个目标停车位的环境图像示意图,图1中显示出了目标停车位和其相邻停车位的使用状态情况。
②目标停车位及其相邻停车位的使用状态信息
目标停车位及其相邻停车位的使用状态信息,即空闲状态或占用状态,其通过对目标停车位环境图像分析得到。目标停车位及其左右相邻停车位的使用状态信息分别用符号Eob、Eleft和Eright表示:
Eob:目标停车位的状态,当有车辆占用该停车位时候,Eob=1,否则,Eob=0;
Eleft:目标停车位的左相邻停车位的状态,当有车辆占用该停车位时候,Eleft=1,否则,Eleft=0;
Eright:目标停车位的右相邻停车位的状态,当有车辆占用该停车位时候,Eright=1,否则,Eright=0;
本实施例中,目标停车位及其相邻停车位的使用状态信息通过对目标停车位环境图像中的停车位标线及已泊车辆的轮廓识别获取;图像处理中轮廓识别的方法较多,其中Canny算子把边缘检测问题转换为检测单位函数极大值的问题来考虑,具有低失误率、高位置精度和单像素边缘的优良特点。本实施例优先选择Canny算子图像处理方法获得停车位标线,停车位中车辆的轮廓,从而可以得到目标停车位及其相邻车位是否被使用的信息,即使用状态。
根据图1所示的目标停车位环境图像示意图,应用Canny算子对其图像进行分析,经过分析可以得到目标停车位及其相邻停车位的使用状态信息,其数据格式如表2所示。
表2目标停车位及其相邻停车位使用状态信息数据格式
Figure GDA0003166346080000101
具体的,本实施例中,应用Canny算子对图1的图像进行处理和分析的过程如下:
步骤1:用高斯滤波器平滑处理图像图1中的图像;
步骤2:先对图1的图像灰度化,用高斯滤波器滤除中的噪声;
步骤3:采用一阶偏导的有限差分法计算图像边缘的梯度的幅值和方向;
步骤4:根据图像的梯度大小和方向,进行分析计算,去除掉图像中可能不能构成边缘的像素。即对图像的像素点的梯度幅值寻找局部最大值;
步骤5:采用用双阈值算法进行检测,即采用一个高阈值和一个低阈值来对边缘像素进行区分。如果边缘像素点的梯度值大于高阈值,则认为其是强边缘点。如果边缘像素点的梯度值比高阈值小,比低阈值大,则认为其为弱边缘点。而梯度值比低阈值小的点则被抑制掉;
步骤6:图像边缘连接,得到停车位的轮廓及车辆的轮廓;
步骤7:根据停车位中车辆的轮廓信息可以计算得到目标停车位及其相邻停车位的使用状态信息,即Eob=0、Eleft=1和Eright=1。
(3)车辆泊车入位实时环境图像信息
欲进入目标停车位的车辆,称为目标车辆。车辆泊车入位实时环境图像信息为目标车辆与目标停车位动态环境图像,为动态数据。该图像在车辆泊入目标停车位的过程中通过检测装置的摄像头实时获取。如图2所示为车辆泊车入位实时环境图像信息示意图。
车辆泊车入位实时环境图像信息包含目标车辆与目标停车位的实时关系,目标车辆与目标停车位的实时关系由目标车辆与目标停车位的关系参数来表示。
目标车辆与目标停车位关系参数包括目标车辆到目标停车位标线的距离参数,目标车辆的中心线与目标停车位中心线间的夹角和距离。
①目标车辆到目标停车位标线距离参数及其定义
目标车辆到目标停车位标线的距离参数包括dL、dR和dC,其定义分别为:
dL和dR定义为目标车辆尾部左右两个端点BL和BR到目标停车位标线的距离,并分为两种情况进行计算:
当车辆尾部没有进入停车位前,dL和dR分别为车辆尾部左右两个端点到目标停车位停车线的两个端点(CL和CR)的距离,如图3中的(a)所示;当车辆尾部进入到停车位后,dL和dR分别为车辆尾部左右两个端点到目标停车位停车线的距离,如图3中的(b)所示,dC为车辆尾部中心点到停车位后标线的中点Dm间的距离,如图3所示。
②目标车辆的中心线与目标停车位中心线间的夹角和距离定义
目标车辆的中心线为过车辆轮廓中心点Ov和车辆尾部线中点Bm的直线,用符号LV表示。
目标停车位中心线为过目标停车位的前标线和后标线的中间点Cm和Dm的直线,用符号LP表示。
目标车辆中心线LV到目标停车位中心线LP的夹角定义为LV逆时针到LP的夹角,用符号
Figure GDA0003166346080000111
表示,如图4所示。
则目标车辆的中心线LV到目标停车位中心线LP的距离定义为dL和dR的差,用符号dO表示,即
dO=dL-dR
很明显,dO越小越好,越小表示车辆的中心线越靠近停车位的中心线。
(4)目标车辆与目标停车位关系参数获取
目标车辆与目标停车位关系参数通过对车辆泊车入位实时环境图像信息处理获得。
①目标车辆到目标停车位标线距离参数dL、dR和dC的计算:
应用Canny算子对图2进行处理,可以识别出目标车辆和目标停车位的轮廓,根据目标车辆的轮廓可以获得目标车辆的关键点位置,包括尾部左右两个端点的位置,即为BL和BR,尾部中点位置Bm;根据目标停车位的轮廓可以获得目标停车位的关键点位置,包括前标线的两个端点,即为CL和CR,前标线的中点Cm,后标线的两个端点及其中点:DL、DR和Dm
应用Canny算子对图2进行处理的过程如下:
步骤1:先对图2的图像灰度化,用高斯滤波器滤除中的噪声;
步骤2:采用一阶偏导的有限差分法计算图像边缘的梯度的幅值和方向;
步骤3:根据图像的梯度大小和方向,进行分析计算,去除掉图像中可能不能构成边缘的像素,即对图像的像素点的梯度幅值寻找局部最大值;
步骤4:采用用双阈值算法进行检测,即采用一个高阈值和一个低阈值来对边缘像素进行区分。如果边缘像素点的梯度值大于高阈值,则认为其是强边缘点。如果边缘像素点的梯度值比高阈值小,比低阈值大,则认为其为弱边缘点。而梯度值比低阈值小的点则被抑制掉。
步骤5:图像边缘连接,得到停车位的轮廓及车辆的轮廓;
步骤6:根据目标车辆的轮廓获得目标车辆的关键点位置,包括尾部左右两个端点的位置,即为BL(XBL,YBL)和BR(XBR,YBR),尾部中点位置Bm(XBm,YBm);
步骤7:根据目标停车位的轮廓获得目标停车位的关键点位置,包括前标线的两个端点及中点:CL(XCL,YCL)、CR(XCR,YCR)和Cm(XCm,YCm),后标线的两个端点及其中点:DL(XDL,YDL)、DR(XDR,YDR)和Dm(XDm,YDm);
根据获得的目标车辆和目标停车位的关键点位置,计算目标车辆与目标停车位的关系参数,即目标车辆到目标停车位标线距离参数dL、dR和dC的计算:
a、当车辆尾部没有进入停车位前,可以获得BL到CC的像素数量PBCL,BR到CR的像素数量PBCR,从而可以计算出距离dL和dR,其计算公式如下:
dL=PABL
dR=PABR
其中μ的计算公式为:
μ=停车位标线像素数/停车位标线实际尺寸
其中,停车位标线的实际尺寸为其长度或宽度。
b、当车辆尾部进入停车位后,此情况下,通过点BL和BR到目标停车位标线做垂线,进而可以得到点BL和BR到垂足的像素数量,设为PBCL和PBCR,则计算公式如下:
dL=PBCL
dR=PBCR
关于dC的计算,则可以通过获取Bm到Dm的像素进行计算,设其为PBDm,从而可以计算出dC的,公式如下:
dC=PBDm
②车辆的中心线与目标停车位中心线间的夹角
Figure GDA0003166346080000123
的计算
根据目标停车位的后标线中点Dm(XDm,YDm)和前标线中点Cm(XCm,YCm),可以得到目标停车位中心线LP,其表达式为:
Figure GDA0003166346080000121
令该直线的斜率为k1,则其表达式为:
Figure GDA0003166346080000122
该目标停车位中心线不会变化,为静态直线。
利用重心法可以找到目标车辆的中心Ov(XOV,YOV),从而根据车辆尾部中点Bm(XBm,YBm)得到目标车辆的中心线LV,其表达式为:
Figure GDA0003166346080000131
令该直线的斜率为k2,则其表达式为:
Figure GDA0003166346080000132
该目标车辆的中心线随着车辆的运动而不断变化,是动态直线。
则根据LV和LP两条直线的斜率,以及其夹角
Figure GDA0003166346080000134
的正切值计算公式,可以得到
Figure GDA0003166346080000135
的计算公式为:
Figure GDA0003166346080000133
停车过程中,由于LV的不断变化,这使得LV和LP的两条直线间的夹角
Figure GDA0003166346080000136
也在不断变化。
(5)目标车辆泊车入位运动轨迹预测及提示
①目标车辆泊车入位运动轨迹预测
根据目标车辆相对于目标停车位的当前位置,以及目标车辆的转向角度预测车辆入位运动轨迹。如图5所示,通过前述Canny图像处理的方法得到目标车辆的中心线Lv。通过与车载装置的实时通信获取车辆转向角,即如图5中的角θ。
在识别出车辆的轮廓后,根据获得的车辆的自身参数,包括轴距、前悬、后悬、轮距,可以得到目标车辆四个车轮中点,分别设为T1(XT1,YT1),T2(XT2,YT2),T3(XT3,YT3),T4(XT4,YT4),如图5中所示。
则可以得到过目标车辆两个后轮中点T3(XT3,YT3)和T4(XT4,YT4)的直线,设为LBR
根据目标车辆的中心线LV和前轮转角θ,可以得到过左前轮中点T1(XT1,YT1)的直线LFR
过点T1(XT1,YT1)做LFR的垂线LFRC,则可以得到两条直线LBR,和LFRC的交点,即为O1
由此,可以得到以O1为圆心分别过目标车辆后左轮,即T3(XT3,YT3),后右轮,即T4(XT4,YT4)的圆,即为目标车辆两后轮在当前位置及转向角θ时,形成的车辆入位运动轨迹,如图5中的两个灰色虚线圆所示。
②目标车辆转向角度可行性判断及指示
根据目标车辆的转向角及车辆的当前位置,通过目标车辆的入位运动轨迹预测可以得到目标车辆在当前转向角下的运动轨迹,如图5所示。根据该轨迹可以判断车辆是否可以以该转向角运动。图5中可以看到当前转向角是可行的,而图6所示的转向角下车辆的入位轨迹是不可行的。由此可以生成转向角可行性判断指示,并通过不同的颜色进行显示。
从图5可以看出此时车辆以角度θ倒车可以进入目标停车位;相反,如图6,可以看出此时车辆以当前角度θ倒车不可以进入目标停车位。
泊车入位指示装置将生成的目标车辆入位运动轨迹实时传输到车载装置,并在车载装置中显示出来。以不同颜色表示方向盘转角是否可行,并进行语音提示。如图(b)中显示的车轮轨迹线为灰色,角度可行,图(c)中,显示的车轮轨迹线为灰色,角度不可行。
(6)目标车辆泊车位置指示
根据图2的图像可计算得到泊车指示准则,过程如下:
1)应用Canny算子对车辆轮廓进行识别与处理,得到车辆的轮廓尺寸。
2)然后根据目标停车位的尺寸规划出目标车辆在车位的位置,即以车辆轮廓的中心与目标停车位的中心重合为理想停车位置,从而计算得到车辆的前后、左右轮廓线到目标停车位的边界线的距离,设为Δ,Δ,Δ,Δ,并设置误差范围,设为E(可以根据具体停车位的尺寸进行设置)。
3)假设目标车辆在目标停车位泊车完成后,实际的车辆轮廓到目标停车位边界线的距离分别为S,S,S,S。则可以得到目标车辆相对于目标停车位的合适停车位置为:
①:│Δ-S│≤E,│Δ–S│≤E,│Δ–S│≤E和│Δ–S│≤E。
当左右两个距离相差较大时候,则车辆在车位中的位置不合理,此时意味着车辆过于靠近停车位的另一边,会影响相邻停车位的车辆停放,需要调整车辆重新进行泊车。
同时,其他位置则为需要调整的位置,即如下情况:
②:如果│Δ-S│>E,│Δ–S│>E,则车辆泊车位置偏后和右,意味着车辆过于靠近停车位的右边线,影响右边相邻车位的车辆停放,同时偏停车位的后部。
③:如果│Δ-S│>E,│Δ–S│>E,则车辆泊车位置偏后和左,意味着车辆过于靠近停车位的左边线,影响左边相邻车位的车辆停放,同时偏停车位的后部。
④:如果│Δ-S│>E,│Δ–S│≤E和│Δ–S│≤E,则车辆泊车位置偏后,意味着车辆距离停车位的左右边界合适,但偏停车位的后部。
⑤:如果│Δ–S│>E,│Δ–S│>E,则车辆泊车位置偏前和右,意味着车辆过于靠近停车位的右边线,影响右边相邻车位的车辆停放,同偏停车位的前部。
⑥:如果│Δ–S│>E,│Δ–S│>E,则车辆泊车位置偏前和左,意味着车辆过于靠近停车位的左边线,影响左边相邻车位的车辆停放,同偏停车位的前部。
⑦:如果│Δ–S│>E,│Δ–S│≤E和│Δ–S│≤E,则车辆泊车位置偏前,意味着车辆距离停车位的左右边界合适,但偏停车位的前部。
4)根据上述,可以得到目标车辆泊车位置指示,如下:
准则I:当目标车辆与目标停车位的位置关系为①时,则语音指示为正确泊车;
准则II:当目标车辆与目标停车位的位置关系为②、③、⑤和⑥时,则语音指示为重新泊车;
准则III:当目标车辆与目标停车位的位置关系为④时,则语音指示为将车辆向前移动泊车;
准则IV:当目标车辆与目标停车位的位置关系为⑦时,则语音指示为将车辆向后移动泊车。
(7)基于无线通信的目标车辆和目标停车位环境数据的实时传输
将上述环境图像及车辆与停车位关系数据、相关指示实时传送给车载装置,具体包括:目标车辆与目标停车位的环境图像,目标停车位及其相邻停车位的使用状态信息,目标车辆与目标停车位实时关系参数,预测的目标车辆泊车入位运动轨迹以及提示语音,目标车辆泊车位置指示。
2、车载装置
车载装置包括第二控制单元、显示器、第二通信模块、存储模块、车辆转向角获取模块、档位获取模块、语音输出模块。车载装置安装在车上,其具体功能包括:获取目标停车位环境图像及相邻停车位的使用状态信息,并通过显示器进行显示;实时获取目标车辆与目标停车位的环境图像及关系参数,并通过显示器进行显示;实时获取目标车辆泊车入位过程中车辆入位运动轨迹,并进行显示;接收泊车指示装置发送来的泊车入位时车辆转向角是否合理以及是否正确完成泊车的语音指示并通过语音输出模块给予泊车语音指示,同时通过语音输出模块输出目标车辆相对于目标停车位的相关参数,具体的,各模块功能介绍如下:
①第二控制单元
第二控制单元是该装置的核心,其首先通过通信模块获取泊车入位装置实时传输来的目标停车位环境图像、目标停车位的相邻停车位使用状态信息、目标车辆与目标停车位动态环境图像、目标车辆与目标停车位的关系参数。然后,第二控制单元将目标停车位环境图像和目标停车位的相邻停车位使用状态信息融合送显示器显示,在车辆进入泊车阶段时候控制单元将实时获取的目标车辆与目标停车位动态环境图像及目标车辆和目标停车位关系参数融合送显示器显示。与此同时,第二控制单元控制语言输出模块,语音输出泊车过程中的相关参数。
②第二通信模块
第二通信模块负责与泊车入位指示装置的通信,其主要接受泊车入位指示装置传送来的信息,并将其送存储单元。接收的内容包括目标停车位属性数据、目标停车位的环境图像及其相邻停车位的使用状态信息、目标车辆与目标停车位动态环境图像以及目标车辆与目标停车位的关系参数。
③存储模块
存储模块用于存放第二通信模块从泊车入位指示装置接收的数据,包括目标停车位环境图像及其相邻停车位的使用状态信息、车辆泊车入位实时环境图像信息以及目标车辆与目标停车位的关系参数,这些数据由第二控制单元负责存取。
④语音输出模块
语音输出模块负责泊车过程中语音的输出,其与第二控制单元相连,由第二控制单元控制输出语音信息。
⑤车辆转向角获取及车辆档位获取模块
车辆转向角获取通过安装在车辆方向盘上的方向盘转角传感器获得;车辆档位通过车辆档位传感器获取。
(1)获取目标停车位环境图像及相邻停车位的使用状态信息并显示
车载装置通过第二通信模块获取泊车入位指示装置发送来的目标停车位环境图像及相邻停车位使用状态信息,并通过显示器显示出来,其表现形式如图1所示。该信息在目标车辆接近目标停车位的时候获取,即没有开始进行泊车入位前。
(2)实时获取目标车辆与目标停车位的环境图像及关系参数
进入倒车范围时,车载装置通过通信模块实时获取泊车入位指示装置发送的目标车辆与目标停车位的动态环境图像,以及车辆与停车的关系参数,并实时显示在显示器上。
获得的目标车辆与目标停车位的环境图像如图2所示。
获得的目标车辆与目标停车位的关系参数为:dL(到左标线的距离)、dR(到右标线的距离)、dC(到后标线的距离)、
Figure GDA0003166346080000161
(车辆中心线到停车位中心线的角度)和dO(车辆中心线到车位中心线的距离)。
将车辆泊车入位实时环境图像信息及目标车辆与目标停车位的关系参数合并,显示在显示器上,并分为两种情况显示,如图7所示。图中(a)表示目标车辆的尾部没有进入目标停车位,此时显示的是车尾两个端点到停车位前两个端点的距离;图中(b)表示目标车辆的尾部进入停车位,显示的是车尾两个端点到停车位左右边线的距离,这样便于驾驶员进行操作。
(3)随着目标车辆的实时操作,目标车辆与目标停车位的关系参数实时变化,即dL(到左标线的距离)、dR(到右标线的距离)、dC(到后标线的距离)、
Figure GDA0003166346080000162
(车辆中心线到停车位中心线的角度)和dO(车辆中心线到车位中心线的距离)动态变化。根据这些数据的变化,驾驶员停可以清楚的理解自己对车辆的操作所产生的相对于停车位的位置变化,从而利于驾驶员进行下一步的操作,实现安全、准确和高效的停车。
(4)目标车辆入位运动轨迹显示及语音指示
目标车辆泊车入位过程中,驾驶员实时操作的目标车辆方向盘的变化,即车辆转向角,由车辆转向角模块实时获取;同时通过车辆档位获取模块获得当前的档位同车辆转向角一起传送给泊车入位指示装置。泊车入位指示装置获得该数据后,会根据车辆的实时位置对目标车辆的入位运动轨迹进行预测,得到目标车辆后轮运动轨迹圆,然后将该数据传送给车载装置进行显示,显示结果如图8中的(a)或(b),(a)图中灰色表示的车辆入位轨迹,也表示当前驾驶员的转向角是可行的;而图(b)中灰色表示的车辆入位轨迹,表示当前驾驶员转向角是不可行的。同时,车载装置也获得了该转向角是否可行的语音指示。
(5)泊车过程中目标车辆相对于目标停车位关系参数的语音指示及报警
目标车辆泊车进入目标停车位的过程中,显示器上显示目标车辆与目标停车位的关系的同时,车载装置中的语音输出模块会实时提示目标车辆与目标停车位的关系参数,而且会根据优先级进行提示。
当目标车辆距离目标停车位某边界的距离近时候,驾驶员应更加注意该距离,所以,优先级设置原则为距离越小优先级越高。因此,语音提示根据优先级由高到低进行语言提示。语音提示的数据主要包括目标车辆到目标停车位标线的距离,即dL(车辆到停车位左标线的距离)、dR(车辆到停车位右标线的距离)、dC(车辆到到停车位后标线的距离)。根据优先级设置原则,首先判断dL、dR和dC三个值的大小,并进行从小到大排序;然后,根据有小到大的顺序依次进行语音提示。其间,还设置报警语音提示功能,即当某个值连续变小时候,则将连续输出针对该距离的报警声音,并在显示器上以闪烁形式提出警示。
(6)目标车辆泊车位置指示
当目标车辆在目标停车位中完成泊车时,会接收到泊车位置指示装置发送来的泊车位置指示,并通过语音输出模块指示给驾驶员。该指示目标车辆泊车位置指示准则包括:正确泊车、重新泊车、将车辆向前移动泊车、将车辆向后移动泊车。
本实施例中,车载装置与泊车入位指示装置之间采用无线通信技术,该通信技术采用短距离无线通信技术,如蓝牙5.0等。蓝牙5.0是由蓝牙技术联盟在2016年提出的蓝牙技术标准,蓝牙5.0针对低功耗设备速度有相应提升和优化,蓝牙5.0结合WiFi提高传输速度,增加有效工作距离。蓝牙5.0针对低功耗设备,有着更广的覆盖范围和相较现在四倍的速度提升。蓝牙5.0传输速度上限为24Mbps。传输级别达到无损级别,有效工作距离可达300米。为应对移动客户端需求,其功耗更低,且兼容旧的版本。
实施例2,基于实施例1所述的泊车入位指示系统,本实施例提出一种对应的泊车入位指示方法,具体包括:
(1)目标车辆获得目标停车位的位置后,将在导航仪的引导下前往目标停车位,当车辆到达距离目标停车位距离为d1(d1的大小可设置为50米)时,车载装置启动,通过无线通信模块与泊车入位指示装置建立联系,并接收泊车入位指示装置传送来的目标停车位环境图像及相邻停车位的使用状态信息,同时通过显示器显示出来,其显示形式如图1所示。
(2)当目标车辆继续行进到达距离目标停车位距离为d2(相比d1,d2的设置应该较小,可设为3米)时,此时车辆已经到达目标停车位的相邻车位,目标车辆将准备泊车入位。此情况下,泊车入位指示装置将目标车辆与目标停车位的环境图像传送给车载装置,如图2所示。
(3)随着驾驶员实时操作的目标车辆方向盘的变化,泊车入位指示装置读取车载装置传送来的车辆转向角,对目标车辆的入位运动轨迹进行预测,并将结果及指示语音传送给车载装置。车载装置实时显示如图8中的(a)或(b),并进行先用的转向角是否可行的语音提示。
(4)随着目标车辆开始进入泊车入位的操作,泊车入位指示装置实时传送目标车辆与目标停车位的环境图像的同时,将目标车辆与目标停车位的关系参数传送给车载装置,并由车载装置通过显示器显示,显示的图像如图7所示的(a)或(b)。
(5)显示车辆泊车入位的过程的同时,车载装置的语音模块也实时播报目标车辆相对于目标停车位的参数数值。将从泊车入位指示装置传送来的dL(车辆到停车位左标线的距离)、dR(车辆到停车位右标线的距离)、dC(车辆到到停车位后标线的距离),根据由小到大的顺序进行排序,从而得到三个数据的优先级。然后,根据优先级的从高到低的顺序实时播报这些数据。而且还实时判断是否启动报警语音提示,即当某个值连续变小时候,启动报警语音提示功能,将连续输出针对该距离的报警声音,并在显示器上以闪烁形式提出警示。
随着泊车入位操作的不断进行,泊车入位指示装置持续传输如上数据,车载装置不断接收数据,在显示器上显示,并进行语音播放,以及可能出现的语音报警及闪烁报警。
(6)上述的(3)、(4)、(5)是实时同时进行的,而且该过程一直持续进行,直到正确完成泊车。
(7)当驾驶员完成泊车时候,则泊车入位指示装置根据准则判断是否为正确完成泊车,并向车载装置发布语音指示。
如果目标车辆与目标停车位的关系符合准则I,则意味着泊车合适,泊车入位指示装置将正确泊车的语音指示发送给车载设备,并通过语音输出模块,提示驾驶员已经正确完成停车,并转到(8)。
如果发现目标车辆没有正确泊车入位,并符合准则II时,泊车入位指示装置将重新泊车的语音指示发送给车载设备,并通过语音输出模块,提示驾驶员需要继续泊车操作,并转到(3)继续泊车。
如果发现目标车辆没有正确泊车入位,并符合准则III时,泊车入位指示装置将“车辆向前移动”的语音指示发送给车载设备,并通过语音输出模块,指示驾驶员将车辆向前移动泊车,并转到(3),继续泊车;
如果发现目标车辆没有正确泊车入位,并符合准则IV时,泊车入位指示装置将“车辆向后移动”的语音指示发送给车载设备,并通过语音输出模块,指示驾驶员将车辆向后移动泊车,并转到(3)继续泊车。
(8)此时,目标车辆正确停入目标停车位,泊车入位指示装置和车载装置停止工作。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域,但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。

Claims (9)

1.基于视频图像处理的泊车入位指示系统,其特征在于,包括泊车入位指示装置和车载装置,泊车入位指示装置和车载装置之间无线通信;
所述泊车入位指示装置安装在停车位上方,包括第一控制单元以及与第一控制单元相连的摄像头、第一通信模块、数据存储单元、入位轨迹预测模块、泊车位置指示模块和语音生成模块;摄像头用以采集目标停车位环境图像及车辆泊车入位实时环境图像信息,并经过第一控制单元对图像处理和分析生成车辆与泊位的相关数据信息;入位轨迹预测模块用以对目标车辆泊车入位运动轨迹进行预测;泊车位置指示模块用以生成泊车指示准则并对泊车入位进行实时判断并指示,通过第一通信模块将上述信息实时传输给车载装置;
所述车载装置安装在车辆上,包括第二控制单元以及与第二控制单元相连的显示器、语音输出模块、第二通信模块、存储模块、车辆转向角获取模块和车辆档位获取模块;车辆转向角获取模块和车辆档位获取模块获取车辆的转向角度及档位信息,并连同车辆自身参数发送给泊车入位指示装置;车载装置接收泊车入位指示装置发送来的停车位环境信息、车辆泊车入位实时环境图像信息,以及车辆泊车入位运动轨迹信息并显示,并结合提示指示驾驶员进行车辆快速准确的泊车入位;
所述泊车位置指示模块生成的泊车指示准则的原理如下:
1)通过对车辆轮廓进行识别与处理,得到车辆的轮廓尺寸;
2)根据目标停车位的尺寸规划出目标车辆在车位的位置,以车辆轮廓的中心与目标停车位的中心重合为理想停车位置,从而计算得到车辆的前后、左右轮廓线到目标停车位的边界线的距离,设为Δ,Δ,Δ,Δ,并设置误差范围E;
3)假设目标车辆在目标停车位泊车完成后,实际的车辆轮廓到目标停车位边界线的距离分别为S,S,S,S,得到目标车辆相对于目标停车位的合适停车位置为:
①:│Δ-S│≤E,│Δ–S│≤E,│Δ–S│≤E和│Δ–S│≤E;
当左右两个距离相差较大时,则车辆在车位中的位置不合理,此时意味着车辆过于靠近停车位的另一边,会影响相邻停车位的车辆停放,需要调整车辆重新进行泊车;
同时,其他需要调整的情况如下:
②:如果│Δ-S│>E,│Δ–S│>E,则车辆泊车位置偏后和右,意味着车辆过于靠近停车位的右边线,影响右边相邻车位的车辆停放,同时偏停车位的后部;
③:如果│Δ-S│>E,│Δ–S│>E,则车辆泊车位置偏后和左,意味着车辆过于靠近停车位的左边线,影响左边相邻车位的车辆停放,同时偏停车位的后部;
④:如果│Δ-S│>E,│Δ–S│≤E和│Δ–S│≤E,则车辆泊车位置偏后,意味着车辆距离停车位的左右边界合适,但偏停车位的后部;
⑤:如果│Δ–S│>E,│Δ–S│>E,则车辆泊车位置偏前和右,意味着车辆过于靠近停车位的右边线,影响右边相邻车位的车辆停放,同偏停车位的前部;
⑥:如果│Δ–S│>E,│Δ–S│>E,则车辆泊车位置偏前和左,意味着车辆过于靠近停车位的左边线,影响左边相邻车位的车辆停放,同偏停车位的前部;
⑦:如果│Δ–S│>E,│Δ–S│≤E和│Δ–S│≤E,则车辆泊车位置偏前,意味着车辆距离停车位的左右边界合适,但偏停车位的前部;
4)根据上述所述,得到目标车辆泊车位置指示准则,如下:
准则I:当目标车辆与目标停车位的位置关系为①时,则语音指示为正确泊车;
准则II:当目标车辆与目标停车位的位置关系为②、③、⑤和⑥时,则语音指示为重新泊车;
准则III:当目标车辆与目标停车位的位置关系为④时,则语音指示为将车辆向前移动泊车;
准则IV:当目标车辆与目标停车位的位置关系为⑦时,则语音指示为将车辆向后移动泊车。
2.根据权利要求1所述的基于视频图像处理的泊车入位指示系统,其特征在于:所述入位轨迹预测模块对目标车辆泊车入位运动轨迹预测时根据目标车辆相对于目标停车位的当前位置,以及车载装置获得的目标车辆的转向角度θ预测车辆入位运动轨迹,具体的:
(1)识别出目标车辆的轮廓,根据获得的车辆的自身参数,包括轴距、前悬、后悬、轮距,得到目标车辆四个车轮中点,分别设为T1(XT1,YT1),T2(XT2,YT2),T3(XT3,YT3),T4(XT4,YT4);进而得到过目标车辆两个后轮中点T3(XT3,YT3)和T4(XT4,YT4)的直线,设为LBR
(2)根据目标车辆的中心线LV和前轮转角θ,得到过左前轮中点T1(XT1,YT1)的直线LFR;过点T1(XT1,YT1)做LFR的垂线LFRC,得到两条直线LBR,和LFRC的交点,记为O1;由此,得到以O1为圆心分别过目标车辆后左轮T3(XT3,YT3),后右轮T4(XT4,YT4)的圆,得到目标车辆两后轮在当前位置及转向角θ时,形成的车辆入位运动轨迹。
3.根据权利要求2所述的基于视频图像处理的泊车入位指示系统,其特征在于:所述入位轨迹预测模块还需要对目标车辆的转向角度的可行性进行判断,具体的:
泊车入位指示装置将生成的目标车辆入位运动轨迹实时传输到车载装置,并在车载装置中进行显示,根据目标车辆的转向角及车辆的当前位置,通过目标车辆的入位运动轨迹预测得到目标车辆在当前转向角下的运动轨迹,根据该运动轨迹与目标停车位中心线的偏差判断方向盘转角是否可行。
4.根据权利要求1所述的基于视频图像处理的泊车入位指示系统,其特征在于:所述目标停车位环境图像信息包括目标停车位和目标停车位相邻停车位使用状态信息,所述状态信息为空闲状态或占用状态;
目标停车位及其左右相邻停车位的使用状态信息分别对应的用符号Eob、Eleft和Eright表示:
Eob:目标停车位的状态,当有车辆占用该停车位时候,Eob=1,否则,Eob=0;
Eleft:目标停车位的左相邻停车位的状态,当有车辆占用该停车位时候,Eleft=1,否则,Eleft=0;
Eright:目标停车位的右相邻停车位的状态,当有车辆占用该停车位时候,Eright=1,否则,Eright=0。
5.根据权利要求1所述的基于视频图像处理的泊车入位指示系统,其特征在于:所述车辆泊车入位实时环境图像信息包括目标车辆与目标停车位的实时关系,目标车辆与目标停车位的实时关系由目标车辆与目标停车位的关系参数来表示;目标车辆与目标停车位关系参数包括目标车辆到目标停车位标线的距离参数,目标车辆的中心线与目标停车位中心线间的夹角和距离:
所述目标车辆到目标停车位标线的距离参数包括dL、dR和dC,其中,dL和dR定义为目标车辆尾部左右两个端点BL和BR到目标停车位标线的距离;
目标车辆的中心线为过车辆轮廓中心点Ov和车辆尾部线中点Bm的直线,用符号LV表示;目标停车位中心线为过目标停车位的前标线中间点Cm和后标线中间点Dm的直线,用符号LP表示;
目标车辆的中心线LV到目标停车位中心线LP的夹角定义为LV逆时针到LP的夹角,用符号
Figure FDA0003166346070000031
表示,则目标车辆的中心线LV到目标停车位中心线LP的距离定义为dL和dR的差,用符号dO表示,dO=dL-dR
6.根据权利要求5所述的基于视频图像处理的泊车入位指示系统,其特征在于:目标车辆到目标停车位标线的距离参数dL、dR和dC的获取采用以下方式:
(1)识别出目标车辆和目标停车位的轮廓,根据目标车辆的轮廓获得目标车辆的关键点位置,包括尾部左右两个端点的位置,记为BL和BR,尾部中点位置Bm;根据目标停车位的轮廓获得目标停车位的关键点位置,包括前标线的两个端点,记为CL和CR,前标线的中点Cm,后标线的两个端点及其中点:DL、DR和Dm
(2)当车辆尾部没有进入目标停车位前,获得BL到CC的像素数量PBCL,BR到CR的像素数量PBCR,得到距离dL和dR
dL=PABL
dR=PABR
其中μ的表达式为:
μ=停车位标线像素数/停车位标线实际尺寸
其中,停车位标线的实际尺寸为其长度或宽度;
(3)当车辆尾部进入目标停车位后,通过点BL和BR到目标停车位标线做垂线,得到点BL和BR到垂足的像素数量,设为PBCL和PBCR
dL=PBCL
dR=PBCR
dC=PBDm
其中,PBDm为Bm到Dm的像素数量。
7.根据权利要求5所述的基于视频图像处理的泊车入位指示系统,其特征在于:所述目标车辆的中心线与目标停车位中心线间的夹角
Figure FDA0003166346070000047
采用以下方式获得:
(1)根据目标停车位的后标线中点Dm(XDm,YDm)和前标线中点Cm(XCm,YCm),得到目标停车位中心线LP,其表达式为:
Figure FDA0003166346070000041
令该直线的斜率为k1
Figure FDA0003166346070000042
该目标停车位中心线不会变化,为静态直线;
利用重心法得到目标车辆的中心Ov(XOV,YOV),从而根据车辆尾部中点Bm(XBm,YBm)得到目标车辆的中心线LV,其表达式为:
Figure FDA0003166346070000043
令该直线的斜率为k2,则其表达式为:
Figure FDA0003166346070000044
该目标车辆的中心线随着车辆的运动而不断变化,是动态直线;
(2)根据LV和LP两条直线的斜率,以及其夹角
Figure FDA0003166346070000046
的正切值,得到
Figure FDA0003166346070000048
Figure FDA0003166346070000045
停车过程中,由于LV的不断变化,使得LV和LP的两条直线间的夹角
Figure FDA0003166346070000049
也在不断变化。
8.根据权利要求1-7任一项所述的基于视频图像处理的泊车入位指示系统的指示方法,其特征在于,包括以下步骤:
(1)目标车辆获得目标停车位的位置后,在导航仪的引导下前往目标停车位,当车辆到达距离目标停车位距离为d1时,车载装置启动,通过无线通信与泊车入位指示装置建立联系,并接收泊车入位指示装置传送来的目标停车位环境图像及相邻停车位的使用状态信息,同时通过显示器显示出来;
(2)当目标车辆继续行进到达距离目标停车位距离为d2时,此时车辆已经到达目标停车位的相邻车位,目标车辆将准备泊车入位,此情况下,泊车入位指示装置将目标车辆与目标停车位的环境图像传送给车载装置;
(3)随着驾驶员实时操作的目标车辆方向盘的变化,泊车入位指示装置读取车载装置传送来的车辆转向角,对目标车辆的入位运动轨迹进行预测,并将结果及指示语音传送给车载装置,并进行初始的转向角是否可行的语音提示;
(4)随着目标车辆开始进入泊车入位的操作,泊车入位指示装置实时传送目标车辆与目标停车位的环境图像的同时,将目标车辆与目标停车位的关系参数传送给车载装置,并由车载装置通过显示器显示;
(5)显示车辆泊车入位的过程的同时,车载装置的语音模块实时播报目标车辆相对于目标停车位的参数数值;将从泊车入位指示装置传送来的车辆到停车位左标线的距离dL、车辆到停车位右标线的距离dR、车辆到到停车位后标线的距离dC,根据由小到大的顺序进行排序,得到三个数据的优先级,并根据优先级的从高到低的顺序实时播报;
当某个值连续变小时,启动报警语音提示功能,将连续输出针对该距离的报警声音,并在显示器上以闪烁形式提出警示;
随着泊车入位操作的不断进行,泊车入位指示装置持续传输如上数据,车载装置不断接收数据,在显示器上显示,并进行语音播放及报警;
(6)上述的(3)、(4)、(5)是实时同时进行的,而且该过程一直持续进行,直到正确完成泊车;
(7)当驾驶员完成泊车时,则泊车入位指示装置根据准则判断是否为正确完成泊车,并向车载装置发布语音指示。
9.根据权利要求8所述的基于视频图像处理的泊车入位指示系统的指示方法,其特征在于,所述步骤(7)中,如果目标车辆与目标停车位的关系符合准则I,则意味着泊车合适,泊车入位指示装置将正确泊车的语音指示发送给车载设备,并通过语音输出模块,提示驾驶员已经正确完成停车,并转到步骤(8):目标车辆正确停入目标停车位,泊车入位指示装置和车载装置停止工作;
如果目标车辆没有正确泊车入位,并符合准则II时,泊车入位指示装置将重新泊车的语音指示发送给车载设备,并通过语音输出模块,提示驾驶员需要继续泊车操作,并转到(3)继续泊车;
如果目标车辆没有正确泊车入位,并符合准则III时,泊车入位指示装置将“车辆向前移动”的语音指示发送给车载设备,并通过语音输出模块,指示驾驶员将车辆向前移动泊车,并转到(3),继续泊车;
如果发现目标车辆没有正确泊车入位,并符合准则IV时,泊车入位指示装置将“车辆向后移动”的语音指示发送给车载设备,并通过语音输出模块,指示驾驶员将车辆向后移动泊车,并转到(3)继续泊车。
CN202010846652.2A 2020-08-21 2020-08-21 基于视频图像处理的泊车入位指示系统及指示方法 Active CN112150857B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010846652.2A CN112150857B (zh) 2020-08-21 2020-08-21 基于视频图像处理的泊车入位指示系统及指示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010846652.2A CN112150857B (zh) 2020-08-21 2020-08-21 基于视频图像处理的泊车入位指示系统及指示方法

Publications (2)

Publication Number Publication Date
CN112150857A CN112150857A (zh) 2020-12-29
CN112150857B true CN112150857B (zh) 2021-10-08

Family

ID=73888075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010846652.2A Active CN112150857B (zh) 2020-08-21 2020-08-21 基于视频图像处理的泊车入位指示系统及指示方法

Country Status (1)

Country Link
CN (1) CN112150857B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785871A (zh) * 2020-12-31 2021-05-11 珠海大横琴科技发展有限公司 一种停车引导方法和装置
CN113689671B (zh) * 2021-07-20 2022-11-22 广州市炬盾科技发展有限公司 一种城市地下空间安防警报方法及系统
CN113593058A (zh) * 2021-07-22 2021-11-02 安徽春华智能科技有限公司 一种垂直升降式立体车库停车管理系统
CN113771839B (zh) * 2021-09-14 2023-10-10 武汉光庭信息技术股份有限公司 一种自动泊车决策规划方法及系统
CN114228703B (zh) * 2022-01-29 2023-11-17 中国第一汽车股份有限公司 一种自动泊车方法、系统、车辆及存储介质
CN114347847B (zh) * 2022-03-18 2022-07-08 蔚来汽车科技(安徽)有限公司 用于协助泊车的方法、控制装置、存储介质和换电站
CN114882734A (zh) * 2022-07-12 2022-08-09 车位管家(深圳)科技有限公司 一种基于人工智能的停车场安全监控管理系统
CN115909795B (zh) * 2023-03-09 2023-06-23 斯润天朗(北京)科技有限公司 基于车场协同的自主泊车系统及方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894823A (zh) * 2016-06-03 2016-08-24 北京精英智通科技股份有限公司 一种停车入位检测方法和装置及系统
CN206133944U (zh) * 2016-08-30 2017-04-26 特斯联(北京)科技有限公司 一种停车场智能泊车辅助系统
WO2017067786A1 (de) * 2015-10-22 2017-04-27 Robert Bosch Gmbh Verfahren und vorrichtung zum verringern eines kollisionsrisikos einer kollision eines kraftfahrzeugs mit einem objekt
CN106875736A (zh) * 2017-04-01 2017-06-20 江苏大学 一种无线自动泊车系统及方法
CN106935071A (zh) * 2017-04-12 2017-07-07 深圳市金立通信设备有限公司 一种辅助停车方法、及移动终端
CN206773943U (zh) * 2017-04-01 2017-12-19 江苏大学 一种无线自动泊车系统
CN107610504A (zh) * 2013-11-27 2018-01-19 高路生 一种基于智能终端的停车寻车方法
CN108791278A (zh) * 2018-06-21 2018-11-13 重庆大学 侧方位泊车控制系统及其控制方法
CN109615902A (zh) * 2018-10-30 2019-04-12 北斗易行车(北京)科技有限公司 一种厘米级车位级粒度引导车辆精确入位算法及装置
CN110689761A (zh) * 2019-12-11 2020-01-14 上海赫千电子科技有限公司 一种自动泊车方法
CN111055838A (zh) * 2019-10-14 2020-04-24 江苏开沃汽车有限公司 一种基于传感器融合的全自动泊车控制系统及其控制方法
CN111081064A (zh) * 2019-12-11 2020-04-28 上海赫千电子科技有限公司 一种车载以太网的自动泊车系统及自动代客泊车方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101795151B1 (ko) * 2015-10-05 2017-12-01 현대자동차주식회사 주차안내 장치 및 방법
AU2017382381A1 (en) * 2016-12-22 2019-08-01 Xevo Inc. Method and system for providing artificial intelligence analytic (AIA) services using operator fingerprints and cloud data

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610504A (zh) * 2013-11-27 2018-01-19 高路生 一种基于智能终端的停车寻车方法
WO2017067786A1 (de) * 2015-10-22 2017-04-27 Robert Bosch Gmbh Verfahren und vorrichtung zum verringern eines kollisionsrisikos einer kollision eines kraftfahrzeugs mit einem objekt
CN105894823A (zh) * 2016-06-03 2016-08-24 北京精英智通科技股份有限公司 一种停车入位检测方法和装置及系统
CN206133944U (zh) * 2016-08-30 2017-04-26 特斯联(北京)科技有限公司 一种停车场智能泊车辅助系统
CN106875736A (zh) * 2017-04-01 2017-06-20 江苏大学 一种无线自动泊车系统及方法
CN206773943U (zh) * 2017-04-01 2017-12-19 江苏大学 一种无线自动泊车系统
CN106935071A (zh) * 2017-04-12 2017-07-07 深圳市金立通信设备有限公司 一种辅助停车方法、及移动终端
CN108791278A (zh) * 2018-06-21 2018-11-13 重庆大学 侧方位泊车控制系统及其控制方法
CN109615902A (zh) * 2018-10-30 2019-04-12 北斗易行车(北京)科技有限公司 一种厘米级车位级粒度引导车辆精确入位算法及装置
CN111055838A (zh) * 2019-10-14 2020-04-24 江苏开沃汽车有限公司 一种基于传感器融合的全自动泊车控制系统及其控制方法
CN110689761A (zh) * 2019-12-11 2020-01-14 上海赫千电子科技有限公司 一种自动泊车方法
CN111081064A (zh) * 2019-12-11 2020-04-28 上海赫千电子科技有限公司 一种车载以太网的自动泊车系统及自动代客泊车方法

Also Published As

Publication number Publication date
CN112150857A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN112150857B (zh) 基于视频图像处理的泊车入位指示系统及指示方法
CN109649384B (zh) 一种泊车辅助方法
CN109949594B (zh) 实时的交通灯识别方法
US20200079359A1 (en) Automated parking device and automated parking method
CN109131317A (zh) 基于多段式规划与机器学习的自动垂直泊车系统及方法
CN111063202B (zh) 一种基于电子地图的智能泊车管理方法
CN103661599B (zh) 一种车辆转弯轨迹预测系统和方法
CN110901648A (zh) 用于实时生态路线选择和自适应驱动控制的车辆、系统和逻辑
EP2017138B1 (en) Parking assistance device and parking assistance method
US7924171B2 (en) Parking assist apparatus and method
JP5067377B2 (ja) 駐車支援システム、車載駐車支援装置
CN109435942A (zh) 一种基于信息融合的车位线车位识别方法及装置
JP2009276927A (ja) 空き駐車スペース情報送信装置および空き駐車スペース案内システム
CN107298096B (zh) 驾驶协助装置
CN101101333A (zh) 用于产生行进车辆的驾驶员辅助信息的设备和方法
CN108437986A (zh) 车辆驾驶辅助系统及辅助方法
CN110471415A (zh) 具有自动驾驶模式的车辆及其控制方法和系统
CN109661338B (zh) 障碍物的判定方法、停车辅助方法、出库辅助方法及障碍物判定装置
WO2007013489A1 (ja) 駐車支援装置
CN112208518A (zh) 一种泊车路径自动规划方法
CN108407784B (zh) 一种基于模糊控制理论的防撞控制方法和装置
CN112124304B (zh) 一种库位定位方法、装置及车载设备
CN113516871A (zh) 一种车机地下停车场导航方法
WO2022163173A1 (ja) 駐車支援装置
CN114495066A (zh) 一种辅助倒车的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240508

Address after: 2518 Jining Zhongguancun Information Valley Innovation Center, No. 69 Haichuan Road, Wangyin Street, High-tech Zone, Jining City, Shandong Province 272000

Patentee after: Shandong Xinkong Intelligent Technology Co.,Ltd.

Country or region after: China

Address before: No. 579, qianwangang Road, Huangdao District, Qingdao City, Shandong Province 266000

Patentee before: SHANDONG University OF SCIENCE AND TECHNOLOGY

Country or region before: China

TR01 Transfer of patent right