CN111907517B - 自动泊车控制方法、控制系统、车辆及场端边缘云系统 - Google Patents

自动泊车控制方法、控制系统、车辆及场端边缘云系统 Download PDF

Info

Publication number
CN111907517B
CN111907517B CN202010790048.2A CN202010790048A CN111907517B CN 111907517 B CN111907517 B CN 111907517B CN 202010790048 A CN202010790048 A CN 202010790048A CN 111907517 B CN111907517 B CN 111907517B
Authority
CN
China
Prior art keywords
vehicle
data
parking
edge cloud
environment information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010790048.2A
Other languages
English (en)
Other versions
CN111907517A (zh
Inventor
白勍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Zhejiang Geely Automobile Research Institute Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Zhejiang Geely Automobile Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Zhejiang Geely Automobile Research Institute Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN202010790048.2A priority Critical patent/CN111907517B/zh
Publication of CN111907517A publication Critical patent/CN111907517A/zh
Application granted granted Critical
Publication of CN111907517B publication Critical patent/CN111907517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种本发明涉及一种自动泊车控制方法、控制系统、车辆及场端边缘云系统涉及车辆自动驾驶技术领域。自动泊车控制方法包括：响应于泊车指令，开启自动泊车功能；按照接收到的泊车路径控制车辆自动泊入或泊出车位。在车辆自动泊入或泊出车位的过程中，采集车辆的自身运动状态信息和第一环境信息；响应于预警指令，控制车辆在泊入或泊出车位过程中执行紧急制动动作，其中，预警指令是场端边缘云系统进行数据融合，将该数据与最小安全阈值进行比对分析发出的。本发明的方法当车辆遇到危险时提前报警和紧急制动，避免车辆在自动泊车过程中与周围障碍物之间发生碰撞，保证车辆的安全性。

Description

自动泊车控制方法、控制系统、车辆及场端边缘云系统
技术领域
本发明涉及车辆自动驾驶技术领域，特别是涉及一种自动泊车控制方法、控制系统、车辆及场端边缘云系统。
背景技术
目前市面上已量产的泊车辅助系统主要有三代。
第一代APA(Auto Parking Assist)自动泊车：最早普及也最为常见。泊车辅助系统在汽车低速巡航时，使用超声波雷达感知周围环境，帮助驾驶员找到尺寸合适的空车位，并在驾驶员发送泊车指令后，将汽车泊入车位。APA自动泊车包括8个安装于汽车前、后的UPA(Ultrasonic Parking Assistance)超声波雷达(倒车雷达)，和4个安装于汽车两侧的APA超声波雷达。APA超声波雷达的探测范围远而窄，最远探测距离为5米；UPA超声波雷达的探测范围近而宽，一般探测距离为3米。随着汽车低速行驶过空车位，安装在前侧方的APA超声波雷达的探测距离有一个先变小，再变大，再变小的过程。一旦汽车控制器探测到这个过程，可以根据车速等信息得到车位的宽度以及是否是空车位的信息。后侧方的APA在汽车低速巡航时也会探测到类似的信息，可根据这些信息对空车位进行校验，避免误检。使用APA超声波雷达监测到空车位后，汽车控制器会根据自车的尺寸和车位的大小，规划出一条合理的泊车轨迹，控制方向盘、变速箱和油门踏板进行自动泊车。在泊车过程中，安装在汽车前后的8个UPA会实时感知环境信息，实时修正泊车轨迹，避免碰撞。
第二代RPA(Remote Parking Assist)远程遥控泊车：在APA自动泊车技术的基础上发展而来的，车载传感器的配置方案与第一代类似，并将泊车与手机结合，通常采用蓝牙作为通讯方式(蓝牙虽然没有4G传输的距离远，但4G信号并不能保证所有地方都能做到稳定通讯)。它的诞生解决了停车后难以打开自车车门的尴尬场景，比如在两边都停了车的车位，或在比较狭窄的停车房。
第三代是自学习泊车：在汽车上加入了鱼眼相机，能够看到超过180°范围内的东西，在汽车四周各装一个鱼眼相机，将他们的图像进行畸变矫正后再拼接，即可实现360°的环境感知。高端车型上配备了360°全景影像功能，通过这种图像拼接技术而合成了具有“上帝视角”的“鸟瞰图”，并配合车上的MMI(Multi Media Interface)中控大屏使用，具有更好的用户泊车体验。另外应用了SLAM(Simultaneous Localization And Mapping)即时定位与地图构建技术。基于相机实现的SLAM技术，被称为视觉SLAM。它从图像中提取特征信息，再配合视觉里程计的技术建立地图。驾驶员在准备停车前，可以在库位不远处，开启“路线学习”功能，系统将会自学习该段行驶和泊车路线，而且对成功学习的路线过目不忘。完成路线的学习后，驾驶员在录制时的相同起点下车，用手机蓝牙连接汽车，启动自学习泊车辅助系统，汽车就能够模仿先前录制的泊车路线，完成自动泊车了。自学习泊车辅助系统的泊车控制距离从5米内扩大到了50米内，有了明显提升。应用场景比如：通过让汽车学习泊入泊出车位，驾驶员在下班后，用手机发送指令后，聪明的汽车能自己启动，泊出车位，并行驶到办公楼的驾驶员面前，避免了人自己去冒雨取车。
最后，在未来的1～2年内将会出现更为先进的、暂未量产的第四代泊车辅助系统AVP(Automated Valet Parking)。AVP自动代客泊车的场景是，驾驶员把车开到办公楼/大型商场后，直接去办正事，把找停车位和停车的工作交给汽车。汽车停好后，发条信息给驾驶员，告知自己停在哪。驾驶员下班时，给汽车发条信息，汽车即可远程启动、泊出车位，并行驶到驾驶员设定的接驳点。相比于更为成熟的前三代泊车辅助产品，AVP除了要实现泊入车库的功能外，还需要解决从驾驶员下车点低速(20km/h)行驶至车位旁的问题。
停车场内影响找车位、泊车的交通障碍物众多，尤其比如在拐角处或者停车位附近时，由于车辆摄像头受到眼前的障碍物遮挡，而无法观测到远处的移动物体，而自车仍需按照指定的路线行驶。因为AVP车辆以及障碍物都可以有自己的位置、速度、加速度、方向等，而且这些交通因素随着时间在实时变化，它们都对最小安全报警阈值产生影响。比如在当前时刻虽然AVP车辆与障碍物的距离达到L＝0.5m，但两者是反方向运动的，此时达到0.5m之后系统仍将报警，导致误报警，引起用户抱怨；而在下一时刻，出现了一个新的障碍物，它和AVP车辆之间的距离为L＝8m，并朝AVP车辆的方向运动，速度V＝5m/s，加速度A＝2m/s2，此时就要及时报警。而以往在进行AVP自动泊车时，是根据AVP车辆和障碍物之间固定的最小安全距离(比如L＝0.5m)进行实时报警。但此时报警较晚，将引起安全事故。
发明内容
本发明的一个目的是要提供一种车辆自动泊车控制方法，解决现有技术中采集的数据未进行数据融合处理，且车辆与周围障碍物之间的最小安全阈值主要指代距离，太片面，不能客观真实的反应车辆和障碍物之间的报警条件，导致误报警或发生碰撞风险的问题。
本发明的另一个目的是提供一种车辆，按照自动泊车控制方法进行自动泊车，解决现有技术中在车辆自动泊车的过程中车辆与周围障碍物之间的碰撞进行紧急制动的问题。
本发明的又一个目的是提供一种场端边缘云系统，解决现有技术中对于车辆或者停车场传感器检测到的数据没有进一步地处理以及最小安全阈值为静态值使得危险提示方法精确度低导致车辆在自动泊车过程中出现危险的问题。
本发明的又一个目的是提供一种自动泊车控制系统。
特别地，本发明提供一种自动泊车控制方法，包括：
响应于泊车指令，开启自动泊车功能；
按照接收到的场端边缘云系统规划的泊车路径控制车辆自动泊入或泊出车位；
在所述车辆自动泊入或泊出所述车位的过程中，采集所述车辆的自身运动状态信息和所述车辆周围的第一环境信息；
响应于所述场端边缘云系统发出的预警指令，控制所述车辆在泊入或泊出所述车位过程中进行紧急制动；
其中，所述预警指令是所述场端边缘云系统将所述自身运动状态信息、所述车辆周围的所述第一环境信息结合所述场端边缘云系统采集的所述泊车路径中的第二环境信息进行数据融合，并利用融合后的数据得到所述车辆在泊入或泊出所述车位的过程中所述车辆与周围障碍物之间的动态数据，将所述动态数据与最小安全阈值进行比对分析发出的。
可选地，所述场端边缘云系统进行数据融合的过程包括：
将已经通过A/D转换方法转化为数字信号的所述自身运动状态信息、所述第一环境信息和所述第二环境信息进行预处理得到预处理数据，其中，所述数据预处理过程包括空间数据同步和时间数据同步；
将所述预处理数据采用BP反向传播深度神经网络和D-S证据理论对所述预处理数据进行数据融合。
可选地，在将所述预处理数据进行数据融合的步骤包括：
将所述预处理数据进行归一化处理；
将归一化处理后的数据进行BP深度神经网络处理；
将BP深度神经网络处理后的输出的结果构造相应的多个D-S证据理论的基本可信度分配函数BPAF，作为D-S证据理论算法的输入证据；其中，基本可信度分配函数BPAF公式为：
Figure BDA0002623437750000041
其中Pi(j)是第i个BP网络的输出，i＝1,2,…,N，N表示BP网络的总个数，j表示传感器对目标物的测量指标；
将BPAF处理后的数据作为证据输入，通过D-S组合规则进行计算，得到最终的融合后的数据。
可选地，所述最小安全阈值是所述场端边缘云系统将所述融合后的数据再采用多层LSTM深度神经网络和Softmax全连接层构成所述车辆的最小安全阈值预测模型得到的。
特别地，本发明还提供一种车辆，包括：
通讯模块，用于响应于泊车指令，开启自动泊车功能；
自动泊车模块，用于按照接收到的场端边缘云系统规划的泊车路径控制车辆自动泊入或泊出车位；
采集模块，用于在所述车辆自动泊入或泊出所述车位的过程中，采集所述车辆的自身运动状态信息和所述车辆周围的第一环境信息；和
控制模块，用于响应于所述场端边缘云系统发出的预警指令，控制所述车辆在泊入或泊出所述车位过程中进行紧急制动，其中，所述预警指令是所述场端边缘云系统将所述自身运动状态信息、所述车辆周围的所述第一环境信息结合所述场端边缘云系统采集的所述泊车路径中的第二环境信息进行数据融合，并利用融合后的数据得到所述车辆在泊入或泊出所述车位的过程中所述车辆与周围障碍物之间动态数据，将所述动态数据与最小安全阈值进行比对分析发出的。
特别地，本发明还提供一种场端边缘云系统，包括停车场传感器和边缘云，停车场传感器用于采集车辆泊车路径中的第二环境信息；所述边缘云包括：
数据接收模块，用于接收所述车辆采集的自身运动状态信息和第一环境信息，以及所述停车场传感器采集的所述第二环境信息；和
数据处理模块，用于将所述自身运动状态信息、所述第一环境信息和所述第二环境信息进行数据融合，并利用融合后的数据得到所述车辆在泊入或泊出车位的过程中所述车辆与周围障碍物之间的动态数据；和
预警模块，用于根据所述动态数据与最小安全阈值进行比对分析发出预警信号。
可选地，所述数据处理模块还包括：
数据预处理模块，用于将已经通过A/D转换方法转换成数字信号的所述自身运动状态信息、所述第一环境信息和所述第二环境信息进行预处理得到预处理数据；和
数据融合模块，用于将所述预处理数据采用BP反向传播深度神经网络和D-S证据理论对所述预处理数据进行数据融合。
可选地，所述数据融合模块包括：
数据归一化处理模块，用于将所述预处理数据进行归一化处理；
数据网络处理模块，用于将归一化处理后的数据进行BP深度神经网络处理；
证据生成模块，用于将BP深度神经网络处理后的输出的结果构造相应的多个D-S证据理论的基本可信度分配函数BPAF，作为D-S证据理论算法的输入证据；其中，基本可信度分配函数BPAF公式为：
Figure BDA0002623437750000051
其中Pi(j)是第i个BP网络的输出，i＝1,2,…,N，N表示BP网络的总个数，j表示传感器对目标物的测量指标；和
融合数据获得模块，用于将BPAF处理后的数据作为证据输入，通过D-S组合规则进行计算，得到融合后的数据。
可选地，所述数据处理模块还包括阈值生成模块，所述阈值生成模块用于采用多层LSTM深度神经网络和Softmax全连接层构成所述车辆的最小安全阈值预测模型得到所述最小安全阈值。
特别地，本发明还提供一种自动泊车控制系统，包括相互网连接的移动终端、上面所述的场端边缘云系统和上面所述的车辆；
所述移动终端用于发出泊车指令，并接收所述场端边缘云系统的数据，对所述车辆进行远程实时监控。
本发明的自动泊车控制方法在车辆根据泊车路径进行自动泊车时，不断的采集车辆及环境的信息，根据这些信息得到车辆与障碍物之间的动态数据，然后利用该数据与最小安全阈值进行比对分析判断车辆是否有碰撞风险，当车辆遇到动态的危险时能提前预警和紧急制动，避免车辆在自动泊车过程中与周围障碍物之间发生碰撞，从而保证车辆在自动泊车过程中的安全性。
进一步地，本发明场端边缘云系统在处理数据得到的最小安全阈值时是经过了各种算法进行融合和预测，使得最小安全阈值是一个综合的动态的值，该动态值与自车(当前位置、行驶方向、当前车速等)、静态障碍物(位置)、动态物体(当前位置、运动方向、运动速度等)、自车与车外物体的相对距离等有一定的关联关系，避免了静态安全阈值导致车辆误报警或产生碰撞的情况，提高了车辆在自动泊车过程中的安全性。
进一步地，本发明的自动泊车控制系统的停车场控制器辅助对车辆、以及相关交通元素(障碍物、其他车辆、行人、宠物等)进行实时检测，并借助场端的边缘云系统进行实时的MSDF和实时智能决策(动态判定最小安全阈值)，最后通过5G移动基站(5G网络有大带宽、高可靠性、低时延的特定，非常适合自动驾驶场景)实时的让车辆执行安全制动的动作，以及实时的进行驾驶员移动终端自动泊车危险提醒，从而极大地保证了车辆泊入或泊出车位的安全性，以及极大地提升了具有自动泊车功能的车辆的用户体验的效果。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1是根据本发明一个实施例的车辆防撞控制方法的示意性流程图；
图2是根据本发明一个实施例的数据融合的示意性流程图；
图3是根据本发明一个实施例的最小安全阈值预测的示意性流程图；
图4是根据本发明一个实施例的车辆的示意性框图；
图5是根据本发明一个实施例的场端边缘云系统与车辆连接的示意性框图；
图6是根据本发明另一个实施例的场端边缘云系统的示意性框图；
图7是根据本发明一个实施例的数据融合模块的示意性框图；
图8是根据本发明又一个实施例的场端边缘云系统的示意性框图；
图9是根据本发明又一个实施例的自动泊车系统的示意性框图。
具体实施方式
图1是根据本发明一个实施例的自动泊车控制方法的示意性流程图。如图1所示，本实施例的自动泊车控制方法可以包括：
S10响应于泊车指令，开启自动泊车功能；
S20按照接收到的场端边缘云系统规划的泊车路径控制车辆自动泊入或泊出车位；
S30在车辆自动泊入或泊出车位的过程中，采集车辆自身运动状态信息和车辆周围的第一环境信息；
S40响应于所述场端边缘云系统发出的预警指令，控制所述车辆在泊入或泊出所述车位过程中进行紧急制动；
其中，预警指令是场端边缘云系统将自身运动状态信息、车辆周围的第一环境信息结合场端边缘云系统采集的泊车路径中的第二环境信息进行数据融合，并利用融合后的数据得到车辆在泊入或泊出车位的过程中车辆与周围障碍物之间的动态数据，并将所述动态数据与最小安全阈值进行比对分析发出的。
本实施例的自动泊车控制方法在车辆根据泊车路径进行自动泊车时，不断的采集车辆及环境的信息，根据这些信息得到车辆和周围障碍物之间的各种动态数据，从而保证在车辆自动泊车过程中，当车辆遇到危险时能根据预警指令进行紧急制动，从而保证车辆在自动泊车过程中的安全性。
本实施例中，自动泊车需要引入停车场的高精度地图，才能够让汽车知道它现在在哪，应该去哪里寻找停车位，并且精确的规划出泊车路径。
具体地，在实际应用过程中，车辆和场端上会提前安装各种摄像头、雷达等装置，并对这些装置进行数据标定。传感器数据标定是自动泊车技术的自动驾驶的基本需求，良好的标定是多传感器数据融合的基础，对停车场任意位置的观测和感知，至少有4个传感器覆盖检测的密度，而它们之间的坐标关系是需要确定的。该工作分成两部分：内参标定和外参标定。内参是决定传感器内容的映射关系，比如摄像头的焦距，偏心和像素横纵比(+畸变系数)。而外参是决定传感器和外部某个坐标系的转换关系，比如姿态参数(旋转和平移6自由度)。具体地，车辆各种传感器(Camera摄像头、Radar毫米波雷达、IMU、轮速计、方向盘转角)对自车周围的第一环境信息，以及自车行驶状态信息进行实时采集。第一环境信息包括各种静态障碍物(停车场承重墙、立柱等)、动态物体(其他车辆、行人、各种宠物等)。而自车的信息包括自车轮速、方向盘转角等信息。
此外，为了使场端边缘云系统能够顺利得到第二环境信息，在停车场处也会设置各种RSU传感器(Camera摄像头、Lidar激光雷达、Radar毫米波雷达)对环境信息进行实时采集。第二环境信息包括离车辆较远的障碍物的位置、速度、加速度、角速度及与目标车辆的距离等。
作为本发明另一个具体实施例，场端边缘云系统进行数据融合的过程包括：
将已经通过A/D转换方法转化为数字信号的所述自身运动状态信息、所述第一环境信息和所述第二环境信息进行预处理得到预处理数据，其中，所述数据预处理过程包括空间数据同步和时间数据同步；
将预处理数据采用BP反向传播深度神经网络和D-S证据理论对预处理数据进行数据融合。
具体地，数据预处理：包括空间数据同步以及时间数据同步。空间数据同步包括：建立精确的雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标转换关系，是实现多传感器数据的空间融合的关键。雷达与视觉传感器空间融合就是将不同传感器坐标系的测量值转换到同一个坐标系中。由于前向视觉系统以视觉为主，只需将雷达坐标系下的测量点通过坐标系转换到摄像机对应的像素坐标系下，即可实现多传感器的空间同步。时间数据同步包括：考虑多传感器在时间上同步采集数据。通常毫米波雷达的采样周期为50ms，即采样帧速率为20帧/秒；激光雷达以10Hz的频率进行运动估计和坐标转换，以1Hz的频率构建三维地图。而摄像机采样帧速率为25帧/秒。为了保证数据的可靠性，以激光雷达采样速率为基准，激光雷达每采一帧数据，选取毫米波雷达和摄像机上一帧缓存的数据，即完成共同采样一帧雷达和视觉融合的数据，从而保证了激光雷达、毫米波雷达、摄像机在获取数据时间上的同步。
多源传感器数据融合算法一般包括数据层融合、特征层融合、决策层融合三种。而一般的RSU激光雷达、毫米波雷达供应商不开放原始数据或特征数据，因此本发明对RSU(Lidar、Radar)采集到的目标物的速度、加速度、角度、距离等，结合车辆通过5G无线蜂窝网络实时上传到边缘云的IMU、轮速计、方向盘转角等传感器数据，采用决策层数据融合算法。
BP(Back Propagation)反向传播深度神经网络的优点是具有较强的学习能力、容错能力、自适应能力和非线性逼近能力，具有较好的识别和决策功能。但由于其本身的缺点(比如随着维数增加，使得学习时间剧增、且易陷入局部最小点等问题)，导致决策结果存在很大偏差。另外，各传感器对待测量目标进行时间间隔为T的一系列测量，这些测量信息中因为包含了不可避免的测量噪声和误差，所以仅靠传感器有限次数的测量提供的信息来识别参数数值，难以保证得到较好的结果。最后，如果没有足够丰富且正交完备的训练样本集，就会使系统性能变差，降低识别效果。
D-S(Dempster-Shafer)证据理论具有比较强的理论基础，既能处理随机性所导致的不确定性，又能处理模糊性所导致的不确定性。它不采用概率而是采用信任函数作为度量，通过对事件的概率加以约束，以建立信任函数而不需要说明精确的、难以获得的概率。但是D-S证据理论应用的一个难点就是基本可信度分配，这需要相关领域专家的经验和知识，有时难以实现。
因此可以利用神经网络来解决基本可信度分配问题，利用BP深度神经网络的泛化能力得到证据对待辨识目标的基本可信度的分配，再利用D-S证据理论对其进行融合，得到最佳的识别效果。
图2是根据本发明一个实施例的数据融合的示意性流程图；如图2所示，具体地，在将预处理数据进行数据融合的步骤包括：
将预处理数据进行归一化处理；
将归一化处理后的数据进行BP深度神经网络处理；
将BP深度神经网络处理后的输出的结果构造相应的多个D-S证据理论的基本可信度分配函数BPAF(Basic Probability Assignment Function)，作为D-S证据理论算法的输入证据；其中，基本可信度分配函数BPAF公式为：
Figure BDA0002623437750000091
其中Pi(j)是第i个BP网络的输出，i＝1,2,…,N，N表示BP网络的总个数，j表示传感器对目标物的测量指标；
将BPAF处理后的数据作为证据输入，通过D-S组合规则进行计算，得到最终的融合后的数据。
本实施例中，归一化处理是便于神经网络训练的快速收敛，缩短学习时间。
BP网络的非线性激活函数可考虑将Sigmoid函数输出动态范围是(0,1)进行变换偏置，使节点的输出范围变为
Figure BDA0002623437750000092
隐藏层神经元个数可根据公式：
Figure BDA0002623437750000093
(其中，n为输入神经元个数，q为输出神经元个数，ρ为1～10之间的常数)大致估计其范围。然后通过对不同的隐藏神经元数进行训练对比，寻求最优的隐藏层神经元数。初始权值的设置考虑在(-1,1)之间的随机数。学习率的选取范围考虑在0.01～0.8之间，为了减少寻找学习率的训练次数以及训练时间，一般采用变化的自适应学习率，使网络的训练在不同的阶段自动设置不同学习率的大小。期望误差值的选取，可考虑使用交叉熵损失函数。最后因为学习率η设置较大会导致BP网络收敛快，但过大则可能引起不稳定(震荡)。学习率η设置较小可避免不稳定，但BP网络收敛速度就慢了。所以考虑附加动量项，可采用Adam(Adaptive Moment Estimation)适应性矩估计优化算法。
各测量数据之间的相关性很小，经过BP深度神经网络的非线性映射后，可认为输出结果之间是相互独立的，符合D-S证据理论的组合证据必须是独立的要求。可将BP网络的每一个输出结果占该次全部输出结果的百分比值作为传感器对环境感知的确定性证据，即由于BP深度神经网络本身的误差和不可靠性，使得BP神经网络输出出现误差，把这种误差作为D-S的不确定性证据。这里使用5个BP深度神经网络输出的结果来构造相应的5个D-S证据理论的基本可信度分配函数BPAF(Basic Probability Assignment Function)，作为D-S证据理论算法的输入证据。这里采用的基本可信度分配函数BPAF公式为：
Figure BDA0002623437750000101
其中Pi(j)是第i个BP网络的输出，i＝1,2,…,N。N表示BP网络的总个数，j表示传感器对目标物的测量指标。
将BPAF处理后的数据作为证据输入，通过D-S组合规则进行计算，得到最终的对目标物的预测结果。设同一识别框架Θ上的n个独立证据E1,E2,…En，其基本概率赋值函数分别为m1,m2,…mn，每个假设的mass函数值(概率或者置信度值)都在0～1之间，空集的mass函数值为0，其他的假设mass值的和为1，使得mass值大于0的假设A称为焦元，则合成n个证据
Figure BDA0002623437750000102
Figure BDA0002623437750000103
的D-S组合规则定义为：
Figure BDA0002623437750000104
其中：
Figure BDA0002623437750000105
k∈[0,1)称为传统冲突系数，反映了n个证据间冲突大小，通常用于衡量n个证据间冲突程度。k值越接近1，表明证据间的冲突越大；k值越接近0，表明证据间的冲突越小。若k＝1，表示n个证据完全冲突，就不能使用D-S组合规则进行证据合成。
Figure BDA0002623437750000106
称为归一化因子，它的作用是为了避免在组合时将非零的概率赋给空集Φ。
图3是根据本发明一个实施例的最小安全阈值预测的示意性流程图；具体地，本实施例中的最小安全阈值是场端边缘云系统将融合后的数据再采用多层LSTM深度神经网络和Softmax全连接层构成车辆的最小安全阈值预测模型得到的。
具体地，将基于BP深度神经网络与D-S证据理论相结合的RSU(Lidar+Radar)+车辆传感器的数据融合输出结果(包括物体位置、物体速度、物体加速度、物体角度、相对距离等)，作为智能停车场某一时刻的车辆自动泊车时的交通场景快照。将每一个快照样本作为LSTM长短期记忆神经网络的一行训练序列样本，这样根据不同的时间步，得到不同的车辆自动泊车时的交通场景快照集合。
在样本数据进入网络结构之前，先用Z-Score算法进行标准化处理。Z-Score的主要目的就是将不同量级的数据统一转化为同一个量级，统一用计算出的Z-Score值衡量，以保证数据之间的可比性。应用计算公式：Z＝(x-μ)/σ，其中x是个体的观测值，μ是总体数据的均值，σ是总体数据的标准差，Z是标准分数。
本申请中设计3层LSTM深度神经网络(如图3所示)+Softmax全连接层构成AVP最小安全阈值预测模型。LSTM(Long Short Term MemoryNetwork)，是一种改进之后的循环神经网络RNN(Recurrent Neural Network)，可以解决RNN无法处理长距离的依赖问题。RNN本质是在时间上的一个循环，每次循环都会用到上一次计算的结果。而LSTM在SimpleRNN的基础上，增加了一个可以相隔多个Timesteps来传递信息的方法。每个时间节点的信息都可以放到传送带上，或者从传送带上拿下来，当然也可以更新传送带上的信息，这样就可以保存很久之前的信息，防止了信息的丢失，从而解决了梯度消失的问题。
LSTM的门的输入均为当前时间步输入Xt与上一时间步隐藏状态Ht-1，输出由激活函数为sigmoid函数的全连接层计算得到，这3个门元素的值域均为[0，1]。假设隐藏单元个数为h，给定时间步t的小批量输入Xt∈Rn×d(样本数为n，输入个数为d)和上一时间步隐藏状态Ht-1∈Rn×h。时间步t的输入门It∈Rn×h、遗忘门Ft∈Rn×h和输出门Ot∈Rn×h分别计算为：
It＝σ(XtWxi+Ht-1Whi+bi)
Ft＝σ(XtWxf+Ht-1Whf+bf)
Ot＝σ(XtWxo+Ht-1Who+bo)
其中的Wxi，Wxf，Wxo∈Rd×h和Whi，Whf，Who∈Rh×h是权重参数，bi，bf，bo∈R1×h是偏差参数。
LSTM在计算过程使用候选记忆细胞来决定哪些输入需要被更新。时间步t的候选记忆细胞
Figure BDA0002623437750000121
使用了值域在[-1，1]的tanh函数作为激活函数，其计算公式为：
Figure BDA0002623437750000122
其中Wxc∈Rd×h和Whc∈Rh×h是权重参数，bc∈R1×h是偏差参数。
而当前时间步记忆细胞Ct∈Rn×h的计算组合了上一时间步记忆细胞和当前时间步候选记忆细胞的信息，并通过遗忘门和输入门来控制信息的流动：
Figure BDA0002623437750000123
通过记忆细胞和输出门来控制从记忆细胞到隐藏状态Ht∈Rn×h的信息的流动：
Ht＝Ot⊙tanh(Ct)
符号⊙表示按元素乘法来实现。
考虑采用小批量数据样本训练方法(batch_size＝64)，交叉熵损失函数L2Loss作为代价函数，对LSTM层单元使用丢弃率(dropout＝0.5)，并选用Adam优化器来训练网络，网络迭代次数(epoch＝10,000)，来防止过拟合。
Softmax是一个逻辑函数的概括，该函数将实值的长度p向量，映射到值的长度k向量，即(0，1)区间内，而这些输出值的累加和为1，满足概率的性质。在最后选取输出概率最大的节点，作为最终的预测目标。对于一个数组V，Vi表示V中的第i个元素，那么这个元素的Softmax值为：
Figure BDA0002623437750000124
即该元素的指数与所有元素指数和的比值。
输出的最小安全阈值的概率等级可以划分为：正常(绿色)、报警(黄色预警)、危险(橙色预警)、非常危险(红色预警)。
本实施例通过场端RSU辅助对AVP车辆、以及相关交通元素(障碍物、其他车辆、行人、宠物等)进行实时检测，并借助场端边缘云系统进行实时的MSDF和实时智能决策(动态判定最小安全阈值)，最后通过5G移动基站(5G网络有大带宽、高可靠性、低时延的特定，非常适合自动驾驶场景)实时的让AVP车辆执行安全制动的动作，以及实时的进行驾驶员5G智能手机应用自动泊车危险提醒，从而极大地保证了车辆AVP泊入泊出的安全性，以及极大地提升了AVP用户体验的效果。
图4是根据本发明一个实施例的车辆100的示意性框图；作为本发明一个具体地实施例，本发明还提供一种车辆100，该车辆100可以包括通讯模块110、自动泊车模块120、采集模块130和控制模块140。其中，通讯模块110用于响应于泊车指令，开启自动泊车功能。自动泊车模块120用于按照接收到的场端边缘云系统规划的泊车路径控制车辆自动泊入或泊出车位，其中，场端边缘云系统根据车辆相对车位的位置信息规划泊车路径。采集模块130用于在车辆自动泊入或泊出车位的过程中，采集车辆的自身运动状态信息和车辆周围的第一环境信息。控制模块140用于响应于场端边缘云系统发出的预警指令，控制车辆在泊入或泊出车位过程中执行紧急制动动作，其中，预警指令是场端边缘云系统将自身运动状态信息、车辆周围的第一环境信息结合场端边缘云系统采集的泊车路径中的第二环境信息进行数据融合，并利用融合后的数据得到车辆在泊入或泊出车位的过程中车辆与周围障碍物之间动态数据，将所述动态数据与最小安全阈值进行比对分析发出的。
本实施例的通讯模块110可以是车辆上的T-BOX。该通讯模块110在接受泊车指令的同时还用于将采集模块130采集的数据上传至边缘云系统中。在边缘云系统发出预警指令后也可以通过通讯模块110到达车辆，由车辆的控制模块140控制车辆在泊入或泊出车位过程中执行紧急制动动作。
本实施例的车辆在根据泊车路径进行自动泊车时，不断的采集车辆及环境的信息，根据这些信息得到车辆与障碍物之间的动态数据，将该动态数据与最小安全阈值进行比对分析发出预警信号，从而保证在车辆自动泊车过程中，当车辆遇到危险时能紧急制动，避免了现有技术中利用车辆采集的数据直接与静态的阈值进行比对，导致预警信号的发出时机不对而造成车辆与障碍物的碰撞，保证车辆在自动泊车过程中的安全性。
本实施例中，自动泊车需要引入停车场的高精度地图，才能够让汽车知道它现在在哪，应该去哪里寻找停车位，并且精确的规划出泊车路径。
具体地，在实际应用过程中，车辆和场端会提前安装各种摄像头、雷达等装置。在摄像头或雷达等装置在使用前会先进行数据标定。传感器数据标定是自动泊车技术的自动驾驶的基本需求，良好的标定是多传感器数据融合的基础，对停车场任意位置的观测和感知，至少有4个传感器覆盖检测的密度，而它们之间的坐标关系是需要确定的。该工作分成两部分：内参标定和外参标定。内参是决定传感器内容的映射关系，比如摄像头的焦距，偏心和像素横纵比(+畸变系数)。而外参是决定传感器和外部某个坐标系的转换关系，比如姿态参数(旋转和平移6自由度)。具体地，车辆各种传感器(Camera摄像头、Radar毫米波雷达、IMU、轮速计、方向盘转角)对自车周围的第一环境信息，以及自车行驶状态信息进行实时采集。第一环境信息包括各种静态障碍物(停车场承重墙、立柱等)、动态物体(其他车辆、行人、各种宠物等)。而自车的信息包括自车轮速、方向盘转角等信息。
图5是根据本发明一个实施例的场端边缘云系统200与车辆100连接的示意性框图；作为本发明一个具体地实施例，本实施例还提供一种场端边缘云系统200，该场端边缘云系统200可以包括停车场传感器210和边缘云211，其中，边缘云211可以包括数据接收模块220、数据处理模块230和预警模块240。其中，停车场传感器210用于采集车辆在泊车路径中的第二环境信息。数据接收模块220用于接收车辆采集的自身运动状态信息和第一环境信息，以及停车场传感器210采集的第二环境信息。数据处理模块230用于将自身运动状态信息、第一环境信息和第二环境信息进行数据融合，并利用融合后的数据得到车辆在泊入或泊出车位的过程中车辆与周围障碍物之间的动态数据。预警模块240用于根据所述动态数据与最小安全阈值进行比对分析发出预警信号
为了使场端边缘云系统200能够顺利得到第二环境信息，在停车场处也会设置各种RSU传感器(Camera摄像头、Lidar激光雷达、Radar毫米波雷达)对环境信息进行实时采集。第二环境信息包括离车辆较远的障碍物的位置、速度、加速度、角速度及与目标车辆的距离等。
除了车辆自行寻找停车位外，具备自动泊车功能的汽车还可以配合智能停车场更好地完成自动代客泊车的功能。智能停车场内安装一些必要的基础设施，比如摄像头、雷达、地锁等。这些传感器不仅能够获取停车位是否被占用，还能够知道停车场的道路上是否有障碍物等信息。将这些信息建模后发送给场端边缘云系统，场端边缘云系统能够规划出一条更为合理的路径，行驶到空车位处了。
本实施例的场端边缘云系统200可以根据车辆和停车场传感器210采集到数据进行融合处理得到动态数据，并且最小安全阈值也是经过各种算法动态预测得到。避免了目前的车辆中采用传感器直接采集的车辆与障碍物之间的数据直接与固定的阈值进行比对导致车辆预警信号发出不及时或者错误，使车辆出现误报警或者有碰撞风险无法及时的发现的问题，提高车辆在自动泊车过程中的安全性。
图6是根据本发明另一个实施例的场端边缘云系统200的示意性框图；更为具体地，本实施例的数据处理模块230还可以包括数据预处理模块231和数据融合模块232。数据预处理模块231用于将已经通过A/D转换方法转换成数字信号的自身运动状态信息、第一环境信息和第二环境信息进行预处理得到预处理数据，其中，数据预处理过程包括空间数据同步和时间数据同步。数据融合模块232用于将预处理数据采用BP反向传播深度神经网络和D-S证据理论对预处理数据进行数据融合。
图7是根据本发明一个实施例的数据融合模块232的示意性框图；更为具体地，数据融合模块232可以包括数据归一化处理模块233、数据网络处理模块234、证据生成模块235和融合数据获得模块236。其中，数据归一化处理模块233用于将预处理数据进行归一化处理。数据网络处理模块234用于将归一化处理后的数据进行BP深度神经网络处理。证据生成模块235用于将BP深度神经网络处理后的输出的结果构造相应的多个D-S证据理论的基本可信度分配函数BPAF，作为D-S证据理论算法的输入证据；其中，基本可信度分配函数BPAF公式为：
Figure BDA0002623437750000151
其中Pi(j)是第i个BP网络的输出，i＝1,2,…,N，N表示BP网络的总个数，j表示传感器对目标物的测量指标。融合数据获得模块236用于将BPAF处理后的数据作为证据输入，通过D-S组合规则进行计算，得到融合后的数据。
本实施例中的数据预处理模块231和数据融合模块232对数据进行预处理和数据融合的过程前面已经详细的描述，此处不再赘述。
图8是根据本发明又一个实施例的场端边缘云系统200的示意性框图；具体地，数据处理模块230还包括阈值生成模块237，阈值生成模块237用于采用多层LSTM深度神经网络和Softmax全连接层构成车辆的最小安全阈值预测模型得到最小安全阈值。本实施例中阈值生成模块237产生最小安全阈值的过程前面已经详细的说明，此处不再赘述。
图9是根据本发明又一个实施例的自动泊车控制系统300的示意性框图。作为本发明一个具体地实施例，本发明还提供一种自动泊车控制系统300，该自动泊车控制系统300可以包括相互网连接的移动终端310、场端边缘云系统200和车辆100。移动终端310用于发出泊车指令，并接收场端边缘云系统200数据，对车辆100进行远程实时监控。
具体地，该自动泊车控制系统300控制车辆100自动泊入车位的具体过程可以包括：驾驶员驾车进入智能停车场指定接驳区，这时车辆100、驾驶员的移动终端310(可以是5G智能手机)都连接了智能停车场的移动基站。
驾驶员下车后，手持操作智能手机应用，开启自动泊车功能。
场端边缘云系统200收到驾驶员的车辆泊入指令后进行路径规划，并将行驶路线数据通过移动基站发送给车辆。
车辆开启自动驾驶功能，并根据行驶路线数据循迹行驶。
车辆在去往车位、以及泊入车位的过程中，通过自车传感器实时采集自车运动信息和周围环境的第一环境信息，比如影响行驶的各种静态障碍物(停车场承重墙、立柱等)、动态物体(其他车辆、行人、各种宠物等)。
车辆将自车运动状态信息、对感知到的周围的第一环境信息，通过无线蜂窝网络，实时发送给场端边缘云系统200。场端边缘云系统200再通过无线蜂窝网络将车辆运动状态信息、车辆采集到的第一环境信息转发给驾驶员手持的移动终端310，实现远程实时监控。
场端边缘云场系统的停车场传感器210即RSU感知设备(Lidar、Radar等)对车辆、以及相关交通元素(障碍物、其他车辆、行人、宠物等)进行实时检测，并将采集到的第二环境信息通过以太网络传递给边缘云。
场端边缘云系统200根据获取到的车辆自身运动状态信息、车辆采集到的周围第一环境信息、各个停车场传感器210传递过来的周围第二环境信息等进行实时的多传感器数据融合MSDF(Multi-Sensor Data Fusion)，从而生成更为客观和真实的交通环境信息，包括比如AVP车辆的速度、当前位置、行驶方向，对车辆行驶造成影响的有效障碍物的位置，运动物体的速度、加速度、当前位置、行驶方向等。同时边缘云采用多层LSTM深度神经网络和Softmax全连接层构成所述车辆的最小安全阈值预测模型得到最小安全阈值。最小安全阈值与自车(当前位置、行驶方向、当前车速等)、静态障碍物(位置)、动态物体(当前位置、运动方向、运动速度等)、自车与车外物体的相对距离等有一定的关联关系。
场端边缘云系统200根据车辆与各种障碍物之间的各种动态数据与最小安全阈值进行比对分析，来智能的触发预警指令，并通过无线蜂窝网络传递给车辆、驾驶员的移动终端310应用。
车辆100根据从场端边缘云系统200得到的预警指令，发出紧急制动指令，后再执行安全制动动作。同时移动终端310应用根据从边缘云得到的预警指令，实现动态自动泊车危险提醒。
自动泊车控制系统300控制车辆100自动泊出车位的具体过程可以包括：
驾驶员驾车进入智能停车场指定接驳区，这时车辆、驾驶员的移动终端310(可以是5G智能手机)都连接了智能停车场的移动基站。
驾驶员手持操作移动终端310应用，开启车辆100的远程召唤功能。
场端边缘云系统200收到驾驶员的车辆泊入指令后进行路径规划，并将行驶路线数据通过移动基站发送给车辆。
车辆100进行远程点火，开启自动驾驶功能，并根据行驶路线数据循迹行驶。
车辆100在泊出车位、以及去往指定接驳区的过程中，通过自车传感器实时采集自车运动信息和周围环境的第一环境信息，比如影响行驶的各种静态障碍物(停车场承重墙、立柱等)、动态物体(其他车辆、行人、各种宠物等)。
车辆100将自车运动状态信息、对感知到的周围的第一环境信息，通过无线蜂窝网络，实时发送给场端边缘云系统200。场端边缘云系统200再通过无线蜂窝网络将车辆运动状态信息、车辆采集到的第一环境信息转发给驾驶员手持的移动终端310，实现远程实时监控。
场端边缘云系统200的停车场传感器210即RSU感知设备(Lidar、Radar等)对车辆、以及相关交通元素(障碍物、其他车辆、行人、宠物等)进行实时检测，并将采集到的第二环境信息通过以太网络传递给边缘云。
场端边缘云系统200根据获取到的车辆自身运动状态信息、车辆采集到的周围第一环境信息、各个RSU传感器传递过来的周围第二环境信息等进行实时的多传感器数据融合MSDF(Multi-Sensor Data Fusion)，从而生成更为客观和真实的交通环境信息，包括比如AVP车辆的速度、当前位置、行驶方向，对车辆行驶造成影响的有效障碍物的位置，运动物体的速度、加速度、当前位置、行驶方向等。同时边缘云采用多层LSTM深度神经网络和Softmax全连接层构成所述车辆的最小安全阈值预测模型得到最小安全阈值。最小安全阈值与自车(当前位置、行驶方向、当前车速等)、静态障碍物(位置)、动态物体(当前位置、运动方向、运动速度等)、自车与车外物体的相对距离等有一定的关联关系。
场端边缘云系统200根据车辆与各种障碍物之间的动态数据与最小安全阈值进行比对分析，来智能的触发预警指令，并通过无线蜂窝网络传递给车辆、驾驶员的移动终端310应用。
车辆根据从场端边缘云系统200得到的预警指令，发出紧急制动动作，车辆的制动系统执行安全制动动作。同时移动终端310应用根据从边缘云得到的预警指令，实现动态自动泊车危险提醒。
以往的自动泊车都以车辆与周围障碍物的静态、固定的距离作为报警触发条件，这种报警方式是单一的、脆弱的。本实施例的自动泊车系统通过场端边缘云系统200辅助对车辆、以及相关交通元素(障碍物、其他车辆、行人、宠物等)进行实时检测，并借助场端边缘云系统200进行实时的MSDF和实时智能决策(动态判定最小安全阈值)，最后通过移动基站(5G网络有大带宽、高可靠性、低时延的特定，非常适合自动驾驶场景)实时的让车辆执行安全制动的动作，以及实时的进行驾驶员移动终端310应用自动泊车危险提醒，从而极大地保证了车辆自动泊入或泊出车位的安全性，极大地提升了自动泊车车辆用户的体验效果。
至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (8)

1.一种自动泊车控制方法，其特征在于，包括：
响应于泊车指令，开启自动泊车功能；
按照接收到的场端边缘云系统规划的泊车路径控制车辆自动泊入或泊出车位；
在所述车辆自动泊入或泊出所述车位的过程中，采集所述车辆的自身运动状态信息和所述车辆周围的第一环境信息；
响应于所述场端边缘云系统发出的预警指令，控制所述车辆在泊入或泊出所述车位过程中进行紧急制动；
其中，所述预警指令是所述场端边缘云系统将所述自身运动状态信息、所述车辆周围的所述第一环境信息结合所述场端边缘云系统采集的所述泊车路径中的第二环境信息进行数据融合，并利用融合后的数据得到所述车辆在泊入或泊出所述车位的过程中所述车辆与周围障碍物之间的动态数据，将所述动态数据与最小安全阈值进行比对分析发出的；
所述场端边缘云系统进行数据融合的过程包括：
所述自身运动状态信息、所述第一环境信息和所述第二环境信息进行预处理得到预处理数据；
对所述预处理数据进行数据融合；
将所述预处理数据进行数据融合的步骤包括：
将所述预处理数据进行归一化处理；
将归一化处理后的数据进行BP深度神经网络处理；
将BP深度神经网络处理后的输出的结果构造相应的多个D-S证据理论的基本可信度分配函数BPAF，作为D-S证据理论算法的输入证据；其中，基本可信度分配函数BPAF公式为：
Figure FDA0003413402570000011
其中，Pi(j)是第i个BP网络的输出，i＝1,2,…,N，N表示BP网络的总个数，j表示传感器对目标物的测量指标；
将BPAF处理后的数据作为证据输入，通过D-S组合规则进行计算，得到最终的融合后的数据。
2.根据权利要求1所述的自动泊车控制方法，其特征在于，
所述场端边缘云系统进行数据融合的过程包括：
将所述自身运动状态信息、所述第一环境信息和所述第二环境信息进行A/D转换方法转化为数字信号的所述自身运动状态信息、所述第一环境信息和所述第二环境信息进行预处理得到预处理数据，其中，所述数据预处理过程包括空间数据同步和时间数据同步；
将所述预处理数据采用BP反向传播深度神经网络和D-S证据理论对所述预处理数据进行数据融合。
3.根据权利要求1所述的自动泊车控制方法，其特征在于，
所述最小安全阈值是所述场端边缘云系统将所述融合后的数据再采用多层LSTM深度神经网络和Softmax全连接层构成所述车辆的最小安全阈值预测模型得到的。
4.一种车辆，其特征在于，包括：
通讯模块，用于响应于泊车指令，开启自动泊车功能；
自动泊车模块，用于按照接收到的场端边缘云系统规划的泊车路径控制车辆自动泊入或泊出车位；
采集模块，用于在所述车辆自动泊入或泊出所述车位的过程中，采集所述车辆的自身运动状态信息和所述车辆周围的第一环境信息；和
控制模块，用于响应于所述场端边缘云系统发出的预警指令，控制所述车辆在泊入或泊出所述车位过程中进行紧急制动，其中，所述预警指令是所述场端边缘云系统将所述自身运动状态信息、所述车辆周围的所述第一环境信息结合所述场端边缘云系统采集的所述泊车路径中的第二环境信息进行数据融合，并利用融合后的数据得到所述车辆在泊入或泊出所述车位的过程中所述车辆与周围障碍物之间动态数据，将所述动态数据与最小安全阈值进行比对分析发出的；
所述场端边缘云系统进行数据融合的过程包括：
所述自身运动状态信息、所述第一环境信息和所述第二环境信息进行预处理得到预处理数据；
将所述预处理数据进行归一化处理；
将归一化处理后的数据进行BP深度神经网络处理；
将BP深度神经网络处理后的输出的结果构造相应的多个D-S证据理论的基本可信度分配函数BPAF，作为D-S证据理论算法的输入证据；其中，基本可信度分配函数BPAF公式为：
Figure FDA0003413402570000021
其中，Pi(j)是第i个BP网络的输出，i＝1,2,…,N，N表示BP网络的总个数，j表示传感器对目标物的测量指标；
将BPAF处理后的数据作为证据输入，通过D-S组合规则进行计算，得到最终的融合后的数据。
5.一种场端边缘云系统，其特征在于，包括停车场传感器和边缘云，停车场传感器用于采集车辆泊车路径中的第二环境信息；所述边缘云包括：
数据接收模块，用于接收所述车辆采集的自身运动状态信息和第一环境信息，以及所述停车场传感器采集的所述第二环境信息；和
数据处理模块，用于将所述自身运动状态信息、所述第一环境信息和所述第二环境信息进行数据融合，并利用融合后的数据得到所述车辆在泊入或泊出车位的过程中所述车辆与周围障碍物之间的动态数据；和
预警模块，用于根据所述动态数据与最小安全阈值进行比对分析发出预警信号；
所述数据处理模块还包括：
数据预处理模块用于对所述自身运动状态信息、所述第一环境信息和所述第二环境信息进行预处理得到预处理数据；数据融合模块，用于对所述预处理数据进行数据融合；
所述数据融合模块包括：
数据归一化处理模块，用于将所述预处理数据进行归一化处理；
数据网络处理模块，用于将归一化处理后的数据进行BP深度神经网络处理；
证据生成模块，用于将BP深度神经网络处理后的输出的结果构造相应的多个D-S证据理论的基本可信度分配函数BPAF，作为D-S证据理论算法的输入证据；其中，基本可信度分配函数BPAF公式为：
Figure FDA0003413402570000031
其中Pi(j)是第i个BP网络的输出，i＝1,2,…,N，N表示BP网络的总个数，j表示传感器对目标物的测量指标；和
融合数据获得模块，用于将BPAF处理后的数据作为证据输入，通过D-S组合规则进行计算，得到融合后的数据。
6.根据权利要求5所述的场端边缘云系统，其特征在于，
数据预处理模块，还用于将所述自身运动状态信息、所述第一环境信息和所述第二环境信息通过A/D转换方法转换成数字信号，对已经转化为数字信号的信息再进行预处理得到预处理数据；
数据融合模块，用于将所述预处理数据采用BP反向传播深度神经网络和D-S证据理论对所述预处理数据进行数据融合。
7.根据权利要求5所述的场端边缘云系统，其特征在于，
所述数据处理模块还包括阈值生成模块，所述阈值生成模块用于采用多层LSTM深度神经网络和Softmax全连接层构成所述车辆的最小安全阈值预测模型得到所述最小安全阈值。
8.一种自动泊车控制系统，其特征在于，包括相互网连接的移动终端、权利要求5-7中任一项所述的场端边缘云系统和权利要求4所述的车辆；
所述移动终端用于发出泊车指令，并接收所述场端边缘云系统的数据，对所述车辆进行远程实时监控。
CN202010790048.2A 2020-08-07 2020-08-07 自动泊车控制方法、控制系统、车辆及场端边缘云系统 Active CN111907517B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010790048.2A CN111907517B (zh) 2020-08-07 2020-08-07 自动泊车控制方法、控制系统、车辆及场端边缘云系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010790048.2A CN111907517B (zh) 2020-08-07 2020-08-07 自动泊车控制方法、控制系统、车辆及场端边缘云系统

Publications (2)

Publication Number Publication Date
CN111907517A CN111907517A (zh) 2020-11-10
CN111907517B true CN111907517B (zh) 2022-03-01

Family

ID=73283478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010790048.2A Active CN111907517B (zh) 2020-08-07 2020-08-07 自动泊车控制方法、控制系统、车辆及场端边缘云系统

Country Status (1)

Country Link
CN (1) CN111907517B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487983A (zh) * 2020-11-30 2021-03-12 北京停简单信息技术有限公司 协同感知方法和装置
CN112562408B (zh) * 2020-11-30 2022-07-26 北京停简单信息技术有限公司 基于车路协同的全局路径规划的方法、装置及系统
CN113401117A (zh) * 2021-07-08 2021-09-17 上海追势科技有限公司 一种基于大数据分析的人车共享方法
CN113788009B (zh) * 2021-08-27 2023-05-09 北京百度网讯科技有限公司 指示泊车模式的方法和装置、电子设备
CN113777996A (zh) * 2021-09-23 2021-12-10 东风汽车有限公司东风日产乘用车公司 基于移动终端的远程控制方法、装置及设备
CN113904959B (zh) * 2021-11-02 2023-04-07 广州小鹏自动驾驶科技有限公司 一种时延分析方法、装置、车辆、存储介质
DE102022207574B3 (de) * 2022-07-25 2024-01-25 Volkswagen Aktiengesellschaft Verfahren zum Steuern eines zumindest teilautonomen Kraftfahrzeugs in einem geparkten Zustand
CN117885756A (zh) * 2024-03-14 2024-04-16 同致电子科技（厦门）有限公司 一种他车泊出轨迹的确定方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007125981A (ja) * 2005-11-02 2007-05-24 Equos Research Co Ltd 駐車制御装置
DE102009006336A1 (de) * 2008-03-28 2009-10-01 Volkswagen Ag Verfahren zur Überwachung eine Einparkvorgangs
CN102407848A (zh) * 2010-09-21 2012-04-11 高强 具有自动泊车与智能驾驶功能的控制器系统
CN106251693A (zh) * 2016-09-26 2016-12-21 江苏天安智联科技股份有限公司 一种基于车联网的智能车载停车系统
US9969386B1 (en) * 2017-01-10 2018-05-15 Mitsubishi Electric Research Laboratories, Inc. Vehicle automated parking system and method
CN108068800A (zh) * 2016-11-18 2018-05-25 比亚迪股份有限公司 自动泊车控制系统、探头模块、车辆和自动泊车控制方法
CN108928343A (zh) * 2018-08-13 2018-12-04 吉利汽车研究院（宁波）有限公司 一种全景融合自动泊车系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106945660B (zh) * 2017-02-24 2019-09-24 宁波吉利汽车研究开发有限公司 一种自动泊车系统
CN110606071A (zh) * 2019-09-06 2019-12-24 中国第一汽车股份有限公司 一种泊车方法、装置、车辆和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007125981A (ja) * 2005-11-02 2007-05-24 Equos Research Co Ltd 駐車制御装置
DE102009006336A1 (de) * 2008-03-28 2009-10-01 Volkswagen Ag Verfahren zur Überwachung eine Einparkvorgangs
CN102407848A (zh) * 2010-09-21 2012-04-11 高强 具有自动泊车与智能驾驶功能的控制器系统
CN106251693A (zh) * 2016-09-26 2016-12-21 江苏天安智联科技股份有限公司 一种基于车联网的智能车载停车系统
CN108068800A (zh) * 2016-11-18 2018-05-25 比亚迪股份有限公司 自动泊车控制系统、探头模块、车辆和自动泊车控制方法
US9969386B1 (en) * 2017-01-10 2018-05-15 Mitsubishi Electric Research Laboratories, Inc. Vehicle automated parking system and method
CN108928343A (zh) * 2018-08-13 2018-12-04 吉利汽车研究院（宁波）有限公司 一种全景融合自动泊车系统及方法

Also Published As

Publication number Publication date
CN111907517A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN111907517B (zh) 自动泊车控制方法、控制系统、车辆及场端边缘云系统
Liu et al. Robust target recognition and tracking of self-driving cars with radar and camera information fusion under severe weather conditions
CN108909624B (zh) 一种基于单目视觉的实时障碍物检测和定位方法
RU2767955C1 (ru) Способы и системы для определения компьютером наличия динамических объектов
Laugier et al. Probabilistic analysis of dynamic scenes and collision risks assessment to improve driving safety
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN113313154A (zh) 一体化融合多传感器自动驾驶智能感知装置
CN114474061B (zh) 基于云服务的机器人多传感器融合定位导航系统及方法
CN108372857A (zh) 自主驾驶系统的通过事件发生和情节记忆回顾进行有效情景感知
US11294387B2 (en) Systems and methods for training a vehicle to autonomously drive a route
US20200393835A1 (en) Autonomous rideshare rebalancing
CN116348938A (zh) 用于预测动态对象行为的方法和系统
CN117440908A (zh) 用于自动驾驶系统中基于图神经网络的行人动作预测的方法和系统
CN115375770A (zh) 计算机实现的方法、运载工具、照相机和存储介质
WO2022178858A1 (zh) 一种车辆行驶意图预测方法、装置、终端及存储介质
US20210165413A1 (en) Safe traversable area estimation in unstructured free-space using deep convolutional neural network
JP2018063476A (ja) 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム
CN115662166A (zh) 一种自动驾驶数据处理方法及自动驾驶交通系统
WO2022115216A2 (en) Method and system for determining a mover model for motion forecasting in autonomous vehicle control
US20210387652A1 (en) Systems and methods for long-term prediction of lane change maneuver
CN116501820A (zh) 车辆轨迹预测方法、装置、设备及存储介质
Zheng et al. Challenges in visual parking and how a developmental network approaches the problem
CN115909815A (zh) 基于多元数据的融合检测方法、装置、设备及存储介质
US20230103178A1 (en) Systems and methods for onboard analysis of sensor data for sensor fusion
US20220309521A1 (en) Computing a vehicle interest index

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant