CN113525357A - 自动泊车决策模型优化系统及方法 - Google Patents

自动泊车决策模型优化系统及方法 Download PDF

Info

Publication number
CN113525357A
CN113525357A CN202110984262.6A CN202110984262A CN113525357A CN 113525357 A CN113525357 A CN 113525357A CN 202110984262 A CN202110984262 A CN 202110984262A CN 113525357 A CN113525357 A CN 113525357A
Authority
CN
China
Prior art keywords
parking
decision
information
model
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110984262.6A
Other languages
English (en)
Other versions
CN113525357B (zh
Inventor
张素民
支永帅
包智鹏
何睿
杨志
孟志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202110984262.6A priority Critical patent/CN113525357B/zh
Publication of CN113525357A publication Critical patent/CN113525357A/zh
Application granted granted Critical
Publication of CN113525357B publication Critical patent/CN113525357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/10—Accelerator pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/12—Brake pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种自动泊车决策模型优化系统及方法，所述方法包括：步骤1，采集车辆周围的泊车环境信息，识别可用停车位，选择是否泊车，若是则执行下一步骤；步骤2，基于环境信息和停车位识别结果计算模型决策信息；步骤3，当选择自动泊车时，使用模型决策信息指导车辆进行自动泊车，当选择手动泊车时，执行下一步骤；步骤4，基于用户决策信息进行手动泊车操作，并模拟基于模型决策信息的自动泊车，若模拟结果不满足泊车终止条件，执行下一步骤；步骤5，对用户决策信息和环境信息进行关联，根据关联信息对自动泊车决策模型进行重复训练，利用更新的自动泊车决策模型进行自动泊车；本发明能够在各种环境下进行自动泊车，自适应能力强。

Description

自动泊车决策模型优化系统及方法
技术领域
本发明属于智能驾驶技术领域，特别是涉及一种自动泊车决策模型优化系统及方法。
背景技术
随着深度学习技术的发展，近年来，越来越多的科研人员通过训练机器学习模型来开发基于数据驱动的自动泊车系统，在模型训练过程中训练数据集的质量直接影响自动泊车系统的性能，在实际应用中，科研人员在训练数据集采集、整理、注释上投入了巨大的人力、物力和财力，但效果不佳；虽然可以在仿真环境下生成训练数据，但仿真环境无法完全模拟真实泊车环境，获得的训练数据质量不好，而在实际泊车场景下生成训练数据集的过程繁琐、乏味，且很难收集到能够改善模型在特定或极端使用环境下性能的数据。
训练一个自动泊车的机器学习模型往往需要成千上万甚至上百万个样本，因此是否能获取大量高质量训练数据成为机器学习技术使用的一个重要限制因素，随着机器学习模型的复杂化，我们需要构建更为庞大的训练数据集，才能使训练得到的模型具有足够的泛化能力，即模型能够在其没有见过的数据上也表现良好，如果训练数据集不够大，就会导致模型过拟合，即模型在训练数据集上表现良好，但是不能很好的泛化到没有见过的其他场景，因此需要将额外场景的数据加入到训练数据集以丰富训练数据集；然而真实场景下训练数据的获取存在巨大的技术障碍，如自动泊车系统需从采集的图像中识别出有效停车位和泊车决策模型需要的数据，若是没有大量的训练数据集，自动泊车系统中的机器学习模型无法精确鲁棒对所需要的信息进行识别，导致自动泊车系统无法在一些不常见的场景下进行自动泊车。
发明内容
本发明实施例的目的在于提供一种自动泊车决策模型优化系统，该系统利用车联网技术连接多个车辆，能大量获取各种行车场景下停车位识别训练数据以及用户决策信息与环境信息的关联数据，数据获取过程简单、成本低，受个别驾驶员的驾驶偏好影响较小，可构建在真实驾驶场景下适应性良好的自动泊车决策模型。
本发明实施例的目的在于提供一种自动泊车决策模型优化方法，能自动采集车辆行驶过程中用户在特定场景下输入的决策信息，并基于该决策信息循环更新车载自动泊车决策模型中的参数，提高了车载自动泊车决策模型的泛化能力和适用性。
为解决上述技术问题，本发明所采用的技术方案是，自动泊车决策模型优化方法，包括以下步骤：
步骤1，采集车辆周围的泊车环境信息，使用停车位识别模型识别可用停车位，根据识别结果选择是否泊车，若选择不泊车，则重复识别可用停车位，直至选择泊车；
步骤2，自动泊车决策模型根据停车位识别结果和环境信息确定模型决策信息；
步骤3，当用户选择自动泊车时，将模型决策信息输入控制模块，指导车辆进行自动泊车操作；当用户选择手动泊车时，执行步骤4；
步骤4，根据用户决策信息控制车辆进行手动泊车，并模拟模型决策信息指导的自动泊车过程，若自动泊车过程满足泊车终止条件，则不对用户决策信息进行处理，若自动泊车过程不满足泊车终止条件，则执行步骤5；
步骤5，对用户决策信息和车辆周围的环境信息进行关联处理；
步骤6，获取多个车辆的用户决策信息与环境信息的关联数据，基于关联数据对自动泊车模型进行重复训练，获得优化的自动泊车决策模型。
进一步的，所述停车位识别模型包括依次连接的CNN网络、候选区域网络和预测网络；
所述CNN网络提取环境信息的语义分割图像在不同尺度下的金字塔特征图；
所述候选区域网络以金字塔特征图为输入，分别使用1×4、1×3、1×2的卷积核识别各特征图中相应长宽比的感兴趣区域；
所述预测网络用金字塔特征图和感兴趣区域作为输入，使用ROI池化层将各感兴趣区域映射到相应金字塔特征图的相应区域，将该区域划分为固定数量的部分，使用最大池化操作获得固定尺寸的特征图，经过两层全连接网络预测停车位的类型和边框信息。
进一步的，所述环境信息包括道路路线图、道路结构图、各障碍物的状态信息、停车位的边线信息及停车位与周围障碍物的距离信息，所述障碍物包括动态障碍物和静态障碍物，所述状态信息包括障碍物的位姿、外形；
所述识别结果包括停车位的类型、大小及位置，停车位类型包括凸字型停车位、一字型停车位和斜线型停车位；
所述模型决策信息和用户决策信息均包括加速踏板开度、制动踏板开度、方向盘转角。
进一步的，所述泊车终止条件包括车辆物理约束、避障约束、活动范围约束、泊车终止条件约束和时间约束。
进一步的，所述自动泊车决策模型由依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层和全连接层组成；
卷积层和池化层用环境信息的语义分割图像Ii,j和用户决策信息(ui,j,vi,j,ωi,j)作为输入，依次提取环境信息由细节到整体的特征，全连接层从提取的特征中分别映射出方向盘转角
Figure BDA0003230182850000031
加速踏板开度
Figure BDA0003230182850000032
和制动踏板开度
Figure BDA0003230182850000033
通过对自动泊车决策模型输出的模型决策信息
Figure BDA0003230182850000034
和用户决策信息(ui,j,vi,j,ωi,j)间的损失Li进行梯度下降，不断更新模型参数，获得优化的自动泊车决策模型；
所述自动泊车决策模型的损失函数如下：
Figure BDA0003230182850000035
其中Li为第i次迭代的损失值，N为每次迭代的样本总数，j为用于模型训练的样本编号，ui,j为用户输入的方向盘转角实际值，
Figure BDA0003230182850000036
为自动泊车决策模型预测的方向盘转角，vi,j为用户输入的加速踏板开度的实际值，
Figure BDA0003230182850000037
为自动泊车决策模型预测的加速踏板开度，ωi,j为用户输入的制动踏板开度的实际值，
Figure BDA0003230182850000038
为自动泊车决策模型预测的制动踏板开度。
自动泊车决策模型优化系统，包括：
环境信息采集模块，用于采集车辆泊车时周围的环境信息；
停车位识别模块，用于识别可用的停车位；
泊车决策模块，用于基于泊车环境信息和停车位识别结果计算模型决策信息；
用户决策采集模块，用于采集用户输入的决策信息；
车辆-用户交互模块，用于停车位识别结果显示，及用户与用户决策采集模块交互；
控制模块，用于根据用户决策信息或模型决策信息指导车辆进行泊车操作；
比较模块，用于模拟模型决策信息指导的自动泊车过程，并判断该过程是否满足泊车终止条件；
关联模块，用于对用户决策信息和泊车环境信息进行关联处理；
外部通讯模块，用于采集用户决策信息和泊车环境信息关联数据，基于所述关联数据更新自动泊车决策模型参数，得到优化的自动泊车决策模型。
本发明的有益效果是：本发明实施例提供的数据生成方法无需驾驶员专门在实际泊车场景下驾驶车辆获取训练数据，通过车联网系统在日常生活中顺便、普遍采集车辆泊车环境与用户决策信息的关联数据，使训练数据的采集成本较低，训练数据的普及较广，能够覆盖大部分的实际泊车环境，基于此训练得到的自动泊车模型，能够对各种泊车环境下的车辆进行精准泊车，泛化能力强。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的数据采集流程图。
图2是停车位识别训练数据处理流程图。
图3是本发明自动泊车系统结构图。
图4是几种典型停车位的泊车过程示意图，图4的(a)是一字型停车位的泊车过程示意图，图4的(b)是凸字型停车位的泊车过程示意图，图4的(c)是斜线型停车位的泊车过程示意图。
图5是手动泊车过程与虚拟泊车过程的示意图。
图6是自动泊车决策模型的结构图。
图7是停车位识别模型的结构图。
图8是不同类型停车位的宽长比示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图3所示，自动泊车决策模型优化系统包括停车位识别模块，停车位识别模块基于车载传感器获得的超声波雷达数据、摄像头图像数据等，利用纯超声雷达车位识别或全景车位识别等技术，识别路边的可用停车位，并将车位识别结果发送至车辆-用户交互模块进行显示，所述车辆-用户交互模块为车载显示屏，车载显示屏显示停车位识别结果及选项，所述选项包括不在此处泊车和在此处泊车，泊车又包括手动泊车和自动泊车，用户可以根据实际需求进行选择，当选择不在此处泊车时，车辆-用户交互模块通知停车位识别模块重复车位识别操作，直至用户选择泊车，用户选择泊车时，车辆-用户交互模块通知环境信息采集模块将泊车环境信息发送至自动泊车决策模型，计算控制自动泊车的模型决策信息，所述模型决策信息包括方向盘转角、加速踏板开度和制动踏板开度。
当用户选择自动泊车时，自动泊车决策模型将模型决策信息发送至控制模块，指导车辆进行自动泊车；当用户选择手动泊车时，用户决策信息采集模块采集用户根据当前环境信息输入的用户决策信息，并将用户决策信息发送至控制模块，指导车辆进行泊车操作，同时用户决策信息采集模块和模型决策信息采集模块分别将用户决策信息和模型决策信息发送至比较模块。
比较模块在当前泊车环境下，模拟模型决策信息指导进行的泊车操作，如图5所示，比较模块能实时显示车辆周围的障碍物信息(方块H)、用户决策信息指导下车辆的位置信息(黑色车辆)、模型决策信息指导下虚拟车辆的位置信息(虚线方框)、泊车边界FG、BE及停车位边界ACDB，如果模拟泊车过程中泊车结果不满足泊车终止条件，则认为自动泊车决策模型在当前泊车场景下无法胜任泊车操作，此时比较模块将用户决策信息发送至关联模块，反之，则认为自动泊车决策模型能够指导车辆完成泊车操作，无需保存此用户决策信息。
关联模块将用户决策信息与当前场景下的环境信息建立关联，具体的，关联模块首先将不同类型传感器采集到的泊车环境信息在时域上对齐，例如t时刻的图像数据为It、超声波雷达数据为Rt，然后提取对应时刻的用户决策信息(方向盘转角、加速踏板开度以及制动踏板开度等)，通过这种方法将用户输入的决策信息与周围环境信息进行关联，并将关联后的信息通过网络接口传输到外部通讯模块。
外部通讯模块包括云端数据库和云端服务器，所述云端数据库用于保存用户决策信息与环境信息的关联信息，构成训练数据集，云端服务器用于利用训练数据集更新自动泊车决策模型参数，并将更新的参数发送至车载的自动泊车决策模型。
所述云端数据库利用车联网技术、车路协同技术等与多个车辆连接，接受多个司机在各实际泊车环境中的决策信息和环境信息的关联信息，省去了专门采集泊车环境信息和用户决策信息的过程，降低了数据采集的成本，避免了个别驾驶员的驾驶偏好对决策模型的影响，构建的训练数据集样本数目庞大，覆盖了实际生活中的多个泊车场景，用其训练的自动泊车决策模型，在相似泊车场景下，能产生更为可行、高效的泊车决策，适用性更强。
如图1所示，利用上述自动泊车决策模型优化系统优化自动泊车决策模型的方法，包括以下步骤：
S1，使用车辆上安装的传感器采集泊车过程中车辆周围的环境信息，停车位识别模型识别泊车环境中的停车位；
用户启动车位搜索后，使用超声波雷达车位识别、全景车位识别或两者结合的方式对可用停车位进行识别，停车位识别结果包括停车位的类型(凸字型停车位、一字型停车位或斜线型停车位等)以及停车位的大小及位置等；有效的车位识别是自动泊车系统中关键一环，具体可采用基于深度学习方法识别停车位，为使自动泊车系统能识别更多类型的停车位，需要构建大量高质量的停车位识别训练数据集，通过将不常见场景下的车位识别训练数据加入到原有停车位识别训练数据集中，丰富车位识别场景，提高自动泊车系统的车位识别能力；
所述传感器包括超声波雷达、环视相机、高动态射程前视摄像头的一种或多种；
在实现过程中，在车辆上安装8个环视摄像头，提供环车360°可视图像，射程可达250米，或在车上安装多个摄像头，包括前视宽摄像头、前视窄摄像头、后视摄像头、若干前视侧摄像头和若干后视侧摄像头；或在车上装配超声波雷达或毫米波雷达，或者利用车联网、车路协同技术获取泊车过程中车辆周围的环境信息；
车辆周围的环境信息包括道路路线图、道路结构图、各障碍物状态信息、基于车载传感器的超声波雷达数据和摄像头图像数据等，障碍物包括动态障碍物(如行人、车辆等)和静态障碍物(如道沿、栏杆、停车位周围停放的车辆等)，状态信息包括障碍物的位姿、外形等，所述超声波雷达数据包括停车位与周围车辆等障碍物之间的距离信息，摄像头图像数据包括停车位的边线信息等；
S2，将停车位识别结果显示在车辆-用户交互模块，用户基于此选择是否泊车，若用户对当前识别的停车位不满意，选择不在此处泊车，重复步骤1直至用户选择出合适的停车位；
S3，当用户选择在此处泊车时，将此时采集的车辆周围环境信息发送至自动泊车决策模型，鉴于三种停车位类型对应的自动泊车决策模型结构相同，模型参数不同，自动泊车决策模型根据步骤1传入的停车位识别结果选择相应的模型参数，并基于当前车辆周围的环境信息计算模型决策信息，模型决策信息包括方向盘转角、制动踏板开度、加速踏板开度等；
S4，当用户选择自动泊车时，将所述模型决策信息发送至控制模块，执行对油门、制动、方向盘转角等变量的控制完成自动泊车操作；若用户选择手动泊车时，则将模型决策信息发送至比较模块，并执行S5；
S5，采集用户根据车辆周围的环境信息输入的用户决策信息，控制模块根据用户决策信息实现对油门、制动、方向盘转角的控制，完成手动泊车操作，并将用户决策信息发送至比较模块；
所述用户决策信息包括但不限于加速踏板开度、制动踏板开度、方向盘转角等；
S6，比较模块基于模型决策信息进行泊车仿真模拟操作，若该模拟过程满足自动泊车终止条件，则认为模型决策信息能够指导车辆进行自动泊车，自动泊车决策模型在当前场景下能够胜任泊车任务，当前场景下的用户决策数据不是目标训练数据，无需进行收集和保存，舍弃此时的用户决策信息；
若虚拟泊车过程中车辆与周围的障碍物、道路边沿等发生碰撞(即自动泊车过程不满足泊车终止条件)，则认为自动泊车决策模型在该场景下计算的模型决策信息严重背离了用户的泊车意愿，无法胜任泊车操作，此时将用户决策信息和泊车环境信息发送至关联模块；
用户决策信息为用户根据当前泊车环境自行做出的泊车决策，模型决策信息为自动泊车决策模型根据当前车辆周围环境信息计算出来的模型决策信息；
所述泊车终止条件包括车辆物理约束、避障约束、活动范围约束、泊车终止条件约束和时间约束，车辆物理约束为车辆的最大速度、车辆最大阿克曼及方向盘最大转速不超过设定阈值，避障约束即车辆在泊车过程中不能发生任何剐蹭或碰撞，活动范围约束即车辆在泊车过程中只能在可行驶区域内行驶，不能驶入活动范围之外的区域，泊车终止条件约束即泊车完成后车身不能超出停车位边线，同时保证用户有足够的上下车空间，时间约束即泊车过程持续时间不能太长，否则会影响其他车辆通行；
S7，将不同类型传感器采集的泊车环境信息(视频信息、雷达信息)在时域上进行对齐，将用户决策信息(方向盘转角、加速踏板、制动踏板)与泊车环境信息进行关联处理，构成在时间维度上具有前后顺序的序列对，保存关联得到的数据集；
S8，使用车联网、车路协同等技术获取多个车辆上的关联数据，外部通讯模块基于关联数据集重复训练自动泊车决策模型，对模型参数进行更新，得到优化的自动泊车决策模型。
生活中常见的停车位类型包括一字型停车位、凸字型停车位和斜线型停车位，不同视角下停车位在像素中的大小也不一样(如远处的停车位看起来较小，近处的停车位看起来较大等)，为了提高停车位识别的速度和精度，本发明实施例基于Faster R-CNN设计停车位识别模型，其结构如图7所示，包括依次连接的CNN网络、候选区域网络和预测网络，首先使用ICNet算法对泊车环境信息进行语义分割，使用CNN网络提取输入的语义分割图像在不同尺度下的特征图，CNN网络以VGG16网络为主干网络，将具有相同尺寸特征图的层集合作为一段，每一段的最后一层分别表示为C1、C2、C3、C4和C5，将C2、C3、C4和C5对应的金字塔特征表示为P2、P3、P4和P5，P5为对C5进行1×1卷积操作得到，P4为P5的上采样结果与C4的1×1卷积操作相加得到，P3为P4的上采样结果与C3的1×1卷积操作相加得到，P2为P3的上采样结果与C2的1×1卷积操作相加得到，金字塔特征同时具有较高层的语义信息和较小的感受野，CNN网络能获得带有不同感受野、不同尺寸的金字塔特征图。
一字型停车位和凸字型停车位的形状是矩形，斜线型停车位的形状是平行四边形，而卷积中不存在平行四边形的卷积核，因此需对斜线型停车位进行填充构成矩形，该矩形中包含了斜线型停车位的信息；如图8所示，一字型停车位、凸字型停车位的宽长比可以大约圆整为1：4和1：3，扩充的斜线型停车位的宽长比圆整为1：2，为了提高停车位识别的效率和精度，本发明实施例在候选区域网络的上端分别使用1×4、1×3、1×2的卷积核，分别提取特征图像中相应长宽比的图像特征，将其输入分类、回归层分别得到疑似停车位的类型和候选区域，产生的候选区域具有不同尺度及不同宽长比的感受野，这些候选区域就是感兴趣区域(Region of Interests,ROIs)。
将金字塔特征和感兴趣区域均输入预测网络，预测网络使用ROI池化层对候选网络提取的候选感兴趣区域进行最大池化，将不同尺寸的ROIs映射到相应尺寸特征图的相应区域，然后将该区域划分为固定数量的部分，在获得的每个部分利用最大池化操作获得固定尺寸的特征图，该特征图经过两层全连接网络进行最后预测，得到停车位的类型和停车位的边框信息。
原始faster R-CNN中的候选区域网络假设只在一个特征图上有一些锚框，且该特征图有固定的感受野形状，但是这种方法在锚框尺寸大范围变化时效果不佳，为了解决这个问题，本发明实施例在图7所示的停车位识别模型中加入金字塔特征提取层，以生成多尺寸的特征图，增大模型的感受野，提高模型的有效性；同时，考虑到停车位的类型对应的形状，停车位识别模型利用1×4、1×3、1×2的卷积核生成不同长宽比的候选区域，产生的候选区域具有不同尺度的感受野，与实际中的停车位大小形状类似，可以提高停车位识别的精度和效率。
如图2所示，停车位识别模型的训练过程如下：
S1-1，使用车载传感器收集车辆周围的环境数据，构建停车位识别训练数据集；
使用前视动态射程摄像头获取周围环境的图像信息，或使用多个摄像头获取车辆周围360°的环视信息，或使用宽视野前视相机、窄视野前视相机、后视相机、前视侧相机和后视侧相机联合获得车辆周围信息，并对该信息进行拼接得到车辆环视信息，或利用车载超声波或毫米波雷达获取车辆周围的泊车环境信息；
S1-2，对车辆周围的环境信息进行预处理；
使用LIME算法对车辆周围的泊车环境信息进行光照均衡处理，使每帧图像都能获得良好的光照效果，以提高图像中环境信息的对比度，同时为了降低图像中的噪点，使用高斯滤波对图像进行处理，并将图像裁剪成190×100的尺寸得到预处理图像，并使用ICNet算法对预处理图像进行语义分割；
S1-3，构建停车位识别模型，将语义分割图像和人为标注的停车位边框信息、停车位类型编码作为输入训练停车位识别模型；
所述停车位边界框信息包括停车位对角线交点位置(x，y)、停车位的长度和宽度，停车位类型编码为“1”、“2”或“3”，“1”对应一字型停车位，“2”对应凸字型停车位，“3”对应斜线型停车位；
S1-4，计算各停车位识别结果的置信度，当置信度高于0.8时，说明停车位识别模型在该环境下能有效识别出停车位，此时的泊车环境信息不能进一步改进停车位识别模型，摒弃该数据；当置信度低于0.8时，说明停车位识别模型在该环境下的停车位识别效果不好，或在该环境中无法识别出停车位，将该场景下的泊车环境数据加入训练数据集，重复训练停车位识别模型。
自动泊车决策模型结构如图6所示，包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层和全连接层，卷积操作和池化操作用于实现由细节到整体的特征提取，全连接层用于从提取的特征中分别映射出方向盘转角、加速踏板开度及制动踏板开度。
在自动泊车决策模型训练过程中，先使用语义分割算法(ICNet算法等)对采集的泊车环境信息进行语义分割，再将语义分割图像Ii,j和用户决策信息(ui,j,vi,j,ωi,j)作为输入训练泊车决策πθ(ui,j,vi,j,ωi,j|Ii,j)，通过对自动泊车决策模型输出的模型决策信息
Figure BDA0003230182850000101
和用户决策信息(ui,j,vi,j,ωi,j)间的损失Li进行梯度下降，不断更新参数θ，获得优化的自动泊车决策模型；不同停车位类型对应的自动泊车决策模型相同，模型参数θ不同。
其中ui,j为用户输入的方向盘转角实际值，
Figure BDA0003230182850000102
为自动泊车决策模型预测的方向盘转角，vi,j为用户输入的加速踏板开度的实际值，
Figure BDA0003230182850000103
为自动泊车决策模型预测的加速踏板开度，ωi,j为用户输入的制动踏板开度的实际值，
Figure BDA0003230182850000104
为自动泊车决策模型预测的制动踏板开度，θ为自动泊车决策模型需要学习的参数，对于不同类型的停车位，自动泊车决策模型结构相同，但参数θ不同，在实际应用中，可根据识别出的车位类型选择对应的模型参数，以提高自动泊车决策模型在不同类型停车位的泊车性能。
为了加快自动泊车决策模型的学习速度，本发明使用线性整流函数(ReLUs)作为卷积之后的激活函数，该模型的损失函数包括方向盘转角损失、加速踏板开度损失和制动踏板开度损失：
Figure BDA0003230182850000105
Li为第i次迭代的损失值，N为每次迭代的样本总数，j为用于模型训练的样本编号。
自动泊车决策模型训练过程中采用小批量的梯度下降优化方法对网络权值进行迭代更新，小批量样本数目为100，当迭代到达预定迭代次数或检测到损失不在下降时停止训练。
在实际使用中不同开车经验的用户对于车载自动泊车系统有不同的看法，开车经验丰富的用户比较注重泊车的效率，他们往往会觉得自动泊车系统部分功能冗余，且自动泊车算法耗时较长，不能满足实际需求；开车经验较少的用户偏向于停车技巧的缺失，停车效率不是困扰他们的主要问题，但目前的自动泊车系统适用性较差，不能满足大多数泊车场景下的泊车需求，究其原因在于自动泊车决策模型的高质量训练样本较少，只适用于几种常见泊车场景下，泛化能力较差，不能在某些特殊泊车场景下有效识别停车位，或指导车辆进行自动泊车，当前虽使用仿真技术对一些极端的泊车场景进行模拟，但仿真场景精度不高，且存在向真实场景移植的问题，耗时较长，数据样本丰富性较差，训练的自动泊车决策模型适应性较差。
本发明实施例利用车联网等技术，实时采集各种实际场景下的车辆周围环境信息，基于此重复训练停车位识别模型，并能准确给出停车位的类型，提高停车位识别的效率和精度，同时实时采集各种泊车场景下开车经验丰富的司机输入的用户决策信息，鉴于特定泊车场景下，用户的场景理解能力比自动泊车决策模型更强，应对突发状况的行为更合理，因此将用户决策信息用作特定泊车场景下的标准决策，丰富自动泊车决策模型训练数据集，加快了训练数据的采集进度，降低了训练数据的采集成本，获得的训练数据覆盖了大多数实际路况，集成了各种开车经验用户的思路，用其训练的自动泊车决策模型适应性更强，能在各种泊车环境下进行准确、高效的泊车，提高了自动泊车系统的适应范围和效率。
实施例
当在自动泊车过程中遇到突发状况时，如路边侧方位停车过程中后方驶来一辆三轮车，三轮车挡在自动泊车路线上，此时若按原定路线泊车会发生碰撞，保持在原地不动会挡住三轮车的前进路线，导致道路拥堵，此时需要用户介入进行手动泊车，与三轮车进行交互，确定无障碍后将车辆驶入停车位，在用户对车辆进行干预的过程中，车载传感器将用户决策信息记录下来，建立泊车环境信息与用户决策信息的关联数据并保存，并通过车载网络等传送给云端数据库，对自动泊车决策模型的模型参数进行更新，在后续的泊车过程中，若遇到类似问题，自动泊车决策模型可以为车辆执行更拟人化、更快捷高效的泊车决策提供参考。
将保存的泊车环境信息与用户决策信息关联数据作为训练样本，对待训练的自动泊车决策模型进行重复训练，得到优化后车辆的自动泊车决策模型，这种训练数据采集的成本极低，且是基于实际泊车场景做出的决策，准确性较高，采集的样本数据不仅供本车使用，还可通过车联网技术上传到云端数据库，极大地丰富了泊车场景数据库，在此数据库基础上不断训练更新泊车系统中的自动泊车决策模型，使其在线上应用时具有更好的适应性，使车辆在泊车环境较为复杂时也能输出适用于所述泊车环境的模型决策信息。
本发明可用于实际泊车环境下泊车环境信息与用户模型决策信息的采集，再对两者建立关联关系并保存，此方法采集的泊车数据极大地丰富了泊车场景数据库，以采集的用户决策信息为训练样本，省略了专门进行数据采集的过程，大大提高了数据采集的效率，能克服单一驾驶员的驾驶偏好对自动泊车决策模型的影响，使训练得到的自动泊车决策模型更容易泛化到各种泊车场景下，适用性更强。
图4为3种典型的泊车场景示意图，其中箭头方向表示车辆运动方向。
(a)一字型停车位
一字型停车位就是通常的侧方停车位，多见于道路两旁或空间有限的停车场，如图4的(a)所示，停车位是ABCD四点所包含的矩形区域，泊车要求车辆完全停在该区域内，且车辆停靠在虚线AB内侧，车辆停稳后车头回正，车身与线AB、线CD平行，在泊车过程中车辆不能压线BD和线AC，停车过程中车辆后部边缘不能扫过线CD，这是因为部分一字型停车位的CD边并不是地面上的标识线，而是一面墙体，若扫过线CD也就是车辆后部边缘与墙体发生剐蹭，这在泊车过程中是不允许的。
在泊车过程中使用车载摄像头检测停车位、点B、直线AB与车辆之间的相对位置(坐标位置和角度位置)，使用超声波雷达检测车辆与车辆周围可能障碍物的位置，防止在泊车过程中与其他物体发生碰撞，在道路较窄的路侧进行泊车时，车载传感器还应检测车辆后方的可能来车，判断接下来的泊车操作是否会影响后方车辆的正常行驶，在确定泊车后，要给后方发出信号(打转向灯、减速等)，以免后方车辆占据本车的泊车区域导致泊车失败。
图4的(a)中车辆在泊车过程中探测到后方有一障碍物O以一定的速度行驶过来，如果不采取任何措施继续泊车，障碍物O可能行驶至车辆的泊车路线上导致泊车不能正常进行，如果车辆在发现障碍物O后停止泊车，当障碍物O与车辆相距较近，该方法可行，若两者相距较远，就会导致泊车效率较低，且不符合开车经验，此时自动泊车决策模型可能无法进行泊车处理，需要用户接管车辆控制权，通过按喇叭或打转向灯的方式提醒后方来车慢行礼让，并会意当前的泊车意图，手动操作进行泊车。
通过采集整个过程中的泊车环境信息以及驾驶员的决策信息(鸣喇叭信息、转向灯信息、方向盘转角信息、制动踏板开度及加速踏板开度等)，构建该场景下与后方来车进行交互并泊车的数据样本，将该数据样本传送到云端数据库。
(b)凸字型停车位
凸字型停车位常见于比较大的停车场，往往在停车场道路的两边对称分布，如图4的(b)所示是一典型的凸字型停车位，停车位是A1B1C1D1四点所包含的矩形区域，泊车要求车辆完全停在该区域内，且车头不应超过A1B1，车尾不能超过C1D1，在停车过程中，车辆不能扫过线A1C1、线B1D1，在实际生活中，虽然停车场都画了停车标线，但有些驾驶员可能将车辆的部分停在了本车要停放的停车位内，虽不影响本车的正常泊入，但自动泊车决策模型在执行过程中可能遇到困境。
如图4的(b)所示方框M表示被占用的停车位部分，在泊车过程需使车辆避开位置M以免出现碰撞，在这种情况下自动泊车系统不能指导车辆进行很好的泊车，车辆用户可根据需要选择手动泊车，手动将车辆停靠在A1B1C1D1内的适当位置，在整个泊车过程中，车载传感器对泊车环境进行感知和记录，并将其在时间维度上与车辆的用户决策信息进行一一对应，形成该泊车场景下的样本数据，通过收集样本数据对自动泊车决策模型进行训练，使自动泊车系统在遇到类似场景时，能采取合适的泊车决策，进行有效泊车。
(c)斜线型停车位
斜线型停车位多见于路边和停车场，停车区域为图4的(c)中A2B2C2D2四点所包含的平行四边形区域，要求车辆最终停在该区域内，车身与边A2C2、边D2B2平行，车辆在泊车过程中要时刻观察周围的环境，保证泊车的安全性。
如上所述为常见的三种泊车场景下，自动泊车模型在每种场景下的关注点不同，具体的，在一字型停车位泊车场景下，自动泊车决策模型主要关注侧后方来车及顶点B，在凸字型停车位泊车场景下，自动泊车决策模型主要关注停车位顶点A1、B1及可能侵入该停车位的其他车辆，在斜线型停车位泊车场景下，自动泊车决策模型主要关注侧后方来车及线段A2C2，本发明实施例针对不同的停车位类型选择不同的模型参数，计算相应场景下的模型决策信息，适用各种场景下的自动泊车，适应性强。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (6)

1.自动泊车决策模型优化方法，其特征在于，包括以下步骤：
步骤1，采集车辆周围的泊车环境信息，使用停车位识别模型识别可用停车位，根据识别结果选择是否泊车，若选择不泊车，则重复识别可用停车位，直至选择泊车；
步骤2，自动泊车决策模型根据停车位识别结果和环境信息确定模型决策信息；
步骤3，当用户选择自动泊车时，将模型决策信息输入控制模块，指导车辆进行自动泊车操作；当用户选择手动泊车时，执行步骤4；
步骤4，根据用户决策信息控制车辆进行手动泊车，并模拟模型决策信息指导的自动泊车过程，若自动泊车过程满足泊车终止条件，则不对用户决策信息进行处理，若自动泊车过程不满足泊车终止条件，则执行步骤5；
步骤5，对用户决策信息和车辆周围的环境信息进行关联处理；
步骤6，获取多个车辆的用户决策信息与环境信息的关联数据，基于关联数据对自动泊车模型进行重复训练，获得优化的自动泊车决策模型。
2.根据权利要求1所述的自动泊车决策模型优化方法，其特征在于，所述停车位识别模型包括依次连接的CNN网络、候选区域网络和预测网络；
所述CNN网络用于提取环境信息的语义分割图像在不同尺度下的金字塔特征图；
所述候选区域网络以金字塔特征图为输入，分别使用1×4、1×3、1×2的卷积核识别各金字塔特征图中相应长宽比的感兴趣区域；
所述预测网络以金字塔特征图和感兴趣区域作为输入，使用ROI池化层将各感兴趣区域映射到相应金字塔特征图的相应区域，将区域划分为固定数量的部分，使用最大池化操作获得固定尺寸的特征图，经过两层全连接网络预测停车位的类型和边框信息。
3.根据权利要求1所述的自动泊车决策模型优化方法，其特征在于，所述环境信息包括道路路线图、道路结构图、各障碍物的状态信息、停车位的边线信息及停车位与周围障碍物的距离信息，所述障碍物包括动态障碍物和静态障碍物，所述状态信息包括障碍物的位姿、外形；
所述识别结果包括停车位的类型、大小及位置，停车位类型包括凸字型停车位、一字型停车位和斜线型停车位；
所述模型决策信息和用户决策信息均包括加速踏板开度、制动踏板开度、方向盘转角。
4.根据权利要求1所述的自动泊车决策模型优化方法，其特征在于，所述泊车终止条件包括车辆物理约束、避障约束、活动范围约束、泊车终止条件约束和时间约束。
5.根据权利要求1所述的自动泊车决策模型优化方法，其特征在于，所述自动泊车决策模型由依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层和全连接层组成；
卷积层和池化层用环境信息的语义分割图像Ii,j和用户决策信息(ui,j,vi,j,ωi,j)作为输入，依次提取环境信息由细节到整体的特征，全连接层从提取的特征中分别映射出方向盘转角
Figure FDA0003230182840000021
加速踏板开度
Figure FDA0003230182840000022
和制动踏板开度
Figure FDA0003230182840000023
通过对自动泊车决策模型输出的模型决策信息
Figure FDA0003230182840000024
和用户决策信息(ui,j,vi,j,ωi,j)间的损失Li进行梯度下降，不断更新模型参数，获得优化的自动泊车决策模型；
所述自动泊车决策模型的损失函数如下：
Figure FDA0003230182840000025
其中Li为第i次迭代的损失值，N为每次迭代的样本总数，j为用于模型训练的样本编号，ui,j为用户输入的方向盘转角实际值，
Figure FDA0003230182840000026
为自动泊车决策模型预测的方向盘转角，vi,j为用户输入的加速踏板开度的实际值，
Figure FDA0003230182840000027
为自动泊车决策模型预测的加速踏板开度，ωi,j为用户输入的制动踏板开度的实际值，
Figure FDA0003230182840000028
为自动泊车决策模型预测的制动踏板开度。
6.采用权利要求1-5任一项所述方法优化自动泊车决策模型的系统，其特征在于，包括：
环境信息采集模块，用于采集车辆泊车时周围的环境信息；
停车位识别模块，用于识别可用的停车位；
泊车决策模块，用于基于泊车环境信息和停车位识别结果计算模型决策信息；
用户决策采集模块，用于采集用户输入的决策信息；
车辆-用户交互模块，用于停车位识别结果显示，及用户与用户决策采集模块交互；
控制模块，用于根据用户决策信息或模型决策信息指导车辆进行泊车操作；
比较模块，用于模拟模型决策信息指导的自动泊车过程，并判断该过程是否满足泊车终止条件；
关联模块，用于对用户决策信息和泊车环境信息进行关联处理；
外部通讯模块，用于采集用户决策信息和泊车环境信息关联数据，基于所述关联数据更新自动泊车决策模型参数，得到优化的自动泊车决策模型。
CN202110984262.6A 2021-08-25 2021-08-25 自动泊车决策模型优化系统及方法 Active CN113525357B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110984262.6A CN113525357B (zh) 2021-08-25 2021-08-25 自动泊车决策模型优化系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110984262.6A CN113525357B (zh) 2021-08-25 2021-08-25 自动泊车决策模型优化系统及方法

Publications (2)

Publication Number Publication Date
CN113525357A true CN113525357A (zh) 2021-10-22
CN113525357B CN113525357B (zh) 2022-12-09

Family

ID=78092901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110984262.6A Active CN113525357B (zh) 2021-08-25 2021-08-25 自动泊车决策模型优化系统及方法

Country Status (1)

Country Link
CN (1) CN113525357B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495570A (zh) * 2022-03-03 2022-05-13 南昌智能新能源汽车研究院 一种车路协同自主代客泊车停泊诱导方法
CN114815811A (zh) * 2022-03-23 2022-07-29 吉林大学 无人车轨迹规划方法
CN116039662A (zh) * 2023-03-30 2023-05-02 深圳曦华科技有限公司 自动驾驶控制方法及相关装置

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102933442A (zh) * 2010-06-09 2013-02-13 法雷奥开关和传感器有限责任公司 用于当在停车位中停放时辅助机动车辆的驾驶员的方法、驾驶员辅助装置和机动车辆
CN106985908A (zh) * 2017-03-24 2017-07-28 吉林大学 一种电动轮汽车的全自动泊车装置及方法
US20180025640A1 (en) * 2016-07-19 2018-01-25 Ford Global Technologies, Llc Using Virtual Data To Test And Train Parking Space Detection Systems
US20180093663A1 (en) * 2016-10-04 2018-04-05 Lg Electronics Inc. Parking assistance apparatus and vehicle having the same
US20180093664A1 (en) * 2015-08-12 2018-04-05 Hyundai Motor Company Automatic parking system and automatic parking method
CN108407805A (zh) * 2018-03-30 2018-08-17 中南大学 一种基于dqn的车辆自动泊车方法
US20180246515A1 (en) * 2017-02-28 2018-08-30 Mitsubishi Electric Research Laboratories, Inc. Vehicle Automated Parking System and Method
CN108860139A (zh) * 2018-04-11 2018-11-23 浙江零跑科技有限公司 一种基于深度增强学习的自动泊车轨迹规划方法
CN108928343A (zh) * 2018-08-13 2018-12-04 吉利汽车研究院（宁波）有限公司 一种全景融合自动泊车系统及方法
KR20180136134A (ko) * 2017-06-14 2018-12-24 주식회사 만도 스마트 주차 보조 시스템 및 스마트 주차 보조 시스템의 제어 방법
DE102017127600A1 (de) * 2017-11-22 2019-05-23 Connaught Electronics Ltd. Verfahren zum automatischen Parken für ein Kraftfahrzeug mit einem Fahrunterstützungssystem
CN109800658A (zh) * 2018-12-26 2019-05-24 中汽研（天津）汽车工程研究院有限公司 基于神经网络的泊车位类型在线识别与定位系统及方法
CN110803158A (zh) * 2019-11-26 2020-02-18 奇瑞汽车股份有限公司 一种自动泊车路径规划人机交互方法和系统
US10628688B1 (en) * 2019-01-30 2020-04-21 Stadvision, Inc. Learning method and learning device, and testing method and testing device for detecting parking spaces by using point regression results and relationship between points to thereby provide an auto-parking system
CN111062285A (zh) * 2019-12-06 2020-04-24 合肥学院 一种基于深度学习算法的停车场智能监控识别系统
US20200139973A1 (en) * 2018-11-01 2020-05-07 GM Global Technology Operations LLC Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle
GB202007514D0 (en) * 2020-05-20 2020-07-01 Daimler Ag A method for an automated parking of motor vehicle, as well as an assistance system
CN112714729A (zh) * 2019-11-29 2021-04-27 华为技术有限公司 车辆的路径规划方法以及车辆的路径规划装置
US20210181754A1 (en) * 2019-12-11 2021-06-17 Uatc, Llc Systems and Methods for Training Predictive Models for Autonomous Devices
CN113212422A (zh) * 2021-05-19 2021-08-06 广州小鹏汽车科技有限公司 一种基于自动驾驶的交互方法和装置

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102933442A (zh) * 2010-06-09 2013-02-13 法雷奥开关和传感器有限责任公司 用于当在停车位中停放时辅助机动车辆的驾驶员的方法、驾驶员辅助装置和机动车辆
US20180093664A1 (en) * 2015-08-12 2018-04-05 Hyundai Motor Company Automatic parking system and automatic parking method
US20180025640A1 (en) * 2016-07-19 2018-01-25 Ford Global Technologies, Llc Using Virtual Data To Test And Train Parking Space Detection Systems
US20180093663A1 (en) * 2016-10-04 2018-04-05 Lg Electronics Inc. Parking assistance apparatus and vehicle having the same
US20180246515A1 (en) * 2017-02-28 2018-08-30 Mitsubishi Electric Research Laboratories, Inc. Vehicle Automated Parking System and Method
CN106985908A (zh) * 2017-03-24 2017-07-28 吉林大学 一种电动轮汽车的全自动泊车装置及方法
KR20180136134A (ko) * 2017-06-14 2018-12-24 주식회사 만도 스마트 주차 보조 시스템 및 스마트 주차 보조 시스템의 제어 방법
DE102017127600A1 (de) * 2017-11-22 2019-05-23 Connaught Electronics Ltd. Verfahren zum automatischen Parken für ein Kraftfahrzeug mit einem Fahrunterstützungssystem
CN108407805A (zh) * 2018-03-30 2018-08-17 中南大学 一种基于dqn的车辆自动泊车方法
CN108860139A (zh) * 2018-04-11 2018-11-23 浙江零跑科技有限公司 一种基于深度增强学习的自动泊车轨迹规划方法
CN108928343A (zh) * 2018-08-13 2018-12-04 吉利汽车研究院（宁波）有限公司 一种全景融合自动泊车系统及方法
US20200139973A1 (en) * 2018-11-01 2020-05-07 GM Global Technology Operations LLC Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle
CN109800658A (zh) * 2018-12-26 2019-05-24 中汽研（天津）汽车工程研究院有限公司 基于神经网络的泊车位类型在线识别与定位系统及方法
US10628688B1 (en) * 2019-01-30 2020-04-21 Stadvision, Inc. Learning method and learning device, and testing method and testing device for detecting parking spaces by using point regression results and relationship between points to thereby provide an auto-parking system
CN110803158A (zh) * 2019-11-26 2020-02-18 奇瑞汽车股份有限公司 一种自动泊车路径规划人机交互方法和系统
CN112714729A (zh) * 2019-11-29 2021-04-27 华为技术有限公司 车辆的路径规划方法以及车辆的路径规划装置
CN111062285A (zh) * 2019-12-06 2020-04-24 合肥学院 一种基于深度学习算法的停车场智能监控识别系统
US20210181754A1 (en) * 2019-12-11 2021-06-17 Uatc, Llc Systems and Methods for Training Predictive Models for Autonomous Devices
GB202007514D0 (en) * 2020-05-20 2020-07-01 Daimler Ag A method for an automated parking of motor vehicle, as well as an assistance system
CN113212422A (zh) * 2021-05-19 2021-08-06 广州小鹏汽车科技有限公司 一种基于自动驾驶的交互方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张金梦等: "遗传算法优化BP神经网络的泊车位数量预测", 《重庆大学学报》 *
李红等: "基于Matlab的多约束自动平行泊车轨迹规划", 《中南大学学报(自然科学版)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495570A (zh) * 2022-03-03 2022-05-13 南昌智能新能源汽车研究院 一种车路协同自主代客泊车停泊诱导方法
CN114815811A (zh) * 2022-03-23 2022-07-29 吉林大学 无人车轨迹规划方法
CN116039662A (zh) * 2023-03-30 2023-05-02 深圳曦华科技有限公司 自动驾驶控制方法及相关装置
CN116039662B (zh) * 2023-03-30 2023-08-08 深圳曦华科技有限公司 自动驾驶控制方法及相关装置

Also Published As

Publication number Publication date
CN113525357B (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN113525357B (zh) 自动泊车决策模型优化系统及方法
CN107368890B (zh) 一种以视觉为中心的基于深度学习的路况分析方法及系统
US11651302B2 (en) Method and device for generating synthetic training data for an artificial-intelligence machine for assisting with landing an aircraft
US11574462B1 (en) Data augmentation for detour path configuring
CN109948707B (zh) 模型训练方法、装置、终端及存储介质
CN113095152B (zh) 一种基于回归的车道线检测方法及系统
CN105844257A (zh) 基于机器视觉雾天行车错失道路标志牌的预警系统及方法
US20240005642A1 (en) Data Augmentation for Vehicle Control
Dewangan et al. Towards the design of vision-based intelligent vehicle system: methodologies and challenges
CN111931683A (zh) 图像识别方法、装置及计算机可读存储介质
CN114419603A (zh) 一种自动驾驶车辆控制方法、系统和自动驾驶车辆
CN115273032A (zh) 交通标志识别方法、装置、设备及介质
CN115909245A (zh) 一种基于深度学习的视觉多任务处理方法
CN114898322A (zh) 行车环境识别方法、装置、车辆及存储介质
CN116630920A (zh) 改进的YOLOv5s网络模型的车道线种类识别方法
Cheng et al. Semantic segmentation of road profiles for efficient sensing in autonomous driving
CN117372991A (zh) 基于多视角多模态融合的自动驾驶方法及系统
US11702011B1 (en) Data augmentation for driver monitoring
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
US20230206654A1 (en) Embedded Deep Learning Multi-Scale Object Detection Model Using Real-Time Distant Region Locating Device and Method Thereof
CN114677662A (zh) 一种车辆前方障碍状态预测方法、装置、设备及存储介质
Gorodnichev et al. Development of Software Module for Recognizing Traffic Flows Through Deep Learning
CN118397602B (zh) 一种智能路牌识别车载摄像头系统
CN116048096B (zh) 一种基于层次化深度感知的无人车运动规划方法
CN117765503A (zh) 2d视觉与3d点云后融合感知方法、设备和移动装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant