CN111291650A - 自动泊车辅助的方法及装置 - Google Patents

自动泊车辅助的方法及装置 Download PDF

Info

Publication number
CN111291650A
CN111291650A CN202010070302.1A CN202010070302A CN111291650A CN 111291650 A CN111291650 A CN 111291650A CN 202010070302 A CN202010070302 A CN 202010070302A CN 111291650 A CN111291650 A CN 111291650A
Authority
CN
China
Prior art keywords
parking space
information
layer
image
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010070302.1A
Other languages
English (en)
Other versions
CN111291650B (zh
Inventor
陈术义
胡胜豪
陈聪
田野
阮善恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010070302.1A priority Critical patent/CN111291650B/zh
Publication of CN111291650A publication Critical patent/CN111291650A/zh
Application granted granted Critical
Publication of CN111291650B publication Critical patent/CN111291650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本申请实施例提供一种自动泊车辅助的方法及装置，涉及图像处理领域的自动泊车技术，具体包括：获取车辆所处场景的图像；对图像进行预处理，得到符合视觉感知模型输入要求的预处理图像；其中，视觉感知模型可以是预先训练的神经网络模型，视觉感知模型包括：障碍物检测层、可行驶区域分割层、车位角点检测层、车位线分割层和融合层；将预处理图像输入视觉感知模型；利用视觉感知模型输出可行驶区域和车位信息，该多输出的视觉感知模型可以运行在相对通用低端的芯片上，使得自动泊车系统可以不依赖专业芯片，从而使得自动泊车系统成本较低、兼容性较好，可以适用于低端车辆。

Description

自动泊车辅助的方法及装置
技术领域
本申请涉及图像处理领域的自动泊车技术，尤其涉及一种自动泊车辅助的方法及装置。
背景技术
在自动驾驶领域中，自动泊车系统是较为重要的部分。自动泊车系统的安全性、效率和鲁棒性要求较高，因此自动泊车系统中对车辆周围的环境感知非常重要。
现有技术中，通常采用性能较好的专业的图像处理器(Graphics ProcessingUnit，GPU)或定制芯片等运行多个深度模型，实现对周围的障碍物、车位等的检测。
但是在现有技术中，专业芯片的成本昂贵、兼容性差，在一些低端车辆中，通常无法配备专业芯片，导致自动泊车系统在低端车辆中的发展得到较大制约。
发明内容
本申请实施例提供一种自动泊车辅助的方法及装置，以解决现有技术中自动泊车系统依赖专业芯片成本高、兼容性差的技术问题。
本申请实施例第一方面提供一种自动泊车辅助的方法，应用于自动驾驶车辆，所述方法包括：
获取车辆所处场景的图像；对所述图像进行预处理，得到符合视觉感知模型输入要求的预处理图像；其中，所述视觉感知模型包括：障碍物检测层、可行驶区域分割层、车位角点检测层、车位线分割层和融合层；所述障碍物检测层用于计算障碍物信息，所述可行驶区域分割层用于计算可行驶区域信息，所述车位角点检测层用于计算车位角点信息，所述车位线分割层用于计算车位线信息，所述融合层用于根据所述障碍物信息和所述可行驶区域信息得到目标可行驶区域，以及根据车位角点信息和所述车位线信息得到目标车位信息；将所述预处理图像输入所述视觉感知模型；利用所述视觉感知模型输出可行驶区域和车位信息。本申请实施例中可以训练一个实现多功能输出的视觉感知模型，该视觉感知模型可以运行在相对通用低端的芯片上，使整个感知系统扩展性、兼容性的开发维护与用户友善性高。
可选的，所述利用所述视觉感知模型输出可行驶区域和车位信息，包括：
利用所述障碍物检测层计算所述待处理图像的障碍物信息；利用所述可行驶区域分割层计算所述待处理图像的可行驶区域信息；利用所述车位角点检测层计算所述待处理图像的车位角点信息；利用所述车位线分割层计算所述待处理图像的车位线信息；利用所述融合层根据所述待处理图像的障碍物信息和所述待处理图像的可行驶区域信息得到可行驶区域，以及根据待处理图像的车位角点信息和所述待处理图像的车位线信息得到车位信息；输出所述可行驶区域和所述车位信息。
可选的，所述融合层具体用于：根据障碍物信息的权重和可行驶区域信息的权重，计算得到目标可行驶区域。这样，可以得到较准确的目标可行驶区域。
可选的，所述障碍物信息的权重与所述可行驶区域信息的权重是根据障碍物信息和可行驶区域信息的输出概率图动态计算的。
可选的，所述融合层具体用于：根据车位角点信息的权重和所述车位线信息的权重计算得到目标车位信息。这样，可以得到较准确的目标车位信息。
可选的，所述车位角点信息的权重与所述车位线信息的权重是根据车位角点信息和车位线信息的输出概率图动态计算的。
可选的，所述获取车辆所处场景的图像包括：在所述车辆处于巡航或搜索状态时，利用设置在所述车辆的车头和两侧的摄像头拍摄得到所述图像；在所述车辆处于泊车状态时，利用设置在所述车辆的车头和车尾的摄像头拍摄得到所述图像。这样，通过车辆状态可以分别调用不同的摄像头获取适应的场景的图像。
可选的，所述方法还包括：根据所述可行驶区域和所述车位信息，规划泊车轨迹。这样可以进一步根据泊车轨迹实现车辆的自动泊车。
可选的，所述视觉感知模型设置在所述车辆的车载影音系统中。因为车载影音系统在车辆中较为普及，且成本较低，因此可以使得本申请实施例的方案适用于较多的车辆泊车系统。
本申请实施例第二方面提供一种自动泊车辅助的装置，应用于自动驾驶车辆，包括：
获取模块，用于获取车辆所处场景的图像；
处理模块，用于对所述图像进行预处理，得到符合视觉感知模型输入要求的预处理图像；其中，所述视觉感知模型包括：障碍物检测层、可行驶区域分割层、车位角点检测层、车位线分割层和融合层；所述障碍物检测层用于计算障碍物信息，所述可行驶区域分割层用于计算可行驶区域信息，所述车位角点检测层用于计算车位角点信息，所述车位线分割层用于计算车位线信息，所述融合层用于根据所述障碍物信息和所述可行驶区域信息得到目标可行驶区域，以及根据车位角点信息和所述车位线信息得到目标车位信息；
输入模块，用于将所述预处理图像输入所述视觉感知模型；
输出模块，用于利用所述视觉感知模型输出可行驶区域和车位信息。
可选的，所述输出模块具体用于：
利用所述障碍物检测层计算所述待处理图像的障碍物信息；
利用所述可行驶区域分割层计算所述待处理图像的可行驶区域信息；
利用所述车位角点检测层计算所述待处理图像的车位角点信息；
利用所述车位线分割层计算所述待处理图像的车位线信息；
利用所述融合层根据所述待处理图像的障碍物信息和所述待处理图像的可行驶区域信息得到可行驶区域，以及根据待处理图像的车位角点信息和所述待处理图像的车位线信息得到车位信息；
输出所述可行驶区域和所述车位信息。
可选的，所述融合层具体用于：根据障碍物信息的权重和可行驶区域信息的权重，计算得到目标可行驶区域。
可选的，所述障碍物信息的权重与所述可行驶区域信息的权重是根据障碍物信息和可行驶区域信息的输出概率图动态计算的。
可选的，所述融合层具体用于：根据车位角点信息的权重和所述车位线信息的权重计算得到目标车位信息。
可选的，所述车位角点信息的权重与所述车位线信息的权重是根据车位角点信息和车位线信息的输出概率图动态计算的。
可选的，所述获取模块具体用于：
在所述车辆处于巡航或搜索状态时，利用设置在所述车辆的车头和两侧的摄像头拍摄得到所述图像；
在所述车辆处于泊车状态时，利用设置在所述车辆的车头和车尾的摄像头拍摄得到所述图像。
可选的，所述装置还包括：
规划模块，用于根据所述可行驶区域和所述车位信息，规划泊车轨迹。
可选的，所述视觉感知模型设置在所述车辆的车载影音系统中。
本申请实施例第三方面提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前述第一方面任一项所述的方法。
本申请实施例第四方面提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如前述第一方面中任一项所述的方法。
综上所述，本申请实施例相对于现有技术的有益效果：
本申请实施例中提供了一种自动泊车辅助的方法及装置，可以训练一个实现多功能输出的视觉感知模型，该视觉感知模型可以运行在相对通用低端的芯片上，使整个感知系统扩展性、兼容性的开发维护与用户友善性高。具体的，本申请实施例中，在进行自动泊车辅助时，可以获取车辆所处场景的图像；对图像进行预处理，得到符合视觉感知模型输入要求的预处理图像；其中，视觉感知模型可以是预先训练的神经网络模型，视觉感知模型包括：障碍物检测层、可行驶区域分割层、车位角点检测层、车位线分割层和融合层；障碍物检测层用于计算障碍物信息，可行驶区域分割层用于计算可行驶区域信息，车位角点检测层用于计算车位角点信息，车位线分割层用于计算车位线信息，融合层用于根据障碍物信息和可行驶区域信息得到目标可行驶区域，以及根据车位角点信息和车位线信息得到目标车位信息；将预处理图像输入视觉感知模型；利用视觉感知模型输出可行驶区域和车位信息，该多输出的视觉感知模型可以运行在相对通用低端的芯片上，使得自动泊车系统可以不依赖专业芯片，从而使得自动泊车系统成本较低、兼容性较好，可以适用于低端车辆。
附图说明
图1为本申请实施例提供的自动泊车辅助的方法适用的系统架构示意图；
图2为本申请实施例提供的自动泊车辅助的方法的流程示意图；
图3为本申请实施例提供的视觉感知模型架构示意图；
图4为本申请实施例提供的自动泊车辅助的方法运行时间示意图；
图5为本申请实施例提供的自动泊车辅助装置的结构示意图；
图6是用来实现本申请实施例的自动泊车辅助的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本申请实施例的自动泊车辅助方法可以应用于自动行驶车辆，自动行驶车辆可以是无人驾驶的车辆，也可以是有人驾驶且有辅助驾驶功能的车辆，车辆具体可以包括轿车、越野车、货车等，本申请实施例对自动行驶车辆不作具体限定。
自动行驶车辆中可以设置摄像头，摄像头可以采集车辆所处场景的图像，示例性的，摄像头可以是鱼眼摄像头或其他任意形式的摄像头，摄像头可以布设于车辆的车头、车位及车身两侧对应的区域，使得基于摄像头可以获取车辆所处场景周围的图像。
现有技术中，为了在低性能的芯片中实现自动泊车，一种可能的实现是在芯片上串行或并行多个感知检测模型，不同的模型用于得到自动泊车中需要的某个参数，但是多个模型涉及系统调度，对主处理器的占用率非常高，导致延迟非常严重。本申请实施例所描述的视觉感知模型可以是多输出的单个神经网络模型，可以理解，因为本申请的视觉感知模型是单个模型，相较于现有技术中可能的采用多个模型感知车辆周围环境的方式，本申请实施例的视觉感知模型不涉及系统调度，不会对系统处理器的使用率造成过多占用，因此，本申请实施例的视觉感知模型可以设置在车辆中较为通用的车载影音系统等成本低廉的芯片上，部署容易、可移植性强，使得低端车辆也可以实现自动泊车辅助。
可以理解，因为本申请实施例的视觉感知模型是多输出的单个神经网络模型，在训练视觉感知模型时，可能涉及多个输出之间的平衡，训练难度较大，因此，可以先训练与该视觉感知模型相关的单输出模型(例如只输出目标可行驶区域的模型和只输出目标车位信息的模型等)，得到单输出模型的收敛程度，然后结合各单输出模型的收敛程度作为参考，训练本申请实施例的多输出模型视觉感知模型，从而可以减低视觉感知模型训练的难度。
本申请实施例所描述的障碍物可以是车辆周围的其他车辆、锥筒、行人或其他任意可能造成车辆行驶障碍的物体。
本申请实施例所描述的可行驶区域信息可以是初步预测的允许车辆通行的区域的信息。
本申请实施例所描述的车位角点信息可以是车位的四个角的信息。
本申请实施例多描述的车位线信息可以是围成车位的线的信息。
如图1所示，图1为本申请实施例提供的方法所适用的应用场景架构示意图。
本申请实施例中，在进行自动泊车辅助时，车辆11可以获取车辆11所处场景的图像；并对图像进行预处理，得到符合视觉感知模型输入要求的预处理图像；其中，视觉感知模型可以是预先训练的神经网络模型，视觉感知模型包括：障碍物检测层、可行驶区域分割层、车位角点检测层、车位线分割层和融合层；障碍物检测层用于计算障碍物信息，可行驶区域分割层用于计算可行驶区域信息，车位角点检测层用于计算车位角点信息，车位线分割层用于计算车位线信息，融合层用于根据障碍物信息和可行驶区域信息得到目标可行驶区域，以及根据车位角点信息和车位线信息得到目标车位信息；进一步将预处理图像输入设置在车辆11的影音芯片等较通用芯片中的视觉感知模型；则可以利用视觉感知模型输出可行驶区域和车位12的信息，该多输出的视觉感知模型可以运行在相对通用低端的芯片上，使得自动泊车系统可以不依赖专业芯片，从而使得自动泊车系统成本较低、兼容性较好，可以适用于低端车辆。
需要说明的是，本申请实施例的视觉感知模型中的“层”，也可以称为“头”或其他的名称。例如，障碍物检测层、可行驶区域分割层、车位角点检测层、车位线分割层分别可能被称为障碍物检测头、可行驶区域分割头、车位角点检测头、车位线分割头。本申请实施例对此不作具体限定。
如图2所示，图2为本申请实施例提供的自动泊车辅助的方法的流程示意图。该方法具体可以包括：
步骤S101：获取车辆所处场景的图像。
本申请实施例中，在进行自动泊车的巡航或搜索或泊车时，可以基于设置在车辆上的摄像头等获取车辆所处场景的图像。
示例性的，在车辆中可以触发执行自动泊车，进而，车辆可以根据摄像头采集场景的图像。
可选的，所述获取车辆所处场景的图像包括：在所述车辆处于巡航或搜索状态时，利用设置在所述车辆的车头和两侧的摄像头拍摄得到所述图像；在所述车辆处于泊车状态时，利用设置在所述车辆的车头和车尾的摄像头拍摄得到所述图像。
本申请实施例中，自动泊车系统运行期间，存在巡航或搜索、泊车等几种状态，通过车辆状态可以分别调用不同的摄像头获取适应的场景的图像。
示例性的，在车辆处于巡航或搜索状态时，通常需要感知车辆两侧和前方的场景，因此可以利用设置在车辆的车头和两侧的摄像头拍摄得到图像，在车辆处于泊车状态时，通常需要感知车辆车头和车尾的场景，因此可以利用设置在车辆的车头和车尾的摄像头拍摄得到图像。
可以理解，实际应用中，可以根据实际的需求采用适应的摄像头拍摄得到场景的图像，本申请实施例对此不作具体限定。
步骤S102：对所述图像进行预处理，得到符合视觉感知模型输入要求的预处理图像；其中，所述视觉感知模型包括：障碍物检测层、可行驶区域分割层、车位角点检测层、车位线分割层和融合层；所述障碍物检测层用于计算障碍物信息，所述可行驶区域分割层用于计算可行驶区域信息，所述车位角点检测层用于计算车位角点信息，所述车位线分割层用于计算车位线信息，所述融合层用于根据所述障碍物信息和所述可行驶区域信息得到目标可行驶区域，以及根据车位角点信息和所述车位线信息得到目标车位信息。
本申请实施例中，视觉感知模型可以是基于包括可行驶区域、障碍物信息、车位角点和车位信息的样本训练得到的。训练视觉感知模型时，可以根据视觉模型输出的预测值与样本中的实际值之间的损失函数，调整视觉感知模型的各参数，最终得到能输出校准确可行驶区域和车位信息的视觉感知模型。
示例性的，如图3所示，视觉感知模型可以有多个头部分支，例如包括障碍物检测层、可行驶区域分割层、车位角点检测层和车位线分割层。障碍物检测层可以基于分类和回归等算法进行多类别障碍物检测，车位角点检测层可以定位车位角点位置，可行驶区域分割层可以分割车辆可运行的位置场景，车位线分割层可以分割完整车位。
即各检测头、分割头负责不同的任务输出，多种任务可以共享主干基础网络，实现优化设计的卷积神经网络(Convolutional Neural Network，CNN)。具体应用中，可以结合单个任务特性，逐个设计、训练CNN网络中各检测、分割头的粒度、融合程度、尺度等，以实现较优输出。
视觉感知模型还包括融合层，融合层可以对障碍物检测层、可行驶区域分割层、车位角点检测层和车位线分割层输出的内容进行融合去噪增强，同步还原得到车位周边各种环境信息，不涉及到并行与串行的设计，不涉及到时序处理。
具体的，融合层可以根据障碍物信息对可行驶区域信息进行去燥增强，得到目标可行驶区域，根据车位角点信息对车位线信息进行去燥增强，得到目标车位信息，从而可以提高系统对单个输出神经网络检测的容错能力。
可选的，所述融合层具体用于：根据障碍物信息的权重和可行驶区域信息的权重，计算得到目标可行驶区域。
本申请实施例中，障碍物信息和可行驶区域信息均可以用于车辆的避障行驶轨迹，因此，可以根据障碍物信息的权重和可行驶区域信息的权重，计算得到目标可行驶区域。
障碍物信息的权重和可行驶区域信息的权重可以根据实际的应用场景设定，示例性的，障碍物通常容易识别，而可行驶区域计算时，容易受到阴影等的干扰，因此，可以设置障碍物信息的权重大于可行驶区域信息的权重，例如，对可行驶区域和障碍物，根据障碍物大小、类别，赋予可变权重，采用投票权重与概率叠加的策略，从图像数据角度校验车辆行驶路线以及安全状态，使得可以根据障碍物信息对可行驶区域进行修正去燥。
可选的，所述障碍物信息的权重与所述可行驶区域信息的权重是根据障碍物信息和可行驶区域信息的输出概率图动态计算的。本申请实施例中，障碍物信息和可行驶区域信息的输出概率图可以准确的反映障碍物信息和可行驶区域信息的输出准确率，因此可以根据障碍物信息和可行驶区域信息的输出概率图动态确定障碍物信息的权重与可行驶区域信息的权重，从而可以得到校准确的目标可行驶区域。
可选的，所述融合层具体用于：根据车位角点信息的权重和所述车位线信息的权重计算得到目标车位信息。
车位角点信息的权重和所述车位线信息的权重可以根据实际的应用场景设定，示例性的，车位线通常容易识别，而车位角点计算时，容易受到周围例如地锁等的干扰，因此，可以设置车位线信息的权重大于车位角点信息的权重，使得可以根据车位线信息对车位角点信息进行修正去燥。
可选的，所述车位角点信息的权重与所述车位线信息的权重是根据车位角点信息和车位线信息的输出概率图动态计算的。本申请实施例中，车位角点信息和车位线信息的输出概率图可以准确的反映车位角点信息和车位线信息的输出准确率，因此可以根据车位角点信息和车位线信息的输出概率图动态确定车位角点信息的权重与车位线信息的权重，从而可以得到校准确的目标车位信息。
本申请实施例中，视觉感知模型的输入可能需要满足一定的尺寸、灰度或红绿蓝(red green blue，RGB)通道等，因此，可以对获取的图像进行预处理，得到符合视觉感知模型输入要求的预处理图像。
步骤S103：将所述预处理图像输入所述视觉感知模型。
步骤S104：利用所述视觉感知模型输出可行驶区域和车位信息。
本申请实施例中，将预处理图像输入视觉感知模型，则视觉感知模型可以自动输出可行驶区域和车位信息。示例性的，视觉感知模型可以输出用于表示可行驶区域的位置信息，以及用于表示车位信息的位置信息，从而得到车辆周围的环境信息。
可选的，所述利用所述视觉感知模型输出可行驶区域和车位信息，包括：
利用所述障碍物检测层计算所述待处理图像的障碍物信息；利用所述可行驶区域分割层计算所述待处理图像的可行驶区域信息；利用所述车位角点检测层计算所述待处理图像的车位角点信息；利用所述车位线分割层计算所述待处理图像的车位线信息；利用所述融合层根据所述待处理图像的障碍物信息和所述待处理图像的可行驶区域信息得到可行驶区域，以及根据待处理图像的车位角点信息和所述待处理图像的车位线信息得到车位信息；输出所述可行驶区域和所述车位信息。
本申请实施例中，视觉感知模型可以利用图3对应的模型架构，自动输出可徐昂是区域和车位信息，视觉感知模型各头部以及融合层的具体计算方式可以参照S102中的描述，在此不再赘述。
实践中，如图4所示，本申请实施例的单网络输出(即只设置一个视觉感知模型)与现有技术中的障碍物识别模型、可行驶区域识别模型、车位线识别模型以及车位角点模型的输出时间(单位为毫秒)相差不大，且能一次性得到多个输出，使视觉感知系统对数据的处理速度提升300％～400％。
可选的，所述方法还包括：根据所述可行驶区域和所述车位信息，规划泊车轨迹。
本申请实施例中，在得到可行驶区域和车位信息后，可以根据可行驶区域和车位信息规划泊车轨迹，使得车辆可以按照泊车轨迹完成泊车，本申请实施例对确定泊车轨迹的具体方式不作限定。
综上所述，本申请实施例中提供了一种自动泊车辅助的方法及装置，可以训练一个实现多功能输出的视觉感知模型，该视觉感知模型可以运行在相对通用低端的芯片上，使整个感知系统扩展性、兼容性的开发维护与用户友善性高。具体的，本申请实施例中，在进行自动泊车辅助时，可以获取车辆所处场景的图像；对图像进行预处理，得到符合视觉感知模型输入要求的预处理图像；其中，视觉感知模型可以是预先训练的神经网络模型，视觉感知模型包括：障碍物检测层、可行驶区域分割层、车位角点检测层、车位线分割层和融合层；障碍物检测层用于计算障碍物信息，可行驶区域分割层用于计算可行驶区域信息，车位角点检测层用于计算车位角点信息，车位线分割层用于计算车位线信息，融合层用于根据障碍物信息和可行驶区域信息得到目标可行驶区域，以及根据车位角点信息和车位线信息得到目标车位信息；将预处理图像输入视觉感知模型；利用视觉感知模型输出可行驶区域和车位信息，该多输出的视觉感知模型可以运行在相对通用低端的芯片上，使得自动泊车系统可以不依赖专业芯片，从而使得自动泊车系统成本较低、兼容性较好，可以适用于低端车辆。
图5为本申请提供的自动泊车辅助的装置一实施例的结构示意图。应用于自动驾驶车辆，如图5所示，本实施例提供的自动泊车辅助的装置包括：
获取模块31，用于获取车辆所处场景的图像；
处理模块32，用于对所述图像进行预处理，得到符合视觉感知模型输入要求的预处理图像；其中，所述视觉感知模型包括：障碍物检测层、可行驶区域分割层、车位角点检测层、车位线分割层和融合层；所述障碍物检测层用于计算障碍物信息，所述可行驶区域分割层用于计算可行驶区域信息，所述车位角点检测层用于计算车位角点信息，所述车位线分割层用于计算车位线信息，所述融合层用于根据所述障碍物信息和所述可行驶区域信息得到目标可行驶区域，以及根据车位角点信息和所述车位线信息得到目标车位信息；
输入模块33，用于将所述预处理图像输入所述视觉感知模型；
输出模块34，用于利用所述视觉感知模型输出可行驶区域和车位信息。
可选的，所述输出模块具体用于：
利用所述障碍物检测层计算所述待处理图像的障碍物信息；
利用所述可行驶区域分割层计算所述待处理图像的可行驶区域信息；
利用所述车位角点检测层计算所述待处理图像的车位角点信息；
利用所述车位线分割层计算所述待处理图像的车位线信息；
利用所述融合层根据所述待处理图像的障碍物信息和所述待处理图像的可行驶区域信息得到可行驶区域，以及根据待处理图像的车位角点信息和所述待处理图像的车位线信息得到车位信息；
输出所述可行驶区域和所述车位信息。
可选的，所述融合层具体用于：根据障碍物信息的权重和可行驶区域信息的权重，计算得到目标可行驶区域。
可选的，所述障碍物信息的权重与所述可行驶区域信息的权重是根据障碍物信息和可行驶区域信息的输出概率图动态计算的。
可选的，所述融合层具体用于：根据车位角点信息的权重和所述车位线信息的权重计算得到目标车位信息。
可选的，所述车位角点信息的权重与所述车位线信息的权重是根据车位角点信息和车位线信息的输出概率图动态计算的。
可选的，所述获取模块具体用于：
在所述车辆处于巡航或搜索状态时，利用设置在所述车辆的车头和两侧的摄像头拍摄得到所述图像；
在所述车辆处于泊车状态时，利用设置在所述车辆的车头和车尾的摄像头拍摄得到所述图像。
可选的，所述装置还包括：
规划模块，用于根据所述可行驶区域和所述车位信息，规划泊车轨迹。
可选的，所述视觉感知模型设置在所述车辆的车载影音系统中。
综上所述，本申请实施例中提供了一种自动泊车辅助的方法及装置，可以训练一个实现多功能输出的视觉感知模型，该视觉感知模型可以运行在相对通用低端的芯片上，使整个感知系统扩展性、兼容性的开发维护与用户友善性高。具体的，本申请实施例中，在进行自动泊车辅助时，可以获取车辆所处场景的图像；对图像进行预处理，得到符合视觉感知模型输入要求的预处理图像；其中，视觉感知模型可以是预先训练的神经网络模型，视觉感知模型包括：障碍物检测层、可行驶区域分割层、车位角点检测层、车位线分割层和融合层；障碍物检测层用于计算障碍物信息，可行驶区域分割层用于计算可行驶区域信息，车位角点检测层用于计算车位角点信息，车位线分割层用于计算车位线信息，融合层用于根据障碍物信息和可行驶区域信息得到目标可行驶区域，以及根据车位角点信息和车位线信息得到目标车位信息；将预处理图像输入视觉感知模型；利用视觉感知模型输出可行驶区域和车位信息，该多输出的视觉感知模型可以运行在相对通用低端的芯片上，使得自动泊车系统可以不依赖专业芯片，从而使得自动泊车系统成本较低、兼容性较好，可以适用于低端车辆。
本申请各实施例提供的自动泊车辅助的装置可用于执行如前述各对应的实施例所示的方法，其实现方式与原理相同，不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图6所示，是根据本申请实施例的自动泊车辅助的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的自动泊车辅助的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的自动泊车辅助的方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的自动泊车辅助的方法对应的程序指令/模块(例如，附图5所示的获取模块31、处理模块32、输入模块33和输出模块34)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的自动泊车辅助的方法。存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据自动泊车辅助的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至自动泊车辅助的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
自动泊车辅助的方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与自动泊车辅助的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，可以训练一个实现多功能输出的视觉感知模型，该视觉感知模型可以运行在相对通用低端的芯片上，使整个感知系统扩展性、兼容性的开发维护与用户友善性高。具体的，本申请实施例中，在进行自动泊车辅助时，可以获取车辆所处场景的图像；对图像进行预处理，得到符合视觉感知模型输入要求的预处理图像；其中，视觉感知模型可以是预先训练的神经网络模型，视觉感知模型包括：障碍物检测层、可行驶区域分割层、车位角点检测层、车位线分割层和融合层；障碍物检测层用于计算障碍物信息，可行驶区域分割层用于计算可行驶区域信息，车位角点检测层用于计算车位角点信息，车位线分割层用于计算车位线信息，融合层用于根据障碍物信息和可行驶区域信息得到目标可行驶区域，以及根据车位角点信息和车位线信息得到目标车位信息；将预处理图像输入视觉感知模型；利用视觉感知模型输出可行驶区域和车位信息，该多输出的视觉感知模型可以运行在相对通用低端的芯片上，使得自动泊车系统可以不依赖专业芯片，从而使得自动泊车系统成本较低、兼容性较好，可以适用于低端车辆。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (20)

1.一种自动泊车辅助的方法，其特征在于，应用于自动驾驶车辆，所述方法包括：
获取车辆所处场景的图像；
对所述图像进行预处理，得到符合视觉感知模型输入要求的预处理图像；其中，所述视觉感知模型包括：障碍物检测层、可行驶区域分割层、车位角点检测层、车位线分割层和融合层；所述障碍物检测层用于计算障碍物信息，所述可行驶区域分割层用于计算可行驶区域信息，所述车位角点检测层用于计算车位角点信息，所述车位线分割层用于计算车位线信息，所述融合层用于根据所述障碍物信息和所述可行驶区域信息得到目标可行驶区域，以及根据车位角点信息和所述车位线信息得到目标车位信息；
将所述预处理图像输入所述视觉感知模型；
利用所述视觉感知模型输出可行驶区域和车位信息。
2.根据权利要求1所述的方法，其特征在于，所述利用所述视觉感知模型输出可行驶区域和车位信息，包括：
利用所述障碍物检测层计算所述待处理图像的障碍物信息；
利用所述可行驶区域分割层计算所述待处理图像的可行驶区域信息；
利用所述车位角点检测层计算所述待处理图像的车位角点信息；
利用所述车位线分割层计算所述待处理图像的车位线信息；
利用所述融合层根据所述待处理图像的障碍物信息和所述待处理图像的可行驶区域信息得到可行驶区域，以及根据待处理图像的车位角点信息和所述待处理图像的车位线信息得到车位信息；
输出所述可行驶区域和所述车位信息。
3.根据权利要求1或2所述的方法，其特征在于，所述融合层具体用于：根据障碍物信息的权重和可行驶区域信息的权重，计算得到目标可行驶区域。
4.根据权利要求3所述的方法，其特征在于，所述障碍物信息的权重与所述可行驶区域信息的权重是根据障碍物信息和可行驶区域信息的输出概率图动态计算的。
5.根据权利要求1或2所述的方法，其特征在于，所述融合层具体用于：根据车位角点信息的权重和所述车位线信息的权重计算得到目标车位信息。
6.根据权利要求5所述的方法，其特征在于，所述车位角点信息的权重与所述车位线信息的权重是根据车位角点信息和车位线信息的输出概率图动态计算的。
7.根据权利要求1所述的方法，其特征在于，所述获取车辆所处场景的图像包括：
在所述车辆处于巡航或搜索状态时，利用设置在所述车辆的车头和两侧的摄像头拍摄得到所述图像；
在所述车辆处于泊车状态时，利用设置在所述车辆的车头和车尾的摄像头拍摄得到所述图像。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述可行驶区域和所述车位信息，规划泊车轨迹。
9.根据权利要求1所述的方法，其特征在于，所述视觉感知模型设置在所述车辆的车载影音系统中。
10.一种自动泊车辅助的装置，其特征在于，应用于自动驾驶车辆，包括：
获取模块，用于获取车辆所处场景的图像；
处理模块，用于对所述图像进行预处理，得到符合视觉感知模型输入要求的预处理图像；其中，所述视觉感知模型包括：障碍物检测层、可行驶区域分割层、车位角点检测层、车位线分割层和融合层；所述障碍物检测层用于计算障碍物信息，所述可行驶区域分割层用于计算可行驶区域信息，所述车位角点检测层用于计算车位角点信息，所述车位线分割层用于计算车位线信息，所述融合层用于根据所述障碍物信息和所述可行驶区域信息得到目标可行驶区域，以及根据车位角点信息和所述车位线信息得到目标车位信息；
输入模块，用于将所述预处理图像输入所述视觉感知模型；
输出模块，用于利用所述视觉感知模型输出可行驶区域和车位信息。
11.根据权利要求10所述的装置，其特征在于，所述输出模块具体用于：
利用所述障碍物检测层计算所述待处理图像的障碍物信息；
利用所述可行驶区域分割层计算所述待处理图像的可行驶区域信息；
利用所述车位角点检测层计算所述待处理图像的车位角点信息；
利用所述车位线分割层计算所述待处理图像的车位线信息；
利用所述融合层根据所述待处理图像的障碍物信息和所述待处理图像的可行驶区域信息得到可行驶区域，以及根据待处理图像的车位角点信息和所述待处理图像的车位线信息得到车位信息；
输出所述可行驶区域和所述车位信息。
12.根据权利要求10或11所述的装置，其特征在于，所述融合层具体用于：根据障碍物信息的权重和可行驶区域信息的权重，计算得到目标可行驶区域。
13.根据权利要求12所述的装置，其特征在于，所述障碍物信息的权重与所述可行驶区域信息的权重是根据障碍物信息和可行驶区域信息的输出概率图动态计算的。
14.根据权利要求10或11所述的装置，其特征在于，所述融合层具体用于：根据车位角点信息的权重和所述车位线信息的权重计算得到目标车位信息。
15.根据权利要求14所述的装置，其特征在于，所述车位角点信息的权重与所述车位线信息的权重是根据车位角点信息和车位线信息的输出概率图动态计算的。
16.根据权利要求10所述的装置，其特征在于，所述获取模块具体用于：
在所述车辆处于巡航或搜索状态时，利用设置在所述车辆的车头和两侧的摄像头拍摄得到所述图像；
在所述车辆处于泊车状态时，利用设置在所述车辆的车头和车尾的摄像头拍摄得到所述图像。
17.根据权利要求10所述的装置，其特征在于，所述装置还包括：
规划模块，用于根据所述可行驶区域和所述车位信息，规划泊车轨迹。
18.根据权利要求10所述的装置，其特征在于，所述视觉感知模型设置在所述车辆的车载影音系统中。
19.一种电子设备，其特征在于，包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-9任一项所述的方法的指令。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使所述计算机执行如权利要求1-9任一项所述的方法。
CN202010070302.1A 2020-01-21 2020-01-21 自动泊车辅助的方法及装置 Active CN111291650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010070302.1A CN111291650B (zh) 2020-01-21 2020-01-21 自动泊车辅助的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010070302.1A CN111291650B (zh) 2020-01-21 2020-01-21 自动泊车辅助的方法及装置

Publications (2)

Publication Number Publication Date
CN111291650A true CN111291650A (zh) 2020-06-16
CN111291650B CN111291650B (zh) 2023-06-20

Family

ID=71029152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010070302.1A Active CN111291650B (zh) 2020-01-21 2020-01-21 自动泊车辅助的方法及装置

Country Status (1)

Country Link
CN (1) CN111291650B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111959498A (zh) * 2020-07-14 2020-11-20 重庆智行者信息科技有限公司 一种自动驾驶车辆的垂直泊车方法及其装置、车辆
CN112298168A (zh) * 2020-11-06 2021-02-02 北京罗克维尔斯科技有限公司 一种车位检测方法及装置、自动泊车方法及装置
CN112419776A (zh) * 2020-10-16 2021-02-26 爱驰汽车（上海）有限公司 自主泊车方法、装置、汽车及计算设备
CN112509354A (zh) * 2020-12-08 2021-03-16 广州小鹏自动驾驶科技有限公司 一种车位检测方法、装置、车辆、可读介质
CN113409194A (zh) * 2021-06-30 2021-09-17 上海汽车集团股份有限公司 泊车信息获取方法及装置、泊车方法及装置
CN113665591A (zh) * 2021-09-28 2021-11-19 上海焱眼鑫睛智能科技有限公司 无人驾驶控制方法、装置、设备及介质
CN114255351A (zh) * 2022-02-28 2022-03-29 魔门塔(苏州)科技有限公司 一种图像处理方法、装置、介质、设备及驾驶系统
CN114445798A (zh) * 2021-12-30 2022-05-06 深圳信息职业技术学院 一种基于深度学习的城市道路停车位识别方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069877A1 (en) * 2011-11-08 2013-05-16 Lg Innotek Co., Ltd. Parking assisting system
US20180107207A1 (en) * 2015-11-10 2018-04-19 Hyundai Motor Company Automatic parking system and automatic parking method
GB201805311D0 (en) * 2017-04-03 2018-05-16 Ford Global Tech Llc Obstacle detection systems and methods
US20180304926A1 (en) * 2017-04-20 2018-10-25 GM Global Technology Operations LLC Parking scoring for autonomous vehicles
DE102017218438A1 (de) * 2017-10-16 2019-04-18 Robert Bosch Gmbh Verfahren und System zum Betreiben eines Fahrzeugs
CN109720340A (zh) * 2018-09-17 2019-05-07 魔门塔(苏州)科技有限公司 一种基于视觉识别的自动泊车系统及方法
CN110084086A (zh) * 2018-12-11 2019-08-02 安徽江淮汽车集团股份有限公司 一种基于视觉传感器的自动驾驶车辆可行驶区域检测方法
KR20190107277A (ko) * 2019-08-29 2019-09-19 엘지전자 주식회사 자율 주행 시스템에서 차량을 제어하는 방법 및 장치
CN110316182A (zh) * 2018-03-29 2019-10-11 深圳市航盛电子股份有限公司 一种自动泊车系统及方法
WO2020003558A1 (ja) * 2018-06-26 2020-01-02 クラリオン株式会社 駐車支援装置
US20200005649A1 (en) * 2016-12-30 2020-01-02 Hyundai Motor Company Automatic parking system and automatic parking method

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069877A1 (en) * 2011-11-08 2013-05-16 Lg Innotek Co., Ltd. Parking assisting system
US20180107207A1 (en) * 2015-11-10 2018-04-19 Hyundai Motor Company Automatic parking system and automatic parking method
US20200005649A1 (en) * 2016-12-30 2020-01-02 Hyundai Motor Company Automatic parking system and automatic parking method
GB201805311D0 (en) * 2017-04-03 2018-05-16 Ford Global Tech Llc Obstacle detection systems and methods
US20180304926A1 (en) * 2017-04-20 2018-10-25 GM Global Technology Operations LLC Parking scoring for autonomous vehicles
DE102017218438A1 (de) * 2017-10-16 2019-04-18 Robert Bosch Gmbh Verfahren und System zum Betreiben eines Fahrzeugs
CN110316182A (zh) * 2018-03-29 2019-10-11 深圳市航盛电子股份有限公司 一种自动泊车系统及方法
WO2020003558A1 (ja) * 2018-06-26 2020-01-02 クラリオン株式会社 駐車支援装置
CN109720340A (zh) * 2018-09-17 2019-05-07 魔门塔(苏州)科技有限公司 一种基于视觉识别的自动泊车系统及方法
CN110084086A (zh) * 2018-12-11 2019-08-02 安徽江淮汽车集团股份有限公司 一种基于视觉传感器的自动驾驶车辆可行驶区域检测方法
KR20190107277A (ko) * 2019-08-29 2019-09-19 엘지전자 주식회사 자율 주행 시스템에서 차량을 제어하는 방법 및 장치

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
WEI JIANG等: "DFNet: Semantic Segmentation on Panoramic Images with Dynamic Loss Weights and Residual Fusion Block", 《2019 INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 *
WEI JIANG等: "DFNet: Semantic Segmentation on Panoramic Images with Dynamic Loss Weights and Residual Fusion Block", 《2019 INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》, 12 August 2019 (2019-08-12), pages 5887 - 5892 *
ZHANGJING WANG等: "Multi-Sensor Fusion in Automated Driving: A Survey", 《IEEE ACCESS 》 *
ZHANGJING WANG等: "Multi-Sensor Fusion in Automated Driving: A Survey", 《IEEE ACCESS 》, vol. 8, 26 December 2019 (2019-12-26), pages 2847 - 2868, XP011766201, DOI: 10.1109/ACCESS.2019.2962554 *
王成雨: "基于视觉环境感知技术的自动泊车系统研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 *
王成雨: "基于视觉环境感知技术的自动泊车系统研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》, no. 11, 15 November 2019 (2019-11-15), pages 035 - 152 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111959498A (zh) * 2020-07-14 2020-11-20 重庆智行者信息科技有限公司 一种自动驾驶车辆的垂直泊车方法及其装置、车辆
CN112419776A (zh) * 2020-10-16 2021-02-26 爱驰汽车（上海）有限公司 自主泊车方法、装置、汽车及计算设备
CN112298168A (zh) * 2020-11-06 2021-02-02 北京罗克维尔斯科技有限公司 一种车位检测方法及装置、自动泊车方法及装置
CN112298168B (zh) * 2020-11-06 2022-04-22 北京罗克维尔斯科技有限公司 一种车位检测方法及装置、自动泊车方法及装置
CN112509354A (zh) * 2020-12-08 2021-03-16 广州小鹏自动驾驶科技有限公司 一种车位检测方法、装置、车辆、可读介质
CN113409194A (zh) * 2021-06-30 2021-09-17 上海汽车集团股份有限公司 泊车信息获取方法及装置、泊车方法及装置
CN113409194B (zh) * 2021-06-30 2024-03-22 上海汽车集团股份有限公司 泊车信息获取方法及装置、泊车方法及装置
CN113665591A (zh) * 2021-09-28 2021-11-19 上海焱眼鑫睛智能科技有限公司 无人驾驶控制方法、装置、设备及介质
CN114445798A (zh) * 2021-12-30 2022-05-06 深圳信息职业技术学院 一种基于深度学习的城市道路停车位识别方法及系统
CN114255351A (zh) * 2022-02-28 2022-03-29 魔门塔(苏州)科技有限公司 一种图像处理方法、装置、介质、设备及驾驶系统

Also Published As

Publication number Publication date
CN111291650B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN111291650B (zh) 自动泊车辅助的方法及装置
CN111859778B (zh) 泊车模型的生成方法和装置、电子设备和存储介质
CN113762252B (zh) 无人机智能跟随目标确定方法、无人机和遥控器
US10671068B1 (en) Shared sensor data across sensor processing pipelines
CN110794844B (zh) 自动驾驶方法、装置、电子设备及可读存储介质
CN110706494A (zh) 自动驾驶车辆的控制方法、装置、设备及存储介质
CN112132113A (zh) 车辆再识别的方法、装置、训练方法以及电子设备
CN111723768A (zh) 车辆重识别的方法、装置、设备和存储介质
CN110595490B (zh) 车道线感知数据的预处理方法、装置、设备和介质
CN111081033B (zh) 车辆朝向角确定的方法及装置
CN115879060B (zh) 基于多模态的自动驾驶感知方法、装置、设备和介质
CN111721305B (zh) 定位方法和装置、自动驾驶车辆、电子设备和存储介质
CN111753739B (zh) 物体检测方法、装置、设备以及存储介质
CN110751336B (zh) 无人载具的避障方法、避障装置及无人载具
CN112622924B (zh) 一种驾驶规划方法及装置、车辆
CN115866229B (zh) 多视角图像的视角转换方法、装置、设备和介质
EP4184450A2 (en) Horizon detection to support an aircraft on a mission in an environment
CN113378605A (zh) 多源信息融合方法及装置、电子设备和存储介质
CN111695489B (zh) 建模路线的验证方法、装置、无人车及存储介质
CN114489996A (zh) 一种任务调度方法、装置、电子设备及自动驾驶车辆
CN113516013A (zh) 目标检测方法、装置、电子设备、路侧设备和云控平台
CN113255404A (zh) 车道线识别方法、装置、电子设备和计算机可读存储介质
CN111291680A (zh) 障碍物的关联处理方法、装置及设备
CN110910312A (zh) 图像处理方法和装置、自动驾驶车辆、电子设备
CN113168532A (zh) 目标检测方法、装置、无人机及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant