CN111016887A - 机动车自动泊车装置及方法 - Google Patents

机动车自动泊车装置及方法 Download PDF

Info

Publication number
CN111016887A
CN111016887A CN201911337244.8A CN201911337244A CN111016887A CN 111016887 A CN111016887 A CN 111016887A CN 201911337244 A CN201911337244 A CN 201911337244A CN 111016887 A CN111016887 A CN 111016887A
Authority
CN
China
Prior art keywords
motor vehicle
map
parking
frame
parking space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911337244.8A
Other languages
English (en)
Inventor
罗小平
周仁
曾峰
蔡军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Longhorn Automotive Electronic Equipment Co Ltd
Original Assignee
Shenzhen Longhorn Automotive Electronic Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Longhorn Automotive Electronic Equipment Co Ltd filed Critical Shenzhen Longhorn Automotive Electronic Equipment Co Ltd
Priority to CN201911337244.8A priority Critical patent/CN111016887A/zh
Publication of CN111016887A publication Critical patent/CN111016887A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提供一种机动车自动泊车装置及方法，所述装置包括：视频采集及提取模块，用于采集机动车周围的视频影像，并从视频影像中逐帧提取获得图像帧；深度处理模块，用于对图像帧逐帧进行深度处理；信息处理模块，用于根据深度处理后的图像帧构建机动车位姿图和场景地图，并从场景地图中获取机动车周围的泊车位信息；轨迹计算模块，用于根据泊车位信息和机动车位姿图和场景地图，计算生成泊车轨迹路线；泊车模块，用于根据泊车轨迹路线，控制机动车驶入泊车位中。本实施例对图像帧逐帧深度处理，构建机动车位姿图和场景地图，通过机动车位姿图和场景地图获取机动车周围的泊车位信息，提高了路径和重建场景的精度，能提高自动泊车的精确度。

Description

机动车自动泊车装置及方法
技术领域
本发明实施例涉及机动车辅助驾驶技术领域，尤其涉及一种机动车自动泊车装置及方法。
背景技术
当前，自动泊车技术已经成为机动车辅助驾驶技术的重要研发方向。现有的机动车自动泊车装置大多是基于视觉的自动泊车装置，且大多都独立采用单目SLAM模型，采用单目SLAM模型的自动泊车装置通常采集机动车周围的视频影像，并从视频影像中逐帧提取获得图像帧后，对所述图像帧逐帧进行分析处理，估计每一帧图像帧的位姿，构建机动车位姿图，从而确定机动车与泊车位自之间的位置关系，最后规划轨迹路线实现自动泊车。但是传统的单目SLAM模型估计的机动车位姿图相比于机动车真实的位姿，缺少了真实的尺度，导致最终控制车辆停放位置不准确，而且，由于独立采用单目SLAM模型，定位和地图构建的效率不高，在使用不同内参的相机拍摄时，获得的图像帧效果较差，车辆定位效果不佳，由此导致难以精确控制实现自动泊车。
发明内容
本发明实施例所要解决的技术问题在于，提供一种机动车自动泊车装置，能有效提高自动泊车的精确度。
本发明实施例进一步所要解决的技术问题在于，提供一种机动车自动泊车方法，能有效提高自动泊车的精确度。
为了解决上述技术问题，本发明实施例首先提供以下技术方案：一种机动车自动泊车装置，所述装置包括：
视频采集及提取模块，用于采集机动车周围的视频影像，并从视频影像中逐帧提取获得图像帧；
深度处理模块，用于对所述图像帧逐帧进行深度处理；
信息处理模块，用于根据深度处理后的图像帧构建机动车位姿图和场景地图，并从场景地图中获取机动车周围的泊车位信息；
轨迹计算模块，用于根据所述泊车位信息和所述机动车位姿图和场景地图，计算生成泊车轨迹路线；
泊车模块，用于根据所述泊车轨迹路线，控制机动车驶入泊车位中。
进一步的，所述深度处理模块包括：
标定单元，用于预先标定出图像帧中关键帧；
筛选单元，用于筛选出所述图像帧中的关键帧；
深度图构建单元，用于预测每一帧关键帧中的深度值，根据所述深度值构建深度图，并实时更新所述深度图。
进一步的，所述信息处理模块包括：
位姿估计单元，用于基于单目实时定位与重建模型，估计每一帧关键帧中机动车的相机位姿；优化单元，用于优化所述相机位姿得到机动车位姿图；
语义分割图构建单元，用于对所述关键帧进行语义分割得到语义分割图；
融合单元，用于基于全局分割模型，将所述深度图和语义分割图融合进全局已有的场景深度图和三维语义分割图中得到机动车的场景地图；
泊车位获取单元，用于从场景地图中获取机动车周围的泊车位信息。
进一步的，所述深度图构建单元和语义分割图构建单元均为基于深度学习的卷积神经网络模型。
进一步的，所述轨迹计算模块包括：
车速获取单元，用于获取机动车当前车速信息；
位置确定单元，用于根据所述泊车位信息，确定机动车相对于泊车位的位置关系；
综合计算单元，用于基于泊车轨迹规划原理进行运算，根据机动车当前车速、机动车相对于泊车位的位置关系以及所述机动车位姿图和场景地图，实时计算机动车的泊车轨迹路线。
另一方面，为了进一步解决上述技术问题，本发明实施例提供一种机动车自动泊车方法，包括以下步骤：
采集机动车周围的视频影像，并从视频影像中逐帧提取获得图像帧；
对所述图像帧逐帧进行深度处理；
根据深度处理后的图像帧构建机动车位姿图和场景地图，并从场景地图中获取机动车周围的泊车位信息；
根据所述泊车位信息和所述机动车位姿图和场景地图，计算生成泊车轨迹路线；
根据所述泊车轨迹路线，控制机动车驶入泊车位中。
进一步的，所述对所述图像帧逐帧进行深度处理包括：
预先标定出图像帧中关键帧；
筛选出所述图像帧中的关键帧；
预测每一帧关键帧中的深度值，根据所述深度值构建深度图，并实时更新所述深度图。
进一步的，所述根据深度处理后的图像帧构建机动车位姿图和场景地图，并从场景地图中获取机动车周围的泊车位信息包括：
基于单目实时定位与重建模型，估计每一帧关键帧中机动车的相机位姿；
优化所述相机位姿得到机动车位姿图；
对所述关键帧进行语义分割得到语义分割图；
基于全局分割模型，将所述深度图和语义分割图融合进全局已有的场景深度图和三维语义分割图中得到机动车的场景地图；
从场景地图中获取机动车周围的泊车位信息。
进一步的，采用基于深度学习的卷积神经网络模型分别预测每一帧关键帧中的深度值，根据所述深度值构建深度图，并实时更新所述深度图以及对所述关键帧进行语义分割得到语义分割图。
进一步的，所述根据所述泊车位信息和所述机动车位姿图和场景地图，计算生成泊车轨迹路线包括：
获取机动车当前车速信息；
根据所述泊车位信息，确定机动车相对于泊车位的位置关系；
基于泊车轨迹规划原理进行运算，根据机动车当前车速、机动车相对于泊车位的位置关系以及所述机动车位姿图和场景地图，实时计算机动车的泊车轨迹路线。
采用上述技术方案后，本发明实施例至少具有如下有益效果：本发明实施例通过视频采集及提取模块采集机动车周围的视频影像，并从视频影像中逐帧提取获得图像帧，通过深度处理模块对所述图像帧逐帧深度处理，然后信息处理模块构建机动车位姿图和场景地图，并从场景地图中获取机动车周围的泊车位信息，采用场景地图和机动车位姿图相互结合，显著提高了路径和重建场景的精度，因此视觉跟踪的稳定性和可靠性更强，自动泊车的效率会更高；又通过轨迹计算模块实时规划泊车轨迹路线，使泊车模块使机动车能精确安全的驶入泊车位。
附图说明
图1是本发明机动车自动泊车装置一个可选实施例的原理方框图。
图2是本发明机动车自动泊车装置一个可选实施例深度处理模块的原理方框图。
图3是本发明机动车自动泊车装置一个可选实施例信息处理单元的原理方框图。
图4是本发明机动车自动泊车装置一个可选实施例轨迹计算模块的原理方框图。
图5是本发明机动车自动泊车方法一个可选实施例的步骤流程图。
图6是本发明机动车自动泊车方法一个可选实施例的步骤S2的流程示意图。
图7是本发明机动车自动泊车方法一个可选实施例的步骤S3的流程示意图。
图8是本发明机动车自动泊车方法一个可选实施例的步骤S4的流程示意图。
具体实施方式
下面结合附图和具体实施例对本申请作进一步详细说明。应当理解，以下的示意性实施例及说明仅用来解释本发明，并不作为对本发明的限定，而且，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。
如图1所示，本发明一个可选实施例提供一种机动车自动泊车装置，所述装置包括：视频采集及提取模块1，用于采集机动车周围的视频影像，并从视频影像中逐帧提取获得图像帧；
深度处理模块3，用于对所述图像帧逐帧进行深度处理；
信息处理模块5，用于根据深度处理后的图像帧构建机动车位姿图和场景地图，并从场景地图中获取机动车周围的泊车位信息；
轨迹计算模块7，用于根据所述泊车位信息和所述机动车位姿图和场景地图，计算生成泊车轨迹路线；
泊车模块9，用于根据所述泊车轨迹路线，控制机动车驶入泊车位中。
本发明实施例通过视频采集及提取模块1采集机动车周围的视频影像，并从视频影像中逐帧提取获得图像帧，通过深度处理模块3对所述图像帧逐帧深度处理，然后信息处理模块5构建机动车位姿图和场景地图，并从场景地图中获取机动车周围的泊车位信息，采用场景地图和机动车位姿图相互结合，显著提高了路径和重建场景的精度，因此视觉跟踪的稳定性和可靠性更强，自动泊车的效率会更高；又通过轨迹计算模块7实时规划泊车轨迹路线，使泊车模块9使机动车能精确安全的驶入泊车位。
在本发明的又一个实施例中，如图2所示，所述深度处理模块3包括：
标定单元30，用于预先标定出图像帧中关键帧；
筛选单元32，用于筛选出所述图像帧中的关键帧；
深度图构建单元34，用于预测每一帧关键帧中的深度值，根据所述深度值构建深度图，并实时更新所述深度图。
本实施例通过标定单元30预先标定出图像帧中关键帧，深度图构建单元34再对每一帧关键帧中的深度值，根据所述深度值构建深度图，并实时更新所述深度图，提高了预测效率，而且通过预测每一帧关键帧中的深度值，可有效提升泊车的精确度。
在本发明的还一个实施例中，如图3所示，所述信息处理模块5包括：
位姿估计单元50，用于基于单目实时定位与重建模型，估计每一帧关键帧中机动车的相机位姿；
优化单元52，用于优化所述相机位姿得到机动车位姿图；
语义分割图构建单元54，用于对所述关键帧进行语义分割得到语义分割图；
融合单元56，用于基于全局分割模型，将所述深度图和语义分割图融合进全局已有的场景深度图和三维语义分割图中得到机动车的场景地图；
泊车位获取单元58，用于从场景地图中获取机动车周围的泊车位信息。
本实施例通过位姿估计单元50基于单目实时定位与重建模型，估计每一帧关键帧中机动车的相机位姿，优化单元52优化所述相机位姿得到机动车位姿图，可以高效的获得机动车位姿图，而且，提高了机动车位姿图的精确度；再通过融合单元56基于全局分割模型，将所述深度图和语义分割图融合进全局已有的场景深度图和三维语义分割图中得到机动车的场景地图，然后泊车位获取单元58从场景地图中获取机动车周围的泊车位信息，准确性高，能提高自动泊车的精确度。
在本发明的又一个实施例中，所述深度图构建单元34和语义分割图构建单元54均为基于深度学习的卷积神经网络模型。本实施例通过深度图构建单元和语义分割图构建单元采用基于深度学习的卷积神经网络模型进行构建深度图和语义分割图，基于深度学习的卷积网络模型可以有效对图像帧预测深度值及进行语义分割，提高机动车泊入车位的准确度。
在本发明的另一个实施例中，如图4所示，所述轨迹计算模块7包括：
车速获取单元70，用于获取机动车当前车速信息；
位置确定单元72，用于根据所述泊车位信息，确定机动车相对于泊车位的位置关系；
综合计算单元74，用于基于泊车轨迹规划原理进行运算，根据机动车当前车速、机动车相对于泊车位的位置关系以及所述机动车位姿图和场景地图，实时计算机动车的泊车轨迹路线。本实施例通过车速获取单元获取机动车当前车速信息，将机动车当前车速、泊车位信息以及机动车位姿图和场景地图，相互结合，从而计算获得的机动车的泊车轨迹路线，机动车的泊车精度更高。
另一方面，如图5所示，本发明实施例提供一种机动车自动泊车方法，包括以下步骤：
S1：采集机动车周围的视频影像，并从视频影像中逐帧提取获得图像帧；
S2：对所述图像帧逐帧进行深度处理；
S3：根据深度处理后的图像帧构建机动车位姿图和场景地图，并从场景地图中获取机动车周围的泊车位信息；
S4：根据所述泊车位信息和所述机动车位姿图和场景地图，计算生成泊车轨迹路线；
S5：根据所述泊车轨迹路线，控制机动车驶入泊车位中。
本发明实施例通过上述方法，采集机动车周围的视频影像，并从视频影像中逐帧提取获得图像帧，通过对所述图像帧逐帧深度处理，然后构建机动车位姿图和场景地图，并从场景地图中获取机动车周围的泊车位信息，采用场景地图和机动车位姿图相互结合，显著提高了路径和重建场景的精度，因此视觉跟踪的稳定性和可靠性更强，自动泊车的效率会更高；又通过实时规划泊车轨迹路线，使机动车能精确安全的驶入泊车位。
在本发明的还一个实施例中，如图6所示，所述步骤S2包括：
S21：预先标定出图像帧中关键帧；
S22：筛选出所述图像帧中的关键帧；
S23：预测每一帧关键帧中的深度值，根据所述深度值构建深度图，并实时更新所述深度图。
本实施例通过上述方法，预先标定出图像帧中关键帧，再对每一帧关键帧中的深度值，根据所述深度值构建深度图，并实时更新所述深度图，提高了预测效率，而且通过预测每一帧关键帧中的深度值，可有效提升泊车的精确度。
在本发明的又一个实施例中，如图7所示，所述步骤S3包括：
S31：基于单目实时定位与重建模型，估计每一帧关键帧中机动车的相机位姿；
S32：优化所述相机位姿得到机动车位姿图；
S33：对所述关键帧进行语义分割得到语义分割图；
S34：基于全局分割模型，将所述深度图和语义分割图融合进全局已有的场景深度图和三维语义分割图中得到机动车的场景地图；
S35：从场景地图中获取机动车周围的泊车位信息。
本实施例通过上述方法，采用基于单目实时定位与重建模型，估计每一帧关键帧中机动车的相机位姿，并优化所述相机位姿得到机动车位姿图，可以高效的获得机动车位姿图，而且，提高了机动车位姿图的精确度；再通过基于全局分割模型，将所述深度图和语义分割图融合进全局已有的场景深度图和三维语义分割图中得到机动车的场景地图，然后从场景地图中获取机动车周围的泊车位信息，准确性高，能提高自动泊车的精确度。
在本发明的再一个实施例中，采用基于深度学习的卷积神经网络模型分别预测每一帧关键帧中的深度值，根据所述深度值构建深度图，并实时更新所述深度图以及对所述关键帧进行语义分割得到语义分割图。本实施例通过采用基于深度学习的卷积神经网络模型进行构建深度图和语义分割图，基于深度学习的卷积网络模型可以有效对图像帧预测深度值及进行语义分割，提高机动车泊入车位的准确度。
在本发明的另一个实施例中，如图8所示，所述步骤S4包括：
S41：获取机动车当前车速信息；
S42：根据所述泊车位信息，确定机动车相对于泊车位的位置关系；
S43：基于泊车轨迹规划原理进行运算，根据机动车当前车速、机动车相对于泊车位的位置关系以及所述机动车位姿图和场景地图，实时计算机动车的泊车轨迹路线。本实施例通过上述方法，将机动车当前车速、泊车位信息以及机动车位姿图和场景地图，相互结合，从而计算获得的机动车的泊车轨迹路线，机动车的泊车精度更高。
本发明实施例所述的功能如果以软件功能模块或单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本发明实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。

Claims (10)

1.一种机动车自动泊车装置，其特征在于，所述装置包括：
视频采集及提取模块，用于采集机动车周围的视频影像，并从视频影像中逐帧提取获得图像帧；
深度处理模块，用于对所述图像帧逐帧进行深度处理；
信息处理模块，用于根据深度处理后的图像帧构建机动车位姿图和场景地图，并从场景地图中获取机动车周围的泊车位信息；
轨迹计算模块，用于根据所述泊车位信息和所述机动车位姿图和场景地图，计算生成泊车轨迹路线；
泊车模块，用于根据所述泊车轨迹路线，控制机动车驶入泊车位中。
2.如权利要求1所述的机动车自动泊车装置，其特征在于，所述深度处理模块包括：
标定单元，用于预先标定出图像帧中关键帧；
筛选单元，用于筛选出所述图像帧中的关键帧；
深度图构建单元，用于预测每一帧关键帧中的深度值，根据所述深度值构建深度图，并实时更新所述深度图。
3.如权利要求2所述的机动车自动泊车装置，其特征在于，所述信息处理模块包括：
位姿估计单元，用于基于单目实时定位与重建模型，估计每一帧关键帧中机动车的相机位姿；优化单元，用于优化所述相机位姿得到机动车位姿图；
语义分割图构建单元，用于对所述关键帧进行语义分割得到语义分割图；
融合单元，用于基于全局分割模型，将所述深度图和语义分割图融合进全局已有的场景深度图和三维语义分割图中得到机动车的场景地图；
泊车位获取单元，用于从场景地图中获取机动车周围的泊车位信息。
4.如权利要求3所述的机动车自动泊车装置，其特征在于，所述深度图构建单元和语义分割图构建单元均为基于深度学习的卷积神经网络模型。
5.如权利要求1所述的机动车自动泊车装置，其特征在于，所述轨迹计算模块包括：
车速获取单元，用于获取机动车当前车速信息；
位置确定单元，用于根据所述泊车位信息，确定机动车相对于泊车位的位置关系；
综合计算单元，用于基于泊车轨迹规划原理进行运算，根据机动车当前车速、机动车相对于泊车位的位置关系以及所述机动车位姿图和场景地图，实时计算机动车的泊车轨迹路线。
6.一种机动车自动泊车方法，其特征在于，包括以下步骤：
采集机动车周围的视频影像，并从视频影像中逐帧提取获得图像帧；
对所述图像帧逐帧进行深度处理；
根据深度处理后的图像帧构建机动车位姿图和场景地图，并从场景地图中获取机动车周围的泊车位信息；
根据所述泊车位信息和所述机动车位姿图和场景地图，计算生成泊车轨迹路线；
根据所述泊车轨迹路线，控制机动车驶入泊车位中。
7.如权利要求6所述的机动车自动泊车方法，其特征在于，所述对所述图像帧逐帧进行深度处理包括：
预先标定出图像帧中关键帧；
筛选出所述图像帧中的关键帧；
预测每一帧关键帧中的深度值，根据所述深度值构建深度图，并实时更新所述深度图。
8.如权利要求7所述的机动车自动泊车方法，其特征在于，所述根据深度处理后的图像帧构建机动车位姿图和场景地图，并从场景地图中获取机动车周围的泊车位信息包括：
基于单目实时定位与重建模型，估计每一帧关键帧中机动车的相机位姿；
优化所述相机位姿得到机动车位姿图；
对所述关键帧进行语义分割得到语义分割图；
基于全局分割模型，将所述深度图和语义分割图融合进全局已有的场景深度图和三维语义分割图中得到机动车的场景地图；
从场景地图中获取机动车周围的泊车位信息。
9.如权利要求8所述的机动车自动泊车方法，其特征在于，采用基于深度学习的卷积神经网络模型分别预测每一帧关键帧中的深度值，根据所述深度值构建深度图，并实时更新所述深度图以及对所述关键帧进行语义分割得到语义分割图。
10.如权利要求6所述的机动车自动泊车方法，其特征在于，所述根据所述泊车位信息和所述机动车位姿图和场景地图，计算生成泊车轨迹路线包括：
获取机动车当前车速信息；
根据所述泊车位信息，确定机动车相对于泊车位的位置关系；
基于泊车轨迹规划原理进行运算，根据机动车当前车速、机动车相对于泊车位的位置关系以及所述机动车位姿图和场景地图，实时计算机动车的泊车轨迹路线。
CN201911337244.8A 2019-12-23 2019-12-23 机动车自动泊车装置及方法 Pending CN111016887A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911337244.8A CN111016887A (zh) 2019-12-23 2019-12-23 机动车自动泊车装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911337244.8A CN111016887A (zh) 2019-12-23 2019-12-23 机动车自动泊车装置及方法

Publications (1)

Publication Number Publication Date
CN111016887A true CN111016887A (zh) 2020-04-17

Family

ID=70211660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911337244.8A Pending CN111016887A (zh) 2019-12-23 2019-12-23 机动车自动泊车装置及方法

Country Status (1)

Country Link
CN (1) CN111016887A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111976718A (zh) * 2020-07-13 2020-11-24 浙江大华汽车技术有限公司 自动泊车的控制方法和系统
CN112330977A (zh) * 2020-10-28 2021-02-05 广州小鹏自动驾驶科技有限公司 一种自动泊车的方法和装置
CN113449648A (zh) * 2021-06-30 2021-09-28 北京纵目安驰智能科技有限公司 指示线的检测方法、系统、设备及计算机可读存储介质
CN113744560A (zh) * 2021-09-15 2021-12-03 厦门科拓通讯技术股份有限公司 停车场自动泊车方法、装置、服务器和机器可读存储介质
CN114972494A (zh) * 2021-02-26 2022-08-30 魔门塔(苏州)科技有限公司 一种记忆泊车场景的地图构建方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107600067A (zh) * 2017-09-08 2018-01-19 中山大学 一种基于多视觉惯导融合的自主泊车系统及方法
CN108108750A (zh) * 2017-12-12 2018-06-01 清华大学苏州汽车研究院（吴江） 基于深度学习和单目视觉的距离空间重建方法
CN108416840A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN109117718A (zh) * 2018-07-02 2019-01-01 东南大学 一种面向道路场景的三维语义地图构建和存储方法
CN109817018A (zh) * 2019-02-20 2019-05-28 东软睿驰汽车技术（沈阳）有限公司 一种自动泊车方法及相关装置
CN109887032A (zh) * 2019-02-22 2019-06-14 广州小鹏汽车科技有限公司 一种基于单目视觉slam的车辆定位方法及系统
CN110428461A (zh) * 2019-07-30 2019-11-08 清华大学 结合深度学习的单目slam方法及装置
CN110490900A (zh) * 2019-07-12 2019-11-22 中国科学技术大学 动态环境下的双目视觉定位方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107600067A (zh) * 2017-09-08 2018-01-19 中山大学 一种基于多视觉惯导融合的自主泊车系统及方法
CN108108750A (zh) * 2017-12-12 2018-06-01 清华大学苏州汽车研究院（吴江） 基于深度学习和单目视觉的距离空间重建方法
CN108416840A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN109117718A (zh) * 2018-07-02 2019-01-01 东南大学 一种面向道路场景的三维语义地图构建和存储方法
CN109817018A (zh) * 2019-02-20 2019-05-28 东软睿驰汽车技术（沈阳）有限公司 一种自动泊车方法及相关装置
CN109887032A (zh) * 2019-02-22 2019-06-14 广州小鹏汽车科技有限公司 一种基于单目视觉slam的车辆定位方法及系统
CN110490900A (zh) * 2019-07-12 2019-11-22 中国科学技术大学 动态环境下的双目视觉定位方法及系统
CN110428461A (zh) * 2019-07-30 2019-11-08 清华大学 结合深度学习的单目slam方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111976718A (zh) * 2020-07-13 2020-11-24 浙江大华汽车技术有限公司 自动泊车的控制方法和系统
CN112330977A (zh) * 2020-10-28 2021-02-05 广州小鹏自动驾驶科技有限公司 一种自动泊车的方法和装置
CN112330977B (zh) * 2020-10-28 2022-05-13 广州小鹏自动驾驶科技有限公司 一种自动泊车的方法和装置
CN114972494A (zh) * 2021-02-26 2022-08-30 魔门塔(苏州)科技有限公司 一种记忆泊车场景的地图构建方法及装置
CN113449648A (zh) * 2021-06-30 2021-09-28 北京纵目安驰智能科技有限公司 指示线的检测方法、系统、设备及计算机可读存储介质
CN113744560A (zh) * 2021-09-15 2021-12-03 厦门科拓通讯技术股份有限公司 停车场自动泊车方法、装置、服务器和机器可读存储介质

Similar Documents

Publication Publication Date Title
CN111016887A (zh) 机动车自动泊车装置及方法
CN107796397B (zh) 一种机器人双目视觉定位方法、装置和存储介质
CN109285220B (zh) 一种三维场景地图的生成方法、装置、设备及存储介质
CN111060101B (zh) 视觉辅助的距离slam方法及装置、机器人
US11954813B2 (en) Three-dimensional scene constructing method, apparatus and system, and storage medium
KR102296507B1 (ko) 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치
US11282164B2 (en) Depth-guided video inpainting for autonomous driving
CN110163909A (zh) 用于获得设备位姿的方法、装置和存储介质
CN112639878A (zh) 无监督深度预测神经网络
CN112000226A (zh) 一种人眼视线估计方法、装置及视线估计系统
CN115135963A (zh) 用于在场景地图中生成3d参考点的方法
CN115496900A (zh) 一种基于稀疏融合的在线碳语义地图构建方法
WO2019037863A1 (en) SYSTEM AND METHOD FOR TAG INCREASE IN VIDEO DATA
CN116952277A (zh) 一种基于人工智能和行为特征的潜在位置估算方法及系统
KR102506411B1 (ko) 차량의 위치 및 자세 추정 방법, 장치 및 이를 위한 기록매체
CN107993247B (zh) 追踪定位方法、系统、介质和计算设备
CN113450385B (zh) 一种夜间工作工程机械视觉跟踪方法、装置及存储介质
CN112904365B (zh) 地图的更新方法及装置
CN111160266B (zh) 物体跟踪方法和装置
CN116762094A (zh) 数据处理方法和设备
Yuan et al. CR-LDSO: Direct Sparse LiDAR-Assisted Visual Odometry With Cloud Reusing
CN117649665B (zh) 矿区自动驾驶场景数据标注方法及系统
CN117058474B (zh) 一种基于多传感器融合的深度估计方法及系统
Sun et al. Accurate deep direct geo-localization from ground imagery and phone-grade gps
CN115128655B (zh) 自动驾驶车辆的定位方法和装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200417

WD01 Invention patent application deemed withdrawn after publication