CN112078571B - 自动泊车方法、设备、存储介质及装置 - Google Patents
自动泊车方法、设备、存储介质及装置 Download PDFInfo
- Publication number
- CN112078571B CN112078571B CN202011073963.6A CN202011073963A CN112078571B CN 112078571 B CN112078571 B CN 112078571B CN 202011073963 A CN202011073963 A CN 202011073963A CN 112078571 B CN112078571 B CN 112078571B
- Authority
- CN
- China
- Prior art keywords
- current
- pedestrian
- information
- initial
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 claims abstract description 157
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 17
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种自动泊车方法、设备、存储介质及装置，相较于现有的通过驾驶员对环境以及行人进行监控来判断是否终止自动泊车的方式，本发明中，通过在目标车辆进行自动泊车时，获取目标车辆的当前检测视频以及当前雷达信息，根据所述当前检测视频以及所述当前雷达信息确定当前行人运动信息，根据所述当前行人运动信息以及预设泊车路线确定行人碰撞风险等级，根据所述行人碰撞风险等级确定目标泊车策略，并根据所述目标泊车策略控制所述目标车辆运行，克服了现有技术中无法实现自动泊车过程中自动保护行人的缺陷，从而能够优化自动泊车过程，提高自动泊车的可靠性。
Description
技术领域
本发明涉及汽车技术领域，尤其涉及一种自动泊车方法、设备、存储介质及装置。
背景技术
目前，传统的自动泊车功能通常将驾驶员作为责任主体。在进行自动泊车时，通过驾驶员对环境以及行人进行监控来判断是否终止自动泊车。但是，上述方式需要驾驶员操作，无法实现自动泊车过程中的自动行人保护，从而导致自动泊车的可靠性较低。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种自动泊车方法、设备、存储介质及装置，旨在解决如何优化自动泊车过程的技术问题。
为实现上述目的，本发明提供一种自动泊车方法，所述自动泊车方法包括以下步骤：
在目标车辆进行自动泊车时，获取目标车辆的当前检测视频以及当前雷达信息；
根据所述当前检测视频以及所述当前雷达信息确定当前行人运动信息；
根据所述当前行人运动信息以及预设泊车路线确定行人碰撞风险等级；
根据所述行人碰撞风险等级确定目标泊车策略，并根据所述目标泊车策略控制所述目标车辆运行。
优选地，所述根据所述当前检测视频以及所述当前雷达信息确定当前行人运动信息的步骤，具体包括：
获取当前时刻，并根据所述当前时刻对所述当前检测视频进行提取，获得当前检测图像以及历史检测图像；
根据所述当前检测图像以及所述历史检测图像确定初始行人运动信息；
查找所述目标车辆对应的历史雷达信息，并根据所述当前雷达信息以及所述历史雷达信息对所述初始行人运动信息进行修正，获得当前行人运动信息。
优选地，所述根据所述当前检测图像以及所述历史检测图像确定初始行人运动信息的步骤，具体包括：
通过预设神经网络模型分别对所述当前检测图像以及所述历史检测图像进行人形识别，获得当前识别结果以及历史识别结果；
根据所述当前识别结果确定当前行人位置，并根据所述历史识别结果确定历史行人位置；
根据所述当前行人位置以及所述历史行人位置确定初始行人运动方向以及初始行人运动速度；
将所述初始行人运动方向以及所述初始行人运动速度作为初始行人运动信息。
优选地，所述根据所述当前行人运动信息以及预设泊车路线确定行人碰撞风险等级的步骤，具体包括：
根据所述当前行人运动信息以及预设泊车路线预测目标行人距离；
获取所述目标车辆的当前车辆位置，并根据所述当前车辆位置以及所述当前行人位置确定当前行人距离；
根据所述目标行人距离以及所述当前行人距离确定行人碰撞风险等级。
优选地，所述在目标车辆进行自动泊车时，获取目标车辆的当前检测视频以及当前雷达信息的步骤之前，所述自动泊车方法还包括：
在接收到自动泊车指令时，获取目标车辆的初始检测视频以及初始雷达信息；
根据所述初始检测视频以及所述初始雷达信息确定候选车位信息；
获取所述目标车辆的初始位置信息，并根据所述初始位置信息以及所述候选车位信息生成预设泊车路线。
优选地，所述根据所述初始检测视频以及所述初始雷达信息确定候选车位信息的步骤，具体包括：
根据所述自动泊车指令确定初始泊车时间，并根据所述初始泊车时间对所述初始检测视频进行提取，获得初始检测图像；
根据所述初始检测图像以及所述始雷达信息进行全景拼接，获得初始全景图像；
对所述初始全景图像进行特征提取，获得图像特征，并根据所述图像特征确定候选车位信息。
优选地，所述获取所述目标车辆的初始位置信息，并根据所述初始位置信息以及所述候选车位信息生成预设泊车路线的步骤，具体包括：
获取所述目标车辆的初始位置信息，并根据所述初始位置信息以及所述候选车位信息确定候选车位距离；
根据所述候选车位距离对候选车位信息进行排序，获得排序结果；
根据所述自动泊车指令以及所述排序结果确定目标车位信息，并根据所述初始位置信息以及所述目标车位信息生成预设泊车路线。
此外，为实现上述目的，本发明还提出一种自动泊车设备，所述自动泊车设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的自动泊车程序，所述自动泊车程序配置为实现如上文所述的自动泊车方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有自动泊车程序，所述自动泊车程序被处理器执行时实现如上文所述的自动泊车方法的步骤。
此外，为实现上述目的，本发明还提出一种自动泊车装置，所述自动泊车装置包括：获取模块、确定模块和控制模块；
所述获取模块，用于在目标车辆进行自动泊车时，获取目标车辆的当前检测视频以及当前雷达信息；
所述确定模块，用于根据所述当前检测视频以及所述当前雷达信息确定当前行人运动信息；
所述确定模块，还用于根据所述当前行人运动信息以及预设泊车路线确定行人碰撞风险等级；
所述控制模块，用于根据所述行人碰撞风险等级确定目标泊车策略，并根据所述目标泊车策略控制所述目标车辆运行。
本发明中，在目标车辆进行自动泊车时，获取目标车辆的当前检测视频以及当前雷达信息，根据所述当前检测视频以及所述当前雷达信息确定当前行人运动信息，根据所述当前行人运动信息以及预设泊车路线确定行人碰撞风险等级，根据所述行人碰撞风险等级确定目标泊车策略，并根据所述目标泊车策略控制所述目标车辆运行；相较于现有的通过驾驶员对环境以及行人进行监控来判断是否终止自动泊车的方式，本发明中，通过当前检测视频以及当前雷达信息确定当前行人运动信息，并根据当前行人运动信息以及预设泊车路线确定行人碰撞风险等级，根据行人碰撞风险等级确定目标泊车策略，并根据目标泊车策略控制所述目标车辆运行，克服了现有技术中无法实现自动泊车过程中自动保护行人的缺陷，从而能够优化自动泊车过程，提高自动泊车的可靠性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的自动泊车设备的结构示意图；
图2为本发明自动泊车方法第一实施例的流程示意图；
图3为本发明自动泊车方法第二实施例的流程示意图；
图4为本发明自动泊车方法第三实施例的流程示意图；
图5为本发明自动泊车装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的自动泊车设备结构示意图。
如图1所示，该自动泊车设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的存储器(Non-volatileMemory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对自动泊车设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，认定为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及自动泊车程序。
在图1所示的自动泊车设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述自动泊车设备通过处理器1001调用存储器1005中存储的自动泊车程序，并执行本发明实施例提供的自动泊车方法。
基于上述硬件结构，提出本发明自动泊车方法的实施例。
参照图2，图2为本发明自动泊车方法第一实施例的流程示意图，提出本发明自动泊车方法第一实施例。
步骤S10：在目标车辆进行自动泊车时，获取目标车辆的当前检测视频以及当前雷达信息。
应当理解的是，本实施例的执行主体是所述自动泊车设备，其中，所述自动泊车设备可为车载电脑以及服务器等电子设备，还可为其他可实现相同或相似功能的设备，本实施例对此不作限制，在本实施例以及下述各实施例中，以车载电脑为例对本发明自动泊车方法进行说明。
需要说明的是，在用户确定预设泊车路线，并输入开始泊车指令后，目标车辆进行自动泊车；当前检测视频可以是当前时刻图像采集设备上传的检测视频；当前雷达信息可以是当前时刻雷达设备上传的雷达信息。
可以理解的是，获取目标车辆的当前检测视频以及当前雷达信息可以是通过目标车辆的控制器局域网络(Controller Area Network,CAN)的接收图像采集设备以及雷达设备上传的当前检测视频以及当前雷达信息。
步骤S20：根据所述当前检测视频以及所述当前雷达信息确定当前行人运动信息。
需要说明的是，当前行人运动信息可以是当前时刻行人的运动方向以及运动速度等信息，本实施例对此不加以限制。
应当理解的是，根据当前检测视频以及当前雷达信息确定当前行人运动信息可以是根据当前检测视频以及当前雷达信息确定行人肢体信息，并根据行人肢体信息确定当前行人运动信息。
进一步地，考虑到实际应用中，若根据当前检测视频以及当前雷达信息确定行人肢体信息，并根据行人肢体信息确定当前行人运动信息，势必会导致检测过程所涉及的对象过多，运算量过大，准确性低。为克服这一缺陷，所述根据所述当前检测视频以及所述当前雷达信息确定当前行人运动信息，包括：
获取当前时刻，并根据所述当前时刻对所述当前检测视频进行提取，获得当前检测图像以及历史检测图像，根据所述当前检测图像以及所述历史检测图像确定初始行人运动信息，查找所述目标车辆对应的历史雷达信息，并根据所述当前雷达信息以及所述历史雷达信息对所述初始行人运动信息进行修正，获得当前行人运动信息，从而能够降低当前行人运动信息确定过程中的运算量。
步骤S30：根据所述当前行人运动信息以及预设泊车路线确定行人碰撞风险等级。
应当理解的是，根据当前行人运动信息以及预设泊车路线确定行人碰撞风险等级可以是根据当前行人运动信息以及预设泊车路线预测目标车辆与行人是否存在空间交点，根据判断结果生成行人碰撞风险等级。
进一步地，为了能够快速、准确地确定行人碰撞风险等级，所述根据所述当前行人运动信息以及预设泊车路线确定行人碰撞风险等级，包括：
根据所述当前行人运动信息以及预设泊车路线预测目标行人距离，获取所述目标车辆的当前车辆位置，并根据所述当前车辆位置以及所述当前行人位置确定当前行人距离，根据所述目标行人距离以及所述当前行人距离确定行人碰撞风险等级。
步骤S40：根据所述行人碰撞风险等级确定目标泊车策略，并根据所述目标泊车策略控制所述目标车辆运行。
可以理解的是，根据行人碰撞风险等级确定目标泊车策略可以是在预设策略库中查找行人碰撞风险等级对应的目标泊车策略，其中，预设策略库中包含行人碰撞风险等级与目标泊车策略之间的对应关系，行人碰撞风险等级与目标泊车策略之间的对应关系可以由用户根据实际情况进行设置，本实施例对此不加以限制。例如，行人碰撞风险等级为高时，目标泊车策略设置为停车泊车。
在第一实施例中，在目标车辆进行自动泊车时，获取目标车辆的当前检测视频以及当前雷达信息，根据所述当前检测视频以及所述当前雷达信息确定当前行人运动信息，根据所述当前行人运动信息以及预设泊车路线确定行人碰撞风险等级，根据所述行人碰撞风险等级确定目标泊车策略，并根据所述目标泊车策略控制所述目标车辆运行；相较于现有的通过驾驶员对环境以及行人进行监控来判断是否终止自动泊车的方式，本实施例中，通过当前检测视频以及当前雷达信息确定当前行人运动信息，并根据当前行人运动信息以及预设泊车路线确定行人碰撞风险等级，根据行人碰撞风险等级确定目标泊车策略，并根据目标泊车策略控制所述目标车辆运行，克服了现有技术中无法实现自动泊车过程中自动保护行人的缺陷，从而能够优化自动泊车过程，提高自动泊车的可靠性。
参照图3，图3为本发明自动泊车方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明自动泊车方法的第二实施例。
在第二实施例中，所述步骤S20，包括：
步骤S201：获取当前时刻，并根据所述当前时刻对所述当前检测视频进行提取，获得当前检测图像以及历史检测图像。
需要说明的是，当前检测图像可以是当前时刻的监测图像；历史检测图像可以是前一帧检测图像，也可以是预设时间前的检测图像，其中，预设时间可以根据用户的实际需求进行设置的时间值，本实施例对此不加以限制。
应当理解的是，根据当前时刻对当前检测视频进行提取，获得当前检测图像以及历史检测图像可以是根据当前时刻对当前检测视频进行切割，将当前帧检测图像作为当前检测图像，将前一帧检测图像作为历史检测图像。
步骤S202：根据所述当前检测图像以及所述历史检测图像确定初始行人运动信息。
需要说明的是，初始行人运动信息可以是行人运动方向以及行人运动速度等信息。
应当理解的是，根据当前检测图像以及历史检测图像确定初始行人运动信息可以是将当前检测图像与历史检测图像进行比较，获得比较结果，根据比较结果生成历史行人运动信息，并根据历史行人运动信息预测当前行人运动信息。
进一步地，考虑到实际应用中，若直接将当前检测图像与历史检测图像进行比较，势必会导致比较过程所涉及的对象过多，运算量过大。为克服这一缺陷，所述步骤S202，包括：
通过预设神经网络模型分别对所述当前检测图像以及所述历史检测图像进行人形识别，获得当前识别结果以及历史识别结果；
根据所述当前识别结果确定当前行人位置，并根据所述历史识别结果确定历史行人位置；
根据所述当前行人位置以及所述历史行人位置确定初始行人运动方向以及初始行人运动速度；
将所述初始行人运动方向以及所述初始行人运动速度作为初始行人运动信息。
需要说明的是，预设神经网络模型可以是用户预先设置的深度学习网络，例如，CNN网络，本实施例对此不加以限制。
应当理解的是，通过预设神经网络模型分别对当前检测图像以及历史检测图像进行人形识别，获得当前识别结果以及历史识别结果通过预设神经网络模型分别对当前检测图像以及历史检测图像进行人形识别，获得当前检测区域位置、当前人形分值、历史检测区域分值以及历史人形分值，将当前检测区域位置以及当前人形分值作为当前识别结果，将历史检测区域分值以及历史人形分值作为历史识别结果。
可以理解的是，根据所述当前识别结果确定当前行人位置，并根据所述历史识别结果确定历史行人位置可以是判断当前人形分值是否大于预设阈值，在当前人形分值大于预设阈值时，将当前人形分值对应的当前检测区域位置作为当前行人位置，判断历史人形分值是否大于预设阈值，在历史人形分值大于预设阈值时，将历史人形分值对应的历史检测区域位置作为历史行人位置。
应当理解的是，根据当前行人位置以及历史行人位置确定初始行人运动方向可以是根据当前行人位置以及历史行人位置确定坐标差值，并根据坐标差值确定初始行人运动方向。
可以理解的是，根据当前行人位置以及历史行人位置确定初始行人运动速度可以是根据当前行人位置以及历史行人位置确定当前位移值，获取帧间隔，并根据当前位移值以及帧间隔确定初始行人运动速度，其中，帧间隔可以是视频帧之间的时间间隔，本实施例对此不加以限制。
步骤S203：查找所述目标车辆对应的历史雷达信息，并根据所述当前雷达信息以及所述历史雷达信息对所述初始行人运动信息进行修正，获得当前行人运动信息。
需要说明的是，在实际应用中，根据检测视频生成的初始行人运动信息，可能会由于环境信息等影响，存在不准确的情况。因此，需要根据雷达信息对初始行人运动信息进行修正，以获得更加准确、可靠的当前行人运动信息。
应当理解的是，查找目标车辆对应的历史雷达信息可以是在预设数据库中查找目标车辆对应的历史雷达信息，其中，预设数据库可以是用户预先设置的存储雷达信息的数据库，本实施例对此不加以限制。
可以理解的是，根据当前雷达信息以及历史雷达信息对初始行人运动信息进行修正，获得当前行人运动信息可以是根据当前雷达信息以及历史雷达信息确定雷达变化信息，并基于雷达变化信息对初始行人运动信息进行修正，获得当前行人运动信息。
在第二实施例中，通过获取当前时刻，并根据所述当前时刻对所述当前检测视频进行提取，获得当前检测图像以及历史检测图像，根据所述当前检测图像以及所述历史检测图像确定初始行人运动信息，查找所述目标车辆对应的历史雷达信息，并根据所述当前雷达信息以及所述历史雷达信息对所述初始行人运动信息进行修正，获得当前行人运动信息，从而能够降低当前行人运动信息确定过程中的运算量，同时保证生成的当前行人运动信息具有较高的准确性以及可靠性。
在第二实施例中，所述步骤S30，包括：
步骤S301：根据所述当前行人运动信息以及预设泊车路线预测目标行人距离。
需要说明的是，目标行人距离可以是在整个泊车过程中目标车辆与行人之间的最近距离，也就是目标车辆执行预设泊车路线时与行人的最近距离，本实施例对此不加以限制。
应当理解的是，根据当前行人运动信息以及预设泊车路线预测目标行人可以是根据当前行人运动信息以及预设泊车路线进行泊车模拟，以获得整个泊车过程中目标车辆与行人之间的位置信息，并根据位置信息确定目标行人距离。
步骤S302：获取所述目标车辆的当前车辆位置，并根据所述当前车辆位置以及所述当前行人位置确定当前行人距离。
需要说明的是，当前车辆位置可以是当前时刻目标车辆的位置；当前行人距离可以是当前时刻行人距离目标车辆的距离。
可以理解的是，根据当前车辆位置以及当前行人位置确定当前行人距离可以是根据当前车辆坐标以及当前行人坐标直接确定当前行人距离。
步骤S303：根据所述目标行人距离以及所述当前行人距离确定行人碰撞风险等级。
可以理解的是，根据目标行人距离以及当前行人距离确定行人碰撞风险等级可以是将目标行人距离以及当前行人距离作为距离信息，并在预设映射关系表中查找距离信息对应的行人碰撞风险等级，其中，预设映射关系表中包含距离信息与行人碰撞风险等级之间的对应关系，距离信息与行人碰撞风险等级之间的对应关系可以是由用户根据实际情况预先设置，本实施例对此不加以限制。
应当理解的是，根据目标行人距离以及当前行人距离确定行人碰撞风险等级也可以是根据目标行人距离以及当前行人距离确定行人危害等级，获取当前自动泊车功能以及当前泊车场景，并根据当前自动泊车功能、行人危害等级以及当前泊车场景确定行人碰撞风险等级。
在第二实施例中，通过根据所述当前行人运动信息以及预设泊车路线预测目标行人距离，获取所述目标车辆的当前车辆位置，并根据所述当前车辆位置以及所述当前行人位置确定当前行人距离，根据所述目标行人距离以及所述当前行人距离确定行人碰撞风险等级，从而能够快速、准确地确定行人碰撞风险等级。
参照图4，图4为本发明自动泊车方法第三实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明自动泊车方法的第三实施例。
在第三实施例中，所述步骤S10之前，还包括：
步骤S01：在接收到自动泊车指令时，获取目标车辆的初始检测视频以及初始雷达信息。
需要说明的是，自动泊车指令可以是用户通过自动泊车设备的用户交互界面输入的泊车指令，用户可以通过泊车指令设置泊车模式以及目标车位等，本实施例对此不加以限制；初始检测视频以及初始雷达信息可以是自动泊车设备在接收到自动泊车指令后，获得的检测视频以及雷达信息。
应当理解的是，获取目标车辆的初始检测视频以及初始雷达信息可以是通过目标车辆的CAN网络的接收图像采集设备以及雷达设备上传的初始检测视频以及初始雷达信息。
步骤S02：根据所述初始检测视频以及所述初始雷达信息确定候选车位信息。
应当理解的是，根据初始检测视频以及初始雷达信息确定候选车位信息根据初始检测视频以及初始雷达信息确定空闲车位信息，并将空闲车位信息作为候选车位信息。
进一步地，为了保证候选车位信息具有较高的准确性以及可靠性，所述步骤S02，包括：
根据所述自动泊车指令确定初始泊车时间，并根据所述初始泊车时间对所述初始检测视频进行提取，获得初始检测图像；
根据所述初始检测图像以及所述初始雷达信息进行全景拼接，获得初始全景图像；
对所述初始全景图像进行特征提取，获得图像特征，并根据所述图像特征确定候选车位信息。
应当理解的是，根据自动泊车指令确定初始泊车时间可以是将接收到自动泊车指令的时间作为初始泊车时间。
可以理解的是，根据初始泊车时间对初始检测视频进行提取，获得初始检测图像可以是获取初始泊车时间对应的视频帧，并将视频帧对应的图像作为初始检测图像。
应当理解的是，根据所述初始检测图像以及所述初始雷达信息进行全景拼接，获得初始全景图像可以是检测并提取初始检测图像的特征和关键点，根据初始检测图像的特征和关键点匹配初始检测图像之间的描述符，根据描述符通过RANSAC算法生成特征向量估计单应矩阵，根据特征向量估计单应矩阵进行图像拼接，获得待验证全景图像，根据初始雷达信息对待验证全景图像进行验证，获得初始全景图像。
步骤S03：获取所述目标车辆的初始位置信息，并根据所述初始位置信息以及所述候选车位信息生成预设泊车路线。
需要说明的是，初始位置信息可以是自动泊车设备在接收到自动泊车指令后，获得的目标车辆的位置信息。
应当理解的是，根据初始位置信息以及候选车位信息生成预设泊车路线可以是直接根据初始位置信息以及候选车位信息生成多条预设泊车路线，并将预设泊车路线展示给用户，以使用户根据预设泊车路线进行选择。
进一步地，考虑到实际应用中，若直接根据初始位置信息以及候选车位信息生成多条预设泊车路线，势必会导致无法生成最优的泊车路线。为克服这一缺陷，所述步骤S03，包括：
获取所述目标车辆的初始位置信息，并根据所述初始位置信息以及所述候选车位信息确定候选车位距离；
根据所述候选车位距离对候选车位信息进行排序，获得排序结果；
根据所述自动泊车指令以及所述排序结果确定目标车位信息，并根据所述初始位置信息以及所述目标车位信息生成预设泊车路线。
应当理解的是，根据候选车位距离对候选车位信息进行排序可以是按照候选车位距离从小到大对候选车位进行排序，获得排序结果。
可以理解的是，根据自动泊车指令以及排序结果确定目标车位信息可以是根据自动泊车指令确定用户设定车位种类，并根据用户设定车位种类以及排序结果确定目标车位信息。
在第三实施例中，通过在接收到自动泊车指令时，获取目标车辆的初始检测视频以及初始雷达信息，根据所述初始检测视频以及所述初始雷达信息确定候选车位信息，获取所述目标车辆的初始位置信息，并根据所述初始位置信息以及所述候选车位信息生成预设泊车路线；从而能够预先生成最优的泊车路线，以提高用户体验。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有自动泊车程序，所述自动泊车程序被处理器执行时实现如上文所述的自动泊车方法的步骤。
此外，参照图5，本发明实施例还提出一种自动泊车装置，所述自动泊车装置包括：获取模块10、确定模块20和控制模块30；
所述获取模块10，用于在目标车辆进行自动泊车时，获取目标车辆的当前检测视频以及当前雷达信息。
需要说明的是，在用户确定预设泊车路线，并输入开始泊车指令后，目标车辆进行自动泊车；当前检测视频可以是当前时刻图像采集设备上传的检测视频；当前雷达信息可以是当前时刻雷达设备上传的雷达信息。
可以理解的是，获取目标车辆的当前检测视频以及当前雷达信息可以是通过目标车辆的控制器局域网络(Controller Area Network,CAN)的接收图像采集设备以及雷达设备上传的当前检测视频以及当前雷达信息。
所述确定模块20，用于根据所述当前检测视频以及所述当前雷达信息确定当前行人运动信息。
需要说明的是，当前行人运动信息可以是当前时刻行人的运动方向以及运动速度等信息，本实施例对此不加以限制。
应当理解的是，根据当前检测视频以及当前雷达信息确定当前行人运动信息可以是根据当前检测视频以及当前雷达信息确定行人肢体信息，并根据行人肢体信息确定当前行人运动信息。
进一步地，考虑到实际应用中，若根据当前检测视频以及当前雷达信息确定行人肢体信息，并根据行人肢体信息确定当前行人运动信息，势必会导致检测过程所涉及的对象过多，运算量过大，准确性低。为克服这一缺陷，所述根据所述当前检测视频以及所述当前雷达信息确定当前行人运动信息，包括：
获取当前时刻，并根据所述当前时刻对所述当前检测视频进行提取，获得当前检测图像以及历史检测图像，根据所述当前检测图像以及所述历史检测图像确定初始行人运动信息，查找所述目标车辆对应的历史雷达信息，并根据所述当前雷达信息以及所述历史雷达信息对所述初始行人运动信息进行修正，获得当前行人运动信息，从而能够降低当前行人运动信息确定过程中的运算量。
所述确定模块20，还用于根据所述当前行人运动信息以及预设泊车路线确定行人碰撞风险等级。
应当理解的是，根据当前行人运动信息以及预设泊车路线确定行人碰撞风险等级可以是根据当前行人运动信息以及预设泊车路线预测目标车辆与行人是否存在空间交点，根据判断结果生成行人碰撞风险等级。
进一步地，为了能够快速、准确地确定行人碰撞风险等级，所述根据所述当前行人运动信息以及预设泊车路线确定行人碰撞风险等级，包括：
根据所述当前行人运动信息以及预设泊车路线预测目标行人距离，获取所述目标车辆的当前车辆位置，并根据所述当前车辆位置以及所述当前行人位置确定当前行人距离，根据所述目标行人距离以及所述当前行人距离确定行人碰撞风险等级。
所述控制模块30，用于根据所述行人碰撞风险等级确定目标泊车策略，并根据所述目标泊车策略控制所述目标车辆运行。
可以理解的是，根据行人碰撞风险等级确定目标泊车策略可以是在预设策略库中查找行人碰撞风险等级对应的目标泊车策略，其中，预设策略库中包含行人碰撞风险等级与目标泊车策略之间的对应关系，行人碰撞风险等级与目标泊车策略之间的对应关系可以由用户根据实际情况进行设置，本实施例对此不加以限制。例如，行人碰撞风险等级为高时，目标泊车策略设置为停车泊车。
在本实施例中，在目标车辆进行自动泊车时，获取目标车辆的当前检测视频以及当前雷达信息，根据所述当前检测视频以及所述当前雷达信息确定当前行人运动信息，根据所述当前行人运动信息以及预设泊车路线确定行人碰撞风险等级，根据所述行人碰撞风险等级确定目标泊车策略，并根据所述目标泊车策略控制所述目标车辆运行；相较于现有的通过驾驶员对环境以及行人进行监控来判断是否终止自动泊车的方式，本实施例中，通过当前检测视频以及当前雷达信息确定当前行人运动信息，并根据当前行人运动信息以及预设泊车路线确定行人碰撞风险等级，根据行人碰撞风险等级确定目标泊车策略，并根据目标泊车策略控制所述目标车辆运行，克服了现有技术中无法实现自动泊车过程中自动保护行人的缺陷，从而能够优化自动泊车过程，提高自动泊车的可靠性。
在一实施例中，所述确定模块20，还用于获取当前时刻，并根据所述当前时刻对所述当前检测视频进行提取，获得当前检测图像以及历史检测图像，根据所述当前检测图像以及所述历史检测图像确定初始行人运动信息，查找所述目标车辆对应的历史雷达信息，并根据所述当前雷达信息以及所述历史雷达信息对所述初始行人运动信息进行修正，获得当前行人运动信息；
在一实施例中，所述确定模块20，还用于通过预设神经网络模型分别对所述当前检测图像以及所述历史检测图像进行人形识别，获得当前识别结果以及历史识别结果，根据所述当前识别结果确定当前行人位置，并根据所述历史识别结果确定历史行人位置，根据所述当前行人位置以及所述历史行人位置确定初始行人运动方向以及初始行人运动速度，将所述初始行人运动方向以及所述初始行人运动速度作为初始行人运动信息；
在一实施例中，所述确定模块20，还用于根据所述当前行人运动信息以及预设泊车路线预测目标行人距离，获取所述目标车辆的当前车辆位置，并根据所述当前车辆位置以及所述当前行人位置确定当前行人距离，根据所述目标行人距离以及所述当前行人距离确定行人碰撞风险等级；
在一实施例中，所述自动泊车装置还包括：生成模块；
所述生成模块，用于在接收到自动泊车指令时，获取目标车辆的初始检测视频以及初始雷达信息，根据所述初始检测视频以及所述初始雷达信息确定候选车位信息，获取所述目标车辆的初始位置信息，并根据所述初始位置信息以及所述候选车位信息生成预设泊车路线；
在一实施例中，所述生成模块，还用于根据所述自动泊车指令确定初始泊车时间，并根据所述初始泊车时间对所述初始检测视频进行提取，获得初始检测图像，根据所述初始检测图像以及所述初始雷达信息进行全景拼接，获得初始全景图像，对所述初始全景图像进行特征提取，获得图像特征，并根据所述图像特征确定候选车位信息；
在一实施例中，所述生成模块，还用于获取所述目标车辆的初始位置信息，并根据所述初始位置信息以及所述候选车位信息确定候选车位距离，根据所述候选车位距离对候选车位信息进行排序，获得排序结果，根据所述自动泊车指令以及所述排序结果确定目标车位信息，并根据所述初始位置信息以及所述目标车位信息生成预设泊车路线。
本发明所述自动泊车装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为名称。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(Read Only Memory image，ROM)/随机存取存储器(Random AccessMemory，RAM)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种自动泊车方法，其特征在于，所述自动泊车方法包括以下步骤：
在目标车辆进行自动泊车时，获取目标车辆的当前检测视频以及当前雷达信息；
根据所述当前检测视频以及所述当前雷达信息确定当前行人运动信息；
根据所述当前行人运动信息以及预设泊车路线确定行人碰撞风险等级；
根据所述行人碰撞风险等级确定目标泊车策略，并根据所述目标泊车策略控制所述目标车辆运行；
其中，所述根据所述当前检测视频以及所述当前雷达信息确定当前行人运动信息的步骤，具体包括：
获取当前时刻，并根据所述当前时刻对所述当前检测视频进行提取，获得当前检测图像以及历史检测图像；
根据所述当前检测图像以及所述历史检测图像确定初始行人运动信息；
查找所述目标车辆对应的历史雷达信息，并根据所述当前雷达信息以及所述历史雷达信息对所述初始行人运动信息进行修正，获得当前行人运动信息。
2.如权利要求1所述的自动泊车方法，其特征在于，所述根据所述当前检测图像以及所述历史检测图像确定初始行人运动信息的步骤，具体包括：
通过预设神经网络模型分别对所述当前检测图像以及所述历史检测图像进行人形识别，获得当前识别结果以及历史识别结果；
根据所述当前识别结果确定当前行人位置，并根据所述历史识别结果确定历史行人位置；
根据所述当前行人位置以及所述历史行人位置确定初始行人运动方向以及初始行人运动速度；
将所述初始行人运动方向以及所述初始行人运动速度作为初始行人运动信息。
3.如权利要求2所述的自动泊车方法，其特征在于，所述根据所述当前行人运动信息以及预设泊车路线确定行人碰撞风险等级的步骤，具体包括：
根据所述当前行人运动信息以及预设泊车路线预测目标行人距离；
获取所述目标车辆的当前车辆位置，并根据所述当前车辆位置以及所述当前行人位置确定当前行人距离；
根据所述目标行人距离以及所述当前行人距离确定行人碰撞风险等级。
4.如权利要求1所述的自动泊车方法，其特征在于，所述在目标车辆进行自动泊车时，获取目标车辆的当前检测视频以及当前雷达信息的步骤之前，所述自动泊车方法还包括：
在接收到自动泊车指令时，获取目标车辆的初始检测视频以及初始雷达信息；
根据所述初始检测视频以及所述初始雷达信息确定候选车位信息；
获取所述目标车辆的初始位置信息，并根据所述初始位置信息以及所述候选车位信息生成预设泊车路线。
5.如权利要求4所述的自动泊车方法，其特征在于，所述根据所述初始检测视频以及所述初始雷达信息确定候选车位信息的步骤，具体包括：
根据所述自动泊车指令确定初始泊车时间，并根据所述初始泊车时间对所述初始检测视频进行提取，获得初始检测图像；
根据所述初始检测图像以及所述初始雷达信息进行全景拼接，获得初始全景图像；
对所述初始全景图像进行特征提取，获得图像特征，并根据所述图像特征确定候选车位信息。
6.如权利要求4所述的自动泊车方法，其特征在于，所述获取所述目标车辆的初始位置信息，并根据所述初始位置信息以及所述候选车位信息生成预设泊车路线的步骤，具体包括：
获取所述目标车辆的初始位置信息，并根据所述初始位置信息以及所述候选车位信息确定候选车位距离；
根据所述候选车位距离对候选车位信息进行排序，获得排序结果；
根据所述自动泊车指令以及所述排序结果确定目标车位信息，并根据所述初始位置信息以及所述目标车位信息生成预设泊车路线。
7.一种自动泊车设备，其特征在于，所述自动泊车设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的自动泊车程序，所述自动泊车程序被所述处理器执行时实现如权利要求1至6中任一项所述的自动泊车方法的步骤。
8.一种存储介质，其特征在于，所述存储介质上存储有自动泊车程序，所述自动泊车程序被处理器执行时实现如权利要求1至6中任一项所述的自动泊车方法的步骤。
9.一种自动泊车装置，其特征在于，所述自动泊车装置包括：获取模块、确定模块和控制模块；
所述获取模块，用于在目标车辆进行自动泊车时，获取目标车辆的当前检测视频以及当前雷达信息；
所述确定模块，用于根据所述当前检测视频以及所述当前雷达信息确定当前行人运动信息；
所述确定模块，还用于根据所述当前行人运动信息以及预设泊车路线确定行人碰撞风险等级；
所述控制模块，用于根据所述行人碰撞风险等级确定目标泊车策略，并根据所述目标泊车策略控制所述目标车辆运行；
其中，所述确定模块，还用于获取当前时刻，并根据所述当前时刻对所述当前检测视频进行提取，获得当前检测图像以及历史检测图像，根据所述当前检测图像以及所述历史检测图像确定初始行人运动信息，查找所述目标车辆对应的历史雷达信息，并根据所述当前雷达信息以及所述历史雷达信息对所述初始行人运动信息进行修正，获得当前行人运动信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011073963.6A CN112078571B (zh) | 2020-09-30 | 2020-09-30 | 自动泊车方法、设备、存储介质及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011073963.6A CN112078571B (zh) | 2020-09-30 | 2020-09-30 | 自动泊车方法、设备、存储介质及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112078571A CN112078571A (zh) | 2020-12-15 |
| CN112078571B true CN112078571B (zh) | 2021-07-13 |
Family
ID=73730611
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011073963.6A Active CN112078571B (zh) | 2020-09-30 | 2020-09-30 | 自动泊车方法、设备、存储介质及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112078571B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112966613B (zh) * | 2021-03-10 | 2024-07-12 | 北京家人智能科技有限公司 | 汽车运行环境多级预警方法、装置、电子设备及存储介质 |
| CN113525352B (zh) * | 2021-06-21 | 2022-12-02 | 上汽通用五菱汽车股份有限公司 | 车辆的泊车方法、车辆及计算机可读存储介质 |
| CN115214626B (zh) * | 2022-04-28 | 2024-04-26 | 广州汽车集团股份有限公司 | 泊车控制方法、泊车控制装置、车辆及存储介质 |
| CN115042823B (zh) * | 2022-07-29 | 2024-07-02 | 浙江吉利控股集团有限公司 | 一种代客泊车方法、装置、电子设备及存储介质 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011114442A1 (ja) * | 2010-03-16 | 2011-09-22 | トヨタ自動車株式会社 | 運転支援装置 |
| DE102015007531B3 (de) * | 2015-06-11 | 2016-09-01 | Audi Ag | Verfahren zur Verkehrssteuerung in einer Parkumgebung |
| CN105946853B (zh) * | 2016-04-28 | 2018-05-29 | 中山大学 | 基于多传感器融合的长距离自动泊车的系统及方法 |
| US10150414B2 (en) * | 2016-07-08 | 2018-12-11 | Ford Global Technologies, Llc | Pedestrian detection when a vehicle is reversing |
| CN106114494B (zh) * | 2016-07-21 | 2019-07-30 | 浙江吉利汽车研究院有限公司 | 一种用于车辆的倒车辅助防碰撞系统及方法 |
| US9969386B1 (en) * | 2017-01-10 | 2018-05-15 | Mitsubishi Electric Research Laboratories, Inc. | Vehicle automated parking system and method |
| CN107808549B (zh) * | 2017-11-08 | 2020-06-16 | 华为技术有限公司 | 移动控制的方法、装置和系统 |
| JP6904224B2 (ja) * | 2017-11-15 | 2021-07-14 | トヨタ自動車株式会社 | 運転支援装置 |
| CN108437982A (zh) * | 2018-05-14 | 2018-08-24 | 吉利汽车研究院（宁波）有限公司 | 一种自动泊车装置及方法 |
| CN109733384B (zh) * | 2018-12-25 | 2021-04-30 | 科大讯飞股份有限公司 | 泊车路径设置方法及系统 |
| CN111044045B (zh) * | 2019-12-09 | 2022-05-27 | 中国科学院深圳先进技术研究院 | 基于神经网络的导航方法、装置及终端设备 |
-
2020
- 2020-09-30 CN CN202011073963.6A patent/CN112078571B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112078571A (zh) | 2020-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112078571B (zh) | 自动泊车方法、设备、存储介质及装置 | |
| US20240092344A1 (en) | Method and apparatus for detecting parking space and direction and angle thereof, device and medium | |
| US11087138B2 (en) | Vehicle damage assessment method, apparatus, and device | |
| US11508157B2 (en) | Device and method of objective identification and driving assistance device | |
| US20090185717A1 (en) | Object detection system with improved object detection accuracy | |
| CN108846336B (zh) | 目标检测方法、装置及计算机可读存储介质 | |
| CN111126209B (zh) | 车道线检测方法及相关设备 | |
| CN108021863B (zh) | 电子装置、基于图像的年龄分类方法及存储介质 | |
| CN113189989B (zh) | 车辆意图预测方法、装置、设备及存储介质 | |
| CN113269163A (zh) | 基于鱼眼图像的立体泊车位检测方法及装置 | |
| CN114005105B (zh) | 驾驶行为检测方法、装置以及电子设备 | |
| CN109766841B (zh) | 车辆检测方法、装置及计算机可读存储介质 | |
| CN112784817B (zh) | 车辆所在车道检测方法、装置、设备及存储介质 | |
| CN114399657A (zh) | 车辆检测模型训练方法、装置、车辆检测方法及电子设备 | |
| CN113548055A (zh) | 用于控制驾驶载运工具的电子设备和电子设备的操作方法 | |
| CN113536867A (zh) | 物体识别的方法、装置及系统 | |
| CN110660000A (zh) | 数据预测方法、装置、设备及计算机可读存储介质 | |
| CN112215042A (zh) | 一种车位限位器识别方法及其系统、计算机设备 | |
| JP4155252B2 (ja) | 車両検出装置 | |
| CN113050063A (zh) | 基于激光传感器的障碍检测方法、装置、设备及存储介质 | |
| CN114360056A (zh) | 开门预警方法、装置、设备及存储介质 | |
| CN113830076A (zh) | 泊车方法、装置、设备及存储介质 | |
| CN113591543A (zh) | 交通标志识别方法、装置、电子设备及计算机存储介质 | |
| CN112537267A (zh) | 倒车预警性能测试方法、设备、存储介质及装置 | |
| CN113496162A (zh) | 停车规范识别方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |