CN111016918B - 一种库位检测方法、装置和模型训练装置 - Google Patents
一种库位检测方法、装置和模型训练装置 Download PDFInfo
- Publication number
- CN111016918B CN111016918B CN201811178396.3A CN201811178396A CN111016918B CN 111016918 B CN111016918 B CN 111016918B CN 201811178396 A CN201811178396 A CN 201811178396A CN 111016918 B CN111016918 B CN 111016918B
- Authority
- CN
- China
- Prior art keywords
- library
- target
- library position
- information
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 66
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 53
- 239000013598 vector Substances 0.000 claims abstract description 27
- 241001300198 Caperonia palustris Species 0.000 claims abstract description 3
- 235000000384 Veronica chamaedrys Nutrition 0.000 claims abstract description 3
- 230000004927 fusion Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 14
- 240000004050 Pentaglottis sempervirens Species 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种库位检测方法、装置和模型训练装置。包括：基于不同方向获取的多张图像，生成包含目标库位的鸟瞰图；将所述鸟瞰图输入至预先训练好的模型中，获取所述模型输出的一组库位角点信息；其中所述模型为采用预设训练方法，对带有库位角点特征向量的多张训练样本图像进行训练得到的；基于得到的一组库位角点信息，判断所述目标库位是否有效；如果所述目标库位有效，基于所述目标库位的库位信息以及目标车辆当前的车辆信息，规划所述目标车辆的泊车路径。本发明实现成本较低且可以较高精度地识别出库位位置，提高了库位检测准确度，有效地协助车辆智能泊车。
Description
技术领域
本发明涉及智能泊车技术领域，尤其涉及一种库位检测方法、装置和模型训练装置。
背景技术
随着汽车智能化技术的快速发展，智能泊车系统在越来越多的车型上得到应用。目前现有的库位检测方法主要包括两大类：1)基于激光雷达、毫米波雷达、或超声波雷达等的库位检测；2)基于视觉技术的库位检测。
其中，基于激光雷达的库位检测虽然检测精度相对较高，但是成本过于昂贵；基于毫米波雷达的库位检测对于具有相对运动的物体检测精度较高，但是无法检测相对静止的物体；基于超声波雷达的库位检测由于车辆前端或后端存在圆角，受超声波测距传感器自身特性的局限，在前后端圆角处存在接收不到回波的现象，这将造成检测到的库位较实际偏大；基于视觉技术的库位检测中的图像易受到阴影、光照等环境条件的影响，降低库位检测精度。
显然目前现有的库位检测方法要么成本过高，要么无法达到较高的库位检测准确度，因此，有必要提供一种更有效的库位检测方法，能够低成本的、高准确度地识别库位，为汽车泊车提供协助。
发明内容
有鉴于此，本发明提供一种库位检测方法、装置和模型训练装置，以解决现有库位检测方法存在的要么成本过高，要么无法达到较高的库位检测准确度的问题。技术方案如下：
基于本发明的一方面，本发明提供一种库位检测方法，方法包括：
基于不同方向获取的多张图像，生成包含目标库位的鸟瞰图；
将所述鸟瞰图输入至预先训练好的模型中，获取所述模型输出的一组库位角点信息；其中所述模型为采用预设训练方法，对带有库位角点特征向量的多张训练样本图像进行训练得到的；
基于得到的一组库位角点信息，判断所述目标库位是否有效；
如果所述目标库位有效，基于所述目标库位的库位信息以及目标车辆当前的车辆信息，规划所述目标车辆的泊车路径。
可选地，当判断所述目标库位有效时，所述方法还包括：
将所述目标库位的库位信息存储至缓存中。
可选地，在所述基于所述目标库位的库位信息以及目标车辆当前的车辆信息，规划所述目标车辆的泊车路径之前，所述方法还包括：
从所述缓存中获取历史最新的库位信息，并基于所述最新的库位信息进行航位推算，得到航位推算结果；
判断当前是否得到所述目标库位的库位信息；
如果得到，所述基于所述目标库位的库位信息以及目标车辆当前的车辆信息，规划所述目标车辆的泊车路径包括：
采用预设的融合算法，将所述航位推算结果和所述目标库位的库位信息进行融合，得到一融合结果；
基于所述融合结果以及所述目标车辆当前的车辆信息，规划所述目标车辆的泊车路径。
可选地，所述方法还包括：
如果未得到，基于所述航位推算结果以及所述目标车辆当前的车辆信息，规划所述目标车辆的泊车路径。
可选地，所述模型采用如下方法训练得到：
基于不同方向获取的多张图像，生成包含样本库位的样本鸟瞰图；
对所述样本鸟瞰图中的库位角点进行标注；
对所述样本鸟瞰图进行预设处理后，结合标注信息，提取出所述样本鸟瞰图中各个库位角点的库位角点感兴趣区域ROI；
从每个所述库位角点ROI中分别提取一个库位角点特征向量；
将包含带有所述库位角点特征向量的库位角点ROI的图像作为所述训练样本图像输入至模型中，采用预设训练方法对模型进行训练，得到训练好的模型。
基于本发明的另一方面，本发明提供一种库位检测装置，装置包括：
鸟瞰图生成单元，用于基于不同方向获取的多张图像，生成包含目标库位的鸟瞰图；
库位角点信息获取单元，用于将所述鸟瞰图输入至预先训练好的模型中，获取所述模型输出的一组库位角点信息；其中所述模型为采用预设训练方法，对带有库位角点特征向量的多张训练样本图像进行训练得到的；
库位有效性判断单元，用于基于得到的一组库位角点信息，判断所述目标库位是否有效；
泊车路径规划单元，用于在所述库位有效性判断单元判断所述目标库位有效时，基于所述目标库位的库位信息以及目标车辆当前的车辆信息，规划所述目标车辆的泊车路径。
可选地，所述装置还包括：
缓存单元，用于在所述库位有效性判断单元判断所述目标库位有效时，将所述目标库位的库位信息存储至缓存中。
可选地，所述装置还包括：
航位推算单元，用于从所述缓存中获取历史最新的库位信息，并基于所述最新的库位信息进行航位推算，得到航位推算结果；
判定单元，用于判断当前是否得到所述目标库位的库位信息；
所述泊车路径规划单元具体用于，在所述判定单元判断当前得到所述目标库位的库位信息时，采用预设的融合算法，将所述航位推算结果和所述目标库位的库位信息进行融合，得到一融合结果；基于所述融合结果以及所述目标车辆当前的车辆信息，规划所述目标车辆的泊车路径。
可选地，所述泊车路径规划单元还用于，在所述判定单元判断当前未得到所述目标库位的库位信息时，基于所述航位推算结果以及所述目标车辆当前的车辆信息，规划所述目标车辆的泊车路径。
基于本发明的再一方面，本发明提供一种模型训练装置，用于训练得到前文所述的模型；所述模型训练装置包括：
生成单元，用于基于不同方向获取的多张图像，生成包含样本库位的样本鸟瞰图；
标注单元，用于对所述样本鸟瞰图中的库位角点进行标注；
第一提取单元，用于对所述样本鸟瞰图进行预设处理后，结合标注信息，提取出所述样本鸟瞰图中各个库位角点的库位角点感兴趣区域ROI；
第二提取单元，用于从每个所述库位角点ROI中分别提取一个库位角点特征向量；
训练单元，用于将包含带有所述库位角点特征向量的库位角点ROI的图像作为所述训练样本图像输入至模型中，采用预设训练方法对模型进行训练，得到训练好的模型。
本发明提供的库位检测方法中，基于不同方向获取的多张图像，生成包含目标库位的鸟瞰图；将所述鸟瞰图输入至预先训练好的模型中，获取所述模型输出的一组库位角点信息；其中所述模型为采用预设训练方法，对带有库位角点特征向量的多张训练样本图像进行训练得到的；基于得到的一组库位角点信息，判断所述目标库位是否有效；如果所述目标库位有效，基于所述目标库位的库位信息以及目标车辆当前的车辆信息，规划所述目标车辆的泊车路径。
本发明利用训练好的模型确定出包含目标车辆以及目标库位的鸟瞰图中的一组库位角点信息，并基于得到的一组库位角点信息，判断目标库位是否有效。在有效时，基于目标库位的库位信息以及目标车辆当前的车辆信息，规划目标车辆的泊车路径。本发明实现成本较低且可以较高精度地识别出库位位置，提高了库位检测准确度，有效地协助车辆智能泊车。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种库位检测方法的流程图；
图2为本发明中鸟瞰图的拼接示意图；
图3为本发明中的模型训练的流程图；
图4为本发明提供的另一种库位检测方法的流程图；
图5为本发明中航位推算示意图；
图6为本发明提供的一种库位检测装置的结构示意图；
图7为本发明提供的另一种库位检测装置的结构示意图；
图8为本发明提供的一种模型训练装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其示出了本发明提供的一种库位检测方法的流程图，方法可以包括：
步骤101，基于不同方向获取的多张图像，生成包含目标库位的鸟瞰图。
本发明可以预先在目标车辆的四周布置多个摄像头，例如在目标车辆的左前位置、左后位置、右前位置、右后位置分别布置至少一个摄像头，又如在目标车辆的正前位置、正后位置、左侧位置、右侧位置分别布置至少一个摄像头等。本发明对于在目标车辆上布置多个摄像头的实现方式不做限定，只要满足基于布置的多个摄像头分别获取的图像能够生成一包含目标库位的鸟瞰图的布置方式都属于本发明的保护范围。
本发明中布置的多个摄像头的型号、规格相同，该多个摄像头可以包括但不限于：单目摄像头、双目摄像头等。本发明中优选地在目标车辆的四周布置四个单目摄像头，利用四个单目摄像头分别获取不同方向的不同图像。
在实际应用过程中，布置在不同位置处的摄像头将分别拍摄其所能够捕捉到的图像，因为不同摄像头布置安装在目标车辆上的位置不同，因此不同摄像头拍摄得到的图像为相对于目标车辆的不同方向的图像，如安装在目标车辆左前位置的摄像头将拍摄到目标车辆左前方区域的图像，安装在目标车辆左后位置的摄像头将拍摄到目标车辆左后方区域的图像，安装在目标车辆右前位置的摄像头将拍摄到目标车辆右前方区域的图像，安装在目标车辆右后位置的摄像头将拍摄到目标车辆右后方区域的图像。
基于不同方向获取的多张图像，本发明通过标定拼接，生成一包含目标库位的鸟瞰图，结合图2所示，本发明分别在目标车辆的正前位置、正后位置、左侧位置和右侧位置分别布置了一个摄像头，该四个摄像头将分别捕捉到的四幅图像(即前景、后景、左景、右景)，通过将该四幅图像标定拼接得到鸟瞰图，该鸟瞰图中包含目标库位。
步骤102，将所述鸟瞰图输入至预先训练好的模型中，获取所述模型输出的一组库位角点信息；其中所述模型为采用预设训练方法，对带有库位角点特征向量的多张训练样本图像进行训练得到的。
在具体实现本发明提供的库位检测方法前，本发明首先采用预设训练方法训练得到一模型，该模型能够准确地识别出输入图像中的一组库位角点信息，该模型可以具体为分类器。
结合图3所示，本发明中的模型可以采用如下步骤201至步骤205所示的方法得到，方法包括：
步骤201，基于不同方向获取的多张图像，生成包含样本库位的样本鸟瞰图。
步骤201的实现原理同前述步骤101的实现原理相同，发明人在此不再赘述。
步骤202，对所述样本鸟瞰图中的库位角点进行标注。
对于得到的样本鸟瞰图，首先由人工进行库位角点标注。
步骤203，对所述样本鸟瞰图进行预设处理后，结合标注信息，提取出所述样本鸟瞰图中各个库位角点的库位角点ROI。
对于完成标注后的样本鸟瞰图，本发明继续对其进行预设处理，其中预设处理主要包括将样本鸟瞰图分别生成灰度图、梯度图和HOG直方图这三张图。进而，结合标注信息可以确定出各个库位角点的位置，进而依次提取出样本鸟瞰图中各个库位角点的库位角点ROI(region of interest，感兴趣区域)。
步骤204，从每个所述库位角点ROI中分别提取一个库位角点特征向量。
具体地，本发明将库位角点ROI的灰度、梯度、HOG特征合并得到一个一维特征向量，该一维特征向量即为库位角点特征向量。本发明中，一个库位角点ROI对应一个库位角点特征向量。
步骤205，将包含带有所述库位角点特征向量的库位角点ROI的图像作为所述训练样本图像输入至模型中，采用预设训练方法对模型进行训练，得到训练好的模型。
在得到每个库位角点ROI的库位角点特征向量后，截取包含带有所述库位角点特征向量的库位角点ROI的一个特定大小的图像，并将该图像作为训练样本图像输入至模型中，进而采用预设训练方法对模型进行训练，得到训练好的模型。
本发明中的预设训练方法可以包括SVM(Support Vector Machine，支持向量机)算法、决策树算法、神经网络算法等，本发明对此不做限定。
经过本发明上述步骤201至步骤205所示的方法得到的训练好的模型，能够判断输入图像中哪个点属于库位角点，哪个点不属于库位角点，实现了对输入图像中各个点是否属于库位角点的判断。
因此在本发明实现库位检测的过程中，当将步骤101生成的鸟瞰图输入至预先训练好的模型中后，可以获取该模型输出的一组库位角点信息，该一组库位角点信息即为鸟瞰图中目标库位的库位角点信息，包括各个库位角点的位置信息等。
步骤103，基于得到的一组库位角点信息，判断所述目标库位是否有效。如果有效，执行步骤104，否则返回步骤101。
具体地，本发明可以运用线段检测规则、入口线距离检测规则等判断该一组库位角点信息中，两两库位角点之间是否构成有效库位。如果可以构成有效库位，则确定所检测到的目标库位有效，否则，返回步骤101。
步骤104，基于所述目标库位的库位信息以及目标车辆当前的车辆信息，规划所述目标车辆的泊车路径。
具体地，本发明可以基于目标库位的库位信息以及目标车辆当前的车辆信息，采用泊车路径规划算法规划所述目标车辆的泊车路径。因为泊车路径规划算法已为成熟的技术，本发明可直接应用现有的泊车路径规划算法即可，对此，发明人不再详细论述。
本发明利用训练好的模型确定出包含目标车辆以及目标库位的鸟瞰图中的一组库位角点信息，并基于得到的一组库位角点信息，判断目标库位是否有效。在有效时，基于目标库位的库位信息以及目标车辆当前的车辆信息，规划目标车辆的泊车路径。本发明实现成本较低且可以较高精度地识别出库位位置，提高了库位检测准确度，有效地协助车辆智能泊车。
在实际应用过程中，考虑到基于机器学习的视觉检测计算量较大，用时较多，单纯依靠视觉检测(即鸟瞰图)来确定目标库位的效率较低，实时性无法满足。
基于此，本发明进一步提出了航位推算结合机器学习的视觉检测的库位检测方法，如图4所示，该方法可以有效提高确定目标库位的效率，满足实时性要求。
考虑到在实际应用过程中，视觉检测部分需要占用较多的硬件资源，且每一次检测结果的获得都需要较长时间，一般数倍于车辆的控制周期。因此本发明采用主线程执行航位推算以及泊车路径规划，子线程执行视觉检测，两个线程同时执行的方法来实现。具体地，本发明实施例中，以主线程每20ms循环一次，子线程每100ms循环一次为例进行说明。方法可以包括：
步骤301，子线程基于不同方向获取的多张图像，生成包含目标库位的鸟瞰图。
步骤302，子线程将所述鸟瞰图输入至预先训练好的模型中，获取所述模型输出的一组库位角点信息；其中所述模型为采用预设训练方法，对带有库位角点特征向量的多张训练样本图像进行训练得到的。
步骤303，子线程基于得到的一组库位角点信息，判断所述目标库位是否有效。如果有效，执行步骤304，如果无效，执行步骤301。
步骤304，子线程将所述目标库位的库位信息发送给主线程并存储至缓存中。
本发明对于每次获取到的有效的目标库位的库位信息，都将其存储至缓存(buffer)中。
步骤305，主线程获取目标车辆当前的车辆信息。
其中目标车辆当前的车辆信息例如包括目标车辆的方向盘转角、速度、档位等信息。具体地，本发明中主线程可以从汽车CAN总线上读取目标车辆的车辆信息。
步骤306，主线程从所述缓存中获取历史最新的库位信息，并基于所述最新的库位信息进行航位推算，得到航位推算结果。
其中历史最新的库位信息指的是距离当前时间最近一次存储的库位信息。航位推算结果为根据历史库位信息推测出的目标库位的库位信息。
具体地结合图5所示，本发明根据ΔT时间内(即从T-1时刻到T时刻)接收到车辆信息，如方向盘转角、车速、档位等信息，更新T时刻车辆局部坐标系X’O’Y’在T-1时刻车辆局部坐标系XOY中的位姿，包括原点O’在XOY中的坐标(X，Y)以及两个X轴之间的夹角θ，从而得到平移矩阵和旋转矩阵；进而基于已知的T-1时刻库位4个角点abcd在XOY坐标系中的坐标，根据坐标变换公式求得同样的4个角点a’b’c’d’在X’O’Y’中的坐标。
步骤307，主线程判断当前是否接收到子线程发送的所述目标库位的库位信息。如果接收到，执行步骤308，如果未接收到，执行步骤310。
步骤308，主线程采用预设的融合算法，将所述航位推算结果和所述目标库位的库位信息进行融合，得到一融合结果。
步骤309，主线程基于所述融合结果以及所述目标车辆当前的车辆信息，规划所述目标车辆的泊车路径。
步骤310，主线程基于所述航位推算结果以及所述目标车辆当前的车辆信息，规划所述目标车辆的泊车路径。
本发明实施例中，主线程对存储在缓存中的历史最新库位信息进行航位推算得到一航位推算结果。如果当前子线程发送来了新的单帧检测结果(即目标库位的库位信息)，则主线程通过滤波或其他融合算法，将得到的航位推算结果和子线程发送的目标库位的库位信息进行融合，得到一融合结果，进而基于融合结果和目标车辆当前的车辆信息，规划目标车辆的泊车路径；如果当前子线程未发送新的单帧检测结果，则主线程直接基于航位推算结果和当前目标车辆当前的车辆信息，规划所述目标车辆的泊车路径。
可选地，本发明中的主线程还可以将航位推算结果发送至子线程，作为子线程执行视觉检测的下一周期的待跟踪目标，从而缩小子线程的搜索范围，提升视觉检测功能的速度和鲁棒性。
本发明提供的库位检测方法，将机器学习视觉检测方法和航位推算算法融合，保证了库位检测的实时性和准确性，为智能泊车系统提供了可靠的库位信息，有效地协助车辆智能泊车。
基于前文本发明提供的一种库位检测方法，本发明还提供一种库位检测装置，如图6所示，装置包括：
鸟瞰图生成单元100，用于基于不同方向获取的多张图像，生成包含目标库位的鸟瞰图；
库位角点信息获取单元200，用于将所述鸟瞰图输入至预先训练好的模型中，获取所述模型输出的一组库位角点信息；其中所述模型为采用预设训练方法，对带有库位角点特征向量的多张训练样本图像进行训练得到的；
库位有效性判断单元300，用于基于得到的一组库位角点信息，判断所述目标库位是否有效；
泊车路径规划单元400，用于在所述库位有效性判断单元300判断所述目标库位有效时，基于所述目标库位的库位信息以及目标车辆当前的车辆信息，规划所述目标车辆的泊车路径。
可选地，如图7所示，所述装置还包括：
缓存单元500，用于在所述库位有效性判断单元300判断所述目标库位有效时，将所述目标库位的库位信息存储至缓存中。
航位推算单元600，用于从所述缓存中获取历史最新的库位信息，并基于所述最新的库位信息进行航位推算，得到航位推算结果；
判定单元700，用于判断当前是否得到所述目标库位的库位信息；
所述泊车路径规划单元400具体用于，在所述判定单元700判断当前得到所述目标库位的库位信息时，采用预设的融合算法，将所述航位推算结果和所述目标库位的库位信息进行融合，得到一融合结果；基于所述融合结果以及所述目标车辆当前的车辆信息，规划所述目标车辆的泊车路径；以及，
所述泊车路径规划单元400还用于，在所述判定单元700判断当前未得到所述目标库位的库位信息时，基于所述航位推算结果以及所述目标车辆当前的车辆信息，规划所述目标车辆的泊车路径。
如图8所示，本发明还提供一种模型训练装置，包括：
生成单元10，用于基于不同方向获取的多张图像，生成包含样本库位的样本鸟瞰图；
标注单元20，用于对所述样本鸟瞰图中的库位角点进行标注；
第一提取单元30，用于对所述样本鸟瞰图进行预设处理后，结合标注信息，提取出所述样本鸟瞰图中各个库位角点的库位角点感兴趣区域ROI；
第二提取单元40，用于从每个所述库位角点ROI中分别提取一个库位角点特征向量；
训练单元50，用于将包含带有所述库位角点特征向量的库位角点ROI的图像作为所述训练样本图像输入至模型中，采用预设训练方法对模型进行训练，得到训练好的模型。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种库位检测方法、装置和模型训练装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种库位检测方法，其特征在于，方法包括：
基于不同方向获取的多张图像，生成包含目标库位的鸟瞰图；
将所述鸟瞰图输入至预先训练好的模型中，获取所述模型输出的一组库位角点信息；其中所述模型为采用预设训练方法，对带有库位角点特征向量的多张训练样本图像进行训练得到的；
基于得到的一组库位角点信息，判断所述目标库位是否有效；
如果所述目标库位有效，将所述目标库位的库位信息存储至缓存中；
从所述缓存中获取历史最新的库位信息，并基于所述最新的库位信息进行航位推算，得到航位推算结果；
判断当前是否得到所述目标库位的库位信息；
如果得到，采用预设的融合算法，将所述航位推算结果和所述目标库位的库位信息进行融合，得到一融合结果；
基于所述融合结果以及目标车辆当前的车辆信息，规划所述目标车辆的泊车路径。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
如果未得到，基于所述航位推算结果以及所述目标车辆当前的车辆信息，规划所述目标车辆的泊车路径。
3.根据权利要求1-2任一项所述的方法，其特征在于，所述模型采用如下方法训练得到：
基于不同方向获取的多张图像，生成包含样本库位的样本鸟瞰图；
对所述样本鸟瞰图中的库位角点进行标注；
对所述样本鸟瞰图进行预设处理后，结合标注信息，提取出所述样本鸟瞰图中各个库位角点的库位角点感兴趣区域ROI；
从每个所述库位角点感兴趣区域ROI中分别提取一个库位角点特征向量；
将包含带有所述库位角点特征向量的库位角点感兴趣区域ROI的图像作为所述训练样本图像输入至模型中，采用预设训练方法对模型进行训练，得到训练好的模型。
4.一种库位检测装置，其特征在于，装置包括：
鸟瞰图生成单元，用于基于不同方向获取的多张图像，生成包含目标库位的鸟瞰图；
库位角点信息获取单元，用于将所述鸟瞰图输入至预先训练好的模型中，获取所述模型输出的一组库位角点信息；其中所述模型为采用预设训练方法，对带有库位角点特征向量的多张训练样本图像进行训练得到的；
库位有效性判断单元，用于基于得到的一组库位角点信息，判断所述目标库位是否有效；
缓存单元，用于在所述库位有效性判断单元判断所述目标库位有效时，将所述目标库位的库位信息存储至缓存中；
航位推算单元，用于从所述缓存中获取历史最新的库位信息，并基于所述最新的库位信息进行航位推算，得到航位推算结果；
判定单元，用于判断当前是否得到所述目标库位的库位信息；
泊车路径规划单元，用于在所述判定单元判断当前得到所述目标库位的库位信息时，采用预设的融合算法，将所述航位推算结果和所述目标库位的库位信息进行融合，得到一融合结果；基于所述融合结果以及目标车辆当前的车辆信息，规划所述目标车辆的泊车路径。
5.根据权利要求4所述的装置，其特征在于，
所述泊车路径规划单元还用于，在所述判定单元判断当前未得到所述目标库位的库位信息时，基于所述航位推算结果以及所述目标车辆当前的车辆信息，规划所述目标车辆的泊车路径。
6.一种模型训练装置，其特征在于，用于训练得到前述权利要求4-5中任一项所述的模型；所述模型训练装置包括：
生成单元，用于基于不同方向获取的多张图像，生成包含样本库位的样本鸟瞰图；
标注单元，用于对所述样本鸟瞰图中的库位角点进行标注；
第一提取单元，用于对所述样本鸟瞰图进行预设处理后，结合标注信息，提取出所述样本鸟瞰图中各个库位角点的库位角点感兴趣区域ROI；
第二提取单元，用于从每个所述库位角点感兴趣区域ROI中分别提取一个库位角点特征向量；
训练单元，用于将包含带有所述库位角点特征向量的库位角点感兴趣区域ROI的图像作为所述训练样本图像输入至模型中，采用预设训练方法对模型进行训练，得到训练好的模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811178396.3A CN111016918B (zh) | 2018-10-10 | 2018-10-10 | 一种库位检测方法、装置和模型训练装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811178396.3A CN111016918B (zh) | 2018-10-10 | 2018-10-10 | 一种库位检测方法、装置和模型训练装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111016918A CN111016918A (zh) | 2020-04-17 |
| CN111016918B true CN111016918B (zh) | 2021-08-17 |
Family
ID=70191773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811178396.3A Active CN111016918B (zh) | 2018-10-10 | 2018-10-10 | 一种库位检测方法、装置和模型训练装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111016918B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112037265B (zh) * | 2020-11-04 | 2021-02-02 | 天津天瞳威势电子科技有限公司 | 一种库位跟踪方法及装置 |
| CN112298168B (zh) * | 2020-11-06 | 2022-04-22 | 北京罗克维尔斯科技有限公司 | 一种车位检测方法及装置、自动泊车方法及装置 |
| CN112124304B (zh) * | 2020-11-24 | 2021-02-05 | 天津天瞳威势电子科技有限公司 | 一种库位定位方法、装置及车载设备 |
| CN113313044A (zh) * | 2021-06-10 | 2021-08-27 | 苏州威联加信息科技有限公司 | 一种通过视觉判断货位是否有货的方法及系统 |
| CN113409194B (zh) * | 2021-06-30 | 2024-03-22 | 上海汽车集团股份有限公司 | 泊车信息获取方法及装置、泊车方法及装置 |
| DE102022202548B3 (de) | 2022-03-15 | 2023-05-04 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Trainieren eines Computerprogrammprodukts |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101295305A (zh) * | 2007-04-25 | 2008-10-29 | 富士通株式会社 | 图像检索装置 |
| CN102407848A (zh) * | 2010-09-21 | 2012-04-11 | 高强 | 具有自动泊车与智能驾驶功能的控制器系统 |
| WO2017055154A1 (de) * | 2015-09-30 | 2017-04-06 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum bestimmen einer parkfläche zum parken eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug |
| CN107415940A (zh) * | 2016-05-24 | 2017-12-01 | 奥迪股份公司 | 停车区指示设备、停车辅助系统和方法 |
| DE102016216205A1 (de) * | 2016-08-29 | 2018-03-01 | Volkswagen Aktiengesellschaft | Navigationsverfahren für selbstfahrende Fahrzeuge |
| CN107886080A (zh) * | 2017-11-23 | 2018-04-06 | 同济大学 | 一种泊车位检测方法 |
-
2018
- 2018-10-10 CN CN201811178396.3A patent/CN111016918B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101295305A (zh) * | 2007-04-25 | 2008-10-29 | 富士通株式会社 | 图像检索装置 |
| CN102407848A (zh) * | 2010-09-21 | 2012-04-11 | 高强 | 具有自动泊车与智能驾驶功能的控制器系统 |
| WO2017055154A1 (de) * | 2015-09-30 | 2017-04-06 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum bestimmen einer parkfläche zum parken eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug |
| CN107415940A (zh) * | 2016-05-24 | 2017-12-01 | 奥迪股份公司 | 停车区指示设备、停车辅助系统和方法 |
| DE102016216205A1 (de) * | 2016-08-29 | 2018-03-01 | Volkswagen Aktiengesellschaft | Navigationsverfahren für selbstfahrende Fahrzeuge |
| CN107886080A (zh) * | 2017-11-23 | 2018-04-06 | 同济大学 | 一种泊车位检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111016918A (zh) | 2020-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111016918B (zh) | 一种库位检测方法、装置和模型训练装置 | |
| CN109345588B (zh) | 一种基于Tag的六自由度姿态估计方法 | |
| CN108445480B (zh) | 基于激光雷达的移动平台自适应扩展目标跟踪系统及方法 | |
| CN110674705B (zh) | 基于多线激光雷达的小型障碍物检测方法及装置 | |
| CN113156421A (zh) | 基于毫米波雷达和摄像头信息融合的障碍物检测方法 | |
| CN109214348A (zh) | 一种障碍物检测方法、装置、设备及存储介质 | |
| CN110969064B (zh) | 一种基于单目视觉的图像检测方法、装置及存储设备 | |
| US20220058818A1 (en) | Object-centric three-dimensional auto labeling of point cloud data | |
| US20190354783A1 (en) | Method for Identifying Objects in an Image of a Camera | |
| WO2022104254A1 (en) | Efficient three-dimensional object detection from point clouds | |
| CN115936029B (zh) | 一种基于二维码的slam定位方法及装置 | |
| Zelener et al. | Cnn-based object segmentation in urban lidar with missing points | |
| CN116310679A (zh) | 多传感器融合目标检测方法、系统、介质、设备及终端 | |
| CN115205391A (zh) | 一种三维激光雷达和视觉融合的目标预测方法 | |
| CN111913177A (zh) | 对目标物探测方法、装置以及存储介质 | |
| CN111964680A (zh) | 一种巡检机器人的实时定位方法 | |
| CN114194180A (zh) | 一种辅助泊车信息的确定方法、装置、设备及介质 | |
| CN116503803A (zh) | 障碍物检测方法、装置、电子设备以及存储介质 | |
| Wu et al. | A survey on monocular 3D object detection algorithms based on deep learning | |
| Yu et al. | Camera-radar data fusion for target detection via Kalman filter and Bayesian estimation | |
| CN114241448A (zh) | 障碍物航向角的获取方法、装置、电子设备及车辆 | |
| Muffert et al. | Stix-fusion: A probabilistic stixel integration technique | |
| CN114648639B (zh) | 一种目标车辆的检测方法、系统及装置 | |
| CN116012712A (zh) | 基于物体通用特征的目标检测方法、装置、设备及介质 | |
| CN115236672A (zh) | 障碍物信息生成方法、装置、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200628 Address after: 201203 Shanghai Zhangjiang High Tech Park of Pudong New Area Songtao Road No. 563 Building No. 1 room 509 Applicant after: SAIC Motor Corp.,Ltd. Address before: 201203 Shanghai Zhangjiang High Tech Park of Pudong New Area Songtao Road No. 563 Building No. 1 room 509 Applicant before: SAIC Motor Corp.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |