CN112102646A - 一种泊车定位中的停车场入口定位方法、装置及车载终端 - Google Patents

一种泊车定位中的停车场入口定位方法、装置及车载终端 Download PDF

Info

Publication number
CN112102646A
CN112102646A CN201910522591.1A CN201910522591A CN112102646A CN 112102646 A CN112102646 A CN 112102646A CN 201910522591 A CN201910522591 A CN 201910522591A CN 112102646 A CN112102646 A CN 112102646A
Authority
CN
China
Prior art keywords
vehicle
pose
parking lot
semantic information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910522591.1A
Other languages
English (en)
Other versions
CN112102646B (zh
Inventor
姜秀宝
施泽南
谢国富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Momenta Technology Co Ltd
Original Assignee
Beijing Chusudu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chusudu Technology Co ltd filed Critical Beijing Chusudu Technology Co ltd
Priority to CN201910522591.1A priority Critical patent/CN112102646B/zh
Priority to PCT/CN2019/113487 priority patent/WO2020253010A1/zh
Publication of CN112102646A publication Critical patent/CN112102646A/zh
Application granted granted Critical
Publication of CN112102646B publication Critical patent/CN112102646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开一种泊车定位中的停车场入口定位方法、装置及车载终端。该方法包括：当检测到车辆驶入停车场入口处，且判定定位模块的初始车辆位姿指示的位置处于预设的初始化识别区域中时，获取相机模块采集的停车场图像，并检测停车场图像的语义信息；基于停车场图像的语义信息和初始车辆位姿，通过位姿回归模型确定车辆的第一车辆位姿，根据第一车辆位姿，匹配停车场图像的语义信息与预设地图中各个位置点的语义信息，根据匹配结果确定车辆的第二车辆位姿；其中，位姿回归模型为预先根据在初始化识别区域内采集的多个样本停车场图像训练得到。应用本发明实施例提供的方案，能够提高在停车场入口处的定位精度。

Description

一种泊车定位中的停车场入口定位方法、装置及车载终端
技术领域
本发明涉及智能驾驶技术领域，具体而言，涉及一种泊车定位中的停车场入口定位方法、装置及车载终端。
背景技术
智能泊车技术能够智能化地控制车辆驶入停车场的停车位中。其中，当车辆驶入停车场后需要精确地定位车辆在停车场中的位置，以便更好地控制车辆在停车场中找到合适的停车位，并泊车入位。在相关技术中，通常可以根据GPS信号对车辆进行定位。但是，在室内停车场或者地下车库内部，GPS信号往往会受到阻塞。
在这种情况下，可以根据视觉图像中的语义信息与地图中语义信息的匹配，进行精确定位。但是，这种定位方式需要以较为精确的初始位姿作为输入才能启动。现有技术中，通常利用停车场入口处的GPS信号确定车辆在停车场的初始位姿。但是，GPS信号的定位精度不够高，导致确定的停车场入口处的初始位姿精度不够高，进而导致后续的在停车场内部的定位精度较差。
发明内容
本发明提供了一种泊车定位中的停车场入口定位方法、装置及车载终端，以提高在停车场入口处的定位精度。具体的技术方案如下。
第一方面，本发明实施例公开了一种泊车定位中的停车场入口定位方法，包括：
当检测到车辆驶入停车场入口处时，获取定位模块确定的初始车辆位姿，判断所述初始车辆位姿指示的位置是否处于预设的初始化识别区域中；
如果处于，则获取相机模块采集的停车场图像；其中，所述停车场图像为在所述初始化识别区域中采集的图像；
检测所述停车场图像的语义信息；其中，所述语义信息为用于标识车辆周围的标志物的信息；
基于所述停车场图像的语义信息和所述初始车辆位姿，通过位姿回归模型确定所述车辆的第一车辆位姿；其中，所述位姿回归模型为预先根据在所述初始化识别区域内采集的多个样本停车场图像以及对应的样本初始车辆位姿和标注的车辆位姿训练得到；
根据所述第一车辆位姿，匹配所述停车场图像的语义信息与预设地图中各个位置点的语义信息，根据匹配结果确定所述车辆的第二车辆位姿。
可选的，所述位姿回归模型采用以下方式训练得到：
获取在所述初始化识别区域内采集的多个样本停车场图像，以及每个样本停车场图像对应的样本初始车辆位姿和标注的车辆位姿；
检测每个样本停车场图像的样本语义信息；
基于每个样本语义信息和对应的样本初始车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿；
确定所述参考车辆位姿与所述标注的车辆位姿之间的差异量；
当所述差异量大于预设差异量阈值时，修正所述模型参数，返回执行所述基于每个样本语义信息和对应的样本初始车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿的步骤；
当所述差异量不大于所述预设差异量阈值时，确定所述位姿回归模型训练完成。
可选的，所述根据所述第一车辆位姿，匹配所述停车场图像的语义信息与所述预设地图中各个位置点的语义信息，根据匹配结果确定所述车辆的第二车辆位姿的步骤，包括：
匹配所述停车场图像的语义信息与所述预设地图中各个位置点的语义信息，得到匹配成功的语义信息在所述预设地图中对应的目标位置；
采用以下迭代方式中的一种确定所述车辆的第二车辆位姿；
以所述第一车辆位姿作为估计位姿的初始取值，根据所述估计位姿的取值以及所述停车场图像的语义信息在所述停车场图像中的位置，计算所述停车场图像的语义信息映射至所述预设地图中的第一映射位置；
确定所述第一映射位置与所述目标位置之间的第一误差；
当所述第一误差大于预设误差阈值时，调整所述估计位姿的取值，并返回执行所述根据所述估计位姿的取值以及所述停车场图像的语义信息在所述停车场图像中的位置，计算所述停车场图像的语义信息映射至所述预设地图中的第一映射位置的步骤；
当所述第一误差不大于所述预设误差阈值时，根据所述估计位姿的当前取值确定所述车辆的第二车辆位姿；
或者，
以所述第一车辆位姿作为估计位姿的初始取值，根据所述估计位姿的取值以及所述目标位置，计算所述预设地图中匹配成功的语义信息在所述停车场图像中的第二映射位置；
确定所述第二映射位置与所述停车场图像的语义信息在所述停车场图像中的位置之间的第二误差；
当所述第二误差大于预设误差阈值时，调整所述估计位姿的取值，并返回执行所述根据所述估计位姿的取值以及所述目标位置，计算所述预设地图中匹配成功的语义信息在所述停车场图像中的第二映射位置的步骤；
当所述第二误差不大于所述预设误差阈值时，根据所述估计位姿的当前取值确定所述车辆的第二车辆位姿。
可选的，在确定所述车辆的第二车辆位姿之后，采用以下方式验证停车场入口定位是否成功：
获取当所述定位模块确定的多个初始车辆位姿指示的位置处于所述初始化识别区域时，多个停车场图像帧对应的所述车辆的第二车辆位姿；
获取根据里程计采集的里程计信息确定的多个第三车辆位姿；
确定多个第二车辆位姿和多个第三车辆位姿之间的残差；
当所述残差小于预设残差阈值时，确定所述车辆在停车场入口定位成功，以所述多个第二车辆位姿作为所述车辆在停车场入口的成功定位信息。
可选的，所述确定多个第二车辆位姿和多个第三车辆位姿之间的残差的步骤，包括：
通过最小二乘法求解以下函数，得到多个第二车辆位姿和多个第三车辆位姿之间的刚性变换矩阵T：
Figure BDA0002097182640000041
将求解得到的所述T代入
Figure BDA0002097182640000042
得到多个第二车辆位姿和多个第三车辆位姿之间残差；
其中，所述
Figure BDA0002097182640000043
为第i个第二车辆位姿，所述
Figure BDA0002097182640000044
为第i个第三车辆位姿，所述N为所述第二车辆位姿或第三车辆位姿的总数量，所述min为求最小值函数，所述‖·‖为范数符号。
可选的，所述检测所述停车场图像的语义信息的步骤，包括：
将所述停车场图像转换至俯视图坐标系下，得到地面图像；
对所述地面图像进行二值化处理，得到处理后图像；
根据所述处理后图像中的信息，确定所述停车场图像的语义信息。
第二方面，本发明实施例公开了一种泊车定位中的停车场入口定位装置，包括：
判断模块，被配置为当检测到车辆驶入停车场入口处时，获取定位模块确定的初始车辆位姿，判断所述初始车辆位姿指示的位置是否处于预设的初始化识别区域中；
获取模块，被配置为当所述初始车辆位姿指示的位置处于预设的初始化识别区域中时，获取相机模块采集的停车场图像；其中，所述停车场图像为在所述初始化识别区域中采集的图像；
检测模块，被配置为检测所述停车场图像的语义信息；其中，所述语义信息为用于标识车辆周围的标志物的信息；
第一确定模块，被配置为基于所述停车场图像的语义信息和所述初始车辆位姿，通过位姿回归模型确定所述车辆的第一车辆位姿；其中，所述位姿回归模型为预先根据在所述初始化识别区域内采集的多个样本停车场图像以及对应的样本初始车辆位姿和标注的车辆位姿训练得到；
第二确定模块，被配置为根据所述第一车辆位姿，匹配所述停车场图像的语义信息与预设地图中各个位置点的语义信息，根据匹配结果确定所述车辆的第二车辆位姿。
可选的，所述装置还包括训练模块；所述训练模块，被配置为采用以下操作训练得到所述位姿回归模型：
获取在所述初始化识别区域内采集的多个样本停车场图像，以及每个样本停车场图像对应的样本初始车辆位姿和标注的车辆位姿；
检测每个样本停车场图像的样本语义信息；
基于每个样本语义信息和对应的样本初始车辆位姿，通过位姿回归模型根据模型参数确定参考车辆位姿；
确定所述参考车辆位姿与所述标注的车辆位姿之间的差异量；
当所述差异量大于预设差异量阈值时，修正所述模型参数，返回执行所述基于每个样本语义信息和对应的样本初始车辆位姿，通过位姿回归模型根据模型参数确定参考车辆位姿的操作；
当所述差异量不大于所述预设差异量阈值时，确定所述位姿回归模型训练完成。
可选的，所述第二确定模块，具体被配置为：
匹配所述停车场图像的语义信息与所述预设地图中各个位置点的语义信息，得到匹配成功的语义信息在所述预设地图中对应的目标位置；
采用以下迭代操作中的一种确定所述车辆的第二车辆位姿；
以所述第一车辆位姿作为估计位姿的初始取值，根据所述估计位姿的取值以及所述停车场图像的语义信息在所述停车场图像中的位置，计算所述停车场图像的语义信息映射至所述预设地图中的第一映射位置；
确定所述第一映射位置与所述目标位置之间的第一误差；
当所述第一误差大于预设误差阈值时，调整所述估计位姿的取值，并返回执行根据所述估计位姿的取值以及所述停车场图像的语义信息在所述停车场图像中的位置，计算所述停车场图像的语义信息映射至所述预设地图中的第一映射位置；
当所述第一误差不大于所述预设误差阈值时，根据所述估计位姿的当前取值确定所述车辆的第二车辆位姿；
或者，
以所述第一车辆位姿作为估计位姿的初始取值，根据所述估计位姿的取值以及所述目标位置，计算所述预设地图中匹配成功的语义信息在所述停车场图像中的第二映射位置；
确定所述第二映射位置与所述停车场图像的语义信息在所述停车场图像中的位置之间的第二误差；
当所述第二误差大于预设误差阈值时，调整所述估计位姿的取值，并返回执行根据所述估计位姿的取值以及所述目标位置，计算所述预设地图中匹配成功的语义信息在所述停车场图像中的第二映射位置；
当所述第二误差不大于所述预设误差阈值时，根据所述估计位姿的当前取值确定所述车辆的第二车辆位姿。
可选的，所述装置还包括验证模块；所述验证模块，被配置为采用以下操作验证停车场入口定位是否成功：
在确定所述车辆的第二车辆位姿之后，获取当所述定位模块确定的多个初始车辆位姿指示的位置处于所述初始化识别区域时，多个停车场图像帧对应的所述车辆的第二车辆位姿；
获取根据里程计采集的里程计信息确定的多个第三车辆位姿；
确定多个第二车辆位姿和多个第三车辆位姿之间的残差；
当所述残差小于预设残差阈值时，确定所述车辆在停车场入口定位成功，以所述多个第二车辆位姿作为所述车辆在停车场入口的成功定位信息。
可选的，所述验证模块，确定多个第二车辆位姿和多个第三车辆位姿之间的残差时，包括：
通过最小二乘法求解以下函数，得到多个第二车辆位姿和多个第三车辆位姿之间的刚性变换矩阵T：
Figure BDA0002097182640000061
将求解得到的所述T代入
Figure BDA0002097182640000062
得到多个第二车辆位姿和多个第三车辆位姿之间残差；
其中，所述
Figure BDA0002097182640000063
为第i个第二车辆位姿，所述
Figure BDA0002097182640000064
为第i个第三车辆位姿，所述N为所述第二车辆位姿或第三车辆位姿的总数量，所述min为求最小值函数，所述‖·‖为范数符号。
可选的，所述检测模块，具体被配置为：
将所述停车场图像转换至俯视图坐标系下，得到地面图像；
对所述地面图像进行二值化处理，得到处理后图像；
根据所述处理后图像中的信息，确定所述停车场图像的语义信息。
第三方面，本发明实施例公开了一种车载终端，包括：处理器、图像采集设备和定位设备；其中，所述处理器包括：判断模块、获取模块、检测模块、第一确定模块和第二确定模块；
判断模块，被配置为当检测到车辆驶入停车场入口处时，获取定位设备确定的初始车辆位姿，判断所述初始车辆位姿指示的位置是否处于预设的初始化识别区域中；
获取模块，被配置为当所述初始车辆位姿指示的位置处于预设的初始化识别区域中时，获取图像采集设备采集的停车场图像；其中，所述停车场图像为在所述初始化识别区域中采集的图像；
检测模块，被配置为检测所述停车场图像的语义信息；其中，所述语义信息为用于标识车辆周围的标志物的信息；
第一确定模块，被配置为基于所述停车场图像的语义信息和所述初始车辆位姿，通过位姿回归模型确定所述车辆的第一车辆位姿；其中，所述位姿回归模型为预先根据在所述初始化识别区域内采集的多个样本停车场图像以及对应的样本初始车辆位姿和标注的车辆位姿训练得到；
第二确定模块，被配置为根据所述第一车辆位姿，匹配所述停车场图像的语义信息与预设地图中各个位置点的语义信息，根据匹配结果确定所述车辆的第二车辆位姿。
可选的，所述处理器还包括训练模块；所述训练模块，被配置为采用以下操作训练得到所述位姿回归模型：
获取在所述初始化识别区域内采集的多个样本停车场图像，以及每个样本停车场图像对应的样本初始车辆位姿和标注的车辆位姿；
检测每个样本停车场图像的样本语义信息；
基于每个样本语义信息和对应的样本初始车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿；
确定所述参考车辆位姿与所述标注的车辆位姿之间的差异量；
当所述差异量大于预设差异量阈值时，修正所述模型参数，返回执行所述基于每个样本语义信息和对应的样本初始车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿的操作；
当所述差异量不大于所述预设差异量阈值时，确定所述位姿回归模型训练完成。
可选的，所述第二确定模块，具体被配置为：
匹配所述停车场图像的语义信息与所述预设地图中各个位置点的语义信息，得到匹配成功的语义信息在所述预设地图中对应的目标位置；
采用以下迭代操作中的一种确定所述车辆的第二车辆位姿；
以所述第一车辆位姿作为估计位姿的初始取值，根据所述估计位姿的取值以及所述停车场图像的语义信息在所述停车场图像中的位置，计算所述停车场图像的语义信息映射至所述预设地图中的第一映射位置；
确定所述第一映射位置与所述目标位置之间的第一误差；
当所述第一误差大于预设误差阈值时，调整所述估计位姿的取值，并返回执行根据所述估计位姿的取值以及所述停车场图像的语义信息在所述停车场图像中的位置，计算所述停车场图像的语义信息映射至所述预设地图中的第一映射位置；
当所述第一误差不大于所述预设误差阈值时，根据所述估计位姿的当前取值确定所述车辆的第二车辆位姿；
或者，
以所述第一车辆位姿作为估计位姿的初始取值，根据所述估计位姿的取值以及所述目标位置，计算所述预设地图中匹配成功的语义信息在所述停车场图像中的第二映射位置；
确定所述第二映射位置与所述停车场图像的语义信息在所述停车场图像中的位置之间的第二误差；
当所述第二误差大于预设误差阈值时，调整所述估计位姿的取值，并返回执行根据所述估计位姿的取值以及所述目标位置，计算所述预设地图中匹配成功的语义信息在所述停车场图像中的第二映射位置；
当所述第二误差不大于所述预设误差阈值时，根据所述估计位姿的当前取值确定所述车辆的第二车辆位姿。
可选的，所述处理器还包括验证模块；所述验证模块，被配置为采用以下操作验证停车场入口定位是否成功：
在确定所述车辆的第二车辆位姿之后，获取当所述定位设备确定的多个初始车辆位姿指示的位置处于所述初始化识别区域时，多个停车场图像帧对应的所述车辆的第二车辆位姿；
获取根据里程计采集的里程计信息确定的多个第三车辆位姿；
确定多个第二车辆位姿和多个第三车辆位姿之间的残差；
当所述残差小于预设残差阈值时，确定所述车辆在停车场入口定位成功，以所述多个第二车辆位姿作为所述车辆在停车场入口的成功定位信息。
可选的，所述验证模块，确定多个第二车辆位姿和多个第三车辆位姿之间的残差时，包括：
通过最小二乘法求解以下函数，得到多个第二车辆位姿和多个第三车辆位姿之间的刚性变换矩阵T：
Figure BDA0002097182640000091
将求解得到的所述T代入
Figure BDA0002097182640000092
得到多个第二车辆位姿和多个第三车辆位姿之间残差；
其中，所述
Figure BDA0002097182640000093
为第i个第二车辆位姿，所述
Figure BDA0002097182640000094
为第i个第三车辆位姿，所述N为所述第二车辆位姿或第三车辆位姿的总数量，所述min为求最小值函数，所述‖·‖为范数符号。
可选的，检测模块，具体被配置为：
将所述停车场图像转换至俯视图坐标系下，得到地面图像；
对所述地面图像进行二值化处理，得到处理后图像；
根据所述处理后图像中的信息，确定所述停车场图像的语义信息。
由上述内容可知，本发明实施例提供的泊车定位中的停车场入口定位方法、装置及车载终端，可以在车辆位于预设的初始化识别区域中时，将停车场图像的语义信息和定位模块确定的初始车辆位姿作为位姿回归模型的输入，由位姿回归模型确定车辆的第一车辆位姿，位姿回归模型为根据初始化识别区域中的样本停车场图像以及对应的样本初始车辆位姿和标注的车辆位姿训练得到的，根据该位姿回归模型确定的第一车辆位姿相比于初始车辆位姿精度更高；再通过与预设地图中的语义信息的匹配，能够在第一车辆位姿的基础上更进一步缩小定位范围，因此本发明实施例能够提高在停车场入口处的定位精度。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、在停车场入口处，当利用GPS的定位结果确定车辆驶入初始化识别区域中时，可以利用图像中的语义信息缩小车辆的定位范围，再利用语义信息与语义地图的匹配，进一步缩小车辆的定位范围，从而确定车辆在停车场入口处更精确的车辆位姿，作为车辆的初始化位姿。
2、将在初始化识别区域内针对多帧图像确定的初始化位姿与根据里程计确定的位姿进行交叉验证，判断位姿初始化是否成功，能够更准确地判断车辆的位姿初始化是否成功，即判断确定的车辆位姿的精确度是否足够。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种泊车定位中的停车场入口定位方法的流程示意图；
图2为本发明实施例提供的停车场地面标志线及初始化识别区域的一种示意图；
图3为根据停车场图像确定的地面图像的一种示意图；
图4为在图2中停车场入口处的初始化识别区域内车辆的行驶轨迹参考图；
图5为本发明实施例提供的一种泊车定位中的停车场入口定位装置的结构示意图；
图6为本发明实施例提供的一种车载终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例公开了一种泊车定位中的停车场入口定位方法、装置及车载终端，能够提高在停车场入口处的定位精度。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的一种泊车定位中的停车场入口定位方法的流程示意图。该方法应用于电子设备。该电子设备可以为普通计算机、服务器或者智能终端设备等，也可以为安装于车辆中的车载终端。其中，停车场可以为室内停车场或地下车库。该方法具体包括以下步骤。
步骤S110：当检测到车辆驶入停车场入口处时，获取定位模块确定的初始车辆位姿，判断初始车辆位姿指示的位置是否处于预设的初始化识别区域中。
如果处于，则执行步骤S120；如果不处于，可以在车辆行驶的过程中继续获取定位模块确定的新的初始车辆位姿，执行判断初始车辆位姿指示的位置是否处于预设的初始化识别区域中的步骤。
本实施例中，根据车辆中的定位模块采集的数据可以实时地确定车辆在预设地图中位置，当检测到车辆驶入停车场入口处所在的位置时，获取驶入停车场入口处时定位模块确定的初始车辆位姿。
其中，车辆位姿可以包括车辆的坐标位置和车辆朝向信息。预设地图可以为预先建立的高精度地图。定位模块可以为全球定位系统(Global Positioning System，GPS)模块或者北斗卫星导航系统(BeiDou Navigation Satellite System，BDS)模块。本申请中的车辆可以理解为智能车辆。
初始化识别区域为预先设定的预设地图中的坐标区域，在该初始化识别区域内，任意两个位置的观测或同一位置的不同角度观测存在显著差异。在该初始化识别区域中，可以精确地确定车辆的位置，作为车辆进入停车场时的初始定位位置。在进入停车场内部时，会根据该初始定位位置进行实时定位。初始化识别区域可以为以停车场入口处的预设位置点为圆心、以预设距离为半径的圆形区域。例如，预设距离可以为15m或其他数值。
参见图2，该图2为本发明实施例提供的停车场地面标志线及初始化识别区域的一种示意图。其中，显示了停车场地面的标志线，以及停车场入口通道的墙壁(采用粗线表示)，停车场入口处的初始化识别区域采用较大圆形区域表示。当车辆位于A点时，定位模块能够定位到较大圆形区域中。图2中较小的圆圈范围表示能够正常启动定位系统的初始位姿范围。
本步骤中，GPS等信号起到的作用是确定车辆已经进入以15m为半径的初始化识别区域内，这样可以避免在有类似地形的区域发生误检。初始化识别区域也可以为多个，根据GPS数据可以从多个初始化识别区域中确定车辆驶入的目标初始化识别区域。
步骤S120：获取相机模块采集的停车场图像。
其中，停车场图像为在初始化识别区域中采集的图像。车辆中的相机模块和定位模块可以均按照一定的周期采集数据。本步骤中，获取的停车场图像可以为：与指示的位置处于初始化识别区域中的初始车辆位姿在约定时刻采集。约定时刻，可以理解为相同时刻，或者两个时间差较短的时刻。
当车辆从停车场入口驶入停车场时，相机模块采集的停车场图像可以为包含停车场内部环境的图像。
步骤S130：检测停车场图像的语义信息。
其中，语义信息为用于标识车辆周围的标志物的信息。语义信息可以包括但不限于路面的车道线、车库线、指示箭头、路标、建筑、人行道等标志物对应的信息。语义信息可以为图像中多种标志物之间的相对位置信息。
在一种实施方式中，检测停车场图像的语义信息的步骤具体可以包括：
将停车场图像转换至俯视图坐标系下，得到地面图像；对地面图像进行二值化处理，得到处理后图像；根据所述处理后图像中的信息，确定停车场图像的语义信息。
其中，地面图像可以为灰度图像。对地面图像进行二值化处理时，可以采用大津法确定用于区分地面图像前景与背景部分的像素阈值，根据该确定的像素阈值对地面图像进行二值化处理，得到包含前景部分的处理后图像。
根据处理后的图像中的信息确定停车场图像的语义信息时，可以直接将处理后的图像作为语义信息，也可以根据处理后图像中各个标志物之间的相对位置信息作为语义信息。
参见图3，该图3为根据停车场图像确定的地面图像的一种示意图。其中的线为墙壁线和地面上的车道线，对该地面图像进行二值化处理后，可以得到包含语义信息的图像，其中的语义信息可以为各种线条之间的相对位置等。二值化处理后的图像可以称为语义观测图像。
步骤S140：基于停车场图像的语义信息和初始车辆位姿，通过位姿回归模型确定车辆的第一车辆位姿。
其中，位姿回归模型为预先根据在初始化识别区域内采集的多个样本停车场图像以及对应的样本初始车辆位姿和标注的车辆位姿训练得到。该位姿回归模型能够根据训练好的模型参数使得停车场图像的语义信息和初始车辆位姿，与第一车辆位姿相关联。
本步骤具体可以包括：将停车场图像的语义信息和初始车辆位姿作为输入信息输入位姿回归模型，获取位姿回归模型输出的车辆的第一车辆位姿。其中，第一车辆位姿为比初始车辆位姿更精确的车辆位姿。位姿回归模型根据训练好的模型参数可以在初始车辆位姿的基础上，根据从停车场图像的语义信息中提取的特征向量进行回归，得到第一车辆位姿。
位姿回归模块可以采用多级位姿回归器(Cascaded Pose Regression，CPR)。多级位姿回归器采用以下原理公式，确定第一车辆位姿：
Preg＝CPR(PGPS,Iseg)
其中，PGPS为初始车辆位姿，Iseg为语义观测图像，即停车场图像的语义信息。PGPS和Iseg为CPR的输入信息，Preg为CPR输出的第一车辆位姿。
本步骤能够基于语义信息和初始车辆位姿，通过多级位姿回归器确定车辆更准确的位姿，在步骤S110确定车辆进入以15m为半径的初始化识别区域的基础上，使得定位的位姿更精确。本步骤也可以理解为，识别出图3在图2中的位置。
步骤S150：根据第一车辆位姿，匹配停车场图像的语义信息与预设地图中各个位置点的语义信息，根据匹配结果确定车辆的第二车辆位姿。
由于车辆的停车场图像中的语义信息会受到遮挡等外部因素的影响，第一车辆位姿与真实的车辆位姿之间可能存在一定的偏差或者发生误检。因此，通过本步骤可以进一步提高车辆位姿的精确性。
本步骤中，在得到第一车辆位姿之后，可以将停车场图像的语义信息与预设地图中各个位置点的语义信息进行匹配，根据匹配成功的位置点确定更精确的第二车辆位姿。
第二车辆位姿，可以理解为在初始化识别区域中定位得到的车辆的满足一定精度要求的初始位姿。在确定该初始位姿时，能够为启动停车场内基于视觉和语义地图对车辆的实时定位。
由上述内容可知，本实施例可以在车辆位于预设的初始化识别区域中时，将停车场图像的语义信息和定位模块确定的初始车辆位姿作为位姿回归模型的输入，由位姿回归模型确定车辆的第一车辆位姿，位姿回归模型为根据初始化识别区域中的样本停车场图像以及对应的样本初始车辆位姿和标注的车辆位姿训练得到的，根据该位姿回归模型确定的第一车辆位姿相比于初始车辆位姿精度更高；再通过与预设地图中的语义信息的匹配，能够在第一车辆位姿的基础上更进一步缩小定位范围，因此本实施例能够提高在停车场入口处的定位精度。即，本实施例能够使用GPS等定位信号在泊车区域的入口区域准确地为定位系统提供初值，以使得定位系统能够正常启动。
本实施例对GPS等定位模块的位置精度依赖性较小。同时，针对停车场中的标志物被遮挡的情况也具有较强的鲁棒性。本实施例中确定第二车辆位姿的效率较高，能够在算力有限的嵌入式计算设备上达到实时运行。
在本发明的另一实施例中，基于图1所示实施例，位姿回归模型可以采用以下步骤1a～5a训练得到。
步骤1a：获取在初始化识别区域内采集的多个样本停车场图像，以及每个样本停车场图像对应的样本初始车辆位姿和标注的车辆位姿。
其中，标注的车辆位姿可以理解为样本停车场图像对应的车辆位姿的真实值、标准值。样本初始车辆位姿可以为在采集每个样本停车场图像时定位模块确定的车辆位姿，也可以为对标注的车辆位姿添加预设扰动后得到的车辆位姿。预设扰动可以理解为预设修改。样本初始车辆位姿可以理解为用于输入位姿回归模型的车辆位姿初始值，位姿回归模型在该车辆位姿初始值的基础上对样本停车场图像进行回归。
在一种实施方式中，可以预先在初始化识别区域内通过相机模块采集大量的样本停车场图像，以及定位模块确定的样本初始车辆位姿。在采集每个样本停车场图像时，可以通过离线定位的方式确定该样本停车场图像对应的标注的车辆位姿。
在另一实施方式中，可以直接使用预设地图中的语义信息和多个虚拟行驶轨迹，模拟车辆中的相机模块的采集过程，得到大量模拟图像，作为样本停车场图像。并且，可以直接根据预设地图确定模拟图像对应的标注的车辆位姿。
参见图4，该图4为在图2中停车场入口处的初始化识别区域内，采集样本数据时车辆的行驶轨迹参考图，其中停车场入口处的不规则灰色线条代表车辆行驶轨迹。
步骤2a：检测每个样本停车场图像的样本语义信息。
本步骤的具体说明可以参见步骤S130的说明部分。
步骤3a：基于每个样本语义信息和对应的样本初始车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿。
其中，当位姿回归模型采用多级位姿回归器时，可以直接将多级位姿回归器中已经在其他方面训练过的模型参数，作为本步骤中模型参数的初始值。通过大量的训练过程，不断地修正模型参数，使其逐渐接近真实值。
步骤4a：确定参考车辆位姿与标注的车辆位姿之间的差异量。
具体的，可以采用残差函数确定参考车辆位姿与标注的车辆位姿之间的差异量。
步骤5a：当上述差异量大于预设差异量阈值时，修正模型参数，返回执行步骤3a。当差异量不大于预设差异量阈值时，确定位姿回归模型训练完成。
其中，预设差异量阈值为预先根据经验设定的值。当差异量大于预设差异量阈值时，认为需要继续训练模型。在修正模型参数时，可以根据该差异量修正模型参数。例如，可以根据该差异量和与上次训练过程的差异量相比得到的变化趋势，修正模型参数。
综上，本实施例提供了对位姿回归模型进行训练的一种具体实施方式，能够提高位姿回归模型的准确性，进而提高定位的精确性。
在本发明的另一实施例中，基于图1所示实施例，步骤S150，根据第一车辆位姿，匹配停车场图像的语义信息与预设地图中各个位置点的语义信息，根据匹配结果确定所述车辆的第二车辆位姿的步骤，可以包括以下实施方式。
实施方式一包括以下步骤1b～5b。
步骤1b：匹配停车场图像的语义信息与所述预设地图中各个位置点的语义信息，得到匹配成功的语义信息在预设地图中对应的目标位置。
步骤2b：以第一车辆位姿作为估计位姿的初始取值，根据估计位姿的取值以及停车场图像的语义信息在停车场图像中的位置，计算停车场图像的语义信息映射至预设地图中的第一映射位置。
本步骤中，将停车场图像的语义信息映射至预设地图中的第一映射位置，可以理解为，将停车场图像的语义信息映射至预设地图所在坐标系中，映射得到的位置为第一映射位置。
步骤3b：确定第一映射位置与目标位置之间的第一误差。
步骤4b：当第一误差大于预设误差阈值时，调整估计位姿的取值，并返回执行步骤2b中根据估计位姿的取值以及停车场图像的语义信息在停车场图像中的位置，计算停车场图像的语义信息映射至预设地图中的第一映射位置的步骤。
步骤5b：当第一误差不大于预设误差阈值时，根据估计位姿的当前取值确定所述车辆的第二车辆位姿。
本步骤中，根据估计位姿的当前取值确定车辆的第二车辆位姿时，具体可以包括，将估计位姿的当前取值直接确定为车辆的第二车辆位姿；也可以包括，判断估计位姿的当前取值与第一车辆位姿之间的差值是否小于预设阈值，如果小于，则将估计位姿的当前取值直接确定为车辆的第二车辆位姿。
本实施例中，当第一误差大于预设误差阈值时，认为定位的精度还没有达到要求，需要继续迭代。当第一误差不大于预设误差阈值时，认为定位的精度已经达到要求，可以停止迭代，得出车辆的精确定位位姿。
实施方式二包括以下步骤1c～5c。
步骤1c：匹配停车场图像的语义信息与所述预设地图中各个位置点的语义信息，得到匹配成功的语义信息在预设地图中对应的目标位置。
步骤2c：以第一车辆位姿作为估计位姿的初始取值，根据估计位姿的取值以及目标位置，计算预设地图中匹配成功的语义信息在停车场图像中的第二映射位置。
其中，计算预设地图中匹配成功的语义信息在停车场图像中的第二映射位置，可以理解为，将预设地图中匹配成功的语义信息映射至停车场图像所在的坐标系，映射得到的位置为第二映射位置。
步骤3c：确定第二映射位置与停车场图像的语义信息在停车场图像中的位置之间的第二误差。
步骤4c：当第二误差大于预设误差阈值时，调整估计位姿的取值，并返回执行步骤2c中根据估计位姿的取值以及目标位置，计算预设地图中匹配成功的语义信息在停车场图像中的第二映射位置的步骤。
步骤5c：当第二误差不大于预设误差阈值时，根据估计位姿的当前取值确定车辆的第二车辆位姿。
本实施方式中的迭代过程具体可以采用以下数据模型表示：
Pi＝argmin(||Xij-f(Pi,Aj)||)；
其中，Pi为i时刻车辆的位姿信息，Aj为预设地图中第j个语义信息的目标位置，Xij为与第j个语义信息相匹配的语义信息在停车场图像中的位置，f(.)为投影方程，用于根据Aj和Pi将第j个语义信息投影至图像成像平面，其投影结果与Xij在同一坐标系中。这样，能得到估计位姿的当前取值映射的观测和实际观测的误差，通过非线性优化的方式优化车辆位姿，以求得最大似然的位姿。
本实施例中，根据估计位姿的取值，通过两种映射方式，将预设地图中的语义信息映射至停车场图像中，或者将停车场图像中的语义信息映射至预设地图中，计算映射信息的位置之间的差值，并根据该差值不断调整预估位姿的取值，当满足条件时，根据预估位姿确定车辆的第二车辆位姿。采用这种方式能够较为快速地迭代出车辆位姿，并且能保证一定的定位精度。
在本发明的另一实施例中，基于上述实施例，当车辆从进入初始化识别区域到离开，电子设备能够基于多个图像帧进行多次初始定位，例如电子设备可以根据预设的初始定位频率在初始化识别区域中进行图1所示的初始定位。其中，图1中的5个步骤组成一次初始定位。本实施例中，在确定车辆的第二车辆位姿之后，可以采用以下步骤1d～4d的方式验证停车场入口定位是否成功。
步骤1d：获取当定位模块确定的多个初始车辆位姿指示的位置处于初始化识别区域时，多个停车场图像帧对应的车辆的第二车辆位姿。
具体的，可以按照预设的初始定位频率，采用图1中的5个步骤确定多个第二车辆位姿，并将每个第二车辆位姿存储至预设存储空间。在获取上述多个停车场图像帧对应的车辆的第二车辆位姿时，可以从预设存储空间获取。
步骤2d：获取根据里程计采集的里程计信息确定的多个第三车辆位姿。
本实施例中，车辆中的里程计可以周期性地采集里程计信息，并根据上一里程计信息和该里程计信息，可以估测出车辆位姿，作为第三车辆位姿。
其中，根据里程计信息确定的多个第三车辆位姿，可以为在预设的里程计地图中的位姿信息。
在一种实施方式中，确定第二车辆位姿和确定第三车辆位姿的频率可以相同，且当车辆行驶至某一位置时，同时进行确定第二车辆位姿和确定第三车辆位姿的操作。即，第二车辆位姿和第三车辆位姿可以一一对应。
步骤3d：确定多个第二车辆位姿和多个第三车辆位姿之间的残差。
本步骤具体可以包括：确定一一对应的第二车辆位姿和第三车辆位姿之间的残差。所确定的残差可以是每个第二车辆位姿和对应的第三车辆位姿之间的残差的和，也可以是由每个第二车辆位姿和对应的第三车辆位姿之间的残差组成的残差向量。
步骤4d：当残差小于预设残差阈值时，确定车辆在停车场入口定位成功，以多个第二车辆位姿作为车辆在停车场入口的成功定位信息。
其中，预设残差阈值可以为预先根据经验确定的值。当残差不小于预设残差阈值时，认为车辆在停车场入口定位失败。
综上，本实施例采用在初始化识别区域中，针对多个停车场图像帧的车辆位姿与里程计的车辆位姿进行交叉验证，能够有效地降低定位初始化的误检率。当交叉验证成功时，确定停车场入口的初始定位过程成功，这样能够更加准确地验证初始定位的精度是否达到要求，提高定位精度。
在本发明的另一实施例中，基于上述实施例，步骤3d，确定多个第二车辆位姿和多个第三车辆位姿之间的残差的步骤，具体可以包括：
通过最小二乘法求解以下函数，得到多个第二车辆位姿和多个第三车辆位姿之间的刚性变换矩阵T，将求解得到的T代入
Figure BDA0002097182640000191
得到多个第二车辆位姿和多个第三车辆位姿之间残差：
Figure BDA0002097182640000192
其中，
Figure BDA0002097182640000193
为第i个第二车辆位姿，
Figure BDA0002097182640000194
为第i个第三车辆位姿，N为第二车辆位姿或第三车辆位姿的总数量，min为求最小值函数，‖·‖为范数符号。
在初始化识别区域内，根据多个停车场图像帧确定的第二车辆位姿可以采用第一轨迹
Figure BDA0002097182640000195
表示，根据里程计信息确定的多个第三车辆位姿可以采用第二轨迹
Figure BDA0002097182640000196
表示。求解
Figure BDA0002097182640000197
Figure BDA0002097182640000198
公式，可以理解为确定将第一轨迹变换至第二轨迹时的最小变换量。计算traceinit和traceodom中每一项的残差大小，即计算
Figure BDA0002097182640000199
可以得到两个轨迹的匹配程度，当该匹配程度大于预设匹配度阈值时，确定初始化定位成功。
图5为本发明实施例提供的一种泊车定位中的停车场入口定位装置的结构示意图。该装置应用于电子设备。该电子设备可以为普通计算机、服务器或者智能终端设备等，也可以为安装于车辆中的车载终端。该装置实施例与图1所示方法实施例相对应。该装置包括以下模块。
判断模块510，被配置为当检测到车辆驶入停车场入口处时，获取定位模块确定的初始车辆位姿，判断初始车辆位姿指示的位置是否处于预设的初始化识别区域中；
获取模块520，被配置为当初始车辆位姿指示的位置处于预设的初始化识别区域中时，获取相机模块采集的停车场图像；其中，停车场图像为在初始化识别区域中采集的图像；
检测模块530，被配置为检测停车场图像的语义信息；其中，语义信息为用于标识车辆周围的标志物的信息；
第一确定模块540，被配置为基于停车场图像的语义信息和初始车辆位姿，通过位姿回归模型确定车辆的第一车辆位姿；其中，位姿回归模型为预先根据在初始化识别区域内采集的多个样本停车场图像以及对应的样本初始车辆位姿和标注的车辆位姿训练得到；
第二确定模块550，被配置为根据第一车辆位姿，匹配停车场图像的语义信息与预设地图中各个位置点的语义信息，根据匹配结果确定车辆的第二车辆位姿。
在本发明的另一实施例中，基于图5所示实施例，该装置还可以包括训练模块(图中未示出)；训练模块，被配置为采用以下操作训练得到位姿回归模型：
获取在初始化识别区域内采集的多个样本停车场图像，以及每个样本停车场图像对应的样本初始车辆位姿和标注的车辆位姿；
检测每个样本停车场图像的样本语义信息；
基于每个样本语义信息和对应的样本初始车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿；
确定参考车辆位姿与标注的车辆位姿之间的差异量；
当差异量大于预设差异量阈值时，修正模型参数，返回执行基于每个样本语义信息和对应的样本初始车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿的操作；
当差异量不大于预设差异量阈值时，确定位姿回归模型训练完成。
在本发明的另一实施例中，基于图5所示实施例，第二确定模块550具体被配置为：
匹配所述停车场图像的语义信息与预设地图中各个位置点的语义信息，得到匹配成功的语义信息在所述预设地图中对应的目标位置；
采用以下迭代操作中的一种确定所述车辆的第二车辆位姿；
以第一车辆位姿作为估计位姿的初始取值，根据估计位姿的取值以及所述停车场图像的语义信息在停车场图像中的位置，计算所述停车场图像的语义信息映射至所述预设地图中的第一映射位置；
确定第一映射位置与目标位置之间的第一误差；
当第一误差大于预设误差阈值时，调整估计位姿的取值，并返回执行根据估计位姿的取值以及所述停车场图像的语义信息在所述停车场图像中的位置，计算停车场图像的语义信息映射至预设地图中的第一映射位置；
当第一误差不大于预设误差阈值时，根据估计位姿的当前取值确定车辆的第二车辆位姿；
或者，
以第一车辆位姿作为估计位姿的初始取值，根据估计位姿的取值以及目标位置，计算预设地图中匹配成功的语义信息在停车场图像中的第二映射位置；
确定第二映射位置与停车场图像的语义信息在停车场图像中的位置之间的第二误差；
当第二误差大于预设误差阈值时，调整估计位姿的取值，并返回执行根据估计位姿的取值以及目标位置，计算所述预设地图中匹配成功的语义信息在所述停车场图像中的第二映射位置；
当所述第二误差不大于预设误差阈值时，根据估计位姿的当前取值确定车辆的第二车辆位姿。
在本发明的另一实施例中，基于图5所示实施例，该装置还可以包括验证模块(图中未示出)；该验证模块，被配置为采用以下操作验证停车场入口定位是否成功：
在确定车辆的第二车辆位姿之后，获取当定位模块确定的多个初始车辆位姿指示的位置处于初始化识别区域时，多个停车场图像帧对应的车辆的第二车辆位姿；
获取根据里程计采集的里程计信息确定的多个第三车辆位姿；
确定多个第二车辆位姿和多个第三车辆位姿之间的残差；
当残差小于预设残差阈值时，确定车辆在停车场入口定位成功，以多个第二车辆位姿作为车辆在停车场入口的成功定位信息。
在本发明的另一实施例中，基于上述所示实施例，验证模块，在确定多个第二车辆位姿和多个第三车辆位姿之间的残差时，包括：
通过最小二乘法求解以下函数，得到多个第二车辆位姿和多个第三车辆位姿之间的刚性变换矩阵T：
Figure BDA0002097182640000221
将求解得到的T代入
Figure BDA0002097182640000222
得到多个第二车辆位姿和多个第三车辆位姿之间残差；
其中，
Figure BDA0002097182640000223
为第i个第二车辆位姿，
Figure BDA0002097182640000224
为第i个第三车辆位姿，N为第二车辆位姿或第三车辆位姿的总数量，min为求最小值函数，‖·‖为范数符号。
在本发明的另一实施例中，基于图5所示实施例，检测模块530具体被配置为：
将停车场图像转换至俯视图坐标系下，得到地面图像；
对地面图像进行二值化处理，得到处理后图像；
根据处理后图像中的信息，确定停车场图像的语义信息。
上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
图6为本发明实施例提供的一种车载终端的结构示意图。该车载终端包括：处理器610、图像采集设备620和定位设备630。其中，处理器包括：判断模块、获取模块、检测模块、第一确定模块和第二确定模块(图中未示出)。
判断模块，被配置为当检测到车辆驶入停车场入口处时，获取定位设备630确定的初始车辆位姿，判断初始车辆位姿指示的位置是否处于预设的初始化识别区域中；
获取模块，被配置为当初始车辆位姿指示的位置处于预设的初始化识别区域中时，获取图像采集设备620采集的停车场图像；其中，停车场图像为在初始化识别区域中采集的图像；
检测模块，被配置为检测停车场图像的语义信息；其中，语义信息为用于标识车辆周围的标志物的信息；
第一确定模块，被配置为基于停车场图像的语义信息和初始车辆位姿，通过位姿回归模型确定车辆的第一车辆位姿；其中，位姿回归模型为预先根据在初始化识别区域内采集的多个样本停车场图像以及对应的样本初始车辆位姿和标注的车辆位姿训练得到；
第二确定模块，被配置为根据第一车辆位姿，匹配停车场图像的语义信息与预设地图中各个位置点的语义信息，根据匹配结果确定车辆的第二车辆位姿。
在本发明的另一实施例中，基于图6所示实施例，处理器610还包括训练模块(图中未示出)；训练模块，被配置为采用以下操作训练得到位姿回归模型：
获取在初始化识别区域内采集的多个样本停车场图像，以及每个样本停车场图像对应的样本初始车辆位姿和标注的车辆位姿；
检测每个样本停车场图像的样本语义信息；
基于每个样本语义信息和对应的样本初始车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿；
确定参考车辆位姿与标注的车辆位姿之间的差异量；
当差异量大于预设差异量阈值时，修正模型参数，返回执行基于每个样本语义信息和对应的样本初始车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿的操作；
当差异量不大于预设差异量阈值时，确定位姿回归模型训练完成。
在本发明的另一实施例中，基于图6所示实施例，第二确定模块具体被配置为：
匹配所述停车场图像的语义信息与预设地图中各个位置点的语义信息，得到匹配成功的语义信息在所述预设地图中对应的目标位置；
采用以下迭代操作中的一种确定所述车辆的第二车辆位姿；
以第一车辆位姿作为估计位姿的初始取值，根据估计位姿的取值以及所述停车场图像的语义信息在停车场图像中的位置，计算所述停车场图像的语义信息映射至所述预设地图中的第一映射位置；
确定第一映射位置与目标位置之间的第一误差；
当第一误差大于预设误差阈值时，调整估计位姿的取值，并返回执行根据估计位姿的取值以及所述停车场图像的语义信息在所述停车场图像中的位置，计算停车场图像的语义信息映射至预设地图中的第一映射位置；
当第一误差不大于预设误差阈值时，根据估计位姿的当前取值确定车辆的第二车辆位姿；
或者，
以第一车辆位姿作为估计位姿的初始取值，根据估计位姿的取值以及目标位置，计算预设地图中匹配成功的语义信息在停车场图像中的第二映射位置；
确定第二映射位置与停车场图像的语义信息在停车场图像中的位置之间的第二误差；
当第二误差大于预设误差阈值时，调整估计位姿的取值，并返回执行根据估计位姿的取值以及目标位置，计算所述预设地图中匹配成功的语义信息在所述停车场图像中的第二映射位置；
当所述第二误差不大于预设误差阈值时，根据估计位姿的当前取值确定车辆的第二车辆位姿。
在本发明的另一实施例中，基于图6所示实施例，处理器610还可以包括验证模块(图中未示出)；验证模块，被配置为采用以下操作验证停车场入口定位是否成功：
在确定车辆的第二车辆位姿之后，获取当定位设备630确定的多个初始车辆位姿指示的位置处于初始化识别区域时，多个停车场图像帧对应的车辆的第二车辆位姿；
获取根据里程计采集的里程计信息确定的多个第三车辆位姿；
确定多个第二车辆位姿和多个第三车辆位姿之间的残差；
当残差小于预设残差阈值时，确定车辆在停车场入口定位成功，以多个第二车辆位姿作为车辆在停车场入口的成功定位信息。
在本发明的另一实施例中，基于图6所示实施例，验证模块，确定多个第二车辆位姿和多个第三车辆位姿之间的残差时，包括：
通过最小二乘法求解以下函数，得到多个第二车辆位姿和多个第三车辆位姿之间的刚性变换矩阵T：
Figure BDA0002097182640000251
将求解得到的T代入
Figure BDA0002097182640000252
得到多个第二车辆位姿和多个第三车辆位姿之间残差；
其中，
Figure BDA0002097182640000253
为第i个第二车辆位姿，
Figure BDA0002097182640000254
为第i个第三车辆位姿，N为第二车辆位姿或第三车辆位姿的总数量，min为求最小值函数，‖·‖为范数符号。
在本发明的另一实施例中，基于图6所示实施例，检测模块具体被配置为：
将停车场图像转换至俯视图坐标系下，得到地面图像；
对地面图像进行二值化处理，得到处理后图像；
根据处理后图像中的信息，确定停车场图像的语义信息。
该终端实施例与图1所示方法实施例是基于同一发明构思得到的实施例，相关之处可以相互参照。上述终端实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种泊车定位中的停车场入口定位方法，其特征在于，包括：
当检测到车辆驶入停车场入口处时，获取定位模块确定的初始车辆位姿，判断所述初始车辆位姿指示的位置是否处于预设的初始化识别区域中；
如果处于，则获取相机模块采集的停车场图像；其中，所述停车场图像为在所述初始化识别区域中采集的图像；
检测所述停车场图像的语义信息；其中，所述语义信息为用于标识车辆周围的标志物的信息；
基于所述停车场图像的语义信息和所述初始车辆位姿，通过位姿回归模型确定所述车辆的第一车辆位姿；其中，所述位姿回归模型为预先根据在所述初始化识别区域内采集的多个样本停车场图像以及对应的样本初始车辆位姿和标注的车辆位姿训练得到；
根据所述第一车辆位姿，匹配所述停车场图像的语义信息与预设地图中各个位置点的语义信息，根据匹配结果确定所述车辆的第二车辆位姿。
2.如权利要求1所述的方法，其特征在于，所述位姿回归模型采用以下方式训练得到：
获取在所述初始化识别区域内采集的多个样本停车场图像，以及每个样本停车场图像对应的样本初始车辆位姿和标注的车辆位姿；
检测每个样本停车场图像的样本语义信息；
基于每个样本语义信息和对应的样本初始车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿；
确定所述参考车辆位姿与所述标注的车辆位姿之间的差异量；
当所述差异量大于预设差异量阈值时，修正所述模型参数，返回执行所述基于每个样本语义信息和对应的样本初始车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿的步骤；
当所述差异量不大于所述预设差异量阈值时，确定所述位姿回归模型训练完成。
3.如权利要求1所述的方法，其特征在于，所述根据所述第一车辆位姿，匹配所述停车场图像的语义信息与所述预设地图中各个位置点的语义信息，根据匹配结果确定所述车辆的第二车辆位姿的步骤，包括：
匹配所述停车场图像的语义信息与所述预设地图中各个位置点的语义信息，得到匹配成功的语义信息在所述预设地图中对应的目标位置；
采用以下迭代方式中的一种确定所述车辆的第二车辆位姿；
以所述第一车辆位姿作为估计位姿的初始取值，根据所述估计位姿的取值以及所述停车场图像的语义信息在所述停车场图像中的位置，计算所述停车场图像的语义信息映射至所述预设地图中的第一映射位置；
确定所述第一映射位置与所述目标位置之间的第一误差；
当所述第一误差大于预设误差阈值时，调整所述估计位姿的取值，并返回执行所述根据所述估计位姿的取值以及所述停车场图像的语义信息在所述停车场图像中的位置，计算所述停车场图像的语义信息映射至所述预设地图中的第一映射位置的步骤；
当所述第一误差不大于所述预设误差阈值时，根据所述估计位姿的当前取值确定所述车辆的第二车辆位姿；
或者，
以所述第一车辆位姿作为估计位姿的初始取值，根据所述估计位姿的取值以及所述目标位置，计算所述预设地图中匹配成功的语义信息在所述停车场图像中的第二映射位置；
确定所述第二映射位置与所述停车场图像的语义信息在所述停车场图像中的位置之间的第二误差；
当所述第二误差大于预设误差阈值时，调整所述估计位姿的取值，并返回执行所述根据所述估计位姿的取值以及所述目标位置，计算所述预设地图中匹配成功的语义信息在所述停车场图像中的第二映射位置的步骤；
当所述第二误差不大于所述预设误差阈值时，根据所述估计位姿的当前取值确定所述车辆的第二车辆位姿。
4.如权利要求1所述的方法，其特征在于，在确定所述车辆的第二车辆位姿之后，采用以下方式验证停车场入口定位是否成功：
获取当所述定位模块确定的多个初始车辆位姿指示的位置处于所述初始化识别区域时，多个停车场图像帧对应的所述车辆的第二车辆位姿；
获取根据所述里程计采集的里程计信息确定的多个第三车辆位姿；
确定多个第二车辆位姿和多个第三车辆位姿之间的残差；
当所述残差小于预设残差阈值时，确定所述车辆在停车场入口定位成功，以所述多个第二车辆位姿作为所述车辆在停车场入口的成功定位信息。
5.如权利要求4所述的方法，其特征在于，所述确定多个第二车辆位姿和多个第三车辆位姿之间的残差的步骤，包括：
通过最小二乘法求解以下函数，得到多个第二车辆位姿和多个第三车辆位姿之间的刚性变换矩阵T：
Figure FDA0002097182630000031
将求解得到的所述T代入
Figure FDA0002097182630000032
得到多个第二车辆位姿和多个第三车辆位姿之间残差；
其中，所述
Figure FDA0002097182630000033
为第i个第二车辆位姿，所述
Figure FDA0002097182630000034
为第i个第三车辆位姿，所述N为所述第二车辆位姿或第三车辆位姿的总数量，所述min为求最小值函数，所述‖·‖为范数符号。
6.如权利要求1所述的方法，其特征在于，所述检测所述停车场图像的语义信息的步骤，包括：
将所述停车场图像转换至俯视图坐标系下，得到地面图像；
对所述地面图像进行二值化处理，得到处理后图像；
根据所述处理后图像中的信息，确定所述停车场图像的语义信息。
7.一种泊车定位中的停车场入口定位装置，其特征在于，包括：
判断模块，被配置为当检测到车辆驶入停车场入口处时，获取定位模块确定的初始车辆位姿，判断所述初始车辆位姿指示的位置是否处于预设的初始化识别区域中；
获取模块，被配置为当所述初始车辆位姿指示的位置处于预设的初始化识别区域中时，获取相机模块采集的停车场图像；其中，所述停车场图像为在所述初始化识别区域中采集的图像；
检测模块，被配置为检测所述停车场图像的语义信息；其中，所述语义信息为用于标识车辆周围的标志物的信息；
第一确定模块，被配置为基于所述停车场图像的语义信息和所述初始车辆位姿，通过位姿回归模型确定所述车辆的第一车辆位姿；其中，所述位姿回归模型为预先根据在所述初始化识别区域内采集的多个样本停车场图像以及对应的样本初始车辆位姿和标注的车辆位姿训练得到；
第二确定模块，被配置为根据所述第一车辆位姿，匹配所述停车场图像的语义信息与预设地图中各个位置点的语义信息，根据匹配结果确定所述车辆的第二车辆位姿。
8.如权利要求7所述的装置，其特征在于，所述装置还包括验证模块；所述验证模块，被配置为采用以下操作验证停车场入口定位是否成功：
在确定所述车辆的第二车辆位姿之后，获取当所述定位模块确定的多个初始车辆位姿指示的位置处于所述初始化识别区域时，多个停车场图像帧对应的所述车辆的第二车辆位姿；
获取根据里程计采集的里程计信息确定的多个第三车辆位姿；
确定多个第二车辆位姿和多个第三车辆位姿之间的残差；
当所述残差小于预设残差阈值时，确定所述车辆在停车场入口定位成功，以所述多个第二车辆位姿作为所述车辆在停车场入口的成功定位信息。
9.一种车载终端，其特征在于，包括：处理器、图像采集设备和定位设备；其中，所述处理器包括：判断模块、获取模块、检测模块、第一确定模块和第二确定模块；
判断模块，被配置为当检测到车辆驶入停车场入口处时，获取定位设备确定的初始车辆位姿，判断所述初始车辆位姿指示的位置是否处于预设的初始化识别区域中；
获取模块，被配置为当所述初始车辆位姿指示的位置处于预设的初始化识别区域中时，获取图像采集设备采集的停车场图像；其中，所述停车场图像为在所述初始化识别区域中采集的图像；
检测模块，被配置为检测所述停车场图像的语义信息；其中，所述语义信息为用于标识车辆周围的标志物的信息；
第一确定模块，被配置为基于所述停车场图像的语义信息和所述初始车辆位姿，通过位姿回归模型确定所述车辆的第一车辆位姿；其中，所述位姿回归模型为预先根据在所述初始化识别区域内采集的多个样本停车场图像以及对应的样本初始车辆位姿和标注的车辆位姿训练得到；
第二确定模块，被配置为根据所述第一车辆位姿，匹配所述停车场图像的语义信息与预设地图中各个位置点的语义信息，根据匹配结果确定所述车辆的第二车辆位姿。
10.如权利要求9所述的终端，其特征在于，所述处理器还包括验证模块；所述验证模块，被配置为采用以下操作验证停车场入口定位是否成功：
在确定所述车辆的第二车辆位姿之后，获取当所述定位设备确定的多个初始车辆位姿指示的位置处于所述初始化识别区域时，多个停车场图像帧对应的所述车辆的第二车辆位姿；
获取根据里程计采集的里程计信息确定的多个第三车辆位姿；
确定多个第二车辆位姿和多个第三车辆位姿之间的残差；
当所述残差小于预设残差阈值时，确定所述车辆在停车场入口定位成功，以所述多个第二车辆位姿作为所述车辆在停车场入口的成功定位信息。
CN201910522591.1A 2019-06-17 2019-06-17 一种泊车定位中的停车场入口定位方法、装置及车载终端 Active CN112102646B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910522591.1A CN112102646B (zh) 2019-06-17 2019-06-17 一种泊车定位中的停车场入口定位方法、装置及车载终端
PCT/CN2019/113487 WO2020253010A1 (zh) 2019-06-17 2019-10-26 一种泊车定位中的停车场入口定位方法、装置及车载终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910522591.1A CN112102646B (zh) 2019-06-17 2019-06-17 一种泊车定位中的停车场入口定位方法、装置及车载终端

Publications (2)

Publication Number Publication Date
CN112102646A true CN112102646A (zh) 2020-12-18
CN112102646B CN112102646B (zh) 2021-12-31

Family

ID=73749018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910522591.1A Active CN112102646B (zh) 2019-06-17 2019-06-17 一种泊车定位中的停车场入口定位方法、装置及车载终端

Country Status (2)

Country Link
CN (1) CN112102646B (zh)
WO (1) WO2020253010A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781300A (zh) * 2021-08-17 2021-12-10 东风汽车集团股份有限公司 一种用于远距离自主泊车的车辆视觉定位方法
CN113865602A (zh) * 2021-08-18 2021-12-31 西人马帝言(北京)科技有限公司 一种车辆定位方法、装置、设备及存储介质
CN114111774A (zh) * 2021-12-06 2022-03-01 纵目科技（上海）股份有限公司 车辆的定位方法、系统、设备及计算机可读存储介质
CN114913491A (zh) * 2021-02-08 2022-08-16 广州汽车集团股份有限公司 一种车辆定位方法及系统、计算机可读存储介质
DE102021117744A1 (de) 2021-07-09 2023-01-12 Cariad Se Selbstlokalisierung eines Fahrzeugs basierend auf einer initialen Pose
CN117115220A (zh) * 2023-08-31 2023-11-24 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、服务提供方法、装置、设备和存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819892B (zh) * 2021-02-08 2022-11-25 北京航空航天大学 图像处理方法和装置
CN113465620A (zh) * 2021-06-02 2021-10-01 上海追势科技有限公司 一种基于语义信息的停车场粒子滤波定位方法
CN113591865B (zh) * 2021-07-28 2024-03-26 深圳甲壳虫智能有限公司 一种回环检测方法、装置以及电子设备
CN114867000B (zh) * 2022-04-25 2024-03-29 惠州华阳通用电子有限公司 一种紧急救援信息传输方法及装置
CN115273028B (zh) * 2022-07-14 2023-05-12 清华大学 一种基于全域感知的智慧停车场语义地图构建方法及系统
CN115686029B (zh) * 2023-01-05 2023-04-25 北京易控智驾科技有限公司 基于有人驾驶的无人驾驶作业方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140288828A1 (en) * 2013-03-22 2014-09-25 Qualcomm Incorporated Estimating an initial position and navigation state using vehicle odometry
CN104260722A (zh) * 2014-09-23 2015-01-07 北京理工大学 一种自动泊车系统
CN106802954A (zh) * 2017-01-18 2017-06-06 中国科学院合肥物质科学研究院 无人车语义地图模型构建方法及其在无人车上的应用方法
CN106959691A (zh) * 2017-03-24 2017-07-18 联想(北京)有限公司 可移动电子设备和即时定位与地图构建方法
CN108226938A (zh) * 2017-12-08 2018-06-29 华南理工大学 一种agv小车的定位系统和方法
CN108413971A (zh) * 2017-12-29 2018-08-17 驭势科技（北京）有限公司 基于车道线的车辆定位技术及应用
CN108961811A (zh) * 2017-05-25 2018-12-07 纵目科技（上海）股份有限公司 停车场车辆定位方法、系统、移动终端及存储介质
CN109579844A (zh) * 2018-12-04 2019-04-05 电子科技大学 定位方法及系统
CN109598339A (zh) * 2018-12-07 2019-04-09 电子科技大学 一种基于栅格卷积网络的车辆姿态检测方法
CN109871024A (zh) * 2019-01-04 2019-06-11 中国计量大学 一种基于轻量级视觉里程计的无人机位姿估计方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103465906B (zh) * 2013-08-27 2016-01-20 东莞中国科学院云计算产业技术创新与育成中心 一种基于临场感的停车场自动停车实现方法
US10186123B2 (en) * 2014-04-01 2019-01-22 Avigilon Fortress Corporation Complex event recognition in a sensor network
CN106485797A (zh) * 2016-09-30 2017-03-08 广东中星微电子有限公司 停车计时方法及停车计时装置
CN106601020A (zh) * 2016-12-20 2017-04-26 纳恩博（北京）科技有限公司 停车管理机器人及停车管理方法和系统
CN109637177A (zh) * 2018-12-19 2019-04-16 斑马网络技术有限公司 车辆定位方法、装置、设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140288828A1 (en) * 2013-03-22 2014-09-25 Qualcomm Incorporated Estimating an initial position and navigation state using vehicle odometry
CN104260722A (zh) * 2014-09-23 2015-01-07 北京理工大学 一种自动泊车系统
CN106802954A (zh) * 2017-01-18 2017-06-06 中国科学院合肥物质科学研究院 无人车语义地图模型构建方法及其在无人车上的应用方法
CN106959691A (zh) * 2017-03-24 2017-07-18 联想(北京)有限公司 可移动电子设备和即时定位与地图构建方法
CN108961811A (zh) * 2017-05-25 2018-12-07 纵目科技（上海）股份有限公司 停车场车辆定位方法、系统、移动终端及存储介质
CN108226938A (zh) * 2017-12-08 2018-06-29 华南理工大学 一种agv小车的定位系统和方法
CN108413971A (zh) * 2017-12-29 2018-08-17 驭势科技（北京）有限公司 基于车道线的车辆定位技术及应用
CN109579844A (zh) * 2018-12-04 2019-04-05 电子科技大学 定位方法及系统
CN109598339A (zh) * 2018-12-07 2019-04-09 电子科技大学 一种基于栅格卷积网络的车辆姿态检测方法
CN109871024A (zh) * 2019-01-04 2019-06-11 中国计量大学 一种基于轻量级视觉里程计的无人机位姿估计方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913491A (zh) * 2021-02-08 2022-08-16 广州汽车集团股份有限公司 一种车辆定位方法及系统、计算机可读存储介质
DE102021117744A1 (de) 2021-07-09 2023-01-12 Cariad Se Selbstlokalisierung eines Fahrzeugs basierend auf einer initialen Pose
CN113781300A (zh) * 2021-08-17 2021-12-10 东风汽车集团股份有限公司 一种用于远距离自主泊车的车辆视觉定位方法
CN113781300B (zh) * 2021-08-17 2023-10-13 东风汽车集团股份有限公司 一种用于远距离自主泊车的车辆视觉定位方法
CN113865602A (zh) * 2021-08-18 2021-12-31 西人马帝言(北京)科技有限公司 一种车辆定位方法、装置、设备及存储介质
CN114111774A (zh) * 2021-12-06 2022-03-01 纵目科技（上海）股份有限公司 车辆的定位方法、系统、设备及计算机可读存储介质
CN114111774B (zh) * 2021-12-06 2024-04-16 纵目科技（上海）股份有限公司 车辆的定位方法、系统、设备及计算机可读存储介质
CN117115220A (zh) * 2023-08-31 2023-11-24 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、服务提供方法、装置、设备和存储介质
CN117115220B (zh) * 2023-08-31 2024-04-26 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、服务提供方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN112102646B (zh) 2021-12-31
WO2020253010A1 (zh) 2020-12-24

Similar Documents

Publication Publication Date Title
CN112102646B (zh) 一种泊车定位中的停车场入口定位方法、装置及车载终端
Haq et al. Comparing offline and online testing of deep neural networks: An autonomous car case study
CN112304302B (zh) 一种多场景高精度车辆定位方法、装置及车载终端
Yang et al. Deep concrete inspection using unmanned aerial vehicle towards cssc database
CN107481292B (zh) 车载摄像头的姿态误差估计方法和装置
CN106919915B (zh) 基于adas系统的地图道路标记及道路质量采集装置及方法
Yim et al. Three-feature based automatic lane detection algorithm (TFALDA) for autonomous driving
Li et al. Springrobot: A prototype autonomous vehicle and its algorithms for lane detection
CN111856963B (zh) 一种基于车载环视系统的泊车仿真方法及装置
CN111169468B (zh) 一种自动泊车的系统及方法
CN112307810B (zh) 一种视觉定位效果自检方法及车载终端
EP3196853A1 (en) Machine vision-based method and system for aircraft docking guidance and aircraft type identification
CN107609483B (zh) 面向驾驶辅助系统的危险目标检测方法、装置
US11348263B2 (en) Training method for detecting vanishing point and method and apparatus for detecting vanishing point
Yang et al. A robotic system towards concrete structure spalling and crack database
CN110599853B (zh) 驾校智能教学系统及方法
CN111256693B (zh) 一种计算位姿变化方法及车载终端
CN112927303B (zh) 一种基于车道线的自动驾驶车载相机位姿估计方法及系统
Ji et al. RGB-D SLAM using vanishing point and door plate information in corridor environment
CN111027381A (zh) 利用单目相机识别障碍物的方法、装置、设备及存储介质
CN114360261B (zh) 车辆逆行的识别方法、装置、大数据分析平台和介质
CN110136049B (zh) 一种基于环视图像与轮速计融合的定位方法及车载终端
CN112304322B (zh) 一种视觉定位失效后的重启方法及车载终端
CN105447431A (zh) 一种基于机器视觉的入坞飞机跟踪定位方法及系统
CN114359865A (zh) 一种障碍物的检测方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220228

Address after: 100083 unit 501, block AB, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing

Patentee after: BEIJING MOMENTA TECHNOLOGY Co.,Ltd.

Address before: 100083 room 28, 4 / F, block a, Dongsheng building, 8 Zhongguancun East Road, Haidian District, Beijing

Patentee before: BEIJING CHUSUDU TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right