CN112232126B - 一种提高多变场景定位鲁棒性的降维表达方法 - Google Patents

一种提高多变场景定位鲁棒性的降维表达方法 Download PDF

Info

Publication number
CN112232126B
CN112232126B CN202010960762.1A CN202010960762A CN112232126B CN 112232126 B CN112232126 B CN 112232126B CN 202010960762 A CN202010960762 A CN 202010960762A CN 112232126 B CN112232126 B CN 112232126B
Authority
CN
China
Prior art keywords
motion
image
plane motion
automatic driving
driving automobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010960762.1A
Other languages
English (en)
Other versions
CN112232126A (zh
Inventor
朱蕾
陈炜楠
管贻生
何力
张宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202010960762.1A priority Critical patent/CN112232126B/zh
Publication of CN112232126A publication Critical patent/CN112232126A/zh
Application granted granted Critical
Publication of CN112232126B publication Critical patent/CN112232126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种提高多变场景定位鲁棒性的降维表达方法，包括：在自动驾驶汽车实际行驶的空间环境中，将自动驾驶汽车的运动模型设定为平面运动；利用图像分类神经网络，将自动驾驶汽车采集的当前路况图像作为输入，以图像的语义分析结果作为输出，对平面运动进行运动降维，得到降维后的平面运动形式表达；使用当前路况图像和上一帧路况图像作为图像对，利用图相对进行平面运动假设评估，得到平面运动假设检验结果；基于所述平面运动形式表达以及平面运动假设检验结果，确定进行姿态优化求解的形式，并建立代价函数求解自动驾驶汽车的姿态。本发明从后端优化的收敛表现入手，提高系统收敛能力，进而降低对神经网络错误预测结果的敏感程度。

Description

一种提高多变场景定位鲁棒性的降维表达方法
技术领域
本发明涉及图像分类和自动驾驶领域，具体涉及一种提高多变场景定位鲁棒性的降维表达方法，可应用于提高自动驾驶的多场景识别鲁棒性。
背景技术
自动驾驶是视觉里程计的重要应用之一，通过使用里程计信息，自动驾驶汽车可以实现自身定位和周围环境感知，其数据来源通常是搭载在汽车顶部的相机采集的图片，KITTI和RobotCar为此类技术的研究提供了数据集。
近年来，随着神经网络的发展，图像分类和传统的端到端的数据驱动方法相结合的VSLAM(Visual Simultaneous Localization and Mapping)系统是一个重要的发展趋势。相比于传统类型的VSLAM系统的运动模型和非线性优化，图像识别网络可以估计相对位姿以进行进一步定位，并且可以预测环境结构。在视觉里程计领域，基于模型和数据驱动相结合的方法相比于传统系统已显现出先进的性能，然而其收敛性能仍然会被神经网络估计的影响所限制。
端到端的方法代表性研究工作有DeepVO，UndeepVO，此类方法有效的克服了传统VSLAM对光照变化和视角变化敏感的问题，但其精度仍然低于基于模型的方法，并且泛化能力受到训练数据集的限制。
发明内容
本发明提出一种提高多变场景定位鲁棒性的降维表达方法，该发明无需在线学习即可改善道路驾驶视觉里程计的预训练网络泛化能力，实现更高的自动驾驶定位精度和视觉里程计效率。
为了实现上述任务，本发明采用以下技术方案：
一种提高多变场景定位鲁棒性的降维表达方法，包括以下步骤：
在自动驾驶汽车实际行驶的空间环境中，将自动驾驶汽车的运动模型设定为平面运动；利用图像分类神经网络，将自动驾驶汽车采集的当前路况图像作为输入，以图像的语义分析结果作为输出，对平面运动进行运动降维，得到降维后的平面运动形式表达；
使用当前路况图像和上一帧路况图像作为图像对，利用图相对进行平面运动假设评估，得到平面运动假设检验结果；
基于所述平面运动形式表达以及平面运动假设检验结果，确定进行姿态优化求解的形式，并建立代价函数求解自动驾驶汽车的姿态。
进一步地，所述自动驾驶汽车的运动模型的具体分类包括前进、左平移、右平移以及旋转四种运动类型，四种类型分类结果之和为1，其中：
左平移与右平移在同一个自由度内，共用概率Cx表达，前进的图像分类概率为Cz，旋转的图像分类概率为Cr，进而有Cx+Cz+Cr＝1；此时，自动驾驶车辆在i时刻的平面运动模型表示为：
其中θ为自动驾驶汽车旋转转角，为时刻i下的图像分类结果；将降维后的平面运动形式表达为群G(Cr,Cx,Cz)，该群为李群SE(3)的子群。
进一步地，所述使用当前路况图像和上一帧路况图像作为图像对，利用图相对进行平面运动假设评估，得到平面运动假设检验结果，包括：
利用自动驾驶汽车采集的当前路况图像以及上一帧路况图像形成的图像对作为输入图像并执行平面运动假设评估，以评估平面运动假设的满足程度；所述平面运动假设评估过程具体为：
利用多视几何本征矩阵数值特点进行平面化拟合度判断：如果图像对间相对运动为严格的平面内运动，其利用双视关系建立的本征矩阵作为标准矩阵；
根据图像对得到的实际本征矩阵E'与标准矩阵E进行比较，利用二范数评价两个矩阵间差异nR＝||E-E'||2，如果nR小于给定阈值，则认为满足平面运动假设，将nR作为平面运动假设检验结果；否则认为当前图像对应的图像对不满足平面运动假设。
进一步地，所述基于所述平面运动形式表达以及平面运动假设检验结果，确定进行姿态优化求解的形式，包括：
根据平面运动假设检验结果nR与给定阈值HR的比较结果，判断当前图像输入下应采用降维表达G(Cr,Cx,Cz)进行姿态优化求解，或采用完整空间表达SE(3)形式进行姿态优化求解；同时，如若采用G(Cr,Cx,Cz)形式的优化求解，其求解得到残差nE如若大于给定阈值HE，亦采用SE(3)形式进行二次求解。
进一步地，求解自动驾驶汽车的姿态时建立代价函数为：
其中：
在代价函数中，为T*的微分，TK为姿态参数，R,t分别表示姿态估计的旋转以及位移，pi,p'i为图像特征点匹配的一对点；ηk为运动表达切换因子，当运动表达发生变换时赋值为1，否则为0；通过代价函数的降维求解可得到最终姿态T。
进一步地，将姿态求解结果T作为当前自动驾驶汽车的定位结果，从而为车辆的自主导航以及无人驾驶提供控制依据。
一种提高多变场景定位鲁棒性的降维表达装置，包括：
降维表达模块，用于在自动驾驶汽车实际行驶的空间环境中，将自动驾驶汽车的运动模型设定为平面运动；利用图像分类神经网络，将自动驾驶汽车采集的当前路况图像作为输入，以图像的语义分析结果作为输出，对平面运动进行运动降维，得到降维后的平面运动形式表达；
平面运动假设模块，用于使用当前路况图像和上一帧路况图像作为图像对，利用图相对进行平面运动假设评估，得到平面运动假设检验结果；
姿态求解模块，用于基于所述平面运动形式表达以及平面运动假设检验结果，确定进行姿态优化求解的形式，并建立代价函数求解自动驾驶汽车的姿态。
一种控制器，包括处理器、存储器以及存储在所述存储器中的计算机程序，计算机程序被处理器执行时，实现所述提高多变场景定位鲁棒性的降维表达方法的步骤。
一种计算机可读存储介质，所述存储介质中存储有计算机程序，计算机程序被处理器执行时，实现所述提高多变场景定位鲁棒性的降维表达方法的步骤。
与现有技术相比，本发明具有以下技术特点：
1.现有的神经网络在区别于训练集的应用场景下时，其预测输出往往无法得到满意的结果，为后端优化提供了错误的初始先验；在后端非线性优化代价函数复杂的函数曲线作用下，使得系统无法实现理想的收敛。本发明从其后端优化的收敛表现入手，提高系统收敛能力，进而降低对神经网络错误预测结果的敏感程度。
2.本发明根据实际应用情况，对自动驾驶的运动模型分类讨论，并且实现两种模型的自动切换，实现VSLAM系统于不同场景下的稳定表现。
附图说明
图1为本发明方法的流程示意图。
具体实施方式
本发明提出一种提高自动驾驶多变场景定位鲁棒性的降维表达方法，结合深度神经网络VSLAM系统的特性，从其后端优化的收敛表现入手，提高系统收敛能力，进而降低对神经网络错误预测结果的敏感程度，实现VSLAM系统于不同场景下的稳定表现。
为了提高端到端方法等精度，研究者们将基于模型的方法与之相结合，利用神经网络的估计作为优化的先验信息，改进位姿估计。然而对于测试环境与训练环境差异大的情况，来自网络的错误估计会影响到系统优化的收敛性能，尤其是非线性最小二乘优化。
鉴于目前自动驾驶系统泛化性能和神经网络收敛性能差的问题，提出一种提高多变场景定位鲁棒性的降维表达方法。该方法中设计了具有自适应降维能力的代价函数，可以提高神经网络优化过程的收敛表现，从而降低自动驾驶对神经网络错误先验信息的敏感程度，保证系统的稳定运行。
参见图1，本发明的提高多变场景定位鲁棒性的降维表达方法，包括以下步骤：
步骤1，建立平面运动的拟合度评判机制
根据自动驾驶汽车的平面运动假设以及深度神经网络输出，得到车辆的运动降维表达；同时利用当前图像以及上一帧图像，得到平面运动假设检验结果。
步骤1.1，在自动驾驶汽车实际行驶的空间环境中，将其运动模型设定为平面运动，该平面运动假设，可将车辆运动约束在路面平面内，从而减少在其他自由度的运动表达，进而降低运动的横滚(roll)、俯仰(pitch)的维度描述。进一步地，利用图像分类神经网络，如Trailnet以及AlexNet等深度卷积神经网络，以自动驾驶汽车所采集的当前路况图像为输入，以图像的语义分析结果为输出，利用神经网络在各个分类的权重和为1的特点，对平面内运动进行进一步运动降维。
具体而言，从神经网络图像分类中获得运动模型的具体分类包括“前进”、“左平移”、“右平移”以及“旋转”四种运动类型，该四种类型的分类结果之和为1，从而利用该加和关系，对不同自由度的运动产生进一步的耦合，降低各个自由度的独立性，实现运动表达的降维。其中“左平移”与“右平移”在同一个自由度内，共用概率Cx表达，“前进”的图像分类概率为Cz，“旋转”的图像分类概率为Cr，进而有Cx+Cz+Cr＝1。此时，自动驾驶车辆在i时刻的平面运动模型可以表示为：
其中θ为自动驾驶汽车旋转转角，为时刻i下经过图像分类神经网络进行图像分类的结果。并将该降维后的平面运动形式表达为群G(Cr,Cx,Cz)，该群为李群SE(3)的子群。
步骤1.2，使用自动驾驶汽车所采集的当前路况图像以及上一帧路况图像形成的图像对，作为输入图像并执行平面运动假设评估，以评估平面运动假设的满足程度。平面运动假设评估过程具体为：
利用多视几何本征矩阵(essential matrix)数值特点进行平面化拟合度判断：如果图像对间相对运动为严格的平面内运动，其利用双视关系建立的本征矩阵作为标准矩阵，标准矩阵应具有如下的数值形式：
其中，a、b为矩阵中的数值；可利用相对运动为严格的平面运动的图像对来建立上述的标准矩阵。
进而，根据当前的图像对得到的实际本征矩阵E'与标准矩阵E进行比较。利用二范数评价两个矩阵间差异nR＝||E-E'||2，如果nR小于某给定阈值，则认为满足平面运动假设，将nR作为平面运动假设检验结果；否则认为当前图像对应的图像对不满足平面运动假设。
步骤2，建立两段式运动模型优化求解方法
在完成步骤1运动降维表达以及平面假设验证的基础上，以所得到的平面运动形式表达G(Cr,Cx,Cz)以及平面检验结果nR，进行分段式优化。
步骤2.1，根据nR与给定阈值HR的比较结果，判断当前图像输入下应采用降维表达G(Cr,Cx,Cz)进行姿态优化求解，抑或采用完整空间表达SE(3)形式进行姿态优化求解。同时，如若采用G(Cr,Cx,Cz)形式的优化求解，其求解得到残差nE如若大于给定阈值HE，亦采用SE(3)形式进行二次求解。
在优化过程中，提出满足以上假设的代价函数进行优化求解。求解得到的图像姿态输出T*如下式所示：
其中：
该代价函数中，为T*的微分，TK为姿态参数，式1中第一项为对极几何约束，其中R,t分别表示姿态估计的旋转矩阵以及位移矩阵，pi,p'i为图像特征点匹配的一对点，/>表示pi的转置矩阵，t^为t的反对称矩阵，第二项为平滑项，其中ηk为运动表达切换因子，当运动表达发生变换时赋值为1，否则为0；通过代价函数的降维求解可得到最终姿态T。
步骤2.2，将姿态求解结果T作为当前自动驾驶汽车的定位结果，从而为车辆的自主导航以及无人驾驶提供控制依据。在仅有图像反馈，而GPS无法覆盖的隧道，立交桥下以及地下车库等场所，为自动驾驶汽车提供稳定的定位以及控制反馈。
本发明利用图像分类神经网络作为VSLAM的先验信息，并以此降低平面运动的自动驾驶车辆的运动模型维度。利用多视几何本征矩阵数值特点进行平面运动拟合度判断，从而在适当的时机切换至空间运动下的多自由度运动表达，从而保证系统的定位精度。在自动驾驶车辆运动的不同模型下，分别优化其运动模型的求解残差，对车辆的定位进行判断和修正。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (6)

1.一种提高多变场景定位鲁棒性的降维表达方法，其特征在于，包括以下步骤：
在自动驾驶汽车实际行驶的空间环境中，将自动驾驶汽车的运动模型设定为平面运动；利用图像分类神经网络，将自动驾驶汽车采集的当前路况图像作为输入，以图像的语义分析结果作为输出，对平面运动进行运动降维，得到降维后的平面运动形式表达；
使用当前路况图像和上一帧路况图像作为图像对，利用图相对进行平面运动假设评估，得到平面运动假设检验结果；
基于所述平面运动形式表达以及平面运动假设检验结果，确定进行姿态优化求解的形式，并建立代价函数求解自动驾驶汽车的姿态；
所述自动驾驶汽车的运动模型的具体分类包括前进、左平移、右平移以及旋转四种运动类型，四种类型分类结果之和为1，其中：
左平移与右平移在同一个自由度内，共用概率Cx表达，前进的图像分类概率为Cz，旋转的图像分类概率为Cr，进而有Cx+Cz+Cr＝1；此时，自动驾驶车辆在i时刻的平面运动模型表示为：
其中θ为自动驾驶汽车旋转转角，为时刻i下的图像分类结果；将降维后的平面运动形式表达为群G(Cr,Cx,Cz)，该群为李群SE(3)的子群；
所述使用当前路况图像和上一帧路况图像作为图像对，利用图相对进行平面运动假设评估，得到平面运动假设检验结果，包括：
利用自动驾驶汽车采集的当前路况图像以及上一帧路况图像形成的图像对作为输入图像并执行平面运动假设评估，以评估平面运动假设的满足程度；所述平面运动假设评估过程具体为：
利用多视几何本征矩阵数值特点进行平面化拟合度判断：如果图像对间相对运动为严格的平面内运动，其利用双视关系建立的本征矩阵作为标准矩阵；
根据图像对得到的实际本征矩阵E'与标准矩阵E进行比较，利用二范数评价两个矩阵间差异nR＝||E-E'||2，如果nR小于给定阈值，则认为满足平面运动假设，将nR作为平面运动假设检验结果；否则认为当前图像对应的图像对不满足平面运动假设；
求解自动驾驶汽车的姿态时建立代价函数为：
其中：
在代价函数中，为T*的微分，TK为姿态参数，R,t分别表示姿态估计的旋转以及位移，pi,p'i为图像特征点匹配的一对点；ηk为运动表达切换因子，当运动表达发生变换时赋值为1，否则为0；通过代价函数的降维求解可得到最终姿态T。
2.根据权利要求1所述的提高多变场景定位鲁棒性的降维表达方法，其特征在于，所述基于所述平面运动形式表达以及平面运动假设检验结果，确定进行姿态优化求解的形式，包括：
根据平面运动假设检验结果nR与给定阈值HR的比较结果，判断当前图像输入下应采用降维表达G(Cr,Cx,Cz)进行姿态优化求解，或采用完整空间表达SE(3)形式进行姿态优化求解；同时，如若采用G(Cr,Cx,Cz)形式的优化求解，其求解得到残差nE如若大于给定阈值HE，亦采用SE(3)形式进行二次求解。
3.根据权利要求1所述的提高多变场景定位鲁棒性的降维表达方法，其特征在于，将姿态求解结果T作为当前自动驾驶汽车的定位结果，从而为车辆的自主导航以及无人驾驶提供控制依据。
4.一种提高多变场景定位鲁棒性的降维表达装置，其特征在于，包括：
降维表达模块，用于在自动驾驶汽车实际行驶的空间环境中，将自动驾驶汽车的运动模型设定为平面运动；利用图像分类神经网络，将自动驾驶汽车采集的当前路况图像作为输入，以图像的语义分析结果作为输出，对平面运动进行运动降维，得到降维后的平面运动形式表达；
平面运动假设模块，用于使用当前路况图像和上一帧路况图像作为图像对，利用图相对进行平面运动假设评估，得到平面运动假设检验结果；
姿态求解模块，用于基于所述平面运动形式表达以及平面运动假设检验结果，确定进行姿态优化求解的形式，并建立代价函数求解自动驾驶汽车的姿态；
所述自动驾驶汽车的运动模型的具体分类包括前进、左平移、右平移以及旋转四种运动类型，四种类型分类结果之和为1，其中：
左平移与右平移在同一个自由度内，共用概率Cx表达，前进的图像分类概率为Cz，旋转的图像分类概率为Cr，进而有Cx+Cz+Cr＝1；此时，自动驾驶车辆在i时刻的平面运动模型表示为：
其中θ为自动驾驶汽车旋转转角，为时刻i下的图像分类结果；将降维后的平面运动形式表达为群G(Cr,Cx,Cz)，该群为李群SE(3)的子群；
所述使用当前路况图像和上一帧路况图像作为图像对，利用图相对进行平面运动假设评估，得到平面运动假设检验结果，包括：
利用自动驾驶汽车采集的当前路况图像以及上一帧路况图像形成的图像对作为输入图像并执行平面运动假设评估，以评估平面运动假设的满足程度；所述平面运动假设评估过程具体为：
利用多视几何本征矩阵数值特点进行平面化拟合度判断：如果图像对间相对运动为严格的平面内运动，其利用双视关系建立的本征矩阵作为标准矩阵；
根据图像对得到的实际本征矩阵E'与标准矩阵E进行比较，利用二范数评价两个矩阵间差异nR＝||E-E'||2，如果nR小于给定阈值，则认为满足平面运动假设，将nR作为平面运动假设检验结果；否则认为当前图像对应的图像对不满足平面运动假设；
求解自动驾驶汽车的姿态时建立代价函数为：
其中：
在代价函数中，为T*的微分，TK为姿态参数，R,t分别表示姿态估计的旋转以及位移，pi,p'i为图像特征点匹配的一对点；ηk为运动表达切换因子，当运动表达发生变换时赋值为1，否则为0；通过代价函数的降维求解可得到最终姿态T。
5.一种控制器，包括处理器、存储器以及存储在所述存储器中的计算机程序，其特征在于，计算机程序被处理器执行时，实现根据权利要求1至3中任一权利要求所述方法的步骤。
6.一种计算机可读存储介质，所述存储介质中存储有计算机程序，其特征在于，计算机程序被处理器执行时，实现根据权利要求1至3中任一权利要求所述方法的步骤。
CN202010960762.1A 2020-09-14 2020-09-14 一种提高多变场景定位鲁棒性的降维表达方法 Active CN112232126B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010960762.1A CN112232126B (zh) 2020-09-14 2020-09-14 一种提高多变场景定位鲁棒性的降维表达方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010960762.1A CN112232126B (zh) 2020-09-14 2020-09-14 一种提高多变场景定位鲁棒性的降维表达方法

Publications (2)

Publication Number Publication Date
CN112232126A CN112232126A (zh) 2021-01-15
CN112232126B true CN112232126B (zh) 2023-08-25

Family

ID=74116259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010960762.1A Active CN112232126B (zh) 2020-09-14 2020-09-14 一种提高多变场景定位鲁棒性的降维表达方法

Country Status (1)

Country Link
CN (1) CN112232126B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469339B (zh) * 2021-06-30 2023-09-22 山东大学 基于降维的自动驾驶神经网络鲁棒性验证方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101098241A (zh) * 2006-06-26 2008-01-02 腾讯科技（深圳）有限公司 虚拟形象实现方法及其系统
CN101464952A (zh) * 2007-12-19 2009-06-24 中国科学院自动化研究所 基于轮廓的异常行为识别方法
CN101549498A (zh) * 2009-04-23 2009-10-07 上海交通大学 智能帮扶式助行机器人的自主跟踪与导航系统
CN102332095A (zh) * 2011-10-28 2012-01-25 中国科学院计算技术研究所 一种人脸运动跟踪方法和系统以及一种增强现实方法
CN109582993A (zh) * 2018-06-20 2019-04-05 长安大学 城市交通场景图像理解与多视角群智优化方法
CN109866752A (zh) * 2019-03-29 2019-06-11 合肥工业大学 基于预测控制的双模式并行车辆轨迹跟踪行驶系统及方法
CN109945858A (zh) * 2019-03-20 2019-06-28 浙江零跑科技有限公司 用于低速泊车驾驶场景的多传感融合定位方法
CN111595333A (zh) * 2020-04-26 2020-08-28 武汉理工大学 视觉惯性激光数据融合的模块化无人车定位方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101098241A (zh) * 2006-06-26 2008-01-02 腾讯科技（深圳）有限公司 虚拟形象实现方法及其系统
CN101464952A (zh) * 2007-12-19 2009-06-24 中国科学院自动化研究所 基于轮廓的异常行为识别方法
CN101549498A (zh) * 2009-04-23 2009-10-07 上海交通大学 智能帮扶式助行机器人的自主跟踪与导航系统
CN102332095A (zh) * 2011-10-28 2012-01-25 中国科学院计算技术研究所 一种人脸运动跟踪方法和系统以及一种增强现实方法
CN109582993A (zh) * 2018-06-20 2019-04-05 长安大学 城市交通场景图像理解与多视角群智优化方法
CN109945858A (zh) * 2019-03-20 2019-06-28 浙江零跑科技有限公司 用于低速泊车驾驶场景的多传感融合定位方法
CN109866752A (zh) * 2019-03-29 2019-06-11 合肥工业大学 基于预测控制的双模式并行车辆轨迹跟踪行驶系统及方法
CN111595333A (zh) * 2020-04-26 2020-08-28 武汉理工大学 视觉惯性激光数据融合的模块化无人车定位方法及系统

Also Published As

Publication number Publication date
CN112232126A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
US9990736B2 (en) Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms
Persson et al. Robust stereo visual odometry from monocular techniques
US10552982B2 (en) Method for automatically establishing extrinsic parameters of a camera of a vehicle
CN110717927A (zh) 基于深度学习和视惯融合的室内机器人运动估计方法
CN110706271B (zh) 一种车载视觉实时多车载目标横纵向距离估计方法
CN113108771B (zh) 一种基于闭环直接稀疏视觉里程计的移动位姿估计方法
EP3063741B1 (en) Monocular 3d localization for autonomous driving using adaptive ground plane estimation
Zhang et al. Fisher information field: an efficient and differentiable map for perception-aware planning
CN110119768B (zh) 用于车辆定位的视觉信息融合系统及方法
CN113313763A (zh) 一种基于神经网络的单目相机位姿优化方法及装置
CN111753739B (zh) 物体检测方法、装置、设备以及存储介质
CN114565655A (zh) 一种基于金字塔分割注意力的深度估计方法及装置
CN112232126B (zh) 一种提高多变场景定位鲁棒性的降维表达方法
Wang et al. Flow-motion and depth network for monocular stereo and beyond
US11062141B2 (en) Methods and apparatuses for future trajectory forecast
Ruland et al. Hand-eye autocalibration of camera positions on vehicles
CN113076988A (zh) 基于神经网络的移动机器人视觉slam关键帧自适应筛选方法
CN111578956A (zh) 一种基于深度学习的视觉slam定位方法
Ghintab et al. CNN-based visual localization for autonomous vehicles under different weather conditions
Su et al. GR-SLAM: Vision-based sensor fusion SLAM for ground robots on complex terrain
CN116824433A (zh) 基于自监督神经网络的视觉-惯导-雷达融合自定位方法
CN113899361B (zh) 基于空间划分的slam快速回环检测方法
Hu et al. A novel lidar inertial odometry with moving object detection for dynamic scenes
CN115015956A (zh) 一种室内无人车的激光与视觉slam系统
Corridori et al. High curvature two-clothoid road model estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant