CN111553954B - 一种基于直接法单目slam的在线光度标定方法 - Google Patents

一种基于直接法单目slam的在线光度标定方法 Download PDF

Info

Publication number
CN111553954B
CN111553954B CN202010336767.7A CN202010336767A CN111553954B CN 111553954 B CN111553954 B CN 111553954B CN 202010336767 A CN202010336767 A CN 202010336767A CN 111553954 B CN111553954 B CN 111553954B
Authority
CN
China
Prior art keywords
online
photometric
tracking
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010336767.7A
Other languages
English (en)
Other versions
CN111553954A (zh
Inventor
刘华山
夏玮
梁健
程新
应丰糠
蔡明军
陈荣川
李祥健
江荣鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN202010336767.7A priority Critical patent/CN111553954B/zh
Publication of CN111553954A publication Critical patent/CN111553954A/zh
Application granted granted Critical
Publication of CN111553954B publication Critical patent/CN111553954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及一种基于直接法单目SLAM的在线光度标定方法，其中所述方法包括对在线图像序列进行特征点跟踪，对初始帧图像构建光度误差模型获得初始优化参数。将初始优化参数写入在线参数数据库，后续依据在线参数数据库对在线帧窗口构建在线光度误差模型进行在线光度标定，同时在后台对在线参数数据库进行参数更新。本发明对在线图像序列进行在线光度标定，而且光度标定效果更加精确、鲁棒，能够显著提高直接法单目SLAM的性能。

Description

一种基于直接法单目SLAM的在线光度标定方法
技术领域
本发明涉及机器人的同时定位与地图构建技术领域，特别涉及一种基于直接法单目SLAM的在线光度标定方法。
背景技术
基于视觉的机器人的同时定位与地图构建(Simultaneous Localization andMapping，SLAM)技术按传感器的类型不同，可分为单目相机，双目相机和RGBD相机三种技术路线。由于无法从单幅图像中获取场景的真实尺度因子，单目SLAM算法相对来说更加复杂。但同时单目相机相比于双目相机和RGBD相机，具有结构简单和成本低廉的优势，能够用于移动机器人自身定位和地图构建，实际应用潜力巨大。
单目SLAM技术可以分为特征点法和直接法。特征点法中相机的位姿估计是通过优化算法最小化重投影误差得到，而构建重投影误差需要两帧图像中匹配精准的特征点对。想要获得匹配良好的特征点对就需要花费大量的计算资源在特征点的提取和描述子的计算上，这降低了算法的实时性。直接法采用了灰度不变假设，在直接法中，我们根据图像的像素灰度信息来计算相机的相对运动。
由于直接法采用了灰度不变假设，即同一空间点在不同图像中对应的像素应具有相同的像素灰度值，然而在实际中，相机可能会自动改变曝光参数以获得更适合人类观看的图像，并且在相机中还存在着渐晕衰减等影响灰度不变假设的因素，所以需要对图像进行光度标定。同时由于SLAM技术需要做到同时定位和地图构建，所以对光度标定算法的实时性和准确性都有较高的要求。
发明内容
本发明目的是：有效解决直接法单目SLAM中影响灰度不变假设的因素，同时优化光度标定的实现方式，可以对在线图像序列进行在线光度标定，提高光度标定方法的实时性和准确性。
为了达到上述目的，本发明的技术方案是提供了一种基于直接法单目SLAM的在线光度标定方法，其特征在于，包括以下步骤：
步骤1：接收直接法单目SLAM待处理图像序列，使用特征点跟踪算法对初始部分的图像序列进行特征点跟踪；
步骤2：对跟踪得到的特征点信息构建完整光度误差模型，使用离线优化算法对光度误差模型进行迭代优化，迭代完成后可以确定初始各帧曝光时间，渐晕效应函数和相机响应函数，并且得到经过光度标定的初始图像序列；
步骤3：将渐晕效应函数和相机响应函数的参数写入在线参数数据库；
步骤4：使用特征点跟踪算法对后序的一定帧数图像序列窗口进行特征点跟踪；
步骤5：读取后续的图像序列窗口的特征点信息和在线参数数据库信息，构建在线光度误差模型，使用在线优化算法对相机的曝光时间进行标定，并且得到经过光度标定的图像序列；
步骤6：在后台获取累计最新的一定帧数图像序列窗口的特征点信息和其经过在线光度标定后的曝光时间与辐射光强，构建完整光度误差模型，对渐晕效应函数和相机响应函数进行参数优化，得到新的渐晕效应函数和相机响应函数的参数，对步骤3的在线参数数据库进行参数更新；
步骤7：重复步骤4和步骤5进行图像序列的在线光度标定，同时在后台执行步骤6对在线参数数据库进行参数更新，完成光度标定的图像序列作为直接法单目SLAM的输入，完成后续的即时定位与地图构建工作。
优选地，在所述的步骤1和步骤3中，特征点跟踪算法包括以下步骤：
步骤101：输入图像序列，将每个图像帧分成一定数量网格单元；
步骤102：使用KLT跟踪算法从所有的网格单元中提取母特征点，并在图像序列中跟踪所选择的母特征点；如果母特征点由于遮挡或者移动到图像外而丢失，则再次使用KLT跟踪算法从当前包含较少特征点的网格单元中提取并跟踪新的母特征点；
步骤103：根据残差模板，选择每个图像帧中每个母特征点的周围的部分像素作为子特征点，在后续算法中子特征点及母特征点均作为图像的特征点；
步骤104：计算每个特征点的梯度权重wg；
步骤105：输出特征点的跟踪信息及其梯度权重wg。
优选地，在所述的步骤2和步骤6中，构建的完整光度误差模型公式为：
其中，表示第i帧图像中跟踪得到的特征点p处的像素灰度值，fG表示相机的响应函数，ei表示第i帧图像的曝光时间，/>表示第i帧图像中跟踪得到的特征点p处的渐晕效应函数，Lp表示跟踪得到的特征点p处的场景点辐射光强，r(fG，V，ei，Lp)表示第i帧图像中跟踪得到的特征点p的光度误差，||…||h表示Huber函数，常数h为Huber函数参数，/>为第i帧图像中跟踪得到的特征点p的光度误差权重，其公式为/>其中wg表示由特征点跟踪算法得到的跟踪点梯度权重，wh表示Huber函数权重。
优选地，在所述的步骤5中，构建的在线光度误差模型公式为：
其中，表示第i帧图像中跟踪得到的特征点p处的像素灰度值，/>表示相机的响应函数的反函数由在线参数数据库取得，ei表示第i帧图像的曝光时间，/>表示第i帧图像中跟踪得到的特征点p处的渐晕效应函数由在线参数数据库取得，Lp表示跟踪得到的特征点p处的场景点辐射光强，r*(ei，Lp)表示第i帧图像中跟踪点p的在线光度误差，/>为第i帧图像中跟踪得到的特征点p的在线光度误差权重，其公式为/>其中wg表示由特征点跟踪算法得到的跟踪点梯度权重。
优选地，光度误差模型中，渐晕效应函数和相机响应函数的具体形式如下：
相机响应函数fG的模型公式为：其中，f0(x)为平均响应函数，hk(x)为响应的k阶基函数，f0(x)和hk(x)均为经过主成分分析法训练的离线数据，ck为模型参数，相机的响应函数fG的模型参数为c＝(c1，c2，…，ck)；
渐晕效应函数V(x)的模型公式为：其中R(x)为图像中点x相对于图像中心的归一化半径，vl为模型参数。渐晕效应函数V(x)的模型参数为v＝(v1，v2，…，vl)。
优选地，在所述的步骤2中，离线优化算法包括如下步骤：
步骤201：求取完整光度误差模型的雅可比矩阵其中，r＝(r1，r2，…rn)T为所有光度误差组成的向量，c＝(c1，c2，…，ck)为相机的响应函数fG的模型参数，v＝(v1，v2，…，vl)为渐晕效应函数V(x)的模型参数，e＝(e1，e2，…，em)为每一帧的曝光时间组成的向量；
步骤202：通过正规方程(JTWJ+λdiag(JTWJ))Δx＝-JTWr，计算更新增量Δx，其中，J为雅可比矩阵，W为光度误差权重组成的对角权重方阵，diag(A)表示取方阵A的对角线部分，λ为优化参数，Δx＝(Δc，Δv，Δe)T为模型参数更新增量，r为光度误差向量；
步骤203：若通过更新增量Δx使得模型能量E变大，则将优化参数λ增大，并重新执行步骤202求解正规方程；若通过更新增量Δx使得模型能量E变小，则接受该更新增量Δx；
步骤204：对每个场景点p的辐射光强Lp进行更新，减小优化参数λ，更新增量其中rp为包含所有场景点p的光度误差列向量，/>Wp为场景点p的光度误差权重组成的对角权重方阵，λ为优化参数；
步骤205：重复步骤201、步骤202、步骤203及步骤204直到光度误差模型能量E收敛。
优选地，在所述的步骤5中，在线优化算法包括如下步骤：
步骤501：求取在线光度误差模型的雅可比矩阵其中，为所有在线光度误差组成的向量，e＝(e1，e2，…，em)T为每一帧的曝光时间组成的向量；
步骤502：通过正规方程(JTWJ)Δe＝-JTWr*，计算更新增量，其中，J为雅可比矩阵，W为在线光度误差权重组成的对角权重方阵，r*为在线光度误差向量，Δe为曝光时间的更新增量；
步骤503：对每个场景点p的辐射光强Lp进行更新，更新增量其中，为包含所有场景点p的在线光度误差列向量，/>Wp为场景点p的在线光度误差权重组成的对角权重方阵；
步骤504：重复步骤501、步骤502、步骤503直到在线光度误差模型能量E*收敛。
优选地，在所述的步骤6中，对渐晕效应函数V(x)和相机响应函数fG(x)的参数进行优化包括以下步骤：
步骤601：将在线优化算法取得的曝光时间和场景点辐射光强代入完整光度误差模型，求取雅可比矩阵
步骤602：通过正规方程(JTWJ+λdiag(JTWJ))Δx＝-JTWr，计算参数更新增量Δx；
步骤603：若通过更新增量Δx使得模型能量E变大，则将优化参数λ增大，并重新执行步骤602求解正规方程；若通过更新增量Δx使得模型能量E变小，则接受该更新增量Δx，减小优化参数λ；
步骤604：重复步骤601、步骤602及步骤603直到光度误差模型能量E收敛。
由于采用了上述的技术方案，本发明和现有技术相比，具有以下的优点和积极效果：本发明可以对在线图像序列进行在线光度标定，而且光度标定效果更加精确、鲁棒，能够在保证算法实时性情况下显著提高直接法单目SLAM的性能，使其可以应对复杂的光度环境。
附图说明
图1为基于直接法单目SLAM的在线光度标定方法系统流程图；
图2为特征点跟踪算法流程图；
图3为残差模板示意图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
如图1所示，本实施例公开的一种基于直接法单目SLAM的在线光度标定方法，包括以下步骤：
步骤1：接收直接法单目SLAM待处理图像帧，使用特征点跟踪算法对初始的M0帧图像序列进行特征点跟踪。
步骤1中所述的特征点跟踪算法包括以下步骤：
步骤101：输入M帧图像序列F，将每个图像帧Fi分成a×a个网格单元，Fi表示第i个图像帧。
步骤102：使用KLT跟踪算法从所有的网格单元中共提取N个母特征点。在图像序列F中跟踪所选择的母特征点。如果母特征点由于遮挡或者移动到图像外而丢失，则再次使用KLT跟踪算法从当前包含较少特征点的网格单元中提取并跟踪新的母特征点。
步骤103：根据残差模板，选择每个图像帧中每个母特征点的周围的部分像素作为子特征点。如图3为残差模板示意图，选择P1至P6作为母特征点P0的子特征点。
在后续算法中子母特征点均作为图像的特征点。
步骤104：计算每个特征点p的梯度权重wg，计算公式为：
式(1)中，常数μ为梯度权重参数，为特征点p在x轴方向的梯度，/>为特征点p在y轴方向的梯度。
步骤105：输出特征点p的跟踪信息及其梯度权重wg。
步骤2：对跟踪得到的特征点构建完整光度误差模型，使用离线优化算法对光度误差模型进行迭代优化。迭代完成后可以确定初始各帧曝光时间ei，渐晕效应函数V(x)和相机响应函数fG(x)，得到经过光度标定的初始M0帧图像序列。
构建完整光度误差模型公式为：
式(2)中，表示第i帧图像中跟踪得到的特征点p处的像素灰度值；fG表示相机的响应函数；ei表示第i帧图像的曝光时间；/>表示第i帧图像中跟踪点p处的渐晕效应；Lp表示跟踪点p处的场景点辐射光强；r(fG，V，ei，Lp)表示第i帧图像中跟踪得到的特征点p的光度误差；||…||h表示Huber函数，常数h为Huber函数参数，该函数形式为： 为第i帧图像中跟踪得到的特征点p的光度误差权重，其公式为/>其中wg表示跟踪点梯度权重由特征点跟踪算法得到，wh表示Huber函数权重：/>
使用经验响应模型对相机的响应函数fG进行建模，模型公式为：
式(3)中，f0(x)为平均响应函数，hk(x)为响应的k阶基函数，f0(x)和hk(x)均为经过主成分分析法训练的离线数据，ck为模型参数。根据实际设备算力选择模型阶数，相机的响应函数fG的模型参数为c＝(c1，c2，…，ck)。
使用径向渐晕模型对渐晕效应函数V(x)进行建模，模型公式为：
式(4)中，R(x)为图像中点x相对于图像中心的归一化半径，vl为模型参数。根据实际设备算力选择模型阶数，渐晕效应函数V(x)的模型参数为v＝(v1，v2，…，vl)。
步骤2中，离线优化算法包括以下步骤：
步骤201：求取完整光度误差模型的雅可比矩阵其中r＝(r1，r2，…rn)T为所有光度误差组成的向量，c＝(c1，c2，…，ck)为相机的响应函数fG的模型参数，v＝(v1，v2，…，vl)为渐晕效应函数V(x)的模型参数，e＝(e1，e2，…，em)为每一帧的曝光时间组成的向量。
步骤202：构造正规方程：
(JTWJ+λdiag(JTWJ))Δx＝-JTWr (5)
式(5)中，J为雅可比矩阵，W为光度误差权重组成的对角权重方阵，diag(A)表示取方阵A的对角线部分，λ为优化参数，Δx＝(Δc，Δv，Δe)T为模型参数更新增量，r为光度误差向量。求解正规方程可得Δx＝-(JTWJ+λdiag(JTWJ))-1JTWr。
步骤203：若通过更新增量Δx使得模型能量E变大，则将优化参数λ增大，并重新执行步骤202求解正规方程；若通过更新增量Δx使得模型能量E变小，则接受该更新增量Δx。
步骤204：对每个场景点p的辐射光强Lp进行更新，更新完成后减小优化参数λ，更新增量其中rp为包含所有场景点p的光度误差列向量，/>Wp为场景点p的光度误差权重组成的对角权重方阵，λ为优化参数。
步骤205：重复步骤201、步骤202、步骤203及步骤204直到光度误差模型能量E收敛
步骤3：将渐晕效应函数V(x)和相机响应函数fG(x)的参数写入在线参数数据库。
步骤4：使用特征点跟踪算法对后序的M帧图像序列窗口进行特征点跟踪。本步骤中所使用的特征点跟踪算法同步骤101至步骤105。
步骤5：读取后序的M帧图像序列窗口的特征点信息和在线参数数据库信息构建在线光度误差模型，使用在线优化算法对相机的曝光时间进行标定，得到经过光度标定的图像序列。
步骤5中，构建在线光度误差模型公式为：
式(6)中，表示第i帧图像中跟踪得到的特征点p处的像素灰度值，/>表示相机的响应函数的反函数由在线参数数据库取得，ei表示第i帧图像的曝光时间，/>表示第i帧图像中跟踪得到的特征点p处的渐晕效应由在线参数数据库取得，Lp表示跟踪得到的特征点p处的场景点辐射光强，r*(ei，Lp)表示第i帧图像中跟踪得到的特征点p的在线光度误差，/>为第i帧图像中跟踪得到的特征点p的在线光度误差权重，其公式为/>其中wg表示跟踪点梯度权重，由特征点跟踪算法得到。
步骤5中，在线优化算法包括以下步骤：
步骤501：求取在线光度误差模型的雅可比矩阵其中为所有在线光度误差组成的向量，e＝(e1，e2，…，em)T为每一帧的曝光时间组成的向量。
步骤502：构造正规方程：
(JTWJ)Δe＝-JTWr* (7)
式(7)中，J为雅可比矩阵，W为在线光度误差权重组成的对角权重方阵，r*为在线光度误差向量，Δe为曝光时间的更新增量。求解正规方程可得Δe＝-(JTWJ)-1JTWr*。
步骤503：对每个场景点p的辐射光强Lp进行更新，每个辐射光强的更新增量其中/>为包含所有场景点p的在线光度误差列向量，/>为rp对于Lp的雅可比矩阵，Wp为场景点p的在线光度误差权重组成的对角权重方阵。
步骤504：重复步骤501、步骤502及步骤503直到在线光度误差模型能量E*收敛。
步骤6：在后台获取累计最新的n×M帧图像序列窗口的特征点信息和其经过在线光度标定后的曝光时间ei与辐射光强Lp，构建完整光度误差模型，对渐晕效应函数V(x)和相机响应函数fG(x)的进行参数优化，得到新的渐晕效应函数V(x)和相机响应函数fG(x)，对步骤3的在线参数数据库进行参数更新。
步骤6中构建完整光度误差模型的公式同步骤2。
在步骤S6中，对渐晕效应函数V(x)和相机响应函数fG(x)的参数进行优化包括以下步骤：
步骤601：将在线优化算法取得的曝光时间和场景点辐射光强代入完整光度误差模型，求取雅可比矩阵
步骤602：通过正规方程(JTWJ+λdiag(JTWJ))Δx＝-JTWr，计算参数更新增量Δx＝(Δc，Δv)T＝-(JTWJ+λdiag(JTWJ))-1JTWr。
步骤603：若通过更新增量Δx使得模型能量E变大，则将优化参数λ增大，并重新执行步骤②求解正规方程；若通过更新增量Δx使得模型能量E变小，则接受该更新增量Δx，减小优化参数λ。
步骤604：重复步骤601、步骤602及步骤603直到光度误差模型能量E收敛，得到新的渐晕效应函数V(x)和相机响应函数fG(x)的参数。
步骤7：重复步骤4和步骤5进行图像序列的在线光度标定，同时在后台执行步骤6对在线参数数据库进行参数更新。完成光度标定的图像序列可以作为直接法单目SLAM的输入，完成后续的即时定位与地图构建工作。
本发明未尽事宜为公知技术。

Claims (8)

1.一种基于直接法单目SLAM的在线光度标定方法，其特征在于，包括以下步骤：
步骤1：接收直接法单目SLAM待处理图像序列，使用特征点跟踪算法对初始部分的图像序列进行特征点跟踪；
步骤2：对跟踪得到的特征点信息构建完整光度误差模型，使用离线优化算法对光度误差模型进行迭代优化，迭代完成后确定初始各帧曝光时间，渐晕效应函数和相机响应函数，并且得到经过光度标定的初始图像序列；
步骤3：将渐晕效应函数和相机响应函数的参数写入在线参数数据库；
步骤4：使用特征点跟踪算法对后序的一定帧数图像序列窗口进行特征点跟踪；
步骤5：读取后续的图像序列窗口的特征点信息和在线参数数据库信息，构建在线光度误差模型，使用在线优化算法对相机的曝光时间进行标定，并且得到经过光度标定的图像序列；
步骤6：在后台获取累计最新的一定帧数图像序列窗口的特征点信息和其经过在线光度标定后的曝光时间与辐射光强，构建完整光度误差模型，对渐晕效应函数和相机响应函数进行参数优化，得到新的渐晕效应函数和相机响应函数的参数，对步骤3的在线参数数据库进行参数更新；
步骤7：重复步骤4和步骤5进行图像序列的在线光度标定，同时在后台执行步骤6对在线参数数据库进行参数更新，完成光度标定的图像序列作为直接法单目SLAM的输入，完成后续的即时定位与地图构建工作。
2.根据权利要求1所述的一种基于直接法单目SLAM的在线光度标定方法，其特征在于，在所述的步骤1和步骤3中，特征点跟踪算法包括以下步骤：
步骤101：输入图像序列，将每个图像帧分成一定数量网格单元；
步骤102：使用KLT跟踪算法从所有的网格单元中提取母特征点，并在图像序列中跟踪所选择的母特征点；如果母特征点由于遮挡或者移动到图像外而丢失，则再次使用KLT跟踪算法从当前包含较少特征点的网格单元中提取并跟踪新的母特征点；
步骤103：根据残差模板，选择每个图像帧中每个母特征点的周围的部分像素作为子特征点，在后续算法中子特征点及母特征点均作为图像的特征点；
步骤104：计算每个特征点的梯度权重wg；
步骤105：输出特征点的跟踪信息及其梯度权重wg。
3.根据权利要求1所述的一种基于直接法单目SLAM的在线光度标定方法，其特征在于，在所述的步骤2和步骤6中，构建的完整光度误差模型公式为：
其中，表示第i帧图像中跟踪得到的特征点p处的像素灰度值，fG表示相机的响应函数，ei表示第i帧图像的曝光时间，/>表示第i帧图像中跟踪得到的特征点p处的渐晕效应函数，Lp表示跟踪得到的特征点p处的场景点辐射光强，r(fG，V，ei，Lp)表示第i帧图像中跟踪得到的特征点p的光度误差，||…||h表示Huber函数，常数h为Huber函数参数，/>为第i帧图像中跟踪得到的特征点p的光度误差权重，其公式为/>其中wg表示由特征点跟踪算法得到的跟踪点梯度权重，wh表示Huber函数权重，F表示M帧图像序列。
4.根据权利要求1所述的一种基于直接法单目SLAM的在线光度标定方法，其特征在于，在所述的步骤5中，构建的在线光度误差模型公式为：
其中，表示第i帧图像中跟踪得到的特征点p处的像素灰度值，/>表示相机的响应函数的反函数由在线参数数据库取得，ei表示第i帧图像的曝光时间，/>表示第i帧图像中跟踪得到的特征点p处的渐晕效应函数由在线参数数据库取得，Lp表示跟踪得到的特征点p处的场景点辐射光强，r*(ei，Lp)表示第i帧图像中跟踪点p的在线光度误差，/>为第i帧图像中跟踪得到的特征点p的在线光度误差权重，其公式为/>其中wg表示由特征点跟踪算法得到的跟踪点梯度权重，M表示图像序列中有M帧图像。
5.根据权利要求1所述的一种基于直接法单目SLAM的在线光度标定方法，其特征在于，光度误差模型中，渐晕效应函数和相机响应函数的具体形式如下：
相机响应函数fG的模型公式为：其中，f0(x)为平均响应函数，hk(x)为响应的k阶基函数，f0(x)和hk(x)均为经过主成分分析法训练的离线数据，ck为模型参数，相机的响应函数fG的模型参数为c＝(c1，c2，…，ck)；
渐晕效应函数V(x)的模型公式为：其中R(x)为图像中点x相对于图像中心的归一化半径，vl为模型参数，渐晕效应函数V(x)的模型参数为v＝(v1，v2，…，vl)。
6.根据权利要求1所述的一种基于直接法单目SLAM的在线光度标定方法，其特征在于，在所述的步骤2中，离线优化算法包括如下步骤：
步骤201：求取完整光度误差模型的雅可比矩阵其中，r＝(r1，r2，…rn)T为所有光度误差组成的向量，c＝(c1，c2，…，ck)为相机的响应函数fG的模型参数，v＝(v1，v2，…，vl)为渐晕效应函数V(x)的模型参数，e＝(e1，e2，…，em)为每一帧的曝光时间组成的向量；
步骤202：通过正规方程(JTWJ+λdiag(JTWJ))Δx＝-JTWr，计算更新增量Δx，其中，J为雅可比矩阵，W为光度误差权重组成的对角权重方阵，diag(A)表示取方阵A的对角线部分，λ为优化参数，Δx＝(Δc，Δv，Δe)T为模型参数更新增量，r为光度误差向量；
步骤203：若通过更新增量Δx使得模型能量E变大，则将优化参数λ增大，并重新执行步骤202求解正规方程；若通过更新增量Δx使得模型能量E变小，则接受该更新增量Δx；
步骤204：对每个场景点p的辐射光强Lp进行更新，减小优化参数λ，更新增量其中rp为包含所有场景点p的光度误差列向量，/>Wp为场景点p的光度误差权重组成的对角权重方阵，λ为优化参数；
步骤205：重复步骤201、步骤202、步骤203及步骤204直到光度误差模型能量E收敛。
7.根据权利要求1所述的一种基于直接法单目SLAM的在线光度标定方法，其特征在于，在所述的步骤5中，在线优化算法包括如下步骤：
步骤501：求取在线光度误差模型的雅可比矩阵其中，/>为所有在线光度误差组成的向量，e＝(e1，e2，…，em)T为每一帧的曝光时间组成的向量；
步骤502：通过正规方程(JTWJ)Δe＝-JTWr*，计算更新增量Δe，其中，J为雅可比矩阵，W为在线光度误差权重组成的对角权重方阵，r*为在线光度误差向量，Δe为曝光时间的更新增量；
步骤503：对每个场景点p的辐射光强Lp进行更新，更新增量其中，/>为包含所有场景点p的在线光度误差列向量，/>Wp为场景点p的在线光度误差权重组成的对角权重方阵；
步骤504：重复步骤501、步骤502、步骤503直到在线光度误差模型能量E*收敛。
8.根据权利要求6所述的一种基于直接法单目SLAM的在线光度标定方法，其特征在于，在所述的步骤6中，对渐晕效应函数V(x)和相机响应函数fG(x)的参数进行优化包括以下步骤：
步骤601：将在线优化算法取得的曝光时间和场景点辐射光强代入完整光度误差模型，求取雅可比矩阵
步骤602：通过正规方程(JTWJ+λdiag(JTWJ))Δx＝-JTWr，计算参数更新增量Δx；
步骤603：若通过更新增量Δx使得模型能量E变大，则将优化参数λ增大，并重新执行步骤602求解正规方程；若通过更新增量Δx使得模型能量E变小，则接受该更新增量Δx，减小优化参数λ；
步骤604：重复步骤601、步骤602及步骤603直到光度误差模型能量E收敛。
CN202010336767.7A 2020-04-26 2020-04-26 一种基于直接法单目slam的在线光度标定方法 Active CN111553954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010336767.7A CN111553954B (zh) 2020-04-26 2020-04-26 一种基于直接法单目slam的在线光度标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010336767.7A CN111553954B (zh) 2020-04-26 2020-04-26 一种基于直接法单目slam的在线光度标定方法

Publications (2)

Publication Number Publication Date
CN111553954A CN111553954A (zh) 2020-08-18
CN111553954B true CN111553954B (zh) 2023-11-10

Family

ID=72003127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010336767.7A Active CN111553954B (zh) 2020-04-26 2020-04-26 一种基于直接法单目slam的在线光度标定方法

Country Status (1)

Country Link
CN (1) CN111553954B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115276799B (zh) * 2022-07-27 2023-07-11 西安理工大学 光学成像通信中欠采样调制解调的判决门限自适应方法
CN115615342B (zh) * 2022-11-22 2023-07-07 苏州艾利特机器人有限公司 一种基于视触觉传感器的光度立体视觉系统标定方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846417A (zh) * 2017-02-06 2017-06-13 东华大学 基于视觉里程计的单目红外视频三维重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8406563B2 (en) * 2009-07-28 2013-03-26 National Taiwan University Photometric calibration method and device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846417A (zh) * 2017-02-06 2017-06-13 东华大学 基于视觉里程计的单目红外视频三维重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘华山 ; 金元林 ; 程新 ; 王泽宇 ; 齐洁 ; 刘洋.力矩输入有界的柔性关节机器人轨迹跟踪控制.控制理论与应用.2019,第36卷(第006期),983-992. *

Also Published As

Publication number Publication date
CN111553954A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN106679648B (zh) 一种基于遗传算法的视觉惯性组合的slam方法
CN107516326B (zh) 融合单目视觉和编码器信息的机器人定位方法和系统
CN110009674B (zh) 基于无监督深度学习的单目图像景深实时计算方法
CN110146099B (zh) 一种基于深度学习的同步定位与地图构建方法
CN114399554B (zh) 一种多相机系统的标定方法及系统
CN111136660A (zh) 机器人位姿定位方法及系统
CN107871327A (zh) 基于特征点线的单目相机位姿估计和优化方法及系统
CN108731700B (zh) 一种视觉惯性里程计中的加权欧拉预积分方法
CN111553954B (zh) 一种基于直接法单目slam的在线光度标定方法
CN113052109A (zh) 一种3d目标检测系统及其3d目标检测方法
CN112184824A (zh) 一种相机外参标定方法、装置
CN113011401B (zh) 人脸图像姿态估计和校正方法、系统、介质及电子设备
CN111307146A (zh) 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统
JP2020122754A (ja) ３次元位置推定装置及びプログラム
CN106097277B (zh) 一种基于视觉测量的绳索物质点跟踪方法
CN113345032B (zh) 一种基于广角相机大畸变图的初始化建图方法及系统
CN113362377B (zh) 一种基于单目相机的vo加权优化方法
Ge et al. Binocular vision calibration and 3D re-construction with an orthogonal learning neural network
CN113420590B (zh) 弱纹理环境下的机器人定位方法、装置、设备及介质
CN114419259B (zh) 一种基于物理模型成像仿真的视觉定位方法及系统
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及系统
CN116079727A (zh) 基于3d人体姿态估计的人形机器人动作模仿方法及装置
CN113790711B (zh) 一种无人机低空飞行位姿无控多视测量方法及存储介质
CN114399547B (zh) 一种基于多帧的单目slam鲁棒初始化方法
CN113670268B (zh) 基于双目视觉的无人机和电力杆塔距离测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant