CN103903263A - 基于Ladybug全景相机图像的360度全方位测距算法 - Google Patents

Abstract

本发明公开了一种基于Ladybug全景相机图像的360度全方位测距算法，它涉及计算机视觉领域中的图像测距技术领域。其方法步骤：读入Ladybug相机采集的各镜头图像序列；各相机分别进行姿态估计；在相邻两帧中分别选择两次待测距离起点和终点；计算起点和终点分别所属相机索引号；计算起点和终点的局部三维坐标；局部三维坐标转为统一坐标系下三维坐标；计算统一坐标系下起点和终点间虚拟距离；Xsense获取车载相机速度和加速度；拟合两帧间车载相机间距；计算比例因子；计算起点和终点间实际三维空间距离。本发明能够实现起点和终点落入不同相机下的距离测量，进而实现360度测量任意一段距离。

Description

基于Ladybug全景相机图像的360度全方位测距算法

技术领域

本发明涉及计算机视觉领域中的图像测距技术领域，具体涉及一种基于Ladybug全景相机图像的360度全方位测距算法。 

背景技术

图像测距技术涉及特征点检测与匹配、摄像机标定和姿态估计、将虚拟距离转换为空间实际距离等技术。 

其中“将虚拟距离转换为空间实际距离”技术一般利用地面控制点实现，本发明在未知地面控制点的情况下，利用Xsense数据计算出空间实际距离与虚拟距离间的比例因子，实现实际距离测量。 

传统的图像测量一般利用某个方向上的相机图像，只能测量该方位上的实际距离。 

发明内容

有鉴于现有技术的上述缺陷，本发明提供一种基于Ladybug全景相机图像的360度全方位测距算法，利用Ladybug全景相机360度全方位拍摄空间景物，将各镜头的局部坐标统一到Ladybug全局坐标系下，实现起点和终点落入不同相机下的距离测量，进而实现360度测量任意一段距离。 

为实现上述目的，本发明提供了一种基于Ladybug全景相机图像的360度全方位测距算法，其特征在于，其方法步骤为： 

(1)、读入Ladybug相机采集的各镜头图像序列：在Ladybug相机采集过程中，每个镜头都会采集一系列序列图像； 

(2)、各相机分别进行姿态估计：在各相机的内参矩阵K已知的前提下，利用Bundle对各镜头序列图像进行相机姿态估计； 

(3)、在相邻两帧中分别选择两次待测距离起点和终点：在起始帧选择一次起点p₀和终点q₀，在下一帧选择一次相同的起点p₁和相同的终点q₁； 

(4)、计算起点和终点分别所属相机索引号：根据Ladybug提供的API函数获取两次起点所属的相机索引号CamIdStart和两次终点所属的相机索引号CamIdEnd； 

(5)、计算起点和终点的局部三维坐标：第2步获取了相机的内外参数，根据三角测量理论和CamIdStart号相机的内外参数计算p₀和p₁两图像点所对应的三维空间点坐标P_start；同理计算出q₀和q₁两图像点所对应的三维空间点坐标Q_end； 

(6)、局部三维坐标转为统一坐标系下三维坐标：将第5步中的不同的坐标系下的三维坐标P_start和Q_end转换到同一坐标系下； 

(7)、计算统一坐标系下起点和终点间虚拟距离：利用向量间欧式距离计算起点和终点在统一坐标系下的间距DisVir； 

(8)、Xsense获取车载相机速度和加速度：在车载Ladybug采集图像的同时，硬件Xsense会实时记录车辆在采样点上的速度和加速度，分别获取相邻两帧采样点的速度和加速度：v₀，a₀，v_i，a₁； 

(9)、拟合两帧间车载相机间距：已知两点的速度和加速度：v₀，a₀，v₂，a₂，利用四阶多项式拟合相邻两帧采样点间的距离DisGap； 

(10)、计算比例因子：根据车辆在两采样点间实际间距DisGap和两点相机间变换关系，计算实际距离与虚拟三维距离间的比例因子； 

(11）、计算起点和终点间实际三维空间距离：根据比例因子Scale计算出起点和终点间虚拟距离DisVir对应的实际空间距离DisAct。 

所述的步骤(6)的局部坐标系下坐标转为统一坐标系下坐标的具备步骤为：在Ladybug全景相机里，每个镜头相机定义了一个统一的全局坐标系，每个局部相机坐标系与Ladybug全局坐标系间存在一个唯一的变换关系，即矩阵H，该变换关系通过Ladybug提供的API函数1adybugGetCameraUnitExtrinsics()获得； 

设世界坐标系下某空间点Q在某局部相机坐标下坐标为Q_Local，该局部相机坐标系与Ladybug全局坐标系间变换矩阵为H，该点在Ladybug全局坐标系下坐标为Q_Ladybug，则它们满足如下关系： 

Q_Ladybug=H·Q_Local  公式1 

选定的世界坐标系与镜头相机坐标系间的关系通过相机的旋转矩阵R和平移向量T获得，设点Q是世界坐标系下某空间点，R和T是某相机在世界坐标系下的位置姿态，Q_Local为该点Q在该相机坐标系下的坐标，则关系如下： 

$Q_{\mathrm{Local}}=\left(\begin{array}{cc}R& -\mathrm{RT}\\ 0^T& 1\end{array}\right)Q$   公式2 

根据公式1和公式2即可将不同世界坐标系下的不同空间点表示到统一Ladybug全局坐标系下。 

所述步骤(10)中，计算比例因子的公式为： 

Scale=DisGap′／DisGap  公式3 

其中，在所述第2步的相机姿态估计中，可计算同一索引号相机在相邻两帧中各自相对世界坐标系的位置姿态，则相邻两帧相机的平移向量间的欧式距离即为该索引号相机在两帧处的虚拟间距DisGap′。 

本发明的有益效果：利用Ladybug全景相机360度全方位拍摄空间景物，将各镜头的局部坐标统一到Ladybug全局坐标系下，实现起点和终点落入不同相机下的距离测量，进而实现360度测量任意一段距离。 

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。 

附图说明

图1为本发明的技术方案流程图； 

图2为本发明的各局部相机坐标系示意图； 

图3为本发明的Ladybug全局坐标系示意图。 

具体实施方式

参照图1-3，本具体实施方式采用以下技术方案：基于Ladybug全 景相机图像的360度全方位测距算法，其方法步骤为： 

(1)、读入Ladybug相机采集的各镜头图像序列：在Ladybug相机采集过程中，每个镜头都会采集一系列序列图像； 

(2)、各相机分别进行姿态估计：在各相机的内参矩阵K已知的前提下，利用Bundle对各镜头序列图像进行相机姿态估计(获得相机的旋转矩阵R和平移向量t)； 

(3)、在相邻两帧中分别选择两次待测距离起点和终点：在起始帧选择一次起点p₀和终点q₀，在下一帧选择一次相同的起点p₁和相同的终点q₁： 

(4)、计算起点和终点分别所属相机索引号：根据Ladybug提供的API函数获取两次起点所属的相机索引号CamIdStart和两次终点所属的相机索引号CamIdEnd； 

(5)、计算起点和终点的局部三维坐标：第2步获取了相机的内外参数，根据三角测量理论和CamIdStart号相机的内外参数计算p₀和p₁两图像点所对应的三维空间点坐标P_start；同理计算出q₀和q₁两图像点所对应的三维空间点坐标Q_end； 

(6)、局部三维坐标转为统一坐标系下三维坐标：在第5步中，P_start和Q_end是分别在不同的坐标系下的三维坐标，因此需要将其转换到同一坐标系下，具体转换步骤如“原理说明”部分； 

(7)、计算统一坐标系下起点和终点间虚拟距离：利用向量间欧式距离计算起点和终点在统一坐标系下的间距DisVir； 

(8)、Xsense获取车载相机速度和加速度：在车载Ladybug采集图像的同时，硬件Xsense会实时记录车辆在采样点上的速度和加速度，分别获取相邻两帧采样点的速度和加速度：v₀，a₀，v₁，a₁； 

(9)、拟合两帧间车载相机间距：已知两点的速度和加速度：v₀，a₀，v₂，a₂，利用四阶多项式拟合相邻两帧采样点间的距离DisGap； 

(10)、计算比例因子：根据车辆在两采样点间实际间距DisGap和两点相机间变换关系，计算实际距离与虚拟三维距离间的比例因子Scale， 详见“原理说明”部分； 

(11)、计算起点和终点间实际三维空间距离：根据比例因子Scale计算出起点和终点间虚拟距离DisVir对应的实际空间距离DisAct。 

1.本具体实施方式的原理：局部坐标系下坐标转为统一坐标系下坐标； 

在“本方法的技术方案”中，每次对相机进行姿态估计时，默认选定了一个世界坐标系，相机的旋转矩阵和平移向量均是在该世界坐标系中的表示，第5步中计算得到的局部三维坐标也是在该世界坐标系下的表示。因此，在对不同索引号的相机进行姿态估计时选择了不同的世界坐标系(同一索引号相机在相邻两帧处选择的世界坐标系是相同的)，进而根据每个相机计算的三维坐标是在不同坐标系下的表示。 

而要计算起点和终点间的距离时，起点和终点的三维坐标必须是在同一坐标系下才可根据向量间欧式距离计算三维距离。 

在Ladybug全景相机里，已经为每个镜头相机定义了一个统一的全局坐标系，图2为Ladybug各镜头相机坐标系，图3为Ladybug全局坐标系。 

每个局部相机坐标系与Ladybug全局坐标系间存在一个唯一的变换关系(矩阵H)，该变换关系可通过Ladybug提供的API函数ladybugGetCameraUnitExtrinsics()获得。设世界坐标系下某空间点Q在某局部相机坐标下坐标为Q_Local，该局部相机坐标系与Ladybug全局坐标系间变换矩阵为H，该点在Ladybug全局坐标系下坐标为Q_Ladybug，则它们满足如下关系： 

Q_Ladybug=H·Q_Local  公式1 

选定的世界坐标系与镜头相机坐标系间的关系可通过相机的旋转矩阵R和平移向量T获得，设点Q是世界坐标系下某空间点，R和T是某相机在世界坐标系下的位置姿态，Q_Locdl为该点Q在该相机坐标系下的坐标，则关系如下： 

$Q_{\mathrm{Local}}=\left(\begin{array}{cc}R& -\mathrm{RT}\\ 0^T& 1\end{array}\right)Q$

公式2 

根据公式1和公式2即可将不同世界坐标系下的不同空间点表示到统一Ladybug全局坐标系下。 

2.计算比例因子 

本发明的具体实施方式，第9步已经通过Xsense获取的速度和加速度拟合出了车载Ladybug中同一索引号相机在相邻两帧间的实际距离DisGap。在第2步的相机姿态估计中，可以计算同一索引号相机在相邻两帧中各自相对世界坐标系的位置姿态(平移向量T同时表示相机光心在世界坐标系下的坐标)，则相邻两帧相机的平移向量间的欧式距离即为该索引号相机在两帧处的虚拟间距DisGap`，根据以下公式即可算出比例因子Scale。 

Scale=DisGap`／DisGap  公式3 

本具体实施方式利用Ladybug全景相机360度全方位拍摄空间景物，将各镜头的局部坐标统一到Ladybug全局坐标系下，实现起点和终点落入不同相机下的距离测量，进而实现360度测量任意一段距离。 

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。 

Claims (3)

1.基于Ladybug全景相机图像的360度全方位测距算法，其特征在于，其方法步骤为：

(1)、读入Ladybug相机采集的各镜头图像序列：在Ladybug相机采集过程中，每个镜头都会采集一系列序列图像；

(2)、各相机分别进行姿态估计：在各相机的内参矩阵K已知的前提下，利用Bundle对各镜头序列图像进行相机姿态估计；

(3)、在相邻两帧中分别选择两次待测距离起点和终点：在起始帧选择一次起点p₀和终点q₀，在下一帧选择一次相同的起点p₁和相同的终点q₁：

(4)、计算起点和终点分别所属相机索引号：根据Ladybug提供的API函数获取两次起点所属的相机索引号CamIdStart和两次终点所属的相机索引号CamIdEnd；

(5)、计算起点和终点的局部三维坐标：第2步获取了相机的内外参数，根据三角测量理论和CamIdStart号相机的内外参数计算p₀和p₁两图像点所对应的三维空间点坐标P_start；同理计算出q₀和q₁两图像点所对应的三维空间点坐标Q_end；

(6)、局部三维坐标转为统一坐标系下三维坐标：将第5步中的不同的坐标系下的三维坐标P_start和Q_end转换到同一坐标系下；

(7)、计算统一坐标系下起点和终点间虚拟距离：利用向量间欧式距离计算起点和终点在统一坐标系下的间距DisVir；

(8)、Xsense获取车载相机速度和加速度：在车载Ladybug采集图像的同时，硬件Xsense会实时记录车辆在采样点上的速度和加速度，分别获取相邻两帧采样点的速度和加速度：v₀，a₀，v₁，a₁；

(9)、拟合两帧间车载相机间距：已知两点的速度和加速度：v₀，a₀，v₂，a₂，利用四阶多项式拟合相邻两帧采样点间的距离DisGap；

(10)、计算比例因子：根据车辆在两采样点间实际间距DisGap和两点相机间变换关系，计算实际距离与虚拟三维距离间的比例因子；

(11)、计算起点和终点间实际三维空间距离：根据比例因子Scale计算出起点和终点间虚拟距离DisVir对应的实际空间距离DisAct。

2.根据权利要求1所述的基于Ladybug全景相机图像的360度全方位测距算法，其特征在于，所述的步骤(6)的局部坐标系下坐标转为统一坐标系下坐标的具备步骤为：在Ladybug全景相机里，每个镜头相机定义了一个统一的全局坐标系，每个局部相机坐标系与Ladybug全局坐标系间存在一个唯一的变换关系，即矩阵H，该变换关系通过Ladybug提供的API函数ladybugGetCameraUnitExtrinsics()获得；

设世界坐标系下某空间点Q在某局部相机坐标下坐标为Q_Local，该局部相机坐标系与Ladybug全局坐标系间变换矩阵为H，该点在Ladybug全局坐标系下坐标为Q_Ladybug，则它们满足如下关系：

Q_Ladybug＝H·Q_Local  公式1

选定的世界坐标系与镜头相机坐标系间的关系通过相机的旋转矩阵R和平移向量T获得，设点Q是世界坐标系下某空间点，R和T是某相机在世界坐标系下的位置姿态，Q_Local,为该点Q在该相机坐标系下的坐标，则关系如下：

$Q_{\mathrm{Local}}=\left(\begin{array}{cc}R& -\mathrm{RT}\\ 0^T& 1\end{array}\right)Q$ 公式2

根据公式1和公式2H口可将不同世界坐标系下的不同空间点表示到统一Ladybug全局坐标系下。

3.根据权利要求1所述的基于Ladybug全景相机图像的360度全方位测距算法，其特征在于，所述步骤(10)中，计算比例因子的公式为：

Scale=DisGap`／DisGap  公式3

其中，在所述第2步的相机姿态估计中，可计算同一索引号相机在相邻两帧中各自相对世界坐标系的位置姿态，则相邻两帧相机的平移向量间的欧式距离即为该索引号相机在两帧处的虚拟间距DisGap`。

Images