CN102646277A - 一种具有实时参数监控和在线标定功能的视觉系统 - Google Patents

Abstract

本发明涉及一种具有实时参数监控和在线标定功能的视觉系统，其将采集的图像分割为监测标定区和视觉重建区；对监测标定区内的图像进行实时特征点提取，并与上次标定的特征点进行比较；当特征点的误差小于设定阈值时，对场景重建区的图像进行特征点提取，并应用上次标定的摄像机内外参数进行视觉计算，输出视觉目标的位置、尺度等场景信息；当特征点的误差大于或等于设定阈值时，应用监测标定区内实时提取的特征点，对视觉系统进行标定，根据标定结果，更新监测标定区的标定特征点和摄像机的内外参数，完成视觉计算、参数监控和在线标定的功能。本发明的视觉系统具有参数的实时监测功能和在线标定功能，保证视觉计算结果的准确度，节省系统资源。

Description

一种具有实时参数监控和在线标定功能的视觉系统

技术领域

本发明涉及一种视觉系统技术，具体涉及具有实时参数监控和在线标定功能的视觉系统，适用于安装在无人艇上的视觉导航或监控系统，也可用于无人车和无人机视觉系统。

背景技术

视觉导航在地面无人车和空中无人机中已有成功的应用，近年来人们试图将该技术应用于水面无人艇的导航，但陆上标定好的视觉系统经无人艇的运输、吊装、布放或风浪引起的颠簸，标定参数会发生变化；视觉系统受水面反光的影响，实际工作环境与陆上标定环境不同，标定参数也存在偏差；因此，人们希望能够对视觉系统的标定参数进行实时监控，当标定参数出现较大的变化时能够对视觉系统进行在线标定。

针对视觉系统的在线标定问题，Fitzgibbon等人提出一种基于相同型号摄像机内参数先验概率分布的在线标定方法(Online camera calibration，UnitedStates Patent，US7671891B2，2010)，但这种方法需要对相同型号的较多摄像机进行标定，求得内参数的先验概率分布，这难以做到准确；特别是对于需要变焦的视觉系统，求先验概率分布的工作量很大，不便于实现。

因此，本领域希望具有实时参数监控和在线标定功能的视觉系统。

发明内容

本发明针对现有视觉系统计算工作量大，缺乏参数实时监控和在线标定功能而影响视觉计算准确度等问题，提供了一种具有实时参数监控和在线标定功能的视觉系统，该系统不需通过统计方法求取摄像机内参数的先验概率分布，当视觉系统在实际条件下工作时，能够对摄像机的内外参数进行实时监控和在线标定。

为了达到上述目的，本发明采用如下技术方案：

一种具有实时参数监控和在线标定功能的视觉系统，所述视觉系统包括

图像分割模块，所述图像分割模块将采集到的图像分割为监测标定区和场景重建区，所述监测标定区内的图像用于视觉系统的参数实时监测和在线标定，所述场景重建区内的图像用于视觉计算；

标定区域图像特征点提取模块，所述标定区域图像特征点提取模块对监测标定区内的图像进行实时特征点提取；

重建区域图像特征点提取模块，所述重建区域图像特征点提取模块对场景重建区的图像进行特征点提取；

误差计算模块，所述误差计算模块用于将标定区域图像特征点提取模块实时提取的图像特征点与上次标定的特征点进行比较，获取特征点误差；

视觉计算模块，所述视觉计算模块在误差计算模块计算得到的误差小于设定的阈值时，根据提取的场景重建区的图像的特征点与上次标定的摄像机内外参数进行视觉计算，输出视觉目标的位置、尺度等场景信息；

在线标定模块，所述在线标定模块在误差计算模块计算得到的误差大于等于设定的阈值时，应用监测标定区内实时提取的特征点，对视觉系统进行标定；

更新模块，所述更新模块根据在线标定模块标定结果，更新监测标定区的标定特征点和摄像机的内外参数。

本发明当视觉系统在实际条件下工作时，能够对摄像机的内外参数进行实时监控和在线标定，有效保证视觉计算的准确度。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明的系统框图。

图2为本发明的原理图。

图3为本发明一个实时方案中视觉系统采集的一帧图像的示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

为了避免在视觉系统参数未发生变化时对系统进行在线标定需要的资源浪费，以及当视觉系统参数发生了变化但未对系统进行重新标定而影响视觉计算准确度等问题，本发明提供一种具有实时参数监控和在线标定功能的视觉系统。

参见图1，其所示为本发明具有实时参数监控和在线标定功能的视觉系统框图，由图可知，本发明提供的系统100包括图像分割模块101、标定区域图像特征点提取模块102、重建区域图像特征点提取模块103、误差计算模块104、视觉计算模块105、在线标定模块106以及更新模块107。

图像分割模块，用于将采集到的图像分割为监测标定区和场景重建区，其中监测标定区内的图像用于视觉系统的参数实时监测和在线标定，而场景重建区内的图像用于视觉计算。

标定区域图像特征点提取模块，用于对监测标定区内的图像进行实时特征点提取。

重建区域图像特征点提取模块，用于对场景重建区的图像进行特征点提取。

误差计算模块，用于将标定区域图像特征点提取模块实时提取的图像特征点与上次标定的特征点进行比较，获取特征点误差。

视觉计算模块，该模块在误差计算模块计算得到的误差小于设定的阈值时，根据提取的场景重建区的图像的特征点与上次标定的摄像机内外参数进行视觉计算，输出视觉目标的位置、尺度等场景信息。

在线标定模块，该模块在误差计算模块计算得到的误差大于等于设定的阈值时，应用监测标定区内实时提取的特征点，对视觉系统进行标定。

更新模块，根据在线标定模块标定结果，更新监测标定区的标定特征点和摄像机的内外参数。

基于上述方案得到的系统，其工作原理如下(参见图2)：

(1)将采集的图像分割为监测标定区和视觉重建区，其中监测标定区内的图像用于视觉系统的参数实时监测和在线标定，视觉重建区内的图像用于视觉计算；

(2)对监测标定区内的图像进行实时特征点提取，并与上次标定的特征点进行比较，计算得到特征点误差，并根据特征点误差选择后续运行的模块；

(3)当步骤(2)中计算得到的特征点误差小于设定阈值时，对场景重建区的图像进行特征点提取，并应用上次标定的摄像机内外参数进行视觉计算，输出视觉目标的位置、尺度等场景信息；

(4)当步骤(2)中计算得到的特征点误差大于或等于设定阈值时，应用监测标定区内实时提取的特征点，对视觉系统进行标定，根据标定结果，更新监测标定区的标定特征点和摄像机的内外参数；

(5)重复步骤(2)。

基于上述原理，本发明的一个实施方案如下：

参见图3，其所示为本发明应用在无人水面艇上的一个实施方案中视觉系统采集的图像示意图。

该实例中将视觉系统采集的图像300分割为监测标定区302和视觉重建区301。其中监测标定区302显示与视觉系统相对位置固定不变的标定物的图像303，用于对视觉系统的参数实时监测和在线标定；视觉重建区301显示视觉系统所采集图像300中除所述监测标定区302外的部分，是视觉系统观测到周围场景的成像区域，用于视觉计算。

由于视觉系统中的标定物上的特征点既用于参数实时监测，又用于在线标定，因此具有6个以上的特征点，所述特征点优选均匀分布在标定物的三个互相垂直的平面内；在该实施方案中，采用的标定物是表面为彩色方格的立方体结构，三个可见的表面分别为红白相间、绿白相间和蓝白相间的方格，以便于方格角点的提取。

标定物尺寸和安装位置的选择，使监测标定区内相邻两个特征点之间的距离不小于一定值，优选不小于20个象素，以便于特征点的提取；在该实施方案中，标定物安装在无人艇的艇艏，视觉系统安装在无人艇中部控制舱的顶部，监测标定区302的宽度和高度约分别为整幅图像的四分之一。

完成上述设定后，对监测标定区内的图像进行实时特征点提取，可采用计算机视觉领域现有的特征点提取方法，在该实施方案中，采用Harris角点提取方法提取监测标定区302内的特征点。

将提取的特征点与上次标定后存储的特征点进行比较，计算特征点误差之和，作为选择后续运行的模块的判别量；

当计算得到的特征点误差之和小于设定阈值时，说明摄像机参数未变化，选择视觉计算模块进行视觉计算，可利用计算机视觉领域现有的特征点提取方法对场景重建区的图像进行特征点提取，该实施方案中，采用Harris角点提取方法；再应用上次标定后存储的摄像机内外参数和计算机视觉领域现有的视觉计算方法进行场景的视觉计算，在该实施方案中，虽然仅示出一幅图像，系统采用的是双目视觉，具有两台平行配置的摄像机，视觉计算采用的是基于平行轴立体视觉的计算方法，根据需要输出视觉目标的位置、尺度等场景信息；

当计算得到的特征点误差之和大于或等于设定阈值时，说明视觉系统的内参数或外参数发生了变化，需要重新进行标定；应用前面实时提取的特征点，对视觉系统进行标定，在该实施方案中，采用R.Y.Tsai的标定方法，对双目视觉系统中的两台摄像机进行标定，根据标定结果，更新监测标定区的标定特征点和摄像机的内外参数。

上述实例中视觉系统具有参数的实时监测功能和在线标定功能，保证视觉计算结果的准确度，节省系统资源。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种具有实时参数监控和在线标定功能的视觉系统，其特征在于，所述视觉系统包括

图像分割模块，所述图像分割模块将采集到的图像分割为监测标定区和场景重建区，所述监测标定区内的图像用于视觉系统的参数实时监测和在线标定，所述场景重建区内的图像用于视觉计算；

标定区域图像特征点提取模块，所述标定区域图像特征点提取模块对监测标定区内的图像进行实时特征点提取；

重建区域图像特征点提取模块，所述重建区域图像特征点提取模块对场景重建区的图像进行特征点提取；

误差计算模块，所述误差计算模块用于将标定区域图像特征点提取模块实时提取的图像特征点与上次标定的特征点进行比较，获取特征点误差；

视觉计算模块，所述视觉计算模块在误差计算模块计算得到的误差小于设定的阈值时，根据提取的场景重建区的图像的特征点与上次标定的摄像机内外参数进行视觉计算，输出视觉目标的位置、尺度等场景信息；

在线标定模块，所述在线标定模块在误差计算模块计算得到的误差大于等于设定的阈值时，应用监测标定区内实时提取的特征点，对视觉系统进行标定；

更新模块，所述更新模块根据在线标定模块标定结果，更新监测标定区的标定特征点和摄像机的内外参数。

Images