CN110958445A - 一种用于智能跟踪摄像头模块的校准系统 - Google Patents

Abstract

本发明公开了一种用于智能跟踪摄像头模块的校准系统，所述校准系统包括校准光柱模块、智能跟踪摄像头模块、控制模块；利用校准光柱模块形成作为校准图像的连续光线，通过智能跟踪摄像头模块自动化划分出摄像头的校准线，在后续的各个空间位置中，通过智能跟踪摄像头模块识别定位得到所需的空间位置数据，利用控制模块调用已存在的校准线由此对该空间位置即可实现智能跟踪摄像头模块的精确校准。通过本发明的校准系统，可实现对摄像头模块的全局域校准，同时采用多自由度检测装置空间维度匹配，极大地提高了校正的精度和准确性。

Description

一种用于智能跟踪摄像头模块的校准系统

技术领域

本发明涉及立体显示技术领域，尤其涉及一种用于智能跟踪摄像头模块的校准系统。

背景技术

随着新型显示技术的不断更新换代，工作模式更便捷、更舒适、更普适的自由立体显示技术已逐渐成熟并受到业界的广泛关注。自由立体显示技术主要是通过将现有图像分离出左右眼图像，通过不同技术使得观察者在预定的位置沿着预定的方向观察自由立体显示器时，左眼图像进入左眼，右眼图像进入右眼，从而产生双目视差，产生立体感，实现自由立体显示效果。

在自由立体显示系统中，通过智能跟踪摄像头模块实时侦测观众的位置，一旦观众进行移动，系统会随即根据观众的移动，调整投影的方向和焦距，将所需的视差信号重新准确地投影到观众的双眼，在大脑内合成立体图像；因此对于智能跟踪摄像头模块的逻辑控制和跟踪拍摄精度具有较高的要求。

现阶段的智能跟踪摄像头模块一般采用人工校准，存在校准精度低、校准时间长的问题；同时由于显示系统的差异，尤其是对于畸变较大的摄像头，人工校准的难度增大。以上这些不足都导致了摄像头模块校准精度低而影响显示效果和显示质量，降低视觉效果。

发明内容

本发明为解决现有自由立体显示系统中的智能跟踪摄像头模块存在校准精度低、效率差的问题，提供了基于一种用于智能跟踪摄像头模块的校准系统。

为实现以上发明目的，而采用的技术手段是：

一种用于智能跟踪摄像头模块的校准系统，所述校准系统包括校准光柱模块、智能跟踪摄像头模块、控制模块；所述智能跟踪摄像头模块为自由立体显示系统中的内部组件，其包括用于多自由度检测装置空间维度匹配的固定工装摄像头；所述自由立体显示系统使用双摄像头系统；

所述校准光柱模块用于形成连续光线作为校准图像；

所述智能跟踪摄像头模块用于对所述校准图像进行定位及识别，识别得到位于所述校准图像中的校准线，并记录其对应的空间位置数据；

所述控制模块用于调用智能跟踪摄像头模块所需的对应空间位置的校准线；所述智能跟踪摄像头模块的双摄像头根据所述校准线利用极线约束进行校准。

上述方案中，利用校准光柱模块形成作为校准图像的连续光线，通过智能跟踪摄像头模块自动化划分出摄像头的校准线，在后续的各个空间位置中，智能跟踪摄像头模块识别定位得到所需的空间位置数据，利用控制模块调用已存在的校准线由此对该空间位置即可实现智能跟踪摄像头模块的精确校准。通过本发明的校准系统，在进行特征点匹配时仅需要在校准线上进行搜索而不需要在整个二维图像上进行搜索，大大减少了计算量，并提高了校准精度。

优选的，所述校准光柱模块包括光柱、滑轨以及步进电机；所述光柱竖直且滑动安装在滑轨上，用于形成连续光线；所述步进电机用于控制所述光柱在滑轨上分别进行横向步进和竖向步进。在本优选方案中，利用步进电机进行纵向和横向的精确步进控制，从而提高系统整体的精准度。

优选的，所述光柱包括LED集光凹槽以及由多个LED发光单元竖直排列组成的LED灯列；所述LED发光单元固定安装于LED集光凹槽内部，所述LED集光凹槽的深度大于LED单元厚度；所述LED灯列上设有线性扩散片，用于使LED灯列的出射光线线性化，从而形成连续光。在本优选方案中，LED集光凹槽的深度大于LED单元厚度可形成高度势垒使LED灯列的出射光线直射形成极细的光柱，再经线性扩散片形成连续光，以便确定校准线所需的四个特征点。

优选的，所述光柱为一灯棒。在本优选方案中，使用长度适宜的灯棒亦可以达到出射极细连续光线的效果，以便确定校准线所需的四个特征点。

优选的，所述智能跟踪摄像头模块对所述校准图像进行识别得到位于所述校准图像最中央的亮线作为校准线具体为：对于任一空间位置，在所述校准图像上，横向识别所述连续光线的半峰宽作为光斑区域；纵向五等分所述光斑区域得到四条等分线，分别识别每条等分线的半高宽中央值得到四个特征点，所述四个特征点拟合形成对应空间位置的校准线。在本优选方案中，利用智能跟踪摄像头模块以及校准图像对各个空间位置的校准线进行自动划分。

优选的，所述校准线基于四个特征点分段优化拟合得到。在本优选方案中，对于摄像头畸变较大的系统，采用多段式优化拟合的方式可以使校准线与实际形成的亮线最为接近，使得校准线的划分更为精准化。

优选的，所述智能跟踪摄像头模块识别得到的校准线的实际空间位置作为空间位置数据。

优选的，所述步进电机用于控制所述光柱从步进电机的横向及纵向步进起始位置开始，先从横向位置以1mm为单位横向步进直至横向终止位置，切换至下一纵向距离后重复横向步进，直至遍历完所述步进电机起始和终止位置内的所有空间位置。在本优选方案中，利用步进电机进行步进划线确定空间定位，对于一般观看者移动的不确定性尽可能小量化校准线的宽度，及最大化校准线的密度，从而提高系统校准的精准度。

优选的，所述LED灯列的宽度为3mm，且长度至少为可视长度。

优选的，所述系统还包括数据整合模块，用于依据空间位置数据划分并存储每个空间位置对应的校准线，任一空间位置均有与其对应的校准线，所述校准线以实际空间1mm的密度划分；所述控制模块基于所述数据整合模块的存储数据调用对应空间位置的校准线。在本优选方案中，通过数据整合模块对校准线进行整合和存储，方便进行校准时控制模块直接调用，提高了系统的校准效率。

与现有技术相比，本发明技术方案的有益效果是：

本发明提供的用于智能跟踪摄像头模块的校准系统，利用校准光柱模块形成作为校准图像的连续光线，通过智能跟踪摄像头模块自动化划分出摄像头的校准线，在后续的各个空间位置中，只需调用相应的校准线，利用极线约束进行双目校正使特征点在左右两幅图像中都位于校准线上即可实现智能跟踪摄像头模块的精确校准。通过本发明的校准系统，在进行特征点匹配时仅需要在校准线上进行搜索而不需要在整个二维图像上进行搜索，大大减少了计算量；且针对畸变较大的摄像头系统采用不同的校准参量拟合校准线，提高了校准精度。

本发明解决了现有自由立体显示系统中的摄像头跟踪模块存在校准精度低的问题，其结构简单，易于实现。

附图说明

图1为实施例1中校准光柱模块的光柱、滑轨示意图。

图2为实施例1中LED灯列的示意图。

图3为实施例1中一般摄像头模块拍摄到的校准图像示意图。

图4为实施例1中畸变较大摄像头模块拍摄到的校准图像示意图。

图5为实施例2中灯棒的示意图。

图6为实施例3中的校正流程图。

图7为实施例1中校准系统的模块图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

本实施例提供了一种用于智能跟踪摄像头模块2的校准系统，如图7所示，所述校准系统包括校准光柱模块1、智能跟踪摄像头模块2、控制模块4、数据整合模块3；所述智能跟踪摄像头模块2为自由立体显示系统中的内部组件，包含固定工装摄像头用于多自由度检测装置空间维度匹配；所述自由立体显示系统使用双摄像头系统；其中在本实施例中控制模块4、数据整合模块3亦直接利用自由立体显示系统的内部组件，无需再另外添置这些模块；

在自由立体显示系统中，通过智能跟踪摄像头模块2实时侦测观众的位置，一旦观众进行移动，系统会随即根据观众的移动，调整投影的方向和焦距，将所需的视差信号重新准确地投影到观众的双眼，在大脑内合成立体图像；即智能跟踪摄像头模块2是自由立体显示系统中用于跟踪空间里面观看者的位置，给出空间位置数据的内部组件；其中自由立体显示系统使用的双摄像头系统采用镜头空间位置3个维度，主光轴方向2个维度，即双摄像头系统共10个维度用于校准。

以下对本实施例校准系统各模块的功能进行介绍：

一、校准光柱模块1

所述校准光柱模块1用于形成连续光线作为校准图像，如图1所示，它包括光柱11、滑轨12以及步进电机；所述光柱11竖直且滑动安装在滑轨12上，用于形成连续光线；所述步进电机用于控制所述光柱11在滑轨12上分别进行横向步进和竖向步进。

如图2所示，所述光柱11包括LED集光凹槽112以及由多个LED发光单元111竖直排列组成的LED灯列；所述LED发光单元111固定安装于LED集光凹槽112内部，所述LED集光凹槽112的深度大于LED单元厚度；所述LED灯列上设有线性扩散片113，用于使LED灯列的出射光线线性化，从而形成连续光；其中在本实施例中，LED灯列的宽度为3mm，且长度至少为可视长度；在实际中，LED灯列的出射光线的亮度不能过高，若其亮度过高会导致智能跟踪摄像头模块2识别的空间位置数据与实际空间位置数据有一定偏差，因此校准光柱模块1对于步进电机的电压需要控制在一定范围内；

所述步进电机用于控制所述光柱11从步进电机的横向及纵向步进起始位置开始，先从横向位置以1mm为单位横向步进直至横向终止位置，切换至下一纵向距离后重复横向步进，直至遍历完所述步进电机起始和终止位置内的所有空间位置。这样只需要对步进电机预先配置相应的步进程序和始末位置即可实现其自动步进所有空间位置，所使用的步进电机可从市场上直接获得。

二、智能跟踪摄像头模块2

所述智能跟踪摄像头模块2用于对所述校准图像进行定位及识别，识别得到位于所述校准图像中的校准线，并记录其对应的空间位置数据；即对于任一空间位置，在所述校准图像上，横向识别所述连续光线的半峰宽作为光斑区域；纵向五等分所述光斑区域得到四条等分线，分别识别每条等分线的半高宽中央值得到四个特征点，所述四个特征点拟合形成对应空间位置的校准线；当自由立体显示系统里使用的双摄像头系统为畸变较大的系统时，校准线基于四个特征点分段优化拟合得到，使其与实际形成的亮线最为接近；所述智能跟踪摄像头模块识别得到的校准线的实际空间位置作为空间位置数据。

如图3所示是一般摄像头模块拍摄到的光柱11的校准图像21a，即校准图像21a上，横向识别所述连续光线的半峰宽作为光斑区域；纵向五等分所述光斑区域得到四条等分线，分别识别每条等分线的半高宽中央值得到四个特征点，以上得到的四个特征点即第一特征点22a、第二特征点23a、第三特征点24a、第四特征点25a，所有特征点拟合形成确定的最中央亮线，即为该空间位置对应的一条校准线26a。

如图4所示是对于畸变较大的智能跟踪摄像头模块拍摄到的光柱11的校准图像21b，与一般摄像头模块类似，仍然纵向五等分光斑区域分别四条等分线的半高宽中央值即最中央亮线，确定四个特征点即第一特征点21b、第二特征点22b、第三特征点23b、第四特征点24b，区别于一般系统，对于畸变较大系统的四个特征点采用多段式校正，优化拟合使校正曲线与实际形成亮线最为接近使得实际与拟合的拟合残差项最小即可得到对应于该空间位置的一条镜头校正线26b。

三、数据整合模块3

所述数据整合模块3用于依据空间位置数据划分并存储每个空间位置对应的校准线，任一空间位置均有与其对应的校准线，所述校准线以实际空间1mm的密度划分；所述控制模块4基于所述数据整合模块3的存储数据调用对应空间位置的校准线。

四、控制模块4

控制模块4用于调用智能跟踪摄像头模块2所需的对应空间位置的校准线；所述智能跟踪摄像头模块2的双摄像头根据所述校准线利用极线约束进行校准。

实施例2

本实施例2为实施例1的变化例，其区别在于校准光柱模块1中的光柱11使用长度适宜的灯棒13代替，如图5所示，使其满足可出射极细连续光线，即与实施例1的LED灯列和线性扩散片113的组合得到的效果等同即可。

实施例3

本实施例3基于实施例1提供的用于智能跟踪摄像头模块2的校准系统进行校正过程的说明，该说明过程中结合自由立体显示系统中的LED背光单元一并介绍，但自由立体显示系统中的LED背光单元并非不属于本发明的发明内容；如图6所示，校正过程如下：

S1.系统准备：系统的校准光柱模块1、智能跟踪摄像头模块2、数据整合模块3和控制模块4进入准备状态；此时校准光柱模块1出射连续光线作为校准图像；

S2.系统点亮LED背光：系统的LED背光单元是由多列有序编号的LED单元构成，系统中的控制模块4按从小到大、从上至下的顺序逐次点亮所有LED单元；

S3.经过步骤S2打开所有LED单元后，即可确定自由立体显示系统的可观测立体视觉的空间横向范围，由此确定步进电机系统的横向起始和终止位置，即横向可视范围；

S4.依据步骤S3确定的横向起始和终止位置输入步进电机，步进电机以1mm为横向单位进行步进；

S5.在校准光柱模块1形成的校准图像上，智能跟踪摄像头模块2横向识别所述连续光线的半峰宽作为光斑区域；纵向五等分所述光斑区域得到四条等分线，分别识别每条等分线的半高宽中央值得到四个特征点，四个特征点拟合形成对应空间位置的校准线；连续光线的半峰宽的坐标点作为空间位置数据；

S6.数据整合模块3依据空间位置数据划分并存储每个空间位置对应的校准线，将空间坐标数据与校准线一一对应，由于系统中已有自由立体显示系统的仿真模拟数据，将上述的校准线划分情况与系统存储的仿真模拟数据情况对应，可以缩短系统的反应时间，提升系统的定位速度；

S7.以上步骤确定了一个纵深的横向范围内的校准线划分情况，改变纵向空间位置时，按照上述步骤S2～S6确定其他纵向空间位置的校准线，由此可实现立体显示的所有可视空间范围的校准线划分。

后续在空间的各个位置，通过智能跟踪摄像头模块2识别定位得到所需的空间位置数据后，利用控制模块4调用已存在的校准线由此对该空间位置即可实现智能跟踪摄像头模块2的精确校准。

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种用于智能跟踪摄像头模块的校准系统，其特征在于，所述校准系统包括校准光柱模块、智能跟踪摄像头模块、控制模块；所述智能跟踪摄像头模块为自由立体显示系统中的内部组件，其包括用于多自由度检测装置空间维度匹配的固定工装摄像头；所述自由立体显示系统使用双摄像头系统；

所述校准光柱模块用于形成连续光线作为校准图像；

所述智能跟踪摄像头模块用于对所述校准图像进行定位及识别，识别得到位于所述校准图像中的校准线，记录所述校准线及其对应的空间位置数据；

所述控制模块用于调用智能跟踪摄像头模块所需的对应空间位置的校准线；所述智能跟踪摄像头模块的双摄像头根据所述校准线利用极线约束进行校准。

2.根据权利要求1所述的用于智能跟踪摄像头模块的校准系统，其特征在于，所述校准光柱模块包括光柱、滑轨以及步进电机；所述光柱竖直且滑动安装在滑轨上，用于形成连续光线；所述步进电机用于控制所述光柱在滑轨上分别进行横向步进和竖向步进。

3.根据权利要求2所述的用于智能跟踪摄像头模块的校准系统，其特征在于，所述光柱包括LED集光凹槽以及由多个LED发光单元竖直排列组成的LED灯列；所述LED发光单元固定安装于LED集光凹槽内部，所述LED集光凹槽的深度大于LED单元厚度；所述LED灯列上设有线性扩散片，用于使LED灯列的出射光线线性化，从而形成连续光。

4.根据权利要求2所述的用于智能跟踪摄像头模块的校准系统，其特征在于，所述光柱为一灯棒。

5.根据权利要求3或4所述的用于智能跟踪摄像头模块的校准系统，其特征在于，所述智能跟踪摄像头模块对所述校准图像进行识别得到位于所述校准图像最中央的亮线作为校准线具体为：对于任一空间位置，在所述校准图像上，横向识别所述连续光线的半峰宽作为光斑区域；纵向五等分所述光斑区域得到四条等分线，分别识别每条等分线的半高宽中央值得到四个特征点，所述四个特征点拟合形成对应空间位置的校准线。

6.权利要求5所述的用于智能跟踪摄像头模块的校准系统，其特征在于，所述校准线基于四个特征点分段优化拟合得到。

7.权利要求5所述的用于智能跟踪摄像头模块的校准系统，其特征在于，所述智能跟踪摄像头模块识别得到的校准线的实际空间位置作为空间位置数据。

8.根据权利要求1所述的用于智能跟踪摄像头模块的校准系统，其特征在于，所述步进电机用于控制所述光柱从步进电机的横向及纵向步进起始位置开始，先从横向位置以1mm为单位横向步进直至横向终止位置，切换至下一纵向距离后重复横向步进，直至遍历完所述步进电机起始和终止位置内的所有空间位置。

9.根据权利要求3所述的用于智能跟踪摄像头模块的校准系统，其特征在于，所述LED灯列的宽度为3mm。

10.据权利要求5所述的用于智能跟踪摄像头模块的校准系统，其特征在于，所述系统还包括数据整合模块，用于依据空间位置数据划分并存储每个空间位置对应的校准线，任一空间位置均有与其对应的校准线，所述校准线以实际空间1mm的密度划分；所述控制模块基于所述数据整合模块的存储数据调用对应空间位置的校准线。

Images