CN102053367B - 双目头盔显示器图像校准方法 - Google Patents

Abstract

本发明公开了一种双目头盔显示器图像校准方法，包括：提供一双目头盔显示器图像校准平台，该双目头盔显示器图像校准平台包括一参考屏以及两台具有键盘的电脑和安装在电脑中用来调整图像参数的软件，所述两台电脑分别通过视频线连接到双目头盔显示器的光学系统，所述参考屏挂在距人眼较远处，该参考屏上画上与双目显示器整体画面长宽比例一致的矩形网格；戴上头盔显示器，透过光学系统的半透滤光反射镜看平面的网格，同时调整人与参考屏的距离；通过电脑内安装的调整图像参数的软件对图像参数进行调整。本发明的优点在于：可以以实物为参考调整图像参数，以达到双目图像完全融合的目的，并且所使用的设备都是常用的，成本低、便于实现，操作灵活。

Description

双目头盔显示器图像校准方法

【技术领域】

本发明涉及头盔显示器，特别是双目头盔显示器图像的校准方法。

【背景技术】

头盔显示器(HMD，Head Mounted Display)是固定连接在头盔上，把视频图像以及字符信息准直投影到透明显示媒体(如半反光镜、护目镜)上，并显示给驾驶员的光电显示装置。头盔显示器的原理是将小型2维显示器所产生的影像通过光学系统放大。具体而言，小型显示器所发射的光线经过凸状透镜使影像因折射产生类似远方效果。利用此效果将近处物体放大至远处观赏而达到所谓的全像视觉(Hologram)。

头盔显示器可以提高驾驶员的态势感知能力。由于头盔显示器能把作战所需信息直接呈现在驾驶员眼前，驾驶员不需要像以前那样低头看仪表或抬头看平显了。无论他朝哪个方向看，都会随时获得重要的作战信息，并了解自己所在位置。红外传感器提供的信息，使驾驶员的态势感知能力大大加强。另外，可使飞机具备全天候作战能力。头盔显示器提供的红外图象，使恶劣的天气和黑夜不再成为驾驶员作战的障碍，因而具备了全天候作战的能力。

在头盔显示器中双目头盔显示器是比较复杂的一种，它要求双目显示器的图像在人眼看来是一个整体画面，所以对畸变校正及双目显示系统的相对关系上都有较高要求，光学系统加工起来都是有误差的，并且有些光学系统本身就有较大的畸变，同时两个显示器也不可能完全对称，因此在安装完成以后有必要对双目所显示的图将进行校准，最终才能使两个眼睛所看到的图像是融合在一起的，如何校准图像是关键，首先要有可调整的参数，而且要有校准所参考的依据，因此，一个完整的图像校准方法是有必要的。

【发明内容】

本发明所要解决的技术问题在于克服光学系统加工误差，安装误差，两眼的图像内容分布不匹配，图像畸变等对双目显示图像融合的影响，提供一种可调整图像畸变参数，相对位置关系及内容翻转方向的双目头盔显示器图像校准方法。

本发明是通过以下技术方案解决上述技术问题的：一种双目头盔显示器图像校准方法，包括下述步骤：

步骤1：提供一双目头盔显示器图像校准平台，该双目头盔显示器图像校准平台包括一参考屏以及两台具有键盘的电脑，所述两台电脑分别通过视频线连接到双目头盔显示器的光学系统，所述参考屏挂在距人眼较远处，该参考屏上画上与双目显示器整体画面长宽比例一致的矩形网格，该网格与两眼要看到的理想整体图像的网格形状一样，双目显示器的图像由两台电脑通过VGA接口分别提供，每台电脑都装有可以调整图像参数的软件；

步骤2：戴上头盔显示器，透过光学系统的半透滤光反射镜看平面的网格，同时调整人与参考屏的距离，当发现显示的网格与参考屏的网格大小基本一致了就停止调整距离；

步骤3：通过电脑内安装的调整图像参数的软件，利用参考屏检验图像校准的效果，根据校准效果利用软件对图像参数进行调整。

所述参考屏是一个大的塑料平板，塑料平板的颜色涂为黑色，在上面画上矩形网格。

所述步骤3中的图像参数调整包括：

1)调整畸变校正参数：按数字键选择控制点，按方向键使所选控制点向合适的方向平移，这时图像形状就会自动调整；

2)图像角度调整：按调节角度的功能键选择该功能，按方向键确定图像旋转方向及旋转角度的大小；

3)图像位置的调整：按功能键选择该功能，按不同方向键使图像向不同方向平移；

4)图像翻转调整：按功能键选择该功能，按翻转键使图像内容上下左右翻转，按平移键使显示内容上下左右平移；

5)当上述所有参数都调整好之后把这些参数保存下来，当把图像源改为专门的硬件设备时，利用这些参数控制图像显示。

所述调整图像参数的软件的设计方法如下：

1)图像显示设置：利用VC++建立工程项目，该项目读取图像作为显示的内容，初始化所有控制参数，定义一个显示控制函数，在显示之前对显示控制函数的输入变量赋值就可以控制图像的显示，图像显示控制函数的参数包括畸变校正控制点坐标参数、图像翻转标志参数、图像旋转角度参数、图像平移参数，各参数设置及运算具体方法如下：

(a)畸变校正控制点坐标参数：畸变校正控制点坐标参数是用来控制畸变校正的，基本原理是利用图像上n个点的移位来控制图像的形状变化，设原来控制点的坐标为(x，y)，移位后坐标变为(x′，y′)，利用x′＝f(x，y)，y′＝g(x，y)求出变形图像映射关系，控制点的个数取决于映射关系式的系数个数。把控制点代入表达式求出具体表达式。比如双线性差值法表达式为x′＝Ax+By+Cxy+D，y′＝Ex+Fy+Hxy+G只需4个控制点就可以。解以下方程组：

$\left\{\begin{array}{c}{x}_1^{\′}={\mathrm{Ax}}_1+{\mathrm{By}}_1+{\mathrm{Cx}}_1{y}_1+D\\ x_2^{\′}={\mathrm{Ax}}_2+{\mathrm{By}}_2+{\mathrm{Cx}}_2{y}_2+D\\ x_3^{\′}={\mathrm{Ax}}_3+{\mathrm{By}}_3+{\mathrm{Cx}}_3{y}_3+D\\ x_4^{\′}={\mathrm{Ax}}_4+{\mathrm{By}}_4+{\mathrm{Cx}}_4{y}_4+D\end{array}\right.---\left(1\right)$

及 $\left\{\begin{array}{c}{y}_1^{\′}={\mathrm{Ex}}_1+{\mathrm{Fy}}_1+{\mathrm{Hx}}_1{y}_1+G\\ y_2^{\′}={\mathrm{Ex}}_2+{\mathrm{Fy}}_2+{\mathrm{Hx}}_2{y}_2+G\\ y_3^{\′}={\mathrm{Ex}}_3+{\mathrm{Fy}}_3+{\mathrm{Hx}}_3{y}_3+G\\ y_4^{\′}={\mathrm{Ex}}_4+{\mathrm{Fy}}_4+{\mathrm{Hx}}_4{y}_4+G\end{array}\right.---\left(2\right)$

其中，(x₁，y₁)、(x₂，y₂)、(x₃，y₃)、(x₄，y₄)是图像上控制点，(x′₁，y′₁)、(x′₂，y′₂)、(x′₃，y′₃)、(x′₄，y′₄)是控制点移位后的坐标。

(b)翻转标志参数：定义变量flag1，flag2取不同的值表示向不同方向翻转，公式如下：

水平翻转：I(x，y)＝I(w-x，y)   (3)

垂直翻转：I(x，y)＝I(x，h-y)   (4)

其中，w，h表示图像的宽和高，I(x，y)表示翻转后的图像像素，其中I(w-x，y)，I(x，h-y)表示翻转前的图像像素。

(c)图像旋转角度参数：定义变量θ可以通过以下公式使图像绕图像中心(a，b)顺时针或逆时针旋转θ角

$[x^{\′}-a,y^{\′}-b]=[x-a,y-b]\left[\begin{array}{cc}\cos \left(\mathrm{\θ}\right)& \sin \left(\mathrm{\θ}\right)\\ -\sin \left(\mathrm{\θ}\right)& \cos \left(\mathrm{\θ}\right)\end{array}\right]---\left(5\right)$

其中，x′，y′表示平移后的图像坐标，x，y原图像坐标。

(d)平移参数：定义变量T_x，T_y可以通过以下是图像发生T_x，T_y的平移：

[x′，y′]＝[x，y]+[T_x，T_y]              (6)

其中，x′，y′表示平移后的图像坐标，x，y原图像坐标。

2)功能及其按键设计：

(a)畸变校正控制点操作：定义图像上若干个点作为控制点并给以编号，当用键盘输入数字表示选择其中某一控制点，然后再按方向键就可以改变控制点位置；

(b)图像翻转，定义两个bool变量分别表示上下翻转和左右翻转标志，在键盘上定义两个按键，分别对应上下翻转功能和左右翻转功能；

(c)图像旋转控制：定义一个键作为选择该功能的按键，并定义左方向键为逆时针旋转控制键，定义右方向键为顺时针控制按键，定义一个角度变量，每按一下左方向键角度变量就递增一个最小单位增量，右键则递减，该角度变量把值传给图像显示控制函数以控制图像的旋转角度；

(d)图像的平移：定义一个按键作为选择该功能的按键，定义上下左右四个方向键作为平移方向的控制键，每按一下某个方向的方向键该方向的平移变量就递增一个最小量，最小量提前设定，平移变量把值传给图像显示控制函数以控制图像的平移。

本发明的优点是：可以以实物为参考调整图像畸变校正参数、调整双目图像之间的相对位置关系、调整图像显示内容的翻转方向以达到双目图像完全融合的目的，并且所使用的设备都是常用的，成本低、便于实现，操作灵活，可以根据人的主观判断进行下一步的操作，功能灵活，适用面广。

【附图说明】

图1为本发明双目头盔显示器图像校准方法使用的校准平台的布局示意图；

图2为本发明双目头盔显示器图像校准方法的流程图。

其中图1中，1、2、电脑；3、双目头盔显示器；4、参考屏；5、左眼睛；6、右眼睛；7、8、键盘；9、10、视频线。

【具体实施方式】

下面参照附图结合实施例对本发明作进一步的描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

本发明双目头盔显示器图像校准方法，包括下述步骤：

步骤1：提供一双目头盔显示器图像校准平台，如图1所示，该双目头盔显示器图像校准平台包括一参考屏4以及两台具有键盘7、8的电脑1、2。所述两台电脑1、2分别通过视频线9、10连接到双目头盔显示器3的光学系统。由于双目图像经过光学系统的半透滤光反射镜反射进入人的左右眼睛5、6，并且通过人的左右眼睛5、6看到的图像位置可以在任意距离处，而且越远图像尺寸越大，所以在较远处挂一个大平面作为参考屏4，该大平面为一个大的塑料平板，颜色涂为黑色，在上面画上与双目显示器整体画面长宽比例一致的矩形网格，该网格与两眼要看到的理想整体图像的网格形状一样。双目显示器的图像由两台电脑通过VGA接口分别提供，电脑1、2分别通过视频线9、10连接到双目头盔显示器3的光学系统，每台电脑都装有可以调整图像参数的软件；

步骤2：戴上头盔显示器，通过半透滤光反射镜看图像中的网格，同时调整人与参考屏的距离，当发现显示的网格与参考屏的网格大小基本一致了就停止调整距离；

步骤3：由于结构的原因和图像畸变的原因造成了两眼所看到的两图像之间旋转角度，上下左右偏移距离，两图像内容分布等不相匹配，这时可以通过电脑内安装的软件利用参考屏检验图像校准的效果，根据校准效果利用软件对各种参数进行调整，其中调整方法包括：

1)调整畸变校正参数：按数字键选择控制点，按方向键使所选控制点向合适的方向平移，这时图像形状就会自动调整。

2)图像角度调整：按调节角度的功能键选择该功能，按方向键确定图像旋转方向及旋转角度的大小；

3)图像位置的调整：按功能键选择该功能，按不同方向键使图像向不同方向平移；

4)图像翻转调整：按功能键选择该功能，按翻转键图像内容翻转，可以上下左右翻转，按平移键可以使显示内容上下左右平移；

5)当上述所有参数都调整好之后把这些参数保存下来，当把图像源改为专门的硬件设备时，利用这些参数控制图像显示。

所述调整图像参数的软件的设计方法如下：

1)图像显示设置：利用VC++建立工程项目，该项目读取图像作为显示的内容，初始化所有控制参数，定义一个显示控制函数，在显示之前对显示控制函数的输入变量赋值就可以控制图像的显示，图像显示控制函数的参数包括畸变校正控制点坐标参数、图像翻转标志参数、图像旋转角度参数、图像平移参数，各参数设置及运算具体方法如下：

(a)畸变校正控制点坐标参数：畸变校正控制点坐标参数是用来控制畸变校正的，基本原理是利用图像上n个点的移位来控制图像的形状变化，设原来控制点的坐标为(x，y)，移位后坐标变为(x′，y′)，利用x′＝f(x，y)，y′＝g(x，y)求出变形图像映射关系，控制点的个数取决于映射关系式的系数个数。把控制点代入表达式求出具体表达式。比如双线性差值法表达式为x′＝Ax+By+Cxy+D，y′＝Ex+Fy+Hxy+G只需4个控制点就可以。解以下方程组：

$\left\{\begin{array}{c}{x}_1^{\′}={\mathrm{Ax}}_1+{\mathrm{By}}_1+{\mathrm{Cx}}_1{y}_1+D\\ x_2^{\′}={\mathrm{Ax}}_2+{\mathrm{By}}_2+{\mathrm{Cx}}_2{y}_2+D\\ x_3^{\′}={\mathrm{Ax}}_3+{\mathrm{By}}_3+{\mathrm{Cx}}_3{y}_3+D\\ x_4^{\′}={\mathrm{Ax}}_4+{\mathrm{By}}_4+{\mathrm{Cx}}_4{y}_4+D\end{array}\right.---\left(1\right)$

及 $\left\{\begin{array}{c}{y}_1^{\′}={\mathrm{Ex}}_1+{\mathrm{Fy}}_1+{\mathrm{Hx}}_1{y}_1+G\\ y_2^{\′}={\mathrm{Ex}}_2+{\mathrm{Fy}}_2+{\mathrm{Hx}}_2{y}_2+G\\ y_3^{\′}={\mathrm{Ex}}_3+{\mathrm{Fy}}_3+{\mathrm{Hx}}_3{y}_3+G\\ y_4^{\′}={\mathrm{Ex}}_4+{\mathrm{Fy}}_4+{\mathrm{Hx}}_4{y}_4+G\end{array}\right.---\left(2\right)$

其中，(x₁，y₁)、(x₂，y₂)、(x₃，y₃)、(x₄，y₄)是图像上控制点，(x′₁，y′₁)、(x′₂，y′₂)、(x′₃，y′₃)、(x′₄，y′₄)是控制点移位后的坐标。

(b)翻转标志参数：定义变量flag1，flag2取不同的值表示向不同方向翻转，公式如下：

水平翻转：I(x，y)＝I(w-x，y)          (3)

垂直翻转：I(x，y)＝I(x，h-y)          (4)

其中，w，h表示图像的宽和高，I(x，y)表示翻转后的图像像素，其中I(w-x，y)，I(x，h-y)表示翻转前的图像像素。

(c)图像旋转角度参数：定义变量θ可以通过以下公式使图像绕图像中心(a，b)顺时针或逆时针旋转θ角

$[x^{\′}-a,y^{\′}-b]=[x-a,y-b]\left[\begin{array}{cc}\cos \left(\mathrm{\θ}\right)& \sin \left(\mathrm{\θ}\right)\\ -\sin \left(\mathrm{\θ}\right)& \cos \left(\mathrm{\θ}\right)\end{array}\right]---\left(5\right)$

其中，x′，y′表示平移后的图像坐标，x，y原图像坐标。

(d)平移参数：定义变量T_x，T_y可以通过以下是图像发生T_x，T_y的平移：

[x′，y′]＝[x，y]+[T_x，T_y]                  (6)

其中，x′，y′表示平移后的图像坐标，x，y原图像坐标。

2)功能及其按键设计：

(a)畸变校正控制点操作：定义图像上若干个点作为控制点并给以编号，当用键盘输入数字表示选择某一控制点，然后再按方向键就可以改变控制点位置了。控制点的变化直接决定了图像的变形，从而影响到图像的畸变校正效果；

(b)图像翻转，定义两个bool变量分别表示上下翻转和左右翻转标志，在键盘上定义两个按键，分别对应上下翻转功能和左右翻转功能，每当按下上下翻转功能键时上下翻转标志就取反，从而引起图像翻转，左右翻转与上下翻转原理一样；

(c)图像旋转控制：定义一个键作为选择该功能的按键，并定义左方向键为逆时针旋转控制键，定义右方向键为顺时针控制按键，定义一个角度变量，每按一下左方向键角度变量就递增一个最小单位增量，右键则递减，该角度变量把值传给图像显示控制函数就可以控制图像的旋转角度；

(d)图像的平移：定义一个按键作为选择该功能的按键，定义上下左右四个方向键作为平移方向的控制键，每按一下某个方向的方向键该方向的平移变量就递增一个最小量(最小量可以提前设定)，平移变量把值传给图像显示控制函数就可以控制图像的平移了。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (5)

1.一种双目头盔显示器图像校准方法，其特征在于：包括下述步骤：

步骤1：提供一双目头盔显示器图像校准平台，该双目头盔显示器图像校准平台包括一参考屏以及两台具有键盘的电脑，所述两台电脑分别通过视频线连接到双目头盔显示器的光学系统，所述参考屏挂在距人眼较远处，该参考屏上画上与双目显示器整体画面长宽比例一致的矩形网格，该网格与两眼要看到的理想整体图像的网格形状一样，双目显示器的图像由两台电脑通过VGA接口分别提供，每台电脑都装有可以调整图像参数的软件；

步骤2：戴上头盔显示器，透过光学系统的半透滤光反射镜看平面的网格，同时调整人与参考屏的距离，当发现显示的网格与参考屏的网格大小基本一致了就停止调整距离；

步骤3：通过电脑内安装的调整图像参数的软件，利用参考屏检验图像校准的效果，根据校准效果利用软件对图像参数进行调整，所述图像参数调整包括：

1)调整畸变校正参数：按数字键选择控制点，按方向键使所选控制点向合适的方向平移，这时图像形状就会自动调整；

2)图像角度调整：按调节角度的功能键选择该功能，按方向键确定图像旋转方向及旋转角度的大小；

3)图像位置的调整：按功能键选择该功能，按不同方向键使图像向不同方向平移；

4)图像翻转调整：按功能键选择该功能，按翻转键使图像内容上下左右翻转，按平移键使显示内容上下左右平移；

5)当上述所有参数都调整好之后把这些参数保存下来，当把图像源改为专门的硬件设备时，利用这些参数控制图像显示。

2.如权利要求1所述的双目头盔显示器图像校准方法，其特征在于：所述参考屏是一个大的塑料平板，塑料平板的颜色涂为黑色，在上面画上矩形网格。

3.如权利要求1所述的双目头盔显示器图像校准方法，其特征在于：所述调整图像参数的软件的设计方法如下：

1)图像显示设置：利用VC++建立工程项目，该项目读取图像作为显示的内容，初始化所有控制参数，定义一个显示控制函数，在显示之前对显示控制函数的输入变量赋值就可以控制图像的显示，图像显示控制函数的参数包括畸变校正控制点坐标参数、图像翻转标志参数、图像旋转角度参数、图像平移参数；

2)功能及其按键设计：

(a)畸变校正控制点操作：定义图像上若干个点作为控制点并给以编号，当用键盘输入数字表示选择其中某一控制点，然后再按方向键就可以改变控制点位置；

(b)图像翻转，定义两个bool变量分别表示上下翻转和左右翻转标志，在键盘上定义两个按键，分别对应上下翻转功能和左右翻转功能；

(c)图像旋转控制：定义一个键作为选择该功能的按键，并定义左方向键为逆时针旋转控制键定义右方向键为顺时针控制按键定义一个角度变量，每按一下左方向键角度变量就递增一个最小单位增量，右键则递减，该角度变量把值传给图像显示控制函数以控制图像的旋转角度；

(d)图像的平移：定义一个按键作为选择该功能的按键，定义上下左右四个方向键作为平移方向的控制键，每按一下某个方向的方向键该方向的平移变量就递增一个最小量，最小量提前设定，平移变量把值传给图像显示控制函数以控制图像的平移。

4.如权利要求3所述的双目头盔显示器图像校准方法，其特征在于：所述图像显示设置中各参数设置及运算具体方法如下：

(a)畸变校正控制点坐标参数：畸变校正控制点坐标参数是用来控制畸变校正的，基本原理是利用图像上n个点的移位来控制图像的形状变化，设原来控制点的坐标为(x，y)，移位后坐标变为(x′，y′)，利用x′＝f(x，y)，y′＝g(x，y)求出变形图像映射关系，控制点的个数取决于映射关系式的系数个数，把控制点代入表达式求出具体表达式；

(b)翻转标志参数：定义变量flag1，flag2取不同的值表示向不同方向翻转，公式如下：

水平翻转：I(x，y)＝I(w-x，y)     (3)

垂直翻转：I(x，y)＝I(x，h-y)     (4)

其中，w，h表示图像的宽和高，I(x，y)表示翻转后的图像像素，其中I(w-x，y)，I(x，h-y)表示翻转前的图像像素。

(c)图像旋转角度参数：定义变量θ可以通过以下公式使图像绕图像中心(a，b)顺时针或逆时针旋转θ角

$[x^{\′}-a,y^{\′}-b]=[x-a,y-b]\left[\begin{array}{cc}\cos \left(\mathrm{\θ}\right)& \sin \left(\mathrm{\θ}\right)\\ -\sin \left(\mathrm{\θ}\right)& \cos \left(\mathrm{\θ}\right)\end{array}\right]---\left(5\right)$

其中，x′，y′表示平移后的图像坐标，x，y原图像坐标。

(d)平移参数：定义变量T_x，T_y可以通过以下是图像发生T_x，T_y的平移：

[x′，y′]＝[x，y]+[T_x，T_y]       (6)

其中，x′，y′表示平移后的图像坐标，x，y原图像坐标。

5.如权利要求4所述的双目头盔显示器图像校准方法，其特征在于：所述畸变校正控制点坐标参数设置及运算的方法中，采用双线性差值法表达式：

x′＝Ax+By+Cxy+D，y′＝Ex+Fy+Hxy+G，只需4个控制点，解以下方程组：

$\left\{\begin{array}{c}{x}_1^{\′}={\mathrm{Ax}}_1+{\mathrm{By}}_1+{\mathrm{Cx}}_1{y}_1+D\\ x_2^{\′}={\mathrm{Ax}}_2+{\mathrm{By}}_2+{\mathrm{Cx}}_2{y}_2+D\\ x_3^{\′}={\mathrm{Ax}}_3+{\mathrm{By}}_3+{\mathrm{Cx}}_3{y}_3+D\\ x_4^{\′}={\mathrm{Ax}}_4+{\mathrm{By}}_4+{\mathrm{Cx}}_4{y}_4+D\end{array}\right.---\left(1\right)$

及 $\left\{\begin{array}{c}{y}_1^{\′}={\mathrm{Ex}}_1+{\mathrm{Fy}}_1+{\mathrm{Hx}}_1{y}_1+G\\ y_2^{\′}={\mathrm{Ex}}_2+{\mathrm{Fy}}_2+{\mathrm{Hx}}_2{y}_2+G\\ y_3^{\′}={\mathrm{Ex}}_3+{\mathrm{Fy}}_3+{\mathrm{Hx}}_3{y}_3+G\\ y_4^{\′}={\mathrm{Ex}}_4+{\mathrm{Fy}}_4+{\mathrm{Hx}}_4{y}_4+G\end{array}\right.---\left(2\right)$

其中，(x₁，y₁)、(x₂，y₂)、(x₃，y₃)、(x₄，y₄)是图像上控制点，(x′₁，y′₁)、(x′₂，y′₂)、(x′₃，y′₃)、(x′₄，y′₄)是控制点移位后的坐标。

Images