CN103472919B - 用于图像显示的智能眼镜系统及使用方法 - Google Patents

Abstract

本发明提供一种用于图像显示的智能眼镜系统及使用方法。所述系统包括采集单元、微处理单元和显示单元，采集单元与微处理单元连接，用于采集外界的图像信息；微处理单元用于接收并处理采集单元采集到的图像信息；显示单元与微处理单元连接，用于显示微处理单元处理后的图像信息。所述系统还包括与微处理单元连接的定位跟踪单元，该定位跟踪单元包括三轴加速度传感器和三轴陀螺仪。三轴加速度传感器和三轴陀螺仪用于采集佩戴者头部的运动信息，微处理单元对佩戴者头部的运动信息进行处理，以控制显示单元的图像显示。本发明实时调整智能眼镜中显示的图像，让图像跟着佩戴者头部的运动发生相应角度的变换，使得智能眼镜中显示的图像具有静止效果。

Description

用于图像显示的智能眼镜系统及使用方法

技术领域

本发明涉及一种智能眼镜系统，尤其涉及一种用于图像显示的智能眼镜系统及使用方法。

背景技术

目前，智能眼镜已经渐渐进入人们的视野中，对于可透视型智能眼镜来说，当人戴上这种眼镜后，周围可见光能够透过眼镜镜片，人的双眼能够正常看到四周的环境；同时智能眼镜能够将一些图像信息叠加在人的真实视野上，由于拥有这样的特性，可透视型智能眼镜将在众多行业和领域发挥巨大作用。但是在一些特殊场合的应用中，比如用智能眼镜显示一个三维模型或者将智能眼镜投射出的图像画面固定在某一平面时，需要三维模型或者图像画面在人的视野中具有静止的效果，这样佩戴者就可以像观察一个静止的三维物体一样观察三维模型或者能够看到一个静止在某个平面上的图像画面。

但是，现有的可透视型智能眼镜所显示的图像并不能实现随着佩戴者头部运动而发生对应的改变，当佩戴者的头部发生运动时，智能眼镜所显示的图像画面是随着佩戴者一起运动的，并不能实现在人的视野中的静止效果。

目前有类似的实现同样效果的技术方案，方法是在需要显示三维模型的地方人为放置一个标志，并让摄像头去检测这个标志，最后再将需要显示的图像叠加在标志上。当智能眼镜的佩戴者头部发生运动时，摄像头检测到的标志形状将会发生对应改变，采用立体视觉相关算法后，能够得到显示的图像应该得到的角度，并最终调整图像进行显示。但是，该技术方案具有一些局限性，如1、需要在视野内显示图像的地方人为放置一个标志物，如果脱离该标志物，则现有技术无法起作用；2、智能眼镜中显示的三维模型智能根据标志物放置的位置进行显示，这就大大降低了智能眼镜显示的灵活性，智能眼镜需要在任何地方进行图像的显示；3、由于需要使用摄像头不断检测视野范围内智能眼镜相对于标志物发生的角度改变，因为现有技术的实现比较消耗资源。

发明内容

本发明的目的在于提供一种能够让智能眼镜中显示的图像随着佩戴者头部运动而发生对应变化的智能眼镜系统及使用方法。在本发明提供的智能眼镜系统中，当佩戴者使用智能眼镜观察智能眼镜投射出的三维模型时，智能眼镜投射出的图像画面能够随着用户观看角度的变化而发生对应改变，让佩戴者就像真正在观察一个静止的三维模型一样。同时，若智能眼镜将图像画面投射在一个平面上，则利用本发明提供的方法可以让智能眼镜投射的画面在佩戴者看来已知固定在平面上进行显示。

为了达到上述目的，本发明提供了一种用于图像显示的智能眼镜系统，包括采集单元、微处理单元以及显示单元，其中，所述采集单元与微处理单元连接，用于采集外界的图像信息；所述微处理单元，用于接收并处理采集单元采集到的图像信息；所述显示单元与微处理单元连接，用于显示微处理单元处理后的图像信息；所述智能眼镜系统还包括与微处理单元连接的定位跟踪单元，该定位跟踪单元包括三轴加速度传感器和三轴陀螺仪，所述三轴加速度传感器和三轴陀螺仪用于采集佩戴者头部的运动信息，所述微处理单元对所述佩戴者头部的运动信息进行处理，以控制显示单元的图像显示。

优选的，所述三轴加速度传感器用于跟踪佩戴者头部在三个正交坐标轴方向上的移动；所述三轴陀螺仪用于跟踪佩戴者头部绕着三个正交坐标轴方向发生的转动。

优选的，所述采集外界的图像信息为采集与智能眼镜无线连接的外部设备内存储的图像信息。

为了达到上述目的，本发明还提供了一种用于图像显示的智能眼镜系统的使用方法，其特征在于，包括如下步骤：

S1、所述智能眼镜进行图像显示；

S2、采用定位跟踪单元的三轴加速度传感器和三轴陀螺仪对佩戴者头部的运动信息进行采集，并将所述运动信息发送到智能眼镜的微处理器单元；

S3、智能眼镜的微处理单元接收和处理佩戴者头部的运动信息；

S4、智能眼镜的微处理单元根据处理后的佩戴者头部的运动信息重新调整智能眼镜的图像显示。

优选的，在S2中，三轴加速度传感器用于跟踪佩戴者头部在三个正交坐标轴方向上的移动，得到头部运动在三个坐标轴方向上的加速度；三轴陀螺仪用于跟踪佩戴者头部绕着三个正交坐标轴方向发生的转动，得到头部运动绕着三个坐标轴发生转动的角速度。

优选的，在S3中，对三轴加速度传感器采集的加速度进行时间的二重积分，得到佩戴者头部在这段时间范围内在三个坐标轴方向上发生的位移；对三轴陀螺仪的角速度进行时间的一重积分，得到佩戴者头部在这段时间范围内绕着三个坐标轴方向发生的转动的角度。

优选的，在S3中，根据所述位移数值和转动的角度数值，….，依次得到相机坐标系的坐标变换矩阵和模型变换矩阵。

优选的，在S3中，当前图像的齐次坐标乘以模型变换矩阵，得到图像的新坐标。

本发明提供了一种用于图像显示的智能眼镜系统及使用方法，根据以上技术方案，本发明具有这样几个优点：1、相对于现有需要标志物进行三维模型显示的技术，本发明最大的特点在于显示一个静止的三维模型并不需要任何辅助物体；2、由于本发明在显示一个静止的三维模型时不需要任何辅助物体，因此本发明中的智能眼镜能够在任何地方显示一个静止的三维模型，这就让本发明中的智能眼镜具体很大的灵活性，显示的图像不用固定在某个地方；3、本发明采用一个三轴加速度传感器和一个三轴陀螺仪组成的定位跟踪坐标系对佩戴者的头部运动进行跟踪定位，并依据定位跟踪坐标系的输出值实时调整观察三维模型的相机坐标系，因此本发明相对于现有技术而言更加简单；4、由于本发明采用的是三轴加速度传感器和三轴陀螺仪的输出值调整三维模型的显示角度，因此本发明相对于现有技术更节省资源，包括计算资源和电源。

附图说明

图1为本发明中视图变换的示意图；

图2为本发明中模型变换的示意图；

图3为本发明用于图像显示的智能眼镜系统的示意图；

图4为本发明中定位跟踪单元的定位跟踪坐标系示意图；

图5为本发明用于图像显示的智能眼镜系统的使用方法流程图。

具体实施方式

下面将结合附图以及具体实施例来对本发明作进一步详细说明。

本发明涉及一种用于图像显示的智能眼镜系统，主要涉及变动三维模型，下面就三维模型变动的原理进行说明。在计算机图形学中，由于显示器是二维的，因此对于一个要显示的三维模型来说，必须进行坐标变换，将三维模型的三维坐标以适当的方式变换到二维坐标。而将三维模型变为二维图形的关键就在于坐标变换。在计算机图形学中，存在着以下四种坐标系：

世界坐标系：世界坐标系是一个全局坐标系，通常以屏幕左下角为原点、以屏幕的宽和高两个方向为坐标轴构建世界坐标系；

模型坐标系：在计算机图形学中，每一个三维物体都有自身的一个坐标系；

相机坐标系：相机坐标系表征观察者也就是视点的位置；

投影坐标系：投影坐标系用于将相机坐标系表征的视野范围进行投影，从而在二维显示器上显示出三维图形。

在计算机图形学中，当我们变动三维模型，进而能够从不同角度去观看三维模型，其实是通过对三维模型进行模型变换和视图变换实现的。模型变换用于操纵模型，使模型发生移动、旋转以及缩放。而视图变换用于改变视点位置，以使观察者能够从不同角度观看到模型的不同部位。让三维模型进行模型变换或者视图变换的方式是让当前三维模型乘以一个变换矩阵：X'＝XM。

在上式中X为三维模型当前坐标，X'为三维模型经过矩阵变换后的坐标，M为变换矩阵。一般地，X、X'为齐次坐标，M为一个4*4矩阵。当一个三维模型发生坐标变换时，只需要用当前三维模型坐标乘以变换矩阵，即可得到经过坐标变换后的三维模型。

同时，模型变换和视图变换存在着二元性。请参照图1和图2，图1和图2都代表着将模型沿着Z轴移动一段距离的坐标变换。其中，在图1中，实现这一坐标变换是通过移动观察者的位置即移动相机坐标系实现的；而在图2中，是通过移动坐标系即将三维模型进行模型变换实现的。由此可以看出，对三维模型进行模型变换和改变相机坐标系的效果是一样的，即模型变换和视图变换存在着二元性。

请参考图3，本发明提供了一种用于图像显示的智能眼镜系统100，包括采集单元20、微处理单元30、显示单元40以及定位跟踪单元50。

所述采集单元20，与微处理单元30连接，用于采集外界的图像信息。所述外界的图像信息，可以是采集单元20对外即时采集，也可以是采集存储在采集单元20内的图像信息，还可以是采集与智能眼镜无线连接的外部设备内存储的图像信息。

所述微处理单元30，用于接收并处理上述采集单元20采集到的图像信息。

所述显示单元40，与微处理单元30连接，用于显示微处理单元30处理后的图像信息。

所述定位跟踪单元50，与微处理单元30连接，该定位跟踪单元50包括三维加速度传感器51和三轴陀螺仪52，所述三轴加速度传感器51和三轴陀螺仪52用于采集佩戴者头部的运动信息。其中，三轴加速度传感器51用于跟踪佩戴者头部在三个正交坐标轴方向上的移动；三轴陀螺仪52用于跟踪佩戴者头部绕着三个正交坐标轴方向发生的转动。三轴加速度传感器51输出的是头部运动在三个坐标轴方向上的加速度，三轴陀螺仪52输出的是头部运动绕着三个坐标轴发生转动的角速度。在对加速度和角速度进行关于时间的积分之后，就能够得到佩戴者头部的具体运动信息，当对三轴加速度传感器51和三轴陀螺仪52的输出值进行积分之后，就能够对佩戴者头部的运动进行跟踪和监测。以上所述佩戴者头部的运动信息由于微处理单元30进行接收和处理，在获得佩戴者头部的运动信息后，智能眼镜中的三维图像也要跟着发生变换，其关键是要找出相机坐标系的坐标变换矩阵。

如图4所示，图中以智能眼镜镜框的中心点O为原点，以经过点O并平行于智能眼镜投射出的图像画面的平面为XOY平面，建立如图所示的右手坐标系OXYZ。定位跟踪单元50的输出值以坐标系OXYZ作为参照，其中三轴加速度传感器51的输出值为a_x,a_y,a_z，三轴陀螺仪52的输出值为ω_x,ω_y,ω_z。

由于对三维模型的观察是使用智能眼镜实现的，因此定位跟踪坐标系OXYZ同时也是三维模型的相机坐标系。

分别对a_x,a_y,a_z进行关于时间的二重积分将会得到佩戴者头部在这段时间范围内在三个坐标轴方向上发生的位移：

$\mathrm{\Δz}={\∫\∫a}_z\mathrm{dt}.$

同时，分别对ω_x,ω_y,ω_z进行关于时间的一重积分将会得到佩戴者头部在这段时间范围内绕着三个坐标轴方向发生的转动的角度：

$\mathrm{\Δ}{\mathrm{\θ}}_y=\∫{\mathrm{\ω}}_y\mathrm{dt};\mathrm{\Δ}{\mathrm{\θ}}_z={\∫\mathrm{\ω}}_z\mathrm{dt}.$

在本发明中，定位跟踪坐标系同时也为相机坐标系。对定位跟踪坐标系输出的值进行关于时间的积分后得到的佩戴者头部运动的坐标值(Δx,Δy,Δz)以及佩戴者头部运动发生的转角(Δθ_x,Δθ_y,Δθ_z)同时也代表了相机坐标系的变换值，根据(Δx,Δy,Δz)以及(Δθ_x,Δθ_y,Δθ_z)这六个值，就能够得到相机坐标系的变换矩阵M，同时由于模型变换和视图变换的二元性，能够求解出对应的模型变换矩阵M'，于是用当前三维模型的齐次坐标乘以模型变换矩阵M'，就能够得到在佩戴者头部发生了一定运动后，三维模型的新坐标X'。

得到新坐标后，在对三维模型重新进行透视投影后，就能够得到当前时刻下，智能眼镜应该显示的三维模型视图。通过这样的方式，就能够实现在智能眼镜的佩戴者头部发生运动后，实时调整智能眼镜中三维模型显示的角度，让三维模型在佩戴者的视野范围之内保持静止的效果。

请参考图4和图5，本发明还提供了一种用于图像显示的智能眼镜系统的使用方法，包括如下步骤：

S1、所述智能眼镜进行图像显示；

在S1中，所述智能为可透视型智能眼镜，戴上这种眼镜后，周围可见光能够透过眼镜镜片，人的双眼能够正常看到四周的环境；同时智能眼镜能够将一些图像信息叠加在人的真实视野上，当人戴上这种智能眼镜后，除了看到四周的环境外，也能看到由智能眼镜显示出来的图像信息，观看效果相当于在离人眼一定距离的空间中观看一个尺寸一定的屏幕。

S2、采用定位跟踪单元的三轴加速度传感器和三轴陀螺仪对佩戴者头部的运动信息进行采集，并将所述运动信息发送到智能眼镜的微处理器单元；

在S2中，所述三轴加速度传感器和三轴陀螺仪用于采集佩戴者头部的运动信息。其中，三轴加速度传感器用于跟踪佩戴者头部在三个正交坐标轴方向上的移动；三轴陀螺仪用于跟踪佩戴者头部绕着三个正交坐标轴方向发生的转动。三轴加速度传感器输出的是头部运动在三个坐标轴方向上的加速度，三轴陀螺仪输出的是头部运动绕着三个坐标轴发生转动的角速度。

S3、智能眼镜的微处理单元接收和处理佩戴者头部的运动信息；

在S3中，在获得智能眼镜的佩戴者头部的运动信息后，智能眼镜中的三维图像也要跟着发生变换，其关键是要找出相机坐标系的坐标变换矩阵。

如图4所示，图中以智能眼镜镜框的中心点O为原点，以经过点O并平行于智能眼镜投射出的图像画面的平面为XOY平面，建立如图所示的右手坐标系OXYZ。定位跟踪单元的输出值以坐标系OXYZ作为参照，其中三轴加速度传感器的输出值为a_x,a_y,a_z，三轴陀螺仪的输出值为ω_x,ω_y,ω_z。

由于对三维模型的观察是使用智能眼镜实现的，因此定位跟踪坐标系OXYZ同时也是三维模型的相机坐标系。

分别对a_x,a_y,a_z进行关于时间的二重积分将会得到佩戴者头部在这段时间范围内在三个坐标轴方向上发生的位移：

$\mathrm{\Δz}={\∫\∫a}_z\mathrm{dt}.$

同时，分别对ω_x,ω_y,ω_z进行关于时间的一重积分将会得到佩戴者头部在这段时间范围内绕着三个坐标轴方向发生的转动的角度：

$\mathrm{\Δ}{\mathrm{\θ}}_y={\∫\mathrm{\ω}}_y\mathrm{dt};\mathrm{\Δ}{\mathrm{\θ}}_z={\∫\mathrm{\ω}}_z\mathrm{dt}.$

在本发明中，定位跟踪坐标系同时也为相机坐标系。对定位跟踪坐标系输出的值进行关于时间的积分后得到的佩戴者头部运动的坐标值(Δx,Δy,Δz)以及佩戴者头部运动发生的转角(Δθ_x,Δθ_y,Δθ_z)同时也代表了相机坐标系的变换值，根据(Δx,Δy,Δz)以及(Δθ_x,Δθ_y,Δθ_z)这六个值，就能够得到相机坐标系的变换矩阵M。

对于变换矩阵M，根据已经叙述的原理可以得到头部运动在三个正交坐标轴上发生的位移(Δx,Δy,Δz)以及绕着三个正交坐标轴方向发生的转角(Δθ_x,Δθ_y,Δθ_z)，在计算变换矩阵时，由于先考虑头部转动后考虑头部移动和先考虑头部移动后考虑头部转动最终产生的效果一样，下面假设先考虑头部转动：

在计算机图形学中，若坐标系只绕着X轴转过一个角度Δθ_x，则新旧坐标系之间的变换矩阵M_x为：

$M_x=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos \mathrm{\Δ}{\mathrm{\θ}}_x& -\sin \mathrm{\Δ}{\mathrm{\θ}}_x& 0\\ 0& \sin \mathrm{\Δ}{\mathrm{\θ}}_x& \cos \mathrm{\Δ}{\mathrm{\θ}}_x& 0\\ 0& 0& 0& 1\end{array}\right)$

若坐标系只绕着Y轴转过一个角度Δθ_y，则新旧坐标系之间的变换矩阵M_y为：

$M_y=\left(\begin{array}{cccc}\cos \mathrm{\Δ}{\mathrm{\θ}}_y& 0& \sin \mathrm{\Δ}{\mathrm{\θ}}_y& 0\\ 0& 1& 0& 0\\ -\sin \mathrm{\Δ}{\mathrm{\θ}}_y& 0& \cos \mathrm{\Δ}{\mathrm{\θ}}_y& 0\\ 0& 0& 0& 1\end{array}\right)$

若坐标系只绕着Z轴转过一个角度Δθ_z，则新旧坐标系之间的变换矩阵M_z为：

$M_z=\left(\begin{array}{cccc}\cos \mathrm{\Δ}{\mathrm{\θ}}_z& -\sin \mathrm{\Δ}{\mathrm{\θ}}_z& 0& 0\\ \sin \mathrm{\Δ}{\mathrm{\θ}}_z& \cos \mathrm{\Δ}{\mathrm{\θ}}_z& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right)$

同时，若坐标系平移到某一个新的位置，移动产生的位移为：(Δx,Δy,Δz)，则新旧坐标系之间的变换矩阵M_s为：

$M_s=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ -\mathrm{\Δx}& -\mathrm{\Δy}& -\mathrm{\Δz}& 1\end{array}\right)$

综合坐标系转动和移动这两种情况，新旧坐标系之间的变换矩阵M为：M＝M_x·M_y·M_z·M_s。

同时，由于模型变换和视图变换的二元性，能够求解出对应的模型变换矩阵M'，于是用当前三维模型的齐次坐标乘以模型变换矩阵M'，就能够得到在佩戴者头部发生了一定运动后，三维模型的新坐标X'。

S4、智能眼镜的微处理单元根据处理后的佩戴者头部的运动信息重新调整智能眼镜的图像显示

在S4中，得到新坐标后，在对三维模型重新进行透视投影后，就能够得到当前时刻下，智能眼镜应该显示的三维模型视图。通过这样的方式，就能够实现在智能眼镜的佩戴者头部发生运动后，实时调整智能眼镜中三维模型显示的角度，让三维模型在佩戴者的视野范围之内保持静止的效果。

本发明的发明点在于可透视型智能眼镜中增加一个定位跟踪单元，该定位跟踪单元包括三轴加速度传感器以及三轴陀螺仪，并由它们形成了定位跟踪坐标系。在对三轴加速度传感器以及三轴陀螺仪的输出值进行关于时间的积分并结合一定的计算机图形学知识后，本发明能够实时调整智能眼镜中显示的三维图像，让三维图像跟着智能眼镜佩戴者头部的运动发生相应角度的变换，从而最终使得智能眼镜中显示的三维模型具有静止的效果。

可以理解的是，对于本领域的普通技术人员来说，可以根据本发明的技术构思做出其他各种相应的改变与变形，而所有这些改变与变形都应属于本发明权利要求的保护范围。

Claims (5)

1.一种用于图像显示的智能眼镜系统，包括采集单元、微处理单元以及显示单元，其中，所述采集单元与微处理单元连接，用于采集外界的图像信息；所述微处理单元，用于接收并处理采集单元采集到的图像信息；所述显示单元与微处理单元连接，用于显示微处理单元处理后的图像信息；其特征在于：所述智能眼镜系统还包括与微处理单元连接的定位跟踪单元，该定位跟踪单元包括三轴加速度传感器和三轴陀螺仪，所述三轴加速度传感器和三轴陀螺仪用于采集佩戴者头部的运动信息，所述微处理单元对所述佩戴者头部的运动信息进行处理，以控制显示单元的图像显示；

其中，所述三轴加速度传感器用于跟踪佩戴者头部在三个正交坐标轴方向上的移动，得到头部运动在三个坐标轴方向上的加速度；所述三轴陀螺仪用于跟踪佩戴者头部绕着三个正交坐标轴方向发生的转动，得到头部运动绕着三个坐标轴发生转动的角速度；

所述微处理单元对三轴加速度传感器采集的加速度进行时间的二重积分，得到佩戴者头部在这段时间范围内在三个坐标轴方向上发生的位移；对三轴陀螺仪的角速度进行时间的一重积分，得到佩戴者头部在这段时间范围内绕着三个坐标轴方向发生的转动的角度。

2.根据权利要求1所述的智能眼镜系统，其特征在于：所述采集外界的图像信息为采集与智能眼镜无线连接的外部设备内存储的图像信息。

3.一种用于图像显示的智能眼镜系统的使用方法，其特征在于，包括如下步骤：

S1、所述智能眼镜进行图像显示；

S2、采用定位跟踪单元的三轴加速度传感器和三轴陀螺仪对佩戴者头部的运动信息进行采集，并将所述运动信息发送到智能眼镜的微处理器单元；

S3、智能眼镜的微处理单元接收和处理佩戴者头部的运动信息；

S4、智能眼镜的微处理单元根据处理后的佩戴者头部的运动信息重新调整智能眼镜的图像显示；

其中，在S2中，三轴加速度传感器用于跟踪佩戴者头部在三个正交坐标轴方向上的移动，得到头部运动在三个坐标轴方向上的加速度；三轴陀螺仪用于跟踪佩戴者头部绕着三个正交坐标轴方向发生的转动，得到头部运动绕着三个坐标轴发生转动的角速度；

在S3中，对三轴加速度传感器采集的加速度进行时间的二重积分，得到佩戴者头部在这段时间范围内在三个坐标轴方向上发生的位移；对三轴陀螺仪的角速度进行时间的一重积分，得到佩戴者头部在这段时间范围内绕着三个坐标轴方向发生的转动的角度。

4.根据权利要求3所述的使用方法，其特征在于，在S3中，根据所述位移数值和转动的角度数值，综合坐标系转动和移动这两种情况，新旧坐标系之间的变换矩阵M为：M＝M_x·M_y·M_z·M_s，由于模型变换和视图变换的二元性，求解出对应的模型变换矩阵M'，其中，M_x表示坐标系只绕着X轴转过一个角度Δθ_x时新旧坐标系之间的变换矩阵，M_y表示坐标系只绕着Y轴转过一个角度Δθ_y时新旧坐标系之间的变换矩阵，M_z表示坐标系只绕着Z轴转过一个角度Δθ_z时新旧坐标系之间的变换矩阵，M_s表示坐标系平移产生(Δx,Δy,Δz)的位移时新旧坐标系之间的变换矩阵。

5.根据权利要求4所述的使用方法，其特征在于，在S3中，当前图像的齐次坐标乘以模型变换矩阵，得到图像的新坐标。