CN103513771B - 智能眼镜与交互笔配合使用的系统及方法 - Google Patents

Abstract

本发明涉及一种智能眼镜与交互笔配合使用的方法，该方法包括如下步骤：智能眼镜接收交互笔发出的红外线，识别出第一红外线发射点及第二红外线发射点的位置，进而获得所述交互笔笔尖的位置；建立以所述智能眼镜镜框中心为坐标原点的坐标系；当交互笔在平面上使用时，计算获得该交互笔与所述平面的交点的坐标；当所述交互笔在三维空间使用时，计算获得所述交互笔笔尖的坐标。本发明还涉及一种智能眼镜与交互笔配合使用的系统。本发明为智能眼镜提供一种新的人机交互方式，简单高效地完成智能眼镜在特定领域的应用。

Description

智能眼镜与交互笔配合使用的系统及方法

技术领域

本发明涉及一种智能眼镜与交互笔配合使用的系统及方法。

背景技术

目前，智能眼镜已经渐渐进入人们的视野，对于可透视型智能眼镜来说，当人戴上这种眼镜后，周围可见光能够透过眼镜镜片，人的双眼能够正常看到四周的环境，同时智能眼镜能够将一些图像信息叠加在人的真实视野上。由于拥有这样的特性，可透视型智能眼镜将在众多行业和领域发挥巨大作用。

为了更好的利用智能眼镜的显示特性，智能眼镜的佩戴者需要与智能眼镜投射出的图像画面进行互动，实现一些人机交互的功能。比如，如果智能眼镜将图像画面投射在一个平面上，而投射的图像画面为一篇文稿，此时就需要使用交互笔的方式与智能眼镜投射的文稿进行交互；再比如，如果智能眼镜投射出一个绘图画面，此时智能眼镜佩戴者就需要利用一根画笔实现绘图工作等等。在这些特殊的应用场合中，迫切需要一根能够与智能眼镜进行互动的交互笔去完成人机交互操作。

但是，目前与智能眼镜进行交互的手段仅仅限于语音、触控。在一些专利中，出现了利用手势直接与智能眼镜进行交互的技术方案。目前已有的一些交互笔仅仅用于互动投影的场合，并没有针对智能眼镜使用的交互笔。在目前的技术方案中，语音以及触控等交互手段不能满足智能眼镜特定场合下使用的交互需求，同时利用手势与智能眼镜投射的图像进行交互存在着一个巨大的问题，即人体的手指不具有精细描述的能力，对于图像上细小的文字而言，人体的手指显得过于庞大。而现有的交互笔并不是为智能眼镜设计的，因此不能满足智能眼镜真正的需要。

发明内容

有鉴于此，有必要提供一种智能眼镜与交互笔配合使用的系统及方法。

本发明提供一种智能眼镜与交互笔配合使用的系统，该交互笔包括相互电性连接的电源模块及发射模块，其中：所述电源模块用于为交互笔提供电力供应；所述发射模块用于通过发射点发出智能眼镜能够识别的光线；该智能眼镜包括相互电性连接的笔尖位置获取模块、坐标系建立模块、平面模型计算模块、空间模型计算模块，其中：所述笔尖位置获取模块，用于根据上述发出的光线识别所述发射点的位置获得所述交互笔笔尖的位置；所述坐标系建立模块，用于建立以所述智能眼镜镜框中心为坐标原点的坐标系；所述平面模型计算模块，用于当所述交互笔在平面上使用时计算获得该交互笔与所述平面的交点的坐标；所述空间模型计算模块，用于当所述交互笔在三维空间使用时计算获得所述交互笔笔尖的坐标。

优选的，所述的交互笔还包括：用于实现与智能眼镜通讯的通讯模块；用于接收用户命令的接收模块；及用于控制所述交互笔的整体工作的处理模块。

优选的，所述的通讯模块为蓝牙装置。

优选的，所述的接收模块为按键。

优选的，所述的交互笔从一端到另一端依次为：笔尖、靠近笔尖的第一红外线发射点、笔身、按键及位于笔尾的第二红外发射点。

优选的，所述的笔尖为金属笔尖。

优选的，所述的坐标系以智能眼镜镜框中心为坐标原点O，以平行智能眼镜投射出的图像画面并经过坐标原点O的平面为OYZ平面建立右手坐标系OXYZ。

优选的，所述交互笔与所述平面的交点P₀的坐标P₀(x₀，y₀，z₀)：

$\left\{\begin{array}{c}{n}_0(x-x_r)+n_1(y-y_r)+n_2(z-z_r)=0\\ \frac{x-x_1}{l}=\frac{y-y_1}{m}=\frac{z-z_1}{n}\end{array}\right.,$

其中，所述平面的法向量n(n₀，n₁，n₂)，平面任一点R(x_r，y_r，z_r)。

优选的，所述交互笔笔尖P₀(x₀，y₀，z₀)的坐标为：

$\left\{\begin{array}{c}\frac{x-x_1}{l}=\frac{y-y_1}{m}=\frac{z-z_1}{n}\\ \sqrt{{(x_0-x_1)}^2+{(y_0-y_1)}^2+{(z_0-z_1)}^2}=l_1\end{array},\right.$

其中，(l，m，n)为直线P₁P₂的方向向量。

本发明提供一种智能眼镜与交互笔配合使用的方法，该方法包括如下步骤：智能眼镜接收交互笔发出的红外线，识别出第一红外线发射点及第二红外线发射点的位置，进而获得所述交互笔笔尖的位置；建立以所述智能眼镜镜框中心为坐标原点的坐标系；当交互笔在平面上使用时，计算获得该交互笔与所述平面的交点的坐标；当所述交互笔在三维空间使用时，计算获得所述交互笔笔尖的坐标。

优选的，所述的坐标系以智能眼镜镜框中心为坐标原点O，以平行智能眼镜投射出的图像画面并经过坐标原点O的平面为OYZ平面建立右手坐标系OXYZ。

优选的，所述交互笔与所述平面的交点P₀的坐标P₀(x₀，y₀，z₀)：

$\left\{\begin{array}{c}{n}_0(x-x_r)+n_1(y-y_r)+n_2(z-z_r)=0\\ \frac{x-x_1}{l}=\frac{y-y_1}{m}=\frac{z-z_1}{n}\end{array}\right.,$

其中，所述平面的法向量n(n₀，n₁，n₂)，平面任一点R(x_r，y_r，z_r)。

优选的，所述交互笔笔尖P₀(x₀，y₀，z₀)的坐标为：

$\left\{\begin{array}{c}\frac{x-x_1}{l}=\frac{y-y_1}{m}=\frac{z-z_1}{n}\\ \sqrt{{(x_0-x_1)}^2+{(y_0-y_1)}^2+{(z_0-z_1)}^2}=l_1\end{array}\right.,$

其中，(l，m，n)为直线P₁P₂的方向向量。

本发明所提供的智能眼镜与交互笔配合使用的系统及方法，可以使交互笔被智能眼镜识别，所述交互笔在智能眼镜的视野中能够像一只真正的笔一样使用，为智能眼镜提供一种新的人机交互方式，简单高效地完成智能眼镜在特定领域的应用。

附图说明

图1为与本发明智能眼镜的外观示意图；

图2为与本发明智能眼镜的正面图；

图3为本发明交互笔的正面图；

图4为本发明交互笔的硬件架构示意图；

图5为本发明智能眼镜的硬件架构示意图；

图6为双目立体视觉算法的基本原理图；

图7为智能眼镜坐标系示意图；

图8为本发明交互笔在平面上使用的示意图；

图9为本发明交互笔在三维空间使用的模型图；

图10为本发明智能眼镜与交互笔配合使用的方法流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的说明。

本发明智能眼镜（请参照图1），为可透视型智能眼镜，即戴上该智能眼镜后，周围可见光能够透过眼镜镜片，人的双眼能够正常看到四周的环境，并且该智能眼镜能够将一些图像信息叠加在人的真实视野上，当人戴上该智能眼镜后，除了看到四周的环境外，也能看到由该智能眼镜显示出来的图像信息，相当于离人眼一定距离的空间中观看一定尺寸的屏幕。

所述智能眼镜具有两个摄像头（请参照图2），所述两个摄像头对称安装于该智能眼镜的左右两端，分别为左摄像头001和右摄像头002。所述两个摄像头用于接收外界传入的红外线。所述智能眼镜具有使投射出的图像固定于某一平面或者使投射出的图像静止的能力。

参阅图3所示，是本发明交互笔的正面图。对所述交互笔从左向右进行说明：所述交互笔最左端为一个金属笔尖，往右的黑色部分为第一红外线发射点，再往右为笔身，所述笔身上设置有用于接收用户控制命令的按键，所述交互笔的最右端为第二红外线发射点。

参阅图4所示，是本发明交互笔的硬件架构示意图。该交互笔包括电源模块101、通讯模块102、接收模块103、发射模块104及处理模块105。其中，上述第一红外线发射点及第二红外线发射点皆属于所述发射模块104，所述按键属于所述接收模块103。所述电源模块101、通讯模块102及处理模块105均位于所述交互笔内。具体而言：

所述电源模块101用于为交互笔提供电力供应。

所述通讯模块102用于实现交互笔与智能眼镜之间的通讯。在本实施例中，所述通讯模块102采用的是蓝牙装置。

所述接收模块103用于接收用户的命令。在本实施例中，所述接收模块103为按键。

所述发射模块104用于发出上述左右摄像头能够识别的光线。在本实施例中，所述发射模块104向外界发出红外线。

所述处理模块105用于控制所述交互笔的整体工作。

参阅图5所示，为与本发明智能眼镜的硬件架构示意图。所述智能眼镜包括相互电性连接的笔尖位置获取模块003、坐标系建立模块004、平面模型计算模块005、空间模型计算模块006。具体如下：

所述左摄像头001和右摄像头002，用于接收交互笔的发射模块104发出的可识别光线。在本实施例中，所述左摄像头001和右摄像头002接收发射模块104发出的红外线。

所述笔尖位置获取模块003通过左摄像头001和右摄像头002接收的红外线，识别出上述第一红外线发射点及第二红外线发射点的位置，进而获得所述交互笔笔尖的位置。虽然采用一个红外线发射点也可以获得交互笔的运动轨迹，但是采用一个红外线发射点的方式并不精确，因为红外线发射点很难以非常小的体积制作于笔尖，只能置于笔尖上方某个位置，这样识别的红外线发射点的坐标位置并不能代表笔尖的坐标位置。而本发明采用两个红外线发射点，运用解析几何的关系计算出笔尖真正的坐标，这样大大提高了交互笔的精度。同时由于本发明并不需要将红外线发射点置于笔尖处，因此本发明提供的交互笔的笔尖可以用普通使用的笔尖代替，这样就会大大提供用户的使用舒适度，就好像用户在使用一根普通的笔一样。

所述笔尖位置获取模块003依据双目立体视觉原理识别上述第一红外线发射点、第二红外线发射点的坐标。在图6中，l₁、l₂分别为左摄像头001和右摄像头002，B为l₁、l₂两个摄像头光心之间的距离，f为l₁、l₂摄像头的焦距。P(x，y，z)为空间中的待求点，(x，y，z)为其三维坐标，P₁(x₁，y₁)、P₂(x₂，y₂)分别为P点在两个摄像头平面上的坐标，其中，P点的视差为：d=x₁-x₂，通过几何关系可以计算得到P点的深度为：

$z=f\frac{B}{x_1-x_2}=f\frac{B}{d}.$

可见，所述笔尖位置获取模块003通过双目立体视觉的原理可以计算出P点在智能眼镜坐标系中的Z坐标。由于P点的X坐标、Y坐标可以直接从摄像机坐标系中读取，因而可求得某一个空间点在摄像机三维坐标系中的坐标。

所述坐标系建立模块004建立如图7所示的坐标系OXYZ。所述坐标系以智能眼镜镜框中心为坐标原点O，以平行智能眼镜投射出的图像画面并经过坐标原点O的平面为OYZ平面建立右手坐标系OXYZ。

当所述交互笔在平面上使用时，参阅图8，智能眼镜向平面ABCD投射图像，且投射到平面ABCD上的图像会固定在平面上，不会随着智能眼镜佩戴者头部运动而发生相应变化。结合图9所示，由于在智能眼镜的摄像头中呈现的是所述交互笔的第一红外线发射点及第二红外线发射点，因此以P₁点和P₂点分别代表上述第一红外线发射点及第二红外线发射点，这样直线P₁P₂就可以直接代表交互笔。

所述平面模型计算模块005根据智能眼镜相对于平面ABCD的距离和角度，计算得到平面ABCD的方程。在智能眼镜坐标系OXYZ中，已知平面ABCD的法向量n(n₀，n₁，n₂)以及平面上的一点R(x_r，y_r，z_r)，则平面ABCD的平面方程为：

n₀(x-x_r)+n₁(y-y_r)+n₂(z-z_r)=0

同时，采用双目立体视觉的原理，所述平面模型计算模块005求得上述第一红外线发射点及第二红外线发射点在智能眼镜坐标系中的坐标分别为P₁(x₁，y₁，z₁)、P₂(x₂，y₂，z₂)，则代表交互笔的直线P₁P₂的方程为：

$\frac{x-x_1}{l}=\frac{y-y_1}{m}=\frac{z-z_1}{n}.$

其中，(l，m，n)为直线P₁P₂的方向向量：

$\left\{\begin{array}{c}l=x_1-x_2\\ m=y_1=y_2\\ n=z_1-z_2\end{array}.\right.$

因为平面ABCD和直线P₁P₂的交点P₀既在平面ABCD中，也在直线P₁P₂上，因此所述平面模型计算模块005只需联立平面方程和直线方程，将可求出P₀的坐标P₀(x₀，y₀，z₀)：

$\left\{\begin{array}{c}{n}_0(x-x_r)+n_1(y-y_r)+n_2(z-z_r)=0\\ \frac{x-x_1}{l}=\frac{y-y_1}{m}=\frac{z-z_1}{n}\end{array}\right..$

P₀为所述交互笔与平面ABCD的交点，因此在得到P₀的坐标后，就可以根据P₀点的轨迹路径绘制出相应轨迹，从而实现所述交互笔与智能眼镜的互动。

当所述交互笔在三维空间使用时，即当智能眼镜投射的图像画面位于空间中而不是在一个平面上时，所述空间模型计算模块006实现三维空间与图像画面的交互。所述交互笔在三维空间中的使用与在平面上的使用类似，所述空间模型计算模块006求出所述交互笔笔尖的坐标。参照图9，假设P₀(x₀，y₀，z₀)点为交互笔的笔尖，P₀P₁、P₁P₂之间的距离分别为l₁和l₂，则所述空间模型计算模块006可得到直线P₁P₂的直线方程为：

$\frac{x-x_1}{l}=\frac{y-y_1}{m}=\frac{z-z_1}{n}.$

其中，(l，m，n)为直线P₁P₂的方向向量：

$\left\{\begin{array}{c}l=x_1-x_2\\ m=y_1=y_2\\ n=z_1-z_2\end{array}.\right.$

所述空间模型计算模块006通过空间解析几何关系即可求出P₀(x₀，y₀，z₀)点的坐标：

$\left\{\begin{array}{c}\frac{x-x_1}{l}=\frac{y-y_1}{m}=\frac{z-z_1}{n}\\ \sqrt{{(x_0-x_1)}^2+{(y_0-y_1)}^2+{(z_0-z_1)}^2}=l_1\end{array}\right..$

在得到P₀的坐标后，就可以根据P₀点的轨迹路径绘制出相应轨迹，从而实现所述交互笔与智能眼镜的互动。

参阅图10所示，是本发明智能眼镜与交互笔配合使用的方法流程图。

步骤S401，笔尖位置获取模块003通过左摄像头001和右摄像头002接收的红外线，识别出第一红外线发射点及第二红外线发射点的位置，进而获得所述交互笔笔尖的位置。

步骤S402，坐标系建立模块004建立以所述智能眼镜镜框中心为坐标原点的坐标系。所述坐标系以智能眼镜镜框中心为坐标原点O，以平行智能眼镜投射出的图像画面并经过坐标原点O的平面为OYZ平面建立右手坐标系OXYZ。

步骤S403，当交互笔在平面上使用时，平面模型计算模块005计算获得该交互笔与所述平面的交点的坐标。具体而言，所述平面模型计算模块005根据智能眼镜相对于平面ABCD的距离和角度，计算得到平面ABCD的方程。在智能眼镜坐标系OXYZ中，已知平面ABCD的法向量n(n₀，n₁，n₂)以及平面上的一点R(x_r，y_r，z_r)，则平面ABCD的平面方程为：

n₀(x-x_r)+n₁(y-y_r)+n₂(z-z_r)=0

同时，采用双目立体视觉的原理，所述平面模型计算模块005求得上述第一红外线发射点及第二红外线发射点在智能眼镜坐标系中的坐标分别为P₁(x₁，y₁，z₁)、P₂(x₂，y₂，z₂)，则代表交互笔的直线P₁P₂的方程为：

$\frac{x-x_1}{l}=\frac{y-y_1}{m}=\frac{z-z_1}{n}.$

其中，(l，m，n)为直线P₁P₂的方向向量：

$\left\{\begin{array}{c}l=x_1-x_2\\ m=y_1=y_2\\ n=z_1-z_2\end{array}.\right.$

因为平面ABCD和直线P₁P₂的交点P₀既在平面ABCD中，也在直线P₁P₂上，因此所述平面模型计算模块005只需联立平面方程和直线方程，将可求出P₀的坐标P₀(x₀，y₀，z₀)：

$\left\{\begin{array}{c}{n}_0(x-x_r)+n_1(y-y_r)+n_2(z-z_r)=0\\ \frac{x-x_1}{l}=\frac{y-y_1}{m}=\frac{z-z_1}{n}\end{array}.\right.$

步骤S404，当所述交互笔在三维空间使用时，所述空间模型计算模块006计算获得所述交互笔笔尖的坐标。具体而言，假设P₀(x₀，y₀，z₀)点为交互笔的笔尖，P₀P₁、P₁P₂之间的距离分别为l₁和l₂，则所述空间模型计算模块006可得到直线P₁P₂的直线方程为：

$\frac{x-x_1}{l}=\frac{y-y_1}{m}=\frac{z-z_1}{n}.$

其中，(l，m，n)为直线P₁P₂的方向向量：

$\left\{\begin{array}{c}l=x_1-x_2\\ m=y_1-y_2\\ n=z_1-z_2\end{array}.\right.$

所述空间模型计算模块006通过空间解析几何关系即可求出P₀(x₀，y₀，z₀)点的坐标：

$\left\{\begin{array}{c}\frac{x-x_1}{l}=\frac{y-y_1}{m}=\frac{z-z_1}{n}\\ \sqrt{{(x_0-x_1)}^2+{(y_0-y_1)}^2+{(z_0-z_1)}^2}=l_1\end{array}.\right.$

在得到P₀的坐标后，就可以根据P₀点的轨迹路径绘制出相应轨迹，从而实现所述交互笔与智能眼镜的互动。

虽然本发明参照当前的较佳实施方式进行了描述，但本领域的技术人员应能理解，上述较佳实施方式仅用来说明本发明，并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、改进等，均应包含在本发明的权利保护范围之内。

Claims (10)

1.一种智能眼镜与交互笔配合使用的系统，其特征在于，

该交互笔包括相互电性连接的电源模块及发射模块，其中：

所述电源模块用于为交互笔提供电力供应；

所述发射模块用于通过发射点发出智能眼镜能够识别的光线；

所述的交互笔从一端到另一端依次为：笔尖、靠近笔尖的第一红外线发射点P₁(x₁,y₁,z₁)、笔身、按键及位于笔尾的第二红外发射点P₂(x₂,y₂,z₂)；

该智能眼镜包括相互电性连接的笔尖位置获取模块、坐标系建立模块、平面模型计算模块、空间模型计算模块，其中：

所述笔尖位置获取模块，用于根据上述发出的光线识别所述发射点的位置获得所述交互笔笔尖的位置；

所述坐标系建立模块，用于建立以所述智能眼镜镜框中心为坐标原点的坐标系；

所述平面模型计算模块，用于当所述交互笔在平面上使用时计算获得该交互笔与所述平面的交点的坐标：所述交互笔与所述平面的交点P₀的坐标P₀(x₀,y₀,z₀)：

$\left\{\begin{array}{c}{n}_0(x_0-x_r)+n_1(y_0-y_r)+n_2(z_0-z_r)=0\\ \frac{x_0-x_1}{l}=\frac{y_0-y_1}{m}=\frac{z_0-z_1}{n}\end{array}\right.,$

其中，n(n₀,n₁,n₂)表示所述平面的法向量，R(x_r,y_r,z_r)表示所述平面上任一点，(l,m,n)为直线P₁P₂的方向向量；

所述空间模型计算模块，用于当所述交互笔在三维空间使用时计算获得所述交互笔笔尖的坐标。

2.如权利要求1所述的系统，其特征在于，所述的交互笔还包括：

用于实现与智能眼镜通讯的通讯模块；

用于接收用户命令的接收模块；及

用于控制所述交互笔的整体工作的处理模块。

3.如权利要求2所述的系统，其特征在于，所述的通讯模块为蓝牙装置。

4.如权利要求3所述的系统，其特征在于，所述的接收模块为按键。

5.如权利要求1所述的系统，其特征在于，所述的笔尖为金属笔尖。

6.如权利要求4所述的系统，其特征在于，所述的坐标系以智能眼镜镜框中心为坐标原点O，以平行智能眼镜投射出的图像画面并经过坐标原点O的平面为OYZ平面建立右手坐标系OXYZ。

7.如权利要求6所述的系统，其特征在于，当所述交互笔在三维空间使用时所述交互笔笔尖P₀(x₀,y₀,z₀)的坐标为：

$\left\{\begin{array}{c}\frac{x_0-x_1}{l}=\frac{y_0-y_1}{m}=\frac{z_0-z_1}{n}\\ \sqrt{{(x_0-x_1)}^2+{(y_0-y_1)}^2+{(z_0-z_1)}^2}=l_1\end{array}\right.,$

其中，(l,m,n)为直线P₁P₂的方向向量。

8.一种智能眼镜与交互笔配合使用的方法，其特征在于，该方法包括如下步骤：

智能眼镜接收交互笔发出的红外线，识别出第一红外线发射点及第二红外线发射点的位置，进而获得所述交互笔笔尖的位置，所述的交互笔从一端到另一端依次为：笔尖、靠近笔尖的第一红外线发射点P₁(x₁,y₁,z₁)、笔身、按键及位于笔尾的第二红外发射点P₂(x₂,y₂,z₂)；

建立以所述智能眼镜镜框中心为坐标原点的坐标系；

当交互笔在平面上使用时，计算获得该交互笔与所述平面的交点的坐标：所述交互笔与所述平面的交点P₀的坐标P₀(x₀,y₀,z₀)：

$\left\{\begin{array}{c}{n}_0(x_0-x_r)+n_1(y_0-y_r)+n_2(z_0-z_r)=0\\ \frac{x_0-x_1}{l}=\frac{y_0-y_1}{m}=\frac{z_0-z_1}{n}\end{array}\right.,$

其中，n(n₀,n₁,n₂)表示所述平面的法向量，R(x_r,y_r,z_r)表示所述平面上任一点，(l,m,n)为直线P₁P₂的方向向量；

当所述交互笔在三维空间使用时，计算获得所述交互笔笔尖的坐标。

9.如权利要求8所述的方法，其特征在于，所述的坐标系以智能眼镜镜框中心为坐标原点O，以平行智能眼镜投射出的图像画面并经过坐标原点O的平面为OYZ平面建立右手坐标系OXYZ。

10.如权利要求9所述的方法，其特征在于，当所述交互笔在三维空间使用时所述交互笔笔尖P₀(x₀,y₀,z₀)的坐标为：

$\{\begin{array}{c}\frac{x_0-x_1}{l}=\frac{y_0-y_1}{m}=\frac{z_0-z_1}{n}\\ \sqrt{{(x_0-x_1)}^2+{(y_0-y_1)}^2+{(z_0-z_1)}^2}=l_1\end{array},$

其中，(l,m,n)为直线P₁P₂的方向向量。