CN104656880A - 一种基于智能眼镜的书写系统及方法 - Google Patents

一种基于智能眼镜的书写系统及方法 Download PDF

Info

Publication number
CN104656880A
CN104656880A CN201310594606.8A CN201310594606A CN104656880A CN 104656880 A CN104656880 A CN 104656880A CN 201310594606 A CN201310594606 A CN 201310594606A CN 104656880 A CN104656880 A CN 104656880A
Authority
CN
China
Prior art keywords
intelligent glasses
unit
reference plane
image
interaction pen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310594606.8A
Other languages
English (en)
Other versions
CN104656880B (zh
Inventor
费树培
樊建平
谢耀钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201310594606.8A priority Critical patent/CN104656880B/zh
Publication of CN104656880A publication Critical patent/CN104656880A/zh
Application granted granted Critical
Publication of CN104656880B publication Critical patent/CN104656880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus

Abstract

本发明提供一种基于智能眼镜的书写系统及方法。方法包括:通过智能眼镜的LED网格单元、摄像单元和计算单元计算出参照平面相对于智能眼镜的角度和距离;智能眼镜的显示单元根据参照平面相对于智能眼镜的角度和距离调整图像,并将调整后的图像叠加到参照平面;智能眼镜的定位单元实时调整叠加到参照平面的图像,使图像固定在参照平面上;启动交互笔,并与智能眼镜建立通信连接;采用智能眼镜的摄像单元捕捉交互笔的运动轨迹;智能眼镜的摄像单元将交互笔的运行轨迹发送至智能眼镜的计算单元,并计算交互笔在参照平面上的运行轨迹,智能眼镜根据运行轨迹显示出书写痕迹,并进行记录。本发明通过智能眼镜的显示特性,提供了一种全新的书写阅读方式。

Description

一种基于智能眼镜的书写系统及方法
技术领域
本发明涉及智能眼镜,尤其涉及一种基于智能眼镜的书写系统及方法。
背景技术
在日常生活中,纸张一直作为每个人的书写必备工具以及信息呈现媒介。虽然目前在显示器上也能方便的显示出文字或者图片等信息,但在二维显示器上观看这些信息并不能很好的符合人们长久以来培养的在纸面上观看信息的习惯,在很多时候我们需要将文字或者图片信息打印在白纸上进行观看,同时需要在纸上进行注释等操作。而在纸张打印出文字或者图片以作为信息呈现的媒介时,在很多情况下,一张白纸只能被使用一次,之后我们需要重新用新的白纸打印我们需要的信息,之前被打印过的白纸或是被保留或是被丢弃。这样的阅读方式造成了纸张使用上的极大浪费。同时,在早已进行信息时代化的今天,在纸上阅读信息的方式却还停留在过去,比如在纸上做的注释或者标记并不能被保存为电子信息,这就需要引入新的方式改变目前的现状
目前,智能眼镜已经渐渐进入人们的视野中,对于可透视型智能眼镜来说,当人戴上这种眼镜后,周围可见光能够透过眼镜镜片,人的双眼能够正常看到四周的环境;同时智能眼镜能够将一些图像信息叠加在人的真实视野上,由于拥有这样的特性,在借助于适当的方式后,可透视型智能眼镜对于改变目前人们长久以来养成的书写阅读习惯将会是一个新的机遇。
发明内容
本发明的目的在于提供一种基于智能眼镜的书写系统及方法,以通过可透视型智能眼镜提供的显示特性,提供一种全新的书写阅读方式。
为了达到上述目的,本发明提供了一种基于智能眼镜的书写系统,包括智能眼镜和配合智能眼镜使用的交互笔;
所述智能眼镜包括LED网格单元、摄像单元、计算单元、显示单元、定位单元,以及通信单元;
所述LED网格单元投射红外线矩阵网格到参照平面;
所述摄像单元检测红外线矩阵网格投射到参照平面后的散射红外线,得到红外线矩阵网格的变化数据;
所述计算单元对红外线矩阵网格的变化数据进行计算,得到参照平面相对于智能眼镜的角度和距离;
所述显示单元根据参照平面相对于智能眼镜的角度和距离调整图像,并将调整后的图像叠加到参照平面;
所述定位单元实时调整叠加到参照平面的图像,使图像固定在参照平面上;
所述通信单元用于与所述交互笔实现通信;
所述交互笔包括通讯单元、信号单元以及为以上各单元提供电力的电源单元;
所述通讯单元,用于与智能眼镜通信,并启动智能眼镜的摄像单元对交互笔进行轨迹捕捉;
所述信号单元,用于发射智能眼镜的摄像单元能够识别的信号;
所述智能眼镜的摄像单元将交互笔的运行轨迹发送至智能眼镜的计算单元,所述计算单元计算交互笔在参照平面上的运行轨迹,智能眼镜再根据运行轨迹显示出书写痕迹,并进行记录。
优选的,所述LED网格单元位于智能眼镜的中部,其包括红外LED和位于红外LED前方的挡板,所述挡板刻有网格槽。
优选的,所述摄像单元包括位于智能眼镜两侧的左摄像头和右摄像头。
优选的,所述定位单元包括三轴加速度传感器和三轴陀螺仪,用于对用户头部的运动进行跟踪监测,并根据用户头部的运动实时调整图像的显示。
优选的,所述参照平面为白纸。
优选的,所述交互笔还包括启动按键。
优选的,所述信号单元包括第一发射点和第二发射点,两个发射点可以发出红外线,并分别位于交互笔的左右两端。
为了解决本发明的技术问题,还提出了一种基于智能眼镜的书写方法,包括如下步骤:
S1、通过智能眼镜的LED网格单元、摄像单元和计算单元计算出参照平面相对于智能眼镜的角度和距离;
S2、智能眼镜的显示单元根据参照平面相对于智能眼镜的角度和距离调整图像,并将调整后的图像叠加到参照平面;
S3、智能眼镜的定位单元实时调整叠加到参照平面的图像,使图像固定在参照平面上;
S4、启动交互笔,并与智能眼镜建立通信连接;
S5、采用智能眼镜的摄像单元捕捉交互笔的运动轨迹;
S6、所述智能眼镜的摄像单元将交互笔的运行轨迹发送至智能眼镜的计算单元,所述计算单元计算交互笔在参照平面上的运行轨迹,智能眼镜再根据运行轨迹显示出书写痕迹,并进行记录。
优选的,所述步骤S1包括以下步骤:
S11、采用智能眼镜的LED网格单元投射红外线矩阵网格到参照平面;
S12、采用智能眼镜的摄像单元检测红外线矩阵网格投射到参照平面后的散射红外线,得到红外线矩阵网格的变化数据;
S13、采用智能眼镜的计算单元对红外线矩阵网格的变化数据进行计算,得到被测平面相对于智能眼镜的角度和距离。
优选的,在步骤S11中,所述LED网格单元位于智能眼镜中间位置,其包括红外LED和位于红外LED前方的挡板,所述挡板刻有网格槽。
优选的,在步骤S12中,所述摄像单元包括左摄像头和右摄像头,左、右摄像头对称的安装于智能眼镜的左右两端。
优选的,在步骤S3中,所述定位单元包括三轴加速度传感器和三轴陀螺仪,用于对用户头部的运动进行跟踪监测,并根据用户头部的运动实时调整图像的显示。
优选的,在步骤S5中,所述采用智能眼镜的摄像单元捕捉交互笔的运动轨迹,在于捕捉交互笔信号单元发出的信号。
本发明要解决的技术问题是通过可透视型智能眼镜提供的显示特性,提供一种全新的书写阅读方式,在这样的阅读方式中,使用者可以在一张白纸上完成信息的阅读与注释工作,同时这些对信息的修改将会以电子化的方式保存起来。在完成一次阅读之后,使用的白纸不会有任何改变,还可以再继续使用。通过这样的方式最终达到节约使用纸张以及提高人们阅读信息化水平的目的。
附图说明
图1为本发明基于智能眼镜的书写系统的系统示意图;
图2为本发明中LED网格单元的结构示意图;
图3为本发明中摄像单元的结构示意图;
图4为本发明中交互笔的正面图;
图5为本发明基于智能眼镜的书写方法的流程图;
图6为本发明智能眼镜所建立的坐标系示意图;
图7为本发明中智能眼镜投射红外线矩阵网格的示意图;
图8为本发明中进行模型变换和视图变换的二元性示意图;
图9为本发明中定位单元的坐标系示意图;
图10为本发明中采用双目立体视觉技术的示意图;
图11为本发明中采用交互笔在参照平面上使用的示意图;
图12为本发明中采用交互笔在参照平面上使用的模型图。
具体实施方式
下面将结合附图以及具体实施例来对本发明作进一步详细说明。
请参考图1,本发明揭示了一种基于智能眼镜的书写系统100,包括智能眼镜20和配合智能眼镜20使用的交互笔30。
智能眼镜20包括LED网格单元21、摄像单元22、计算单元23、显示单元24、定位单元25,以及通信单元26。
请结合参考图2,所述LED网格单元21设置在智能眼镜20的中间位置,包括一个红外LED211和一个经过精密加工的挡板212。所述挡板212上刻有细小的网格槽,所述挡板212设置于红外LED211的前方,通过这样的方式,最终将会产生一个红外线矩阵网格,并投射到参照平面,所述参照平面可以为白纸。
请结合参考图3,所述摄像单元22包括左摄像头221和右摄像头222,两个摄像头221、222对称的安装于智能眼镜20的左右两端,用于检测红外线矩阵网格投射到参照平面后的散射红外线,以得到红外线矩阵网格的变化数据。
所述计算单元23与摄像单元22连接,用于计算摄像单元22所检测得到的红外线矩阵网格的变化数据,得到参照平面相对于智能眼镜20的角度和距离。
所述显示单元24与计算单元23连接,用于根据参照平面相对于智能眼镜20的角度和距离调整图像,并将调整后的图像叠加到参照平面,让用户感觉智能眼镜20中显示的图像画面位于该平面上一样。
所述定位单元25包括三轴加速度传感器(未图示)和三轴陀螺仪(未图示),用于对用户头部的运动进行跟踪监测。其中,三轴加速度传感器用于跟踪用户的头部在三个正交坐标轴方向上的移动,三轴陀螺仪用于跟踪用户的头部在三个正交坐标轴方向上的转动。三轴加速度传感器输出的是头部运动在三个坐标轴方向上的加速度,三轴陀螺仪输出的是头部运动绕着三个坐标轴发生转动的角速度。在对加速度和角速度进行关于时间的积分之后,就能够得到用户头部具体的运动位置,当对三轴加速度和三轴角速度的输出值持续进行积分之后,就能够对用户头部的运动进行跟踪和监测。进而,能够根据用户头部的运动实时调整图像的显示,使图像固定在参照平面上,使得在参照平面显示的图像不会因为用户头部的移动而运动。
所述通信单元26用于与所述交互笔30实现通信,可以获取对方指令信息等。
所述书写系统100还包括连接和控制以上各单元的控制单元27,还包括为以上各单元提供电力的电源单元(未图示)。
请结合参照图4,为本发明提供的交互笔30的正面图,所述交互笔30的最左端为金属笔尖,往右的黑色部分为第一发射点,再往右为笔身,并在笔身上设置有功能按键,用于实现用户的一些控制命令,最后,在交互笔30的最右端为第二个发射点。
就系统结构来说,交互笔30包括通讯单元31、信号单元32以及为以上各单元提供电力的电源单元33。
所述通讯单元31,用于与智能眼镜20通信,并能启动智能眼镜20的摄像单元22对交互笔30进行轨迹捕捉。
所述信号单元32包括所述第一发射点和第二发射点,并分别位于交互笔30的左右两端,用于发射智能眼镜20的摄像单元22能够识别的信号。所述智能眼镜20的摄像单元22将交互笔30的运行轨迹发送至智能眼镜20的计算单元23,所述计算单元23计算交互笔30在参照平面上的运行轨迹,智能眼镜20再根据运行轨迹显示出书写痕迹,并进行记录。
本发明所述的一种基于智能眼镜的书写系统,在智能眼镜将图像信息叠加到一个平面上进行显示,可以使得用户通过交互笔完成对图像信息的注释和修改工作,进而可以在不改变人们书写阅读习惯的前提下极大节约纸张的使用,并提高书写阅读的信息化水平。
请参照图5,本发明还揭示了一种基于智能眼镜的书写方法,包括如下步骤:
S1、通过智能眼镜的LED网格单元、摄像单元和计算单元计算出参照平面相对于智能眼镜的角度和距离;
请参考图6,首先要建立智能眼镜坐标系,以智能眼镜镜框中心为坐标原点O,以平行智能眼镜投射出的图像画面并经过坐标原点O的平面为OXY平面建立图6所示的右手坐标系OXYZ。
在步骤S1中,包括以下步骤:
S11、采用智能眼镜的LED网格单元投射红外线矩阵网格到参照平面;
在步骤S11中,所述LED网格单元位于智能眼镜中间位置,其包括红外LED和位于红外LED前方的挡板,所述挡板刻有网格槽。所述LED网格单元可以投射出一个由一系列正交直线组成的网格平面,并投射到参照平面上。
S12、采用智能眼镜的摄像单元检测红外线矩阵网格投射到参照平面后的散射红外线,得到红外线矩阵网格的变化数据;
在步骤S12中,所述摄像单元包括左摄像头和右摄像头,左、右摄像头对称的安装于智能眼镜的左右两端。散射的红外线会被智能眼镜两侧的左、右摄像头检测到,得到红外线网格矩阵的变化数据。
S13、采用智能眼镜的计算单元对红外线矩阵网格的变化数据进行计算,得到参照平面相对于智能眼镜的角度和距离。
根据步骤S13及以前步骤,在智能眼镜坐标系OXYZ中,LED网格单元产生的红外线矩阵网格如图7所示。在图中,平面ABCD为投射出的红外线矩阵网格。当矩阵网格平面ABCD投射到智能眼镜用户眼前的平面时,由于透视效应,红外网格线将会发生形状改变。同时,被投射平面散射的红外线会被智能眼镜两端的摄像头接收,这样,通过分析计算散射的红外线,就能够知道智能眼镜相对于投射平面的角度和距离。
S2、智能眼镜的显示单元根据参照平面相对于智能眼镜的角度和距离调整图像,并将调整后的图像叠加到参照平面;
在步骤S2中,在计算出被测平面相对于智能眼镜的角度和距离之后,也就得到了相机坐标系的坐标,根据这一坐标进行图形变化,就能够让佩戴者在佩戴智能眼镜进行信息游览时,感觉图像画面是固定在某一个平面上的。
S3、智能眼镜的定位单元实时调整叠加到参照平面的图像,使图像固定在参照平面上;
在步骤S3中,所述定位单元包括三轴加速度传感器和三轴陀螺仪,用于对用户头部的运动进行跟踪监测,并根据用户头部的运动实时调整图像的显示,使得智能眼镜投射出的图像画面保持固定在某一个平面上或者静止在三维空间中。以上定位单元基于以下原理实现:
在计算机图形学中,由于显示器是二维的,因此对于一个要显示的三维模型来说,必须进行坐标变换,将三维模型的三维坐标以适当的方式变换到二维坐标。而将三维模型变为二维图形的关键就在于坐标变换。在计算机图形学中,存在着以下四种坐标系:
世界坐标系:世界坐标系是一个全局坐标系,通常以屏幕左下角为原点、以屏幕的宽和高两个方向为坐标轴构建世界坐标系;
模型坐标系:在计算机图形学中,每一个三维物体都有自身的一个坐标系;
相机坐标系:相机坐标系表征观察者也就是视点的位置;
投影坐标系:投影坐标系用于将相机坐标系表征的视野范围进行投影,从而在二维显示器上显示出三维图形。
在计算机图形学中,当我们变动三维模型,进而能够从不同角度去观看三维模型,其实是通过对三维模型进行模型变换和视图变换实现的。模型变换用于操纵模型,使模型发生移动、旋转以及缩放。而视图变换用于改变视点位置,以使观察者能够从不同角度观看到模型的不同部位。让三维模型进行模型变换或者视图变换的方式是让当前三位模型乘以一个变换矩阵:
X`=XM。
在上式中X为三位模型当前坐标,X'为三维模型经过矩阵变换后的坐标,M为变换矩阵。一般地,X、X'为齐次坐标,M为一个4×4矩阵。
当一个三维模型发生坐标变换时,只需要用当前三维模型坐标乘以变换矩阵,即可得到经过坐标变换后的三维模型。
同时,模型变换和视图变换存在着二元性。请参考图8,左图和右图都代表着将模型沿着Z轴移动一段距离的坐标变换。其中,在左图中,实现这一坐标变换是通过移动观察者的位置即移动相机坐标系实现的;而在右图中,是通过移动坐标系即将三维模型进行模型变换实现的。
由此可以看出,对三维模型进行模型变换和改变相机坐标系的效果是一样的,即模型变换和视图变换存在着二元性。
要实现在智能眼镜的佩戴者头部发生运动后,智能眼镜中的三维图像也能跟着发生变化,关键是要找出相机坐标系的坐标变换矩阵。
请参考图9,定位单元的输出值以坐标系OXYZ作为参照,其中三轴加速度传感器的输出值为ax,ay,az,三轴陀螺仪的输出值为ωxyz
由于对三维模型的观察是使用智能眼镜实现的,因此定位跟踪坐标系OXYZ同时也是三维模型的相机坐标系。
分别对ax,ay,az进行关于时间的二重积分将会得到佩戴者头部在这段时间范围内在三个坐标轴方向上发生的位移:
Δx = ∫ ∫ a x dt ;
Δy = ∫ ∫ a y dt ;
Δz = ∫ ∫ a z dt .
同时,分别对ωxyz进行关于时间的一重积分将会得到佩戴者头部在这段时间范围内绕着三个坐标轴方向发生的转动的角度:
Δ θ x = ∫ ω x dt ;
Δ θ y = ∫ ω y dt ;
Δ θ z = ∫ ω z dt .
在本发明中,定位跟踪坐标系同时也为相机坐标系。对定位跟踪坐标系输出的值进行关于时间的积分后得到的佩戴者头部运动的坐标值(Δx,Δy,Δz)以及佩戴者头部运动发生的转角(Δθx,Δθy,Δθz)同时也代表了相机坐标系的变换值,根据(Δx,Δy,Δz)以及(Δθx,Δθy,Δθz)这六个值,就能够得到相机坐标系的变换矩阵M,同时由于模型变换和视图变换的二元性,能够求解出对应的模型变换矩阵M`,于是用当前三维模型的齐次坐标乘以模型变换矩阵M`,就能够得到在佩戴者头部发生了一定运动后,三维模型的新坐标X`。在对三维模型重新进行透视投影后,就能够得到当前时刻下,智能眼镜应该显示的三维模型视图。
通过这样的方式,就能够实现在智能眼镜的佩戴者头部发生运动后,实时调整智能眼镜中三维模型显示的角度,让三位模型在佩戴者的视野范围之内保持静止的效果。
S4、启动交互笔,并与智能眼镜建立通信连接;
在步骤S4中,启动交互笔的功能按键,交互笔的通讯单元与智能眼镜的通信单元建立通信连接。
S5、采用智能眼镜的摄像单元捕捉交互笔的运动轨迹;
在步骤S5中,所述交互笔包括信号单元,所述信号单元包括第一发射点和第二发射点,并分别位于交互笔的左右两端,用于发射智能眼镜的摄像单元能够识别的信号。具体来说,所述发射点可以发射红外线,智能眼镜通过识别出红外线发射点的位置从而知道交互笔笔尖的运动轨迹。虽然采用一个红外线发射点也可以知道交互笔的运动轨迹,但是只采用一个红外线发射点的方式并不精确,因为红外线发射点很难以非常小的体积制作于笔尖,只能置于笔尖上方某个位置,这样识别的红外线发射点的坐标位置并不能代表笔尖的坐标位置。而本实施例在采用两个红外线发射点之后,就可以运用解析几何的关系计算出笔尖真正的坐标,这样将会大大提高交互笔的精度。同时由于本发明并不需要将红外线发射点置于笔尖处,因此本发明提供的交互笔的笔尖可以用普通使用的笔尖代替,这样就会大大提供用户的使用舒适度,用户就好像在使用一根普通的笔一样。
在识别红外线发射点的坐标上,本发明提供的交互笔的实现依据于双目立体视觉的原理:
请参考图10,图中为双目立体视觉算法的基本原理。双目立体视觉技术基于视差原理,在图中,l1、l2分别为两个平行放置的摄像头,在本发明中,l1、l2分别代表左摄像头、右摄像头。B代表两个摄像头光心之间的距离,f为摄像头的焦距。P(x,y,z)为空间中的某一点,(x,y,z)为其三维坐标,P1(x1,y1)、P2(x2,y2)分别为P点在两个摄像头像平面上的像点坐标,其中P点的视差为d=x1-x2,通过几何关系可以计算出P点的深度为:
z = f B x 1 - x 2 = f B d .
于是,通过采用立体视觉算法就可以计算出P点在智能眼镜坐标系中的Z坐标。而同时P点的X坐标和Y坐标可以直接从摄像机的坐标系中读取。于是在采用了双目立体视觉技术后,可以求得某一个空间点在摄像机三维坐标系中的坐标。
请参考图11所示,图中为交互笔在平面ABCD上使用的情形。在图中,智能眼镜叠加的图像将会至于平面ABCD中,同时,叠加在平面ABCD中的图像将会固定在平面上,不会随着智能眼镜佩戴者头部运动发生相应变化。
请参考图12,为简化的交互笔在平面上使用的模型图。由于在智能眼镜的摄像头中,呈现的是交互笔上的两个红外线发射点。因此以P1点和P2点分别代表两个红外线发射点,则直线P1P2就代表着交互笔。
由于已知智能眼镜相对于平面ABCD的距离和角度,因此可以求取出平面ABCD的方程。图12中,在智能眼镜坐标系OXYZ中,已知平面ABCD的法向量n(n0,n1,n2)以及平面上的一点R(xr,yr,zr),则平面ABCD的平面方程为:
n0(x-xr)+n1(y-yr)+n2(z-zr)=0。
同时,采用双目立体视觉的原理,可以求得两个红外发射点在智能眼镜坐标系中的坐标分别为P1(x1,y1,z1)、P2(x2,y2,z2),则代表交互笔的直线P1P2的方程为:
x - x 1 l = y - y 1 m = z - z 1 n .
其中(l,m,n)为直线P1P2的方向向量;同时有:
l = x 1 - x 2 m = y 1 - y 2 n = z 1 - z 2 .
因为平面ABCD和直线P1P2的交点P0既在平面ABCD中,也在直线P1P2上,因此只需联立平面方程和直线方程,将可求出P0的坐标P0(x0,y0,z0):
n 0 ( x - x r ) + n 1 ( y - y r ) + n 2 ( z - z r ) = 0 x - x 1 l = y - y 1 m = z - z 1 n .
P0也同时为交互笔与平面ABCD的交点,因此在知道了P0的坐标后,智能眼镜就可以根据P0点的轨迹路径绘制出相应轨迹,从而实现了交互笔与智能眼镜的互动。
S6、智能眼镜的摄像单元将交互笔的运行轨迹发送至智能眼镜的计算单元,所述计算单元计算交互笔在参照平面上的运行轨迹,智能眼镜根据运行轨迹显示出书写痕迹,并进行记录。
在步骤S6中,当智能眼镜计算出交互笔与参照平面相交,即交互笔的笔尖已经处于图像之上,智能眼镜会根据笔尖的运动轨迹在显示的图像上绘制出相应的轨迹,从而实现用户使用交互笔对图像进行注释或者修改等功能。最后,使用交互笔产生的注释或者修改信息将会被保存在该图像中。
本发明在于利用智能眼镜的显示特性将图像画面固定在一个平面上进行显示,由于该平面上可以显示文字或者图片等信息,因此完全可以取代纸张作为信息呈现媒介。同时结合本发明提供的交互笔,进而可以在不改变人们书写阅读习惯的前提下极大节约纸张的使用,并提高书写阅读的信息化水平。
由于可透视型智能眼镜的显示特点,未来必将在众多的行业和领域中得到应用和普及。同时,本发明依据于智能眼镜的显示特性,在不改变人们长久以来形成的阅读习惯的前提下,极大的降低了纸上的使用并且提高了书写阅读的信息化水平,因此本发明具有广阔的应用前景。
可以理解的是,对于本领域的普通技术人员来说,可以根据本发明的技术构思做出其他各种相应的改变与变形,而所有这些改变与变形都应属于本发明权利要求的保护范围。

Claims (13)

1.一种基于智能眼镜的书写系统,其特征在于,包括智能眼镜和配合智能眼镜使用的交互笔;
所述智能眼镜包括LED网格单元、摄像单元、计算单元、显示单元、定位单元,以及通信单元;
所述LED网格单元投射红外线矩阵网格到参照平面;
所述摄像单元检测红外线矩阵网格投射到参照平面后的散射红外线,得到红外线矩阵网格的变化数据;
所述计算单元对红外线矩阵网格的变化数据进行计算,得到参照平面相对于智能眼镜的角度和距离;
所述显示单元根据参照平面相对于智能眼镜的角度和距离调整图像,并将调整后的图像叠加到参照平面;
所述定位单元实时调整叠加到参照平面的图像,使图像固定在参照平面上;
所述通信单元用于与所述交互笔实现通信;
所述交互笔包括通讯单元、信号单元以及为以上各单元提供电力的电源单元;
所述通讯单元,用于与智能眼镜通信,并启动智能眼镜的摄像单元对交互笔进行轨迹捕捉;
所述信号单元,用于发射智能眼镜的摄像单元能够识别的信号;
智能眼镜的摄像单元将交互笔的运行轨迹发送至智能眼镜的计算单元,所述计算单元计算交互笔在参照平面上的运行轨迹,智能眼镜根据运行轨迹显示出书写痕迹,并进行记录。
2.根据权利要求1所述的书写系统,其特征在于:所述LED网格单元位于智能眼镜的中部,其包括红外LED和位于红外LED前方的挡板,所述挡板刻有网格槽。
3.根据权利要求1所述的书写系统,其特征在于:所述摄像单元包括位于智能眼镜两侧的左摄像头和右摄像头。
4.根据权利要求1所述的书写系统,其特征在于:所述定位单元包括三轴加速度传感器和三轴陀螺仪,用于对用户头部的运动进行跟踪监测,并根据用户头部的运动实时调整图像的显示。
5.根据权利要求1所述的书写系统,其特征在于:所述参照平面为白纸。
6.根据权利要求1所述的书写系统,其特征在于:所述交互笔还包括启动按键。
7.根据权利要求1所述的书写系统,其特征在于:所述信号单元包括第一发射点和第二发射点,两个发射点可以发出红外线,并分别位于交互笔的左右两端。
8.一种基于智能眼镜的书写方法,其特征在于,包括如下步骤:
S1、通过智能眼镜的LED网格单元、摄像单元和计算单元计算出参照平面相对于智能眼镜的角度和距离;
S2、智能眼镜的显示单元根据参照平面相对于智能眼镜的角度和距离调整图像,并将调整后的图像叠加到参照平面;
S3、智能眼镜的定位单元实时调整叠加到参照平面的图像,使图像固定在参照平面上;
S4、启动交互笔,并与智能眼镜建立通信连接;
S5、采用智能眼镜的摄像单元捕捉交互笔的运动轨迹;
S6、所述智能眼镜的摄像单元将交互笔的运行轨迹发送至智能眼镜的计算单元,所述计算单元计算交互笔在参照平面上的运行轨迹,智能眼镜再根据运行轨迹显示出书写痕迹,并进行记录。
9.根据权利要求8所述的书写方法,其特征在于,所述步骤S1包括以下步骤:
S11、采用智能眼镜的LED网格单元投射红外线矩阵网格到参照平面;
S12、采用智能眼镜的摄像单元检测红外线矩阵网格投射到参照平面后的散射红外线,得到红外线矩阵网格的变化数据;
S13、采用智能眼镜的计算单元对红外线矩阵网格的变化数据进行计算,得到被测平面相对于智能眼镜的角度和距离。
10.根据权利要求9所述的书写方法,其特征在于,在步骤S11中,所述LED网格单元位于智能眼镜中间位置,其包括红外LED和位于红外LED前方的挡板,所述挡板刻有网格槽。
11.根据权利要求9所述的书写方法,其特征在于,在步骤S12中,所述摄像单元包括左摄像头和右摄像头,左、右摄像头对称的安装于智能眼镜的左右两端。
12.根据权利要求8所述的书写方法,其特征在于,在步骤S3中,所述定位单元包括三轴加速度传感器和三轴陀螺仪,用于对用户头部的运动进行跟踪监测,并根据用户头部的运动实时调整图像的显示。
13.根据权利要求8所述的书写方法,其特征在于,在步骤S5中,所述采用智能眼镜的摄像单元捕捉交互笔的运动轨迹,在于捕捉交互笔信号单元发出的信号。
CN201310594606.8A 2013-11-21 2013-11-21 一种基于智能眼镜的书写系统及方法 Active CN104656880B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310594606.8A CN104656880B (zh) 2013-11-21 2013-11-21 一种基于智能眼镜的书写系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310594606.8A CN104656880B (zh) 2013-11-21 2013-11-21 一种基于智能眼镜的书写系统及方法

Publications (2)

Publication Number Publication Date
CN104656880A true CN104656880A (zh) 2015-05-27
CN104656880B CN104656880B (zh) 2018-02-06

Family

ID=53248121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310594606.8A Active CN104656880B (zh) 2013-11-21 2013-11-21 一种基于智能眼镜的书写系统及方法

Country Status (1)

Country Link
CN (1) CN104656880B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105135265A (zh) * 2015-08-07 2015-12-09 天津中科智能技术研究院有限公司 一种智能台灯及其控制方法
CN105303557A (zh) * 2015-09-21 2016-02-03 深圳先进技术研究院 一种可透视型智能眼镜及其透视方法
CN106781841A (zh) * 2017-01-20 2017-05-31 东莞市触梦网络科技有限公司 一种ar教画装置及其教画系统
CN107066919A (zh) * 2016-12-21 2017-08-18 网易(杭州)网络有限公司 笔尖位置求解方法、设备和计算机可读存储介质
CN108089464A (zh) * 2017-11-02 2018-05-29 捷开通讯(深圳)有限公司 控制智能坐便器的方法、装置及存储装置
CN109308474A (zh) * 2018-09-26 2019-02-05 广东小天才科技有限公司 基于智能笔的眼镜拍照方法、智能笔、眼镜及存储介质
CN109901714A (zh) * 2019-02-28 2019-06-18 淮北幻境智能科技有限公司 一种电子纸笔系统及其控制方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336575A (zh) * 2013-06-27 2013-10-02 深圳先进技术研究院 一种人机交互的智能眼镜系统及交互方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336575A (zh) * 2013-06-27 2013-10-02 深圳先进技术研究院 一种人机交互的智能眼镜系统及交互方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
程序贤: ""虚实融合的三维人机交互技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105135265A (zh) * 2015-08-07 2015-12-09 天津中科智能技术研究院有限公司 一种智能台灯及其控制方法
CN105135265B (zh) * 2015-08-07 2017-08-08 天津茄丁科技有限公司 一种智能台灯及其控制方法
CN105303557A (zh) * 2015-09-21 2016-02-03 深圳先进技术研究院 一种可透视型智能眼镜及其透视方法
CN105303557B (zh) * 2015-09-21 2018-05-22 深圳先进技术研究院 一种可透视型智能眼镜及其透视方法
CN107066919A (zh) * 2016-12-21 2017-08-18 网易(杭州)网络有限公司 笔尖位置求解方法、设备和计算机可读存储介质
CN107066919B (zh) * 2016-12-21 2020-09-29 网易(杭州)网络有限公司 笔尖位置求解方法、设备和计算机可读存储介质
CN106781841A (zh) * 2017-01-20 2017-05-31 东莞市触梦网络科技有限公司 一种ar教画装置及其教画系统
CN108089464A (zh) * 2017-11-02 2018-05-29 捷开通讯(深圳)有限公司 控制智能坐便器的方法、装置及存储装置
CN109308474A (zh) * 2018-09-26 2019-02-05 广东小天才科技有限公司 基于智能笔的眼镜拍照方法、智能笔、眼镜及存储介质
CN109901714A (zh) * 2019-02-28 2019-06-18 淮北幻境智能科技有限公司 一种电子纸笔系统及其控制方法

Also Published As

Publication number Publication date
CN104656880B (zh) 2018-02-06

Similar Documents

Publication Publication Date Title
CN104656880A (zh) 一种基于智能眼镜的书写系统及方法
US11137875B2 (en) Mixed reality intelligent tether for dynamic attention direction
CN109313500B (zh) 纤细形状因子的无源光学和惯性跟踪
US10078377B2 (en) Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US7663649B2 (en) Information processing device and method for aiding control operations relating to controlling the position and orientation of a virtual object and method for changing the positioning and orientation of a virtual object
US20080186255A1 (en) Systems and methods for data annotation, recordation, and communication
US20210283496A1 (en) Realistic Virtual/Augmented/Mixed Reality Viewing and Interactions
US20120212405A1 (en) System and method for presenting virtual and augmented reality scenes to a user
CN103443746A (zh) 用户控制装置的在空间中的三维跟踪
CN115956259A (zh) 生成用于虚拟现实体验的基础真实数据集
US10884505B1 (en) Systems and methods for transitioning to higher order degree-of-freedom tracking
EP4105766A1 (en) Image display method and apparatus, and computer device and storage medium
CN104637080B (zh) 一种基于人机交互的三维绘图系统及方法
TWI453462B (zh) 智慧型電子裝置之虛擬望遠系統及其方法
CN103517061B (zh) 一种终端设备的显示控制方法及装置
CN104423578A (zh) 交互式输入系统和方法
CN103472919A (zh) 用于图像显示的智能眼镜系统及使用方法
JP2021136017A (ja) 仮想オブジェクトを作成し、レンダリングするための視覚的オブジェクト認識及び記憶された幾何学形状を使用する拡張現実システム
CN104679222A (zh) 基于人机交互的医疗办公系统、医疗信息共享系统及方法
CN104049773A (zh) 电子笔的书写位置数据处理方法、装置及一种书写系统
CN115868158A (zh) 一种显示调节方法、装置、设备及介质
US10559131B2 (en) Mediated reality
Sobota et al. Virtual reality technologies as an interface of cognitive communication and information systems
CN110956702A (zh) 一种基于时间轴的3d可视化编辑器和编辑方法
KR101265554B1 (ko) 3차원 광고 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant