CN104598014A - 一种智能眼镜系统以及其识别平面的方法 - Google Patents
一种智能眼镜系统以及其识别平面的方法 Download PDFInfo
- Publication number
- CN104598014A CN104598014A CN201310530763.2A CN201310530763A CN104598014A CN 104598014 A CN104598014 A CN 104598014A CN 201310530763 A CN201310530763 A CN 201310530763A CN 104598014 A CN104598014 A CN 104598014A
- Authority
- CN
- China
- Prior art keywords
- intelligent glasses
- infrared ray
- plane
- grid
- ray matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明提供一种智能眼镜系统以及其识别平面的方法。所述方法包括：S1、采用智能眼镜的LED网格单元投射红外线矩阵网格到被测平面；S2、采用智能眼镜的摄像单元检测红外线矩阵网格投射到被测平面后的散射红外线，得到红外线矩阵网格的变化数据；S3、采用智能眼镜的计算单元对红外线矩阵网格的变化数据进行计算，得到被测平面相对于智能眼镜的角度和距离；S4、采用智能眼镜的显示单元根据被测平面相对于智能眼镜的角度和距离调整图像，并将调整后的图像投射到被测平面。智能眼镜在检测到被测平面之后，就能根据智能眼镜相对于平面的位置关系将图像画面投影到被测平面上，让任何平面在智能眼镜系统中都可以成为一个图像显示的画面。
Description
技术领域
本发明涉及智能眼镜，尤其涉及一种智能眼镜系统以及其识别平面的方法。
背景技术
目前，智能眼镜已经渐渐进入人们的视野中，对于可透视型智能眼镜来说，当人戴上这种眼镜后，周围可见光能够透过眼镜镜片，人的双眼能够正常看到四周的环境。同时，智能眼镜能够将一些图像信息叠加在人的真实视野上，由于拥有这样的特性，可透视型智能眼镜将在众多行业和领域发挥巨大作用。但是，现有的可透视型智能眼镜都是将图像悬空进行显示，当人戴着智能眼镜观看智能眼镜中的图像时，智能眼镜中的图像总是出现在人的视野前方。但在，某些特殊场合的应用中，需要将智能眼镜投射出的图像放在一个固定的平面上进行显示，比如需要将某一个平面变成一个界面，然后智能眼镜的佩戴者可以在此平面上实现一些在电脑桌面上能够完成的工作，此时就需要智能眼镜能够识别出佩戴者相对于眼前某一个平面的角度和距离。同时，若佩戴者的面前有好几个不同的平面，智能眼镜也需要能从这些平面中找出一个最大的平面。
发明内容
本发明的目的在于提供一种智能眼镜系统以及其识别平面的方法，智能眼镜在检测到被测平面之后，就能根据智能眼镜相对于平面的位置关系将图像画面投影到被测平面上，让任何平面在智能眼镜系统中都可以成为一个图像显示的画面。
为了达到上述目的，本发明提供了一种智能眼镜系统，用于识别平面，其包括LED网格单元、摄像单元、计算单元、显示单元以及连接以上各单元的主控制单元；
所述LED网格单元投射红外线矩阵网格到被测平面；
所述摄像单元检测红外线矩阵网格投射到被测平面后的散射红外线，得到红外线矩阵网格的变化数据；
计算单元对红外线矩阵网格的变化数据进行计算，得到被测平面相对于智能眼镜的角度和距离；
显示单元根据被测平面相对于智能眼镜的角度和距离调整图像，并将调整后的图像投射到被测平面。
优选的，所述LED网格单元包括红外LED和位于红外LED前方的挡板，所述挡板刻有网格槽。
优选的，所述主控制单元集成有信息采集和信息存储的功能。
优选的，所述智能眼镜系统还包括与主控制单元连接的通信单元和存储单元，所述通信单元用于采集各种信息，所述存储单元用于存储各种信息。
为了达到上述目的，本发明还提供了一种基于智能眼镜识别平面的方法，其包括如下步骤：
S1、采用智能眼镜的LED网格单元投射红外线矩阵网格到被测平面；
S2、采用智能眼镜的摄像单元检测红外线矩阵网格投射到被测平面后的散射红外线，得到红外线矩阵网格的变化数据；
S3、采用智能眼镜的计算单元对红外线矩阵网格的变化数据进行计算，得到被测平面相对于智能眼镜的角度和距离；
S4、采用智能眼镜的显示单元根据被测平面相对于智能眼镜的角度和距离调整图像，并将调整后的图像投射到被测平面。
优选的，在步骤S1中，所述LED网格单元位于智能眼镜中间位置，其包括红外LED和位于红外LED前方的挡板，所述挡板刻有网格槽。
优选的，在步骤S2中，所述摄像单元包括左摄像头和右摄像头，左、右摄像头对称的安装于智能眼镜的左右两端。
优选的，根据步骤S3，当投射出的红外线矩阵网格与被测平面平行时，采用双目立体视觉技术计算出被测平面相对于智能眼镜的距离。
优选的，根据步骤S3，当投射出的红外线矩阵网格与被测平面成角度倾斜时，采用透视效应分析红外线矩阵网格的变形情况，以得到被测平面相对于智能眼镜的角度和距离。
优选的，在步骤S3中，根据红外线矩阵网格的变化数据，还可以得到被测平面的面积。
本发明提供了一种智能眼镜系统以及其识别平面的方法。所述方法包括：S1、采用智能眼镜的LED网格单元投射红外线矩阵网格到被测平面；S2、采用智能眼镜的摄像单元检测红外线矩阵网格投射到被测平面后的散射红外线，得到红外线矩阵网格的变化数据；S3、采用智能眼镜的计算单元对红外线矩阵网格的变化数据进行计算，得到被测平面相对于智能眼镜的角度和距离；S4、采用智能眼镜的显示单元根据被测平面相对于智能眼镜的角度和距离调整图像，并将调整后的图像投射到被测平面。智能眼镜在检测到被测平面之后，就能根据智能眼镜相对于平面的位置关系将图像画面投影到被测平面上，让任何平面在智能眼镜系统中都可以成为一个图像显示的画面。
附图说明
图1为本发明智能眼镜系统的系统示意图；
图2为本发明智能眼镜系统中智能眼镜的示意图；
图3为本发明智能眼镜系统中LED网格单元的结构示意图；
图4为本发明中基于智能眼镜识别平面的方法流程图；
图5为本发明中一实施例的智能眼镜坐标系示意图；
图6为本发明中又一实施例中所采用双目立体视觉技术的示意图；
图7为本发明中又一实施例中待测平面模型的结构示意图；
图8为图7中待测平面模型的正对智能眼镜佩戴者的示意图；
图9为图7中待测平面模型与智能眼镜佩戴者成角度倾斜的示意图。
具体实施方式
下面将结合附图以及具体实施例来对本发明作进一步详细说明。
请参考图1，本发明涉及一种智能眼镜系统100，用于识别平面，其包括LED网格单元20、摄像单元30、计算单元40、显示单元50以及连接以上各单元的主控制单元60。
请结合参考图2和3，所述LED网格单元20设置在智能眼镜（未标示）的中间位置，包括一个红外LED21和一个经过精密加工的挡板22。所述挡板22上刻有细小的网格槽，所述挡板22设置于红外LED21的前方，通过这样的方式，最终将会产生一个红外线矩阵网格，并投射到被测平面。
请结合参考图2，所述摄像单元30包括左摄像头31和右摄像头32，两个摄像头31、32对称的安装于智能眼镜的左右两端，用于检测红外线矩阵网格投射到被测平面后的散射红外线，以得到红外线矩阵网格的变化数据。
所述计算单元40与摄像单元30连接，用于计算摄像单元30所检测得到的红外线矩阵网格的变化数据，得到被测平面相对于智能眼镜的角度和距离，并可进一步得到被测平面的面积。
所述显示单元50与计算单元40连接，用于根据被测平面相对于智能眼镜的角度和距离调整图像，并将调整后的图像投射到被测平面，让智能眼镜佩戴者感觉智能眼镜中显示的图像画面位于该平面上一样。
所述主控制单元60连接着LED网格单元20、摄像单元30、计算单元40和显示单元50，用于控制该等单元的执行过程。
在本发明一较佳实施例中，本发明所述的智能眼镜系统100，其主控制单元60可以集成计算单元40和显示单元50的功能。
在本发明另一较佳实施例中，本发明所述的智能眼镜系统100，还包括与主控制单元60连接的通信单元（未图示）和存储单元（未图示），所述通信单元用于采集各种信息，所述存储单元用于存储各种信息。
在本发明另一较佳实施例中，本发明所述的智能眼镜系统100，其主控制单元60可以集成信息采集和信息存储的功能。
本发明根据以上所述的智能眼镜系统，在其计算出某一平面相对于智能眼镜的角度和距离之后，也就得到了相机坐标系的坐标，根据这一坐标进行图形变化，就能够让佩戴者在佩戴智能眼镜进行信息游览时，感觉图像画面是固定在某一个平面上的。
请参考图4，本发明还提供了一种基于智能眼镜识别平面的方法，其包括如下步骤：
S1、采用智能眼镜的LED网格单元投射红外线矩阵网格到被测平面；
在步骤S1中，所述LED网格单元可以投射出一个由一系列正交直线组成的网格平面，该网格平面在投射到不同平面上时，会发生变形。
S2、采用智能眼镜的摄像单元检测红外线矩阵网格投射到被测平面后的散射红外线，得到红外线矩阵网格的变化数据；
在步骤S2中，散射的红外线会被智能眼镜两侧的左、右摄像头检测到，得到红外线矩阵网格的变化数据。
S3、采用智能眼镜的计算单元对红外线矩阵网格的变化数据进行计算，得到被测平面相对于智能眼镜的角度和距离；
根据步骤S3，在本发明的一种实施例中，智能眼镜相对于需要识别的平面有一个倾角的情况，请参考图5，以LED网格单元为坐标原点O，以经过坐标原点O并平行于智能眼镜投射图像画面的平面为OYZ平面建立如图所示的右手坐标系OXYZ。在图中，平面ABCD为投射出的红外线矩阵网格。当红外线矩阵网格平面ABCD投射到智能眼镜佩戴者眼前的平面时，由于透视效应，红外线矩阵网格将会发生形状改变。散射的红外线会被智能眼镜两侧的左、右摄像头检测到，得到红外线矩阵网格的变化数据。通过分析和计算散射的红外线，就能够知道智能眼镜相对于投射平面的角度和距离。
在本发明的另一种实施例中，当红外线矩阵网格平行于投射平面时，相当于平行投影，红外线矩阵网格不再表现出透视效应。此时，需要基于双目立体视觉的原理计算投射平面相对于智能眼镜的距离，如图6所示，图中为双目立体视觉算法的基本原理。双目立体视觉技术基于视差原理，在图中，l1、l2分别为两个平行放置的摄像头，在本发明中，l1、l2分别代表左摄像头、右摄像头。B代表两个摄像头光心之间的距离，f为摄像头的焦距。P(x,y,z)为网格线上的空间点，(x,y,z)为其三维坐标，P1(x1,y1)、P2(x2,y2)分别为P点在两个摄像头像平面上的像点坐标，其中P点的视差为d=x1-x2，通过几何关系可以计算出P点的深度为：z=fB/(x1-x2)=fB/d。于是，通过采用立体视觉算法就可以计算出P点在智能眼镜坐标系中的Z坐标。由于P点位于红外线矩阵网格上，因此也可以得到投射平面相对于智能眼镜的距离。
请参考图7至图9，为基于双目立体视觉原理计算投射平面相对于智能眼镜距离的具体实施例。请参考图7，其为一个需要识别的模型，模型中有两个平面，深度不一样，现在假设需要识别处于底部的平面。图8显示的是智能眼镜的佩戴者正对着平面的情况，此时为平行投影，红外线矩阵网格没有透视效应。因此，需要采用双目立体视觉的算法对反射的红外线矩阵网格进行计算。同时，由于红外线矩阵网格在投射出去后，会发生一定程度的膨胀，因此在计算之前需要对反射的红外线矩阵网格进行腐蚀操作。由于模型中的两个平面深度不一样，因此表现在摄像机中的深度也不一样，通过双目立体视觉技术，就能够得出底部平面相对于智能眼镜的距离。图9为智能眼镜佩戴者与模型成一定角度的情况，此时，红外线矩阵网格表现出一定的透视效应。同时，由于红外线矩阵网格投射到了不同的平面上，因此红外线矩阵网格发生了明显的变形，即同一条直线在平面交线处发生了偏折。对红外线矩阵网格的变化进行分析和计算后，就能够得到底部平面的大小以及相对于智能眼镜的角度和距离。
S4、采用智能眼镜的显示单元根据被测平面相对于智能眼镜的角度和距离调整图像，并将调整后的图像投射到被测平面。
在步骤S4中，在计算出被测平面相对于智能眼镜的角度和距离之后，也就得到了相机坐标系的坐标，根据这一坐标进行图形变化，就能够让佩戴者在佩戴智能眼镜进行信息游览时，感觉图像画面是固定在某一个平面上的。
综合来说，本发明有以下几点好处，1、由于本发明是通过对投射出的红外线矩阵网格进行分析，因此本发明可以避免平面上的纹理带来的干扰；2、由于目前计算机立体视觉中主要是通过分析图像上纹理的变化来进行距离测量，而本发明只分析自身投射出的红外线矩阵网格，这就可以避免平面上纹理的干扰；3、本发明只对投射出的红外线矩阵网格进行分析，而不是对整个图像进行分析，因此本发明的效率更高；4、由于本发明投射出的红外线矩阵网格在遇到不同平面时，网格线将会发生变形，因此在检测平面的效率和准确性上将会更高，即使不同平面上的纹理一样，本发明提供的方法也能够将待测平面检测出来。
可以理解的是，对于本领域的普通技术人员来说，可以根据本发明的技术构思做出其他各种相应的改变与变形，而所有这些改变与变形都应属于本发明权利要求的保护范围。
Claims (10)
1.一种智能眼镜系统，用于识别平面，其特征在于，包括LED网格单元、摄像单元、计算单元、显示单元以及连接以上各单元的主控制单元；
所述LED网格单元投射红外线矩阵网格到被测平面；
所述摄像单元检测红外线矩阵网格投射到被测平面后的散射红外线，得到红外线矩阵网格的变化数据；
计算单元对红外线矩阵网格的变化数据进行计算，得到被测平面相对于智能眼镜的角度和距离；
显示单元根据被测平面相对于智能眼镜的角度和距离调整图像，并将调整后的图像投射到被测平面。
2.根据权利要求1所述的智能眼镜系统，其特征在于：所述LED网格单元包括红外LED和位于红外LED前方的挡板，所述挡板刻有网格槽。
3.根据权利要求1所述的智能眼镜系统，其特征在于：所述主控制单元集成有信息采集和信息存储的功能。
4.根据权利要求1所述的智能眼镜系统，其特征在于：所述智能眼镜系统还包括与主控制单元连接的通信单元和存储单元，所述通信单元用于采集各种信息，所述存储单元用于存储各种信息。
5.一种基于智能眼镜识别平面的方法，其特征在于，包括如下步骤：
S1、采用智能眼镜的LED网格单元投射红外线矩阵网格到被测平面；
S2、采用智能眼镜的摄像单元检测红外线矩阵网格投射到被测平面后的散射红外线，得到红外线矩阵网格的变化数据；
S3、采用智能眼镜的计算单元对红外线矩阵网格的变化数据进行计算，得到被测平面相对于智能眼镜的角度和距离；
S4、采用智能眼镜的显示单元根据被测平面相对于智能眼镜的角度和距离调整图像，并将调整后的图像投射到被测平面。
6.根据权利要求5所述的方法，其特征在于，在步骤S1中，所述LED网格单元位于智能眼镜中间位置，其包括红外LED和位于红外LED前方的挡板，所述挡板刻有网格槽。
7.根据权利要求6所述的使用方法，其特征在于，在步骤S2中，所述摄像单元包括左摄像头和右摄像头，左、右摄像头对称的安装于智能眼镜的左右两端。
8.根据权利要求5所述的使用方法，其特征在于，根据步骤S3，当投射出的红外线矩阵网格与被测平面平行时，采用双目立体视觉技术计算出被测平面相对于智能眼镜的距离。
9.根据权利要求5所述的使用方法，其特征在于，根据步骤S3，当投射出的红外线矩阵网格与被测平面成角度倾斜时，采用透视效应分析红外线矩阵网格的变形情况，以得到被测平面相对于智能眼镜的角度和距离。
10.根据权利要求5所述的使用方法，其特征在于，在步骤S3中，根据红外线矩阵网格的变化数据，还可以得到被测平面的面积。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310530763.2A CN104598014B (zh) | 2013-10-31 | 2013-10-31 | 一种智能眼镜系统以及其识别平面的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310530763.2A CN104598014B (zh) | 2013-10-31 | 2013-10-31 | 一种智能眼镜系统以及其识别平面的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104598014A true CN104598014A (zh) | 2015-05-06 |
| CN104598014B CN104598014B (zh) | 2018-02-06 |
Family
ID=53123859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310530763.2A Active CN104598014B (zh) | 2013-10-31 | 2013-10-31 | 一种智能眼镜系统以及其识别平面的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104598014B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100546821B1 (ko) * | 2003-11-05 | 2006-01-25 | (주) 넥스트코드 | 홍채인식기의 조명장치 |
| CN102760234A (zh) * | 2011-04-14 | 2012-10-31 | 财团法人工业技术研究院 | 深度图像采集装置、系统及其方法 |
| CN102788573A (zh) * | 2012-08-07 | 2012-11-21 | 深圳供电局有限公司 | 一种线结构光定位投射影像获取装置 |
| CN103344196A (zh) * | 2013-07-11 | 2013-10-09 | 上海大学 | 单镜头结构光立体成像的装置及对管道内场景立体成像的方法 |
-
2013
- 2013-10-31 CN CN201310530763.2A patent/CN104598014B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100546821B1 (ko) * | 2003-11-05 | 2006-01-25 | (주) 넥스트코드 | 홍채인식기의 조명장치 |
| CN102760234A (zh) * | 2011-04-14 | 2012-10-31 | 财团法人工业技术研究院 | 深度图像采集装置、系统及其方法 |
| CN102788573A (zh) * | 2012-08-07 | 2012-11-21 | 深圳供电局有限公司 | 一种线结构光定位投射影像获取装置 |
| CN103344196A (zh) * | 2013-07-11 | 2013-10-09 | 上海大学 | 单镜头结构光立体成像的装置及对管道内场景立体成像的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104598014B (zh) | 2018-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10896497B2 (en) | Inconsistency detecting system, mixed-reality system, program, and inconsistency detecting method | |
| EP3752898B1 (en) | External ir illuminator enabling improved head tracking and surface reconstruction for virtual reality | |
| EP3769146B1 (en) | Hybrid depth detection and movement detection | |
| US20200204788A1 (en) | Methods and systems for multiple access to a single hardware data stream | |
| US11533466B2 (en) | Active stereo matching for depth applications | |
| US11269406B1 (en) | Systems and methods for calibrating eye tracking | |
| CN105354825B (zh) | 自动识别读写场景中读物位置的智能装置及其应用 | |
| US20220076373A1 (en) | Foveated rendering using eye motion | |
| US10728518B2 (en) | Movement detection in low light environments | |
| CN105354822B (zh) | 自动识别读写场景中读写元素位置的智能装置及应用 | |
| JP2014106642A (ja) | 光学式シースルー型ｈｍｄを用いたａｒシステム | |
| US10296098B2 (en) | Input/output device, input/output program, and input/output method | |
| CN103543835B (zh) | 一种lcd显示视角的调节方法、装置和系统 | |
| WO2020141446A1 (en) | Systems and/or methods for parallax correction in large area transparent touch interfaces | |
| Piérard et al. | I-see-3d! an interactive and immersive system that dynamically adapts 2d projections to the location of a user's eyes | |
| CN104598015A (zh) | 一种基于智能眼镜的信息共享系统及方法 | |
| CN104598014A (zh) | 一种智能眼镜系统以及其识别平面的方法 | |
| US20170302904A1 (en) | Input/output device, input/output program, and input/output method | |
| KR102616646B1 (ko) | 스크린 기반 무안경 vr을 위한 실시간 영상정합 시스템 및 그 영상정합 검증방법 | |
| WO2019055260A1 (en) | SYSTEMS AND METHODS FOR CALIBRATING IMAGING SENSORS AND SPATIAL ORIENTATION | |
| KR20100062774A (ko) | 동화상 입력장치를 이용한 3차원 가상현실 디스플레이 시스템 및 방법 | |
| JP7000935B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| Cosmo et al. | A low cost tracking system for position-dependent 3D visual interaction | |
| CN116577940A (zh) | 一种空气成像控制方法、系统、设备及可读存储介质 | |
| KR101383082B1 (ko) | 3차원 좌표 입력 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |