CN112866678A - 一种基于ar智能眼镜的图像识别系统 - Google Patents
一种基于ar智能眼镜的图像识别系统 Download PDFInfo
- Publication number
- CN112866678A CN112866678A CN202110004483.2A CN202110004483A CN112866678A CN 112866678 A CN112866678 A CN 112866678A CN 202110004483 A CN202110004483 A CN 202110004483A CN 112866678 A CN112866678 A CN 112866678A
- Authority
- CN
- China
- Prior art keywords
- image
- unit
- dimensional
- information
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011521 glass Substances 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000010276 construction Methods 0.000 claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000004891 communication Methods 0.000 claims abstract description 4
- 230000002093 peripheral effect Effects 0.000 claims description 28
- 239000004984 smart glass Substances 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 8
- 238000013075 data extraction Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000004148 unit process Methods 0.000 claims description 5
- 238000012634 optical imaging Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 101000878595 Arabidopsis thaliana Squalene synthase 1 Proteins 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于AR智能眼镜的图像识别系统,属于AR智能眼镜应用技术领域,包括图像采集模块、图像处理模块、系统电源供电模块、声音播放模块和数据存储中心模块;其中,图像采集模块包括图像采集单元、图像预处理单元和数据传输单元;图像处理模块包括图像识别单元、三维构造单元、文本调取单元和三维显示单元;图像传输单元与图像识别单元电气连接;数据存储中心模块与声音播放模块和图像识别单元通信连接;本发明整体系统集成于AR智能眼镜上,便于穿戴,而且其通过特征提取和三维构建向用提供三维化的展示;有利于为教育行业提供实质帮助,而且能够增加学生的学习兴趣。
Description
技术领域
本发明涉及AR智能眼镜应用技术领域,尤其涉及一种基于AR智能眼镜的图像识别系统。
背景技术
经检索,中国专利号CN109856799A公开了一种防疲劳的头戴式AR教学眼镜,该发明虽然通过设置一系列的结构使其在使用过程中可以有效地起到防疲劳的作用,但时应用场景有限,无法为实际教学过程带来实质上帮助;图像识别,是指利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象的技术,一般分为人脸识别与物品识别两大模块;而AR智能眼镜是利用增强现实技术将虚拟物体应用到现实场景中智能设备;随着教育事业的不断发展,越来越多智能学习产品被研发出来,但这些产品大多都是基于平面的硬性教学,缺乏对学习物体的立体展示,无法给儿童进行立体感的教学,使得总体教学进度过慢,儿童理解起来也比较困难;而且过于平面化的教学也难以激发学生的兴趣;目前将AR智技术与图像识别技术应用到教学行业的发明少之又少;因此发明出一种基于AR智能眼镜的图像识别系统变得尤为重要。
现有的AR智能眼镜,大多应用于医疗、工业和娱乐等行业,而一部应用于教育行业的AR智能眼镜,其功能也相较单一,而且图像识别精度也不高,无法为学生提供实质上的学习帮助;为此,我们提出一种基于AR智能眼镜的图像识别系统。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷,而提出的一种基于AR智能眼镜的图像识别系统。
为了实现上述目的,本发明采用了如下技术方案:
一种基于AR智能眼镜的图像识别系统,包括图像采集模块、图像处理模块、系统电源供电模块、声音播放模块和数据存储中心模块;
其中,所述图像采集模块包括图像采集单元、图像预处理单元和数据传输单元;所述图像处理模块包括图像识别单元、三维构造单元、文本调取单元和三维显示单元;所述图像传输单元与图像识别单元电气连接;所述数据存储中心模块与声音播放模块和图像识别单元通信连接;所述系统供电模块与图像采集模块、图像处理模块、声音播放模块和数据存储中心模块连接。
进一步地,所述图像采集单元包括图像传感器和摄像头;所述图像传感器设置于AR智能眼镜的右镜框上,用于利用光学成像原理采集被检测物体的外围轮廓图像,得到外围轮廓信息;所述摄像头设置于AR智能眼镜的右镜框上,用于采集被拍摄物体的整体影像,得到整体影像信息。
进一步地,所述图像预处理单元用于接收外围轮廓信息和整体影像信息,并根据其进行各种处理,最后进行特征提取;所述图像预处理单元具体处理步骤如下:
S1:接收外围轮廓信息和整体影像信息,对其进行整合,得到完整图像信息;
S2:利用计算机视觉软件对S1得到完整图像信息进行去噪、扶正、增强和归一化操作,得到高精度完整图像信息;
S3:最后利用图像算法对外围轮廓信息、整体影像信息、完整图像信息和高精度完整图像信息进行比对,提取出被测物体图像特征点信息;
所述数据传输模块用于提取经过图像预处理单元处理后得到的被测物体图像特征点信息,并将其传输至图像识别单元。
进一步地,所述数据存储中心模块包括三维立体图单元、文本数据单元和音频数据单元;所述三维立体图单元用于存储各平面物体的三维立体图;所述文本数据单元用于存储各平面物体相关文本介绍;所述音频数据单元用于存储各平面物体相关音频介绍。
进一步地,所述图像识别单元包括智能识别子单元和数据提取子单元;所述智能识别子单元用于接收被测物体图像特征点信息,并通过调取数据存储中心模块的三维立体图进行图像识别;其具体识别过程如下:
SS1:根据被测物体图像特征点信息对三维立体图单元中的三维立体图进行筛选,得到被筛选三维立体图;
SS2:利用图像算法对SS1得到的被筛选三维立体图进行特征提取,得到被筛选三维立体图的图像特征点信息;
SS3:将被测物体图像特征点信息与被筛选三维立体图的图像特征点信息进行比对;若完全一致,则输出被筛选的三维立体图;
所述数据提取子单元用于根据被筛选的三维立体图对存储于文本数据单元相关文本介绍进行提取。
进一步地,所述三维构造单元用于接收被筛选三维立体图,并利用AR软件对其进行三维构造,得到三维立体图;所述文本调取单元用于调取其相关文本介绍;所述三维显示单元具体为AR智能眼镜的镜片,用于接收三维立体图和相关文本介绍,并对其做可视化展示。
进一步地,所述声音播放模块用于根据被筛选三维立体图对存储于音频数据单元的相关音频介绍进行调取播放;所述系统供电模块用于为整个AR智能眼镜的各种设备进行供电。
相比于现有技术,本发明的有益效果在于:
1、本发明设置有图像采集模块,其图像采集模块包括图像采集单元、图像预处理单元和数据传输单元;其中图像预处理单元过程具体包括:第一步:接收外围轮廓信息和整体影像信息,对其进行整合,得到完整图像信息;第二步:利用计算机视觉软件对第一步得到完整图像信息进行去噪、扶正、增强和归一化操作,得到高精度完整图像信息;第三步:最后利用图像算法对外围轮廓信息、整体影像信息、完整图像信息和高精度完整图像信息进行比对,提取出被测物体图像特征点信息;经过处理后的图像更加清晰,特征更加突出明显;有利于提高后续图像识别的精确度和准确度;
2、本发明设置图像处理模块,其中,图像处理模块包括图像识别单元、三维构造单元、文本调取单元和三维显示单元,通过特征比对筛选出三维立体图,然后利用软件进行三维立体图构建,最后通过AR智能眼镜的镜片进行三维立体图的可视化展示;此发明可应用于教育行业上,能够为学生提供立体式的展示,有利于帮助学生更加清晰透彻的理解被学习平面物体,增加学生的学习兴趣。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为本发明提出的一种基于AR智能眼镜的图像识别系统的整体结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
在本发明的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
参照图1,一种基于AR智能眼镜的图像识别系统,包括图像采集模块、图像处理模块、系统电源供电模块、声音播放模块和数据存储中心模块;
其中,图像采集模块包括图像采集单元、图像预处理单元和数据传输单元;图像处理模块包括图像识别单元、三维构造单元、文本调取单元和三维显示单元;图像传输单元与图像识别单元电气连接;数据存储中心模块与声音播放模块和图像识别单元通信连接;系统供电模块与图像采集模块、图像处理模块、声音播放模块和数据存储中心模块连接。
图像采集单元包括图像传感器和摄像头;图像传感器设置于AR智能眼镜的右镜框上,用于利用光学成像原理采集被检测物体的外围轮廓图像,得到外围轮廓信息;摄像头设置于AR智能眼镜的右镜框上,用于采集被拍摄物体的整体影像,得到整体影像信息。
图像预处理单元用于接收外围轮廓信息和整体影像信息,并根据其进行各种处理,最后进行特征提取;图像预处理单元具体处理步骤如下:
S1:接收外围轮廓信息和整体影像信息,对其进行整合,得到完整图像信息;
S2:利用计算机视觉软件对S1得到完整图像信息进行去噪、扶正、增强和归一化操作,得到高精度完整图像信息;
S3:最后利用图像算法对外围轮廓信息、整体影像信息、完整图像信息和高精度完整图像信息进行比对,提取出被测物体图像特征点信息;
数据传输模块用于提取经过图像预处理单元处理后得到的被测物体图像特征点信息,并将其传输至图像识别单元。
数据存储中心模块包括三维立体图单元、文本数据单元和音频数据单元;三维立体图单元用于存储各平面物体的三维立体图;文本数据单元用于存储各平面物体相关文本介绍;音频数据单元用于存储各平面物体相关音频介绍。
图像识别单元包括智能识别子单元和数据提取子单元;智能识别子单元用于接收被测物体图像特征点信息,并通过调取数据存储中心模块的三维立体图进行图像识别;其具体识别过程如下:
SS1:根据被测物体图像特征点信息对三维立体图单元中的三维立体图进行筛选,得到被筛选三维立体图;
SS2:利用图像算法对SS1得到的被筛选三维立体图进行特征提取,得到被筛选三维立体图的图像特征点信息;
SS3:将被测物体图像特征点信息与被筛选三维立体图的图像特征点信息进行比对;若完全一致,则输出被筛选的三维立体图;
数据提取子单元用于根据被筛选的三维立体图对存储于文本数据单元相关文本介绍进行提取。
三维构造单元用于接收被筛选三维立体图,并利用AR软件对其进行三维构造,得到三维立体图;文本调取单元用于调取其相关文本介绍;三维显示单元具体为AR智能眼镜的镜片,用于接收三维立体图和相关文本介绍,并对其做可视化展示。
声音播放模块用于根据被筛选三维立体图对存储于音频数据单元的相关音频介绍进行调取播放;系统供电模块用于为整个AR智能眼镜的各种设备进行供电。
本发明的工作原理及使用流程:该基于AR智能眼镜的图像识别系统,在使用前,用户需要将AR眼镜进行头部穿戴;穿戴好后,用户通过头部移动调整图像传感器和摄像头的空间位置,当图像传感器和摄像头对准被测平面物体时,图像传感器会利用光学成像原理采集被检测物体的外围轮廓图像,得到外围轮廓信息;而摄像头会采集被拍摄物体的整体影像,得到整体影像信息;之后图像预处理单元会接收外围轮廓信息和整体影像信息,并根据其进行各种处理,同时进行特征提取;接下来数据传输模块会提取经过图像预处理单元处理后得到的被测物体图像特征点信息,并将其传输至图像识别单元;然后智能识别子单元会接收被测物体图像特征点信息,并通过调取数据存储中心模块的三维立体图进行图像识别,而数据提取子单元会根据被筛选的三维立体图对存储于文本数据单元相关文本介绍进行提取;之后三维构造单元会接收被筛选三维立体图,并利用AR软件对其进行三维构造,得到三维立体图;而文本调取单元会调取其相关文本介绍;最后,AR智能眼镜的镜片会接收三维立体图和相关文本介绍,并对其做可视化展示;与此同时,声音播放模块会根据被筛选三维立体图对存储于音频数据单元的相关音频介绍进行调取播放;本发明通过对被采集到的物体图像进行去噪、扶正、增强和归一化处理,有利于提高后续图像识别的精度;而且本发明通过特征提取和三维构造,将三维立体图通过AR智能眼镜的镜片展示给用户,应用于教育行业上,则有利于帮助学生更加清晰透彻的理解被学习平面物体,增加学生的学习兴趣。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种基于AR智能眼镜的图像识别系统,其特征在于,包括图像采集模块、图像处理模块、系统电源供电模块、声音播放模块和数据存储中心模块;
其中,所述图像采集模块包括图像采集单元、图像预处理单元和数据传输单元;所述图像处理模块包括图像识别单元、三维构造单元、文本调取单元和三维显示单元;所述图像传输单元与图像识别单元电气连接;所述数据存储中心模块与声音播放模块和图像识别单元通信连接;所述系统供电模块与图像采集模块、图像处理模块、声音播放模块和数据存储中心模块连接。
2.根据权利要求1所述的一种基于AR智能眼镜的图像识别系统,其特征在于,所述图像采集单元包括图像传感器和摄像头;所述图像传感器设置于AR智能眼镜的右镜框上,用于利用光学成像原理采集被检测物体的外围轮廓图像,得到外围轮廓信息;所述摄像头设置于AR智能眼镜的右镜框上,用于采集被拍摄物体的整体影像,得到整体影像信息。
3.根据权利要求1所述的一种基于AR智能眼镜的图像识别系统,其特征在于,所述图像预处理单元用于接收外围轮廓信息和整体影像信息,并根据其进行各种处理,最后进行特征提取;所述图像预处理单元具体处理步骤如下:
S1:接收外围轮廓信息和整体影像信息,对其进行整合,得到完整图像信息;
S2:利用计算机视觉软件对S1得到完整图像信息进行去噪、扶正、增强和归一化操作,得到高精度完整图像信息;
S3:最后利用图像算法对外围轮廓信息、整体影像信息、完整图像信息和高精度完整图像信息进行比对,提取出被测物体图像特征点信息;
所述数据传输模块用于提取经过图像预处理单元处理后得到的被测物体图像特征点信息,并将其传输至图像识别单元。
4.根据权利要求1所述的一种基于AR智能眼镜的图像识别系统,其特征在于,所述数据存储中心模块包括三维立体图单元、文本数据单元和音频数据单元;所述三维立体图单元用于存储各平面物体的三维立体图;所述文本数据单元用于存储各平面物体相关文本介绍;所述音频数据单元用于存储各平面物体相关音频介绍。
5.根据权利要求1所述的一种基于AR智能眼镜的图像识别系统,其特征在于,所述图像识别单元包括智能识别子单元和数据提取子单元;所述智能识别子单元用于接收被测物体图像特征点信息,并通过调取数据存储中心模块的三维立体图进行图像识别;其具体识别过程如下:
SS1:根据被测物体图像特征点信息对三维立体图单元中的三维立体图进行筛选,得到被筛选三维立体图;
SS2:利用图像算法对SS1得到的被筛选三维立体图进行特征提取,得到被筛选三维立体图的图像特征点信息;
SS3:将被测物体图像特征点信息与被筛选三维立体图的图像特征点信息进行比对;若完全一致,则输出被筛选的三维立体图;
所述数据提取子单元用于根据被筛选的三维立体图对存储于文本数据单元相关文本介绍进行提取。
6.根据权利要求1所述的一种基于AR智能眼镜的图像识别系统,其特征在于,所述三维构造单元用于接收被筛选三维立体图,并利用AR软件对其进行三维构造,得到三维立体图;所述文本调取单元用于调取其相关文本介绍;所述三维显示单元具体为AR智能眼镜的镜片,用于接收三维立体图和相关文本介绍,并对其做可视化展示。
7.根据权利要求1所述的一种基于AR智能眼镜的图像识别系统,其特征在于,所述声音播放模块用于根据被筛选三维立体图对存储于音频数据单元的相关音频介绍进行调取播放;所述系统供电模块用于为整个AR智能眼镜的各种设备进行供电。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110004483.2A CN112866678A (zh) | 2021-01-04 | 2021-01-04 | 一种基于ar智能眼镜的图像识别系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110004483.2A CN112866678A (zh) | 2021-01-04 | 2021-01-04 | 一种基于ar智能眼镜的图像识别系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112866678A true CN112866678A (zh) | 2021-05-28 |
Family
ID=76001427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110004483.2A Pending CN112866678A (zh) | 2021-01-04 | 2021-01-04 | 一种基于ar智能眼镜的图像识别系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112866678A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160054791A1 (en) * | 2014-08-25 | 2016-02-25 | Daqri, Llc | Navigating augmented reality content with a watch |
CN108877344A (zh) * | 2018-07-20 | 2018-11-23 | 荆明明 | 一种基于增强现实技术的多功能英语学习系统 |
CN109215416A (zh) * | 2018-10-24 | 2019-01-15 | 天津工业大学 | 一种基于增强现实技术的汉字辅助学习系统及方法 |
CN109255990A (zh) * | 2018-09-30 | 2019-01-22 | 杭州乔智科技有限公司 | 一种基于ar增强现实的教学系统 |
CN109917906A (zh) * | 2019-01-24 | 2019-06-21 | 北京德火科技有限责任公司 | 一种基于增强现实技术实现景点互动的方法及系统 |
-
2021
- 2021-01-04 CN CN202110004483.2A patent/CN112866678A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160054791A1 (en) * | 2014-08-25 | 2016-02-25 | Daqri, Llc | Navigating augmented reality content with a watch |
CN108877344A (zh) * | 2018-07-20 | 2018-11-23 | 荆明明 | 一种基于增强现实技术的多功能英语学习系统 |
CN109255990A (zh) * | 2018-09-30 | 2019-01-22 | 杭州乔智科技有限公司 | 一种基于ar增强现实的教学系统 |
CN109215416A (zh) * | 2018-10-24 | 2019-01-15 | 天津工业大学 | 一种基于增强现实技术的汉字辅助学习系统及方法 |
CN109917906A (zh) * | 2019-01-24 | 2019-06-21 | 北京德火科技有限责任公司 | 一种基于增强现实技术实现景点互动的方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106575039B (zh) | 具有确定用户眼镜特性的眼睛跟踪设备的平视显示器 | |
CN110348387B (zh) | 一种图像数据处理方法、装置以及计算机可读存储介质 | |
CN107277495B (zh) | 一种基于视频透视的智能眼镜系统及其透视方法 | |
CN106095089A (zh) | 一种获取感兴趣目标信息的方法 | |
CN108983982B (zh) | Ar头显设备与终端设备组合系统 | |
EP4345777A1 (en) | Living body detection method and apparatus, and training method and apparatus for living body detection system | |
CN107105333A (zh) | 一种基于视线追踪技术的vr视频直播交互方法与装置 | |
CN104408764A (zh) | 眼镜虚拟试戴方法、装置及系统 | |
CN105704479A (zh) | 3d显示系统用的测量人眼瞳距的方法及系统和显示设备 | |
CN110363867A (zh) | 虚拟装扮系统、方法、设备及介质 | |
CN104036488A (zh) | 一种基于双目视觉的人体姿态动作研究方法 | |
WO2019143793A1 (en) | Position tracking system for head-mounted displays that includes sensor integrated circuits | |
CN111598168B (zh) | 图像分类方法、装置、计算机设备及介质 | |
CN106652590A (zh) | 教学方法、教学识别体及教学系统 | |
CN108230384A (zh) | 图像深度计算方法、装置、存储介质和电子设备 | |
CN114120432A (zh) | 基于视线估计的在线学习注意力跟踪方法及其应用 | |
CN113467619A (zh) | 画面显示方法、装置和存储介质及电子设备 | |
CN104750933A (zh) | 一种基于互联网的眼镜试戴方法及系统 | |
CN108846343B (zh) | 基于三维视频的多任务协同分析方法 | |
CN104865704B (zh) | 一种基于移动设备的透射式与非透射式可切换头戴设备 | |
CN112084398A (zh) | 配饰推荐方法、配饰的虚拟试戴方法、装置及电子设备 | |
CN112101123A (zh) | 一种注意力检测方法及装置 | |
CN111009031A (zh) | 一种人脸模型生成的方法、模型生成的方法及装置 | |
CN114140880A (zh) | 步态识别方法和装置 | |
CN112183200A (zh) | 一种基于视频图像的眼动追踪方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210528 |