CN112866678A - 一种基于ar智能眼镜的图像识别系统 - Google Patents

一种基于ar智能眼镜的图像识别系统 Download PDF

Info

Publication number
CN112866678A
CN112866678A CN202110004483.2A CN202110004483A CN112866678A CN 112866678 A CN112866678 A CN 112866678A CN 202110004483 A CN202110004483 A CN 202110004483A CN 112866678 A CN112866678 A CN 112866678A
Authority
CN
China
Prior art keywords
image
unit
dimensional
information
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110004483.2A
Other languages
English (en)
Inventor
张晓峰
王青峰
刘波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gifpay Information Technology Co ltd
Original Assignee
Gifpay Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gifpay Information Technology Co ltd filed Critical Gifpay Information Technology Co ltd
Priority to CN202110004483.2A priority Critical patent/CN112866678A/zh
Publication of CN112866678A publication Critical patent/CN112866678A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于AR智能眼镜的图像识别系统,属于AR智能眼镜应用技术领域,包括图像采集模块、图像处理模块、系统电源供电模块、声音播放模块和数据存储中心模块;其中,图像采集模块包括图像采集单元、图像预处理单元和数据传输单元;图像处理模块包括图像识别单元、三维构造单元、文本调取单元和三维显示单元;图像传输单元与图像识别单元电气连接;数据存储中心模块与声音播放模块和图像识别单元通信连接;本发明整体系统集成于AR智能眼镜上,便于穿戴,而且其通过特征提取和三维构建向用提供三维化的展示;有利于为教育行业提供实质帮助,而且能够增加学生的学习兴趣。

Description

一种基于AR智能眼镜的图像识别系统
技术领域
本发明涉及AR智能眼镜应用技术领域,尤其涉及一种基于AR智能眼镜的图像识别系统。
背景技术
经检索,中国专利号CN109856799A公开了一种防疲劳的头戴式AR教学眼镜,该发明虽然通过设置一系列的结构使其在使用过程中可以有效地起到防疲劳的作用,但时应用场景有限,无法为实际教学过程带来实质上帮助;图像识别,是指利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象的技术,一般分为人脸识别与物品识别两大模块;而AR智能眼镜是利用增强现实技术将虚拟物体应用到现实场景中智能设备;随着教育事业的不断发展,越来越多智能学习产品被研发出来,但这些产品大多都是基于平面的硬性教学,缺乏对学习物体的立体展示,无法给儿童进行立体感的教学,使得总体教学进度过慢,儿童理解起来也比较困难;而且过于平面化的教学也难以激发学生的兴趣;目前将AR智技术与图像识别技术应用到教学行业的发明少之又少;因此发明出一种基于AR智能眼镜的图像识别系统变得尤为重要。
现有的AR智能眼镜,大多应用于医疗、工业和娱乐等行业,而一部应用于教育行业的AR智能眼镜,其功能也相较单一,而且图像识别精度也不高,无法为学生提供实质上的学习帮助;为此,我们提出一种基于AR智能眼镜的图像识别系统。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷,而提出的一种基于AR智能眼镜的图像识别系统。
为了实现上述目的,本发明采用了如下技术方案:
一种基于AR智能眼镜的图像识别系统,包括图像采集模块、图像处理模块、系统电源供电模块、声音播放模块和数据存储中心模块;
其中,所述图像采集模块包括图像采集单元、图像预处理单元和数据传输单元;所述图像处理模块包括图像识别单元、三维构造单元、文本调取单元和三维显示单元;所述图像传输单元与图像识别单元电气连接;所述数据存储中心模块与声音播放模块和图像识别单元通信连接;所述系统供电模块与图像采集模块、图像处理模块、声音播放模块和数据存储中心模块连接。
进一步地,所述图像采集单元包括图像传感器和摄像头;所述图像传感器设置于AR智能眼镜的右镜框上,用于利用光学成像原理采集被检测物体的外围轮廓图像,得到外围轮廓信息;所述摄像头设置于AR智能眼镜的右镜框上,用于采集被拍摄物体的整体影像,得到整体影像信息。
进一步地,所述图像预处理单元用于接收外围轮廓信息和整体影像信息,并根据其进行各种处理,最后进行特征提取;所述图像预处理单元具体处理步骤如下:
S1:接收外围轮廓信息和整体影像信息,对其进行整合,得到完整图像信息;
S2:利用计算机视觉软件对S1得到完整图像信息进行去噪、扶正、增强和归一化操作,得到高精度完整图像信息;
S3:最后利用图像算法对外围轮廓信息、整体影像信息、完整图像信息和高精度完整图像信息进行比对,提取出被测物体图像特征点信息;
所述数据传输模块用于提取经过图像预处理单元处理后得到的被测物体图像特征点信息,并将其传输至图像识别单元。
进一步地,所述数据存储中心模块包括三维立体图单元、文本数据单元和音频数据单元;所述三维立体图单元用于存储各平面物体的三维立体图;所述文本数据单元用于存储各平面物体相关文本介绍;所述音频数据单元用于存储各平面物体相关音频介绍。
进一步地,所述图像识别单元包括智能识别子单元和数据提取子单元;所述智能识别子单元用于接收被测物体图像特征点信息,并通过调取数据存储中心模块的三维立体图进行图像识别;其具体识别过程如下:
SS1:根据被测物体图像特征点信息对三维立体图单元中的三维立体图进行筛选,得到被筛选三维立体图;
SS2:利用图像算法对SS1得到的被筛选三维立体图进行特征提取,得到被筛选三维立体图的图像特征点信息;
SS3:将被测物体图像特征点信息与被筛选三维立体图的图像特征点信息进行比对;若完全一致,则输出被筛选的三维立体图;
所述数据提取子单元用于根据被筛选的三维立体图对存储于文本数据单元相关文本介绍进行提取。
进一步地,所述三维构造单元用于接收被筛选三维立体图,并利用AR软件对其进行三维构造,得到三维立体图;所述文本调取单元用于调取其相关文本介绍;所述三维显示单元具体为AR智能眼镜的镜片,用于接收三维立体图和相关文本介绍,并对其做可视化展示。
进一步地,所述声音播放模块用于根据被筛选三维立体图对存储于音频数据单元的相关音频介绍进行调取播放;所述系统供电模块用于为整个AR智能眼镜的各种设备进行供电。
相比于现有技术,本发明的有益效果在于:
1、本发明设置有图像采集模块,其图像采集模块包括图像采集单元、图像预处理单元和数据传输单元;其中图像预处理单元过程具体包括:第一步:接收外围轮廓信息和整体影像信息,对其进行整合,得到完整图像信息;第二步:利用计算机视觉软件对第一步得到完整图像信息进行去噪、扶正、增强和归一化操作,得到高精度完整图像信息;第三步:最后利用图像算法对外围轮廓信息、整体影像信息、完整图像信息和高精度完整图像信息进行比对,提取出被测物体图像特征点信息;经过处理后的图像更加清晰,特征更加突出明显;有利于提高后续图像识别的精确度和准确度;
2、本发明设置图像处理模块,其中,图像处理模块包括图像识别单元、三维构造单元、文本调取单元和三维显示单元,通过特征比对筛选出三维立体图,然后利用软件进行三维立体图构建,最后通过AR智能眼镜的镜片进行三维立体图的可视化展示;此发明可应用于教育行业上,能够为学生提供立体式的展示,有利于帮助学生更加清晰透彻的理解被学习平面物体,增加学生的学习兴趣。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为本发明提出的一种基于AR智能眼镜的图像识别系统的整体结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
在本发明的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
参照图1,一种基于AR智能眼镜的图像识别系统,包括图像采集模块、图像处理模块、系统电源供电模块、声音播放模块和数据存储中心模块;
其中,图像采集模块包括图像采集单元、图像预处理单元和数据传输单元;图像处理模块包括图像识别单元、三维构造单元、文本调取单元和三维显示单元;图像传输单元与图像识别单元电气连接;数据存储中心模块与声音播放模块和图像识别单元通信连接;系统供电模块与图像采集模块、图像处理模块、声音播放模块和数据存储中心模块连接。
图像采集单元包括图像传感器和摄像头;图像传感器设置于AR智能眼镜的右镜框上,用于利用光学成像原理采集被检测物体的外围轮廓图像,得到外围轮廓信息;摄像头设置于AR智能眼镜的右镜框上,用于采集被拍摄物体的整体影像,得到整体影像信息。
图像预处理单元用于接收外围轮廓信息和整体影像信息,并根据其进行各种处理,最后进行特征提取;图像预处理单元具体处理步骤如下:
S1:接收外围轮廓信息和整体影像信息,对其进行整合,得到完整图像信息;
S2:利用计算机视觉软件对S1得到完整图像信息进行去噪、扶正、增强和归一化操作,得到高精度完整图像信息;
S3:最后利用图像算法对外围轮廓信息、整体影像信息、完整图像信息和高精度完整图像信息进行比对,提取出被测物体图像特征点信息;
数据传输模块用于提取经过图像预处理单元处理后得到的被测物体图像特征点信息,并将其传输至图像识别单元。
数据存储中心模块包括三维立体图单元、文本数据单元和音频数据单元;三维立体图单元用于存储各平面物体的三维立体图;文本数据单元用于存储各平面物体相关文本介绍;音频数据单元用于存储各平面物体相关音频介绍。
图像识别单元包括智能识别子单元和数据提取子单元;智能识别子单元用于接收被测物体图像特征点信息,并通过调取数据存储中心模块的三维立体图进行图像识别;其具体识别过程如下:
SS1:根据被测物体图像特征点信息对三维立体图单元中的三维立体图进行筛选,得到被筛选三维立体图;
SS2:利用图像算法对SS1得到的被筛选三维立体图进行特征提取,得到被筛选三维立体图的图像特征点信息;
SS3:将被测物体图像特征点信息与被筛选三维立体图的图像特征点信息进行比对;若完全一致,则输出被筛选的三维立体图;
数据提取子单元用于根据被筛选的三维立体图对存储于文本数据单元相关文本介绍进行提取。
三维构造单元用于接收被筛选三维立体图,并利用AR软件对其进行三维构造,得到三维立体图;文本调取单元用于调取其相关文本介绍;三维显示单元具体为AR智能眼镜的镜片,用于接收三维立体图和相关文本介绍,并对其做可视化展示。
声音播放模块用于根据被筛选三维立体图对存储于音频数据单元的相关音频介绍进行调取播放;系统供电模块用于为整个AR智能眼镜的各种设备进行供电。
本发明的工作原理及使用流程:该基于AR智能眼镜的图像识别系统,在使用前,用户需要将AR眼镜进行头部穿戴;穿戴好后,用户通过头部移动调整图像传感器和摄像头的空间位置,当图像传感器和摄像头对准被测平面物体时,图像传感器会利用光学成像原理采集被检测物体的外围轮廓图像,得到外围轮廓信息;而摄像头会采集被拍摄物体的整体影像,得到整体影像信息;之后图像预处理单元会接收外围轮廓信息和整体影像信息,并根据其进行各种处理,同时进行特征提取;接下来数据传输模块会提取经过图像预处理单元处理后得到的被测物体图像特征点信息,并将其传输至图像识别单元;然后智能识别子单元会接收被测物体图像特征点信息,并通过调取数据存储中心模块的三维立体图进行图像识别,而数据提取子单元会根据被筛选的三维立体图对存储于文本数据单元相关文本介绍进行提取;之后三维构造单元会接收被筛选三维立体图,并利用AR软件对其进行三维构造,得到三维立体图;而文本调取单元会调取其相关文本介绍;最后,AR智能眼镜的镜片会接收三维立体图和相关文本介绍,并对其做可视化展示;与此同时,声音播放模块会根据被筛选三维立体图对存储于音频数据单元的相关音频介绍进行调取播放;本发明通过对被采集到的物体图像进行去噪、扶正、增强和归一化处理,有利于提高后续图像识别的精度;而且本发明通过特征提取和三维构造,将三维立体图通过AR智能眼镜的镜片展示给用户,应用于教育行业上,则有利于帮助学生更加清晰透彻的理解被学习平面物体,增加学生的学习兴趣。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于AR智能眼镜的图像识别系统,其特征在于,包括图像采集模块、图像处理模块、系统电源供电模块、声音播放模块和数据存储中心模块;
其中,所述图像采集模块包括图像采集单元、图像预处理单元和数据传输单元;所述图像处理模块包括图像识别单元、三维构造单元、文本调取单元和三维显示单元;所述图像传输单元与图像识别单元电气连接;所述数据存储中心模块与声音播放模块和图像识别单元通信连接;所述系统供电模块与图像采集模块、图像处理模块、声音播放模块和数据存储中心模块连接。
2.根据权利要求1所述的一种基于AR智能眼镜的图像识别系统,其特征在于,所述图像采集单元包括图像传感器和摄像头;所述图像传感器设置于AR智能眼镜的右镜框上,用于利用光学成像原理采集被检测物体的外围轮廓图像,得到外围轮廓信息;所述摄像头设置于AR智能眼镜的右镜框上,用于采集被拍摄物体的整体影像,得到整体影像信息。
3.根据权利要求1所述的一种基于AR智能眼镜的图像识别系统,其特征在于,所述图像预处理单元用于接收外围轮廓信息和整体影像信息,并根据其进行各种处理,最后进行特征提取;所述图像预处理单元具体处理步骤如下:
S1:接收外围轮廓信息和整体影像信息,对其进行整合,得到完整图像信息;
S2:利用计算机视觉软件对S1得到完整图像信息进行去噪、扶正、增强和归一化操作,得到高精度完整图像信息;
S3:最后利用图像算法对外围轮廓信息、整体影像信息、完整图像信息和高精度完整图像信息进行比对,提取出被测物体图像特征点信息;
所述数据传输模块用于提取经过图像预处理单元处理后得到的被测物体图像特征点信息,并将其传输至图像识别单元。
4.根据权利要求1所述的一种基于AR智能眼镜的图像识别系统,其特征在于,所述数据存储中心模块包括三维立体图单元、文本数据单元和音频数据单元;所述三维立体图单元用于存储各平面物体的三维立体图;所述文本数据单元用于存储各平面物体相关文本介绍;所述音频数据单元用于存储各平面物体相关音频介绍。
5.根据权利要求1所述的一种基于AR智能眼镜的图像识别系统,其特征在于,所述图像识别单元包括智能识别子单元和数据提取子单元;所述智能识别子单元用于接收被测物体图像特征点信息,并通过调取数据存储中心模块的三维立体图进行图像识别;其具体识别过程如下:
SS1:根据被测物体图像特征点信息对三维立体图单元中的三维立体图进行筛选,得到被筛选三维立体图;
SS2:利用图像算法对SS1得到的被筛选三维立体图进行特征提取,得到被筛选三维立体图的图像特征点信息;
SS3:将被测物体图像特征点信息与被筛选三维立体图的图像特征点信息进行比对;若完全一致,则输出被筛选的三维立体图;
所述数据提取子单元用于根据被筛选的三维立体图对存储于文本数据单元相关文本介绍进行提取。
6.根据权利要求1所述的一种基于AR智能眼镜的图像识别系统,其特征在于,所述三维构造单元用于接收被筛选三维立体图,并利用AR软件对其进行三维构造,得到三维立体图;所述文本调取单元用于调取其相关文本介绍;所述三维显示单元具体为AR智能眼镜的镜片,用于接收三维立体图和相关文本介绍,并对其做可视化展示。
7.根据权利要求1所述的一种基于AR智能眼镜的图像识别系统,其特征在于,所述声音播放模块用于根据被筛选三维立体图对存储于音频数据单元的相关音频介绍进行调取播放;所述系统供电模块用于为整个AR智能眼镜的各种设备进行供电。
CN202110004483.2A 2021-01-04 2021-01-04 一种基于ar智能眼镜的图像识别系统 Pending CN112866678A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110004483.2A CN112866678A (zh) 2021-01-04 2021-01-04 一种基于ar智能眼镜的图像识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110004483.2A CN112866678A (zh) 2021-01-04 2021-01-04 一种基于ar智能眼镜的图像识别系统

Publications (1)

Publication Number Publication Date
CN112866678A true CN112866678A (zh) 2021-05-28

Family

ID=76001427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110004483.2A Pending CN112866678A (zh) 2021-01-04 2021-01-04 一种基于ar智能眼镜的图像识别系统

Country Status (1)

Country Link
CN (1) CN112866678A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160054791A1 (en) * 2014-08-25 2016-02-25 Daqri, Llc Navigating augmented reality content with a watch
CN108877344A (zh) * 2018-07-20 2018-11-23 荆明明 一种基于增强现实技术的多功能英语学习系统
CN109215416A (zh) * 2018-10-24 2019-01-15 天津工业大学 一种基于增强现实技术的汉字辅助学习系统及方法
CN109255990A (zh) * 2018-09-30 2019-01-22 杭州乔智科技有限公司 一种基于ar增强现实的教学系统
CN109917906A (zh) * 2019-01-24 2019-06-21 北京德火科技有限责任公司 一种基于增强现实技术实现景点互动的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160054791A1 (en) * 2014-08-25 2016-02-25 Daqri, Llc Navigating augmented reality content with a watch
CN108877344A (zh) * 2018-07-20 2018-11-23 荆明明 一种基于增强现实技术的多功能英语学习系统
CN109255990A (zh) * 2018-09-30 2019-01-22 杭州乔智科技有限公司 一种基于ar增强现实的教学系统
CN109215416A (zh) * 2018-10-24 2019-01-15 天津工业大学 一种基于增强现实技术的汉字辅助学习系统及方法
CN109917906A (zh) * 2019-01-24 2019-06-21 北京德火科技有限责任公司 一种基于增强现实技术实现景点互动的方法及系统

Similar Documents

Publication Publication Date Title
CN106575039B (zh) 具有确定用户眼镜特性的眼睛跟踪设备的平视显示器
CN110348387B (zh) 一种图像数据处理方法、装置以及计算机可读存储介质
CN107277495B (zh) 一种基于视频透视的智能眼镜系统及其透视方法
CN106095089A (zh) 一种获取感兴趣目标信息的方法
CN108983982B (zh) Ar头显设备与终端设备组合系统
EP4345777A1 (en) Living body detection method and apparatus, and training method and apparatus for living body detection system
CN107105333A (zh) 一种基于视线追踪技术的vr视频直播交互方法与装置
CN104408764A (zh) 眼镜虚拟试戴方法、装置及系统
CN105704479A (zh) 3d显示系统用的测量人眼瞳距的方法及系统和显示设备
CN110363867A (zh) 虚拟装扮系统、方法、设备及介质
CN104036488A (zh) 一种基于双目视觉的人体姿态动作研究方法
WO2019143793A1 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
CN111598168B (zh) 图像分类方法、装置、计算机设备及介质
CN106652590A (zh) 教学方法、教学识别体及教学系统
CN108230384A (zh) 图像深度计算方法、装置、存储介质和电子设备
CN114120432A (zh) 基于视线估计的在线学习注意力跟踪方法及其应用
CN113467619A (zh) 画面显示方法、装置和存储介质及电子设备
CN104750933A (zh) 一种基于互联网的眼镜试戴方法及系统
CN108846343B (zh) 基于三维视频的多任务协同分析方法
CN104865704B (zh) 一种基于移动设备的透射式与非透射式可切换头戴设备
CN112084398A (zh) 配饰推荐方法、配饰的虚拟试戴方法、装置及电子设备
CN112101123A (zh) 一种注意力检测方法及装置
CN111009031A (zh) 一种人脸模型生成的方法、模型生成的方法及装置
CN114140880A (zh) 步态识别方法和装置
CN112183200A (zh) 一种基于视频图像的眼动追踪方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210528