CN108919498A - 一种基于多模态成像和多层感知的增强现实眼镜 - Google Patents

一种基于多模态成像和多层感知的增强现实眼镜 Download PDF

Info

Publication number
CN108919498A
CN108919498A CN201810952939.6A CN201810952939A CN108919498A CN 108919498 A CN108919498 A CN 108919498A CN 201810952939 A CN201810952939 A CN 201810952939A CN 108919498 A CN108919498 A CN 108919498A
Authority
CN
China
Prior art keywords
augmented reality
reality glasses
modality imaging
multilayer perception
glasses based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810952939.6A
Other languages
English (en)
Inventor
胡孟晗
李庆利
翟广涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN201810952939.6A priority Critical patent/CN108919498A/zh
Publication of CN108919498A publication Critical patent/CN108919498A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00Non-optical adjuncts; Attachment thereof
    • G02C11/10Electronic devices other than hearing aids
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C3/00Special supporting arrangements for lens assemblies or monocles
    • G02C3/02Arrangements for supporting by headgear
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于多模态成像和多层感知的增强现实眼镜,其特点是镜架的一侧镜腿上设有可见光/近红外相机、近红外点阵光源、深度相机和微处理器,另一侧镜腿上设有触感发生器、气体喷射器、传输模块、振动发生器和骨传导耳机,鼻架上设有点阵激光器、栅栏状激光器和陀螺仪,常规镜片上方设有红外测距传感器;全透模式镜片上方设有超声波测距传感器和远红外热像仪,其下方设有麦克风。本发明与现有技术相比具有多模态成像与多层感知的交互融合,实现应用场景下有效信息的准确获取和精准传递,以满足智能执法、视障辅助、辅助驾驶等不同环境下的应用需求,使用方便,可靠性高。

Description

一种基于多模态成像和多层感知的增强现实眼镜
技术领域
本发明涉及多模态成像及多层感知技术领域,尤其是一种基于多模态成像和多层感知技术的增强现实眼镜。
背景技术
增强现实眼镜在现实生活中的应用前景巨大,自从谷歌开始发布谷歌眼镜以来,世界上很多企业都开始涉足增强现实眼镜领域。就市面上的现有的增强现实及其相关的眼镜产品而言,主要有谷歌眼镜(G. Inc., Google Glass, 2012)、eSight 3 (e. Co.,eSight 3, 2017)、OrCam (O.T. Ltd., OrCam, 2015)、Enchroma (I. Enchroma,Enchroma, 2013)、Intoer (L. Hangzhou KR-VISION Technology Co., Intoer, 2017)等主流产品。其中大部分产品都是产品都是单一的RGB相机作为数据采集设备,然后采用视觉或声音的反馈方式进行信息的传输。这些产品存在的模态和感知形式单一的问题是目前这些产品应用场景受限的最大原因之一。
在我国的专利数据库中以“增强现实眼镜”为关键词来搜索,则会有约540项的专利、325项发明专利(含公开的发明专利)。以下对现有的相关专利进行罗列并分析:如增强现实智能眼镜(申请号:201510009348.1)通过相机实时采集周围环境信息,并将虚拟对象和现实画面叠加现实,产生三维立体效果,通过动作传感器和声音传感器与系统进行互动;大视场角增强现实眼镜(申请号:201510573508.5)主要通过光学架构实现了大视场角增强现实眼镜,从而增强了用户的使用体验,该专利申请人在另外一个专利中增加了触摸屏,实现了用户的交互,实际上用户的感知和交互是分不开的,有了感知,才有交互;带增强现实的智能眼镜(申请号:201610035054.0)采用可见光和深度相机协同的方式增强视觉障碍的用户对外界事物的感知;增强现实眼镜(申请号:201610270873.3)采用了双可见光相机加闪光灯的模式大幅改善聚集功能和成像画质;多层式增强现实智能眼镜(申请号:201610316464.2)结合使用滤光镜片、显示镜片、功能镜片的光学设计方案实现了多层的感知;用于实现增强现实交互和展示的方法、设备(申请号:201610049175.0)通过通讯协议实现了不同模块之间的通讯,然后通过视觉、声音、振动的形式来进行用户的多层感知。
综上所述,现有技术的增强现实眼镜存在着模态单一、感知模式匮乏等问题,未能将感知与进行较好的交互和整合,限制了增强现实眼镜的大规模实际应用,这也是目前这些产品应用场景受限的最大原因之一。
发明内容
本发明的目的是针对现有技术的不足而设计的一种基于多模态成像和多层感知的增强现实眼镜,采用多模态成像架构融合的多感知结构,实现复杂应用场景下有效信息的准确获取和精准全面的传递,以满足智能执法、视障辅助、辅助驾驶等不同环境下的应用需求,结构简单,使用方便,可靠性高。
本发明的目的是这样实现的:一种基于多模态成像和多层感知的增强现实眼镜,包括由设置在镜架上的常规镜片与全透模式镜片组成的现实眼镜,其特点是镜架一侧镜腿上设有可见光/近红外相机、近红外点阵光源、深度相机和微处理器,另一侧镜腿上设有触感发生器、气体喷射器、传输模块、振动发生器和骨传导耳机,以及连接两镜片的鼻架上设有点阵激光器、栅栏状激光器和陀螺仪,所述常规镜片上方设有红外测距传感器;所述全透模式镜片上方设有超声波测距传感器和远红外热像仪,其下方设有麦克风;所述可见光/近红外相机、近红外点阵光源、深度相机、点阵激光器、栅栏状激光器、陀螺仪、超声波测距传感器和远红外热像仪将获取的外界信息输入微处理器,并由微处理器将处理后的图像流和数据流反馈至触感发生器、气体喷射器、振动发生器、骨传导耳机和全透模式镜片进行全面精准的传递,使用者通过反馈的信息做出相应的行为决策,并通过麦克风进行交互,实现应用场景下有效信息的准确获取和精准传递。
所述触感发生器为产生痛觉阈值之下的热和电刺激。
所述振动发生器为产生痛觉阈值之下的敲打刺激。
所述骨传导耳机设置在镜架的内侧。
所述镜架上设有与两镜腿连接的头绑式承重带。
所述传输模块为蓝牙、4G或WIFI无线传输。
所述全透模式镜片为多模态图像信息映射到对应的即时场景的OLED显示屏,并设有眼动或机械开关切换不同模态的图像信息及其融合态显示。
所述麦克风设有语音识别功能。
本发明与现有技术相比具有复杂应用场景下有效信息的准确获取和精准全面的传递,以满足智能执法、视障辅助、辅助驾驶等不同环境下的应用需求,结构简单,使用方便,可靠性高,为高精度的复杂环境下信息的获取和感知提供了一种解决思路,有效整合了可见光相机、近红外相机、远红外相机、激光生物散斑成像技术和深度相机,并辅以近红外点阵光源、点阵激光器和栅栏状激光器等不同类型的结构光,确保在复杂多样环境下信息的高精准获取,高度地整合了包括触觉、视觉和声音等不同人类感知类型层次的感知技术,以及热/电触感发生器、气体喷射器、振动发生器、骨传导耳机和OLED显示屏等不同形式的感知数据,可以较大程度地提高系统的准确度和鲁棒性,从而满足智能执法、视障辅助、辅助驾驶等不同的应用需求,较大程度地辅助多模态成像模块和多层感知模块完成特定场景下的复杂任务,并可根据实际要求进行相关调整,更好的满足不同场景的应用需求。
附图说明
图1为本发明结构示意图;
图2为图1俯视图。
具体实施方式
参阅附图1~图2,本发明由设置在镜架20上的常规镜片17与全透模式镜片18组成,所述镜架20的一侧镜腿上设有可见光/近红外相机1、近红外点阵光源2、深度相机3和微处理器10,镜架20的另一侧镜腿上设有触感发生器7、气体喷射器8、传输模块9、振动发生器11和骨传导耳机15,以及连接两镜片的鼻架上设有点阵激光器4、栅栏状激光器5和陀螺仪6,所述常规镜片17上方设有红外测距传感器13;所述全透模式镜片18上方设有超声波测距传感器12和远红外热像仪14,其下方设有麦克风16;所述骨传导耳机15设置在镜架20的内侧;所述镜架20上设有与两镜腿连接的头绑式承重带19;所述可见光/近红外相机1、近红外点阵光源2、深度相机3、点阵激光器4、栅栏状激光器5、陀螺仪6、超声波测距传感器12和远红外热像仪14将获取的外界信息输入微处理器10,并由微处理器10将处理后的图像流和数据流反馈至触感发生器7、气体喷射器8、振动发生器11、骨传导耳机15和全透模式镜片18进行全面精准的传递,使用者通过反馈的信息做出相应的行为决策,并通过麦克风16进行交互,实现应用场景下有效信息的准确获取和精准传递。
所述可见光/近红外相机1、近红外点阵光源2、深度相机3、点阵激光器4、栅栏状激光器5和远红外热像仪14为多模态成像的组合器件,其中可见光/近红外相机1需要结合近红外点阵光源2使用,且两者之间需要相应的电路设备和感光设备来实现有光模式和无光模式的切换,主要用于获取场景中物体的颜色、纹理等常规图像信息;所述点阵激光器4和栅栏状激光器5是为了实现激光生物散斑成像模式,需要结合可见光/近红外相机1一起使用,主要用于获得场景中物体的生物散斑特性,激光器波段的选型和激光器的数量则需要根据具体的应用需求来配备;所述深度相机3一般需要配合其他模态的图像使用,主要用于获取场景中物体的距离信息;所述远红外热像仪14一般需要配合其他模态的图像使用,主要用于获取场景中物体的温度信息。
所述触感发生器7、气体喷射器8、振动发生器11、骨传导耳机15和全透模式镜片18为涵盖触觉、视觉和声音等人类多层感知的组合器件,其中,触感发生器7可以产生热、电两种刺激来让佩戴者感知周边的环境变化情况,热、电的刺激强度都控制在产生痛觉的阈值之下,通过热、电刺激的强度来给佩戴者传递外界相应的信息;气体喷射器8通过向佩戴者皮肤上喷射不同强度的气体来传达多模态成像器件获取的信息,另外,气体喷射器8还可以增加其他的功能,如风扇功能用于降温、缓解眼睛疲劳功能等;振动发生器11通过控制敲打佩戴者皮肤的形式,实现外界信息的准确的传递,振动发生器11的敲打力度控制在产生痛觉的阈值以下;骨传导耳机15通过机械振动将声音信息通过骨骼传递到耳朵,这种方式可以防止佩戴者隐私的泄露,在特定的用户需求下,该部分可以替换成传统的耳机;全透模式镜片18为OLED显示屏,可以将多模态图像信息一一映射到对应的即时场景中,同时,该显示屏中可以用相应的眼动装置或者机械开关,可以切换不同模态的图像信息及其融合态到屏幕上显示,此外,OLED显示屏可以换成其他具备类似功能的显示屏。
所述陀螺仪6、超声波测距传感器12、远红外热像仪14和麦克风16为辅助传感器件,其中,陀螺仪6为用户的姿态分析和视频的对齐校准等;超声波测距传感器12为辅助多模态成像器件的测距、测速等场景信息的获取;麦克风16为使用者与各器件进行交互,同时,也可以根据实际需求增设语音识别功能。
所述传输模块9和微处理器10为控制终端,其中:传输模块9实现各器件间的信息传输,同时,当器件的计算量增加的时传输模块9还负责将本地获取的数据传输到云端进行处理,然后接收处理后的数据或相应的决策信息;所述传输模块9为 4G、蓝牙、WIFI或其他无线传输;微处理器10用于多模态图像信息和感知信息的处理,考虑到器件的续航能力,在实际产品开发过程中,可以在器件的某处增加几个可以放置电池的机械架构,同时也可以在器件某处如头绑式承重带19上增加太阳能充电模块。
以上只是对本发明作进一步的说明,并非用以限制本专利,凡为本发明等效实施,均应包含于本专利的权利要求范围之内。

Claims (8)

1.一种基于多模态成像和多层感知的增强现实眼镜,包括由设置在镜架上的常规镜片与全透模式镜片组成的现实眼镜,其特征在于镜架一侧镜腿上设有可见光/近红外相机、近红外点阵光源、深度相机和微处理器,另一侧镜腿上设有触感发生器、气体喷射器、传输模块、振动发生器和骨传导耳机,以及连接两镜片的鼻架上设有点阵激光器、栅栏状激光器和陀螺仪,所述常规镜片上方设有红外测距传感器;所述全透模式镜片上方设有超声波测距传感器和远红外热像仪,其下方设有麦克风;所述可见光/近红外相机、近红外点阵光源、深度相机、点阵激光器、栅栏状激光器、陀螺仪、超声波测距传感器和远红外热像仪将获取的外界信息输入微处理器,并由微处理器将处理后的图像流和数据流反馈至触感发生器、气体喷射器、振动发生器、骨传导耳机和全透模式镜片进行全面精准的传递,使用者通过反馈的信息做出相应的行为决策,并通过麦克风进行交互,实现应用场景下有效信息的准确获取和精准传递。
2.根据权利要求1所述基于多模态成像和多层感知的增强现实眼镜,其特征在于所述骨传导耳机设置在镜架的内侧。
3.根据权利要求1所述基于多模态成像和多层感知的增强现实眼镜,其特征在于所述触感发生器为产生痛觉阈值之下的热和电刺激。
4.根据权利要求1所述基于多模态成像和多层感知的增强现实眼镜,其特征在于所述振动发生器为产生痛觉阈值之下的敲打刺激。
5.根据权利要求1所述基于多模态成像和多层感知的增强现实眼镜,其特征在于所述全透模式镜片为多模态图像信息映射到对应的即时场景的OLED显示屏,并设有眼动或机械开关切换不同模态的图像信息及其融合态显示。
6.根据权利要求1所述基于多模态成像和多层感知的增强现实眼镜,其特征在于所述麦克风设有语音识别功能。
7.根据权利要求1所述基于多模态成像和多层感知的增强现实眼镜,其特征在于所述镜架上设有与两镜腿连接的头绑式承重带。
8.根据权利要求1所述基于多模态成像和多层感知的增强现实眼镜,其特征在于所述传输模块为蓝牙、4G或WIFI无线传输。
CN201810952939.6A 2018-08-21 2018-08-21 一种基于多模态成像和多层感知的增强现实眼镜 Pending CN108919498A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810952939.6A CN108919498A (zh) 2018-08-21 2018-08-21 一种基于多模态成像和多层感知的增强现实眼镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810952939.6A CN108919498A (zh) 2018-08-21 2018-08-21 一种基于多模态成像和多层感知的增强现实眼镜

Publications (1)

Publication Number Publication Date
CN108919498A true CN108919498A (zh) 2018-11-30

Family

ID=64404985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810952939.6A Pending CN108919498A (zh) 2018-08-21 2018-08-21 一种基于多模态成像和多层感知的增强现实眼镜

Country Status (1)

Country Link
CN (1) CN108919498A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109793648A (zh) * 2019-03-22 2019-05-24 丁问原 一种超声波扫描式盲人测距眼镜
CN110426851A (zh) * 2019-07-25 2019-11-08 广州彩构网络有限公司 一种基于vr虚拟现实技术的智能全景眼镜及其使用方法
CN111442758A (zh) * 2020-03-27 2020-07-24 云南电网有限责任公司玉溪供电局 一种带增距望远功能的激光测速测距装置和方法
CN112671423A (zh) * 2020-12-24 2021-04-16 维沃移动通信有限公司 穿戴件
CN113189797A (zh) * 2021-05-11 2021-07-30 Tcl通讯(宁波)有限公司 智能眼镜
CN114967101A (zh) * 2022-06-10 2022-08-30 科盾科技股份有限公司 一种夜视仪

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106597690A (zh) * 2016-11-23 2017-04-26 杭州视氪科技有限公司 一种基于rgb‑d相机和立体声的视障人士通路预知眼镜

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106597690A (zh) * 2016-11-23 2017-04-26 杭州视氪科技有限公司 一种基于rgb‑d相机和立体声的视障人士通路预知眼镜

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109793648A (zh) * 2019-03-22 2019-05-24 丁问原 一种超声波扫描式盲人测距眼镜
CN110426851A (zh) * 2019-07-25 2019-11-08 广州彩构网络有限公司 一种基于vr虚拟现实技术的智能全景眼镜及其使用方法
CN111442758A (zh) * 2020-03-27 2020-07-24 云南电网有限责任公司玉溪供电局 一种带增距望远功能的激光测速测距装置和方法
CN112671423A (zh) * 2020-12-24 2021-04-16 维沃移动通信有限公司 穿戴件
WO2022135286A1 (zh) * 2020-12-24 2022-06-30 维沃移动通信有限公司 穿戴件
CN113189797A (zh) * 2021-05-11 2021-07-30 Tcl通讯(宁波)有限公司 智能眼镜
CN114967101A (zh) * 2022-06-10 2022-08-30 科盾科技股份有限公司 一种夜视仪

Similar Documents

Publication Publication Date Title
CN108919498A (zh) 一种基于多模态成像和多层感知的增强现实眼镜
US11928784B2 (en) Systems and methods for presenting perspective views of augmented reality virtual object
US11099643B1 (en) Headware with computer and optical element for use therewith and systems utilizing same
CN104808340B (zh) 头戴式显示装置及其控制方法
CN109840475A (zh) 人脸识别方法及电子设备
CN206497255U (zh) 增强现实显示系统
CN109085926A (zh) 一种多模态成像与多感知交融的增强现实系统及其应用
CN114080800B (zh) 利用双摄像头进行连续摄像头捕捉
US20160249043A1 (en) Three dimensional (3d) glasses, 3d display system and 3d display method
CN104483753A (zh) 自配准透射式头戴显示设备
JP2013178639A (ja) 頭部装着型表示装置および画像表示システム
CN209170442U (zh) 具有高屏占比的电子设备
CN203746012U (zh) 一种三维虚拟场景人机交互立体显示系统
CN108153502B (zh) 基于透明屏幕的手持式增强现实显示方法及装置
WO2022068193A1 (zh) 可穿戴设备、智能引导方法及装置、引导系统、存储介质
CN108428375A (zh) 一种基于增强现实的教学辅助方法及设备
WO2018149267A1 (zh) 一种基于增强现实的显示方法及设备
CN106095106A (zh) 虚拟现实终端及其显示光心距的调整方法及装置
CN109558870A (zh) 一种可穿戴设备及障碍物提示方法
CN204462541U (zh) 一种可实现增强现实的智能眼镜
CN107065199A (zh) 头戴显示器
CN113610018A (zh) 结合5g、表情跟踪与美颜的vr实时通讯交互系统及方法
WO2023231674A9 (zh) 液晶光栅的驱动方法及显示装置、其显示方法
CN107015364A (zh) 一种具有3d影像功能的智能眼镜
CN108491075A (zh) 一种虚拟现实头戴显示装置及其面部动作捕捉的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181130