CN108427199A - 一种增强现实设备、系统及方法 - Google Patents

一种增强现实设备、系统及方法 Download PDF

Info

Publication number
CN108427199A
CN108427199A CN201810250826.1A CN201810250826A CN108427199A CN 108427199 A CN108427199 A CN 108427199A CN 201810250826 A CN201810250826 A CN 201810250826A CN 108427199 A CN108427199 A CN 108427199A
Authority
CN
China
Prior art keywords
real world
world images
image
augmented reality
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810250826.1A
Other languages
English (en)
Inventor
陈彦均
洪涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810250826.1A priority Critical patent/CN108427199A/zh
Publication of CN108427199A publication Critical patent/CN108427199A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Abstract

本发明公开一种增强现实设备、系统及方法,包括:设备主体,安装在设备主体上的图像采集模块、无线通信模块以及增强现实模块;本发明通过设置无线通信模块,与服务器进行交互,从而使设备主体不需要设置处理模块,从而避免了移动端计算能力有限导致的虚拟图像与现实图像在时间上的延迟较大给用户产生眩晕感的问题,并且,该增强现实设备使用范围广,可广泛用于身份识别,视觉增强,近视修正等各种基于现实的增强现实场景。

Description

一种增强现实设备、系统及方法
技术领域
本发明涉及增强现实领域。更具体地,涉及一种增强现实设备、系统及方法。
背景技术
AR增强现实技术是将计算机生成的虚拟世界叠加到现实世界中,微软的Hololens和谷歌的Google glass就是其中的典型,这类智能眼镜将触控板、摄像头、定位等结合起来,通过显示和联网,在视野内显示虚实融合的图像。AR增强现实设备不仅仅局限于眼镜模式,也包括移动设备增强现实显示、头盔模式等其他呈现方式,比如利用手机进行实时街景导航、利用移动设备进行的增强现实游戏(pokemon go)等。随着技术的发展,AR增强现实设备可以被广泛应用到娱乐、军事、医疗、教育和生产制造中。
但是目前的增强现实技术仍然存在诸多不足,影响用户体验以及限制了使用场景。
发明内容
为了解决上述技术问题中的至少一个,本发明的第一个方面提供一种增强现实设备包括:
设备主体,安装在设备主体上的图像采集模块、无线通信模块以及增强现实模块;其中,
图像采集模块被配置为实时采集现实图像;
无线通信模块被配置为将采集的现实图像传输至服务器,并接收服务器传输的根据现实图像确定的对象信息;
增强现实模块被配置为将所述对象信息转化为虚拟图像,并将显示图像和虚拟图像实时投影至用户的眼部。
在一个优选的实施例中,所述设备进一步包括:
分光镜,现实图像传导的光路通过所述分光镜形成第一分光路和第二分光路,现实图像通过第一分光路传导至增强现实模块,并通过第二分光路传导至图像采集模块,所述第一分光路中的现实图像与增强现实模块中的虚拟图像通过同一光路共同传导至用户的眼部。
在另一个优选的实施例中,所述设备主体为望远镜结构,所述设备进一步包括:
物镜和目镜,所述物镜和所述目镜的焦点位于同一直线上;
所述图像采集模块包括成像透镜以及相机,所述现实图像通过第二分光路穿过所述成像透镜,在所述相机中成像,使所述相机采集所述现实图像;
所述增强现实模块包括光波导镜片,所述现实图像和所述虚拟图像基于由所述光波导镜片形成的同一光路传导至用户的眼部。
在又一个优选的实施例中,所述设备主体为眼镜结构,所述设备进一步包括:
目镜,所述目镜为平面镜、凹透镜或者凸透镜中的一种;
所述图像采集模块包括成像透镜以及相机,所述现实图像通过第二分光路穿过所述成像透镜,在所述相机中成像,使所述相机采集所述现实图像;
所述增强现实模块包括光波导镜片,所述现实图像和所述虚拟图像基于由所述光波导镜片形成的同一光路传导至用户的眼部。
本发明第二方面提供一种增强现实系统,包括:
上述的所述设备;以及
服务器,所述服务器包括
数据库,存储有与每个对象身份对应的对象信息;
处理模块,基于所述现实图像,确定对象身份,并根据对象身份,从数据库调取对应的对象信息。
在一个优选的实施例中,所述数据库还存储有各对象的特征数据,所述处理模块包括:
图像处理单元,从采集的现场图像中确定对象的识别特征;
特征识别单元,将识别特征与数据库中的特征数据进行比对,确定识别的对象身份;
内容控制单元,根据身份识别的结果,调取数据库中对应识别对象的对象信息。
在另一个优选的实施例中,所述图像处理单元包括:
预处理单元,对采集的现场图像进行滤波、去除噪声以及改善光照;
图像分割单元,提取用于身份识别的响应特征区域;以及
特征提取单元,提取现实图像中对象的识别特征。
在又一个优选的实施例中,所述处理模块进一步包括:
分类训练单元,从网络获取对象信息图库数据样本,通过深度学习神经网络算法进行样本训练,并将经过样本训练的对象信息及与其对应的特征数据共同形成的数据库存储至服务器。
本发明提供一种增强现实的方法,包括:
图像采集模块实时采集现实图像;
无线通信模块将采集的现实图像传输至服务器;
服务器中的处理模块基于所述现实图像,确定对象身份,并根据对象身份,从服务器中的数据库调取对应的对象信息传输至无线通信模块;
增强现实模块将接收的对象信息转化为虚拟图像,并将现实图像和虚拟图像实时投影至用户的眼部。
在一个优选的实施例中,现实图像传导的光路通过分光镜形成第一分光路和第二分光路,所述图像采集模块实时采集现实图像被配置为现实图像通过第二分光路传导至图像采集模块,增强现实模块将现实图像和虚拟图像实时投影至用户的眼部被配置为现实图像通过第一分光路传导至增强现实模块,并且,第一分光路中的现实图像与增强现实模块中的虚拟图像通过同一光路共同传导至用户的眼部。
在另一个优选的实施例中,所述处理模块基于所述现实图像,确定对象身份,并根据对象身份,从服务器中的数据库调取对应的对象信息传输至无线通信模块包括:
图像处理单元从采集的现场图像中确定对象的识别特征;
特征识别单元将识别特征与数据库中的特征数据进行比对,确定识别的对象身份;
内容控制单元根据身份识别的结果,调取数据库中对应识别对象的对象信息,并传输至无线通信模块。
在又一个优选的实施例中,所述图像处理单元从采集的现场图像中确定对象的识别特征包括:
预处理单元对采集的现场图像进行滤波、去除噪声以及改善光照;
图像分割单元提取用于身份识别的响应特征区域;以及
特征提取单元提取采集的图像的识别特征。
在又一个优选的实施例中,所述方法还包括:
分类训练单元从网络获取任务信息图库数据样本,通过深度学习神经网络算法进行样本训练,并将训练结果分类存储至服务器形成数据库。
本发明的有益效果如下:
本发明提供一种增强现实设备、系统及方法,通过设置无线通信模块,与服务器进行交互,从而使设备主体不需要设置处理模块,从而避免了移动端计算能力有限导致的虚拟图像与现实图像在时间上的延迟较大给用户产生眩晕感的问题,并且,该增强现实设备使用范围广,可广泛用于身份识别,视觉增强,近视修正等各种基于现实的增强现实场景。
在优选的方案中,分光镜使得采集模块采集的图像与人眼采集的真实图像采集光路相同,不会产生由于采集角度产生的差异,并且,成像透镜和相机的设置模拟了人眼的成像,使得图像采集模块与人眼采集机制相同同时,使得现实图像与虚拟图像通过同一光路进入人眼,避免了光程不同导致的时间差异,从而降低眩晕感。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1示出本发明第一方面提供的增强现实装置结构示意图。
图2示出本发明第一方面实施例提供的望远镜结构增强现实装置结构示意图。
图3示出本发明第一方面实施例提供的眼镜结构增强现实装置结构示意图。
图4示出本发明第一方面实施例提供的增强现实模块的结构原理示意图。
图5示出本发明第二方面提供的增强现实系统结构示意图。
图6示出本发明第二方面实施例提供的处理模块结构示意图。
图7示出图6中图像处理单元结构示意图。
图8示出本发明第三方面提供的增强现实方法流程示意图。
图9示出图8中S300的具体流程示意图。
图10示出图9中S301的具体流程示意图。
具体实施方式
为了更清楚地说明本发明,下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解,下面所具体描述的内容是说明性的而非限制性的,不应以此限制本发明的保护范围。
AR,是(Augmented Reality)即增强现实。它通过电脑技术,将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
目前,AR技术可分为两大类,一类是透明AR(optical see-through)-现实世界是透过镜片直接看到的。另一类就是“视频叠加”(video see-through或者videooverlay)——现实世界是通过摄像头捕捉,然后以视频的方式呈现给用户(在上面再渲染一些东西)。事实上,现在手机和平板上已经出现了很多video overlay的应用,比如看星空,求翻译,选家具等。
“视频叠加”用视频实现的虚拟和现实的叠加(overlay)要比透明AR简单得多,但用户看到的经过转化的视频经过传输显示与人眼实际看到的景象有时间延迟,视频信号与体感信号不一致导致用户身体不适,产生晕眩感,影响用户体验。
而对于透明VR中,例如以微软的Hololens和谷歌的Google glass为代表,这类智能眼镜将触控板、摄像头、定位等结合起来,通过显示和联网,在视野内显示虚实融合的图像。但是,目前的AR产品仍有很多不足,在目前的AR技术中,即使是微软Hololens和谷歌的Google glass亦或是其他AR头盔、AR望远镜等设备,都会产生不同程度的晕眩感,给用户带来不适,降低了用户体验。光波导技术将经过折射的光线以平行光形式进入双眼,让双眼误以为是来自无限远的光线,可以减小晕眩感,提高用户体验,其产品已经越来越成为了增强现实设备的主流。
但是,目前AR增强现实设备的应用范围局限,一方面AR增强现实设备需要处理采集的现实图像,因此需要运算能力高的处理器附加在设备主体上,导致设备成本过高,此外,虽然处理器发展迅速,但移动端的处理器计算能力有限,处理器计算速度慢,导致虚拟图像与显示图像具有时间上的延迟,使用者产生晕眩感,并且使得目前的AR只能够适用于简单场景,限制了AR的发展。
有鉴于此,为了解决上述问题至少之一,本发明的第一方面提供一种增强现实设备,请结合图1所示,包括:设备主体100,安装在设备主体100上的图像采集模块200、无线通信模块300以及增强现实模块400;其中,图像采集模块200被配置为实时采集现实图像;无线通信模块300被配置为将采集的现实图像传输至服务器,并接收服务器传输的根据现实图像确定的对象信息;增强现实模块400被配置为将所述对象信息转化为虚拟图像,并将显示图像和虚拟图像实时投影至用户的眼部。本方面通过设置无线通信模块300,与服务器进行交互,从而使设备主体100不需要设置处理模块(例如CPU处理器、MCU中央处理器、微型处理器等),从而避免了移动端计算能力有限导致的虚拟图像与现实图像在时间上的延迟较大给用户产生眩晕感的问题,并且,该增强现实设备使用范围广,可广泛用于身份识别,视觉增强,近视修正等各种基于现实的增强现实场景。
现有的AR设备主要是AR眼镜、AR头戴或者AR望远镜等,在本方面的一些具体实施例中,结合图2所示,设备主体上安装有分光镜102,分光镜102为半透半反的透镜,在一些实施例中,原光路通道500经过分光镜后,分光镜反射的光为第二分光路502,透射的光为第一分光路501,当然,也可以根据其他设备的需要,反射的光为第一分光路,透射的光为第二分光路,本发明不限于此。现实图像通过第一分光路501传导至增强现实模块400,并通过第二分光路502传导至图像采集模块200,所述第一分光路501中的现实图像与增强现实模块400中的虚拟图像通过同一光路共同传导至用户的眼部,所述设备主体为望远镜结构,所述设备进一步包括:物镜101和目镜103,所述物镜101和所述目镜103的焦点位于同一直线上;所述图像采集模块包括成像透镜201以及相机202,所述现实图像通过第二分光路502穿过所述成像透镜201,在所述相机202中成像,使所述相机202采集所述现实图像;所述增强现实模块400包括光波导镜片,所述现实图像和所述虚拟图像基于由所述光波导镜片形成的同一光路传导至用户的眼部。在本实施例中,增强现实模块包括图像显示单元,增强现实模块400从无线通信模块300中获取服务器的虚拟信息,图像显示单元将虚拟信息转化为虚拟图像。
实质上,产生晕眩感的原因很多,其一为虚拟内容与现实图像具有一定的时间延迟,导致大脑感觉不适,此外,采用相机、摄像机等采集的图像与现实图像在人眼中的成像由于采集角度、采集机制等不同,导致产生差异,该差异同样能够导致眩晕感。本实施例中,分光镜使得采集模块采集的图像与人眼采集的真实图像采集光路相同,不会产生由于采集角度产生的差异,并且,成像透镜和相机的设置模拟了人眼的成像,使得图像采集模块与人眼采集机制相同,降低了人脑的眩晕感。同时,现实图像经过光波导式AR设备,现实图像与虚拟图像进入同一光路的光波导结构中,图4示出了具体的光波导结构增强现实模块,如图所示,现实图像进入波导式结构中,虚拟图像由图像显示单元产生并等效透镜与现实图像同时进入光波导镜片中,为了兼顾虚拟成像光路和外界环境到眼睛的入射光亮度,波导结构可镀偏振薄膜,例如透S反P光或者透P反S光,现实图像与虚拟图像由光波导镜片经过多次反射进入人眼,避免了光程不同导致的时间差异,从而降低眩晕感。
该实施例中,望远镜可用于远距离的场景解析,比如在某一场足球比赛中,坐在观众位的用户需要使用望远镜观赏比赛,但为了不影响球员的情绪等,现场往往不配备解说,观赛者只能通过自身的认知对球员及其打法、风格等进行识别,影响了比赛的观赏性。采用本实施例中的望远镜,可以通过增强现实单元将对应球员的必要信息投影至用户的眼部,例如球员的名称、打法风格,实力比较等,进一步的,图像采集模块、增强现实模块及用户的现实世界观察路径共光路;图像采集模块与用户观察光路通过具有高透反比的分光镜耦合,根据相机的灵敏度透反比可以设置为90:10或者95:5等;考虑到人眼不同的光焦度,图像采集模块的相机应具有数字调焦功能。
此外,在一些具体的实施例中,如果识别的图像中,有多个与该场比赛信息相匹配的人物,则向用户提供选项,确认是显示其中哪个人或者那几个人的对应的数据信息。
在一些可选的实施例中,望远镜的物镜和目镜均为凸透镜,构成开普勒式望远镜;或者,物镜为凹透镜,目镜为凸透镜,构成伽利略式望远镜,本发明不限于此。
进一步的,在另一些具体的实施例中,增强现实设备为AR眼镜,具体的,结合图3所示,所述设备进一步包括:分光镜102,现实图像传导的光路通过所述分光镜102形成第一分光路501和第二分光路502,现实图像通过第一分光路501传导至增强现实模块400,并通过第二分光路502传导至图像采集模块200,所述第一分光路501中的现实图像与增强现实模块400中的虚拟图像通过同一光路共同传导至用户的眼部;目镜103;所述图像采集模块200包括成像透镜201以及相机202,所述现实图像通过第二分光路502穿过所述成像透镜201,在所述相机202中成像,使所述相机202采集所述现实图像;所述增强现实模块400包括光波导镜片,所述现实图像和所述虚拟图像基于由所述光波导镜片形成的同一光路传导至用户的眼部。在本实施例中,增强现实模块包括图像显示单元,增强现实模块400从无线通信模块300中获取服务器的虚拟信息,图像显示单元将虚拟信息转化为虚拟图像。
当然,在本发明的其他实施例中,本方面的设备甚至可以为AR头盔等具有透明、半透明的目镜的设备。
当然,本领域技术人员明了的是,在该装置中,目镜并非必须的,具体的,该装置可以仅仅为只有镜框的眼镜结构,也可以为具有目镜的眼镜结构,更进一步的,所述目镜103根据需要可以为平面镜、凹透镜或者凸透镜中的一种,例如面对近视眼的用户可以设置为凸透镜,面对老人用户可以设置为凹透镜,此外,由于目镜的作用与本发明的主体构思无关,目镜的设置位置不限于图3中的位置,具体的,目镜可以设置于分光镜与现实图像之间,也可以设置于增强现实模块与人眼之间,或者其他可能设置的位置,本发明不限于此。
进一步的,本发明的第二方面提供一种增强现实系统,请结合图5,包括第一方面中的增强现实设备(包括设备主体100、图像采集模块200、无线通信模块300、增强现实模块400),以及服务器600,所述服务器600包括数据库700,存储有与每个对象身份对应的对象信息;处理模块800,基于所述现实图像,确定对象身份,并根据对象身份,从数据库700调取对应的对象信息。在一些具体的实施例中,结合图6所示,所述数据库还存储有各对象的特征数据,所述处理模块包括:图像处理单元,从采集的现场图像中确定对象的识别特征,所述识别特征包括特征信息和特征矢量,具体的,结合图7所示,所述图像处理单元包括:预处理单元,对采集的现场图像进行滤波、去除噪声以及改善光照;图像分割单元,提取用于身份识别的响应特征区域;以及特征提取单元,提取现实图像中对象的识别特征;所述系统进一步包括:特征识别单元,将识别特征与数据库中的特征数据进行比对,确定识别的对象身份;内容控制单元,根据身份识别的结果,调取数据库中对应识别对象的对象信息。将处理任务附加在服务器端,借助于服务器强大的计算能力,使得一台服务器可以同时满足多台AR设备的需求,从而大大降低了AR设备的成本,此外,服务器端的处理器不需要考虑功耗、散热等,其处理能力远高于移动端的处理器,而随着5G等技术的兴起,网络传输速度越来越快,能够将处理后的数据及时传输至移动端。该系统使得AR设备成本更低,应用场景更广,能够用于各种复杂场景中。
在一些具体的实施例中,处理模块可以为CPU处理器、MCU中央处理器、GPU处理器或者其他具有计算能力的移动处理器、非移动处理器等。当然,在本方面中,处理器的运算能力越强,特征识别越快,能够降低生成虚拟图像的速度,从而减小与现实图像传导至人眼的时间差,降低眩晕感。
数据库中的对象信息包括对应对象的图文或视频信息,例如对于球场中球员,可以是历史荣誉、重要事件、赢得比赛的几率或者特殊技能等从网络数据库中提取的信息;云端特征识别数据是经深度学习分类训练单元的分类训练获得的数据结果。
进一步的,在上述实施例中,所述处理模块进一步包括:分类训练单元,从网络获取对象信息图库数据样本,通过深度学习神经网络算法进行样本训练,并将经过样本训练的对象信息及与其对应的特征数据共同形成的数据库存储至服务器。在处理模块中增加分类训练单元,使得该系统具有不断优化、不断改善的能力,随着训练次数增加,处理模块能够更快找出对象特征信息,从而提高处理速度,同时,通过深度学习神经网络算法得到的数据库与现实对象的匹配度更高,交互性更强。
本发明的第三方面提供一种增强现实的方法,结合图8所示,该方法的步骤包括:
S100:图像采集模块实时采集现实图像。
具体的,现实图像传导的光路通过分光镜形成第一分光路和第二分光路,所述图像采集模块实时采集现实图像被配置为现实图像通过第二分光路传导至图像采集模块。
S200:无线通信模块将采集的现实图像传输至服务器。
S300:服务器中的处理模块基于所述现实图像,确定对象身份,并根据对象身份,从服务器中的数据库调取对应的对象信息传输至无线通信模块。
具体的,如图9所示,该步骤具体包括:
S301:图像处理单元从采集的现场图像中确定对象的识别特征,
具体的,在一些具体的实施例中,结合图10所示,包括:
S3011:预处理单元对采集的现场图像进行滤波、去除噪声以及改善光照;
S3012:图像分割单元提取用于身份识别的响应特征区域;以及
S3013:特征提取单元提取采集的图像的识别特征。
S302:特征识别单元将识别特征与数据库中的特征数据进行比对,确定识别的对象身份;
S303:内容控制单元根据身份识别的结果,调取数据库中对应识别对象的对象信息,并传输至无线通信模块。
S400:增强现实模块将接收的对象信息转化为虚拟图像,并将现实图像和虚拟图像实时投影至用户的眼部。
本方面提供的增强现实方法,借助于服务器强大的计算能力,使得一台服务器可以同时满足多台AR设备的需求,从而大大降低了AR设备的成本,此外,服务器端的处理器不需要考虑功耗、散热等,其处理能力远高于移动端的处理器,而随着5G等技术的兴起,网络传输速度越来越快,能够将处理后的数据及时传输至移动端。该系统使得AR设备成本更低,应用场景更广,能够用于各种复杂场景中。并且,分光镜使得采集模块采集的图像与人眼采集的真实图像采集光路相同,不会产生由于采集角度产生的差异,成像透镜和相机的设置模拟了人眼的成像,使得图像采集模块与人眼采集机制相同,同时,现实图像与虚拟图像通过同一光路进入人眼,避免了光程不同导致的时间差异,从而降低眩晕感。
具体的,增强现实模块将现实图像和虚拟图像实时投影至用户的眼部被配置为现实图像通过第一分光路传导至增强现实模块,并且,第一分光路中的现实图像与增强现实模块中的虚拟图像通过同一光路共同传导至用户的眼部。
进一步的,在一些具体的实施例中,所述方法还包括:
S000:分类训练单元从网络获取任务信息图库数据样本,通过深度学习神经网络算法进行样本训练,并将训练结果分类存储至服务器形成数据库,所述数据库包括各对象的识别特征和对应的对象信息。
分类训练单元使得该系统具有不断优化、不断改善的能力,随着训练次数增加,处理模块能够更快找出对象特征信息,从而提高处理速度,同时,通过深度学习神经网络算法得到的数据库与现实对象的匹配度更高,交互性更强。
本发明的说明书和权利要求书及上述附图中的属于“第一”、“第二”等是用于区别不同的对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法或设备固有的气体步骤或单元。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定,对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (13)

1.一种增强现实设备,其特征在于,包括:
设备主体,安装在设备主体上的图像采集模块、无线通信模块以及增强现实模块;其中,
图像采集模块被配置为实时采集现实图像;
无线通信模块被配置为将采集的现实图像传输至服务器,并接收服务器传输的根据现实图像确定的对象信息;
增强现实模块被配置为将所述对象信息转化为虚拟图像,并将显示图像和虚拟图像实时投影至用户的眼部。
2.根据权利要求1所述设备,其特征在于,所述设备进一步包括:
分光镜,现实图像传导的光路通过所述分光镜形成第一分光路和第二分光路,现实图像通过第一分光路传导至增强现实模块,并通过第二分光路传导至图像采集模块,所述第一分光路中的现实图像与增强现实模块中的虚拟图像通过同一光路共同传导至用户的眼部。
3.根据权利要求2所述设备,其特征在于,所述设备主体为望远镜结构,所述设备进一步包括:
物镜和目镜,所述物镜和所述目镜的焦点位于同一直线上;
所述图像采集模块包括成像透镜以及相机,所述现实图像通过第二分光路穿过所述成像透镜,在所述相机中成像,使所述相机采集所述现实图像;
所述增强现实模块包括光波导镜片,所述现实图像和所述虚拟图像基于由所述光波导镜片形成的同一光路传导至用户的眼部。
4.根据权利要求2所述设备,其特征在于,所述设备主体为眼镜结构,
所述图像采集模块包括成像透镜以及相机,所述现实图像通过第二分光路穿过所述成像透镜,在所述相机中成像,使所述相机采集所述现实图像;
所述增强现实模块包括光波导镜片,所述现实图像和所述虚拟图像基于由所述光波导镜片形成的同一光路传导至用户的眼部。
5.一种增强现实系统,其特征在于,包括:
如权利要求1-4任一项所述设备;以及
服务器,所述服务器包括
数据库,存储有与每个对象身份对应的对象信息;
处理模块,基于所述现实图像,确定对象身份,并根据对象身份,从数据库调取对应的对象信息。
6.根据权利要求5所述系统,其特征在于,所述数据库还存储有各对象的特征数据,所述处理模块包括:
图像处理单元,从采集的现场图像中确定对象的识别特征;
特征识别单元,将识别特征与数据库中的特征数据进行比对,确定识别的对象身份;
内容控制单元,根据身份识别的结果,调取数据库中对应识别对象的对象信息。
7.根据权利要求6所述系统,其特征在于,所述图像处理单元包括:
预处理单元,对采集的现场图像进行滤波、去除噪声以及改善光照;
图像分割单元,提取用于身份识别的响应特征区域;以及
特征提取单元,提取现实图像中对象的识别特征。
8.根据权利要求5所述系统,其特征在于,所述处理模块进一步包括:
分类训练单元,从网络获取对象信息图库数据样本,通过深度学习神经网络算法进行样本训练,并将经过样本训练的对象信息及与其对应的特征数据共同形成的数据库存储至服务器。
9.一种增强现实的方法,其特征在于,包括:
图像采集模块实时采集现实图像;
无线通信模块将采集的现实图像传输至服务器;
服务器中的处理模块基于所述现实图像,确定对象身份,并根据对象身份,从服务器中的数据库调取对应的对象信息传输至无线通信模块;
增强现实模块将接收的对象信息转化为虚拟图像,并将现实图像和虚拟图像实时投影至用户的眼部。
10.根据权利要求9所述方法,其特征在于,现实图像传导的光路通过分光镜形成第一分光路和第二分光路,所述图像采集模块实时采集现实图像被配置为现实图像通过第二分光路传导至图像采集模块,增强现实模块将现实图像和虚拟图像实时投影至用户的眼部被配置为现实图像通过第一分光路传导至增强现实模块,并且,第一分光路中的现实图像与增强现实模块中的虚拟图像通过同一光路共同传导至用户的眼部。
11.根据权利要求10所述方法,其特征在于,所述处理模块基于所述现实图像,确定对象身份,并根据对象身份,从服务器中的数据库调取对应的对象信息传输至无线通信模块包括:
图像处理单元从采集的现场图像中确定对象的识别特征;
特征识别单元将识别特征与数据库中的特征数据进行比对,确定识别的对象身份;
内容控制单元根据身份识别的结果,调取数据库中对应识别对象的对象信息,并传输至无线通信模块。
12.根据权利要求11所述方法,其特征在于,所述图像处理单元从采集的现场图像中确定对象的识别特征包括:
预处理单元对采集的现场图像进行滤波、去除噪声以及改善光照;
图像分割单元提取用于身份识别的响应特征区域;以及
特征提取单元提取采集的图像的识别特征。
13.根据权利要求9所述方法,其特征在于,所述方法还包括:
分类训练单元从网络获取任务信息图库数据样本,通过深度学习神经网络算法进行样本训练,并将训练结果分类存储至服务器形成数据库。
CN201810250826.1A 2018-03-26 2018-03-26 一种增强现实设备、系统及方法 Pending CN108427199A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810250826.1A CN108427199A (zh) 2018-03-26 2018-03-26 一种增强现实设备、系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810250826.1A CN108427199A (zh) 2018-03-26 2018-03-26 一种增强现实设备、系统及方法

Publications (1)

Publication Number Publication Date
CN108427199A true CN108427199A (zh) 2018-08-21

Family

ID=63159633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810250826.1A Pending CN108427199A (zh) 2018-03-26 2018-03-26 一种增强现实设备、系统及方法

Country Status (1)

Country Link
CN (1) CN108427199A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111385627A (zh) * 2018-12-29 2020-07-07 中兴通讯股份有限公司 一种增强现实设备及其控制方法、计算机可读存储介质
CN111724484A (zh) * 2020-06-10 2020-09-29 深圳市金研微科技有限公司 一种增强现实信息交互系统和交互方法
CN112306353A (zh) * 2020-10-27 2021-02-02 北京京东方光电科技有限公司 扩展现实设备及其交互方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103827729A (zh) * 2011-07-20 2014-05-28 谷歌公司 紧凑型透视显示系统
CN104102545A (zh) * 2014-07-04 2014-10-15 北京理工大学 移动增强现实浏览器三维资源配置与加载的优化方法
CN104280884A (zh) * 2013-07-11 2015-01-14 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN104539929A (zh) * 2015-01-20 2015-04-22 刘宛平 带有运动预测的立体图像编码方法和编码装置
CN105229719A (zh) * 2013-03-15 2016-01-06 奇跃公司 显示系统和方法
CN105719229A (zh) * 2014-12-19 2016-06-29 卢茨洛格斯技术有限公司 一种基于指令流截取的应用程序透明化的分辨率控制
CN105976424A (zh) * 2015-12-04 2016-09-28 乐视致新电子科技(天津)有限公司 一种图像渲染处理的方法及装置
CN106126143A (zh) * 2016-06-29 2016-11-16 石惠卿 一种应用于头戴显示器的图像调整方法及头戴显示器
CN106444030A (zh) * 2016-10-13 2017-02-22 佛山市炫鲸科技有限公司 基于可见光通信的虚拟现实头盔与系统
CN206532038U (zh) * 2017-01-25 2017-09-29 北京铅笔视界科技有限公司 分体式ar智能眼镜
CN107533233A (zh) * 2015-03-05 2018-01-02 奇跃公司 用于增强现实的系统和方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103827729A (zh) * 2011-07-20 2014-05-28 谷歌公司 紧凑型透视显示系统
CN105229719A (zh) * 2013-03-15 2016-01-06 奇跃公司 显示系统和方法
CN104280884A (zh) * 2013-07-11 2015-01-14 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN104102545A (zh) * 2014-07-04 2014-10-15 北京理工大学 移动增强现实浏览器三维资源配置与加载的优化方法
CN105719229A (zh) * 2014-12-19 2016-06-29 卢茨洛格斯技术有限公司 一种基于指令流截取的应用程序透明化的分辨率控制
CN104539929A (zh) * 2015-01-20 2015-04-22 刘宛平 带有运动预测的立体图像编码方法和编码装置
CN107533233A (zh) * 2015-03-05 2018-01-02 奇跃公司 用于增强现实的系统和方法
CN105976424A (zh) * 2015-12-04 2016-09-28 乐视致新电子科技(天津)有限公司 一种图像渲染处理的方法及装置
CN106126143A (zh) * 2016-06-29 2016-11-16 石惠卿 一种应用于头戴显示器的图像调整方法及头戴显示器
CN106444030A (zh) * 2016-10-13 2017-02-22 佛山市炫鲸科技有限公司 基于可见光通信的虚拟现实头盔与系统
CN206532038U (zh) * 2017-01-25 2017-09-29 北京铅笔视界科技有限公司 分体式ar智能眼镜

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111385627A (zh) * 2018-12-29 2020-07-07 中兴通讯股份有限公司 一种增强现实设备及其控制方法、计算机可读存储介质
CN111724484A (zh) * 2020-06-10 2020-09-29 深圳市金研微科技有限公司 一种增强现实信息交互系统和交互方法
CN111724484B (zh) * 2020-06-10 2021-02-09 深圳市金研微科技有限公司 一种增强现实信息交互系统和交互方法
CN112306353A (zh) * 2020-10-27 2021-02-02 北京京东方光电科技有限公司 扩展现实设备及其交互方法
CN112306353B (zh) * 2020-10-27 2022-06-24 北京京东方光电科技有限公司 扩展现实设备及其交互方法

Similar Documents

Publication Publication Date Title
CN109086726B (zh) 一种基于ar智能眼镜的局部图像识别方法及系统
JP7171727B2 (ja) 拡張現実ディスプレイシステム
KR102544062B1 (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
CN105142498B (zh) 增强光学和感知数字护目镜
CN109923462A (zh) 感测眼镜
CN107037587A (zh) 紧凑型增强现实/虚拟现实显示器
CN105718046A (zh) 用于眼部追踪的基于移动设备的头戴式显示器
US20140104392A1 (en) Generating image information
WO2013028586A1 (en) Location based skins for mixed reality displays
CN108427199A (zh) 一种增强现实设备、系统及方法
CN113467619B (zh) 画面显示方法、装置和存储介质及电子设备
US20210097644A1 (en) Gaze adjustment and enhancement for eye images
WO2020215960A1 (zh) 注视区域的确定方法、装置及可穿戴设备
US20180053051A1 (en) Virtual reality device with iris acquisition function
CN110082911A (zh) 用于展示在显示视频中如何盯着对象的表达的装置和方法
CN108957742B (zh) 一种实现画面虚拟透明动态调节的增强现实头盔及方法
US10902681B2 (en) Method and system for displaying a virtual object
CN107908002A (zh) 增强和混合现实的装置及方法
CN104239877B (zh) 图像处理的方法和图像采集设备
CN110244837A (zh) 增强现实且具有虚拟影像叠加的体验眼镜及其成像方法
CN216052261U (zh) 显示装置及可穿戴式显示设备
CN109996044B (zh) 基于瞳孔追踪技术的人像识别眼镜、识别方法及可读存储介质
Mori et al. A wide-view parallax-free eye-mark recorder with a hyperboloidal half-silvered mirror and appearance-based gaze estimation
CN114677620A (zh) 对焦方法、电子设备和计算机可读介质
Chiba et al. Transparent mask: Face-capturing head-mounted display with IR pass filters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180821

RJ01 Rejection of invention patent application after publication