CN111193841A - 一种增强现实系统 - Google Patents

一种增强现实系统 Download PDF

Info

Publication number
CN111193841A
CN111193841A CN201811354193.5A CN201811354193A CN111193841A CN 111193841 A CN111193841 A CN 111193841A CN 201811354193 A CN201811354193 A CN 201811354193A CN 111193841 A CN111193841 A CN 111193841A
Authority
CN
China
Prior art keywords
augmented reality
module
image
processor
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811354193.5A
Other languages
English (en)
Inventor
陈科霖
许爱国
吴雄峰
张斌
严家亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sunchip Technology Co ltd
Original Assignee
Shenzhen Sunchip Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sunchip Technology Co ltd filed Critical Shenzhen Sunchip Technology Co ltd
Priority to CN201811354193.5A priority Critical patent/CN111193841A/zh
Publication of CN111193841A publication Critical patent/CN111193841A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及了一种增强现实系统,包括:光机模组;增强现实处理器,与光机模组电连接;其中,所述增强现实处理器包括:拍摄模块,用于拍摄环境图像;处理模块,用于对拍摄模块获取的环境图像进行处理;所述光机模组包括:移动处理器,用于生成用户所需的叠加图像;AR显示系统,用于对环境图像和叠加图像进行显示。本发明进行增强现实技术领域的关键性的问题研究,将在一定程度上有助于增强现实技术领域的技术发展。实施本发明的技术方案,能够较好地实现小型化、低功耗的增强现实系统。

Description

一种增强现实系统
技术领域
本发明涉及增强现实技术领域,尤其涉及一种增强现实系统。
背景技术
增强现实技术(Augmented Reality,简称AR)是虚拟现实技术的进一步发展,增强现实通过电脑技术,将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在;这种增强现实技术能够把虚拟信息(物体、图片、视频、声音等)融合在现实环境中,将现实世界丰富起来,构建一个更加全面、更加美好的世界。增强现实技术,不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加。在视觉化的增强现实中,用户利用头盔显示器,把真实世界与电脑图形多重合成在一起,便可以看到真实的世界围绕着它。增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。
目前国内局限于虚拟现实技术的研究,对于增强现实技术的研究较少。
发明内容
本项目针对目前国内局限于虚拟现实技术的研究,对于增强现实技术的研究较少;并且相关的硬件和软件技术研究较为薄弱的缺陷;研发超小型光机模组并实现量产化,能够较好地实现小型化、低功耗的增强现实系统。
本发明解决其技术问题所采用的技术方案是:构造一种增强现实系统,包括:
光机模组;
增强现实处理器,与光机模组电连接;
其中,
所述增强现实处理器包括:
拍摄模块,用于拍摄环境图像;
处理模块,用于对拍摄模块获取的环境图像进行处理;
所述光机模组包括:
移动处理器,用于生成用户所需的叠加图像;
AR显示系统,用于对环境图像和叠加图像进行显示。
本发明还构造一种增强现实系统,包括:
光机模组;
增强现实处理器,与光机模组电连接,
云服务器,与增强现实处理器和光机模组电连接,用于对增强现实处理器和移动处理器所发送的图像进行后处理,并将处理后的图像拼接成全景图像;
其中,
所述增强现实处理器包括:
拍摄模块,用于拍摄环境图像;
处理模块,用于对拍摄模块获取的环境图像进行处理;
所述光机模组包括:
移动处理器,用于生成用户所需的叠加图像;
AR显示系统,用于对环境图像和叠加图像拼接成的全景图像进行显示。
优选地,所述增强现实处理器还包括:上传模块,用于将所拍摄的环境图像发送至所述云服务器。
优选地,所述光机模组还包括:传送模块,用于将用户所需的叠加图像发送至所述云服务器;获取模块,用于从所述云服务器获取全景图像。
优选地,所述AR显示系统包括图像源和光学系统,图像源采用LCOS模组,光学系统采用自由曲面棱镜。
优选地,所述自由曲面棱镜采用自由曲面光学镜片,所述自由曲面光学镜片为超小型大视场角的自由曲面光学镜片,光学镜片的直径0.5mm~10mm,光学镜片的FOV大于60度。
优选地,所述光机模组还包括图像传感器视频输入模块和LVDS输入接口电路模块。
优选地,所述光机模组的物理分辨率大于等于1920×1080P,功耗低于300mW。
优选地,所述移动处理器采用用于实现SLAM算法的VIO SLAM传感器。
实施本发明的技术方案,增强现实系统包括光机模组、与光机模组电连接的增强现实处理器并实现量产化,能够较好地实现小型化、低功耗的增强现实系统。进一步地,研发用于自由曲面光学镜片,这种光学镜片用于增强现实系统,有助于解决现有增强现实系统的视野太窄的技术问题;并且,采用VIO SLAM传感器实现SLAM算法,适宜于实现增强现实系统。本发明进行增强现实技术领域的关键性的问题研究,将在一定程度上有助于增强现实技术领域的技术发展。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。附图中:
图1是本发明增强现实系统实施例一的逻辑结构图;
图2是本发明增强现实系统实施例二的逻辑结构图。
具体实施方式
图1是本发明增强现实系统实施例一的逻辑结构图,该实施例的增强现实系统包括增强现实处理器10、光机模组20。其中,增强现实处理器10包括拍摄模块11和处理模块12,而且,拍摄模块11用于拍摄环境图像;处理模块12用于对拍摄模块获取的环境图像进行处理,拼接成360度视角范围内的环境图像,所述环境图像为用户所处的真实环境中的实时呈现的图像,该处理包括反畸变处理、色彩补偿处理、图像平滑处理、去噪处理。
光机模组20包括移动处理器21、AR现实系统22,移动处理器21用于生成用户所需的叠加图像;AR显示系统22用于对环境图像和叠加图像拼接成的全景图像进行显示。所述叠加图像为用户想要叠加到真实环境中的图像;所述全景图像为将虚拟的图像叠加到真实图像中得到的真实和虚拟同时呈现的图像。通过实施例一的方案能够将虚拟的叠加图像应用到真实环境的图像中,真实的环境和虚拟的图像实时地叠加到了同一个画面同时存在。
图2是本发明增强现实系统实施例二的逻辑结构图,第二实施例的增强现实系统增加了云服务器的设置,以便于进行更快的图像生成和实时数据管理。所述增强现实系统包括增强现实处理器10、光机模组20和云服务器40,云服务器,与增强现实处理器10和光机模组20电连接,用于对增强现实处理器和移动处理器所发送的图像进行后处理,并将处理后的图像拼接成全景图像以及实时的图像数据传输和管理。
其中,增强现实处理器10包括拍摄模块11、处理模块12和上传模块13,上传模块13用于将所拍摄的环境图像发送至云服务器40;处理模块14也用于从云服务器40获取环境图像,可以是在线获取图像,也可下载获取图像。
光机模组20包括移动处理器21、AR显示系统22、传送模块23、以及获取模块24,传送模块23,用于将用户所需的叠加图像发送至所述云服务器;获取模块24,用于从所述云服务器获取全景图像。AR显示系统用于对云服务器处理后的环境图像和叠加图像拼接成的全景图像进行显示。云服务器40用于对增强现实处理器所发送的环境图像进行处理,并将处理后的环境图像和叠加图像拼接成360度视角范围内的全景图像;且能够对用户进行实时图像和数据管理,其中,对图像的后处理包括反畸变处理、色彩补偿处理、图像平滑处理、去噪处理;对用户的管理包括:将用户与其上传的图像进行关联,用户与用户之间可加关注、取消关注、推荐用户等,另外,图像还可带有类别标签及实时时间标签,类别标签例如包括有风景、人物等。在视觉化的增强现实系统中,用户佩戴安装有光机模组的增强现实眼镜,并通过增强现实处理器和云服务器的工作,能够把真实世界与虚拟图像相融合,构建虚实相接的世界。
在本发明的优选实施例中,进一步的改进在于,所述AR显示系统包括图像源和光学系统,图像源采用LCOS模组,光学系统采用自由曲面棱镜。所述自由曲面棱镜采用自由曲面光学镜片,所述自由曲面光学镜片为超小型大视场角的自由曲面光学镜片,光学镜片的直径0.5mm~10mm,光学镜片的FOV大于60度。采用上述的自由曲面光学镜片能够有助于所述光机模组的物理分辨率大于等于1920×1080P,功耗低于300mW;从而实现小型化、低能耗的光机模组。光机模组具有通过电光转换完成图像显示、光路投射到人眼视网膜的功能,由于采用超小型大视场角的自由曲面光学镜片并进行软件和硬件的优化,能够较好地实现小型化、低功耗的增强现实系统。
在本发明的优选实施例中,进一步的改进在于,所述光机模组还包括图像传感器视频输入模块和LVDS输入接口电路模块;所述移动处理器采用用于实现SLAM算法的VIOSLAM传感器。用于通过VIO SLAM传感器实现SLAM算法。本发明对现有的传感器进行研究,确定在此基础上采用TOFCamera和惯性测量单元的visual inertial odometry(视觉惯性测距)SLAM(以下简称VIO SLAM),将TOF Camera和惯性测量单元结合使用,成本低、重量轻,适合做穿戴设备,并且基于这种传感器的SLAM算法的计算时间根据功耗,最低可以0.1S(即10HZ)更新一次,适用于增加现实系统。
实施本发明的技术方案,增强现实系统包括光机模组、与光机模组电连接的增强现实处理器并实现量产化,能够较好地实现小型化、低功耗的增强现实系统。进一步地,研发用于自由曲面光学镜片,这种光学镜片用于增强现实系统,有助于解决现有增强现实系统的视野太窄的技术问题;并且,采用VIO SLAM传感器实现SLAM算法,适宜于实现增强现实系统。本项目进行增强现实技术领域的关键性的问题研究,将在一定程度上有助于增强现实技术领域的技术发展。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何纂改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

Claims (9)

1.一种增强现实系统,其特征在于,包括:
光机模组;
增强现实处理器,与光机模组电连接;
其中,
所述增强现实处理器包括:
拍摄模块,用于拍摄环境图像;
处理模块,用于对拍摄模块获取的环境图像进行处理;
所述光机模组包括:
移动处理器,用于生成用户所需的叠加图像;
AR显示系统,用于对环境图像和叠加图像进行显示。
2.一种增强现实系统,其特征在于,包括:
光机模组;
增强现实处理器,与光机模组电连接,
云服务器,与增强现实处理器和光机模组电连接,用于对增强现实处理器和移动处理器所发送的图像进行后处理,并将处理后的图像拼接成全景图像以及实时的图像数据传输和管理;
其中,
所述增强现实处理器包括:
拍摄模块,用于拍摄环境图像;
处理模块,用于对拍摄模块获取的环境图像进行处理;
所述光机模组包括:
移动处理器,用于生成用户所需的叠加图像;
AR显示系统,用于对环境图像和叠加图像拼接成的全景图像进行显示。
3.根据权利要求1或2所述的增强现实系统,其特征在于,
所述增强现实处理器还包括:上传模块,用于将所拍摄的环境图像发送至所述云服务器。
4.根据权利要求1或2所述的增强现实系统,其特征在于,
所述光机模组还包括:
传送模块,用于将用户所需的叠加图像发送至所述云服务器;
获取模块,用于从所述云服务器获取全景图像。
5.根据权利要求1或2所述的增强现实系统,其特征在于,所述AR显示系统包括图像源和光学系统,图像源采用LCOS模组,光学系统采用自由曲面棱镜。
6.根据权利要求1或2所述的增强现实系统,其特征在于,所述自由曲面棱镜采用自由曲面光学镜片,所述自由曲面光学镜片为超小型大视场角的自由曲面光学镜片,光学镜片的直径0.5mm~10mm,光学镜片的FOV大于60度。
7.根据权利要求1或2所述的增强现实系统,其特征在于,所述光机模组还包括图像传感器视频输入模块和LVDS输入接口电路模块。
8.根据权利要求1或2所述的增强现实系统,其特征在于,所述光机模组的物理分辨率大于等于1920×1080P,功耗低于300mW。
9.根据权利要求1或2所述的增强现实系统,其特征在于,所述移动处理器采用用于实现SLAM算法的VIO SLAM传感器。
CN201811354193.5A 2018-11-14 2018-11-14 一种增强现实系统 Withdrawn CN111193841A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811354193.5A CN111193841A (zh) 2018-11-14 2018-11-14 一种增强现实系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811354193.5A CN111193841A (zh) 2018-11-14 2018-11-14 一种增强现实系统

Publications (1)

Publication Number Publication Date
CN111193841A true CN111193841A (zh) 2020-05-22

Family

ID=70709013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811354193.5A Withdrawn CN111193841A (zh) 2018-11-14 2018-11-14 一种增强现实系统

Country Status (1)

Country Link
CN (1) CN111193841A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988020A (zh) * 2021-04-20 2021-06-18 湖南航天捷诚电子装备有限责任公司 一种头戴式增强现实显示方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069644A (zh) * 2015-07-20 2015-11-18 北京易讯理想科技有限公司 基于增强现实的购物客户端、服务器及系统
CN106550192A (zh) * 2016-10-31 2017-03-29 深圳晨芯时代科技有限公司 一种虚拟现实拍摄及显示的方法、系统
CN107222529A (zh) * 2017-05-22 2017-09-29 北京邮电大学 增强现实处理方法、web模块、终端和云端服务器
CN107678538A (zh) * 2017-09-05 2018-02-09 北京原力创新科技有限公司 增强现实系统和其中的信息处理方法、存储介质、处理器
CN107707879A (zh) * 2017-09-29 2018-02-16 广州云友网络科技有限公司 一种分布式场景目标识别的增强现实方法及系统
CN107818540A (zh) * 2016-09-12 2018-03-20 北京易讯理想科技有限公司 基于增强现实的天气信息显示方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069644A (zh) * 2015-07-20 2015-11-18 北京易讯理想科技有限公司 基于增强现实的购物客户端、服务器及系统
CN107818540A (zh) * 2016-09-12 2018-03-20 北京易讯理想科技有限公司 基于增强现实的天气信息显示方法及装置
CN106550192A (zh) * 2016-10-31 2017-03-29 深圳晨芯时代科技有限公司 一种虚拟现实拍摄及显示的方法、系统
CN107222529A (zh) * 2017-05-22 2017-09-29 北京邮电大学 增强现实处理方法、web模块、终端和云端服务器
CN107678538A (zh) * 2017-09-05 2018-02-09 北京原力创新科技有限公司 增强现实系统和其中的信息处理方法、存储介质、处理器
CN107707879A (zh) * 2017-09-29 2018-02-16 广州云友网络科技有限公司 一种分布式场景目标识别的增强现实方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988020A (zh) * 2021-04-20 2021-06-18 湖南航天捷诚电子装备有限责任公司 一种头戴式增强现实显示方法及设备
CN112988020B (zh) * 2021-04-20 2021-09-07 湖南航天捷诚电子装备有限责任公司 一种头戴式增强现实显示方法及设备

Similar Documents

Publication Publication Date Title
US11838518B2 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
US10643394B2 (en) Augmented reality
US11094127B2 (en) Systems and methods for presenting perspective views of augmented reality virtual object
US9088787B1 (en) System, method and computer software product for providing visual remote assistance through computing systems
Henderson et al. Augmented reality for maintenance and repair (armar)
US20170053445A1 (en) Augmented Reality
JP2019092170A (ja) 3dプレノプティックビデオ画像を作成するためのシステムおよび方法
US10999412B2 (en) Sharing mediated reality content
CN105393158A (zh) 共享的和私有的全息物体
CN203746012U (zh) 一种三维虚拟场景人机交互立体显示系统
CN107810634A (zh) 用于立体增强现实的显示器
US20200097068A1 (en) Method and apparatus for providing immersive reality content
US11521297B2 (en) Method and device for presenting AR information based on video communication technology
CN111699460A (zh) 多视图虚拟现实用户界面
CN111193841A (zh) 一种增强现实系统
CN111193858A (zh) 一种增强现实拍摄及显示的方法和系统
US9989762B2 (en) Optically composited augmented reality pedestal viewer
Pan et al. 3D displays: their evolution, inherent challenges and future perspectives
Elvins Augmented reality: “The future's so bright, I gotta wear (see-through) shades”
EP4418078A1 (en) Virtual reality and augmented reality display system for near-eye display devices
CN111193857A (zh) 一种采用slam算法的增强现实拍摄方法和系统
Lu Research on optical display technology of virtual reality technology based on optical image
TW201837536A (zh) 一種具夜視功能之虛擬實境影像之顯示之方法及其系統
US20230239456A1 (en) Display system with machine learning (ml) based stereoscopic view synthesis over a wide field of view
JP2004214763A (ja) 3次元映像システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200522