CN107277495A - 一种基于视频透视的智能眼镜系统及其透视方法 - Google Patents
一种基于视频透视的智能眼镜系统及其透视方法 Download PDFInfo
- Publication number
- CN107277495A CN107277495A CN201610218731.2A CN201610218731A CN107277495A CN 107277495 A CN107277495 A CN 107277495A CN 201610218731 A CN201610218731 A CN 201610218731A CN 107277495 A CN107277495 A CN 107277495A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- video
- video image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011521 glass Substances 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 71
- 238000007781 pre-processing Methods 0.000 claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 15
- 238000013178 mathematical model Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000003716 rejuvenation Effects 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000008439 repair process Effects 0.000 claims description 2
- 208000012886 Vertigo Diseases 0.000 abstract description 5
- 230000003190 augmentative effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 231100000572 poisoning Toxicity 0.000 description 2
- 230000000607 poisoning effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明涉及一种基于视频透视的智能眼镜系统及其透视方法。所述系统包括智能眼镜和数据处理装置，所述智能眼镜包括摄像模块、图像预处理模块、图像融合模块和显示模块；所述摄像模块用于采集视频图像，并将采集到的视频图像传输至图像预处理模块；所述图像预处理模块用于对视频图像进行预处理后，将低清视频图像和高清视频图像分别传输至数据处理装置及图像融合模块；所述数据处理装置通过算法生成虚拟数字图像；所述图像融合模块用于将虚拟数字图像与高清视频图像进行融合后输出至显示模块进行显示。本发明在最大幅度地减小视频画面延时的同时提高成像质量，使视频透视的眩晕感大大降低，提高佩戴者的舒适感。
Description
技术领域
本发明涉及智能眼镜技术领域，尤其涉及一种基于视频透视的智能眼镜系统及其透视方法。
背景技术
增强现实(Augmented Reality,简称AR)是一种实时摄影机影像的位置及角度并加上相应图像的技术，基于AR技术的智能眼镜通过在近眼屏幕上把数字内容叠加在现实世界并进行互动。AR智能眼镜不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。AR技术不仅在与虚拟现实(Virtual Reality,简称VR)技术相类似的应用领域具有广泛的应用，诸如飞行器的研制与开发、数据模型的可视化、虚拟训练、娱乐与艺术等领域，而且由于其具有能够对真实环境进行增强显示输出的特性，在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域，具有比VR技术更加明显的优势。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。随着随身电子产品运算能力的提升，预期增强现实的用途将会越来越广。
目前AR智能眼镜有两种类型：光学透视型和视频透视型。光学透视型智能眼镜通过分光棱镜实现半透明显示效果，使佩戴者在看到现实世界的同时可以同时看到数字画面。视频透视型眼镜通过视频合成技术，将相机采集到的现实画面和计算机生成的数字画面融合在一起，它能实现比光学透视更大的视角范围。基于视频透视的智能眼镜系统通过放置在眼镜前的双目摄像头捕捉现实画面，眼镜需要在高清屏幕中无延时，无畸变地实时呈现。在进行虚拟画面叠加之前，首先要保证佩戴者通过眼镜感知到景物的位置、大小以及延时等信息与裸眼直接感知的外界景物信息基本一致。基于此，本发明提出一种基于视频透视的智能眼镜系统，从而最大幅度地减小视频画面的延时，提高用户的观看体验度。
发明内容
本发明提供了一种基于视频透视的智能眼镜系统及其透视方法，旨在解决现有AR智能眼镜存在的视频画面延时的技术问题。
为了解决以上提出的问题，本发明采用的技术方案为：一种基于视频透视的智能眼镜系统，包括智能眼镜和数据处理装置，所述智能眼镜与数据处理装置连接，所述智能眼镜包括摄像模块、图像预处理模块、图像融合模块和显示模块；所述摄像模块用于采集视频图像，并将采集到的视频图像传输至图像预处理模块；所述图像预处理模块用于对视频图像进行预处理后，将低清视频图像和高清视频图像分别传输至数据处理装置及图像融合模块；所述数据处理装置用于通过算法生成虚拟数字图像，并将虚拟数字图像传输至图像融合模块；所述图像融合模块用于将虚拟数字图像与高清视频图像进行融合后输出至显示模块进行显示。
本发明实施例采取的技术方案还包括：还包括姿态传感模块，所述姿态传感模块设于智能眼镜上，并与数据处理装置连接，用于采集智能眼镜佩戴者的姿态信息，并将姿态信息传输至数据处理装置。
本发明实施例采取的技术方案还包括：还包括光学器件，所述光学器件设于显示模块靠近人眼的一侧，用于帮助人眼对显示模块的显示图像进行对焦。
本发明实施例采取的技术方案还包括：所述摄像模块为双目摄像头，所述双目摄像头分别设置于智能眼镜的左右镜片上，所述双目摄像头的前端还安装有广角镜头。
本发明实施例采取的技术方案还包括：所述图像预处理模块包括预处理单元、畸变矫正单元、立体校正单元、深度计算单元和图像拼接单元；
所述预处理单元用于对摄像模块传输的视频图像进行处理加工，并通过加工结果得到摄像模块的配置参数；
所述畸变矫正单元用于通过配置参数对摄像模块畸变进行修复；
所述立体校正单元用于通过配置参数将双目摄像头的画面拉回一个平面，并使双目摄像头同行对齐；
所述深度计算单元用于使用局部匹配算法计算最优双目匹配结果，并通过视差计算出深度视频图像；
所述图像拼接单元用于将未经缩放的高清视频图像进行拼接后输出到图像融合模块，并将经过缩放的低清视频图像、深度视频图像和辅助图像进行拼接后输出到数据处理装置。
本发明实施例采取的技术方案还包括：所述数据处理装置包括图像拆分单元、场景分析单元、地图构建单元、地图更新单元、姿态分析单元、模型渲染单元和图像叠加单元；
所述图像拆分单元用于将拼接好的视频图像进行拆分；
所述场景分析单元用于对观测场景进行分析；
所述地图构建单元用于构造地图，实现自主定位；
所述地图更新单元用于储存位置环境的地图信息，并在构造的地图上建造增量式地图；
所述姿态分析单元用于通过视觉算法与姿态传感模块融合，分析佩戴者的视角姿态；
所述模型渲染单元用于通过视角姿态渲染数字模型；
所述图像叠加单元用于将视角姿态及渲染的数字模型叠加到视频图像上，生成带位姿信息的虚拟数字图像，并将虚拟数字图像输出至图像融合模块。
本发明实施例采取的技术方案还包括：所述图像融合模块还包括扩展单元、同步单元和融合单元；
所述扩展单元用于通过差值计算将虚拟数字图像进行扩展，使虚拟数字图像与高清视频图像的分辨率和帧率一致；
所述同步单元用于通过高清视频图像的同步信号使虚拟数字图像与高清视频图像的两路视频每帧对齐，并分析出融合时将要被虚拟数字图像覆盖的高清视频图像部分；
所述融合单元用于根据同步单元的分析结果将虚拟数字图像叠加到高清视频图像的对应帧中，使虚拟数字图像和高清视频图像进行融合，并将融合后的视频图像输出至显示模块进行显示。
本发明实施例采取的另一技术方案为：一种基于视频透视的智能眼镜透视方法，包括以下步骤：
步骤100：通过摄像模块采集视频图像，并将采集到的视频图像传输至图像预处理模块；
步骤200：通过图像预处理模块对视频图像进行预处理，并将低清视频图像和高清视频图像分别传输至数据处理装置及图像融合模块；
步骤300：数据处理装置通过算法生成虚拟数字图像，并将虚拟数字图像传输至图像融合模块；
步骤400：通过图像融合模块将虚拟数字图像与高清视频图像进行融合后输出至显示模块进行显示。
本发明实施例采取的技术方案还包括：在步骤200中，所述图像预处理模块对视频图像进行预处理的处理方式具体为：对摄像模块传输的视频图像进行处理加工，并通过加工结果得到摄像模块的配置参数；通过配置参数对摄像模块畸变进行修复，并将双目摄像头的画面拉回一个平面，使双目摄像头同行对齐；使用局部匹配算法计算与最优双目匹配结果，通过视差计算出深度视频图像；将未经缩放的高清视频图像进行拼接后直接输出到图像融合模块中，并将经过缩放的低清视频图像、深度视频图像和辅助图像进行拼接后输出到数据处理装置中。
本发明实施例采取的技术方案还包括：所述步骤300还包括：通过姿态传感模块获取佩戴者的姿态信息，并将姿态信息传输至数据处理装置；所述数据处理装置生成虚拟数字图像的方式包括：将拼接好的视频图像进行拆分；对观测场景进行分析；构造地图，实现自主定位；储存位置环境的地图信息，在既有地图上建造增量式地图；通过视觉算法与姿态传感模块融合，分析佩戴者的视角姿态；通过视角姿态渲染数字模型；将视角姿态及渲染的数字模型叠加到视频图像上，生成带位姿信息的虚拟数字图像。
与现有技术相比，本发明的有益效果在于：本发明实施例的基于视频透视的智能眼镜系统及其透视方法通过将高清视频图像直接从图像预处理模块发送到图像融合模块中，并将低分辨率低帧率的低清视频图像输出至数据处理装置进行增强现实处理，有轻微延时的虚拟数字图像再通过图像融合模块融合到高清视频图像中，从而减少数据处理装置增强现实算法的计算量，在最大幅度地减小视频画面延时的同时提高成像质量，使视频透视的眩晕感大大降低，提高佩戴者的舒适感。
附图说明
图1为本发明实施例的基于视频透视的智能眼镜系统的结构示意图；
图2是本发明实施例的基于视频透视的智能眼镜系统的电路图；
图3是本发明实施例的图像预处理模块图像处理示意图；
图4是本发明实施例的图像拼接单元拼接图像示意图；
图5是本发明实施例的数据处理装置图像处理示意图；
图6是本发明实施例的基于视频透视的智能眼镜透视方法的流程图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
请参阅图1和图2，图1是本发明实施例的基于视频透视的智能眼镜系统的结构示意图，图2是本发明实施例的基于视频透视的智能眼镜系统的电路图。本发明实施例的基于视频透视的智能眼镜系统包括智能眼镜和数据处理装置，智能眼镜包括摄像模块、图像预处理模块、姿态传感模块、图像融合模块、显示模块和光学组件；其中，摄像模块与图像预处理模块连接，用于实时采集视频图像，并将采集到的视频图像传输至图像预处理模块；图像预处理模块分别与图像融合模块及数据处理装置连接，用于接收摄像模块传输的视频图像，并通过芯片化算法对视频图像进行预处理后，将LD(低清)视频图像和HD(高清)视频图像分别传输至数据处理装置及图像融合模块；姿态传感模块设于智能眼镜上，并与数据处理装置连接，用于采集智能眼镜佩戴者的姿态信息，并将姿态信息传输至数据处理装置；数据处理装置与图像融合模块连接，用于接收图像预处理模块传输的LD视频图像和姿态传感模块传输的姿态信息，通过相关算法将数字内容和姿态信息叠加至LD视频图像中，生成带位姿信息的虚拟数字图像，并将虚拟数字图像传输至图像融合模块；其中，位姿信息明确了虚拟数字图像和高清视频图像的坐标关系。图像融合模块与显示模块连接，用于分别接收图像预处理模块传输的HD视频图像(基本无延时)以及数据处理装置传输的虚拟数字图像(有少许延时)，并将虚拟数字图像与HD视频图像进行融合后输出至显示模块进行显示；光学器件设于显示模块靠近人眼的一侧，用于帮助人眼对显示模块的显示图像进行对焦。
在本发明实施例中，摄像模块为双目摄像头，双目摄像头分别设置于智能眼镜的左右镜片上，且双目摄像头之间的距离可根据佩戴者的瞳距进行调节；双目摄像头的前端还安装有广角镜头(图未示)，用于采集较大场景的外界景物；显示模块为智能眼镜显示屏，光学组件由消色差透镜组构成，目的是帮助人眼对近眼屏幕内容进行对焦，在极大提升成像质量的同时，不需要在软件上进行颜色修正。
在本发明实施例中，图像预处理模块以FPGA((Field－ProgrammableGate Array，现场可编程门阵列，)为主要运算器件，通过芯片化算法处理摄像模块采集的视频图像，并可通过相关算法对摄像模块的参数进行配置；具体请一并参阅图3，是本发明实施例的图像预处理模块图像处理示意图。图像预处理模块还包括预处理单元、畸变矫正单元、立体校正单元、深度计算单元和图像拼接单元,预处理单元、畸变矫正单元、立体校正单元、深度计算单元和图像拼接单元依次连接；
预处理单元用于对摄像模块传输的视频图像进行处理加工，并通过加工结果得到摄像模块的配置参数；所述摄像模块的配置参数具体包括：色彩过滤排列、白平衡调节、自动曝光、自动对焦、高动态范围图像生成和映射。
畸变矫正单元用于通过标定得到的配置参数对摄像模块畸变进行消除；
立体校正单元用于通过标定得到的配置参数将双目摄像头的画面拉回一个平面，并使双目摄像头同行对齐；
深度计算单元用于使用局部匹配算法计算与所在行的最优双目匹配结果，从而通过视差计算出深度视频图像；深度视频图像也可以通过添加深度相机直接获得，所得深度视频图像需通过校正使其与原始视频图像对齐。
图像拼接单元用于将未经缩放的高清视频图像进行拼接后直接输出到图像融合模块中，并将经过缩放的低清视频图像、深度视频图像和其他辅助图像进行拼接后输出到数据处理装置中；其中，低清视频图像来自于高清视频图像的下采样。具体如图4所示，是本发明实施例的图像拼接单元拼接图像示意图。
在本发明实施例中，数据处理装置以CPU(Central Processing Unit，中央处理器)或GPU(Graphic Processing Unit，图形处理器)等作为运算器件，通过软件算法实现增强现实的各类应用。具体请一并参阅图5，是本发明实施例的数据处理装置图像处理示意图。数据处理装置还包括图像拆分单元、场景分析单元、地图构建单元、地图更新单元、姿态分析单元、模型渲染单元和图像叠加单元，图像拆分单元、场景分析单元、地图构建单元、地图更新单元、姿态分析单元、模型渲染单元和图像叠加单元依次连接；
图像拆分单元用于将拼接好的视频图像进行拆分；
场景分析单元用于在佩戴者移动过程中，通过图像识别算法或位置估计算法对观测场景进行分析；
地图构建单元用于在自身定位的基础上构造地图，实现自主定位；
地图更新单元用于储存位置环境的地图信息，并在既有地图上建造增量式地图；
姿态分析单元用于通过视觉算法与姿态传感模块融合，分析佩戴者的视角姿态；
模型渲染单元用于通过所获视角姿态渲染相应的数字模型；
图像叠加单元用于将视角姿态及渲染的数字模型叠加到视频图像与环境相对应的位置上，生成带位姿信息的虚拟数字图像，并将虚拟数字图像输出至图像融合模块。
图像融合模块还包括扩展单元、同步单元和融合单元，扩展单元、同步单元和融合单元依次连接；
扩展单元用于通过差值计算将低分辨率低帧率的虚拟数字图像进行扩展，使虚拟数字图像与高清视频图像的分辨率和帧率一致；
同步单元用于通过高清视频图像的同步信号使虚拟数字图像与高清视频图像的两路视频每帧对齐，并分析出融合时将要被虚拟数字图像覆盖的高清视频图像部分；
融合单元用于根据同步单元的分析结果将虚拟数字图像叠加到高清视频图像的对应帧中，使虚拟数字图像和高清视频图像进行融合，并将融合后的视频图像输出至显示模块进行显示。
增强现实智能眼镜因为视频画面延时的原因，会产生较强的眩晕感，使佩戴者感到不适。在本发明实施例中，为了保证现实视频画面的最小延时，通过将高清视频图像直接从图像预处理模块发送到图像融合模块中，并将低分辨率低帧率的低清视频图像输出至数据处理装置进行增强现实处理，有轻微延时的虚拟数字图像再通过图像融合模块融合到高清视频图像中，从而减少数据处理装置增强现实算法的计算量。虽然因为高清视频图像比虚拟数字图像的提早更新会造成叠加画面轻微浮动，但双路(高清视频图像和虚拟数字图像)分离的方案可以使视频透视的眩晕感大大降低。
请参阅图6，是本发明实施例的基于视频透视的智能眼镜透视方法的流程图。本发明实施例的基于视频透视的智能眼镜透视方法包括以下步骤：
步骤100：佩戴智能眼镜，通过智能眼镜的摄像模块实时采集视频图像，并将采集到的视频图像传输至图像预处理模块；
在步骤100中，摄像模块为双目摄像头，双目摄像头分别设置于智能眼镜的左右镜片上，且双目摄像头之间的距离可根据佩戴者的瞳距进行调节；双目摄像头的前端还安装有广角镜头，用于采集较大场景的外界景物。
步骤200：通过图像预处理模块接收摄像模块传输的视频图像，并通过芯片化算法对视频图像进行预处理后，将LD视频图像和HD视频图像分别传输至数据处理装置及图像融合模块；
在步骤200中，图像预处理模块以FPGA为主要运算器件，通过芯片化算法处理摄像模块采集的视频图像，并可通过相关算法对摄像模块的参数进行配置。所述图像预处理模块对视频图像进行预处理的处理方式具体为：对摄像模块传输的视频图像进行处理加工，并通过加工结果得到摄像模块的配置参数；通过标定得到的配置参数对摄像模块畸变进行消除；通过标定得到的配置参数将双目摄像头的画面拉回一个平面，并使双目摄像头同行对齐；使用局部匹配算法计算与所在行的最优双目匹配结果，从而通过视差计算出深度视频图像；将未经缩放的高清视频图像进行拼接后直接输出到图像融合模块中，并将经过缩放的低清视频图像、深度视频图像和其他辅助图像进行拼接后输出到数据处理装置中；其中，低清视频图像来自于高清视频图像的下采样。所述摄像模块的配置参数具体包括：色彩过滤排列、白平衡调节、自动曝光、自动对焦、高动态范围图像生成和映射。
步骤300：通过数据处理装置接收图像预处理模块传输的LD视频图像，通过相关算法将数字内容和姿态信息叠加至LD视频图像中，生成带位姿信息的虚拟数字图像，并将虚拟数字图像传输至图像融合模块；
在步骤300中，智能眼镜上还设有姿态传感模块，通过姿态传感模块获取佩戴者的姿态信息，并将姿态信息传输至数据处理装置。数据处理装置以CPU或GPU等作为运算器件，通过软件算法实现增强现实的各类应用。所述数据处理装置生成虚拟数字图像的具体方式包括：将拼接好的视频图像进行拆分；在佩戴者移动过程中，通过图像识别算法或位置估计算法对观测场景进行分析；在自身定位的基础上构造地图，实现自主定位；储存位置环境的地图信息，并在既有地图上建造增量式地图；通过视觉算法与姿态传感模块融合，分析佩戴者的视角姿态；通过所获视角姿态渲染相应的数字模型；将视角姿态及渲染的数字模型叠加到视频图像与环境相对应的位置上，生成带位姿信息的虚拟数字图像。
步骤400：通过图像融合模块分别接收图像预处理模块传输的HD视频图像以及数据处理装置传输的虚拟数字图像，并将虚拟数字图像与HD视频图像进行融合后输出至显示模块；
在步骤400中，图像融合模块将虚拟数字图像与HD视频图像进行融合的方式具体为：通过差值计算将低分辨率低帧率的虚拟数字图像进行扩展，使虚拟数字图像与高清视频图像的分辨率和帧率一致；通过高清视频图像的同步信号使虚拟数字图像与高清视频图像的两路视频每帧对齐，并分析出融合时将要被虚拟数字图像覆盖的高清视频图像部分；根据分析结果将虚拟数字图像叠加到高清视频图像的对应帧中，使虚拟数字图像和高清视频图像进行融合。
步骤500：通过显示模块显示视频图像，并通过光学组件对显示图像进行对焦。
本发明实施例的基于视频透视的智能眼镜系统及其透视方法通过将高清视频图像直接从图像预处理模块发送到图像融合模块中，并将低分辨率低帧率的低清视频图像输出至数据处理装置进行增强现实处理，有轻微延时的虚拟数字图像再通过图像融合模块融合到高清视频图像中，从而减少数据处理装置增强现实算法的计算量，在最大幅度地减小视频画面延时的同时提高成像质量，使视频透视的眩晕感大大降低，提高佩戴者的舒适感。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种基于视频透视的智能眼镜系统，包括智能眼镜和数据处理装置，其特征在于，所述智能眼镜包括摄像模块、图像预处理模块、图像融合模块和显示模块；所述摄像模块用于采集视频图像，并将采集到的视频图像传输至图像预处理模块；所述图像预处理模块用于对视频图像进行预处理后，将低清视频图像和高清视频图像分别传输至数据处理装置及图像融合模块；所述数据处理装置用于通过算法生成虚拟数字图像，并将虚拟数字图像传输至图像融合模块；所述图像融合模块用于将虚拟数字图像与高清视频图像进行融合后输出至显示模块进行显示。
2.根据权利要求1所述的基于视频透视的智能眼镜系统，其特征在于：还包括姿态传感模块，所述姿态传感模块设于智能眼镜上，并与数据处理装置连接，用于采集智能眼镜佩戴者的姿态信息，并将姿态信息传输至数据处理装置。
3.根据权利要求2所述的基于视频透视的智能眼镜系统，其特征在于：还包括光学器件，所述光学器件设于显示模块靠近人眼的一侧，用于帮助人眼对显示模块的显示图像进行对焦。
4.根据权利要求1所述的基于视频透视的智能眼镜系统，其特征在于：所述摄像模块为双目摄像头，所述双目摄像头分别设置于智能眼镜的左右镜片上，所述双目摄像头的前端还安装有广角镜头。
5.根据权利要求4所述的基于视频透视的智能眼镜系统，其特征在于：所述图像预处理模块包括预处理单元、畸变矫正单元、立体校正单元、深度计算单元和图像拼接单元；
所述预处理单元用于对摄像模块传输的视频图像进行处理加工，并通过加工结果得到摄像模块的配置参数；
所述畸变矫正单元用于通过配置参数对摄像模块畸变进行修复；
所述立体校正单元用于通过配置参数将双目摄像头的画面拉回一个平面，并使双目摄像头同行对齐；
所述深度计算单元用于使用局部匹配算法计算最优双目匹配结果，并通过视差计算出深度视频图像；
所述图像拼接单元用于将未经缩放的高清视频图像进行拼接后输出到图像融合模块，并将经过缩放的低清视频图像、深度视频图像和辅助图像进行拼接后输出到数据处理装置。
6.根据权利要求2或5所述的基于视频透视的智能眼镜系统，其特征在于：所述数据处理装置包括图像拆分单元、场景分析单元、地图构建单元、地图更新单元、姿态分析单元、模型渲染单元和图像叠加单元；
所述图像拆分单元用于将拼接好的视频图像进行拆分；
所述场景分析单元用于对观测场景进行分析；
所述地图构建单元用于构造地图，实现自主定位；
所述地图更新单元用于储存位置环境的地图信息，并在构造的地图上建造增量式地图；
所述姿态分析单元用于通过视觉算法与姿态传感模块融合，分析佩戴者的视角姿态；
所述模型渲染单元用于通过视角姿态渲染数字模型；
所述图像叠加单元用于将视角姿态及渲染的数字模型叠加到视频图像上，生成带位姿信息的虚拟数字图像，并将虚拟数字图像输出至图像融合模块。
7.根据权利要求6所述的基于视频透视的智能眼镜系统，其特征在于：所述图像融合模块还包括扩展单元、同步单元和融合单元；
所述扩展单元用于通过差值计算将虚拟数字图像进行扩展，使虚拟数字图像与高清视频图像的分辨率和帧率一致；
所述同步单元用于通过高清视频图像的同步信号使虚拟数字图像与高清视频图像的两路视频每帧对齐，并分析出融合时将要被虚拟数字图像覆盖的高清视频图像部分；
所述融合单元用于根据同步单元的分析结果将虚拟数字图像叠加到高清视频图像的对应帧中，使虚拟数字图像和高清视频图像进行融合，并将融合后的视频图像输出至显示模块进行显示。
8.一种基于视频透视的智能眼镜透视方法，其特征在于：包括以下步骤：
步骤100：通过摄像模块采集视频图像，并将采集到的视频图像传输至图像预处理模块；
步骤200：通过图像预处理模块对视频图像进行预处理，并将低清视频图像和高清视频图像分别传输至数据处理装置及图像融合模块；
步骤300：数据处理装置通过算法生成虚拟数字图像，并将虚拟数字图像传输至图像融合模块；
步骤400：通过图像融合模块将虚拟数字图像与高清视频图像进行融合后输出至显示模块进行显示。
9.根据权利要求8所述的基于视频透视的智能眼镜透视方法，其特征在于：在步骤200中，所述图像预处理模块对视频图像进行预处理的处理方式具体为：对摄像模块传输的视频图像进行处理加工，并通过加工结果得到摄像模块的配置参数；通过配置参数对摄像模块畸变进行修复，并将双目摄像头的画面拉回一个平面，使双目摄像头同行对齐；使用局部匹配算法计算与最优双目匹配结果，通过视差计算出深度视频图像；将未经缩放的高清视频图像进行拼接后直接输出到图像融合模块中，并将经过缩放的低清视频图像、深度视频图像和辅助图像进行拼接后输出到数据处理装置中。
10.根据权利要求8或9所述的基于视频透视的智能眼镜透视方法，其特征在于：所述步骤300还包括：通过姿态传感模块获取佩戴者的姿态信息，并将姿态信息传输至数据处理装置；所述数据处理装置生成虚拟数字图像的方式包括：将拼接好的视频图像进行拆分；对观测场景进行分析；构造地图，实现自主定位；储存位置环境的地图信息，在既有地图上建造增量式地图；通过视觉算法与姿态传感模块融合，分析佩戴者的视角姿态；通过视角姿态渲染数字模型；将视角姿态及渲染的数字模型叠加到视频图像上，生成带位姿信息的虚拟数字图像。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610218731.2A CN107277495B (zh) | 2016-04-07 | 2016-04-07 | 一种基于视频透视的智能眼镜系统及其透视方法 |
| PCT/CN2016/086348 WO2017173735A1 (zh) | 2016-04-07 | 2016-06-20 | 一种基于视频透视的智能眼镜系统及其透视方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610218731.2A CN107277495B (zh) | 2016-04-07 | 2016-04-07 | 一种基于视频透视的智能眼镜系统及其透视方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107277495A true CN107277495A (zh) | 2017-10-20 |
| CN107277495B CN107277495B (zh) | 2019-06-25 |
Family
ID=60000809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610218731.2A Active CN107277495B (zh) | 2016-04-07 | 2016-04-07 | 一种基于视频透视的智能眼镜系统及其透视方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107277495B (zh) |
| WO (1) | WO2017173735A1 (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108881852A (zh) * | 2018-07-27 | 2018-11-23 | 中船电子科技有限公司 | 一种用于海关缉私执法的智能眼镜控制方法 |
| CN109147059A (zh) * | 2018-09-06 | 2019-01-04 | 联想(北京)有限公司 | 一种延时数值的确定方法及设备 |
| CN110414101A (zh) * | 2019-07-15 | 2019-11-05 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种仿真场景测量方法、准确性测定方法及系统 |
| CN111930233A (zh) * | 2020-08-05 | 2020-11-13 | 聚好看科技股份有限公司 | 一种全景视频图像显示方法及显示设备 |
| CN112558302A (zh) * | 2020-12-08 | 2021-03-26 | 恒玄科技(上海)股份有限公司 | 一种用于确定眼镜姿态的智能眼镜及其信号处理方法 |
| CN114363489A (zh) * | 2021-12-29 | 2022-04-15 | 珠海惠中智能技术有限公司 | 一种将摄像头和眼部显示装置直接耦合的增强现实系统 |
| CN115047624A (zh) * | 2022-05-24 | 2022-09-13 | 北京领为军融科技有限公司 | 智能眼镜操控系统 |
| CN115661418A (zh) * | 2022-12-22 | 2023-01-31 | 灯影科技有限公司 | 混合现实显示装置、方法、设备及存储介质 |
| WO2023137808A1 (zh) * | 2022-01-22 | 2023-07-27 | 深圳市帝泰光电有限公司 | 视觉增强的智能穿戴设备及实现立体视觉换位的方法 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109062407A (zh) * | 2018-07-27 | 2018-12-21 | 江西省杜达菲科技有限责任公司 | 基于vr技术的远程移动终端三维显控系统和方法 |
| CN109714589A (zh) * | 2019-02-22 | 2019-05-03 | 上海北冕信息科技有限公司 | 用于增强现实的输入输出装置、设备 |
| CN110139028B (zh) * | 2019-03-25 | 2020-07-07 | 华为技术有限公司 | 一种图像处理的方法及头戴式显示设备 |
| CN110244837A (zh) * | 2019-04-26 | 2019-09-17 | 北京圣威特科技有限公司 | 增强现实且具有虚拟影像叠加的体验眼镜及其成像方法 |
| CN111047713B (zh) * | 2019-12-30 | 2023-05-30 | 复旦大学 | 一种基于多目视觉定位的增强现实交互系统及其操作方法 |
| CN111770363B (zh) * | 2020-07-10 | 2022-02-11 | 陕西师范大学 | 基于情景感知的低延迟高分辨率移动增强现实系统 |
| CN112489138B (zh) * | 2020-12-02 | 2024-02-20 | 中国船舶集团有限公司第七一六研究所 | 一种基于可穿戴式装备的目标态势信息智能获取系统 |
| CN112907756B (zh) * | 2021-03-10 | 2023-11-03 | 中国石油天然气集团有限公司 | 一种抢险ar后端辅助操作系统及辅助操作方法 |
| CN115065816B (zh) | 2022-05-09 | 2023-04-07 | 北京大学 | 一种真实地理空间场景实时构建方法和实时构建装置 |
| CN116126150B (zh) * | 2023-04-13 | 2023-06-27 | 北京千种幻影科技有限公司 | 一种基于实景交互的模拟驾驶系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070242086A1 (en) * | 2006-04-14 | 2007-10-18 | Takuya Tsujimoto | Image processing system, image processing apparatus, image sensing apparatus, and control method thereof |
| CN103530881A (zh) * | 2013-10-16 | 2014-01-22 | 北京理工大学 | 适用于移动终端的户外增强现实无标志点跟踪注册方法 |
| CN104883556A (zh) * | 2015-05-25 | 2015-09-02 | 深圳市虚拟现实科技有限公司 | 基于增强现实的三维显示方法和增强现实眼镜 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005135052A (ja) * | 2003-10-29 | 2005-05-26 | Canon Inc | 複合現実空間でのｆｏｇ効果の実現手法 |
| JP4909176B2 (ja) * | 2007-05-23 | 2012-04-04 | キヤノン株式会社 | 複合現実感提示装置及びその制御方法、コンピュータプログラム |
| CN103105174B (zh) * | 2013-01-29 | 2016-06-15 | 四川长虹佳华信息产品有限责任公司 | 一种基于ar增强现实技术的车载实景安全导航方法 |
-
2016
- 2016-04-07 CN CN201610218731.2A patent/CN107277495B/zh active Active
- 2016-06-20 WO PCT/CN2016/086348 patent/WO2017173735A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070242086A1 (en) * | 2006-04-14 | 2007-10-18 | Takuya Tsujimoto | Image processing system, image processing apparatus, image sensing apparatus, and control method thereof |
| CN103530881A (zh) * | 2013-10-16 | 2014-01-22 | 北京理工大学 | 适用于移动终端的户外增强现实无标志点跟踪注册方法 |
| CN104883556A (zh) * | 2015-05-25 | 2015-09-02 | 深圳市虚拟现实科技有限公司 | 基于增强现实的三维显示方法和增强现实眼镜 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108881852A (zh) * | 2018-07-27 | 2018-11-23 | 中船电子科技有限公司 | 一种用于海关缉私执法的智能眼镜控制方法 |
| CN109147059A (zh) * | 2018-09-06 | 2019-01-04 | 联想(北京)有限公司 | 一种延时数值的确定方法及设备 |
| CN110414101A (zh) * | 2019-07-15 | 2019-11-05 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种仿真场景测量方法、准确性测定方法及系统 |
| CN111930233A (zh) * | 2020-08-05 | 2020-11-13 | 聚好看科技股份有限公司 | 一种全景视频图像显示方法及显示设备 |
| CN112558302A (zh) * | 2020-12-08 | 2021-03-26 | 恒玄科技(上海)股份有限公司 | 一种用于确定眼镜姿态的智能眼镜及其信号处理方法 |
| CN112558302B (zh) * | 2020-12-08 | 2022-12-20 | 恒玄科技(上海)股份有限公司 | 一种用于确定眼镜姿态的智能眼镜及其信号处理方法 |
| CN114363489A (zh) * | 2021-12-29 | 2022-04-15 | 珠海惠中智能技术有限公司 | 一种将摄像头和眼部显示装置直接耦合的增强现实系统 |
| CN114363489B (zh) * | 2021-12-29 | 2022-11-15 | 珠海惠中智能技术有限公司 | 一种将摄像头和眼部显示装置直接耦合的增强现实系统 |
| WO2023137808A1 (zh) * | 2022-01-22 | 2023-07-27 | 深圳市帝泰光电有限公司 | 视觉增强的智能穿戴设备及实现立体视觉换位的方法 |
| CN115047624A (zh) * | 2022-05-24 | 2022-09-13 | 北京领为军融科技有限公司 | 智能眼镜操控系统 |
| CN115661418A (zh) * | 2022-12-22 | 2023-01-31 | 灯影科技有限公司 | 混合现实显示装置、方法、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107277495B (zh) | 2019-06-25 |
| WO2017173735A1 (zh) | 2017-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107277495A (zh) | 一种基于视频透视的智能眼镜系统及其透视方法 | |
| US10838206B2 (en) | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking | |
| CN103605208B (zh) | 内容投射系统及方法 | |
| CN107209950B (zh) | 从现实世界材料自动生成虚拟材料 | |
| US20180336737A1 (en) | Systems and methods for determining the scale of human anatomy from images | |
| CA2781064C (en) | Image magnification on a head mounted display | |
| KR101260287B1 (ko) | 증강 현실을 이용한 안경 렌즈 비교 시뮬레이션 방법 | |
| CN108780578A (zh) | 用于增强现实系统的直接光补偿技术 | |
| JP6770536B2 (ja) | 仮想画像生成システムにおけるテキストをより効率的に表示するための技法 | |
| WO2013175923A1 (ja) | シミュレーション装置 | |
| KR20190034321A (ko) | 고정-거리 가상 및 증강 현실 시스템들 및 방법들 | |
| CN106959759A (zh) | 一种数据处理方法及装置 | |
| CN105763865A (zh) | 一种基于透明液晶的裸眼3d增强现实的方法及装置 | |
| CN106444023A (zh) | 一种超大视场角的双目立体显示的透射式增强现实系统 | |
| CN105651384A (zh) | 一种全光信息采集系统 | |
| CN105825499A (zh) | 基准平面的确定方法和确定系统 | |
| JP2012079291A (ja) | プログラム、情報記憶媒体及び画像生成システム | |
| KR20230017837A (ko) | 분화를 포함하는 안경류 | |
| JP2023515517A (ja) | ライブフィッティングを含む眼鏡フレームのフィッティング | |
| JP4270347B2 (ja) | 距離演算装置 | |
| CN108064447A (zh) | 图像显示方法、智能眼镜及存储介质 | |
| US10255676B2 (en) | Methods and systems for simulating the effects of vision defects | |
| JP3825654B2 (ja) | 眼光学系のシミュレーション方法及び装置 | |
| KR101947372B1 (ko) | Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd | |
| CN108234986B (zh) | 用于治疗近视或弱视的3d图像管理方法及管理系统和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |