CN104883556B - 基于增强现实的三维显示方法和增强现实眼镜 - Google Patents

基于增强现实的三维显示方法和增强现实眼镜 Download PDF

Info

Publication number
CN104883556B
CN104883556B CN201510268636.9A CN201510268636A CN104883556B CN 104883556 B CN104883556 B CN 104883556B CN 201510268636 A CN201510268636 A CN 201510268636A CN 104883556 B CN104883556 B CN 104883556B
Authority
CN
China
Prior art keywords
target object
augmented reality
left images
screen display
split screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510268636.9A
Other languages
English (en)
Other versions
CN104883556A (zh
Inventor
王洁
党少军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Virtual Reality Technology Co Ltd
Original Assignee
Shenzhen Virtual Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Virtual Reality Technology Co Ltd filed Critical Shenzhen Virtual Reality Technology Co Ltd
Priority to CN201510268636.9A priority Critical patent/CN104883556B/zh
Publication of CN104883556A publication Critical patent/CN104883556A/zh
Application granted granted Critical
Publication of CN104883556B publication Critical patent/CN104883556B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于增强现实的三维显示方法,通过采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。本发明还公开了一种增强现实眼镜。本发明虚实融合效果好、且易于携带。

Description

基于增强现实的三维显示方法和增强现实眼镜
技术领域
本发明涉及视频显示领域,尤其涉及基于增强现实的三维显示方法和增强现实眼镜。
背景技术
增强现实技术是一种可以把计算机生成的二维或三维信息叠加到真实环境中,从而增强用户对真实环境的感知的一种崭新的技术领域。跟踪注册、虚实融合以及实时交互被认为是增强现实技术的三大基本特征。目前可用于增强现实系统并能实现虚实融合的立体显示的头戴式显示设备主要包括视频透视式头戴显示器以及光学透视式头戴显示器。其中,光学透视式头戴显示器的特点是让用户能够直接看到真实的环境,再通过投影设备等装置把虚拟物体的影像叠加上去,但存在着虚拟物体亮度不足等缺陷。视频透视式头戴显示器包括单目式和双目式两种,单目式由于只有一个摄像头,因此无法通过单帧视频图像完全获得真实环境的深度信息,从而导致用户无法对真实物体的距离进行准备的判断,在增强现实系统中会经常出现无法一次抓拿真实物体的问题。因此,如何增强虚实融合效果,是一个亟待解决的问题。
发明内容
本发明的主要目的在于提出一种基于增强现实的三维显示方法和增强现实眼镜,旨在解决虚实融合效果不佳的问题。
为实现上述目的,本发明提供的一种基于增强现实的三维显示方法,所述三维显示方法包括步骤:
采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;
将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;
对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。
优选地,所述采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对的步骤包括:
利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体;
采用尺度不变特征变换匹配算法对所述目标物体进行追踪。
优选地,所述采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对的步骤包括:
通过所述双目立体摄像头从两个不同的视点获取所述目标物体在不同视角下的倒立的图像对;
对所述倒立的图像对进行翻转处理,转化为正立的图像对。
优选地,所述采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对的步骤还包括:
利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息;
根据所述视差信息获取所述目标物体的三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。
优选地,所述对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上的步骤之后还包括:
若与分屏显示的左右图像对中的所述目标物体产生互动时,则在所述分屏显示的左右图像对中显示对应的增强现实场景。
此外,为实现上述目的,本发明还提出一种增强现实眼镜,其特征在于,所述增强现实眼镜包括:
获取模块,用于采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;
叠加模块,用于将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;
显示模块,用于对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。
优选地,所述获取模块包括:
提取单元,用于利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体;
追踪单元,用于采用尺度不变特征变换匹配算法对所述目标物体进行追踪。
优选地,所述获取模块包括:
图像获取单元,用于通过所述双目立体摄像头从两个不同的视点获取所述目标物体在不同视角下的倒立的图像对;
翻转单元,用于对所述倒立的图像对进行翻转处理,转化为正立的图像对。
优选地,所述获取模块包括:
测量单元,用于利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息;
构建单元,用于根据所述视差信息获取所述目标物体的三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。
优选地,所述显示模块还用于若与分屏显示的左右图像对中的所述目标物体产生互动时,则在所述分屏显示的左右图像对中显示对应的增强现实场景。
本发明提出的基于增强现实的三维显示方法和增强现实眼镜,通过采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。本发明虚实融合效果好、且易于携带。
附图说明
图1为本发明基于增强现实的三维显示方法第一实施例的流程示意图;
图2为图1中所述采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对的步骤第一实施例的细化流程示意图;
图3为图1中所述采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对的步骤第二实施例的细化流程示意图;
图4为图1中所述采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对的步骤第三实施例的细化流程示意图;
图5为本发明基于增强现实的三维显示方法第二实施例的流程示意图;
图6为本发明增强现实眼镜第一实施例的功能模块示意图;
图7为图6中所述获取模块第一实施例的功能模块示意图;
图8为图6中所述获取模块第二实施例的功能模块示意图;
图9为图6中所述获取模块第三实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明第一实施例提出一种基于增强现实的三维显示方法,所述三维显示方法包括:
步骤S100、采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对。
增强现实眼镜采用双目立体摄像头从两个不同的视点观察同一目标物体,以获取所述目标物体在不同视角下的左右图像对。其中,所述左右图像对为所述双目立体摄像头从两个不同的视点采集到的、以所述目标物体为前景的两幅相互独立的图像。在本实施例中,通过双目立体摄像头从不同的角度捕捉左右图像对,首先、利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体;然后,采用SIFT(Scale-invariantfeature transform,尺度不变特征变换)匹配算法对所述目标物体进行追踪。并利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息,根据所述视差信息获取所述目标物体的深度信息和三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。其中,视差信息就是从有一定距离的两个点上观察同一个目标所产生的方向差异。深度信息是指存储每个像素所用的位数,也用于量度图像的色彩分辨率。
步骤S200、将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上。
增强现实眼镜在增强现实交互环境中,预先构建与所述目标物体对应的虚拟现实场景,例如,根据所述目标物体的运动状况,构建与所述运动状况相匹配的增强现实运动项目场景,如所述增强现实眼镜追踪到所述目标在跑步时,则构建与所述跑步项目相适配的增强现实跑步机。并将所述构建的增强现实场景预先保存在增强现实数据库中,以便感知到所述目标物体的运动状况时,及时调用增强现实数据库中事先保存的增强现实场景。同时将增强现实场景分别叠加到双目立体摄像头获取的所述左右图像对上。
步骤S300、对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。
增强现实眼镜通过左右屏幕对所述左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上,例如,将左屏幕画面上的图像投射到左目镜上,将右屏幕画面上的图像投射到右目镜上,从则使每个眼睛看到独立的左右画面,形成立体视觉。
本实施例提出的基于增强现实的三维显示方法,通过采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。虚实融合效果好、且易于携带。
如图2所示,图2为图1中所述步骤S100第一实施例的细化流程示意图,在本实施例中,所述步骤S100包括:
步骤S110、利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体。
增强现实眼镜利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体,其中,帧间差分法是利用图像序列中相邻帧图像之间做差来提取出所述左右图像对中的运动区域。首先将数帧图像校正在同一坐标系中,然后将同一背景不同时刻的两幅图像进行差分运算,灰度不发生变化的背景部分被减掉,由于运动目标在相邻两帧中的位置不同,且与背景灰度有所差异,两帧相减后将所述目标物体突现出来,从而大致确定所述目标物体在所述左右图像对中的位置。背景差分法是利用图像序列和参考背景模型相减实现所述目标物体检测的。背景差分法能够提供较为完整的特征数据从而提取出所述左右图像对的所述目标物体,但其对光照和外部条件造成的动态场景变化过于敏感,在非受控情部下需要加入背景图像更新机制,且不是用于与双目立体摄像头运动,或背景灰度变化较大的情况。在本实施例中,首先根据帧间差分法确定运动区域,然后在确定的运动区域内采用背景差分法和帧间差分法对所述目标物体进行提取,从而大大提高了所述目标物体识别的效率。
步骤S120、采用尺度不变特征变换匹配算法对所述目标物体进行追踪。
增强现实眼镜采用SIFT(Scale-invariant feature transform,尺度不变特征变换匹配)算法对所述目标物体进行追踪。其主要思想是建立目标库,将所述左右图像对第一帧中的所述目标物体提取出来,进行SIFT变换后将特征数据库存入目标数据库中,每个数据库包括目标标号、质心坐标、目标坐标块以及SIFT信息。每个目标的特征信息又包括特征点坐标、特征向量以及特征向量对应的留存优选级。然后以目标库为中介,与第二帧中目标SIFT特征信息进行匹配,找到前后二帧的关联性,确定所述目标物体的位置及轨迹,然后利用库中目标与第二帧目标的匹配关系,采用特定策略更新、淘汰目标库信息。之后再以目标库为中介继续对后续帧进行处理。SIFT算法分为匹配和更新两个过程。匹配过程通过二个目标特征的匹配概率,找出前后两帧相同的目标,对目标进行关联。更新过程则是在匹配的基础上对目标库进行补充与更新,确保目标库信息与最近几帧目标保持相似性,以保证识别的正确性。
本实施例提出的基于增强现实的三维显示方法,采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;并采用尺度不变特征变换匹配算法对所述目标物体进行追踪,从而快速保证目标物体识别的正确性,提升识别的效率和准确性。
如图3所示,图3为图1中所述步骤S100第二实施例的细化流程示意图,在本实施例中,所述步骤S100包括:
步骤S130、通过所述双目立体摄像头从两个不同的视点获取所述目标物体在不同视角下的倒立的图像对。
增强现实眼镜通过所述双目立体摄像头从两个不同的视点对所述目标物体进行观察,通过双目立体摄像头的小孔成像原理,在感光元件上成像,获取所述目标物体在不同视角下的倒立的图像对。
步骤S140、对所述倒立的图像对进行翻转处理,转化为正立的图像对。
增强现实眼镜对所述倒立的图像通过光电转换,将所述倒立的图像对的光学图像转换为电信号,并对所述倒立的图像对进行翻转处理,转化为正立的图像对。
本实施例提出的基于增强现实的三维显示方法,通过所述双目立体摄像头从两个不同的视点获取所述目标物体在不同视角下的倒立的图像对,并对所述倒立的图像对进行翻转处理,转化为正立的图像对,以符合人们观察目标物体的视觉习惯,从而获得更好的视觉效果。
如图4所示,图4为图1中所述步骤S100第三实施例的细化流程示意图,在本实施例中,所述步骤S100包括:
步骤S150、利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息。
增强现实眼镜利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息。将反光镜放置在所述目标物体上,分别对双目立体摄相头主动射出的红外光进行幅度调制,并测定调制光往返双目立体摄相头与目标物体之间一次所产生的相位延迟,再根据调制光的波长,换算此两个相位延迟所代表的距离,再对换算的两个距离作差,获取所述目标物体的视差信息。
步骤S160、根据所述视差信息获取所述目标物体的三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。
增强现实眼镜根据所述视差信息,从而获取所述增强现实眼镜的深度信息和所述目标物体特征点的三维坐标,并根据所述目标物体特征点的三维坐标,对所述目标物体进行三维重构。
本实施例提出的基于增强现实的三维显示方法,利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息,并根据所述视差信息获取所述目标物体的三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。通过红外测距,三维重构定位精度高。
如图5所示,图5为本发明基于增强现实的三维显示方法第二实施例的流程示意图,在第一实施例的基础上,所述步骤S300之后包括:
步骤S400、若与分屏显示的左右图像对中的所述目标物体产生互动时,则在所述分屏显示的左右图像对中显示对应的增强现实场景。
增强现实眼镜若识别到用户与分屏显示的左右图像对中的所述目标物体产生互动时,则调出事先存储在所述增强现实数据库中对应的增强现实场景,在所述分屏显示的左右图像对中进行显示。例如,增强现实眼镜若识别到用户的动作与所述目标物体的运动状况同步时,则在所述增强现实数据库中对应调出与所述运动状况相匹配的增强现实运动项目场景,如所述增强现实眼镜追踪到用户和所述目标物体都在同步跑步时,则在所述分屏显示的图像中显示与所述跑步项目相适配的增强现实跑步机。
本实施例提出的基于增强现实的三维显示方法,若与分屏显示的左右图像对中的所述目标物体产生互动时,则在所述分屏显示的左右图像对中显示对应的增强现实场景,从而增强用户的视觉沉浸感,提高用户体验。
参照图6,本发明进一步提供一种增强现实眼镜,所述增强现实眼镜包括:
获取模块10,用于采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;
叠加模块20,用于将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;
显示模块30,用于对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。
增强现实眼镜的获取模块10采用双目立体摄像头从两个不同的视点观察同一目标物体,以获取所述目标物体在不同视角下的左右图像对。其中,所述左右图像对为所述双目立体摄像头从两个不同的视点采集到的、以所述目标物体为前景的两幅相互独立的图像。在本实施例中,通过双目立体摄像头从不同的角度捕捉左右图像对,首先、利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体;然后,采用SIFT(Scale-invariant feature transform,尺度不变特征变换)匹配算法对所述目标物体进行追踪。并利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息,根据所述视差信息获取所述目标物体的深度信息和三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。其中,视差信息,就是从有一定距离的两个点上观察同一个目标所产生的方向差异。深度信息是指存储每个像素所用的位数,也用于量度图像的色彩分辨率。
增强现实眼镜的叠加模块20在增强现实交互环境中,预先构建与所述目标物体对应的虚拟现实场景,例如,根据所述目标物体的运动状况,构建与所述运动状况相匹配的增强现实运动项目场景,如所述增强现实眼镜追踪到所述目标在跑步时,则构建与所述跑步项目相适配的增强现实跑步机。并将所述构建的增强现实场景预先保存在增强现实数据库中,以便感知到所述目标物体的运动状况时,及时调用增强现实数据库中事先保存的增强现实场景。同时将增强现实场景分别叠加到双目立体摄像头获取的所述左右图像对上。
增强现实眼镜的显示模块30通过左右屏幕对所述左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上,例如,将左屏幕画面上的图像投射到左目镜上,将右屏幕画面上的图像投射到右目镜上,从而使每个眼睛看到独立的左右画面,形成立体视觉。
本实施例提出的增强现实眼镜,通过采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。虚实融合效果好、且易于携带。
如图7所示,图7为图6中所述获取模块第一实施例的功能模块示意图,所述获取模块10包括:
提取单元11,用于利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体;
追踪单元12,用于采用尺度不变特征变换匹配算法对所述目标物体进行追踪。
增强现实眼镜的提取单元11利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体,其中,帧间差分法是利用图像序列中相邻帧图像之间做差来提取出所述左右图像对中的运动区域。首先将数帧图像校正在同一坐标系中,然后将同一背景不同时刻的两幅图像进行差分运算,灰度不发生变化的背景部分被减掉,由于运动目标在相邻两帧中的位置不同,且与背景灰度有所差异,两帧相减后将所述目标物体突现出来,从而大致确定所述目标物体在所述左右图像对中的位置。背景差分法是利用图像序列和参考背景模型相减实现所述目标物体检测的。背景差分法能够提供较为完整的特征数据从而提取出所述左右图像对的所述目标物体,但其对光照和外部条件造成的动态场景变化过于敏感,在非受控情部下需要加入背景图像更新机制,且不是用于与双目立体摄像头运动,或背景灰度变化较大的情况。在本实施例中,首先根据帧间差分法确定运动区域,然后在确定的运动区域内采用背景差分法和帧间差分法对所述目标物体进行提取,从而大大提高了所述目标物体识别的效率。
增强现实眼镜的追踪单元12采用SIF算法对所述目标物体进行追踪。其主要思想是建立目标库,将所述左右图像对第一帧中的所述目标物体提取出来,进行SIFT变换后将特征数据库存入目标数据库中,每个数据库包括目标标号、质心坐标、目标坐标块以及SIFT信息。每个目标的特征信息又包括特征点坐标、特征向量以及特征向量对应的留存优选级。然后以目标库为中介,与第二帧中目标SIFT特征信息进行匹配,找到前后二帧的关联性,确定所述目标物体的位置及轨迹,然后利用库中目标与第二帧目标的匹配关系,采用特定策略更新、淘汰目标库信息。之后再以目标库为中介继续对后续帧进行处理。SIFT算法分为匹配和更新两个过程。匹配过程通过二个目标特征的匹配概率,找出前后两帧相同的目标,对目标进行关联。更新过程则是在匹配的基础上对目标库进行补充与更新,确保目标库信息与最近几帧目标保持相似性,以保证识别的正确性。
本实施例提出的增强现实眼镜,采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;并采用尺度不变特征变换匹配算法对所述目标物体进行追踪,从而快速保证目标物体识别的正确性,提升识别的效率和准确性。
如图8所示,图8为图6中所述获取模块第二实施例的功能模块示意图,在本实施例中,所述获取模块10包括:
图像获取单元13,用于通过所述双目立体摄像头从两个不同的视点获取所述目标物体在不同视角下的倒立的图像对;
翻转单元14,用于对所述倒立的图像对进行翻转处理,转化为正立的图像对。
增强现实眼镜的图像获取单元13通过所述双目立体摄像头从两个不同的视点对所述目标物体进行观察,通过双目立体摄像头的小孔成像原理,在感光元件上成像,获取所述目标物体在不同视角下的倒立的图像对。
增强现实眼镜的翻转单元14对所述倒立的图像通过光电转换,将所述倒立的图像对的光学图像转换为电信号,并对所述倒立的图像对进行翻转处理,转化为正立的图像对。
本实施例提出的增强现实眼镜,通过所述双目立体摄像头从两个不同的视点获取所述目标物体在不同视角下的倒立的图像对,并对所述倒立的图像对进行翻转处理,转化为正立的图像对,以符合人们观察目标物体的视觉习惯,从而获得更好的视觉效果。
如图9所示,图9为图6中所述获取模块第三实施例的功能模块示意图,在本实施例中,所述获取模块10包括:
测量单元15,用于利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息;
构建单元16,用于根据所述视差信息获取所述目标物体的三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。
增强现实眼镜的测量单元15利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息。将反光镜放置在所述目标物体上,分别对双目立体摄相头主动射出的红外光进行幅度调制,并测定调制光往返双目立体摄相头与目标物体之间一次所产生的相位延迟,再根据调制光的波长,换算此两个相位延迟所代表的距离,再对换算的两个距离作差,获取所述目标物体的视差信息。
增强现实眼镜的构建单元16根据所述视差信息,从而获取所述增强现实眼镜的深度信息和所述目标物体特征点的三维坐标,并根据所述目标物体特征点的三维坐标,对所述目标物体进行三维重构。
本实施例提出的增强现实眼镜,利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息,并根据所述视差信息获取所述目标物体的三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。通过红外测距,三维重构定位精度高。
进一步参见图6,在本实施例中,所述显示模块10还用于若与分屏显示的左右图像对中的所述目标物体产生互动时,则在所述分屏显示的左右图像对中显示对应的增强现实场景。
增强现实眼镜的显示模块10若识别到用户与分屏显示的左右图像对中的所述目标物体产生互动时,则调出事先存储在所述增强现实数据库中对应的增强现实场景,在所述分屏显示的左右图像对中进行显示。例如,增强现实眼镜若识别到用户的动作与所述目标物体的运动状况同步时,则在所述增强现实数据库中对应调出与所述运动状况相匹配的增强现实运动项目场景,如所述增强现实眼镜追踪到用户和所述目标物体都在同步跑步时,则在所述分屏显示的图像中显示与所述跑步项目相适配的增强现实跑步机。
本实施例提出的增强现实眼镜,若与分屏显示的左右图像对中的所述目标物体产生互动时,则在所述分屏显示的左右图像对中显示对应的增强现实场景,从而增强用户的视觉沉浸感,提高用户体验。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种基于增强现实的三维显示方法,其特征在于,所述三维显示方法包括步骤:
采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;
利用所述双目立体摄像头主动射出的红外光往返的相位差来测量所述目标物体的视差信息;
根据所述视差信息获取所述目标物体的三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构;
将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;
对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上;
若与分屏显示的左右图像对中的所述目标物体产生互动时,则在所述分屏显示的左右图像对中显示对应的增强现实场景。
2.如权利要求1所述的三维显示方法,其特征在于,当增强现实眼镜识别到用户的动作与所述目标物体的运动状况同步时,则在增强现实数据库中对应调出与所述运动状况相匹配的增强现实运动项目场景。
3.如权利要求2所述的三维显示方法,其特征在于,当所述增强现实眼镜追踪到用户和所述目标物体都在同步跑步时,则在所述分屏显示的图像中显示与所述跑步项目相适配的增强现实跑步机。
4.如权利要求1所述的三维显示方法,其特征在于,所述采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对的步骤包括:
利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体;
采用尺度不变特征变换匹配算法对所述目标物体进行追踪。
5.如权利要求1所述的三维显示方法,其特征在于,所述采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对的步骤包括:
通过所述双目立体摄像头从两个不同的视点获取所述目标物体在不同视角下的倒立的图像对;
对所述倒立的图像对进行翻转处理,转化为正立的图像对。
CN201510268636.9A 2015-05-25 2015-05-25 基于增强现实的三维显示方法和增强现实眼镜 Expired - Fee Related CN104883556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510268636.9A CN104883556B (zh) 2015-05-25 2015-05-25 基于增强现实的三维显示方法和增强现实眼镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510268636.9A CN104883556B (zh) 2015-05-25 2015-05-25 基于增强现实的三维显示方法和增强现实眼镜

Publications (2)

Publication Number Publication Date
CN104883556A CN104883556A (zh) 2015-09-02
CN104883556B true CN104883556B (zh) 2017-08-29

Family

ID=53950875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510268636.9A Expired - Fee Related CN104883556B (zh) 2015-05-25 2015-05-25 基于增强现实的三维显示方法和增强现实眼镜

Country Status (1)

Country Link
CN (1) CN104883556B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105259655A (zh) * 2015-09-10 2016-01-20 上海理鑫光学科技有限公司 提高虚实叠加真实性的3d视频系统
EP3391658B1 (en) * 2015-12-17 2021-08-25 InterDigital Madison Patent Holdings, SAS Personalized presentation enhancement using augmented reality
CN106896732B (zh) * 2015-12-18 2020-02-04 美的集团股份有限公司 家用电器的展示方法和装置
WO2017125783A1 (en) * 2016-01-19 2017-07-27 Tycoon Promotion Sagl Remote interactive system of augmented reality and associated method
US9934615B2 (en) * 2016-04-06 2018-04-03 Facebook, Inc. Transition between binocular and monocular views
CN107277495B (zh) * 2016-04-07 2019-06-25 深圳市易瞳科技有限公司 一种基于视频透视的智能眼镜系统及其透视方法
CN106095090A (zh) * 2016-06-07 2016-11-09 北京行云时空科技有限公司 基于智能系统的空间场景的操控方法、装置和系统
CN106843456B (zh) * 2016-08-16 2018-06-29 深圳超多维光电子有限公司 一种基于姿态追踪的显示方法、装置和虚拟现实设备
CN108295463A (zh) * 2016-08-17 2018-07-20 丰唐物联技术(深圳)有限公司 一种图像显示方法及装置
CN106373198A (zh) * 2016-09-18 2017-02-01 福州大学 一种实现增强现实的方法
CN106940899B (zh) * 2017-03-30 2020-06-05 林星森 一种应用于ar场景下的武器瞄准系统的图层融合方法
CN107071394A (zh) * 2017-04-19 2017-08-18 深圳市易瞳科技有限公司 一种通过fpga实现hmd低延时视频透视的方法及头戴式显示器
US20210278242A1 (en) * 2017-05-26 2021-09-09 Optim Corporation Wearable terminal display system, wearable terminal display method and program
CN107273895B (zh) * 2017-06-15 2020-07-14 幻视互动(北京)科技有限公司 用于头戴式智能设备的视频流实时文本识别及翻译的方法
CN107277494A (zh) * 2017-08-11 2017-10-20 北京铂石空间科技有限公司 立体显示系统及方法
CN107560592B (zh) * 2017-08-21 2020-08-18 河南中光学集团有限公司 一种用于光电跟踪仪联动目标的精确测距方法
CN109688399A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 一种基于增强现实的立体图像显示方法和系统
CN107835403B (zh) * 2017-10-20 2020-06-26 华为技术有限公司 一种以3d视差效果显示的方法及装置
CN107918956A (zh) * 2017-12-01 2018-04-17 广州市动景计算机科技有限公司 增强现实的处理方法、装置及电子设备
CN108364504B (zh) * 2018-01-23 2019-12-27 浙江中新电力工程建设有限公司自动化分公司 增强现实三维互动学习系统及控制方法
CN108521564A (zh) * 2018-05-25 2018-09-11 嘉兴玄视信息科技有限公司 一种虚拟现实一体机
CN109788199B (zh) * 2019-01-30 2021-02-05 上海创功通讯技术有限公司 一种适用于具有双摄像头终端的对焦方法
CN111625091B (zh) * 2020-05-14 2021-07-20 佳都科技集团股份有限公司 基于ar眼镜的标签叠加方法及装置
TWI766316B (zh) 2020-07-22 2022-06-01 財團法人工業技術研究院 可透光顯示系統及其圖像輸出方法與處理裝置
CN112230775A (zh) * 2020-10-21 2021-01-15 潍坊歌尔电子有限公司 弹窗处理方法、装置及计算机可读存储介质
CN112710608B (zh) * 2020-12-16 2023-06-23 深圳晶泰科技有限公司 实验观测方法及系统
CN112598705B (zh) * 2020-12-17 2024-05-03 太原理工大学 一种基于双目视觉的车身姿态检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4689639B2 (ja) * 2007-04-25 2011-05-25 キヤノン株式会社 画像処理システム
KR101381594B1 (ko) * 2008-12-22 2014-04-10 한국전자통신연구원 가상현실을 이용한 교육 장치 및 방법
CN102508363A (zh) * 2011-12-28 2012-06-20 王鹏勃 一种基于增强现实技术的无线显示眼镜及其实现方法

Also Published As

Publication number Publication date
CN104883556A (zh) 2015-09-02

Similar Documents

Publication Publication Date Title
CN104883556B (zh) 基于增强现实的三维显示方法和增强现实眼镜
US10269177B2 (en) Headset removal in virtual, augmented, and mixed reality using an eye gaze database
CN104052938B (zh) 用于利用三维叠加的多光谱成像的设备和方法
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
CN104808340B (zh) 头戴式显示装置及其控制方法
KR20200012043A (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
CN102509348B (zh) 一种共享增强现实场景的真实物体多方位表示方法
WO2010124497A1 (zh) 一种运动检测方法、装置和系统
CN108351522A (zh) 注视方向映射
CN107368192B (zh) Vr眼镜的实景观测方法及vr眼镜
CN101815227A (zh) 图像处理设备和方法
WO2019062056A1 (zh) 一种智能投影方法、系统及智能终端
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN102647606A (zh) 立体影像处理器、立体影像互动系统及立体影像显示方法
CN106840112A (zh) 一种利用自由空间视线凝视点测量的空间几何量测量方法
CN104853185A (zh) 结合多视差和运动的立体视频舒适度评价方法
GB2475730A (en) Transformation of occluding objects in 2D to 3D image generation
CN106203429A (zh) 基于双目立体视觉复杂背景下的遮挡目标检测方法
CN103034330A (zh) 一种用于视频会议的眼神交互方法及系统
KR100793077B1 (ko) 관찰자 위치 결정 방법과 그를 이용한 관찰자 추적형 3차원디스플레이 시스템 및 그 방법
CN112116631A (zh) 一种工业增强现实组合定位系统
CN108064447A (zh) 图像显示方法、智能眼镜及存储介质
JP2023172882A (ja) 三次元表現方法及び表現装置
CN115035546A (zh) 三维人体姿态检测方法、装置及电子设备
CN106981100A (zh) 一种虚拟现实与真实场景融合的装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 518000 Guangdong city of Shenzhen province Nanshan District South Road seven No. 2 digital technology park A1 building 4 floor A District

Patentee after: VR TECHNOLOGY (SHENZHEN) Ltd.

Address before: 518000 Guangdong Zhenhua Road, Futian District, Shenzhen City, Guangdong, No. 37, Fu Yi, Yi Ju Dong, No. 202-1

Patentee before: VR TECHNOLOGY (SHENZHEN) Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170829