CN105872526B - 双目ar头戴显示设备及其信息显示方法 - Google Patents

双目ar头戴显示设备及其信息显示方法 Download PDF

Info

Publication number
CN105872526B
CN105872526B CN201510029392.9A CN201510029392A CN105872526B CN 105872526 B CN105872526 B CN 105872526B CN 201510029392 A CN201510029392 A CN 201510029392A CN 105872526 B CN105872526 B CN 105872526B
Authority
CN
China
Prior art keywords
image
target object
video camera
msub
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510029392.9A
Other languages
English (en)
Other versions
CN105872526A (zh
Inventor
柳寅秋
黄琴华
刘洋
李薪宇
宋海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Idealsee Technology Co Ltd
Original Assignee
Chengdu Idealsee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Idealsee Technology Co Ltd filed Critical Chengdu Idealsee Technology Co Ltd
Priority to CN201510029392.9A priority Critical patent/CN105872526B/zh
Priority to US15/545,328 priority patent/US10334235B2/en
Priority to PCT/CN2015/086351 priority patent/WO2016115873A1/zh
Publication of CN105872526A publication Critical patent/CN105872526A/zh
Application granted granted Critical
Publication of CN105872526B publication Critical patent/CN105872526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种双目AR头戴设备,在头戴设备内预置映射关系fc→s和fd→i的前提下,通过图像跟踪方法实时获取目标物体在摄像机拍摄的图像上的位置,并映射到头戴设备的屏幕坐标系,计算出左像/右像的显示位置。然后通过单目测距的方法,利用摄像机成像比例实时计算目标物体与摄像机之间的距离,从而计算出左右像间距。继而计算另一侧像的显示位置。相应地,本发明还提供了一种双目AR头戴设备的信息显示方法及增强现实信息显示系统,本发明方法可靠性高且成本低。传统景深调节均是从改变光学原件像距入手,本发明打破传统思维,不改变光学器件结构,通过计算左右像显示位置实现调节景深,具有开创性,且相比改变光学焦距,更具有实用性。

Description

双目AR头戴显示设备及其信息显示方法
技术领域
本发明涉及头戴显示技术领域,尤其涉及双目AR头戴显示设备及其信息显示方法。
背景技术
随着穿戴设备的兴起,各种头戴显示设备成为各大巨头公司的研发热点,逐渐进入人们的视野。头戴显示设备是增强现实技术(Augmented Reality Technique,简称AR)的最佳运用环境,其能将虚拟信息通过头戴设备窗口呈现在真实环境中。但是,目前多数现有AR头戴显示设备,其AR信息叠加仅考虑与目标位置X、Y轴坐标的相关性,而未计算目标的深度信息。从而使得虚拟信息漂浮在人眼前方,与环境融合度不高,用户体验度欠佳。另外,当用户视线在目标物体和所叠加的AR信息之间切换时,由于二者在用户的视觉范围内的深度不同,需要频繁调节眼睛的焦距来看清其内容,会造成用户眼睛负担加重,长时间使用会造成用户感觉不适。
现有技术中,也有在头戴设备上调节景深的方法。其中,大多都是采用机械方式调节光学透镜组的光学结构,从而改变光学原件像距,进而实现虚像景深调节。然而,这种方式使得头戴设备体积大、成本高且精度难控制。
发明内容
本发明的目的是提供一种增强现实信息显示系统、一种双目AR头戴显示设备及其信息显示方法,以简单、低成本的方式实现自动调节虚拟信息景深,使虚拟信息与环境完全融合。
根据本发明的第一个方面,提供了一种双目AR头戴设备的信息显示方法,所述头戴设备内预存有摄像机-屏幕映射关系fc→s,以及左右像等效中心间距dt与虚像距人眼距离Ln之间的映射关系fd→i;所述信息显示方法包括:
将摄像机拍摄的图像上传至服务器进行图像检索;
接收服务器返回的检索结果,若检索成功,则所述检索结果包含检索成功的目标物体在上传图像中的位置数据(x0,y0)、目标物体的实际尺寸Sr及目标物体相关的虚拟信息;
以(x0,y0)为初始位置,对摄像机实时拍摄图像中的所述目标物体进行跟踪,若跟踪成功,则记录所述目标物体在当前图像中的位置(xt,yt)以及像素尺寸
根据fc→s将(xt,yt)映射到屏幕坐标系,得到左像/右像在屏幕上的显示位置;
根据Sr利用摄像机成像比例计算所述目标物体与摄像机之间的距离Dt
将Dt赋值予Ln,并根据fd→i计算出所述左右像等效中心间距dt
根据所述左像/右像在屏幕上的显示位置及所述左右像等效中心间距dt,计算右像/左像在屏幕上的显示位置;
在左右像在屏幕上的显示位置分别显示所述目标物体相关的虚拟信息,或在左右像在屏幕上的显示位置一定偏移位置处显示所述虚拟信息。
优选的是,所述方法还包括根据摄像机内部参数对摄像机拍摄的图像进行畸变校正,在校正图像基础上进行后续操作。
优选的是,在目标物体跟踪成功后,根据摄像机内部参数对当前图像进行畸变校正,并记录所述目标物体在校正过的当前图像中的位置(xt,yt)以及像素尺寸
优选的是,所述方法还包括:对摄像机拍摄的图像进行灰度处理,并将灰度处理后的图像上传到服务器进行图像检索。
优选的是,若服务器返回的检索结果为检索失败,则间隔1-7秒向服务器上传一次摄像机拍摄的当前图像进行检索。
优选的是,所述左右像等效中心间距dt与虚像距人眼距离Ln之间的映射关系fd→i满足:
其中,D0为使用者的瞳距,L1为双目距光学系统镜组的等效距离,L为图像显示源距光学系统镜组的距离,F为光学系统镜组焦距,d0为头戴设备两组光学系统的等效光轴间距。
优选的是,根据计算所述目标物体与摄像机之间的距离Dt,其中v为预设的像距。
根据本发明的第二个方面,提供了一种双目AR头戴显示设备,其包括光学模块、图像显示屏、图像采集模块、数据通讯模块、跟踪模块和数据处理模块,所述数据处理模块内预存有摄像机-屏幕映射关系fc→s,以及左右像等效中心间距dt与虚像距人眼距离Ln之间的映射关系fd→i
所述光学模块包括至少一个光学透镜,用户透过所述光学模块可同时看见外界环境和所述图像显示屏上显示的虚拟信息;
所述图像采集模块,用于获取摄像机拍摄的图像;
所述数据通讯模块,用于将所述图像上传至服务器进行图像检索,并接收服务器返回的检索结果,若检索成功,则所述检索结果包含检索成功的目标物体在上传图像中的位置数据(x0,y0)、目标物体的实际尺寸Sr及目标物体相关的虚拟信息;
所述跟踪模块,用于以(x0,y0)为初始位置,对摄像机实时拍摄图像中的所述目标物体进行跟踪,若跟踪成功,则记录所述目标物体在当前图像中的位置(xt,yt)以及像素尺寸
所述数据处理模块,用于根据fc→s将(xt,yt)映射到屏幕坐标系,得到左像/右像在屏幕上的显示位置;并根据Sr利用摄像机成像比例计算所述目标物体与摄像机之间的距离Dt;将Dt赋值予Ln,再根据fd→i计算出所述左右像等效中心间距dt;最后根据所述左像/右像在屏幕上的显示位置及所述左右像等效中心间距dt,计算右像/左像在屏幕上的显示位置;
图像显示屏,用于在左右像在屏幕上的显示位置分别显示所述目标物体相关的虚拟信息,或在左右像在屏幕上的显示位置一定偏移位置处显示所述虚拟信息。
优选的是,所述图像显示屏为两块微型显示屏,或所述图像显示屏为一块分左右屏显示的整屏。
优选的是,所述双目AR头戴显示设备还包括畸变校正模块,用于对根据摄像机内部参数对摄像机拍摄图像进行畸变校正。
优选的是,所述跟踪模块具体用于以(x0,y0)为初始位置,对摄像机实时拍摄图像中的所述目标物体进行跟踪,并在目标物体跟踪成功后,根据摄像机内部参数对当前图像进行畸变校正,并记录所述目标物体在校正过的当前图像中的位置(xt,yt)以及像素尺寸
优选的是,所述图像采集模块还用于对获取的图像进行灰度处理;所述数据通讯模块具体用于将灰度处理后的图像上传至服务器进行图像检索,并接收服务器返回的检索结果。
优选的是,所述左右像等效中心间距dt与虚像距人眼距离Ln之间的映射关系fd→i满足:
其中,D0为使用者的瞳距,L1为双目距光学系统镜组的等效距离,L为图像显示源距光学系统镜组的距离,F为光学系统镜组焦距,d0为头戴设备两组光学系统的等效光轴间距。
优选的是,所述数据处理模块具体用于根据计算所述目标物体与摄像机之间的距离Dt,其中v为预设的像距。
根据本发明的第三个方法,提供了一种增强现实信息显示系统,其包括头戴显示设备和服务器,其中:
所述服务器上存储有目标物体的样本图像、目标物体的实际尺寸Sr及目标物体相关的虚拟信息;
所述服务器,用于在接收到来自所述头戴显示设备的图像检索请求后,执行图像检索,并向所述头戴显示设备返回检索结果,若检索成功,则检索结果包含检索成功的目标物体在上传图像中的位置数据(x0,y0)、目标物体的实际尺寸Sr及目标物体相关的虚拟信息;
所述头戴显示设备为上述双目AR头戴显示设备。
本发明方案简单,在头戴设备内预置映射关系fc→s和fd→i的前提下,通过图像跟踪方法实时获取目标物体在摄像机拍摄的图像上的位置,并映射到头戴设备的屏幕坐标系,计算出左像/右像的显示位置。然后通过单目测距的方法,利用摄像机成像比例实时计算目标物体与摄像机之间的距离,从而计算出左右像间距,继而计算出右像/左像的显示位置。本发明方法可靠性高且成本低。传统景深调节均是从改变光学原件像距入手,本发明打破传统思维,不改变光学器件结构,通过计算左右像显示位置实现调节景深,具有开创性,且相比改变光学焦距,更具有实用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图:
图1为本发明实施例双目AR头戴设备的信息显示方法流程示意图;
图2为摄像头成像示意图;
图3为头戴显示设备光学模块布局方式一的示意图;
图4为图3的左右像等效中心距离dt的示意图;
图5为头戴显示设备光学模块布局方式二的示意图;
图6为图5的左右像等效中心距离dt的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
首先,对本发明实施例涉及的术语进行详细解释。
AR:Augmented Reality,增强现实。
摄像机-屏幕映射关系:通过离线标定方式获得。标定方式为:将目标物体在摄像机拍摄图像中的坐标映射到光学模块的屏幕上,以使映射到屏幕上的坐标区域与用户通过透镜看到的目标位置重合。本发明方案称该映射关系为摄像机-屏幕映射关系,记为fc→s
左右像等效中心间距dt与虚像距人眼距离Ln之间的映射关系:双目头戴设备的佩戴者通过左右眼分别观察到左右两幅虚拟图像。当左眼观察左侧虚拟图像的视线与右眼观察右侧虚拟图像的视线在空间区域相汇时,双目观察到的将是一幅重叠的并距观察者一定距离的虚拟画面。此虚拟画面距离人眼的距离Ln是由左右虚拟图像分别与左右眼构成的空间视线矢量决定的。左右眼构空间视线矢量又是由其观看的目标所决定的。因此在双目头戴设备上,左右两组有效显示图像的中心点对坐标又可以决定用户左右眼构成的空间视线矢量。因此双目头戴设备中虚像的投影距离Ln与头戴设备图像源上左右像等效中心间距dt之间存在对应关系。本发明实施例称这一映射关系为左右像等效中心间距dt与虚像距人眼距离Ln之间的映射关系,记为fd→i
由于本发明实施例还提到了左右像等效中心间距,下面对其进行定义:
等效光轴:以人眼为出瞳的目视光学系统采用逆向光路设计系统时,以过出瞳中心且垂直于出瞳面的轴线为等效光轴。
等效图像源显示屏:在以人眼为出瞳的目视光学系统中,逆向追迹一条过光轴的光线,即此光线过出瞳中心且垂直于出瞳面。当此光线第一次与光学面相交时,在相交点处做一与此光学面相切的平面,此光学面之后的未追迹过的光学面以此平面为镜面展开(即以此平面为镜面,获得此光学面之后的未追迹过的光学面的对称像)。在展开后的光学系统中,在未追迹过的光学面组成的系统中继续追迹此光线。当此光线第二次与光学面相交时,在相交点处做一与此光学面相切的平面,此光学面之后的未追迹过的光学面以此平面为镜面展开,如此依次展开直至最后一面。这样可获得展开后的图像源显示屏的对称像,本发明实施例将此对称像定义为等效图像源显示屏。
定义左右两组等效图像源显示屏上有效显示信息的中心距离为左右像等效中心间距dt。本领域技术人员可以理解,图像显示屏左右显示的信息需要能够叠加,必须使左右两组等效显示屏上有效显示信息的中心点连线与OS轴(如图4中所示)垂直,因此本发明提到的左右像等效中心距离dt,均指左右中心点连线与OS轴垂直情况下的间距。
参见图3~图6,若头戴显示设备光学模块采用图3所示的布局(图像显示源1位于人眼上方,图像显示源1发出的光线经放大系统2后,由可透可反镜3反射入人眼4),则放大系统的等效中心距(即头戴设备两组光学系统的等效光轴间距)d0和左右像等效中心间距dt参见图4所示。在图4中,11、12为左右图像显示源,21、21我左右放大系统,D0为瞳距。若头戴显示光学模块采用图5所示的布局(图像显示源11、12位于人眼两侧)则放大系统的等效中心距(头戴设备两组光学系统的等效光轴间距)d0和左右像等效中心间距dt参见图6所示。在图6中,11、12为左右图像显示源,21、21为左右放大系统,D0为使用者的瞳距,31、32为左右可透可反镜。
本发明头戴设备内需要预存摄像机-屏幕映射关系fc→s,以及左右像等效中心间距dt与虚像距人眼距离Ln之间的映射关系fd→i。参见图1,为本发明实施例双目AR头戴设备的信息显示方法的流程示意图。本实施例的方法主要包括如下的步骤S101至S108。
在步骤S101中:将摄像机拍摄的图像上传至服务器进行图像检索。优选地,为了节约开销,可以先将摄像机拍摄的图像转换为灰度图像,再将灰度图像上传至服务器做图像检索,以找出灰度图像中的目标物体。
在步骤S102中:接收服务器返回的检索结果,若检索成功,则返回的检索结果包含检索成功的目标物体在上传图像中的位置数据(x0,y0)、目标物体的实际尺寸Sr及目标物体相关的虚拟信息,然后进入步骤S103。若检索失败,则重复执行步骤101,为减少服务器压力,可设置再次上传图像做检索的时间间隔为1-7秒(时间间隔太长会增加用户的等待时间,体验不佳)。
在步骤S103中:以(x0,y0)为初始位置,对摄像机实时拍摄图像中的目标物体进行跟踪,若跟踪成功,则记录当前图像中目标物体的位置(xt,yt)以及像素尺寸若跟踪失败,则重复步骤S101~S102。
在步骤S104中:根据fc→s将(xt,yt)映射到屏幕坐标系,得到左像在屏幕上的显示位置其中t表示时间。
在步骤S105中:根据Sr利用摄像机成像比例计算目标物体与摄像机之间的距离Dt。参见图2,为摄像头成像示意图。AB为物,A’B’为像,记物距OB为u,像距OB’为v,令物长AB=x,像长A’B’=y,则由三角形相似关系可得:变形得
当摄像头焦距固定时,根据上式即可计算出物距。本实施例中:目标物体与摄像机之间的距离Dt即为物距,目标物体的实际尺寸Sr即为物长,目标物体的像素尺寸即为像长。像距v由摄像头内部光学结构确定,摄像头光学结构确定后,像距v即为定值,其测量时可测量一组x,y数据进行多项式拟合。这样目标物体与摄像机之间的距离Dt的计算式为:且由于摄像头拍摄的图像存在径向畸变和切向畸变,尤其在图像边缘畸变程度更为明显,上式计算会存在一定误差(对图像进行畸变校正会减小该误差),因此测量大量数据进行拟合,拟合出1阶或更高阶的多项式,测距结果会更加精确。
在步骤S106中:将Dt赋值予Ln,并根据fd→i计算出左右像等效中心间距dt,即有dt=fd→i(Dt)。
在步骤S107中:根据左像位置及左右像等效中心间距dt,计算右像在屏幕上的显示位置具体根据计算右像在屏幕上的显示位置
在步骤S108中:显示AR信息。在左右像位置分别显示所述目标物体相关的虚拟信息,或在左右像位置一定偏移位置处显示所述虚拟信息。在左右像位置分别显示所述目标物体相关的虚拟信息时,使用者通过头戴设备可在目标物体的位置上看到虚拟信息;在左右像位置一定偏移位置处显示所述虚拟信息,使用者通过头戴设备可在目标物体的旁边看到虚拟信息。设置一定的偏移量可以将虚拟信息显示在目标物体的旁边,以免遮挡目标物体,这样更符合用户习惯。在偏移时注意左右虚拟信息的信息源图像必须保持同步偏移,即左右信息源图像中心间距和相对位置保持不变,仅其在图像显示源上的位置发生改变。
本实施例中,摄像机-屏幕映射关系fc→s若为摄像机与左屏的映射关系,则步骤S104首先得到左像位置,再根据S107步骤计算右像位置;若摄像机-屏幕映射关系fc→s为摄像机与右屏的映射关系,则步骤S104首先得到右像位置,再根据S107步骤计算左像位置,权利要求中“/”表示“或”。
本实施例中,所述左右像等效中心间距dt与虚像距人眼距离Ln之间的映射关系fd→i可以为如下关系:
其中,D0为使用者的瞳距,L1为双目距光学系统镜组的等效距离,L为图像显示源距光学系统镜组的距离,F为光学系统镜组焦距,d0为头戴设备两组光学系统的等效光轴间距。当头戴显示设备结构固定后,使用者瞳距D0、双目距光学系统镜组的等效距离L1、图像显示源距光学系统镜组的距离L、两组光学系统的等效光轴间距d0以及光学系统镜组焦距F通常会为固定值,此时虚像距人眼距离Ln就仅与左右两组有效显示信息的等效中心距离(即左右像等效中心间距)dt相关。
由于摄像头拍摄的图像存在径向畸变和切向畸变,尤其在图像边缘畸变程度更为明显,根据图1所示的方法计算位置存在一定误差(误差最大的是S103步骤计算像素尺寸),因此在步骤S101中,还包括根据摄像机内部参数对摄像机拍摄的图像进行畸变校正,在校正图像基础上进行后续操作。但是此种方式对摄像机拍摄的所有图像都要进行畸变校正,开销过大,另一种方式为:在目标物体跟踪成功后,根据摄像机内部参数对当前图像进行畸变校正,在校正过的当前图像中计算目标物体的位置(xt,yt)以及像素尺寸
本发明实施例还提供一种与上述信息显示方法对应的双目AR头戴显示设备,其包括光学模块、图像显示屏、图像采集模块、数据通讯模块、跟踪模块和数据处理模块。所述数据处理模块内预存有摄像机-屏幕映射关系fc→s,以及左右像等效中心间距dt与虚像距人眼距离Ln之间的映射关系fd→i。所述映射关系fd→i同样可以为式(1)。
具体地,所述光学模块包括至少一个光学透镜,用户透过光学模块可同时看见外界环境和图像显示屏上显示的虚拟信息。
所述图像采集模块,用于获取摄像机拍摄的场景图像,并将其转换为灰度图像。
所述数据通讯模块,用于将所述灰度图像上传至服务器进行图像检索,并接收服务器返回的检索结果,检索结果分检索成功和检索失败,无论成功与否,数据通讯模块都会接到来自服务器的检索结果,若检索成功,则检索结果包含检索成功的目标物体在上传图像中的位置数据(x0,y0)、目标物体的实际尺寸Sr及目标物体相关的虚拟信息。
所述跟踪模块,用于以(x0,y0)为初始位置,对摄像机实时拍摄图像中的目标物体进行跟踪,若跟踪成功,则记录当前图像中目标物体的位置(xt,yt)以及像素尺寸
所述数据处理模块,用于根据fc→s将(xt,yt)映射到屏幕坐标系,得到左像/右像在屏幕上的显示位置。
所述数据处理模块,用于根据Sr利用摄像机成像比例计算目标物体与摄像机之间的距离Dt,将Dt赋值予Ln,再根据fd→i计算出左右像等效中心间距dt;最后根据左像/右像位置及左右像等效中心间距dt,计算右像/左像在屏幕上的显示位置。
图像显示屏在左右像位置分别显示所述目标物体相关的虚拟信息,或在左右像位置一定偏移位置处显示所述虚拟信息。
所述图像显示屏为两块微型显示屏,或所述图像显示屏为一块整屏分左右屏显示。
优选地,所述头戴显示设备还包括畸变校正模块,用于对根据摄像机内部参数对摄像机拍摄图像进行畸变校正。畸变校正包括两种方式:1)对摄像机拍摄的所有图像都要进行畸变校正,在校正图像基础上进行后续操作;2)在目标物体跟踪成功后,根据摄像机内部参数对当前图像进行畸变校正,在校正过的当前图像中计算目标物体的位置(xt,yt)以及像素尺寸
相应地,本发明实施例还提供一种增强现实信息显示系统,包括头戴显示设备和服务器。所述头戴显示设备为上述实施例所述的双目AR头戴显示设备,服务器上存储有目标物体的样本图像、目标物体的实际尺寸Sr及目标物体相关的虚拟信息。所述服务器接收到来自头戴显示设备的图像检索请求后,执行图像检索,并向头戴显示设备返回检索结果。检索结果包括检索成功和检索失败,无论检索成功与否,服务器都会向头戴显示设备返回检索结果。若检索成功,则向头戴显示设备返回的检索结果包含检索成功的目标物体在上传图像中的位置数据(x0,y0)、目标物体的实际尺寸Sr及目标物体相关的虚拟信息。
本发明实施例中,映射关系fd→i可以通过光学和空间几何学理论推导为式(1),还可以是通过离线标定方式获得,标定方式为在图像显示源上左右显示标定图样,眼动跟踪系统记录使用者注视投影在人眼前方的重叠标定图时的眼球视线矢量,记录眼球视线矢量与标定图样坐标间的关系。根据标定图样坐标可以计算Ln,根据眼球视线矢量可以计算Dt,多人进行多组测试得到多组数据,由多组数据拟合得到一个较为准确的映射关系。
本发明根据“虚拟画面距离人眼的距离Ln等于目标物体距使用者的垂直距离Dt时,虚拟画面与目标物体即具有一致的空间位置”这一理论,实现将虚拟信息精确叠加到目标物体位置附近,使虚拟信息与环境高度融合,实现真正意义上的增强虚拟现实。本发明方案简单,在头戴设备内预置映射关系fc→s和fd→i的前提下,通过图像跟踪方法实时获取目标物体在摄像机拍摄的图像上的位置,并映射到头戴设备的屏幕坐标系,计算出左像/右像的显示位置;然后通过单目测距的方法,利用摄像机成像比例实时计算目标物体与摄像机之间的距离,从而计算出左右像间距,继而计算出右像/左像的显示位置。本发明方法可靠性高且成本低。传统景深调节均是从改变光学原件像距入手,本发明打破传统思维,不改变光学器件结构,通过计算左右像显示位置实现调节景深,具有开创性,且相比改变光学焦距,更具有实用性。
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (15)

1.一种双目AR头戴设备的信息显示方法,其特征在于,所述头戴设备内预存有摄像机-屏幕映射关系fc→s,以及左右像等效中心间距dt与虚像距人眼距离Ln之间的映射关系fd→i;所述信息显示方法包括:
将摄像机拍摄的图像上传至服务器进行图像检索;
接收服务器返回的检索结果,若检索成功,则所述检索结果包含检索成功的目标物体在上传图像中的位置数据(x0,y0)、目标物体的实际尺寸Sr及目标物体相关的虚拟信息;
以(x0,y0)为初始位置,对摄像机实时拍摄图像中的所述目标物体进行跟踪,若跟踪成功,则记录所述目标物体在当前图像中的位置(xt,yt)以及像素尺寸
根据fc→s将(xt,yt)映射到屏幕坐标系,得到左像/右像在屏幕上的显示位置;
根据Sr利用摄像机成像比例计算所述目标物体与摄像机之间的距离Dt
将Dt赋值予Ln,并根据fd→i计算出所述左右像等效中心间距dt
根据所述左像/右像在屏幕上的显示位置及所述左右像等效中心间距dt,计算右像/左像在屏幕上的显示位置;
在左右像在屏幕上的显示位置分别显示所述目标物体相关的虚拟信息,或在左右像在屏幕上的显示位置一定偏移位置处显示所述虚拟信息。
2.如权利要求1所述的方法,其特征在于,所述方法还包括根据摄像机内部参数对摄像机拍摄的图像进行畸变校正,在校正图像基础上进行后续操作。
3.如权利要求1所述的方法,其特征在于,在目标物体跟踪成功后,根据摄像机内部参数对当前图像进行畸变校正,并记录所述目标物体在校正过的当前图像中的位置(xt,yt)以及像素尺寸
4.如权利要求1所述的方法,其特征在于,所述方法还包括:对摄像机拍摄的图像进行灰度处理,并将灰度处理后的图像上传到服务器进行图像检索。
5.如权利要求1所述的方法,其特征在于,若服务器返回的检索结果为检索失败,则间隔1-7秒向服务器上传一次摄像机拍摄的当前图像进行检索。
6.如权利要求1至5中任一项所述的方法,其特征在于,所述左右像等效中心间距dt与虚像距人眼距离Ln之间的映射关系fd→i满足:
<mrow> <msub> <mi>L</mi> <mi>n</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>D</mi> <mn>0</mn> </msub> <mo>&amp;lsqb;</mo> <mi>F</mi> <mi>L</mi> <mo>-</mo> <msub> <mi>L</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>L</mi> <mo>-</mo> <mi>F</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mn>0</mn> </msub> <mo>-</mo> <msub> <mi>D</mi> <mn>0</mn> </msub> <mo>)</mo> <mo>(</mo> <mi>L</mi> <mo>-</mo> <mi>F</mi> <mo>)</mo> <mo>-</mo> <mi>F</mi> <mo>(</mo> <msup> <mi>d</mi> <mi>t</mi> </msup> <mo>-</mo> <msub> <mi>d</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> </mfrac> </mrow>
其中,D0为使用者的瞳距,L1为双目距光学系统镜组的等效距离,L为图像显示源距光学系统镜组的距离,F为光学系统镜组焦距,d0为头戴设备两组光学系统的等效光轴间距。
7.如权利要求1至5中任一项所述的方法,其特征在于,根据计算所述目标物体与摄像机之间的距离Dt,其中v为预设的像距。
8.一种双目AR头戴显示设备,其特征在于,包括光学模块、图像显示屏、图像采集模块、数据通讯模块、跟踪模块和数据处理模块,所述数据处理模块内预存有摄像机-屏幕映射关系fc→s,以及左右像等效中心间距dt与虚像距人眼距离Ln之间的映射关系fd→i
所述光学模块包括至少一个光学透镜,用户透过所述光学模块可同时看见外界环境和所述图像显示屏上显示的虚拟信息;
所述图像采集模块,用于获取摄像机拍摄的图像;
所述数据通讯模块,用于将所述图像上传至服务器进行图像检索,并接收服务器返回的检索结果,若检索成功,则所述检索结果包含检索成功的目标物体在上传图像中的位置数据(x0,y0)、目标物体的实际尺寸Sr及目标物体相关的虚拟信息;
所述跟踪模块,用于以(x0,y0)为初始位置,对摄像机实时拍摄图像中的所述目标物体进行跟踪,若跟踪成功,则记录所述目标物体在当前图像中的位置(xt,yt)以及像素尺寸
所述数据处理模块,用于根据fc→s将(xt,yt)映射到屏幕坐标系,得到左像/右像在屏幕上的显示位置;并根据Sr利用摄像机成像比例计算所述目标物体与摄像机之间的距离Dt;将Dt赋值予Ln,再根据fd→i计算出所述左右像等效中心间距dt;最后根据所述左像/右像在屏幕上的显示位置及所述左右像等效中心间距dt,计算右像/左像在屏幕上的显示位置;
图像显示屏,用于在左右像在屏幕上的显示位置分别显示所述目标物体相关的虚拟信息,或在左右像在屏幕上的显示位置一定偏移位置处显示所述虚拟信息。
9.如权利要求8所述的双目AR头戴显示设备,其特征在于,所述图像显示屏为两块微型显示屏,或所述图像显示屏为一块分左右屏显示的整屏。
10.如权利要求8所述的双目AR头戴显示设备,其特征在于,还包括畸变校正模块,用于对根据摄像机内部参数对摄像机拍摄图像进行畸变校正。
11.如权利要求8所述的双目AR头戴显示设备,其特征在于,所述跟踪模块具体用于以(x0,y0)为初始位置,对摄像机实时拍摄图像中的所述目标物体进行跟踪,并在目标物体跟踪成功后,根据摄像机内部参数对当前图像进行畸变校正,并记录所述目标物体在校正过的当前图像中的位置(xt,yt)以及像素尺寸
12.如权利要求8所述的双目AR头戴显示设备,其特征在于,所述图像采集模块还用于对获取的图像进行灰度处理;所述数据通讯模块具体用于将灰度处理后的图像上传至服务器进行图像检索,并接收服务器返回的检索结果。
13.如权利要求8至12中任一项所述的双目AR头戴显示设备,其特征在于,所述左右像等效中心间距dt与虚像距人眼距离Ln之间的映射关系fd→i满足:
<mrow> <msub> <mi>L</mi> <mi>n</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>D</mi> <mn>0</mn> </msub> <mo>&amp;lsqb;</mo> <mi>F</mi> <mi>L</mi> <mo>-</mo> <msub> <mi>L</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>L</mi> <mo>-</mo> <mi>F</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mn>0</mn> </msub> <mo>-</mo> <msub> <mi>D</mi> <mn>0</mn> </msub> <mo>)</mo> <mo>(</mo> <mi>L</mi> <mo>-</mo> <mi>F</mi> <mo>)</mo> <mo>-</mo> <mi>F</mi> <mo>(</mo> <msup> <mi>d</mi> <mi>t</mi> </msup> <mo>-</mo> <msub> <mi>d</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> </mfrac> </mrow>
其中,D0为使用者的瞳距,L1为双目距光学系统镜组的等效距离,L为图像显示源距光学系统镜组的距离,F为光学系统镜组焦距,d0为头戴设备两组光学系统的等效光轴间距。
14.如权利要求8至12中任一项所述的双目AR头戴显示设备,其特征在于,所述数据处理模块具体用于根据计算所述目标物体与摄像机之间的距离Dt,其中v为预设的像距。
15.一种增强现实信息显示系统,其特征在于,包括头戴显示设备和服务器,其中:
所述服务器上存储有目标物体的样本图像、目标物体的实际尺寸Sr及目标物体相关的虚拟信息;
所述服务器,用于在接收到来自所述头戴显示设备的图像检索请求后,执行图像检索,并向所述头戴显示设备返回检索结果,若检索成功,则检索结果包含检索成功的目标物体在上传图像中的位置数据(x0,y0)、目标物体的实际尺寸Sr及目标物体相关的虚拟信息;
所述头戴显示设备为权利要求8至14中任一项所述的双目AR头戴显示设备。
CN201510029392.9A 2015-01-21 2015-01-21 双目ar头戴显示设备及其信息显示方法 Active CN105872526B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510029392.9A CN105872526B (zh) 2015-01-21 2015-01-21 双目ar头戴显示设备及其信息显示方法
US15/545,328 US10334235B2 (en) 2015-01-21 2015-08-07 Binocular see-through AR head-mounted display device and information display method therefor
PCT/CN2015/086351 WO2016115873A1 (zh) 2015-01-21 2015-08-07 双目ar头戴显示设备及其信息显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510029392.9A CN105872526B (zh) 2015-01-21 2015-01-21 双目ar头戴显示设备及其信息显示方法

Publications (2)

Publication Number Publication Date
CN105872526A CN105872526A (zh) 2016-08-17
CN105872526B true CN105872526B (zh) 2017-10-31

Family

ID=56416369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510029392.9A Active CN105872526B (zh) 2015-01-21 2015-01-21 双目ar头戴显示设备及其信息显示方法

Country Status (3)

Country Link
US (1) US10334235B2 (zh)
CN (1) CN105872526B (zh)
WO (1) WO2016115873A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10192133B2 (en) 2015-06-22 2019-01-29 Seiko Epson Corporation Marker, method of detecting position and pose of marker, and computer program
US10192361B2 (en) 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
US10347048B2 (en) 2015-12-02 2019-07-09 Seiko Epson Corporation Controlling a display of a head-mounted display device
RU2623806C1 (ru) * 2016-06-07 2017-06-29 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") Способ и устройство обработки стереоизображений
CN106774855A (zh) * 2016-11-29 2017-05-31 北京小米移动软件有限公司 可移动控制器的定位方法及装置
JP6426772B2 (ja) 2017-02-07 2018-11-21 ファナック株式会社 座標情報変換装置及び座標情報変換プログラム
US10992916B2 (en) * 2017-07-26 2021-04-27 Google Llc Depth data adjustment based on non-visual pose data
CN107396097B (zh) * 2017-09-01 2019-05-10 京东方科技集团股份有限公司 一种虚拟现实设备的视差测试的方法和装置
CN108989794B (zh) * 2018-08-01 2020-11-03 张家港康得新光电材料有限公司 基于抬头显示系统的虚像信息测量方法及系统
CN111683241B (zh) * 2019-03-11 2023-06-27 西安光启智能技术有限公司 一种快速测量摄像机视野盲区距离的方法和系统
CN110602475B (zh) * 2019-05-29 2021-06-01 珠海全志科技股份有限公司 提高图像质量的方法及装置、vr显示设备及控制方法
CN111127554B (zh) * 2019-11-21 2021-08-24 金华精研机电股份有限公司 全向云台双目立体摄像机的目标物体位置计算方法
CN113010125B (zh) * 2019-12-20 2024-03-19 托比股份公司 方法、计算机程序产品和双目式头戴装置控制器
CN112153319B (zh) 2020-09-02 2023-02-24 芋头科技(杭州)有限公司 基于视频通信技术的ar信息显示方法和装置
CN112284331A (zh) * 2020-09-11 2021-01-29 中国航空工业集团公司洛阳电光设备研究所 一种波导显示系统单目测距定位的方法
CN112165629B (zh) * 2020-09-30 2022-05-13 中国联合网络通信集团有限公司 智能直播方法、可穿戴设备及智能直播系统
CN112904451A (zh) * 2021-01-20 2021-06-04 浙江洁特智慧科技有限公司 一种存在式感应器
CN113252309A (zh) * 2021-04-19 2021-08-13 苏州市计量测试院 一种用于近眼显示设备的测试方法、测试装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102200881A (zh) * 2010-03-24 2011-09-28 索尼公司 图像处理装置、图像处理方法以及程序
CN102395036A (zh) * 2010-06-30 2012-03-28 株式会社泛泰 用于提供3d增强现实图像的设备和方法
CN103487938A (zh) * 2013-08-28 2014-01-01 成都理想境界科技有限公司 头戴显示装置
WO2014002346A1 (ja) * 2012-06-29 2014-01-03 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522474B2 (en) * 2001-06-11 2003-02-18 Eastman Kodak Company Head-mounted optical apparatus for stereoscopic display
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
US7809160B2 (en) * 2003-11-14 2010-10-05 Queen's University At Kingston Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
JP2005253778A (ja) * 2004-03-12 2005-09-22 Gen Tec:Kk 視線検出方法及び同装置
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
WO2013046426A1 (ja) * 2011-09-30 2013-04-04 パイオニア株式会社 ヘッドアップディスプレイ、画像表示方法、画像表示プログラム、及び表示装置
CN103292710B (zh) * 2013-05-27 2016-01-06 华南理工大学 一种应用双目视觉视差测距原理的距离测量方法
CN103500446B (zh) 2013-08-28 2016-10-26 成都理想境界科技有限公司 一种头戴显示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102200881A (zh) * 2010-03-24 2011-09-28 索尼公司 图像处理装置、图像处理方法以及程序
CN102395036A (zh) * 2010-06-30 2012-03-28 株式会社泛泰 用于提供3d增强现实图像的设备和方法
WO2014002346A1 (ja) * 2012-06-29 2014-01-03 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
CN103487938A (zh) * 2013-08-28 2014-01-01 成都理想境界科技有限公司 头戴显示装置

Also Published As

Publication number Publication date
CN105872526A (zh) 2016-08-17
US20180007350A1 (en) 2018-01-04
US10334235B2 (en) 2019-06-25
WO2016115873A1 (zh) 2016-07-28

Similar Documents

Publication Publication Date Title
CN105872526B (zh) 双目ar头戴显示设备及其信息显示方法
CN105812778B (zh) 双目ar头戴显示设备及其信息显示方法
CN105866949B (zh) 能自动调节景深的双目ar头戴设备及景深调节方法
CN105812777B (zh) 双目ar头戴显示设备及其信息显示方法
US20230379448A1 (en) Head-mounted augmented reality near eye display device
CN106199964B (zh) 能自动调节景深的双目ar头戴设备及景深调节方法
US10191276B2 (en) Imaging adjustment device and imaging adjustment method
US10048750B2 (en) Content projection system and content projection method
US11854171B2 (en) Compensation for deformation in head mounted display systems
CN105705982B (zh) 用于确定渐进式眼镜片的至少一个光学设计参数的方法
WO2015051606A1 (zh) 定位方法及定位系统
US11116395B1 (en) Compact retinal scanning device for tracking movement of the eye&#39;s pupil and applications thereof
CN105404395B (zh) 基于增强现实技术的舞台表演辅助训练方法及系统
CN107636514A (zh) 头戴式显示装置和使用该装置的视觉辅助方法
CN104243959A (zh) 基于偏振定向和组合定位的智能复合眼镜
CN104345454A (zh) 头戴式视觉辅助系统及其成像方法
CN107427208A (zh) 用于通过透镜系统提供无漂移的眼部跟踪的头戴式眼部跟踪设备和方法
CN105872527A (zh) 双目ar头戴显示设备及其信息显示方法
CN114663495A (zh) 校准方法和装置、头戴显示设备及计算机可读存储介质
KR101817436B1 (ko) 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법
CN109917908A (zh) 一种ar眼镜的图像获取方法及系统
CN110377158A (zh) 基于变化视场范围的眼球追踪的校准方法及电子设备
CN116027910B (zh) 一种基于vr眼动追踪技术的眼位图生成方法及系统
CN104423038A (zh) 电子设备及其焦点信息获取方法
CN218886314U (zh) 一种ar眼镜光路反射投射装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant