CN103500446A - 基于计算机视觉的测距方法及其在hmd上的应用 - Google Patents

基于计算机视觉的测距方法及其在hmd上的应用 Download PDF

Info

Publication number
CN103500446A
CN103500446A CN201310380189.7A CN201310380189A CN103500446A CN 103500446 A CN103500446 A CN 103500446A CN 201310380189 A CN201310380189 A CN 201310380189A CN 103500446 A CN103500446 A CN 103500446A
Authority
CN
China
Prior art keywords
image
distance
optical
target image
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310380189.7A
Other languages
English (en)
Other versions
CN103500446B (zh
Inventor
柳寅秋
宋海涛
黄琴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Idealsee Technology Co Ltd
Original Assignee
Chengdu Idealsee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Idealsee Technology Co Ltd filed Critical Chengdu Idealsee Technology Co Ltd
Priority to CN201310380189.7A priority Critical patent/CN103500446B/zh
Publication of CN103500446A publication Critical patent/CN103500446A/zh
Application granted granted Critical
Publication of CN103500446B publication Critical patent/CN103500446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于计算机视觉的测距方法及应用该测距方法的HMD光学系统调节方法和头戴显示装置,本发明利用图像配准技术及光学系统成像原理,计算出人眼距目标图像的距离,即物距;根据测量出的物距,调节头戴显示光学系统成像距离,解决现有头戴显示光学系统虚像距人眼的距离不可调的缺陷,可根据目标图像到人眼的距离远近,自动调节虚像到人眼距离的远近,使虚像与实际环境更好的融合。

Description

基于计算机视觉的测距方法及其在HMD上的应用
技术领域
本发明涉及可穿戴计算头戴显示设备领域,尤其涉及一种头戴显示装置。
背景技术
现有的HMD(HeadMountDisplay,头戴式可视设备)虚拟现实/增强现实的显示系统,由于光学显示系统是按照一固定成像距离设计,因此图像源经光学显示系统后在人眼前方显示的虚像距人眼的距离是固定的,如果将这样的HMD设备用于增强现实应用,由于虚像距人眼的距离是不变的,而所处环境是时刻改变的,通过这些显示系统看到的虚像就是飘浮在空中的,与实际环境脱离,不仅不能达到真正的增强显示效果,且用户体验极差。
发明内容
本发明的目的是提供一种基于计算机视觉的测距方法及应用该测距方法的HMD光学系统调节方法和头戴显示装置,解决现有头戴显示光学系统虚像距人眼的距离不可调的缺陷,可根据目标图像到人眼的距离远近,自动调节虚像到人眼距离的远近,使虚像与实际环境更好的融合。
为了实现上述发明目的,本发明提供了一种基于计算机视觉的测距方法,应用于头戴显示设备上,包括:头戴显示设备的摄像机捕获当前场景图像,在服务器端搜索与当前场景图像中的目标图像匹配的样本图像;对摄像机捕获的当前场景图像和样本图像进行配准,得到单应性矩阵;根据单应性矩阵的逆矩阵及样本图像顶点坐标,计算所捕获的当前场景图像中的目标图像的各顶点坐标;根据计算出的各顶点坐标及摄像机的分辨率,计算所述目标图像的拍摄尺寸;根据目标图像的拍摄尺寸、目标图像的真实尺寸及摄像机的像距,计算摄像机距目标图像的距离。
其中,服务器端存储有目标图像的真实尺寸及样本图像的特征描述数据,通过与目标图像匹配的样本图像,可查询到目标图像的真实尺寸。
优选的,所述头戴显示设备的摄像机捕获当前场景图像,在图像数据库中搜索与当前场景图像中的目标图片匹配的样本图像,进一步包括:摄像机捕获包含目标图片的当前场景图像;对摄像机捕获的当前场景图像进行特征检测,提取出图像特征点,并对图像特征点进行特征描述,得到整幅图像的特征描述数据;根据当前场景图像的特征描述数据,在图像数据库中进行图像搜索,得到与当前场景图像中的目标图片匹配的样本图像。
相应的,本发明还提供了一种HMD光学系统调节方法,所述HMD光学系统包括图像源模块和光学放大系统,所述调节方法包括:根据前述的基于计算机视觉的测距方法计算出摄像机距目标图像的距离;摄像机距目标图像的距离加上摄像机距人眼距离,得到目标图像距人眼的距离;根据目标图像距人眼的距离,调节头戴显示设备光学系统中光学元件的位置关系或改变光学元件的光学特性,以实现虚像到人眼距离等于目标物到人眼的距离。
优选的,所述方法还包括:根据图像源模块显示的虚拟信息图像的尺寸及目标图像的真实尺寸,调节头戴显示设备光学系统中光学元件的位置关系或改变光学元件的光学特性,以实现将虚拟信息图像的虚像放大到目标图像的真实尺寸。
相应的,本发明还提供了一种头戴显示装置,包括主体框架、摄像机、透视式光学显示系统和主控系统,所述主控系统包括图像检索模块、图像配准模块、测距模块和调节控制模块;透视式光学显示系统包括图像显示模块、光学放大系统和微调机构;
所述摄像机捕获包含目标图像的当前场景图像;
所述图像检索模块在服务器端搜索与所述目标图像匹配的样本图像;
所述图像配准模块对摄像机捕获的当前场景图像和样本图像进行配准,得到单应性矩阵;
所述测距模块首先根据单应性矩阵的逆矩阵、样本图像顶点坐标及摄像机的分辨率计算目标图像的拍摄尺寸,然后根据目标图像的拍摄尺寸、目标图像的真实尺寸、摄像机的像距及摄像机距人眼距离,计算目标图像到人眼的距离;
所述调节控制模块,用于根据得到的目标图像到人眼的距离,控制微调机构调整图像显示模块与光学放大系统的轴向距离,和/或控制微调机构调整光学放大系统的焦距,使虚像到人眼距离等于目标物到人眼的距离。
优选的,所述调节控制模块,还用于根据图像源模块显示的虚拟信息图像的尺寸及目标图像的真实尺寸,控制微调机构调整图像显示模块与光学放大系统的轴向距离,和/或控制微调机构调整光学放大系统的焦距,以实现将虚拟信息图像的虚像放大到目标图像的真实尺寸。
优选的,所述调整光学放大系统的焦距,进一步包括:用微调机构改变光学放大系统中各光学元件的位置关系,以调整光学放大系统的焦距。
优选的,当通过调整图像显示模块与光学放大系统的轴向距离,或通过改变光学放大系统中各光学元件的位置关系来调整光学放大系统的焦距时,所述微调机构采用螺纹副传动微调方式,每一个需要移动的光学组件安装一组微调机构,每组微调机构包括驱动控制板、微型步进电机、齿轮副、转动螺杆、移动螺母座;需移动的光学组件安装固定在移动螺母座上,微型步进电机在驱动控制板的驱动下,以齿轮副方式驱动螺纹副中的转动螺杆转动来带动移动螺母座的轴向移动。
优选的,所述光学放大系统中的一个或多个光学元件采用液体透镜,微调机构向液体透镜外加电压或微调机构通过机械力改变液体形状,实现调整光学放大系统的焦距。
优选的,所述调节控制模块内嵌光学指标计算单元,将目标物到人眼的距离作为像距,和/或将目标图像的真实尺寸作为像高输入光学指标计算单元,光学指标计算单元自动计算出需要调整的光学指标;调节控制模块将计算出的需要调整的光学指标转换为微调机构可识别的指令,以控制微调机构对相关光学元件进行微调。
与现有技术相比,本发明具有如下有益效果:
1.本发明基于计算机视觉的测距方法,无需为HMD单独增强双目立体视觉系统,即无需对HMD硬件作改进,成本低,实用性强;
2.本发明虚像距人眼的距离可根据目标图像到人眼的距离自动做调整,能最大限度的保证用户在使用这些图像显示器时用眼的舒适度,缓解视野疲劳;且在增强现实应用中,当景深变化时,自动调节虚像距人眼的距离,使虚像与实际环境贴合,能达到真正的增强显示效果,可极大增强用户体验;
3.本发明还可以根据目标图像的真实尺寸及图像源模块显示的虚拟信息图像的尺寸,调节光学系统放大倍数,实现将虚拟信息图像的虚像放大到目标图像的真实尺寸,达到虚像与实际环境位置和大小均完全贴合。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图:
图1为本发明实施例基于计算机视觉的测距方法的一种流程示意图;
图2为本发明实施例头戴显示装置结构示意图;
图3为本发明实施例头戴显示装置中主控系统结构示意图;
图4为本发明实施例头戴显示装置中透视式光学显示系统的一种结构示意图;
图5为图4中微调机构的一种结构示意图;
图中标记:1-主体框架,2-透视式光学显示系统,3-摄像机,4-主控系统,5-虚像所在位置,21-图像显示器,22-光学放大系统,23-微调机构,61-驱动控制板,62-微型步进电机,63-齿轮A,64-齿轮B,65-转动螺杆,66-移动螺母座。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
近年来HMD发展越来越迅速,其最值得期待的应用即为增强现实应用。本发明的发明人发现,在增强现实过程中,要使得虚拟信息能与周围环境无缝贴合,现有固定成像距离设计的光学系统无法满足需求,需要将HMD光学系统虚像到人眼的距离随目标图像到人眼距离进行调节,只有当虚像到人眼和目标图像到人眼距离二者相等时,虚像才不会与周围环境脱离。由于用户穿戴HMD后,视线任意性特别大,其距目标图像也是可远可近,要实现上述目的,首先需要实时计算出目标图像到人眼的距离。
参加图1,为本发明实施例基于计算机视觉的测距方法的一种流程示意图,该测距方法应用于头戴显示设备上,包括如下步骤:
S101:头戴显示设备的摄像机捕获当前场景图像,在服务器端搜索与当前场景图像中的目标图像匹配的样本图像,目标图像为任何具有自然特征的图片或实物,服务器端存储有目标图像的真实尺寸及样本图像的特征描述数据;S101步骤具体包括:A1:摄像机捕获包含目标图片的当前场景图像;A2:对摄像机捕获的当前场景图像进行特征检测,提取出图像特征点,并对图像特征点进行特征描述,得到整幅图像的特征描述数据;A3:根据当前场景图像的特征描述数据,在服务器端的图像数据库中进行图像搜索,得到与当前场景图像中的目标图片匹配的样本图像。
S102:对摄像机捕获的当前场景图像和样本图像进行配准,计算摄像机姿态,得到单应性矩阵;
S103:根据单应性矩阵的逆矩阵及样本图像顶点坐标,计算所捕获的当前场景图像中的目标图像的各顶点坐标,用样本图像顶点坐标乘以单应性矩阵的逆矩阵,即可得到摄像机捕获的当前场景图像中的目标图像的对应顶点坐标;
S104:根据计算出的各顶点坐标及摄像机的分辨率PPI(单位为:像素/英寸),计算所述目标图像的拍摄尺寸;所述拍摄尺寸指HMD摄像机在一定距离拍摄目标图像后,在拍摄的图片上目标图像的尺寸;
S105:根据目标图像的拍摄尺寸、目标图像的真实尺寸及摄像机的像距V,计算摄像机离目标图像的距离。目标图像的真实尺寸存储于服务器端,与目标图像的样本图像存在对应关系,在步骤S101进行图像搜索时,图像匹配成功后,通过与目标图像匹配的样本图像,即可查询目标图像的真实尺寸。该真实尺寸可以用手工测量的方式获得,也可以是采用其他测量设备测得,在此不作限制。目标图像的真实尺寸包括目标图像的高和/或宽,以长度计量单位存入服务器端。
在实际计算时,所述拍摄尺寸可以为拍摄的目标图像的高或宽,相应的目标图像的真实尺寸也可以为高或宽。例如:根据S103所计算得到的当前场景图像中的目标图像的最上一个顶点和最下一个顶点坐标值,能确定目标图像拍摄尺寸的像素高,所述像素高指拍摄尺寸高的像素值,为了将像素高换算为长度计量单位,需要用像素高除以摄像机的PPI,即拍摄尺寸的高HV(单位:英寸)=像素高/PPI;若从服务器端获取的目标图像的真实高度为HU英寸,摄像机的像距为V,则摄像机离目标图像的距离为物距U=HU*V/HV。若以真实尺寸和拍摄尺寸中的宽计算是同样的道理,不赘述。
上面实施例介绍了基于计算机视觉的测距方法,巧妙利用图像配准技术所需要的样本图像和单应性矩阵,只需要在样本图像入库时增加测量一个目标图像的实际尺寸,即可利用光学系统成像原理快速简单的计算出HMD摄像机距目标图像的距离。下面介绍上述测距方法的具体应用。
本发明实施例介绍HMD光学系统调节方法,所述HMD光学系统包括图像源模块和光学放大系统,所述调节方法包括如下步骤:
B1:根据上一实施例所介绍的基于计算机视觉的测距方法(参见图1)计算出摄像机距目标图像的距离;
B2:摄像机距目标图像的距离加上摄像机距人眼距离,得到目标图像距人眼的距离;
B3:根据目标图像距人眼的距离,调节头戴显示设备光学系统中光学元件的位置关系或改变光学元件的光学特性,以实现虚像到人眼距离等于目标物到人眼的距离,其中光学元件的光学特性指直射率、曲率等。光学元件位置关系的调节和光学元件光学特性如何改变,在后一实施例(头戴显示装置实施例)中会详细描述。
在光学系统中,像距、物距、焦距、视场、像高(虚像大小)等参数之间可以相互影响,通过调节光学元件的位置关系或改变光学元件的光学特性时,可通过调节其他参数,使像距、像高同时达到设定值。因此HMD光学系统调节方法还包括:根据图像源模块显示的虚拟信息图像的尺寸及目标图像的真实尺寸,调节头戴显示设备光学系统中光学元件的位置关系或改变光学元件的光学特性,以实现将虚拟信息图像的虚像放大到目标图像的真实尺寸。
本发明实施例HMD光学系统调节方法,是前述基于计算机视觉的测距方法的具体应用,该光学系统调节方法可以单独调节虚像到人眼的距离,也可以同时调节虚像到人眼距离和虚像大小。该光学系统调节方法特别适用于HMD增强现实应用,能使虚拟信息在人眼视觉上完全贴合到目标物位置,给用户完美的增强现实体验。
上面实施例介绍了HMD光学系统调节方法,下面结合附件介绍采用该方法的头戴显示装置。
参见图2,为本发明实施例头戴显示装置结构示意图,所述头戴显示装置包括主体框架1、摄像机3、透视式光学显示系统2和主控系统4,图2示出的是双目头戴现实装置,因此有两个透视式光学显示系统。所述主控系统4包括图像检索模块41、图像配准模块42、测距模43块和调节控制模块44(参见图3);透视式光学显示系统2包括图像显示模块21、光学放大系统22和微调机构23(参见图4)。
所述摄像机3用于捕获包含目标图像的当前场景图像;
所述图像检索模块41,用于将所述摄像机模块捕获的当前场景图像发送到服务器端,在服务器端的图像数据库中搜索与所述目标图像匹配的样本图像,同时获得样本图像对应的目标图像的真实尺寸信息;
所述图像配准模块42,用于对摄像机捕获的当前场景图像和样本图像进行配准,得到单应性矩阵;
所述测距模块43首先根据单应性矩阵的逆矩阵、样本图像顶点坐标及摄像机的分辨率计算目标图像的拍摄尺寸,然后根据目标图像的拍摄尺寸、目标图像的真实尺寸、摄像机的像距及摄像机距人眼距离,计算目标图像到人眼的距离。拍摄尺寸和真实尺寸均以高为例,具体计算步骤为:C1:用样本图像顶点坐标乘以单应性矩阵的逆矩阵,即可得到摄像机捕获的当前场景图像中的目标图像的对应顶点坐标;C2:根据S103所计算得到的当前场景图像中的目标图像的最上一个顶点和最下一个顶点坐标值,能确定拍摄尺寸的像素高;C3:目标图像的拍摄高HV(单位:英寸)=像素高/PPI;C4:摄像机离目标图像的距离为物距U=HU*V/HV,其中HU为从服务器端获取的目标图像的真实高度,V为摄像机的像距,摄像机固定后,V为已知值;
所述调节控制模块44,用于根据得到的目标图像到人眼的距离,控制微调机构23调整图像显示模块21与光学放大系统的22轴向距离,和/或控制微调机构23调整光学放大系统22的焦距,使虚像到人眼距离等于目标物到人眼的距离。为了给用户完美的增强现实体验,所述调节控制模块44,还用于根据图像源模块21显示的虚拟信息图像的尺寸及目标图像的真实尺寸,控制微调机构23调整图像显示模块21与光学放大系统22的轴向距离,和/或控制微调机构23调整光学放大系统22的焦距,以实现将虚拟信息图像的虚像放大到目标图像的真实尺寸。
本发明实施例中,所述调节控制模块44内嵌光学指标计算单元(图3未示出),将目标物到人眼的距离作为像距,和/或将目标图像的真实尺寸作为像高输入光学指标计算单元,光学指标计算单元自动计算出需要调整的光学指标;调节控制模块将计算出的需要调整的光学指标转换为微调机构可识别的指令,以控制微调机构对相关光学元件进行微调。
参见图4,为本发明实施例头戴显示装置中透视式光学显示系统的一种结构示意图;透视式光学显示系统2包括图像显示模块21、光学放大系统22和微调机构23,图像显示模块21用于显示计算机生成图像CGI图像(图像源),本发明实施例图像显示模块21可为OLED、LCD或LCos显示器;光学放大系统22对图像源起放大作用,同时光学放大系统22内的光学组合器作为光路的转折及外界环境光进入人眼的通道,使人眼通过整个光学放大系统22可同时观察到放大的图像源和外界环境。在图4中,图像显示模块1与光学放大系统22之间的轴向距离以L1表示,虚像到人眼的距离以L4表示。本发明实施例图4中,仅在图像显示模块21安装了一组微调结构,在实际设计时,每一个需要移动的光学组件均需要安装一组微调机构,本领域技术人员根据附图4完全可推断出安装多组微调机构的其他附图。
本发明实施例中,虚像到人眼的距离L4的调节可以通过以下几种方式来实现:
1)调节图像显示模块21与光学放大系统22之间的轴向距离L1,此过程要求保持显示模块21与光学放大系统22的距离在光学放大系统22的一倍焦距范围内;
2)调节光学放大系统22的焦距;
3)以上两种方法的结合使用。
其中,调整光学放大系统22的焦距,可选择下面两种方式之一:
a.用微调机构23改变光学放大系统22中各光学元件的位置关系,以调整光学放大系统的焦距;
b.所述光学放大系统22中的一个或多个光学元件采用液体透镜,微调机构23向液体透镜外加电压或微调机构23通过机械力改变液体形状,实现调整光学放大系统的焦距。
本发明实施例中,微调机构23可以根据需求不同,设计为不同的结构,例如:当本发明实施例通过调整图像显示模块21与光学放大系统22的轴向距离,或通过改变光学放大系统22中各光学元件的位置关系来调整光学放大系统的焦距时,微调机构23优选采用螺纹副传动微调方式,参见图5,每组微调机构23包括驱动控制板61、微型步进电机62、齿轮副(齿轮A63、齿轮B64)、转动螺杆65、移动螺母座66,转动螺杆65和移动螺母座66组成螺纹副。需移动的光学组件安装固定在移动螺母座66上,每一个需要移动的光学组件安装一组微调机构(图4以图像显示模块21安装于移动螺母座66上为例),微型步进电机62在驱动控制板61的驱动下,以齿轮副方式驱动螺纹副中的转动螺杆65转动来带动移动螺母座66的轴向移动,从而带动安装固定在移动螺母座66上的光学组件运行。
而当本发明通过液体透镜改变光学放大系统的焦距时,微调机构23就不能用上述的螺纹副传动结构,而需要对应设计为能向液体透镜外加电压或加机械力的结构,且此时微调机构与光学放大系统连接。
上面描述了本发明实施例头戴显示装置的各部件结构和原理,下面,以仅微调图像显示模块轴向距离为例,说明本发明实施例如何根据景深自动调节虚像到人眼距离,具体过程为:
D1:通过图1所示方法,计算摄像机到目标图像的距离,摄像机到目标图像的距离加上摄像机到人眼的距离,等于目标图像到人眼的距离,设定虚像到人眼的距离L4等于目标图像到人眼的距离;
D2:根据虚像到人眼的距离L4,计算L1值,获得需输出的△L1数据(原L1值与新计算出的L1的差值),将△L1数据转化为脉冲信号,并输出脉冲个数,将脉冲数传递给驱动板上的单片机;
D3:驱动控制板上的单片机程序根据得到的脉冲数控制微型步进电机的驱动器,使微型步进电机稳定转过给定的步数;微型步进电机通过齿轮副将力矩和转动传递给微调螺杆实现图像显示模块的微调,进而实现虚像到人眼距离的调节。
本发明头戴显示装置,虚像距人眼的距离可根据目标物到人眼的距离自动做调整,能最大限度的保证用户在使用这些图像显示器时用眼的舒适度,缓解视野疲劳;且在增强现实应用中,当景深变化时,可通过调节虚像距人眼的距离,使虚像与实际环境贴合,能达到真正的增强显示效果,可极大增强用户体验。
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (11)

1.基于计算机视觉的测距方法,应用于头戴显示设备上,其特征在于,包括:
头戴显示设备的摄像机捕获当前场景图像,在服务器端搜索与当前场景图像中的目标图像匹配的样本图像;
对摄像机捕获的当前场景图像和样本图像进行配准,得到单应性矩阵;
根据单应性矩阵的逆矩阵及样本图像顶点坐标,计算所捕获的当前场景图像中的目标图像的各顶点坐标;
根据计算出的各顶点坐标及摄像机的分辨率,计算所述目标图像的拍摄尺寸;
根据目标图像的拍摄尺寸、目标图像的真实尺寸及摄像机的像距,计算摄像机距目标图像的距离。
2.如权利要求1所述的测距方法,其特征在于,服务器端存储有目标图像的真实尺寸。
3.如权利要求1或2所述的方法,其特征在于,所述头戴显示设备的摄像机捕获当前场景图像,在图像数据库中搜索与当前场景图像中的目标图片匹配的样本图像,进一步包括:
摄像机捕获包含目标图片的当前场景图像;
对摄像机捕获的当前场景图像进行特征检测,提取出图像特征点,并对图像特征点进行特征描述,得到整幅图像的特征描述数据;
根据当前场景图像的特征描述数据,在图像数据库中进行图像搜索,得到与当前场景图像中的目标图片匹配的样本图像。
4.HMD光学系统调节方法,所述HMD光学系统包括图像源模块和光学放大系统,其特征在于,所述调节方法包括:
根据权利要求1至3任一项所述的方法计算出摄像机距目标图像的距离;
摄像机距目标图像的距离加上摄像机距人眼距离,得到目标图像距人眼的距离;
根据目标图像距人眼的距离,调节头戴显示设备光学系统中光学元件的位置关系或改变光学元件的光学特性,以实现虚像到人眼距离等于目标物到人眼的距离。
5.如权利要求4所述的方法,其特征在于,所述方法还包括:
根据图像源模块显示的虚拟信息图像的尺寸及目标图像的真实尺寸,调节头戴显示设备光学系统中光学元件的位置关系或改变光学元件的光学特性,以实现将虚拟信息图像的虚像放大到目标图像的真实尺寸。
6.一种头戴显示装置,包括主体框架、摄像机、透视式光学显示系统和主控系统,其特征在于:所述主控系统包括图像检索模块、图像配准模块、测距模块和调节控制模块;透视式光学显示系统包括图像显示模块、光学放大系统和微调机构;
所述摄像机捕获包含目标图像的当前场景图像;
所述图像检索模块在服务器端搜索与所述目标图像匹配的样本图像;
所述图像配准模块对摄像机捕获的当前场景图像和样本图像进行配准,得到单应性矩阵;
所述测距模块首先根据单应性矩阵的逆矩阵、样本图像顶点坐标及摄像机的分辨率计算目标图像的拍摄尺寸,然后根据目标图像的拍摄尺寸、目标图像的真实尺寸、摄像机的像距及摄像机距人眼距离,计算目标图像到人眼的距离;
所述调节控制模块,用于根据得到的目标图像到人眼的距离,控制微调机构调整图像显示模块与光学放大系统的轴向距离,和/或控制微调机构调整光学放大系统的焦距,使虚像到人眼距离等于目标物到人眼的距离。
7.如权利要求6所述的头戴显示装置,其特征在于,所述调节控制模块,还用于根据图像源模块显示的虚拟信息图像的尺寸及目标图像的真实尺寸,控制微调机构调整图像显示模块与光学放大系统的轴向距离,和/或控制微调机构调整光学放大系统的焦距,以实现将虚拟信息图像的虚像放大到目标图像的真实尺寸。
8.如权利要求6或7所述的头戴显示装置,其特征在于,所述调整光学放大系统的焦距,进一步包括:用微调机构改变光学放大系统中各光学元件的位置关系,以调整光学放大系统的焦距。
9.如权利要求8所述的头戴显示装置,其特征在于,当通过调整图像显示模块与光学放大系统的轴向距离,或通过改变光学放大系统中各光学元件的位置关系来调整光学放大系统的焦距时,所述微调机构采用螺纹副传动微调方式,每一个需要移动的光学组件安装一组微调机构,每组微调机构包括驱动控制板、微型步进电机、齿轮副、转动螺杆、移动螺母座;需移动的光学组件安装固定在移动螺母座上,微型步进电机在驱动控制板的驱动下,以齿轮副方式驱动螺纹副中的转动螺杆转动来带动移动螺母座的轴向移动。
10.如权利要求6或7所述的头戴显示装置,其特征在于,所述光学放大系统中的一个或多个光学元件采用液体透镜,微调机构向液体透镜外加电压或微调机构通过机械力改变液体形状,实现调整光学放大系统的焦距。
11.如权利要求6或7所述的头戴显示装置,其特征在于,所述调节控制模块内嵌光学指标计算单元,将目标物到人眼的距离作为像距,和/或将目标图像的真实尺寸作为像高输入光学指标计算单元,光学指标计算单元自动计算出需要调整的光学指标;调节控制模块将计算出的需要调整的光学指标转换为微调机构可识别的指令,以控制微调机构对相关光学元件进行微调。
CN201310380189.7A 2013-08-28 2013-08-28 一种头戴显示装置 Active CN103500446B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310380189.7A CN103500446B (zh) 2013-08-28 2013-08-28 一种头戴显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310380189.7A CN103500446B (zh) 2013-08-28 2013-08-28 一种头戴显示装置

Publications (2)

Publication Number Publication Date
CN103500446A true CN103500446A (zh) 2014-01-08
CN103500446B CN103500446B (zh) 2016-10-26

Family

ID=49865649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310380189.7A Active CN103500446B (zh) 2013-08-28 2013-08-28 一种头戴显示装置

Country Status (1)

Country Link
CN (1) CN103500446B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104865704A (zh) * 2015-05-04 2015-08-26 上海交通大学 一种基于移动设备的透射式与非透射式可切换头戴设备
CN105319714A (zh) * 2014-07-31 2016-02-10 精工爱普生株式会社 显示装置、显示装置的控制方法及程序
WO2016115871A1 (zh) * 2015-01-21 2016-07-28 成都理想境界科技有限公司 能自动调节景深的双目ar头戴设备及景深调节方法
WO2016115870A1 (zh) * 2015-01-21 2016-07-28 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
WO2016115873A1 (zh) * 2015-01-21 2016-07-28 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
WO2016191953A1 (zh) * 2015-05-29 2016-12-08 深圳市柔宇科技有限公司 自适配显示调节的方法及头戴式显示设备
JP2017102269A (ja) * 2015-12-02 2017-06-08 セイコーエプソン株式会社 頭部装着型表示装置およびコンピュータープログラム
CN106842568A (zh) * 2015-10-28 2017-06-13 三星电子株式会社 透视型全息显示设备和头戴式显示设备
CN106871906A (zh) * 2017-03-03 2017-06-20 西南大学 一种盲人导航方法、装置及终端设备
CN107063088A (zh) * 2017-03-31 2017-08-18 天津大学 一种融入式人机环境交互定位测量方法
CN107250891A (zh) * 2015-02-13 2017-10-13 Otoy公司 头戴式显示器与真实世界对象之间的相互通信
WO2018035736A1 (zh) * 2016-08-24 2018-03-01 中国科学院深圳先进技术研究院 智能眼镜的显示方法及装置
CN108345113A (zh) * 2018-03-01 2018-07-31 苏州迅优检测技术有限公司 一种智能眼镜
CN110275297A (zh) * 2018-03-13 2019-09-24 精工爱普生株式会社 头部佩戴型显示装置、显示控制方法以及记录介质
CN110462494A (zh) * 2017-03-21 2019-11-15 依视路国际公司 被适配为由配戴者配戴的光学装置
CN110840721A (zh) * 2019-11-25 2020-02-28 北京耐德佳显示技术有限公司 一种基于近眼显示的视力防控、训练方法及近眼显示设备
CN114500977A (zh) * 2022-01-22 2022-05-13 深圳市帝泰光电有限公司 视觉增强的智能穿戴设备及实现立体视觉换位的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008114704A1 (en) * 2007-03-12 2008-09-25 Canon Kabushiki Kaisha Head mounted image-sensing display device and composite image generating apparatus
CN102213831A (zh) * 2010-04-08 2011-10-12 索尼公司 用于头部安装型显示单元的图像显示方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202041739U (zh) * 2011-05-14 2011-11-16 马建栋 一种治疗近视眼的眼镜

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008114704A1 (en) * 2007-03-12 2008-09-25 Canon Kabushiki Kaisha Head mounted image-sensing display device and composite image generating apparatus
CN102213831A (zh) * 2010-04-08 2011-10-12 索尼公司 用于头部安装型显示单元的图像显示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵娜: "手势交互的增强现实应用系统研究与设计", 《中国优秀博硕士学位论文全文数据库 (硕士) 信息科技辑》, no. 04, 15 April 2006 (2006-04-15) *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105319714A (zh) * 2014-07-31 2016-02-10 精工爱普生株式会社 显示装置、显示装置的控制方法及程序
WO2016115871A1 (zh) * 2015-01-21 2016-07-28 成都理想境界科技有限公司 能自动调节景深的双目ar头戴设备及景深调节方法
WO2016115870A1 (zh) * 2015-01-21 2016-07-28 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
WO2016115873A1 (zh) * 2015-01-21 2016-07-28 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
US11263794B2 (en) 2015-01-21 2022-03-01 Chengdu Idealsee Technology Co., Ltd. Binocular see-through AR head-mounted display device and information displaying method thereof
US10334235B2 (en) 2015-01-21 2019-06-25 Chengdu Idealsee Technology Co., Ltd. Binocular see-through AR head-mounted display device and information display method therefor
CN107250891A (zh) * 2015-02-13 2017-10-13 Otoy公司 头戴式显示器与真实世界对象之间的相互通信
CN104865704A (zh) * 2015-05-04 2015-08-26 上海交通大学 一种基于移动设备的透射式与非透射式可切换头戴设备
CN104865704B (zh) * 2015-05-04 2017-11-14 上海交通大学 一种基于移动设备的透射式与非透射式可切换头戴设备
WO2016191953A1 (zh) * 2015-05-29 2016-12-08 深圳市柔宇科技有限公司 自适配显示调节的方法及头戴式显示设备
CN106842568A (zh) * 2015-10-28 2017-06-13 三星电子株式会社 透视型全息显示设备和头戴式显示设备
JP2017102269A (ja) * 2015-12-02 2017-06-08 セイコーエプソン株式会社 頭部装着型表示装置およびコンピュータープログラム
WO2018035736A1 (zh) * 2016-08-24 2018-03-01 中国科学院深圳先进技术研究院 智能眼镜的显示方法及装置
CN106871906A (zh) * 2017-03-03 2017-06-20 西南大学 一种盲人导航方法、装置及终端设备
CN110462494A (zh) * 2017-03-21 2019-11-15 依视路国际公司 被适配为由配戴者配戴的光学装置
CN110462494B (zh) * 2017-03-21 2021-09-17 依视路国际公司 被适配为由配戴者配戴的光学装置
CN107063088A (zh) * 2017-03-31 2017-08-18 天津大学 一种融入式人机环境交互定位测量方法
CN108345113A (zh) * 2018-03-01 2018-07-31 苏州迅优检测技术有限公司 一种智能眼镜
CN110275297A (zh) * 2018-03-13 2019-09-24 精工爱普生株式会社 头部佩戴型显示装置、显示控制方法以及记录介质
CN110275297B (zh) * 2018-03-13 2021-10-01 精工爱普生株式会社 头部佩戴型显示装置、显示控制方法以及记录介质
CN110840721A (zh) * 2019-11-25 2020-02-28 北京耐德佳显示技术有限公司 一种基于近眼显示的视力防控、训练方法及近眼显示设备
CN114500977A (zh) * 2022-01-22 2022-05-13 深圳市帝泰光电有限公司 视觉增强的智能穿戴设备及实现立体视觉换位的方法

Also Published As

Publication number Publication date
CN103500446B (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
CN103500446A (zh) 基于计算机视觉的测距方法及其在hmd上的应用
CN103487938B (zh) 头戴显示装置
CN105866949B (zh) 能自动调节景深的双目ar头戴设备及景深调节方法
US20150187115A1 (en) Dynamically adjustable 3d goggles
US9848184B2 (en) Stereoscopic display system using light field type data
CN103533340B (zh) 移动终端的裸眼3d播放方法和移动终端
CN203480126U (zh) 头戴显示装置
US10901211B2 (en) Collaborative scene sharing for overcoming visual obstructions
CN112585523B (zh) 具有通量校准的显示设备
CN205942090U (zh) 可穿戴设备及无人机系统
CN104243959A (zh) 基于偏振定向和组合定位的智能复合眼镜
CN108616752B (zh) 支持增强现实交互的头戴设备及控制方法
CN205195880U (zh) 观看设备及观看系统
CN103050028A (zh) 具有立体视觉随动功能的驾驶模拟器
CN104104942B (zh) 立体图像显示设备及其眼睛追踪方法
CN104317120A (zh) 一种供多人观看的自由视点真三维显示系统及方法
US20130265331A1 (en) Virtual Reality Telescopic Observation System of Intelligent Electronic Device and Method Thereof
CN104865701A (zh) 头戴式显示装置
CN103149696A (zh) 显示系统
CN107076998A (zh) 可穿戴设备及无人机系统
US9552063B2 (en) Electronic device including transparent display and method of controlling the electronic device
US10911743B2 (en) Field of view expansion by color separation
CN102402014B (zh) 观赏眼镜、三维显示系统及其图像光束调整方法
US20210165222A1 (en) Display Apparatus and Method
CN111308698A (zh) 一种定向显示屏与一种感应式三维显示装置及其显示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant