CN107562189A - 一种基于双目摄像头的空间定位方法及服务设备 - Google Patents

一种基于双目摄像头的空间定位方法及服务设备 Download PDF

Info

Publication number
CN107562189A
CN107562189A CN201710598297.XA CN201710598297A CN107562189A CN 107562189 A CN107562189 A CN 107562189A CN 201710598297 A CN201710598297 A CN 201710598297A CN 107562189 A CN107562189 A CN 107562189A
Authority
CN
China
Prior art keywords
equipment
head
geographical position
location feature
shows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710598297.XA
Other languages
English (en)
Other versions
CN107562189B (zh
Inventor
沈时进
盛中华
李志雄
潘镭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Leafun Culture Science and Technology Co Ltd
Original Assignee
Guangzhou Leafun Culture Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Leafun Culture Science and Technology Co Ltd filed Critical Guangzhou Leafun Culture Science and Technology Co Ltd
Priority to CN201710598297.XA priority Critical patent/CN107562189B/zh
Publication of CN107562189A publication Critical patent/CN107562189A/zh
Application granted granted Critical
Publication of CN107562189B publication Critical patent/CN107562189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种基于双目摄像头的空间定位方法及服务设备,该方法包括:控制头显设备利用模拟人眼工作的双目摄像头采集视野范围内的景象;判断所述景象是否包含至少三个定位特征点,如果是,识别每一个所述定位特征点的已知位置信息;根据每一个所述定位特征点在所述景象中的景深度,确定所述头显设备与每一个所述定位特征点之间的相对地理位置;根据每一个所述定位特征点的已知位置信息、所述头显设备与所述至少三个定位特征点之间的相对地理位置,确定所述头显设备的地理位置;根据所述头显设备转动时的第一角速率,计算所述头显设备的第一视角方向;根据所述地理位置及所述第一视角方向,确定所述头显设备的第一空间位置,可以提高空间定位的准确度。

Description

一种基于双目摄像头的空间定位方法及服务设备
技术领域
本发明涉及空间定位技术领域,具体涉及一种基于双目摄像头的空间定位方法及服务设备。
背景技术
目前,随着虚拟现实(Virtual Reality,简称VR)技术的发展,VR设备被广泛应用于会展、教育等领域。为了给用户提供沉浸式的虚拟现实体验,需要对用户进行空间位置的定位。其中,上述的空间位置包含了用户在VR空间内的地理位置以及用户的视线方向。然而,在实践中发现,用户在体验VR技术时,VR设备对应的定位系统难以捕捉到用户头部的细微转动,降低了空间定位的准确度,使得VR设备显示的VR画面与用户的实际动作不匹配,从而导致用户产生强烈的眩晕感,进一步限制了VR技术的推广和发展。
发明内容
本发明实施例公开了一种基于双目摄像头的空间定位方法及服务设备能够提高空间定位的准确度。
本发明实施例第一方面公开一种基于双目摄像头的空间定位方法,所述方法包括:
控制头显设备利用模拟人眼工作的双目摄像头采集视野范围内的景象;
判断所述景象是否包含至少三个定位特征点,如果包含,识别每一个所述定位特征点的已知位置信息;
根据每一个所述定位特征点在所述景象中的景深度,确定所述头显设备与每一个所述定位特征点之间的相对地理位置;
根据每一个所述定位特征点的已知位置信息、所述头显设备与所述至少三个定位特征点之间的相对地理位置,确定所述头显设备的地理位置;
根据所述头显设备转动时的第一角速率,确定所述头显设备的第一视角方向;其中,所述第一角速率是由所述头显设备的惯性测量单元测量得出的;
根据所述地理位置及所述第一视角方向,确定所述头显设备的第一空间位置。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
如果所述景象中不包含至少三个定位特征点,获取所述惯性测量单元测量出的所述头显设备运动时的第二角速率及加速度;
根据所述第二角速率、所述加速度以及所述头显设备的初始地理位置,利用惯性导航推算所述头显设备的第二空间位置;
其中,所述初始地理位置是在拍摄到不包含至少三个定位特征点的所述景象之前,所述头显设备的地理位置。
作为一种可选的实施方式,在本发明实施例第一方面中,根据所述第二角速率、所述加速度以及所述头显设备的初始地理位置,利用惯性导航推算所述第一设备的第二空间位置,包括:
获取所述头显设备的初始地理位置;
根据所述初始地理位置及所述加速度,利用惯性导航计算所述头显设备相对于所述初始地理位置的空间地理位置;
根据所述第二角速率,计算所述头显设备的第二视角方向;
根据所述空间地理位置及所述第二视角方向,计算所述头显设备的第二空间位置。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
如果所述双目摄像头在指定时长内拍摄到的若干个视野范围内的景象都不包含至少三个定位特征点,发送提示指令至所述头显设备;
其中,所述提示指令用于触发所述头显设备在屏幕上显示提示信息,提示所述头显设备的佩戴者到指定的校正区域寻找预设的校正特征点。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
根据所述第一空间位置,渲染与所述第一空间位置相对应的虚拟画面,并发送到所述头显设备;
或,根据所述第二空间位置,渲染与所述第二空间位置相对应的虚拟画面并发送到所述头显设备。
本发明实施例第二方面公开一种服务设备,包括:
控制单元,用于控制头显设备利用模拟人眼工作的双目摄像头采集视野范围内的景象;
判断单元,用于判断所述景象是否包含至少三个定位特征点;
识别单元,用于在判断单元判断出所述景象包含至少三个定位特征点时,识别每一个所述定位特征点的已知位置信息;
第一确定单元,用于根据每一个所述定位特征点在所述景象中的景深度,确定所述头显设备与每一个所述定位特征点之间的相对地理位置;
第二确定单元,用于根据每一个所述定位特征点的已知位置信息、所述头显设备与所述至少三个定位特征点之间的相对地理位置,确定所述头显设备的地理位置;
第三确定单元,用于根据所述头显设备转动时的第一角速率,确定所述头显设备的第一视角方向;其中,所述第一角速率是由所述头显设备的惯性测量单元测量得出的;
第四确定单元,用于根据所述地理位置及所述第一视角方向,确定所述头显设备的第一空间位置。
作为一种可选的实施例,在本发明实施例第二方面中,还包括:
第一获取单元,用于在判断单元判断出所述景象中不包含至少三个定位特征点时,获取所述惯性测量单元测量出的所述头显设备运动时的第二角速率及加速度;
推算单元,用于根据所述第二角速率、所述加速度以及所述头显设备的初始地理位置,利用惯性导航推算所述头显设备的第二空间位置;
其中,所述初始地理位置是在拍摄到不包含至少三个定位特征点的所述景象之前,所述头显设备的地理位置。
作为一种可选的实施例,在本发明实施例第二方面中,所述推算单元,包括:
第二获取子单元,用于获取所述头显设备的初始地理位置;
第一计算子单元,用于根据所述初始地理位置及所述加速度,利用惯性导航计算所述头显设备相对于所述初始地理位置的空间地理位置;
第三计算子单元,用于根据所述第二角速率,计算所述头显设备的第二视角方向;
第四计算子单元,用于根据所述空间地理位置及所述第二视角方向,计算所述头显设备的第二空间位置。
作为一种可选的实施例,在本发明实施例第二方面中,还包括:
发送单元,用于在所述双目摄像头在指定时长内拍摄到的若干个视野范围内的景象都不包含至少三个定位特征点时,发送提示指令至所述头显设备;
其中,所述提示指令用于触发所述头显设备在屏幕上显示提示信息,提示所述头显设备的佩戴者到指定的校正区域寻找预设的校正特征点。
作为一种可选的实施例,在本发明实施例第二方面中,还包括:
渲染单元,用于根据所述第一空间位置,渲染与所述第一空间位置相对应的虚拟画面,并发送到所述头显设备;
或,所述渲染单元,还用于根据所述第二空间位置,渲染与所述第二空间位置相对应的虚拟画面并发送到所述头显设备。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,头显设备的双目摄像头可以采集视野范围内的景象,当景象中包含至少三个定位特征点时,可以根据每一个定位特征点的已知位置信息,计算每一个定位特征点在景象中的景深值,并根据上述的景深值计算头显设备与每一个定位特征点之间的相对地理位置;结合每一个定位特征点的已知位置信息、头显设备与至少三个定位特征点之间的相对地理位置,可以确定头显设备的地理位置;此外,头显设备的惯性测量单元可以测量出头显设备转动时的第一角速率,从而可以计算出头显设备的第一视角方向,结合上述的地理位置及上述的第一视角方向,可以确定头显设备的第一空间位置;可见,通过定位特征点进行光学定位,可以确定头显设备在三维空间内的地理位置;通过惯性测量,可以捕捉到头显设备佩戴者头部的转动行为,确定头显设备的视角方向;结合光学定位和惯性测量,可以提高空间定位的准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于双目摄像头的空间定位方法的流程示意图;
图2是本发明实施例公开的另一种基于双目摄像头的空间定位方法的流程示意图;
图3是本发明实施例公开的另一种基于双目摄像头的空间定位方法的流程示意图;
图4是本发明实施例公开的一种服务设备的结构示意图;
图5是本发明实施例公开的另一种服务设备的结构示意图;
图6是本发明实施例公开的另一种服务设备的结构示意图;
图7是本发明实施例公开的另一种服务设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种基于双目摄像头的空间定位方法及服务设备,能够降低用户错过来电的发生概率。以下分别进行详细说明。
实施例一
请参阅图1,图1是本发明实施例公开的一种基于双目摄像头的空间定位方法的流程示意图。其中,图1所描述的基于双目摄像头的空间定位方法适用于与头显设备连接的服务设备,本发明实施例不做限定。举例来说,与头显设备连接的服务设备可以是个人电脑、智能手机、云服务器等,本发明实施例不做限定。其中,与头显设备连接的服务设备的操作系统可包括但不限于Windows操作系统、Linux操作系统、Android操作系统、IOS操作系统、等等,本发明实施例不做限定。如图1所示,该基于双目摄像头的空间定位方法可以包括以下步骤:
101、服务设备控制头显设备利用模拟人眼工作的双目摄像头采集视野范围内的景象。
本发明实施例中,服务设备与头显设备之间可以通过有线或无线的方式进行连接,本发明实施例不做限定。通过与头显设备连接,服务设备与头显设备之间可以进行信息交互,因此服务设备可以控制头显设备的双目摄像头定时拍摄图片。双目摄像头是指两个平行放置的摄像头,可以模拟人眼工作,因此这两个平行放置的摄像头拍摄到的图片可以认为是人眼看到的视野范围内的景象。
102、服务设备判断上述的景象是否包含至少三个定位特征点,如果包含,执行步骤103~步骤107,如果不包含,结束本流程。
本发明实施例中,定位特征点可以是印在背景绿幕上的花纹,背景绿幕可以用于分离背景与前景实物,从而可以在后续处理中把前景实物与虚拟画面进行叠加,实现混合现实(Mixed Reality,简称MR)。并且,作为定位特征点的花纹的颜色可以采用浅色或者是与绿色相近的颜色,既不影响背景与前景实物的分离效果,又可以使服务器从绿幕背景中识别出定位特征点。此外,每一个定位特征点在世界坐标系中的位置已知,并且处于不同位置的定位特征点的花纹纹理不同,因此服务设备可以通过识别拍摄到景象中每一个定位特征点的花纹,从而识别出每一个定位特征点的已知位置。
103、服务设备识别每一个定位特征点的已知位置信息。
104、服务设备根据每一个定位特征点在景象中的景深度,确定头显设备与每一个定位特征点之间的相对地理位置。
105、服务设备根据每一个定位特征点的已知位置信息、头显设备与至少三个定位特征点之间的相对地理位置,确定头显设备的地理位置。
本发明实施例中,头显设备与每一个定位特征点之间的相对地理位置可以根据每一个定位特征点在摄像头坐标系中的坐标来确定的,摄像头坐标系是以摄像头为原点衡量其他物体的坐标系。然而,为了得到摄像头,即头显设备在世界坐标系中的位置,可以结合每一个定位特征点在世界坐标系中已知的位置信息以及相对地理位置,从而通过三角定位的原理确定头显设备在世界坐标系中的地理位置。
106、服务设备根据头显设备转动时的第一角速率,确定头显设备的第一视角方向。
本发明实施例中,第一角速率是由头显设备的惯性测量单元测量得出的,惯性测量单元至少可以包括加速度计和陀螺仪,加速度计可以用于测量具有惯性测量单元的物体运动时的加速度,陀螺仪可以用于测量上述物体在运动时的角速率,本发明实施例不做限定。陀螺仪的精度较高,采样率可达100Hz甚至1000Hz,因此,陀螺仪可以捕捉到物体运动方向的细微变化,同时不受摄像头拍摄的图像的采样限制。可见,根据陀螺仪测量得出的第一角速率,可以得出头显设备的佩戴者低头、抬头、环顾四周等头部旋转运动时的运动朝向,从而可以计算出头显设备的佩戴者结束一次旋转运动时,头显设备(即头显设备的佩戴者)的视角方向。
107、服务设备根据头显设备的地理位置及第一视角方向,确定头显设备的第一空间位置。
本发明实施例中,通过头显设备的地理位置可以实现对头显设备移动轨迹的追踪,通过头显设备的视角方向可以实现对头显设备旋转轨迹的追踪,因此,结合头显设备的地理位置及第一视角方向,确定头显设备的第一空间位置,可以实现对头显设备六个方向自由度上的位置追踪,并且通过结合惯性测量单元的测量数据,弥补光学定位因为头显设备快速运动时特征点模糊或者轻微转动时拍摄到的前后景象差距不大,而产生的定位误差。
可见,在图1描述的方法中,头显设备的双目摄像头可以采集视野范围内的景象,当景象中包含至少三个定位特征点时,可以根据每一个定位特征点的已知位置信息,计算每一个定位特征点在景象中的景深值,并根据上述的景深值计算头显设备与每一个定位特征点之间的相对地理位置;结合每一个定位特征点的已知位置信息、头显设备与至少三个定位特征点之间的相对地理位置,可以确定头显设备的地理位置;此外,头显设备的惯性测量单元可以测量出头显设备转动时的第一角速率,从而可以计算出头显设备的第一视角方向,结合上述的地理位置及上述的第一视角方向,可以确定头显设备的第一空间位置,从而可以通过结合惯性测量单元的测量数据,弥补光学定位因为头显设备快速运动时特征点模糊或者轻微转动时拍摄到的前后景象差距不大,而产生的定位误差,提高定位的准确度。
实施例二
请参阅图2,图2是本发明实施例公开的另一种基于双目摄像头的空间定位方法的流程示意图。如图2所示,该基于双目摄像头的空间定位方法的流程示意图可以包括以下步骤:
201、服务设备控制头显设备利用模拟人眼工作的双目摄像头采集视野范围内的景象。
202、服务设备判断上述的景象是否包含至少三个定位特征点,如果包含,执行步骤203~步骤207,如果不包含,执行步骤208~步骤212。
本发明实施例中,定位特征点可以是印在背景绿幕上的花纹,背景绿幕可以用于分离背景与前景实物。然而,双目摄像头拍摄到的景象中可能没有足够的定位特征点。例如,用户(即头显设备的佩戴者)在看到一个花瓶时,由于该花瓶是前景实物,因此花瓶上没有定位特征点,而且由于花瓶阻挡了部分背景绿幕,使得双目摄像头拍摄到的定位特征点过少,或者拍摄不到定位特征点,此时光学定位无法发挥作用,可以利用惯性测量单元的测量数据,根据惯性导航的原理对头显设备进行定位。
203、服务设备识别每一个定位特征点的已知位置信息。
204、服务设备根据每一个定位特征点在景象中的景深度,确定头显设备与每一个定位特征点之间的相对地理位置。
205、服务设备根据每一个定位特征点的已知位置信息、头显设备与至少三个定位特征点之间的相对地理位置,确定头显设备的地理位置。
206、服务设备根据头显设备转动时的第一角速率,确定头显设备的第一视角方向。
本发明实施例中,第一角速率是由头显设备的惯性测量单元测量得出的,惯性测量单元至少可以包括加速度计和陀螺仪,加速度计可以用于测量具有惯性测量单元的物体运动时的加速度,陀螺仪可以用于测量上述物体在运动时的角速率,本发明实施例不做限定。
207、服务设备根据地理位置及第一视角方向,确定头显设备的第一空间位置。
208、服务设备获取惯性测量单元测量出的头显设备运动时的第二角速率及加速度。
本发明实施例中,第二角速率是由陀螺仪测量得出的,加速度是由加速度计测量得出的。
209、服务设备获取头显设备的初始地理位置。
本发明实施例中,初始地理位置是在拍摄到不包含至少三个定位特征点的景象之前,头显设备的地理位置。例如,在某一时刻,头显设备的双目摄像头拍摄到的景象至少包含三个定位特征点,此时,服务设备可以通过上述的定位特征点确定该时刻头显设备的地理位置;在上述的某一时刻之后的下一时刻,由于头显设备的移动,头显设备的双目摄像头拍摄到的景象中不包含至少三个定位特征点,那么服务设备在上述的某一时刻确定的头显设备的地理位置就被用作为上述的下一时刻头显设备的初始地理位置。
210、服务设备根据初始地理位置及加速度,利用惯性导航计算头显设备相对于初始地理位置的空间地理位置。
本发明实施例中,利用初始地理位置及加速度,可以在不依靠定位特征点的情况下,通过计算确定出头显设备的空间地理位置。
211、服务设备根据第二角速率,计算头显设备的第二视角方向。
212、服务设备根据空间地理位置及第二视角方向,计算头显设备的第二空间位置。
其中,执行上述的步骤209~步骤212,可以根据第二角速率、加速度以及头显设备的初始地理位置,利用惯性导航推算头显设备的第二空间位置。
在图2描述的方法中,在头显设备的双目摄像头拍摄到的图像包含至少三个定位特征点时,通过结合由定位特征点确定的头显设备的相对位置,以及由第一角速率确定的头显设备的第一视角方向,从而确定头显设备的第一空间位置,可以弥补光学定位的定位误差,提高定位的准确度。进一步地,图2所描述的方法在头显设备的双目摄像头拍摄到的图像不包含至少三个定位特征点时,通过结合由加速度计算出的头显设备的空间地理位置,以及由第二角速率计算出的头显设备的第二视角方向,从而可以在不依靠定位特征点的情况下,确定头显设备的第二空间位置。
实施例三
请参阅图3,图3是本发明实施例公开的另一种基于双目摄像头的空间定位方法的流程示意图。如图3所示,该基于双目摄像头的空间定位方法的流程示意图可以包括以下步骤:
301、服务设备控制头显设备利用模拟人眼工作的双目摄像头采集视野范围内的景象。
302、服务设备判断上述的景象是否包含至少三个定位特征点,如果包含,执行步骤303~步骤308,如果不包含,执行步骤309~步骤312。
303、服务设备识别每一个定位特征点的已知位置信息。
304、服务设备根据每一个定位特征点在景象中的景深度,确定头显设备与每一个定位特征点之间的相对地理位置。
305、服务设备根据每一个定位特征点的已知位置信息、头显设备与至少三个定位特征点之间的相对地理位置,确定头显设备的地理位置。
306、服务设备根据头显设备转动时的第一角速率,确定头显设备的第一视角方向。
本发明实施例中,第一角速率是由头显设备的惯性测量单元测量得出的。
307、服务设备根据地理位置及第一视角方向,确定头显设备的第一空间位置。
308、服务设备根据第一空间位置,渲染与第一空间位置相对应的虚拟画面,并发送到头显设备。
本发明实施例中,根据头显设备所处的空间位置不同,与空间位置相对应的虚拟画面也不同,当虚拟画面的变化与头显设备的空间位置变化相匹配时,才可以给头显设备的佩戴者提供沉浸式的体验,使头显设备的佩戴者模糊真实景象与虚拟画面之间的界限。
309、服务设备获取惯性测量单元测量出的头显设备运动时的第二角速率及加速度。
310、服务设备根据第二角速率、加速度以及头显设备的初始地理位置,利用惯性导航推算头显设备的第二空间位置。
本发明实施例中,初始地理位置是在拍摄到不包含至少三个定位特征点的景象之前,头显设备的地理位置。
作为一种可选的实施方式,服务设备根据第二角速率、加速度以及头显设备的初始地理位置,利用惯性导航推算头显设备的第二空间位置的方式具体可以为:
服务设备获取头显设备的初始地理位置;
服务设备根据初始地理位置及加速度,利用惯性导航计算头显设备相对于初始地理位置的空间地理位置;
服务设备根据第二角速率,计算头显设备的第二视角方向;
服务设备根据空间地理位置及第二视角方向,计算头显设备的第二空间位置。
311、服务设备根据第二空间位置,渲染与第二空间位置相对应的虚拟画面并发送到头显设备。
312、如果双目摄像头在指定时长内拍摄到的若干个视野范围内的景象都不包含至少三个定位特征点,服务设备发送提示指令至头显设备。
本发明实施例中,提示指令用于触发头显设备在屏幕上显示提示信息,提示头显设备的佩戴者到指定的校正区域寻找预设的校正特征点。利用惯性测量单元的测量数据确定头显设备的空间位置时,虽然可以不依靠定位特征点计算出头显设备空间位置,在短时间内可以降低没有足够的定位特征点对定位准确度的影响,但是由于计算过程中误差会不断累积,在一定时间后,如果不及时校正,误差会越来越大,严重影响定位的准确度。因此,在指定时长(如5min),如果拍摄到的若干个视野范围内的景象都不包含至少三个定位特征点时,通过提示指令引导头显设备的佩戴者到指定的校正区域寻找预设的校正特征点,从而使服务设备可以利用预设的校正特征点进行定位校正,减少计算过程中累积误差带来的影响,进一步提高空间定位的准确度。
其中,一个可以进行虚拟现实体验的区域内可以设置多个校正区域以及校正特征点,提示指令可以提示头显设备的佩戴者寻找离当前地理位置最近的校正区域以及校正特征点。
可见,在图3描述的方法中,通过结合定位特征点和惯性测量单元的测量数据或者只利用惯性测量单元的测量数据,可以确定头显设备的空间位置。进一步地,在图3所描述的方法中,通过渲染与头显设备的空间位置相对应的虚拟画面并发送到头显设备,可以为头显设备的佩戴者提供沉浸式的体验,使头显设备的佩戴者模糊真实景象与虚拟画面之间的界限。更进一步地,在图3所描述的方法中,在指定时长内拍摄到的若干个视野范围内的景象都不包含至少三个定位特征点时,通过提示指令引导头显设备的佩戴者到指定的校正区域寻找预设的校正特征点,从而使服务设备可以利用预设的校正特征点进行定位校正,可以进一步提高空间定位的准确度。
实施例四
请参阅图4,图4是本发明实施例公开的一种服务设备的结构示意图。如图4所示,该移动设备可以包括:
控制单元401,用于控制头显设备利用模拟人眼工作的双目摄像头采集视野范围内的景象;
判断单元402,用于判断控制单元401控制上述的双目摄像头采集的景象是否包含至少三个定位特征点;
识别单元403,用于在判断单元402判断出上述的景象包含至少三个定位特征点时,识别每一个定位特征点的已知位置信息;
第一确定单元404,用于在识别单元403识别出每一个定位特征点的已知位置信息后,根据每一个定位特征点在景象中的景深度,确定头显设备与每一个定位特征点之间的相对地理位置;
第二确定单元405,用于根据识别单元403识别出的的每一个定位特征点的已知位置信息、第一确定单元404确定头显设备与至少三个定位特征点之间的相对地理位置,确定头显设备的地理位置;
第三确定单元406,用于根据头显设备转动时的第一角速率,确定头显设备的第一视角方向;
本发明实施例中,第一角速率是由头显设备的惯性测量单元测量得出的;
第四确定单元407,用于根据第二确定单元405确定的地理位置及第三确定单元406确定的第一视角方向,确定头显设备的第一空间位置。
其中,实施图4所描述的服务设备,可以在当头显设备的双目摄像头拍摄到的视野范围内的景象中包含至少三个定位特征点时,根据每一个定位特征点的已知位置信息,计算每一个定位特征点在景象中的景深值,并根据上述的景深值计算头显设备与每一个定位特征点之间的相对地理位置;结合每一个定位特征点的已知位置信息、头显设备与至少三个定位特征点之间的相对地理位置,可以确定头显设备的地理位置;此外,头显设备的惯性测量单元可以测量出头显设备转动时的第一角速率,从而可以计算出头显设备的第一视角方向,结合上述的地理位置及上述的第一视角方向,可以确定头显设备的第一空间位置,从而可以通过结合惯性测量单元的测量数据,弥补光学定位因为头显设备快速运动时特征点模糊或者轻微转动时拍摄到的前后景象差距不大,而产生的定位误差,提高定位的准确度。
实施例五
请参阅图5,图5是本发明实施例公开的另一种服务设备的结构示意图。其中图5所示的服务设备是由图4所示的服务设备进行优化得到的。与图4所示的服务设备相比较,图5所示的服务设备,还可以包括:
第一获取单元408,用于在判断单元402判断出上述的景象中不包含至少三个定位特征点时,获取惯性测量单元测量出的头显设备运动时的第二角速率及加速度;
推算单元409,用于根据第一获取单元408获取的第二角速率、第一获取单元408获取的加速度以及头显设备的初始地理位置,利用惯性导航推算头显设备的第二空间位置;
本发明实施例中,初始地理位置是在拍摄到不包含至少三个定位特征点的景象之前,第二确定单元405确定的头显设备的地理位置。例如,在某一时刻,控制单元401控制头显设备的双目摄像头拍摄到的景象至少包含三个定位特征点,此时,第二确定单元405可以通过上述的定位特征点确定该时刻头显设备的地理位置;在上述的某一时刻之后的下一时刻,由于头显设备的移动,控制单元401控制头显设备的双目摄像头拍摄到的景象中不包含至少三个定位特征点,那么推送单元409就把第二确定单元405在上述的某一时刻确定的头显设备的地理位置用作为上述的下一时刻头显设备的初始地理位置。
其中,上述的推算单元409,包括:
第二获取子单元4091,用于从第二确定单元405中获取头显设备的初始地理位置;
第一计算子单元4092,用于根据第二获取子单元4091获取的初始地理位置及第一获取单元408获取的加速度,利用惯性导航计算头显设备相对于初始地理位置的空间地理位置;
第二计算子单元4093,用于根据第一获取单元408获取的第二角速率,计算头显设备的第二视角方向;
第三计算子单元4094,用于根据第一计算子单元4092计算出的空间地理位置及第二计算子单元4093计算出的第二视角方向,计算头显设备的第二空间位置。
其中,实施图5所描述的服务设备,可以在头显设备的双目摄像头拍摄到的图像包含至少三个定位特征点时,通过结合由定位特征点确定的头显设备的相对位置,以及由第一角速率确定的头显设备的第一视角方向,从而确定头显设备的第一空间位置,可以弥补光学定位的定位误差,提高定位的准确度。进一步地,实施图5所描述的服务设备可以在头显设备的双目摄像头拍摄到的图像不包含至少三个定位特征点时,通过结合由加速度计算出的头显设备的空间地理位置,以及由第二角速率计算出的头显设备的第二视角方向,从而可以在不依靠定位特征点的情况下,确定头显设备的第二空间位置。
实施例六
请参阅图6,图6是本发明实施例公开的另一种服务设备的结构示意图。其中图6所示的服务设备是由图5所示的服务设备进行优化得到的。与图5所示的服务设备相比较,图6所示的服务设备,还可以包括:
发送单元410,用于在判断单元402判断出双目摄像头在指定时长内拍摄到的若干个视野范围内的景象都不包含至少三个定位特征点时,发送提示指令至头显设备;
本发明实施例中,提示指令用于触发头显设备在屏幕上显示提示信息,提示头显设备的佩戴者到指定的校正区域寻找预设的校正特征点。
渲染单元411,用于根据第四确定单元407确定的第一空间位置,渲染与第一空间位置相对应的虚拟画面,并发送到头显设备;
上述的渲染单元411,还用于根据第三计算子单元4094计算出的第二空间位置,渲染与第二空间位置相对应的虚拟画面并发送到头显设备。
其中,实施图6所描述的移动设备,可以通过结合定位特征点和惯性测量单元的测量数据或者只利用惯性测量单元的测量数据,可以确定头显设备的空间位置。进一步地,实施图6所描述的移动设备,通过渲染与头显设备的空间位置相对应的虚拟画面并发送到头显设备,可以为头显设备的佩戴者提供沉浸式的体验,使头显设备的佩戴者模糊真实景象与虚拟画面之间的界限。更进一步地,实施图6所描述的移动设备,可以在指定时长内拍摄到的若干个视野范围内的景象都不包含至少三个定位特征点时,通过提示指令引导头显设备的佩戴者到指定的校正区域寻找预设的校正特征点,从而使服务设备可以利用预设的校正特征点进行定位校正,可以进一步提高空间定位的准确度。
实施例七
请参阅图7,图7本发明实施例公开的另一种服务设备的结构示意图。如图7示,该服务设备还可以包括:
存储有可执行程序代码的存储器701;
与存储器701耦合的处理器702;
其中,处理器702调用存储器701中存储的可执行程序代码,执行图1~图3任一种基于双目摄像头的空间定位方法。
需要说明的是,图7所示的移动设备还可以包括电源、输入按键、摄像头、扬声器、屏幕、RF电路、Wi-Fi模块、蓝牙模块、传感器等未显示的组件,本实施例不作赘述。
本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行图1~图3任一种基于双目摄像头的空间定位方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于双目摄像头的空间定位方法及服务设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于双目摄像头的空间定位方法,其特征在于,所述方法包括:
控制头显设备利用模拟人眼工作的双目摄像头采集视野范围内的景象;
判断所述景象是否包含至少三个定位特征点,如果包含,识别每一个所述定位特征点的已知位置信息;
根据每一个所述定位特征点在所述景象中的景深度,确定所述头显设备与每一个所述定位特征点之间的相对地理位置;
根据每一个所述定位特征点的已知位置信息、所述头显设备与所述至少三个定位特征点之间的相对地理位置,确定所述头显设备的地理位置;
根据所述头显设备转动时的第一角速率,确定所述头显设备的第一视角方向;其中,所述第一角速率是由所述头显设备的惯性测量单元测量得出的;
根据所述地理位置及所述第一视角方向,确定所述头显设备的第一空间位置。
2.根据权利要求1所述的基于双目摄像头的空间定位方法,其特征在于,所述方法还包括:
如果所述景象中不包含至少三个定位特征点,获取所述惯性测量单元测量出的所述头显设备运动时的第二角速率及加速度;
根据所述第二角速率、所述加速度以及所述头显设备的初始地理位置,利用惯性导航推算所述头显设备的第二空间位置;
其中,所述初始地理位置是在拍摄到不包含至少三个定位特征点的所述景象之前,所述头显设备的地理位置。
3.根据权利要求2所述的基于双目摄像头的空间定位方法,其特征在于,根据所述第二角速率、所述加速度以及所述头显设备的初始地理位置,利用惯性导航推算所述第一设备的第二空间位置,包括:
获取所述头显设备的初始地理位置;
根据所述初始地理位置及所述加速度,利用惯性导航计算所述头显设备相对于所述初始地理位置的空间地理位置;
根据所述第二角速率,计算所述头显设备的第二视角方向;
根据所述空间地理位置及所述第二视角方向,计算所述头显设备的第二空间位置。
4.根据权利要求2或3所述的基于双目摄像头的空间定位方法,其特征在于,所述方法还包括:
如果所述双目摄像头在指定时长内拍摄到的若干个视野范围内的景象都不包含至少三个定位特征点,发送提示指令至所述头显设备;
其中,所述提示指令用于触发所述头显设备在屏幕上显示提示信息,提示所述头显设备的佩戴者到指定的校正区域寻找预设的校正特征点。
5.根据权利要求1或2所述的基于双目摄像头的空间定位方法,其特征在于,所述方法还包括:
根据所述第一空间位置,渲染与所述第一空间位置相对应的虚拟画面,并发送到所述头显设备;
或,根据所述第二空间位置,渲染与所述第二空间位置相对应的虚拟画面并发送到所述头显设备。
6.一种服务设备,其特征在于,包括:
控制单元,用于控制头显设备利用模拟人眼工作的双目摄像头采集视野范围内的景象;
判断单元,用于判断所述景象是否包含至少三个定位特征点;
识别单元,用于在判断单元判断出所述景象包含至少三个定位特征点时,识别每一个所述定位特征点的已知位置信息;
第一确定单元,用于根据每一个所述定位特征点在所述景象中的景深度,确定所述头显设备与每一个所述定位特征点之间的相对地理位置;
第二确定单元,用于根据每一个所述定位特征点的已知位置信息、所述头显设备与所述至少三个定位特征点之间的相对地理位置,确定所述头显设备的地理位置;
第三确定单元,用于根据所述头显设备转动时的第一角速率,确定所述头显设备的第一视角方向;其中,所述第一角速率是由所述头显设备的惯性测量单元测量得出的;
第四确定单元,用于根据所述地理位置及所述第一视角方向,确定所述头显设备的第一空间位置。
7.根据权利要求6所述的服务设备,其特征在于,还包括:
第一获取单元,用于在判断单元判断出所述景象中不包含至少三个定位特征点时,获取所述惯性测量单元测量出的所述头显设备运动时的第二角速率及加速度;
推算单元,用于根据所述第二角速率、所述加速度以及所述头显设备的初始地理位置,利用惯性导航推算所述头显设备的第二空间位置;
其中,所述初始地理位置是在拍摄到不包含至少三个定位特征点的所述景象之前,所述头显设备的地理位置。
8.根据权利要求7所述的服务设备,其特征在于,所述推算单元,包括:
第二获取子单元,用于获取所述头显设备的初始地理位置;
第一计算子单元,用于根据所述初始地理位置及所述加速度,利用惯性导航计算所述头显设备相对于所述初始地理位置的空间地理位置;
第三计算子单元,用于根据所述第二角速率,计算所述头显设备的第二视角方向;
第四计算子单元,用于根据所述空间地理位置及所述第二视角方向,计算所述头显设备的第二空间位置。
9.根据权利要求7或8所述的服务设备,其特征在于,还包括:
发送单元,用于在所述双目摄像头在指定时长内拍摄到的若干个视野范围内的景象都不包含至少三个定位特征点时,发送提示指令至所述头显设备;
其中,所述提示指令用于触发所述头显设备在屏幕上显示提示信息,提示所述头显设备的佩戴者到指定的校正区域寻找预设的校正特征点。
10.根据权利要求6或7所述的服务设备,其特征在于,还包括:
渲染单元,用于根据所述第一空间位置,渲染与所述第一空间位置相对应的虚拟画面,并发送到所述头显设备;
或,所述渲染单元,还用于根据所述第二空间位置,渲染与所述第二空间位置相对应的虚拟画面并发送到所述头显设备。
CN201710598297.XA 2017-07-21 2017-07-21 一种基于双目摄像头的空间定位方法及服务设备 Active CN107562189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710598297.XA CN107562189B (zh) 2017-07-21 2017-07-21 一种基于双目摄像头的空间定位方法及服务设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710598297.XA CN107562189B (zh) 2017-07-21 2017-07-21 一种基于双目摄像头的空间定位方法及服务设备

Publications (2)

Publication Number Publication Date
CN107562189A true CN107562189A (zh) 2018-01-09
CN107562189B CN107562189B (zh) 2020-12-11

Family

ID=60974435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710598297.XA Active CN107562189B (zh) 2017-07-21 2017-07-21 一种基于双目摄像头的空间定位方法及服务设备

Country Status (1)

Country Link
CN (1) CN107562189B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108414195A (zh) * 2018-01-17 2018-08-17 深圳市绚视科技有限公司 待测光源发射器的检测方法、装置、系统及存储装置
CN109671105A (zh) * 2018-12-19 2019-04-23 青岛小鸟看看科技有限公司 一种视觉导航系统的跟踪恢复方法和装置
CN110264521A (zh) * 2019-06-21 2019-09-20 北京邮电大学 一种基于双目摄像头的定位方法及系统
CN110296686A (zh) * 2019-05-21 2019-10-01 北京百度网讯科技有限公司 基于视觉的定位方法、装置及设备
CN110794955A (zh) * 2018-08-02 2020-02-14 广东虚拟现实科技有限公司 定位跟踪方法、装置、终端设备及计算机可读取存储介质
CN110849328A (zh) * 2019-11-26 2020-02-28 安徽德睿智能技术有限公司 一种基于双目视觉的晶体硅测量装置
CN111975781A (zh) * 2020-08-25 2020-11-24 北京华航唯实机器人科技股份有限公司 机器人修正方法及装置、机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103200364A (zh) * 2013-03-11 2013-07-10 太仓中科信息技术研究院 基于标记特征的摄像机升降格特效拍摄方法
CN105118055A (zh) * 2015-08-11 2015-12-02 北京电影学院 摄影机定位修正标定方法及系统
CN105716579A (zh) * 2014-12-05 2016-06-29 北京蚁视科技有限公司 一种基于信标的视觉定位系统及方法
CN106599929A (zh) * 2016-12-22 2017-04-26 深圳市虚拟现实技术有限公司 虚拟现实特征点筛选空间定位方法
CN106774844A (zh) * 2016-11-23 2017-05-31 上海创米科技有限公司 一种用于虚拟定位的方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103200364A (zh) * 2013-03-11 2013-07-10 太仓中科信息技术研究院 基于标记特征的摄像机升降格特效拍摄方法
CN105716579A (zh) * 2014-12-05 2016-06-29 北京蚁视科技有限公司 一种基于信标的视觉定位系统及方法
CN105118055A (zh) * 2015-08-11 2015-12-02 北京电影学院 摄影机定位修正标定方法及系统
CN106774844A (zh) * 2016-11-23 2017-05-31 上海创米科技有限公司 一种用于虚拟定位的方法及设备
CN106599929A (zh) * 2016-12-22 2017-04-26 深圳市虚拟现实技术有限公司 虚拟现实特征点筛选空间定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
敖日力格: "《视像·再现视觉空间的重构与置换》", 31 August 2015, 中国电影出版社 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108414195A (zh) * 2018-01-17 2018-08-17 深圳市绚视科技有限公司 待测光源发射器的检测方法、装置、系统及存储装置
CN110794955A (zh) * 2018-08-02 2020-02-14 广东虚拟现实科技有限公司 定位跟踪方法、装置、终端设备及计算机可读取存储介质
CN109671105A (zh) * 2018-12-19 2019-04-23 青岛小鸟看看科技有限公司 一种视觉导航系统的跟踪恢复方法和装置
CN110296686A (zh) * 2019-05-21 2019-10-01 北京百度网讯科技有限公司 基于视觉的定位方法、装置及设备
CN110264521A (zh) * 2019-06-21 2019-09-20 北京邮电大学 一种基于双目摄像头的定位方法及系统
CN110849328A (zh) * 2019-11-26 2020-02-28 安徽德睿智能技术有限公司 一种基于双目视觉的晶体硅测量装置
CN110849328B (zh) * 2019-11-26 2022-03-18 安徽德睿智能技术有限公司 一种基于双目视觉的晶体硅测量装置
CN111975781A (zh) * 2020-08-25 2020-11-24 北京华航唯实机器人科技股份有限公司 机器人修正方法及装置、机器人
CN111975781B (zh) * 2020-08-25 2021-10-26 北京华航唯实机器人科技股份有限公司 机器人修正方法及装置、机器人

Also Published As

Publication number Publication date
CN107562189B (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN107562189A (zh) 一种基于双目摄像头的空间定位方法及服务设备
CN103591951B (zh) 一种室内导航系统及方法
CN107208836B (zh) 用于支持具有不同效果的摄影术的系统和方法
CN110478901B (zh) 基于增强现实设备的交互方法及系统
JP2022000640A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
CN107167138B (zh) 一种图书馆智能路径指引系统及方法
CN108525300A (zh) 位置指示信息显示方法、装置、电子装置及存储介质
CN103246543A (zh) 显示控制设备,显示控制方法和程序
CN106643699A (zh) 一种虚拟现实系统中的空间定位装置和定位方法
CN107478220A (zh) 无人机室内导航方法、装置、无人机及存储介质
CN110858414A (zh) 图像处理方法、装置、可读存储介质与增强现实系统
CN107632704A (zh) 一种基于光学定位的混合现实音频控制方法及服务设备
CN110146096A (zh) 一种基于图像感知的车辆定位方法及装置
CN108022302A (zh) 一种Inside-Out空间定位的AR立体显示装置
CN108463840A (zh) 信息处理设备、信息处理方法以及记录介质
CN108810473A (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
KR102122755B1 (ko) 화면 터치 방식을 이용하는 짐벌 제어 방법
CN109358754A (zh) 一种混合现实头戴显示系统
CN110168615A (zh) 信息处理设备、信息处理方法和程序
CN109166181A (zh) 一种基于深度学习的混合动作捕捉系统
CN111290580B (zh) 基于视线追踪的校准方法及相关装置
CN109501807A (zh) 自动驾驶注意力检测系统及方法
CN103312958B (zh) 客户机终端、服务器以及程序
CN108702442A (zh) 用于时刻捕获的系统和方法
CN109445596A (zh) 一种一体式混合现实头戴显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant