CN107037403B - 基于增强现实的物体相对定位方法 - Google Patents

基于增强现实的物体相对定位方法 Download PDF

Info

Publication number
CN107037403B
CN107037403B CN201610851497.7A CN201610851497A CN107037403B CN 107037403 B CN107037403 B CN 107037403B CN 201610851497 A CN201610851497 A CN 201610851497A CN 107037403 B CN107037403 B CN 107037403B
Authority
CN
China
Prior art keywords
target object
image acquisition
set point
positioning
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610851497.7A
Other languages
English (en)
Other versions
CN107037403A (zh
Inventor
潘霄斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NIO Holding Co Ltd
Original Assignee
NIO Nextev Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NIO Nextev Ltd filed Critical NIO Nextev Ltd
Priority to CN201610851497.7A priority Critical patent/CN107037403B/zh
Publication of CN107037403A publication Critical patent/CN107037403A/zh
Application granted granted Critical
Publication of CN107037403B publication Critical patent/CN107037403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves

Abstract

本发明涉及基于增强现实的相对定位方法,首先进行空间建模,选取定位原点,并通过带有方向传感器的摄像头分别朝向定位原点和目标物体的位置,获取第一方位角、第二方位角;计算定位原点与目标物体的水平距离、以及水平方向偏角,形成建模数据;然后进行相对定位:将带有方向传感器的摄像头朝向定位原点计算初始位置信息;计算摄像头与目标物体的水平距离、以及水平方向偏角;通过水平方向偏角生成行进方向指引。本发明通过手持设备的自带的摄像头及方向传感器,便可在特定区域中生成寻找目标物体的指引信息,有效辅助用户方便快捷的找到目标物体。

Description

基于增强现实的物体相对定位方法
技术领域
本发明属于增强现实领域,具体涉及一种基于增强现实的物体相对定位方法。
背景技术
在一些大型场合,在物体放置后,往往在寻找的时候通常会忘记放置的位置、或者由于环境的复杂度,很难方便快捷地寻找目标物体,浪费大量时间,给人们的生活带来诸多不便。
目前在物体寻找方面主要有如下几种技术方案:
一是采用给物体增加定位装置的方式,将位置信息发送至手持装置显示物品位置,但是这种方式必须在无线或数据信号覆盖的区域才能使用,且需要装设于物体上的定位装置配合才能实现。
二是通过自动化仓储设备及系统来实现,这种方式造价成本特别高,而且整个系统是不能移动的,只能在固定的地方使用,一般应用在大型企业的仓储区域。
三是采用区域标签的方式,需要人根据记忆和标签显示的颜色或内容来跟踪式寻找,节省时间和带来的方便快捷度非常有限,且效果因人而异,而且对物体的摆放规则有严格要求。
相应地,本领域需要一种新的目标物体寻找方法来解决目标物体不易方便、快捷寻找问题。
发明内容
为了解决现有技术中的上述问题,即解决目标物体不易方便、快捷寻找的问题,本发明提出了一种基于增强现实的物体相对定位方法,通过带摄像头的增强现实设备,便可在特定区域中生成寻找目标物体的指引信息,有效辅助用户方便快捷的找到目标物体。
本发明提出的一种基于增强现实的物体相对定位方法,包括空间建模和相对定位;
空间建模:
确定参考位置的定位原点、目标物体设定点;
通过固设有方向传感器的图像采集设备,在特定位置分别获取图像采集设备相对定位原点、目标物体设定点的方位角;
依据定位原点、目标物体设定点、特定位置图像采集设备三者的高度,以及获取的方位角数据,计算定位原点与目标物体设定点的水平距离S0、以及目标物体设定点相对于定位原点的水平方向偏角β0,形成建模数据;
相对定位:
通过固设有方向传感器的图像采集设备获取当前位置图像采集设备相对定位原点的方位角;
依据当前位置图像采集设备的高度、当前位置获取的方位角数据,并结合建模数据,计算当前图像采集设备与目标物体设定点的水平距离S2′、当前图像采集设备相对于目标物体设定点的水平方向偏角α2′。
优选的,所述确定参考位置的定位原点、目标物体设定点的选择方法为:
选取特定区域内具有高识别度的位置中特定点为定位原点、选取目标物体与定位原点对应的物体表面中的特定点为目标物体设定点。
优选的,所述图像采集设备相对定位原点、目标物体设定点的方位角的获取方法为:
在图像采集设备所采集的图像中将定位原点对准屏幕中心,通过图像采集设备上固设的方向传感器获取第一方位角,并计算图像采集设备与定位原点的水平距离S1;所述第一方位角包括第一水平方向地磁极方位角α1、第一垂直方向翻转方位角θ1
将图像采集设备在位置和高度不变的状态下旋转至目标物体进行图像采集,将所采集的图像中目标物体设定点处于屏幕中心,获取第二方位角,并计算图像采集设备与目标物体设定点的水平距离S2;所述第二方位角包括第二水平方向地磁极方位角α2、第二垂直方向翻转方位角θ2
优选的,所述定位原点与目标物体设定点的水平距离S0的计算方法为:
S1=|h0-h1|·cotθ1
S2=|h0-h2|·cotθ2
Figure BDA0001121076800000031
其中h1为定位原点的高度、h0为空间建模过程中图像采集设备的高度、h2为目标物体设定点的高度。
优选的,所述目标物体设定点相对于定位原点的水平方向偏角β0的计算方法为:
Figure BDA0001121076800000032
优选的,所述当前位置图像采集设备相对定位原点的方位角的获取方法为:在图像采集设备所采集的图像中将定位原点对准屏幕中心,计算初始位置信息;初始位置信息包括当前图像采集设备与定位原点的初始水平距离S1′、初始方位角;初始方位角包括初始水平方向地磁极方位角α1′,初始垂直方向翻转方位角θ1′。
优选的,所述当前图像采集设备与目标物体设定点的水平距离S2′的计算方法为:
S1'=|h0'-h1|·cotθ1'
Figure BDA0001121076800000041
其中,h0'为当前位置图像采集设备的高度。
优选的,所述当前图像采集设备相对于目标物体设定点的水平方向偏角α2′的计算方法为:
α2'=α1'+arccos(S1'2+S2'2-2·S1'·S2')。
优选的,所述的方位角还包括横向翻转方位角,用于判断图像采集装置是发生横向翻转,以发出横向翻转方位角调整提醒。
优选的,所述的方位角还包括横向翻转方位角;所述空间建模和相对定位还包括坐标变换步骤,若检测到横向翻转方位角发生变化,则根据变化角度对建模数据进行修正。
优选的,所述相对定位中还包括指引显示的步骤:
依据当前图像采集设备与目标物体设定点的水平距离S2′、当前图像采集设备相对于目标物体设定点的水平方向偏角α2′,生成指引信息,通过显示装置显示。
优选的,所述的相对定位中还包括当前图像采集设备相对于目标物体设定点垂直方向翻转方位角θ2'的计算,
Figure BDA0001121076800000042
通过θ2'生成目标物体设定点的垂直方向指引。
优选的,获取所述图像采集设备与目标物体设定点的水平距离S2的具体方法为:
将图像采集设备保持位置和高度不变的状态下顺时针旋转至目标物体进行图像采集,并将所采集的图像中目标物体设定点处于屏幕中心,获取此时的方位角水平方向地磁极方位角α21、垂直方向翻转方位角θ21;并计算图像采集设备与目标物体设定点的水平距离S21
S21=(h0-h2)·cotθ21
将图像采集设备保持高度不变的状态下逆时针旋转至正对目标物体的位置进行图像采集,并使所采集的图像中目标物体设定点处于屏幕中心,获取此时的方位角水平方向地磁极方位角α22、垂直方向翻转方位角θ22;并计算图像采集设备与目标物体设定点的水平距离S22
S22=(h0-h2)·cotθ22
Figure BDA0001121076800000051
其中,h0为空间建模过程中图像采集设备的高度、h2为目标物体设定点的高度。
优选的,对特定区域内每一个目标物体执行所述空间建模相应步骤,生成特定区域内各目标物体的建模数据;在相对定位中先选定要寻找的目标物体,选取该目标物体对应的建模数据,然后执行所述相对定位相应步骤进行目标物体的相对定位。
优选的,所述的方向传感器为磁场传感器。
优选的,所述的图像采集设备为手机的摄像头;所述方向传感器为手机中的陀螺仪。
优选的,所述空间建模中在图像采集设备所采集的图像中将定位原点对准屏幕中心时拍摄获取第一方位照片;对应在所述相对定位中通过图像采集设备采集外部图像,依据第一方位照片通过图像识别算法进行定位原点的识别,计算初始位置信息。
优选的,所述空间建模中将所采集的图像中目标物体设定点处于屏幕中心时,获取第二方位照片;对应在所述相对定位中到达目标物体位置时通过图像采集设备采集外部图像,依据第二方位照片通过图像识别算法进行目标物体的确认。
本发明不依赖于三方的探测系统,且不受环境影响,通过带摄像头的增强现实设备,便可在特定区域中生成寻找目标物体的指引信息,有效辅助用户方便快捷的找到目标物体。
方案1、一种基于增强现实的物体相对定位方法,其特征在于,包括空间建模和相对定位;
空间建模:
确定参考位置的定位原点、目标物体设定点;
通过固设有方向传感器的图像采集设备,在特定位置分别获取图像采集设备相对定位原点、目标物体设定点的方位角;
依据定位原点、目标物体设定点、特定位置图像采集设备三者的高度,以及获取的方位角数据,计算定位原点与目标物体设定点的水平距离S0、以及目标物体设定点相对于定位原点的水平方向偏角β0,形成建模数据;
相对定位:
通过固设有方向传感器的图像采集设备获取当前位置图像采集设备相对定位原点的方位角;
依据当前位置图像采集设备的高度、当前位置获取的方位角数据,并结合建模数据,计算当前图像采集设备与目标物体设定点的水平距离S2′、当前图像采集设备相对于目标物体设定点的水平方向偏角α2
方案2、根据方案1所述的方法,其特征在于,所述确定参考位置的定位原点、目标物体设定点的选择方法为:
选取特定区域内具有高识别度的位置中特定点为定位原点、选取目标物体与定位原点对应的物体表面中的特定点为目标物体设定点。
方案3、根据方案2所述的方法,其特征在于,所述图像采集设备相对定位原点、目标物体设定点的方位角的获取方法为:
在图像采集设备所采集的图像中将定位原点对准屏幕中心,通过图像采集设备上固设的方向传感器获取第一方位角,并计算图像采集设备与定位原点的水平距离S1;所述第一方位角包括第一水平方向地磁极方位角α1、第一垂直方向翻转方位角θ1
将图像采集设备在位置和高度不变的状态下旋转至目标物体进行图像采集,将所采集的图像中目标物体设定点处于屏幕中心,获取第二方位角,并计算图像采集设备与目标物体设定点的水平距离S2;所述第二方位角包括第二水平方向地磁极方位角α2、第二垂直方向翻转方位角θ2
方案4、根据方案3所述的方法,其特征在于,所述定位原点与目标物体设定点的水平距离S0的计算方法为:
S1=|h0-h1|·cotθ1
S2=|h0-h2|·cotθ2
Figure BDA0001121076800000071
其中h1为定位原点的高度、h0为空间建模过程中图像采集设备的高度、h2为目标物体设定点的高度。
方案5、根据方案4所述的方法,其特征在于,所述目标物体设定点相对于定位原点的水平方向偏角β0的计算方法为:
Figure BDA0001121076800000072
方案6、根据方案5所述的方法,其特征在于,所述当前位置图像采集设备相对定位原点的方位角的获取方法为:在图像采集设备所采集的图像中将定位原点对准屏幕中心,计算初始位置信息;初始位置信息包括当前图像采集设备与定位原点的初始水平距离S1′、初始方位角;初始方位角包括初始水平方向地磁极方位角α1′,初始垂直方向翻转方位角θ1′。
方案7、根据方案6所述的方法,其特征在于,所述当前图像采集设备与目标物体设定点的水平距离S2′的计算方法为:
S1'=|h0'-h1|·cotθ1'
Figure BDA0001121076800000081
其中,h0'为当前位置图像采集设备的高度。
方案8、根据方案7所述的方法,其特征在于,所述当前图像采集设备相对于目标物体设定点的水平方向偏角α2′的计算方法为:
α2'=α1'+arccos(S1'2+S2'2-2·S1'·S2')。
方案9、根据方案1~8中任一项所述的方法,其特征在于,所述的方位角还包括横向翻转方位角,用于判断图像采集装置是发生横向翻转,以发出横向翻转方位角调整提醒。
方案10、根据方案1~8中任一项所述的方法,其特征在于,所述的方位角还包括横向翻转方位角;所述空间建模和相对定位还包括坐标变换步骤,若检测到横向翻转方位角发生变化,则根据变化角度对建模数据进行修正。
方案11、根据方案1~8中任一项所述的方法,其特征在于,所述相对定位中还包括指引显示的步骤:
依据当前图像采集设备与目标物体设定点的水平距离S2′、当前图像采集设备相对于目标物体设定点的水平方向偏角α2′,生成指引信息,通过显示装置显示。
方案12、根据方案7或8中任一项所述的方法,其特征在于,所述的相对定位中还包括当前图像采集设备相对于目标物体设定点垂直方向翻转方位角θ2'的计算,
Figure BDA0001121076800000091
通过θ2'生成目标物体设定点的垂直方向指引。
方案13、根据方案3所述的方法,其特征在于,获取所述图像采集设备与目标物体设定点的水平距离S2的具体方法为:
将图像采集设备保持位置和高度不变的状态下顺时针旋转至目标物体进行图像采集,并将所采集的图像中目标物体设定点处于屏幕中心,获取此时的方位角水平方向地磁极方位角α21、垂直方向翻转方位角θ21;并计算图像采集设备与目标物体设定点的水平距离S21
S21=(h0-h2)·cotθ21
将图像采集设备保持高度不变的状态下逆时针旋转至正对目标物体的位置进行图像采集,并使所采集的图像中目标物体设定点处于屏幕中心,获取此时的方位角水平方向地磁极方位角α22、垂直方向翻转方位角θ22;并计算图像采集设备与目标物体设定点的水平距离S22
S22=(h0-h2)·cotθ22
Figure BDA0001121076800000092
其中,h0为空间建模过程中图像采集设备的高度、h2为目标物体设定点的高度。
方案14、根据方案1~3中任一项所述的方法,其特征在于,对特定区域内每一个目标物体执行所述空间建模相应步骤,生成特定区域内各目标物体的建模数据;在相对定位中先选定要寻找的目标物体,选取该目标物体对应的建模数据,然后执行所述相对定位相应步骤进行目标物体的相对定位。
方案15、根据方案1~3中任一项所述的方法,其特征在于,所述的方向传感器为磁场传感器。
方案16、根据方案1~3中任一项所述的方法,其特征在于,所述的图像采集设备为手机的摄像头;所述方向传感器为手机中的陀螺仪。
方案17、根据方案1~8任一项所述的方法,其特征在于,所述空间建模中在图像采集设备所采集的图像中将定位原点对准屏幕中心时拍摄获取第一方位照片;对应在所述相对定位中通过图像采集设备采集外部图像,依据第一方位照片通过图像识别算法进行定位原点的识别,计算初始位置信息。
方案18、根据方案1~8任一项所述的方法,其特征在于,所述空间建模中将所采集的图像中目标物体设定点处于屏幕中心时,获取第二方位照片;对应在所述相对定位中到达目标物体位置时通过图像采集设备采集外部图像,依据第二方位照片通过图像识别算法进行目标物体的确认。
附图说明
图1是本发明基于增强现实的物体相对定位方法流程示意图;
图2是本发明中角度和距离计算示意图;
图3是本发明中距离计算示意图;
图4是本发明一种指引显示方式示意图;
图5是本发明另一种指引显示方式示意图;
图6本发明软件构架示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
本发明在空间建模阶段通过增强现实设备的图像采集设备将目标物体位置与具有高度识别度的位置进行数据关联,然后在相对定位阶段将增强现实设备的图像采集设与高度识别度的位置进行数据关联,由于目标物体位置与高度识别度的位置的数据关联是固定不变的,这样就可以在相对定位阶段将使用增强现实设备的操作者与目标物体位置进行数据关联,关联的信息包括水平距离和水平方向偏角,从而实现了水平距离和方向的导引。
如图1、图2所示,本发明的基于增强现实的物体相对定位方法,包括空间建模和相对定位;
空间建模:
步骤A1,确定参考位置的定位原点、目标物体设定点;
步骤A2,通过固设有方向传感器的图像采集设备,在特定位置分别获取图像采集设备相对定位原点、目标物体设定点的方位角;
步骤A3,依据定位原点、目标物体设定点、特定位置图像采集设备三者的高度,以及获取的方位角数据,计算定位原点与目标物体设定点的水平距离S0、以及目标物体设定点相对于定位原点的水平方向偏角β0,形成建模数据;
相对定位:
步骤B1,通过固设有方向传感器的图像采集设备获取当前位置图像采集设备相对定位原点的方位角;
步骤B2,依据当前位置图像采集设备的高度、当前位置获取的方位角数据,并结合建模数据,计算当前图像采集设备与目标物体设定点的水平距离S2′、当前图像采集设备相对于目标物体设定点的水平方向偏角α2′。
下面对上述每个步骤进行更加详细的说明:
1、空间建模:
步骤A1,确定参考位置的定位原点、目标物体设定点。
本实施例中,选取特定区域内具有高识别度的位置中特定点为定位原点、选取目标物体与定位原点对应的物体表面中的特定点为目标物体设定点。
所述特定区域为目标物体所在的场景区域;具有高识别度的位置中特定点为高识别度的位置中任一点;物体表面中的特定点为物体表面中任一点;区域以及点的选取不影响本发明的技术实现;采用特定区域、特定点的描述方式仅是为了表述所选定的区域和所选定的点。
步骤A2,通过固设有方向传感器的图像采集设备,在特定位置分别获取图像采集设备相对定位原点、目标物体设定点的方位角。
所述的特定位置为可以通过图像采集设备采集到定位原点、目标物体设定点的任一位置;采用特定位置的描述方式仅是为了表述所选定的位置。
本实施例中图像采集设备相对定位原点、目标物体设定点的方位角的获取方法为:
在图像采集设备所采集的图像中将定位原点对准屏幕中心,通过图像采集设备上固设的方向传感器获取第一方位角,并计算图像采集设备与定位原点的水平距离S1;所述第一方位角包括第一水平方向地磁极方位角α1、第一垂直方向翻转方位角θ1
将图像采集设备在位置和高度不变的状态下旋转至目标物体进行图像采集,将所采集的图像中目标物体设定点处于屏幕中心,获取第二方位角,并计算图像采集设备与目标物体设定点的水平距离S2;所述第二方位角包括第二水平方向地磁极方位角α2、第二垂直方向翻转方位角θ2
步骤A3,依据定位原点、目标物体设定点、特定位置图像采集设备三者的高度,以及获取的方位角数据,计算定位原点与目标物体设定点的水平距离S0、以及目标物体设定点相对于定位原点的水平方向偏角β0,形成建模数据。
通过垂直方向翻转方位角计算距离的方法原理示意图如图3所示,AB为空间建模过程中图像采集设备的高度,AC为目标物体设定点的高度,图像采集设备与目标物体设定点的垂直方向翻转方位角的大小与θ′一致,且θ=θ′均一致,则距离CD通过公式(1)可以计算
CD=CB·cotθ=|AB-AC|·cotθ (1)
本实施例中定位原点与目标物体设定点的水平距离S0、及目标物体设定点相对于定位原点的水平方向偏角β0的计算如公式(2)、(3)、(4)、(5)所示,
S1=|h0-h1|·cotθ1 (2)
S2=|h0-h2|·cotθ2 (3)
Figure BDA0001121076800000131
Figure BDA0001121076800000132
其中h1为定位原点的高度、h0为空间建模过程中图像采集设备的高度、h2为目标物体设定点的高度。
本实施例中,为了增加S2计算的准确性,对S2的计算方法进行了优化,具体为:
将图像采集设备保持位置和高度不变的状态下顺时针旋转至目标物体进行图像采集,并将所采集的图像中目标物体设定点处于屏幕中心,获取此时的方位角水平方向地磁极方位角α21、垂直方向翻转方位角θ21;并计算图像采集设备与目标物体设定点的水平距离S21,如公式(6)所示,
S21=(h0-h2)·cotθ21 (6)
将图像采集设备保持高度不变的状态下逆时针旋转至正对目标物体的位置进行图像采集,并使所采集的图像中目标物体设定点处于屏幕中心,获取此时的方位角水平方向地磁极方位角α22、垂直方向翻转方位角θ22;并计算图像采集设备与目标物体设定点的水平距离S22,如公式(7)所示
S22=(h0-h2)·cotθ22 (7)
取S21和S22的平均数作为S2,如公式(8)所示
Figure BDA0001121076800000141
其中,h0为空间建模过程中图像采集设备的高度、h2为目标物体设定点的高度。
2、相对定位:
步骤B1,通过固设有方向传感器的图像采集设备获取当前位置图像采集设备相对定位原点的方位角;
当前位置图像采集设备相对定位原点的方位角的获取方法为:在图像采集设备所采集的图像中将定位原点对准屏幕中心,计算初始位置信息;初始位置信息包括当前图像采集设备与定位原点的初始水平距离S1′、初始方位角;初始方位角包括初始水平方向地磁极方位角α1′,初始垂直方向翻转方位角θ1′。
步骤B2,依据当前位置图像采集设备的高度、当前位置获取的方位角数据,并结合建模数据,计算当前图像采集设备与目标物体设定点的水平距离S2′、当前图像采集设备相对于目标物体设定点的水平方向偏角α2′。
当前图像采集设备与目标物体设定点的水平距离S2′、及当前图像采集设备相对于目标物体设定点的水平方向偏角α2′的计算如公式(9)、(10)、(11)所示,
S1'=|h0'-h1|·cotθ1' (9)
Figure BDA0001121076800000151
α2'=α1'+arccos(S1'2+S2'2-2·S1'·S2') (11)
其中,h0'为当前位置图像采集设备的高度。
本实施例依据当前图像采集设备与目标物体设定点的水平距离S2′、当前图像采集设备相对于目标物体设定点的水平方向偏角α2′,生成指引信息;指引信息可以通过显示装置进行数据方式显示和/或图像方式显示,也可以通过语音的方式进行寻物指引。如图4、图5所示为采用手机进行指引显示的示例,
本实施例中目标物体设定点可以是与坐标原点对应方向物体表面的任意一点,优选的采用目标物体的顶部中心点。
为了达到更好的效果,本实施例在获取的方位角信息中还包括横向翻转方位角,以保证图像采集设备在空间建模和相对定位过程中基本保持横向翻转方位角不变化,或者在横向翻转方位角变化时及时修正建模数据或者当前位置数据,避免横向翻转方位角变化带来的计算误差。相应的技术实现方案:前一种情况,判断图像采集装置是发生横向翻转,以发出横向翻转方位角调整提醒,及时将图像采集装置调整到之前的横向翻转方位角;后一种情况,增加坐标变换的步骤,若检测到横向翻转方位角发生变化,则根据变化角度对建模数据或当前位置数据进行修正。
当使用头戴增强现实设备时,视野有限,即使在目标物体附近,也可能由于视角的问题,看不到目标物体,基于该问题,本实施例在相对定位步骤中增加了当前图像采集设备相对于目标物体设定点垂直方向翻转方位角θ2'的计算,如公式(12)所示
Figure BDA0001121076800000161
通过θ2'生成目标物体设定点的垂直方向指引,可以更快速的发现目标物品。
本实施例中水平方向地磁极方位角用于计算水平方向偏角,进而生成方向导引;垂直方向翻转方位角用于水平距离的计算;横向翻转方位角用于保证增强现实设备的横向始终处于水平。
为了实现定位原点和目标物体位置的自动识别,本实施例增加了图像采集和图像识别确认的步骤,具体为:
(1)步骤A2中在图像采集设备所采集的图像中将定位原点对准屏幕中心时拍摄获取第一方位照片;对应在步骤B1中通过图像采集设备采集外部图像,依据第一方位照片通过图像识别算法进行定位原点的识别,计算初始位置信息。
(2)步骤A3中将所采集的图像中目标物体设定点处于屏幕中心时,获取第二方位照片;对应在步骤B3中到达目标物体位置时通过图像采集设备采集外部图像,依据第二方位照片通过图像识别算法进行目标物体的确认。
本实施例中的方向传感器为磁场传感器。
为了增加使用的便捷性,本实施例中增强现实设备为智能手机,图像采集设备为手机的摄像头,方向传感器为手机中的陀螺仪。
本发明可以用于单个目标物体的寻找,在目标物体放置好之后,由操作人员先执行空间建模步骤构建基础信息,在寻找目标物体的时候执行相对定位步骤即可通过指引信息快速找到目标物体。
本发明还可以对批量目标物体进行管理,可以预先对特定区域内各目标物体执行空间建模相应步骤,生成特定区域内各目标物体的建模数据,这样,在寻找目标物体时在相对定位中先选定要寻找的目标物体编号,选取该目标物体编号对应的建模数据,然后就可以按照相对定位的步骤快速找到目标物体。具体方法为:对特定区域内每一个目标物体执行所述空间建模的相应步骤,生成特定区域内各目标物体的建模数据;在相对定位中先选定要寻找的目标物体,选取该目标物体对应的建模数据,然后执行所述相对定位相应步骤进行目标物体的相对定位。
本发明基于增强现实设备来实现,并不要求用户向常规的增强现实设备那样紧贴眼部来实现观看,完全可以通过手持的方式来使用,而且其方向指引标识可以通过简单的左转、右转箭头指向来表示,也可以根据水平方向偏角α2′的大小来确定转弯箭头的弯折程度来实现精细化化指引。
本实施例中定位原点的高度h1、空间建模阶段准备图像采集设备的高度h0、目标物体设定点的高度h2、相对定位阶段图像采集设备的高度h0′需要操作人员进行信息输入,或者从存储信息中读取。
本发明中带摄像头的增强现实设备可以是分体装置(如带方向传感器的摄像头、处理单元、显示单元分体设置),也可以是集成的一体化装置,其形式的不同并不影响本发明技术方案的实现,考虑该技术方案实现的便捷性,一般采用具有摄像头及方向传感器的智能手机作为增强现实设备。
本实施例通过软件系统来实现,如图6所示,为手机APP的软件构架,包括交互操作模块、图像绘制模块、实时数据计算模块、传感器监测模块、摄像头捕捉模块,其中传感器监测模块、摄像头捕捉模块通过手机获取信息,具体的:
传感器监测模块用于接收手机端采集的方位角信息;
摄像头捕捉模块用于接收手机端采集的图像信息;
实时数据计算模块用于对空间建模和相对定位中传感器监测模块、摄像头捕捉模块接收的数据进行处理和计算;
图像绘制模块依据实时数据计算模块计算的信息进行指引图像的绘制;
交互操作模块用于显示图像绘制模块绘制的指引图像和/或输入控制指令。
本发明的应用的范围很广泛,比如停车场、集装箱集散地、大型货物存储场地等等,相应的目标物体为汽车、集装箱、大型货物等;本发明也可以间接的使用,比如地下物体可以通过其附近标志物作为该技术方案中的目标物体来辅助寻找。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块及方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (18)

1.一种基于增强现实的物体相对定位方法,其特征在于,包括空间建模和相对定位;
空间建模:
确定参考位置的定位原点、目标物体设定点;
通过固设有方向传感器的图像采集设备,在特定位置分别获取图像采集设备相对定位原点、目标物体设定点的方位角;
依据定位原点、目标物体设定点、特定位置图像采集设备三者的高度,以及获取的方位角数据,计算定位原点与目标物体设定点的水平距离S0、以及目标物体设定点相对于定位原点的水平方向偏角β0,形成建模数据;
相对定位:
通过固设有方向传感器的图像采集设备获取当前位置图像采集设备相对定位原点的方位角;
依据当前位置图像采集设备的高度、当前位置获取的方位角数据,并结合建模数据,计算当前图像采集设备与目标物体设定点的水平距离S2′、当前图像采集设备相对于目标物体设定点的水平方向偏角α2′;
其中,所述“特定位置”为“可以通过图像采集设备采集到定位原点、目标物体设定点的任一位置”。
2.根据权利要求1所述的方法,其特征在于,所述确定参考位置的定位原点、目标物体设定点的选择方法为:
选取特定区域内具有高识别度的位置中特定点为定位原点、选取目标物体与定位原点对应的物体表面中的特定点为目标物体设定点;
其中,所述“特定区域”为“目标物体所在的场景区域”;
其中,所述“具有高识别度的位置中特定点”为“高识别度的位置中任一点”;
其中,所述“物体表面中的特定点”为“物体表面中任一点”。
3.根据权利要求2所述的方法,其特征在于,所述图像采集设备相对定位原点、目标物体设定点的方位角的获取方法为:
在图像采集设备所采集的图像中将定位原点对准屏幕中心,通过图像采集设备上固设的方向传感器获取第一方位角,并计算图像采集设备与定位原点的水平距离S1;所述第一方位角包括第一水平方向地磁极方位角α1、第一垂直方向翻转方位角θ1
将图像采集设备在位置和高度不变的状态下旋转至目标物体进行图像采集,将所采集的图像中目标物体设定点处于屏幕中心,获取第二方位角,并计算图像采集设备与目标物体设定点的水平距离S2;所述第二方位角包括第二水平方向地磁极方位角α2、第二垂直方向翻转方位角θ2
4.根据权利要求3所述的方法,其特征在于,所述定位原点与目标物体设定点的水平距离S0的计算方法为:
S1=|h0-h1|·cotθ1
S2=|h0-h2|·cotθ2
Figure FDA0002316971100000021
其中h1为定位原点的高度、h0为空间建模过程中图像采集设备的高度、h2为目标物体设定点的高度。
5.根据权利要求4所述的方法,其特征在于,所述目标物体设定点相对于定位原点的水平方向偏角β0的计算方法为:
Figure FDA0002316971100000031
6.根据权利要求5所述的方法,其特征在于,所述当前位置图像采集设备相对定位原点的方位角的获取方法为:在图像采集设备所采集的图像中将定位原点对准屏幕中心,计算初始位置信息;初始位置信息包括当前图像采集设备与定位原点的初始水平距离S1′、初始方位角;初始方位角包括初始水平方向地磁极方位角α1′,初始垂直方向翻转方位角θ1′。
7.根据权利要求6所述的方法,其特征在于,所述当前图像采集设备与目标物体设定点的水平距离S2′的计算方法为:
S1'=|h0'-h1|·cotθ1'
Figure FDA0002316971100000032
其中,h0'为当前位置图像采集设备的高度。
8.根据权利要求7所述的方法,其特征在于,所述当前图像采集设备相对于目标物体设定点的水平方向偏角α2′的计算方法为:
α2'=α1'+arccos(S1'2+S2'2-2·S1'·S2')。
9.根据权利要求1~8中任一项所述的方法,其特征在于,所述的方位角还包括横向翻转方位角,用于判断图像采集装置是发生横向翻转,以发出横向翻转方位角调整提醒。
10.根据权利要求1~8中任一项所述的方法,其特征在于,所述的方位角还包括横向翻转方位角;所述空间建模和相对定位还包括坐标变换步骤,若检测到横向翻转方位角发生变化,则根据变化角度对建模数据进行修正。
11.根据权利要求1~8中任一项所述的方法,其特征在于,所述相对定位中还包括指引显示的步骤:
依据当前图像采集设备与目标物体设定点的水平距离S2′、当前图像采集设备相对于目标物体设定点的水平方向偏角α2′,生成指引信息,通过显示装置显示。
12.根据权利要求7或8中任一项所述的方法,其特征在于,所述的相对定位中还包括当前图像采集设备相对于目标物体设定点垂直方向翻转方位角θ2'的计算,
Figure FDA0002316971100000041
通过θ2'生成目标物体设定点的垂直方向指引。
13.根据权利要求3所述的方法,其特征在于,获取所述图像采集设备与目标物体设定点的水平距离S2的具体方法为:
将图像采集设备保持位置和高度不变的状态下顺时针旋转至目标物体进行图像采集,并将所采集的图像中目标物体设定点处于屏幕中心,获取此时的方位角水平方向地磁极方位角α21、垂直方向翻转方位角θ21;并计算图像采集设备与目标物体设定点的水平距离S21
S21=(h0-h2)·cotθ21
将图像采集设备保持高度不变的状态下逆时针旋转至正对目标物体的位置进行图像采集,并使所采集的图像中目标物体设定点处于屏幕中心,获取此时的方位角水平方向地磁极方位角α22、垂直方向翻转方位角θ22;并计算图像采集设备与目标物体设定点的水平距离S22
S22=(h0-h2)·cotθ22
Figure FDA0002316971100000051
其中,h0为空间建模过程中图像采集设备的高度、h2为目标物体设定点的高度。
14.根据权利要求1~3中任一项所述的方法,其特征在于,对特定区域内每一个目标物体执行所述空间建模相应步骤,生成特定区域内各目标物体的建模数据;在相对定位中先选定要寻找的目标物体,选取该目标物体对应的建模数据,然后执行所述相对定位相应步骤进行目标物体的相对定位;
其中,所述“特定区域”为“目标物体所在的场景区域”。
15.根据权利要求1~3中任一项所述的方法,其特征在于,所述的方向传感器为磁场传感器。
16.根据权利要求1~3中任一项所述的方法,其特征在于,所述的图像采集设备为手机的摄像头;所述方向传感器为手机中的陀螺仪。
17.根据权利要求1~8任一项所述的方法,其特征在于,所述空间建模中在图像采集设备所采集的图像中将定位原点对准屏幕中心时拍摄获取第一方位照片;对应在所述相对定位中通过图像采集设备采集外部图像,依据第一方位照片通过图像识别算法进行定位原点的识别,计算初始位置信息。
18.根据权利要求1~8任一项所述的方法,其特征在于,所述空间建模中将所采集的图像中目标物体设定点处于屏幕中心时,获取第二方位照片;对应在所述相对定位中到达目标物体位置时通过图像采集设备采集外部图像,依据第二方位照片通过图像识别算法进行目标物体的确认。
CN201610851497.7A 2016-09-26 2016-09-26 基于增强现实的物体相对定位方法 Active CN107037403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610851497.7A CN107037403B (zh) 2016-09-26 2016-09-26 基于增强现实的物体相对定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610851497.7A CN107037403B (zh) 2016-09-26 2016-09-26 基于增强现实的物体相对定位方法

Publications (2)

Publication Number Publication Date
CN107037403A CN107037403A (zh) 2017-08-11
CN107037403B true CN107037403B (zh) 2020-07-24

Family

ID=59532826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610851497.7A Active CN107037403B (zh) 2016-09-26 2016-09-26 基于增强现实的物体相对定位方法

Country Status (1)

Country Link
CN (1) CN107037403B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107727059B (zh) * 2017-10-12 2024-03-19 西安天和防务技术股份有限公司 目标位置确定系统及目标方位确定装置
CN109799476B (zh) * 2017-11-17 2023-04-18 株式会社理光 相对定位方法和装置、计算机可读存储介质
CN109147054B (zh) * 2018-08-03 2023-08-18 五八有限公司 Ar的3d模型朝向的设置方法、装置、存储介质及终端
CN109255840B (zh) * 2018-08-22 2023-06-23 重庆金康特智能穿戴技术研究院有限公司 一种利用增强现实模块的离线定位方法
CN110421292A (zh) * 2019-08-14 2019-11-08 异起(上海)智能科技有限公司 一种焊接机器人的对目标物体轮廓定位的方法和装置
KR20210081576A (ko) * 2019-12-24 2021-07-02 삼성전자주식회사 실내 측위를 제공하는 전자 장치 및 그 방법
CN114187509B (zh) * 2021-11-30 2022-11-08 北京百度网讯科技有限公司 对象定位方法、装置、电子设备以及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5244012B2 (ja) * 2009-03-31 2013-07-24 株式会社エヌ・ティ・ティ・ドコモ 端末装置、拡張現実感システム及び端末画面表示方法
KR102021050B1 (ko) * 2012-06-06 2019-09-11 삼성전자주식회사 내비게이션 정보를 제공하는 방법, 기계로 읽을 수 있는 저장 매체, 이동 단말 및 서버
CN104748739B (zh) * 2013-12-29 2017-11-03 刘进 一种智能机增强现实实现方法
CN104748746B (zh) * 2013-12-29 2017-11-03 刘进 智能机姿态测定及虚拟现实漫游方法
CN105937878B (zh) * 2016-06-13 2018-10-26 歌尔科技有限公司 一种室内测距方法

Also Published As

Publication number Publication date
CN107037403A (zh) 2017-08-11

Similar Documents

Publication Publication Date Title
CN107037403B (zh) 基于增强现实的物体相对定位方法
JP6100380B2 (ja) 特に装置に係る視覚ベースの位置決めに使用される画像処理方法
US8648879B2 (en) Apparatus and method for tracking augmented reality content
JP2020064068A (ja) 視覚強化ナビゲーション
JP5443134B2 (ja) シースルー・ディスプレイに現実世界の対象物の位置をマークする方法及び装置
CN205024577U (zh) 自行式建筑机械
JP5920352B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN103398717B (zh) 全景地图数据库采集系统及基于视觉的定位、导航方法
CN110163912B (zh) 二维码位姿标定方法、装置及系统
US20120330601A1 (en) Determining tilt angle and tilt direction using image processing
US20160343137A1 (en) Method and system for determining spatial characteristics of a camera
CN105841687A (zh) 室内定位方法和系统
CN108344401B (zh) 定位方法、装置及计算机可读存储介质
US20160252605A1 (en) Method and system for guiding the position
JP2012010036A (ja) カメラキャリブレーションシステムと、その計測車両及び路側機
CN108225328A (zh) 一种室内三维数据采集方法
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
CN113348428A (zh) 虚拟对象显示装置以及虚拟对象显示方法
JP6172987B2 (ja) 方位角推定装置及び方位角推定プログラム
CN113137958B (zh) 一种rtk主机的放样控制方法、系统及存储介质
CN109618131B (zh) 一种用于呈现决策辅助信息的方法与设备
TWI274971B (en) Mark-assisted positioning system and method
CN107538485B (zh) 一种机器人导引方法及系统
US20130155211A1 (en) Interactive system and interactive device thereof
CN113557492B (zh) 利用二维摄像头来辅助对象控制的方法、系统和非暂时性计算机可读记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200826

Address after: Susong Road West and Shenzhen Road North, Hefei Economic and Technological Development Zone, Anhui Province

Patentee after: Weilai (Anhui) Holding Co., Ltd

Address before: Room 502, Bank of America Center, Cecil Harcourt Road, central, Hongkong, China, 12

Patentee before: NIO NEXTEV Ltd.

TR01 Transfer of patent right