CN109813317B - 一种避障方法、电子设备及虚拟现实设备 - Google Patents

一种避障方法、电子设备及虚拟现实设备 Download PDF

Info

Publication number
CN109813317B
CN109813317B CN201910094296.0A CN201910094296A CN109813317B CN 109813317 B CN109813317 B CN 109813317B CN 201910094296 A CN201910094296 A CN 201910094296A CN 109813317 B CN109813317 B CN 109813317B
Authority
CN
China
Prior art keywords
obstacle
real
safety range
information
time displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910094296.0A
Other languages
English (en)
Other versions
CN109813317A (zh
Inventor
李治富
苗京花
孙玉坤
李茜
王雪丰
王立新
赵斌
索健文
彭金豹
李文宇
张�浩
陈丽莉
范清文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910094296.0A priority Critical patent/CN109813317B/zh
Publication of CN109813317A publication Critical patent/CN109813317A/zh
Application granted granted Critical
Publication of CN109813317B publication Critical patent/CN109813317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种避障方法、电子设备及虚拟现实设备,其中,避障方法包括:获取初始安全范围;获取周围环境的深度图像;根据深度图像,获得周围环境中障碍物的位置信息;当障碍物位于初始安全范围内时,根据障碍物的位置信息调整初始安全范围。本申请提供的技术方案可以为用户划定初始安全范围,同时还可以根据周围环境的深度图像进行障碍物的识别,当障碍物位于初始安全范围内时,更新初始安全范围,从而可以保证用户始终处于一个安全的范围之内。

Description

一种避障方法、电子设备及虚拟现实设备
技术领域
本发明涉及显示技术领域,特别是涉及一种避障方法、电子设备及虚拟现实设备。
背景技术
VR(Virtual Reality)头盔利用的是虚拟现实技术,可以使佩戴者处于一个虚拟的环境之中,但是看不到真实的周围环境的情况。佩戴者在与虚拟环境中的事物进行互动的时候,需要转动头部或者进行身体的移动,由于头盔中的虚拟场景与现实世界不匹配,因此需要研究如何使佩戴者在运动过程中避开周围的障碍物,以免对佩戴者造成伤害或者对贵重物品造成损失。
目前存在的技术可以通过外设基站实时获取VR头盔的位置,但是外设基站所划定的安全使用范围固定不可调,而且初始安全范围内有障碍物也无法识别。目前没有外设基站的头盔无法设定安全使用范围,同样在使用过程中快要与障碍物发生碰撞时也不会进行提醒。
发明内容
本发明提供一种避障方法、电子设备及虚拟现实设备,以保证使用者始终处于安全的范围之内。
为了解决上述问题,本发明公开了一种避障方法,应用于电子设备,所述方法包括:
获取初始安全范围;
获取周围环境的深度图像;
根据所述深度图像,获得所述周围环境中障碍物的位置信息;
当所述障碍物位于所述初始安全范围内时,根据所述障碍物的位置信息调整所述初始安全范围。
可选地,所述方法还包括:
获取实时位移信息;
根据所述实时位移信息以及所述初始安全范围,判断是否存在安全隐患;
若是,则发出警告信息,并显示消除所述安全隐患的引导信息。
可选地,所述根据所述实时位移信息以及所述初始安全范围,判断是否存在安全隐患的步骤,包括:
根据所述实时位移信息,确定移动方向以及与所述初始安全范围的边界之间的距离;
当所述距离小于或等于预设阈值,且所述移动方向是朝向预设边界时,判定存在安全隐患。
可选地,所述根据所述深度图像,获得所述周围环境中障碍物的位置信息的步骤,包括:
获取实时位移信息;
根据所述实时位移信息,获得相对于预设参考点的第一旋转矩阵和第一平移矩阵;
根据所述深度图像,获得所述障碍物相对于所述电子设备的第二旋转矩阵和第二平移矩阵;
根据所述第一旋转矩阵、所述第一平移矩阵、所述第二旋转矩阵和所述第二平移矩阵,获得所述障碍物的位置信息。
可选地,所述根据所述障碍物的位置信息调整所述初始安全范围的步骤,包括:
根据所述障碍物的位置信息,将所述障碍物所占的区域从所述初始安全范围中去除。
为了解决上述问题,本发明还公开了一种电子设备,包括图像采集模块、传感器以及处理模块;
所述图像采集模块,被配置为采集周围环境的深度图像,并发送给所述处理模块;
所述传感器,被配置为测量所述电子设备的实时位移信息,并发送给所述处理模块;
所述处理模块,被配置为获取初始安全范围;根据所述深度图像,获得所述周围环境中障碍物的位置信息;当所述障碍物位于所述初始安全范围内时,根据所述障碍物的位置信息调整所述初始安全范围。
可选地,所述处理模块还被配置为:
获取实时位移信息;
根据所述实时位移信息以及所述初始安全范围,判断是否存在安全隐患;
若是,则发出警告信息,并显示消除所述安全隐患的引导信息。
可选地,所述处理模块还被配置为:
根据所述实时位移信息,确定移动方向以及与所述初始安全范围的边界之间的距离;
当所述距离小于或等于预设阈值,且所述移动方向是朝向预设边界时,判定存在安全隐患。
可选地,所述处理模块还被配置为:
获取实时位移信息;
根据所述实时位移信息,获得相对于预设参考点的第一旋转矩阵和第一平移矩阵;
根据所述深度图像,获得所述障碍物相对于所述电子设备的第二旋转矩阵和第二平移矩阵;
根据所述第一旋转矩阵、所述第一平移矩阵、所述第二旋转矩阵和所述第二平移矩阵,获得所述障碍物的位置信息。
为了解决上述问题,本发明还公开了一种虚拟现实设备,包括任一实施例所述的电子设备。
与现有技术相比,本发明包括以下优点:
本申请提供了一种避障方法、电子设备及虚拟现实设备,其中,避障方法包括:获取初始安全范围;获取周围环境的深度图像;根据深度图像,获得周围环境中障碍物的位置信息;当障碍物位于初始安全范围内时,根据障碍物的位置信息调整初始安全范围。本申请提供的技术方案可以为用户划定初始安全范围,同时还可以根据周围环境的深度图像进行障碍物的识别,当障碍物位于初始安全范围内时,更新初始安全范围,从而可以保证用户始终处于一个安全的范围之内。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了相关技术提供的一种测量头盔位置和姿态的场景示意图;
图2示出了相关技术提供的另一种测量头盔位置和姿态的场景示意图;
图3示出了本申请实施例提供的一种避障方法的步骤流程图;
图4示出了本申请实施例提供的一种初始安全范围的示意图;
图5示出了本申请实施例提供的一种获得障碍物位置信息的步骤流程图;
图6示出了本申请实施例提供的一种双目视觉的原理结构示意图;
图7示出了本申请实施例提供的一种障碍物相对于头盔位置的一维结构示意图;
图8示出了本申请实施例提供的一种障碍物以及头盔位置的三维结构示意图;
图9示出了本申请实施例提供的一种存在安全隐患状态下显示警报信息的示意图;
图10示出了本申请实施例提供的另一种避障方法的步骤流程图;
图11示出了本申请实施例提供的一种避障方法实现方式的流程示意图;
图12示出了本申请实施例提供的一种电子设备的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
为了使VR头盔佩戴者在运动过程中避开周围的障碍物,以免对佩戴者造成伤害或者对贵重物品造成损失,首先需要能够精确计算VR头盔在现实环境中的方位以及姿态,其次要能够及时地发现佩戴者周围的障碍物,并能够预测佩戴者与障碍物是否会发生碰撞。
目前存在两种测量计算头盔位置和姿态的方法,一种是在VR头盔上安装LED矩阵灯来发射频闪信号,参照图1,架设两个红外追踪定位器来来设定一个固定长方形的范围,两个定位器所在的位置就是长方形的对角点,通过两个定位器接收到同一频闪信号的时间差来计算头盔的位置,同时通过头盔上不同位置的红外频闪信号来确定头盔的当前姿态。两个定位器固定到墙上,会将接收到的信号传到主机上进行处理,从而得到头盔的位置和姿态进行相应的渲染反馈到头盔中。
这种方法随着LED矩阵灯的增多,得到的位置和姿态信息也会越精确,适合分体机使用;但是这种设备需要将两个红外追踪定位器放到房间的高处,以免信号被遮挡而影响信号的识别精度;并且由于VR头盔多用的是LED发射信号,容易受到周围光照的影响,造成误识别;另外,由于两个红外接收器的范围是有限且固定的,如果佩戴者超出接收器的接收范围那么将接收不到头盔的信号。综上所述,VR头盔的这种定位方法对环境要求较高,同时一旦两个定位器的位置固定之后,那么VR设备使用者的安全活动范围也就确定了,范围之中出现障碍物使用者也不会收到提醒。
参照图2,另一种方法是通过VR头盔自带的传感器,来实时计算VR头盔在现实环境中相对于初始位置的方位和姿态。其中传感器主要包括陀螺仪、加速度计和磁力计,陀螺仪负责输出三个轴的角速度信息,磁力计负责输出方位信息(与地磁北极的夹角),加速度计负责输出三个方向的加速度,通过将以上的数据进行算法融合就可以得到VR头盔的当前姿态和相对初始时刻的位置信息。该方法依靠自身携带的传感器,不需要额外增加外设,所以不受场地的限制,通过适当的算法可以得到相对精确的结果。但是没有给使用者划定安全使用范围,也没有障碍物识别的能力。
目前存在的技术虽然可以实时获取VR头盔的位置,但是采用外设基站(定位器)的技术方案可以设定安全使用范围,但是该范围固定不可调,而且范围内有障碍物也无法识别;不采用外设基站的方案无法设定安全使用范围,同样在使用过程中快要与障碍物发生碰撞时也不会进行提醒。
为了解决上述问题,本申请一实施例提供了一种避障方法,应用于电子设备,该电子设备可以包括主体(如VR头盔)、位于主体上的图像采集模块(如双目视觉)、处理模块(如PC端)等。参照图3,该方法可以包括:
步骤301:获取初始安全范围。
具体地,可以在PC端开启软件,连接VR头盔,点击″安全范围初始化”按钮,之后由用户拿着VR头盔在空间中画出一个封闭的形状,若果系统检测到头盔走过的路径形成一个封闭的形状,那么系统会出现提示初始化成功。参照图4示出了初始安全范围的示意图。初始化范围的原点可以是VR头盔的初始位置,x轴可以为原点处的切线方向,y轴垂直于x轴,z轴分别与x轴、y轴垂直,形成初始化坐标系。
初始化成功后,可以将初始安全范围的边界坐标保存到一个二维数组boder[x,y]中。
步骤302:获取周围环境的深度图像。
具体地,在用户使用电子设备的过程中,可以由电子设备的双目视觉获取周围环境的深度图像,深度图像包含每个像素点的三维信息以及灰度信息等。
步骤303:根据深度图像,获得周围环境中障碍物的位置信息。
具体地,可以根据深度图像中的每个像素点的灰度值确定障碍物的位置信息,例如可以根据灰度大于等于指定值的区域判定为障碍物区域。其中位置信息具体可以包括位置坐标以及轮廓信息等。
步骤304:当障碍物位于初始安全范围内时,根据障碍物的位置信息调整初始安全范围。
具体地,可以根据障碍物的位置信息(如x坐标值和y坐标值),将障碍物所占的区域从初始安全范围中去除。
在实际应用中,可以按照以下条件一或条件二,来判定障碍物是否位于初始安全范围内。
条件一:参照图9,在boder[x,y]二维数组中寻找该x坐标值,若不存在,那么此障碍物不在安全范围内;
若boder[x,y]二维数组中存在同样的x坐标值,再比较该x坐标对应的y坐标值是否在boder对应的Y1和Y1’之间,若是则此障碍物在安全范围内,若否则此障碍物不在安全范围内。
条件二:参照图9,在boder[x,y]二维数组中寻找该y坐标值,若不存在,那么此障碍物不在安全范围内;
若boder[x,y]二维数组中存在同样的y坐标值,再比较该y坐标对应的x坐标值是否在boder对应的X1和X1’之间,若是则此障碍物在安全范围内,若否则此障碍物不在安全范围内。
若障碍物位于安全范围内,那么需要将障碍物所在的空间从初始安全范围中去掉,自动更新安全范围,重新记录安全范围的边界。如图8中障碍物周边的虚线代表需要去掉的范围。
本实施例提供的避障方法,可以为用户划定初始安全范围,同时还可以根据周围环境的深度图像进行障碍物的识别,当障碍物位于初始安全范围内时,更新初始安全范围,从而可以保证用户始终处于一个安全的范围之内。
一种实现方式中,参照图5,上述步骤303具体可以包括:
步骤501:获取实时位移信息。
具体地,实时位移信息可以包括电子设备分别在x轴、y轴和z轴上的加速度信息以及分别绕x轴、y轴和z轴的加速度信息等。电子设备还可以包括设置在VR头盔上的IMU惯性导航传感器,IMU惯性导航传感器包含加速度计和陀螺仪,加速度计可以测量电子设备在三个轴(x轴、y轴和z轴)方向上的加速度,陀螺仪可以记录电子设备绕着三个轴旋转的角速度。
步骤502:根据实时位移信息,获得相对于预设参考点的第一旋转矩阵和第一平移矩阵。
具体地,预设参考点可以是初始化坐标系的原点,即VR头盔的初始为。加速度计测得电子设备在三个轴方向上的加速度,加速度对时间进行积分得到线速度,线速度再对时间积分得到距离,从而计算得到电子设备在x轴、y轴和z轴上的偏移量,获得即电子设备相对于原点位置的第一平移矩阵P1;陀螺仪测得电子设备绕着三个轴旋转的角速度,角速度对时间积分是角度,从而得到电子设备绕三个轴旋转的角度,对三个方向的角度进行变换可以得到相对于原点位置的第一旋转矩阵R1。
步骤503:根据深度图像,获得障碍物相对于电子设备的第二旋转矩阵和第二平移矩阵。
参照图6示出了双目视觉的原理结构示意图,L代表两个平行光轴的摄像头中心之间的距离,ol和or分别表示两个摄像头的中心位置,xl和xr分别表示空间点P在两个投影平面(即VR头盔的屏幕)上的投影坐标,D1表示空间点P到双目摄像头的距离,通过以下公式可以计算得到D1的值:
Figure BDA0001964124500000081
取深度图中障碍物离双目视觉最近的点集作为障碍物的深度信息,处理后得到障碍物相对于电子设备的位置以及障碍物的轮廓。参照图7,VR头盔主轴(垂直于屏幕的轴)与z轴的夹角为Ψ,通过双目视觉测距原理得到障碍物与头盔的距离为D2,那么可以计算得到障碍物与z轴的垂直距离S:S=D2*sinψ。根据相似原理可以计算出障碍物与x轴、y轴的垂直距离,得到障碍物相对于电子设备的第二平移矩阵P2;通过计算将障碍物中心转换到电子设备的屏幕中心所要沿三个轴转换的角度可以得到第二旋转矩阵R2。
步骤504:根据第一旋转矩阵、第一平移矩阵、第二旋转矩阵和第二平移矩阵,获得障碍物的位置信息。
参照图8,在确定了初始安全范围之后,得到电子设备相对于初始位置的第一旋转矩阵R1和第一平移矩阵P1,根据双目视觉的深度图像得到障碍物相对于电子设备的第二旋转矩阵R2和第二平移矩阵P2。为了判断障碍物是否位于安全范围之内,需要将障碍物的坐标转化到初始化坐标系中得到P3:
Figure BDA0001964124500000082
在得到P3之后,取P3的x和y轴,可以得到障碍物的x坐标值和y坐标值,然后可以将障碍物的坐标与初始化安全范围得到的二维数组boder[x,y]进行比较,具体可以参照图9以及前面实施例对步骤304的描述。
为了进一步确保用户始终处于一个安全的范围之内,参照图10,上述各实施例提供的避障方法还可以包括:
步骤1001:获取实时位移信息。
具体地,实时位移信息可以包括实时位置信息和实时姿态信息。
可以由电子设备的传感器获取电子设备在绝对坐标系(如世界坐标系)中的实时位移信息,再根据绝对坐标系与初始化坐标系之间的关系,获得电子设备在初始化坐标系中的实时位置信息和实时姿态信息。
步骤1002:根据实时位移信息以及初始安全范围,判断是否存在安全隐患。
具体地,可以在用户将要走出初始安全范围时,判定存在安全隐患。一种实现方式中,步骤1002具体可以包括:根据实时位移信息,确定移动方向以及与初始安全范围的边界之间的距离;当距离小于或等于预设阈值,且移动方向是朝向预设边界时,判定存在安全隐患。
其中,预设边界可以是与电子设备之间的距离小于或等于预设阈值的边界。预设阈值可以根据实际情况具体设定。
步骤1003:若是,则发出警告信息,并显示消除安全隐患的引导信息。
若判定存在安全隐患,即用户或佩戴者将要走出初始安全范围,可以在VR头盔的屏幕上会显示红色警告,参照图9所示,并显示引导信息如引导使用者回到初始安全范围的箭头,当使用者回到初始安全范围之内时,警告取消。
结合以上各实施例的描述,参照图11示出了一种避障方法实时方式的流程示意图。图11中示出各步骤的具体实现方式可参照以上实施例的描述,各步骤可以根据实际情况选择执行。
本实施例提供的避障方法利用双目视觉可以获取深度信息,识别并定位获得现实世界中障碍物的轮廓和位置等信息,当初始安全范围内出现障碍物时会自动更新初始安全范围;并依靠VR头盔上的传感器获取VR头盔或电子设备的实时位置和实时姿态等信息,当用户超出或快要超出初始安全范围时,向处于虚拟环境中的用户发出警报信息,并给出消除安全隐患的引导信息,从而防止用户与障碍物发生碰撞等,使用户始终处于一个安全的范围内。
本申请另一实施例还提供了一种电子设备,参照图12,包括图像采集模块1201、传感器1203以及处理模块1202。
其中,图像采集模块1201,被配置为采集周围环境的深度图像,并发送给所述处理模块1202;
所述传感器1203,被配置为测量所述电子设备的实时位移信息,并发送给所述处理模块1202;
处理模块1202,被配置为获取初始安全范围;根据所述深度图像,获得所述周围环境中障碍物的位置信息;当所述障碍物位于所述初始安全范围内时,根据所述障碍物的位置信息调整所述初始安全范围。
具体的,该电子设备可以包括主体如VR头盔,图像采集模块1201可以为设置在电子设备主体上的双目视觉,处理模块1202可以是与图像采集模块1201连接的PC端等。
其中,双目视觉可以位于VR头盔的正面,并且固定在VR头盔上,避免松动影响测量结果。
本实施例中的VR头盔可以是自带传感器的,用于获取头盔或电子设备的实时位置和实时姿态等实时位移信息。需要注意的是,传感器和双目视觉所用的是同一个时钟信号,确保二者所处理的信号是同一时刻的信号。传感器和双目视觉的中心可以是重合的。
一种实现方式中,处理模块1202还被配置为获取实时位移信息;根据所述实时位移信息以及所述初始安全范围,判断是否存在安全隐患;若是,则发出警告信息,并显示消除所述安全隐患的引导信息。
一种实现方式中,所述处理模块1202还被配置为:
根据所述实时位移信息,确定移动方向以及与所述初始安全范围的边界之间的距离;
当所述距离小于或等于预设阈值,且所述移动方向是朝向预设边界时,判定存在安全隐患。
一种实现方式中,所述处理模块1202还被配置为:
获取实时位移信息;
根据所述实时位移信息,获得相对于预设参考点的第一旋转矩阵和第一平移矩阵;
根据所述深度图像,获得所述障碍物相对于所述电子设备的第二旋转矩阵和第二平移矩阵;
根据所述第一旋转矩阵、所述第一平移矩阵、所述第二旋转矩阵和所述第二平移矩阵,获得所述障碍物的位置信息。
本实施例提供的电子设备可以与虚拟现实技术现结合,通过识别并定位周围环境中的障碍物,根据障碍物的位置重新设定初始安全范围,并且当用户快要超出初始安全范围时,向处于虚拟环境中的用户发出警报信息,并给出消除安全隐患的引导信息,从而防止用户与障碍物发生碰撞等,使用户始终处于一个安全的范围内。
本申请另一实施例还提供了一种虚拟现实设备,该虚拟现实设备可以上述任一实施例所述的电子设备。
本申请实施例提供了一种避障方法、电子设备及虚拟现实设备,其中,避障方法包括:获取初始安全范围;获取周围环境的深度图像;根据深度图像,获得周围环境中障碍物的位置信息;当障碍物位于初始安全范围内时,根据障碍物的位置信息调整初始安全范围。本申请提供的技术方案可以为用户划定初始安全范围,同时还可以根据周围环境的深度图像进行障碍物的识别,当障碍物位于初始安全范围内时,更新初始安全范围,从而可以保证用户始终处于一个安全的范围之内。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种避障方法、电子设备及虚拟现实设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种避障方法,其特征在于,应用于电子设备,所述方法包括:
获取初始安全范围;
获取周围环境的深度图像;
根据所述深度图像,获得所述周围环境中障碍物的位置信息;
当所述障碍物位于所述初始安全范围内时,根据所述障碍物的位置信息调整所述初始安全范围;
所述根据所述深度图像,获得所述周围环境中障碍物的位置信息的步骤,包括:
获取实时位移信息;根据所述实时位移信息,获得相对于预设参考点的第一旋转矩阵和第一平移矩阵;根据所述深度图像,获得所述障碍物相对于所述电子设备的第二旋转矩阵和第二平移矩阵;根据所述第一旋转矩阵、所述第一平移矩阵、所述第二旋转矩阵和所述第二平移矩阵,获得所述障碍物的位置信息。
2.根据权利要求1所述的避障方法,其特征在于,所述方法还包括:
获取实时位移信息;
根据所述实时位移信息以及所述初始安全范围,判断是否存在安全隐患;
若是,则发出警告信息,并显示消除所述安全隐患的引导信息。
3.根据权利要求2所述的避障方法,其特征在于,所述根据所述实时位移信息以及所述初始安全范围,判断是否存在安全隐患的步骤,包括:
根据所述实时位移信息,确定移动方向以及与所述初始安全范围的边界之间的距离;
当所述距离小于或等于预设阈值,且所述移动方向是朝向预设边界时,判定存在安全隐患。
4.根据权利要求1至3任一项所述的避障方法,其特征在于,所述根据所述障碍物的位置信息调整所述初始安全范围的步骤,包括:
根据所述障碍物的位置信息,将所述障碍物所占的区域从所述初始安全范围中去除。
5.一种电子设备,其特征在于,包括图像采集模块、传感器以及处理模块;
所述图像采集模块,被配置为采集周围环境的深度图像,并发送给所述处理模块;
所述传感器,被配置为测量所述电子设备的实时位移信息,并发送给所述处理模块;
所述处理模块,被配置为获取初始安全范围;根据所述深度图像,获得所述周围环境中障碍物的位置信息;当所述障碍物位于所述初始安全范围内时,根据所述障碍物的位置信息调整所述初始安全范围;
所述处理模块还被配置为:
获取实时位移信息;根据所述实时位移信息,获得相对于预设参考点的第一旋转矩阵和第一平移矩阵;根据所述深度图像,获得所述障碍物相对于所述电子设备的第二旋转矩阵和第二平移矩阵;根据所述第一旋转矩阵、所述第一平移矩阵、所述第二旋转矩阵和所述第二平移矩阵,获得所述障碍物的位置信息。
6.根据权利要求5所述的电子设备,其特征在于,所述处理模块还被配置为:
获取实时位移信息;
根据所述实时位移信息以及所述初始安全范围,判断是否存在安全隐患;
若是,则发出警告信息,并显示消除所述安全隐患的引导信息。
7.根据权利要求6所述的电子设备,其特征在于,所述处理模块还被配置为:
根据所述实时位移信息,确定移动方向以及与所述初始安全范围的边界之间的距离;
当所述距离小于或等于预设阈值,且所述移动方向是朝向预设边界时,判定存在安全隐患。
8.一种虚拟现实设备,其特征在于,包括权利要求5至7任一项所述的电子设备。
CN201910094296.0A 2019-01-30 2019-01-30 一种避障方法、电子设备及虚拟现实设备 Active CN109813317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910094296.0A CN109813317B (zh) 2019-01-30 2019-01-30 一种避障方法、电子设备及虚拟现实设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910094296.0A CN109813317B (zh) 2019-01-30 2019-01-30 一种避障方法、电子设备及虚拟现实设备

Publications (2)

Publication Number Publication Date
CN109813317A CN109813317A (zh) 2019-05-28
CN109813317B true CN109813317B (zh) 2023-05-26

Family

ID=66606030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910094296.0A Active CN109813317B (zh) 2019-01-30 2019-01-30 一种避障方法、电子设备及虚拟现实设备

Country Status (1)

Country Link
CN (1) CN109813317B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112447272A (zh) * 2019-08-30 2021-03-05 华为技术有限公司 用于健身训练的提示方法和电子设备
CN113446971B (zh) * 2020-03-25 2023-08-08 扬智科技股份有限公司 空间识别方法,电子装置和非暂态计算机可读存储介质
CN111708432B (zh) * 2020-05-21 2023-08-25 青岛小鸟看看科技有限公司 安全区域确定方法、装置、头戴显示设备及存储介质
US11493764B2 (en) 2020-06-04 2022-11-08 Htc Corporation Method for dynamically displaying real-world scene, electronic device, and computer readable medium
CN112362077A (zh) * 2020-11-13 2021-02-12 歌尔光学科技有限公司 头戴显示设备及其避障方法、计算机可读存储介质
US20240296580A1 (en) * 2021-05-28 2024-09-05 Beijing Boe Optoelectronics Technology Co., Ltd. Virtual reality experience safe area updating method and apparatus
CN113920688A (zh) * 2021-11-24 2022-01-11 青岛歌尔声学科技有限公司 一种碰撞预警方法、装置、vr头戴设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9576460B2 (en) * 2015-01-21 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device for hazard detection and warning based on image and audio data
CN106003043A (zh) * 2016-06-20 2016-10-12 先驱智能机械(深圳)有限公司 机械臂的避障方法及避障系统
CN106295581A (zh) * 2016-08-15 2017-01-04 联想(北京)有限公司 障碍物检测方法、装置及虚拟现实设备
CN106774944A (zh) * 2017-01-18 2017-05-31 珠海市魅族科技有限公司 一种安全预警方法及系统
CN106919254B (zh) * 2017-02-06 2024-03-19 歌尔科技有限公司 一种头戴式虚拟现实设备及安全保护方法
CN107229903B (zh) * 2017-04-17 2020-11-03 深圳奥比中光科技有限公司 机器人避障的方法、装置及存储装置

Also Published As

Publication number Publication date
CN109813317A (zh) 2019-05-28

Similar Documents

Publication Publication Date Title
CN109813317B (zh) 一种避障方法、电子设备及虚拟现实设备
US20210142530A1 (en) Augmented reality vision system for tracking and geolocating objects of interest
CN110869700B (zh) 用于确定车辆位置的系统和方法
US9401050B2 (en) Recalibration of a flexible mixed reality device
CN110478901B (zh) 基于增强现实设备的交互方法及系统
EP3008708B1 (en) Vision augmented navigation
Lobo et al. Vision and inertial sensor cooperation using gravity as a vertical reference
Deilamsalehy et al. Sensor fused three-dimensional localization using IMU, camera and LiDAR
JP7259749B2 (ja) 情報処理装置、および情報処理方法、プログラム、並びに移動体
US12008173B2 (en) Multi-sensor handle controller hybrid tracking method and device
JP4950348B2 (ja) 情報提供装置、情報提供方法、及びプログラム
CN110895676B (zh) 动态对象跟踪
CN106919254B (zh) 一种头戴式虚拟现实设备及安全保护方法
EP3642694B1 (en) Augmented reality system and method of displaying an augmented reality image
CN108413965A (zh) 一种室内室外巡检机器人综合系统及巡检机器人导航方法
WO2018142533A1 (ja) 位置姿勢推定装置および位置姿勢推定方法
CN111145248A (zh) 位姿信息确定方法、确定装置和电子设备
KR20170014451A (ko) 시야 확보 시스템, 방법 및 이를 수행하기 위한 단말
CN113137973A (zh) 一种图像语义特征点真值确定方法及装置
CN110539638A (zh) 一种交通设备辅助驾驶的方法及装置
JP4250391B2 (ja) 指標検出装置、指標検出方法
EP3819656A1 (en) Spatial localization using augmented reality
CN108627157A (zh) 一种基于立体标记板的头显定位方法、装置和立体标记板
Kourogi et al. Pedestrian dead reckoning and its applications
CN208314856U (zh) 一种用于单目机载目标检测的系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant