CN105893928A - 虚拟现实设备及虚拟现实设备提供的避障方法 - Google Patents
虚拟现实设备及虚拟现实设备提供的避障方法 Download PDFInfo
- Publication number
- CN105893928A CN105893928A CN201510976181.6A CN201510976181A CN105893928A CN 105893928 A CN105893928 A CN 105893928A CN 201510976181 A CN201510976181 A CN 201510976181A CN 105893928 A CN105893928 A CN 105893928A
- Authority
- CN
- China
- Prior art keywords
- image
- obstacle
- primitive
- virtual reality
- time point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000033001 locomotion Effects 0.000 claims abstract description 57
- 230000001133 acceleration Effects 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 230000003287 optical effect Effects 0.000 claims description 18
- 230000004888 barrier function Effects 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种虚拟现实设备提供的避障方法和虚拟现实设备。在本申请提供的实施例中,虚拟现实设备的计算模块,根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令,从而可以引导虚拟现实设备的用户有效避障,体验满意度好。
Description
技术领域
本申请涉及通信领域,尤其涉及一种即时通讯的通讯方法及系统。
背景技术
头戴式显示器是用于显示图像及色彩的设备。通常是用眼罩或头盔的形式,把显示屏贴近用户的眼睛,通过光路调整焦距以在近距离中对眼睛投射画面。
在实现现有技术过程中,发明人发现现有技术中至少存在如下问题:
在使用头戴式虚拟现实设备,例如,眼罩或头盔的过程中,由于用户的注意力主要集中于头戴式显示器,无法有效感知用户所处的环境中的障碍物,容易给用户带来安全隐患。
一种解决该问题的措施是,在头戴式设备中集成3D摄像头,用以侦测用户所处的环境。然而,一方面,全息3D摄像头通常需要5个以上镜头,给设备制造带来制造成本的大幅上升。另一方面,3D摄像头所反馈的仅是图像,而无法给出用户避障的预判,对用户可能撞击障碍的安全隐患解决得有效性有所欠缺。
因此,在本申请中提供一种有效解决用户使用头戴式虚拟现实设备避障有效性的避障方法和具有有效避障功能的虚拟现实设备。
发明内容
本申请实施例提供一种引导虚拟现实设备的用户有效避障,体验满意度好的避障方法。具体的,一种虚拟现实设备提供的避障方法,包括以下步骤:
虚拟现实设备的双目摄像头模块,在第一时点,获取第一摄像头以第一角度拍摄的障碍物的第一图像和第二摄像头以第二角度拍摄的障碍物第二图像;
虚拟现实设备的双目摄像头模块,在第二时点,获取第一摄像头以第三角度拍摄的障碍物的第三图像和第二摄像头以第四角度拍摄的障碍物第四图像;
虚拟现实设备的计算模块,根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像,推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离;
虚拟现实设备的加速度模块获取,虚拟现实设备在第二时点的加速度;
虚拟现实设备的计算模块,根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令。
本申请实施例还提供一种虚拟现实设备,包括:
双目摄像头模块,用于:
在第一时点,获取第一摄像头以第一角度拍摄的障碍物的第一图像和第二摄像头以第二角度拍摄的障碍物第二图像;
在第二时点,获取第一摄像头以第三角度拍摄的障碍物的第三图像和第二摄像头以第四角度拍摄的障碍物第四图像;
计算模块,用于:
根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像,推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离;
加速度模块,用于:
获取,虚拟现实设备在第二时点的加速度;
其中,所述计算模块还用于:
根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令。
本申请实施例提供的虚拟现实设备及虚拟现实设备提供的避障方法,至少具有如下有益效果:
虚拟现实设备的计算模块,根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令,从而可以引导虚拟现实设备的用户有效避障,体验满意度好。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例中虚拟现实设备提供的避障方法的流程图示意图。
图2为测量虚拟现实设备在第二时点与障碍物的距离的原理图。
图3为本申请实施例提供的虚拟现实设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请实施例中虚拟现实设备提供的避障方法的流程图,具体包括以下步骤:
S01:虚拟现实设备的双目摄像头模块,在第一时点,获取第一摄像头以第一角度拍摄的障碍物的第一图像和第二摄像头以第二角度拍摄的障碍物第二图像。
虚拟现实设备包括但不限于眼罩、头盔、眼镜等以计算机芯片为核心,结合机、光、电等多种传感器而成的视、听、触一体的电子化虚拟现实设备。
双目摄像头模块可以指,两个摄像头按照类似人体双目的位置进行排列形成的集成摄像头。当然,这里的双目摄像头模块,除两个摄像头外,还包括对应的信号传输线路等辅助配件。
当用户穿戴虚拟现实设备时,在第一时点,双目摄像头模块中的第一摄像头以第一角度拍摄障碍物,形成第一图像;双目摄像头模块中的第二摄像头以第二角度拍摄障碍物,形成第二图像。
应当指出的是,这里的障碍物可以看作是一种目标对象,在现实中,可以对应地为路灯杆、停靠的汽车、用户附近的人等。这些目标对象,在第一图像和第二图像中,以前景的形式呈现于环境背景中。在实际应用中,为了加速信息处理的速度,在计算机对应的算法的设计中,可以将一些明显不可能成为障碍物的目标对象预先过滤掉,避免这些目标对象对障碍物的侦测产生不利影响。
这里的“第一”、“第二”仅是为了叙述的方便而采取的措辞,并不意味着存在确定的先后顺序或连续的关系。对于第一摄像头以第一角度拍摄障碍物,形成第一图像而言,这里的“第一角度”是指障碍物在第一摄像头的上的成像的方式。不同的障碍物在第一摄像头上的成像不同,相同的障碍物在不同的摄像头上成像不同。这里的“第一”、“第二”仅指这种叙述逻辑上的不同。
S02:虚拟现实设备的双目摄像头模块,在第二时点,获取第一摄像头以第三角度拍摄的障碍物的第三图像和第二摄像头以第四角度拍摄的障碍物第四图像。
与步骤S01类似,当用户穿戴虚拟现实设备时,在第二时点,双目摄像头模块中的第一摄像头以第三角度拍摄障碍物,形成第三图像;双目摄像头模块中的第二摄像头以第四角度拍摄障碍物,形成第四图像。
这里的“第一”“第二”“第三”、“第四”与上面的“第一”、“第二”类似,是指这种叙述逻辑上的不同。
S03:虚拟现实设备的计算模块,根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像,推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离。
在本申请提供的一种实施例中,虚拟现实设备的计算模块,根据障碍物在双目摄像头模块所成的第三图像和第四图像,推导获得虚拟现实设备在第二时点与障碍物的距离,具体包括:
虚拟现实设备的计算模块计算障碍物在第三图像和第四图像中的视差(L1-L2);
根据公式d=bf/(L1-L2)推导获得虚拟现实设备在第二时点与障碍物的距离;其中,b为第一摄像头的光心C1和第二摄像头光心C2之间的距离;
f为第一摄像头和第二摄像头的焦距。
请参见图2,图2为测量虚拟现实设备在第二时点与障碍物的距离的原理图。
具体的,这里可以仅根据障碍物在第三图像和第四图像中的位置,推导获得虚拟现实设备在第二时点与障碍物的距离。
在图2中,点P假设为障碍物上任意一个目标点。C1、C2假设分别为第一摄像头的光心、第二摄像头的光心,光心C1和光心C2的距离为b。第一摄像头和第二摄像头的焦距均为f。点P在第一摄像头的成像平面上的投影点为P1,点P在第二摄像头的成像平面上的投影点为P2。点P,与光心C1、光心C2的连线的距离为d。过光心C1向成像平面做垂线,垂足为A1。过光心C2向成像平面做垂线,垂足为A2。过P向成像平面做垂线,垂足为B。设定,A1P1=L1,A2P2=L2,P2B=a。
由相似三角形关系得:
d-f/d=a/(a+L2);
d-f/d=(b-L1+L2+a)/(a+b+L2);
由以上两公式可以算得:
d=f(a+L2)/L2=bf/(L1-L2)
由此可见,距离d与b、f和L1-L2有关。L1-L2称为点P在第一摄像头和第二摄像头成像平面上的视差。两个图像响应的对应点只在水平方向存在视差,而Y方向的坐标值是相等的。对于固定的双目摄像头模块而言,参数b、f取值已经确定,仅需要对图像求取对应像素视差即可获得障碍物的距离。
同样,可以根据上述公式d=bf/(L1-L2),在第一图像和第二图像中求得在第一时点,推导获得虚拟现实设备与障碍物的距离。
进一步的,在本申请提供的又一实施例中,虚拟现实设备的计算模块,根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像,推导获得虚拟现实设备与障碍物的相对运动速度,具体包括:
虚拟现实设备的计算模块计算障碍物在第一图像和第二图像中的视差;
根据公式d=bf/(L1-L2)推导获得虚拟现实设备在第一时点与障碍物的距离;
根据虚拟现实设备在第一时点与障碍物的距离、虚拟现实设备在第二时点与障碍物的距离和第一时点与第二时点的时间差,计算虚拟现实设备与障碍物的相对运动速度。
为了区分,设定第一时点虚拟现实设备与障碍物的距离为d1,第二时点虚拟现实设备与障碍物的距离为d2,两者之间的时间差t已知,从而,可以求得虚拟现实设备与障碍物的相对运动速度的均值v=(d2-d1)/t,这里,时间差较短时,可以近似认为虚拟现实设备与障碍物的相对运动速度的均值为第二时点虚拟现实设备与障碍物的相对运动速度。
本申请实施例提供的另一种可实现方式中,认为障碍物在三维场景中的运动,与障碍物在二维图像平面中的投影是对应的。这种运动以图像平面亮度方式表现出来的流动就称为光流。
按照这种算法进行计算时,可以假设:
(1)相邻帧之间的亮度恒定;
(2)相邻视频帧的取帧时间连续,或者,相邻帧之间物体的运动比较微小;
(3)保持空间一致性;即,同一子图像的像素点具有相同的运动。
对应的,第一图像、第三图像之间的亮度恒定,第二图像、第四图像之间的亮度恒定;
第一时点、第二时点之间的时间间隔小,以致障碍物在第一图像中和第三图像中变动距离微小;
障碍物在第一摄像头成像过程中,构成第一图像的各像素点具有大致相同的运动,从而形成第三图像。
在本申请提供的又一实施例中,虚拟现实设备的计算模块,根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像,推导获得虚拟现实设备与障碍物的相对运动速度,具体包括:
根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像,以及方程Ix*Vx+Iy*Vy=-It求得Vx和Vy;
根据投影关系可以求得虚拟现实设备与障碍物的相对运动速度;
其中,分别为灰度值对x,y,t的偏导数。
根据障碍物在第一图像中和第三图像中变动距离微小和第一图像、第三图像之间的亮度恒定、第二图像、第四图像之间的亮度恒定这两个假设,也就是说,在2D+t维(空间二维加时间维度)的情况下,假设位于(x,y,t)的障碍物的某体单元的亮度是I(x,y,t)。该体单元在两个图像帧之间移动了dx、dy、dt。于是根据亮度相同的假设:
I(x,y,t)=I(x+dx,y+dy,t+dt);
将上面的公式根据泰勒级数得出:
即: 或
令
可得:Ix*Vx+Iy*Vy=-It
从而,分别为灰度值对x,y,t的偏导数,可以从图像中估计出来,该方程具有Vx和Vy两个未知数。
根据障碍物在第一图像中和第三图像中变动距离微小的假设,在微小距离内所有图元或像素点的Vx和Vy相同,两个未知数,多个方程,采用最小二乘法容易求得Vx和Vy的值。然后,根据投影关系可以求得虚拟现实设备与障碍物的相对运动速度。
同样,在第二时点,可以根据上述公式d=bf/(L1-L2),推导获得虚拟现实设备与障碍物的距离。
在以上的计算中,直接给出了障碍物的同一体单元在不同的图像中的成像。然而,如何确定一个图像中的某一图元或像素点与另一图像中的另一图元或像素点表示的是障碍物的同一体单元,是一个复杂的问题。
在本申请提供的又一种实施例中,虚拟现实设备的计算模块,根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像,推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离,具体包括:
从第一图像中确定第一图元,该第一图元为障碍物的一个体单元在第一图像的成像;
分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元;
根据第一图元、第二图元、第三图元、第四图元的对应关系,推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离。
在本申请提供的可实现方式中,给出了一种检测不同图像中的图元或像素点是否对应的方法。
在本申请提供的又一实施例中,从第一图像确定第一图元,分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元,具体包括:
从第一图像中查找表征障碍物物理特征的图元;
分别从第二图像、第三图像、第四图像中查找表征障碍物同一物理特征的图元的第二图元、第三图元、第四图元。
具体的,可以利用大数据技术建立障碍物的物理特征数据库。例如,可以建立人体的头、肩、脚等轮廓的形状参数。这些轮廓与环境背景往往在各图像中具有较高对比度。假设,根据轮廓的形状、对比度等参数,查找到第一图像中某一图元或像素点为人体的头特征。另外,还根据轮廓的形状、对比度等参数,查找到第二图像中某一图元或像素点为人体的头特征。则,可以认为第一图像中表示人体头特征的图元,与第二图像中的表示人体头特征的图元表示的人体的体单元是一致的。同样,可以从第三图像、第四图像中查找表征障碍物同一物理特征的第三图元、第四图元。从而可以在此基础上,计算虚拟现实设备与障碍物的相对运动速度和虚拟现实设备与障碍物的距离。
在本申请提供的又一实施例中,从第一图像确定第一图元,分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元,具体包括:
从第一图像、第二图像、第三图像、第四图像中查找表征同一sift特征的第一图元、第二图元、第三图元、第四图元。
具体的,可以将各图像中的sift特征找出,然后根据不同图像中同一sift特征,计算虚拟现实设备与障碍物的相对运动速度和虚拟现实设备与障碍物的距离。
在本申请提供的又一实施例中,从第一图像确定第一图元,分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元,具体包括:
利用图像卷积方法从第一图像、第二图像、第三图像、第四图像中查找可以相互匹配的第一图元、第二图元、第三图元、第四图元。
具体的,可以利用图像卷积的方式,确定不同图像中的对应区域,从而可以在此基础上,计算虚拟现实设备与障碍物的相对运动速度和虚拟现实设备与障碍物的距离。
进一步的,在本申请提供的又一实施例中,所述方法还包括:
多次独立重复确定第一图元、第二图元、第三图元、第四图元,其中每次确定的第一图元、第二图元、第三图元、第四图元不同;
推导获得多次独立重复的虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离;
将多次独立重复获取的虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离利用最小二乘法优化,获得优化的虚拟现实设备与障碍物的相对运动速度和优化的虚拟现实设备在第二时点与障碍物的距离。
具体的,可以利用最小二乘法,优化根据不同的目标点计算得到的虚拟现实设备与障碍物的相对运动速度和虚拟现实设备与障碍物的距离。
S04:虚拟现实设备的加速度模块获取,虚拟现实设备在第二时点的加速度。
加速度模块可以是一种能够测量加速力的电子设备。在本申请提供的一种可实现的实施方式中,可以利用压电陶瓷或石英晶体的压电效应,在加速度模块受振时,质量块加在压电元件上的力也随之变化。当被测振动频率远低于加速度计的固有频率时,则力的变化与被测加速度成正比。
虚拟现实设备的加速度模块,可以获取虚拟现实设备在第二时点的加速度。
S05:虚拟现实设备的计算模块,根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令。
虚拟现实设备的计算模块,在获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度的基础上,可以计算得到虚拟现实设备是否会与障碍物发生碰撞的预计,从而可以及时作出向用户反馈的避障指令。
在本申请提供的实施例中,虚拟现实设备的计算模块,根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令,从而可以引导虚拟现实设备的用户有效避障,体验满意度好。
以上是本申请实施例中虚拟现实设备提供的避障方法,基于同样的思路,请参照图3,本申请还提供一种虚拟现实设备1,包括:
双目摄像头模块11,用于:
在第一时点,获取第一摄像头以第一角度拍摄的障碍物的第一图像和第二摄像头以第二角度拍摄的障碍物第二图像;
在第二时点,获取第一摄像头以第三角度拍摄的障碍物的第三图像和第二摄像头以第四角度拍摄的障碍物第四图像;
计算模块12,用于:
根据障碍物在双目摄像头模块11所成的第一图像、第二图像、第三图像和第四图像,推导获得虚拟现实设备1与障碍物的相对运动速度、虚拟现实设备1在第二时点与障碍物的距离;
加速度模块13,用于:
获取虚拟现实设备1在第二时点的加速度;
其中,所述计算模块12还用于:
根据虚拟现实设备1与障碍物的相对运动速度、虚拟现实设备1在第二时点与障碍物的距离、虚拟现实设备1在第二时点的加速度做出避障指令。
进一步的,在本申请提供的又一实施例中,所述计算模块12用于:
计算障碍物在第三图像和第四图像中的视差(L1-L2);
根据公式d=bf/(L1-L2)推导获得虚拟现实设备1在第二时点与障碍物的距离;其中,b为第一摄像头的光心C1和第二摄像头光心C2之间的距离;
f为第一摄像头和第二摄像头的焦距。
进一步的,在本申请提供的又一实施例中,所述计算模块12还用于:
计算障碍物在第一图像和第二图像中的视差;
根据公式d=bf/(L1-L2)推导获得虚拟现实设备1在第一时点与障碍物的距离;
根据虚拟现实设备1在第一时点与障碍物的距离、虚拟现实设备1在第二时点与障碍物的距离和第一时点与第二时点的时间差,计算虚拟现实设备1与障碍物的相对运动速度。
进一步的,在本申请提供的又一实施例中,所述计算模块12用于:
根据障碍物在双目摄像头模块11所成的第一图像、第二图像、第三图像和第四图像,以及方程Ix*Vx+Iy*Vy=-It求得Vx和Vy;
根据投影关系可以求得虚拟现实设备1与障碍物的相对运动速度;
其中,分别为灰度值对x,y,t的偏导数。
进一步的,在本申请提供的又一实施例中,所述计算模块12用于:
从第一图像中确定第一图元,该第一图元为障碍物的一个体单元在第一图像的成像;
分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元;
根据第一图元、第二图元、第三图元、第四图元的对应关系,推导获得虚拟现实设备1与障碍物的相对运动速度、虚拟现实设备1在第二时点与障碍物的距离。
进一步的,在本申请提供的又一实施例中,所述计算模块12用于:
从第一图像中查找表征障碍物物理特征的图元;
分别从第二图像、第三图像、第四图像中查找表征障碍物同一物理特征的图元的第二图元、第三图元、第四图元。
进一步的,在本申请提供的又一实施例中,所述计算模块12用于:
从第一图像、第二图像、第三图像、第四图像中查找表征同一sift特征的第一图元、第二图元、第三图元、第四图元。
进一步的,在本申请提供的又一实施例中,所述计算模块12用于:
利用图像卷积方法从第一图像、第二图像、第三图像、第四图像中查找可以相互匹配的第一图元、第二图元、第三图元、第四图元。
进一步的,在本申请提供的又一实施例中,所述计算模块12还用于:
多次独立重复确定第一图元、第二图元、第三图元、第四图元,其中每次确定的第一图元、第二图元、第三图元、第四图元不同;
推导获得多次独立重复的虚拟现实设备1与障碍物的相对运动速度、虚拟现实设备1在第二时点与障碍物的距离;
将多次独立重复获取的虚拟现实设备1与障碍物的相对运动速度、虚拟现实设备1在第二时点与障碍物的距离利用最小二乘法优化,获得优化的虚拟现实设备1与障碍物的相对运动速度和优化的虚拟现实设备1在第二时点与障碍物的距离。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (18)
1.一种虚拟现实设备提供的避障方法,其特征在于,包括以下步骤:
虚拟现实设备的双目摄像头模块,在第一时点,获取第一摄像头以第一角度拍摄的障碍物的第一图像和第二摄像头以第二角度拍摄的障碍物第二图像;
虚拟现实设备的双目摄像头模块,在第二时点,获取第一摄像头以第三角度拍摄的障碍物的第三图像和第二摄像头以第四角度拍摄的障碍物第四图像;
虚拟现实设备的计算模块,根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像,推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离;
虚拟现实设备的加速度模块获取,虚拟现实设备在第二时点的加速度;
虚拟现实设备的计算模块,根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令。
2.如权利要求1所述的避障方法,其特征在于,虚拟现实设备的计算模块,根据障碍物在双目摄像头模块所成的第三图像和第四图像,推导获得虚拟现实设备在第二时点与障碍物的距离,具体包括:
虚拟现实设备的计算模块计算障碍物在第三图像和第四图像中的视差(L1-L2);
根据公式d=bf/(L1-L2)推导获得虚拟现实设备在第二时点与障碍物的距离;其中,b为第一摄像头的光心C1和第二摄像头光心C2之间的距离;
f为第一摄像头和第二摄像头的焦距。
3.如权利要求2所述的避障方法,其特征在于,虚拟现实设备的计算模块,根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像,推导获得虚拟现实设备与障碍物的相对运动速度,具体包括:
虚拟现实设备的计算模块计算障碍物在第一图像和第二图像中的视差;
根据公式d=bf/(L1-L2)推导获得虚拟现实设备在第一时点与障碍物的距离;
根据虚拟现实设备在第一时点与障碍物的距离、虚拟现实设备在第二时点与障碍物的距离和第一时点与第二时点的时间差,计算虚拟现实设备与障碍物的相对运动速度。
4.如权利要求1所述的避障方法,其特征在于,虚拟现实设备的计算模块,根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像,推导获得虚拟现实设备与障碍物的相对运动速度,具体包括:
根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像,以及方程Ix*Vx+Iy*Vy=-It求得Vx和Vy;
根据投影关系可以求得虚拟现实设备与障碍物的相对运动速度;
其中,分别为灰度值对x,y,t的偏导数。
5.如权利要求1所述的避障方法,其特征在于,虚拟现实设备的计算模块,根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像,推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离,具体包括:
从第一图像中确定第一图元,该第一图元为障碍物的一个体单元在第一图像的成像;
分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元;
根据第一图元、第二图元、第三图元、第四图元的对应关系,推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离。
6.如权利要求5所述的避障方法,其特征在于,从第一图像确定第一图元,分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元,具体包括:
从第一图像中查找表征障碍物物理特征的图元;
分别从第二图像、第三图像、第四图像中查找表征障碍物同一物理特征的图元的第二图元、第三图元、第四图元。
7.如权利要求5所述的避障方法,其特征在于,从第一图像确定第一图元,分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元,具体包括:
从第一图像、第二图像、第三图像、第四图像中查找表征同一sift特征的第一图元、第二图元、第三图元、第四图元。
8.如权利要求5所述的避障方法,其特征在于,从第一图像确定第一图元,分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元,具体包括:
利用图像卷积方法从第一图像、第二图像、第三图像、第四图像中查找可以相互匹配的第一图元、第二图元、第三图元、第四图元。
9.如权利要求5所述的避障方法,其特征在于,所述方法还包括:
多次独立重复确定第一图元、第二图元、第三图元、第四图元,其中每次确定的第一图元、第二图元、第三图元、第四图元不同;
推导获得多次独立重复的虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离;
将多次独立重复获取的虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离利用最小二乘法优化,获得优化的虚拟现实设备与障碍物的相对运动速度和优化的虚拟现实设备在第二时点与障碍物的距离。
10.一种虚拟现实设备,其特征在于,包括:
双目摄像头模块,用于:
在第一时点,获取第一摄像头以第一角度拍摄的障碍物的第一图像和第二摄像头以第二角度拍摄的障碍物第二图像;
在第二时点,获取第一摄像头以第三角度拍摄的障碍物的第三图像和第二摄像头以第四角度拍摄的障碍物第四图像;
计算模块,用于:
根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像,推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离;
加速度模块,用于:
获取虚拟现实设备在第二时点的加速度;
其中,所述计算模块还用于:
根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令。
11.如权利要求10所述的虚拟现实设备,其特征在于,所述计算模块用于:
计算障碍物在第三图像和第四图像中的视差(L1-L2);
根据公式d=bf/(L1-L2)推导获得虚拟现实设备在第二时点与障碍物的距离;其中,b为第一摄像头的光心C1和第二摄像头光心C2之间的距离;
f为第一摄像头和第二摄像头的焦距。
12.如权利要求11所述的虚拟现实设备,其特征在于,所述计算模块还用于:
计算障碍物在第一图像和第二图像中的视差;
根据公式d=bf/(L1-L2)推导获得虚拟现实设备在第一时点与障碍物的距离;
根据虚拟现实设备在第一时点与障碍物的距离、虚拟现实设备在第二时点与障碍物的距离和第一时点与第二时点的时间差,计算虚拟现实设备与障碍物的相对运动速度。
13.如权利要求11所述的虚拟现实设备,其特征在于,所述计算模块用于:
根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像,以及方程Ix*Vx+Iy*Vy=-It求得Vx和Vy;
根据投影关系可以求得虚拟现实设备与障碍物的相对运动速度;
其中,分别为灰度值对x,y,t的偏导数。
14.如权利要求10所述的虚拟现实设备,其特征在于,所述计算模块用于:
从第一图像中确定第一图元,该第一图元为障碍物的一个体单元在第一图像的成像;
分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元;
根据第一图元、第二图元、第三图元、第四图元的对应关系,推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离。
15.如权利要求14所述的虚拟现实设备,其特征在于,所述计算模块用于:
从第一图像中查找表征障碍物物理特征的图元;
分别从第二图像、第三图像、第四图像中查找表征障碍物同一物理特征的图元的第二图元、第三图元、第四图元。
16.如权利要求14所述的虚拟现实设备,其特征在于,所述计算模块用于:
从第一图像、第二图像、第三图像、第四图像中查找表征同一sift特征的第一图元、第二图元、第三图元、第四图元。
17.如权利要求14所述的虚拟现实设备,其特征在于,所述计算模块用于:
利用图像卷积方法从第一图像、第二图像、第三图像、第四图像中查找可以相互匹配的第一图元、第二图元、第三图元、第四图元。
18.如权利要求14所述的虚拟现实设备,其特征在于,所述计算模块还用于:
多次独立重复确定第一图元、第二图元、第三图元、第四图元,其中每次确定的第一图元、第二图元、第三图元、第四图元不同;
推导获得多次独立重复的虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离;
将多次独立重复获取的虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离利用最小二乘法优化,获得优化的虚拟现实设备与障碍物的相对运动速度和优化的虚拟现实设备在第二时点与障碍物的距离。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510976181.6A CN105893928A (zh) | 2015-12-21 | 2015-12-21 | 虚拟现实设备及虚拟现实设备提供的避障方法 |
PCT/CN2016/096987 WO2017107537A1 (zh) | 2015-12-21 | 2016-08-26 | 虚拟现实设备及避障方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510976181.6A CN105893928A (zh) | 2015-12-21 | 2015-12-21 | 虚拟现实设备及虚拟现实设备提供的避障方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105893928A true CN105893928A (zh) | 2016-08-24 |
Family
ID=57002448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510976181.6A Pending CN105893928A (zh) | 2015-12-21 | 2015-12-21 | 虚拟现实设备及虚拟现实设备提供的避障方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN105893928A (zh) |
WO (1) | WO2017107537A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017107537A1 (zh) * | 2015-12-21 | 2017-06-29 | 乐视控股(北京)有限公司 | 虚拟现实设备及避障方法 |
CN106971501A (zh) * | 2017-03-09 | 2017-07-21 | 广州三星通信技术研究有限公司 | 用于虚拟现实设备的提醒方法和提醒装置 |
WO2018119744A1 (zh) * | 2016-12-28 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 一种虚警障碍物检测方法及装置 |
WO2018126682A1 (zh) * | 2017-01-03 | 2018-07-12 | 京东方科技集团股份有限公司 | 用于在虚拟现实系统中提供触觉反馈的方法及装置 |
US10500496B2 (en) | 2018-01-12 | 2019-12-10 | International Business Machines Corporation | Physical obstacle avoidance in a virtual reality environment |
CN113671953A (zh) * | 2021-07-31 | 2021-11-19 | 河南中烟工业有限责任公司 | 基于vr技术的agv避障系统及方法 |
US11835718B1 (en) | 2022-06-22 | 2023-12-05 | International Business Machines Corporation | Augmented notifications for vibrations |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10565925B2 (en) | 2014-02-07 | 2020-02-18 | Samsung Electronics Co., Ltd. | Full color display with intrinsic transparency |
US10554962B2 (en) | 2014-02-07 | 2020-02-04 | Samsung Electronics Co., Ltd. | Multi-layer high transparency display for light field generation |
US10453371B2 (en) | 2014-02-07 | 2019-10-22 | Samsung Electronics Co., Ltd. | Multi-layer display with color and contrast enhancement |
US10375365B2 (en) | 2014-02-07 | 2019-08-06 | Samsung Electronics Co., Ltd. | Projection system with enhanced color and contrast |
CN109212536A (zh) * | 2017-06-30 | 2019-01-15 | 蒋昊 | 一种虚拟现实眼镜避障辅助装置、系统及控制方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070206835A1 (en) * | 2006-03-02 | 2007-09-06 | Koichi Abe | Method of Processing Images Photographed by Plural Cameras And Apparatus For The Same |
CN102176232A (zh) * | 2011-01-26 | 2011-09-07 | 新疆中钜电子科技有限公司 | 单兵安全定位导向操作系统及其应用方法 |
CN103714532A (zh) * | 2013-12-09 | 2014-04-09 | 广西科技大学 | 一种基于双目视觉自动检测障碍物的方法 |
CN103744656A (zh) * | 2013-12-23 | 2014-04-23 | 乐视网信息技术(北京)股份有限公司 | 一种数据解析方法及装置 |
CN104021388A (zh) * | 2014-05-14 | 2014-09-03 | 西安理工大学 | 基于双目视觉的倒车障碍物自动检测及预警方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100570523C (zh) * | 2008-08-18 | 2009-12-16 | 浙江大学 | 一种基于障碍物运动预测的移动机器人避障方法 |
JP5580855B2 (ja) * | 2012-06-12 | 2014-08-27 | 株式会社ソニー・コンピュータエンタテインメント | 障害物回避装置および障害物回避方法 |
KR101845350B1 (ko) * | 2013-03-26 | 2018-05-18 | 세이코 엡슨 가부시키가이샤 | 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법 |
CN103231708B (zh) * | 2013-04-12 | 2015-08-05 | 安徽工业大学 | 一种基于双目视觉的智能车辆避障方法 |
CN105893928A (zh) * | 2015-12-21 | 2016-08-24 | 乐视致新电子科技(天津)有限公司 | 虚拟现实设备及虚拟现实设备提供的避障方法 |
-
2015
- 2015-12-21 CN CN201510976181.6A patent/CN105893928A/zh active Pending
-
2016
- 2016-08-26 WO PCT/CN2016/096987 patent/WO2017107537A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070206835A1 (en) * | 2006-03-02 | 2007-09-06 | Koichi Abe | Method of Processing Images Photographed by Plural Cameras And Apparatus For The Same |
CN102176232A (zh) * | 2011-01-26 | 2011-09-07 | 新疆中钜电子科技有限公司 | 单兵安全定位导向操作系统及其应用方法 |
CN103714532A (zh) * | 2013-12-09 | 2014-04-09 | 广西科技大学 | 一种基于双目视觉自动检测障碍物的方法 |
CN103744656A (zh) * | 2013-12-23 | 2014-04-23 | 乐视网信息技术(北京)股份有限公司 | 一种数据解析方法及装置 |
CN104021388A (zh) * | 2014-05-14 | 2014-09-03 | 西安理工大学 | 基于双目视觉的倒车障碍物自动检测及预警方法 |
Non-Patent Citations (1)
Title |
---|
王一凡 等: "一种用于小型无人机避障的快速视差测距方法", 《中国测试技术》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017107537A1 (zh) * | 2015-12-21 | 2017-06-29 | 乐视控股(北京)有限公司 | 虚拟现实设备及避障方法 |
WO2018119744A1 (zh) * | 2016-12-28 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 一种虚警障碍物检测方法及装置 |
US10789719B2 (en) | 2016-12-28 | 2020-09-29 | Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Method and apparatus for detection of false alarm obstacle |
WO2018126682A1 (zh) * | 2017-01-03 | 2018-07-12 | 京东方科技集团股份有限公司 | 用于在虚拟现实系统中提供触觉反馈的方法及装置 |
CN106971501A (zh) * | 2017-03-09 | 2017-07-21 | 广州三星通信技术研究有限公司 | 用于虚拟现实设备的提醒方法和提醒装置 |
CN106971501B (zh) * | 2017-03-09 | 2019-07-26 | 广州三星通信技术研究有限公司 | 用于虚拟现实设备的提醒方法和提醒装置 |
US10500496B2 (en) | 2018-01-12 | 2019-12-10 | International Business Machines Corporation | Physical obstacle avoidance in a virtual reality environment |
CN113671953A (zh) * | 2021-07-31 | 2021-11-19 | 河南中烟工业有限责任公司 | 基于vr技术的agv避障系统及方法 |
US11835718B1 (en) | 2022-06-22 | 2023-12-05 | International Business Machines Corporation | Augmented notifications for vibrations |
Also Published As
Publication number | Publication date |
---|---|
WO2017107537A1 (zh) | 2017-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105893928A (zh) | 虚拟现实设备及虚拟现实设备提供的避障方法 | |
EP2445221B1 (en) | Correcting frame-to-frame image changes due to motion for three dimensional (3-d) persistent observations | |
US9563981B2 (en) | Information processing apparatus, information processing method, and program | |
US9615081B2 (en) | Method and multi-camera portable device for producing stereo images | |
US10719967B2 (en) | Techniques for placing masking window objects in a computer-generated scene for stereoscopic computer-animation | |
US20220130116A1 (en) | Registration of local content between first and second augmented reality viewers | |
US10634918B2 (en) | Internal edge verification | |
CN108885342A (zh) | 用于低延迟渲染的宽基线立体 | |
KR100560464B1 (ko) | 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법 | |
US20230156176A1 (en) | Head mounted display apparatus | |
EP2904581B1 (en) | Method and apparatus for determining a depth of a target object | |
CN110969706B (zh) | 增强现实设备及其图像处理方法、系统以及存储介质 | |
US20190132574A1 (en) | Depth sensing system with differential imaging camera | |
EP3038061A1 (en) | Apparatus and method to display augmented reality data | |
EP3982629B1 (en) | Method and apparatus for measuring dynamic crosstalk | |
US20130342536A1 (en) | Image processing apparatus, method of controlling the same and computer-readable medium | |
US11403830B2 (en) | Image processing device, image processing method, and program | |
EP2866446B1 (en) | Method and multi-camera portable device for producing stereo images | |
JPH09179998A (ja) | 3次元画像表示システム | |
US20180101226A1 (en) | Information processing apparatus | |
JP2011205385A (ja) | 立体映像制御装置および立体映像制御方法 | |
CN108881892B (zh) | 用于桌面式虚拟现实系统的防眩晕方法、系统 | |
JP5689693B2 (ja) | 描画処理装置 | |
US12067907B2 (en) | Position information acquisition device, head-mounted display, and position information acquisition method | |
KR20120137122A (ko) | 영상처리방법 및 영상처리장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160824 |