CN107168520A - 基于单目摄像头的追踪方法、vr设备和vr头戴设备 - Google Patents
基于单目摄像头的追踪方法、vr设备和vr头戴设备 Download PDFInfo
- Publication number
- CN107168520A CN107168520A CN201710225288.6A CN201710225288A CN107168520A CN 107168520 A CN107168520 A CN 107168520A CN 201710225288 A CN201710225288 A CN 201710225288A CN 107168520 A CN107168520 A CN 107168520A
- Authority
- CN
- China
- Prior art keywords
- camera
- ball
- feature
- image
- feature ball
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了基于单目摄像头的追踪方法、VR设备和VR头戴设备。所述方法包括:检测所述摄像头拍摄的图像中的特征圆球的位置和大小,根据图像中的特征圆球的位置和所述摄像头的视场,确定特征圆球偏离所述摄像头光轴的方向和角度,以及,根据图像中的特征圆球的大小确定特征圆球与所述摄像头的距离;检测所述摄像头的朝向;根据特征圆球在空间中的位置、特征圆球偏离所述摄像头光轴的方向和角度、特征圆球与所述摄像头的距离、以及所述摄像头的朝向确定摄像头在空间中的位置。本发明的基于单目摄像头的追踪方案,只需要一个单目摄像头就能够实现对对象的定位追踪。
Description
技术领域
本发明涉及追踪定位技术,更具体的,涉及基于单目摄像头的追踪方法、VR设备和VR头戴设备。
背景技术
随着VR(Virtual Reality,虚拟现实)产业的火热发展,各类虚拟现实设备层出不穷。对于虚拟现实设备来说,支持位置追踪是一个非常重要的特性,可以让虚拟现实体验更加真实。
现阶段,VR设备很多都依赖外部套件进行追踪,但是外部套件对于移动VR设备来说并不是一个合理的解决方案,因为这些外部套件会使VR设备移动失去便携性。一些厂商针对移动设备开发了双目摄像头,SLAM(simultaneous localization and mapping,同步定位与建图)等追踪方案,但是存在成本较高,计算复杂的问题。
发明内容
本发明的目的在于提供一种基于单目摄像头的追踪方案。
根据本发明的第一方面,提供了一种基于单目摄像头的追踪方法,包括以下步骤:
检测所述摄像头拍摄的图像中的特征圆球的位置和大小,根据图像中的特征圆球的位置和所述摄像头的视场,确定特征圆球偏离所述摄像头光轴的方向和角度,以及,根据图像中的特征圆球的大小确定特征圆球与所述摄像头的距离;
检测所述摄像头的朝向;
根据特征圆球在空间中的位置、特征圆球偏离所述摄像头光轴的方向和角度、特征圆球与所述摄像头的距离、以及所述摄像头的朝向确定摄像头在空间中的位置。
可选地,所述摄像头搭载在VR设备上。
根据本发明的第二方面,提供了一种基于单目摄像头的追踪方法,包括以下步骤:
检测所述摄像头拍摄的图像中的特征圆球的位置和大小,根据图像中的特征圆球的位置和所述摄像头的视场,确定特征圆球偏离所述摄像头光轴的方向和角度,以及,根据图像中的特征圆球的大小确定特征圆球与所述摄像头的距离;
检测所述摄像头的朝向;
根据摄像头在空间中的位置、特征圆球偏离所述摄像头光轴的方向和角度、特征圆球与所述摄像头的距离、以及摄像头的朝向确定特征圆球在空间中的位置。
可选地,所述摄像头搭载在VR头戴设备上,所述特征圆球固定在与所述VR头戴设备配套的手柄上。
可选地,所述摄像头为红外摄像头,所述特征圆球为球形红外光源,所述摄像头设有用于过滤可见光、允许红外光透过的带通滤波片。
可选地,所述摄像头为红外摄像头,所述特征圆球的表面均匀分布有多个红外发光点,所述摄像头设有用于过滤可见光、允许红外光透过的带通滤波片。
可选地,通过携带所述摄像头的设备上的运动传感器测量所述摄像头的朝向。
可选地,所述图像中的特征圆球的大小是通过图像中的特征圆球的直径的长度来衡量。
可选地,所述图像中的特征圆球为完整圆形,所述图像中的特征圆球的大小是通过图像中的特征圆球的面积的大小来衡量。
根据本发明的第三方面,提供了一种VR设备,包括单目摄像头、运动传感器、第一处理模块、和第二处理模块;
所述运动传感器,用于测量所述摄像头的朝向;
所述第一处理模块,用于检测所述摄像头拍摄的图像中的特征圆球的位置和大小,根据图像中的特征圆球的位置和所述摄像头的视场,确定特征圆球偏离所述摄像头光轴的方向和角度,以及,根据图像中的特征圆球的大小确定特征圆球与所述摄像头的距离;
所述第二处理模块,用于根据特征圆球在空间中的位置、特征圆球偏离所述摄像头光轴的方向和角度、特征圆球与所述摄像头的距离、以及所述摄像头的朝向确定所述VR设备在空间中的位置。
根据本发明的第四方面,提供了一种与手柄配套的VR头戴设备,所述手柄上固定有特征圆球,所述VR头戴设备包括单目摄像头、运动传感器、第一处理模块、和第二处理模块;
所述运动传感器,用于测量所述摄像头的朝向;
所述第一处理模块,用于检测所述摄像头拍摄的图像中的特征圆球的位置和大小,根据图像中的特征圆球的位置和所述摄像头的视场,确定特征圆球偏离所述摄像头光轴的方向和角度,以及,根据图像中的特征圆球的大小确定特征圆球与所述摄像头的距离;
所述第二处理模块,用于根据所述VR头戴设备在空间中的位置、特征圆球偏离所述摄像头光轴的方向和角度、特征圆球与所述摄像头的距离、以及摄像头的朝向确定所述手柄在空间中的位置。
可选地,所述摄像头为红外摄像头,所述特征圆球为球形红外光源,所述摄像头设有用于过滤可见光、允许红外光透过的带通滤波片。
可选地,所述摄像头为红外摄像头,所述特征圆球的表面均匀分布有多个红外发光点,所述摄像头设有用于过滤可见光、允许红外光透过的带通滤波片。
本发明的基于单目摄像头的追踪方案,只需要一个单目摄像头就能够实现对对象的定位追踪。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍。应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的基于单目摄像头的追踪方法的流程示意图。
图2示出了本发明实施例提供的基于单目摄像头的追踪方法的流程示意图。
图3示出了本发明实施例提供的VR设备的框图。
图4示出了本发明实施例提供的VR头戴设备的框图。
图5示出了本发明实施例提供的VR设备的硬件配置的框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
参见图1所示,说明本发明第一种方式的实施例提供的基于单目摄像头的追踪方法,包括以下步骤:
101、检测所述摄像头拍摄的图像中的特征圆球的位置和大小,根据图像中的特征圆球的位置和所述摄像头的视场,确定特征圆球偏离所述摄像头光轴的方向和角度,以及,根据图像中的特征圆球的大小确定特征圆球与所述摄像头的距离。
102、检测所述摄像头的朝向。
103、根据特征圆球在空间中的位置、特征圆球偏离所述摄像头光轴的方向和角度、特征圆球与所述摄像头的距离、以及所述摄像头的朝向确定摄像头在空间中的位置。
其中,在一次追踪过程中,步骤101和步骤102可以是并行的步骤,也可以调换先后顺序。
上述基于单目摄像头的追踪方法可以应用在VR设备中或其他智能电子设备中,下面以一个具体的方案说明上述第一种方式的实施例:
用户在一空间内使用VR头戴设备,该空间内设置有至少一个特征圆球,特征圆球能够向其四周发射红外光。
VR头戴设备上搭载有单目红外摄像头。单目红外摄像头设有用于滤除可见光,只允许红外光透过的带通滤波片。VR头戴设备能够通过单目红外摄像头捕捉特征圆球的图像。单目红外摄像头可以位于VR头戴设备的正前方,使得用户佩戴VR头戴设备后,摄像头位于用户的正前方。
VR头戴设备上还搭载有运动传感器,运动传感器例如为加速度传感器、陀螺仪、地磁传感器等。VR头戴设备能够通过该运动传感器输出的数据测量VR头戴设备的朝向。
VR头戴设备搭载有位置追踪算法,单目红外摄像头采集到图像后,VR头戴设备在图像中搜索特征圆球的影像,由于加载了滤波片,在理想状态下,特征圆球表现为黑色背景下有一个圆形光斑,因此通过比较像素颜色,可搜索到图像中的特征圆球。
在搜索到图像中的特征圆球时,VR头戴设备可以确定图像中的特征圆球的位置,例如,图像中的特征圆球的位置为:在图像的上下方向,特征圆球处于中间位置,在图像的左右方向,特征圆球与图像左边缘的距离=特征圆球与图像右边缘的距离的一半。根据图像中的特征圆球的位置和摄像头的视场,可以确定特征圆球偏离所述摄像头光轴的方向和角度,例如,特征圆球偏离摄像头光轴的方向为向左偏60度。
本发明实施例还需要检测图像中的特征圆球的大小。
在一个实施例中,可以使用图像中的特征圆球的直径的长度来衡量图像中的特征圆球的大小。在一个实施例中,可以直接用霍夫变换(Hough Transform)检测出图像中的特征圆球的直径。
在另一个实施例中,首先检测图像中的特征圆球是否为完整圆形,如果为完整圆形,则通过图像中的特征圆球的面积的大小来衡量图像中的特征圆球的大小;如果图像中的特征圆球不是完整圆形,可能是由于特征圆球被某些物体遮挡,需要通过拟合算法先将图像中的特征圆球补充为完整圆形,再计算图像中的特征圆球的面积。在一个实施例中,可以通过统计特征圆球所占像素的数量,来获取图像中的特征圆球的面积。
为了减小计算量,可以先缩小图像,利用缩小后的图像的去确定图像中的特征圆球的位置和大小。可以通过硬件的图像处理器的方式对图像进行检测,也可以通过软件算法实现对图像的检测。
由于特征圆球距离摄像头越近,图像中的特征圆球越大,因此可以根据图像中的特征圆球的大小确定特征圆球与摄像头的距离。
在一个实施例中,可以预先将特征圆球的大小和距离之间的对应关系存储在VR头戴设备的存储器中,VR头戴设备通过查找的方式就可以得到特征圆球与摄像头的距离。
在另一个实施例中,根据摄像头的视场、特征圆球的实际大小、图像中的特征圆球的大小,计算出特征圆球与摄像头的距离。例如:构建以摄像头的水平视场角为顶角的等腰三角形,特征圆球在等腰三角形的底边上;计算图像中的特征圆球在图像左右方向所占的比例,等腰三角形的底边的长度=特征圆球的直径×所述比例,已知等腰三角形的顶角和底边长度,可以计算出摄像头到等腰三角形的底边的距离;根据图像中的特征圆球在图像左右方向的位置和底边的长度,计算特征圆球的中心到底边中点的距离,根据特征圆球的中心到底边中点的距离和摄像头到底边的距离,可以计算出特征圆球与摄像头的距离。在另一实施例中,也可以利用摄像头的垂直视场角作为等腰三角形的顶角,后续计算特征圆球与摄像头的距离的原理是类似的,这里不再重复说明。
根据特征圆球在空间中的位置、特征圆球偏离所述摄像头光轴的方向和角度、特征圆球与所述摄像头的距离、以及所述摄像头的朝向可以确定摄像头在空间中的位置。
参见图2所示,说明本发明第二种方式的实施例提供的基于单目摄像头的追踪方法,包括以下步骤:
201、检测所述摄像头拍摄的图像中的特征圆球的位置和大小,根据图像中的特征圆球的位置和所述摄像头的视场,确定特征圆球偏离所述摄像头光轴的方向和角度,以及,根据图像中的特征圆球的大小确定特征圆球与所述摄像头的距离。
202、检测所述摄像头的朝向。
203、根据摄像头在空间中的位置、特征圆球偏离所述摄像头光轴的方向和角度、特征圆球与所述摄像头的距离、以及摄像头的朝向确定特征圆球在空间中的位置。
其中,在一次追踪过程中,步骤201和步骤202可以是并行的步骤,也可以调换先后顺序。
上述基于单目摄像头的追踪方法可以应用在VR设备中或其他智能电子设备中,下面以一个具体的方案说明上述第二种方式的实施例:
用户在一空间内使用VR头戴设备,该VR头戴设备具有配套的手柄,手柄上安装有至少一个特征圆球,特征圆球能够向其四周发射红外光。
VR头戴设备上搭载有单目红外摄像头。单目红外摄像头设有用于滤除可见光,只允许红外光透过的带通滤波片。VR头戴设备能够通过单目红外摄像头捕捉特征圆球的图像。单目红外摄像头可以位于VR头戴设备的正前方,使得用户佩戴VR头戴设备后,摄像头位于用户的正前方。
VR头戴设备上还搭载有运动传感器,例如加速度传感器或者陀螺仪,VR头戴设备能够通过该运动传感器输出的数据测量VR头戴设备的朝向。
VR头戴设备搭载有位置追踪算法,单目红外摄像头采集到图像后,VR头戴设备在图像中搜索特征圆球的影像,由于加载了滤波片,在理想状态下,特征圆球表现为黑色背景下有一个圆形光斑,因此通过比较像素颜色,可搜索到图像中的特征圆球。
在搜索到图像中的特征圆球时,VR头戴设备可以确定图像中的特征圆球的位置,例如,图像中的特征圆球的位置为:在图像的上下方向,特征圆球处于中间位置,在图像的左右方向,特征圆球与图像左边缘的距离=特征圆球与图像右边缘的距离的一半。根据图像中的特征圆球的位置和摄像头的视场,可以确定特征圆球偏离所述摄像头光轴的方向和角度,例如,特征圆球偏离摄像头光轴的方向为向左偏60度。
本发明实施例还需要检测图像中的特征圆球的大小。
在一个实施例中,可以使用图像中的特征圆球的直径的长度来衡量图像中的特征圆球的大小。在一个实施例中,可以直接用霍夫变换(Hough Transform)检测出图像中的特征圆球的直径。
在另一个实施例中,首先检测图像中的特征圆球是否为完整圆形,如果为完整圆形,则通过图像中的特征圆球的面积的大小来衡量图像中的特征圆球的大小;如果图像中的特征圆球不是完整圆形,可能是由于特征圆球被某些物体遮挡,需要通过拟合算法先将图像中的特征圆球补充为完整圆形,再计算图像中的特征圆球的面积。在一个实施例中,可以通过统计特征圆球所占像素的数量,来获取图像中的特征圆球的面积。
为了减小计算量,可以先缩小图像,利用缩小后的图像的去确定图像中的特征圆球的位置和大小。可以通过硬件的图像处理器的方式对图像进行检测,也可以通过软件算法实现对图像的检测。
由于特征圆球距离摄像头越近,图像中的特征圆球越大,因此可以根据图像中的特征圆球的大小确定特征圆球与摄像头的距离。在一个实施例中,可以预先将特征圆球的大小和距离之间的对应关系存储在VR头戴设备的存储器中,VR头戴设备通过查找的方式就可以得到特征圆球与摄像头的距离。在另一个实施例中,根据摄像头的视场、特征圆球的实际大小、图像中的特征圆球的大小,计算出光球与摄像头的距离。
根据摄像头在空间中的位置、特征圆球偏离所述摄像头光轴的方向和角度、特征圆球与所述摄像头的距离、以及摄像头的朝向可以确定特征圆球在空间中的位置,也就是确定手柄在空间中的位置。
需要说明的是,本发明实施例的追踪方案并不受限于使用单目红外摄像头。本发明实施例还可以使用普通的摄像头和不发光的特征圆球,在光照充足的情况下也可以实现本发明实施例的追踪方案。
可以看出,上述第一种方式中,特征圆球固定在空间中,根据已知的特征圆球在空间中的位置和摄像头拍摄的图像计算摄像头在空间中的位置。上述第二种方式中,特征圆球固定在手柄上,根据已知的摄像头在空间中的位置和摄像头拍摄的图像计算手柄在空间中的位置。
本领域技术人员还可以将上述两种方式结合起来使用,在空间中固定有第一特征圆球,在手柄上固定有第二特征圆球,两个特征圆球的颜色不同,VR头戴设备可以根据颜色将图像中的圆球区分开,根据第一特征圆球在空间中的位置和摄像头拍摄的图像计算摄像头在空间中的位置,再根据计算出的摄像头在空间中的位置和摄像头拍摄的图像计算手柄在空间中的位置。在另一实施例中,两个特征圆球的图案不同,VR头戴设备可以根据图案来区分第一特征圆球和第二特征圆球,例如,其中一个特征圆球是整体发光的光球,另一个特征圆球是由均匀分布的发光点组成的。
本发明实施例中,选择单目红外摄像头时需要考虑其视场和分辨率,一般来说,视场越大,则可追踪的范围越大,分辨率越高则追踪的精度越高。
本发明实施例中,特征圆球可以为一个整体的球形红外光源,或者特征圆球的表面均匀分布有多个密集的红外发光点。
本发明实施例的基于单目摄像头的追踪方法,只需要一个单目摄像头就能够实现对对象的定位追踪,整体方案比较简单并且成本比较低。利用本发明实施例的方案,可以追踪VR设备本身和外置手柄。
对于本领域技术人员来说,可以通过硬件方式、软件方式或软硬件结合的方式实现前述基于单目摄像头的追踪方法。基于同一发明构思,参考图3-4介绍本发明实施例提供的VR设备,以实现前述基于单目摄像头的追踪方法。
参见图3所示,说明本发明实施例提供的VR设备,VR设备包括单目摄像头11、运动传感器13、第一处理模块12、和第二处理模块14。
运动传感器13,用于测量摄像头11的朝向。
第一处理模块12,用于检测摄像头11拍摄的图像中的特征圆球的位置和大小,根据图像中的特征圆球的位置和摄像头11的视场,确定特征圆球偏离摄像头11的光轴的方向和角度,以及,根据图像中的特征圆球的大小确定特征圆球与摄像头11的距离。
第二处理模块14,用于根据特征圆球在空间中的位置、特征圆球偏离摄像头11的光轴的方向和角度、特征圆球与摄像头11的距离、以及摄像头11的朝向确定VR设备在空间中的位置。
可选地,摄像头11为红外摄像头,特征圆球为球形红外光源,摄像头11设有用于过滤可见光、允许红外光透过的带通滤波片。
可选地,摄像头11为红外摄像头,特征圆球的表面均匀分布有多个红外发光点,摄像头11设有用于过滤可见光、允许红外光透过的带通滤波片。
可选地,VR设备可以为VR头戴设备。
参见图4所示,说明本发明实施例提供的与手柄配套的VR头戴设备,手柄上固定有特征圆球,VR头戴设备包括单目摄像头21、运动传感器23、第一处理模块22、和第二处理模块24。
运动传感器23,用于测量摄像头21的朝向。
第一处理模块22,用于检测摄像头21拍摄的图像中的特征圆球的位置和大小,根据图像中的特征圆球的位置和摄像头21的视场,确定特征圆球偏离摄像头21的光轴的方向和角度,以及,根据图像中的特征圆球的大小确定特征圆球与摄像头21的距离。
第二处理模块24,用于根据VR头戴设备在空间中的位置、特征圆球偏离摄像头21的光轴的方向和角度、特征圆球与摄像头21的距离、以及摄像头21的朝向确定手柄在空间中的位置。
可选地,摄像头21为红外摄像头,特征圆球为球形红外光源,摄像头21设有用于过滤可见光、允许红外光透过的带通滤波片。
可选地,摄像头21为红外摄像头,特征圆球的表面均匀分布有多个红外发光点,摄像头21设有用于过滤可见光、允许红外光透过的带通滤波片。
图5是显示可用于实现本发明的实施例的VR设备的硬件配置的例子的框图。VR设备300包括处理器3010、存储器3020、接口装置3030、通信装置3040、显示装置3050、输入装置3060、扬声器3070、麦克风3080,等等。
存储器3020用于存储指令,所述指令用于控制处理器3010进行操作以执行根据前述任一项所述的基于单目摄像头的追踪方法。
处理器3010例如可以是中央处理器CPU、微处理器MCU等。存储器3020例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置3030例如包括USB接口、耳机接口等。通信装置3040例如能够进行有线或无线通信。显示装置3050例如是液晶显示屏、触摸显示屏等。输入装置3060例如可以包括触摸屏、键盘等。用户可以通过扬声器3070和麦克风3080输入/输出语音信息。
可选地,VR设备为VR头戴设备。可选地,VR头戴设备具有与之配套的手柄。
图5所示的VR设备仅是解释性的,并且决不是为了要限制本发明、其应用或用途。本领域技术人员应当理解,尽管在图5中示出了多个装置,但是,本发明可以仅涉及其中的部分装置。本领域技术人员可以根据本发明所公开方案设计指令,指令如何控制处理器进行操作是本领域公知技术,故在此不再详细描述。
本发明实施例的基于单目摄像头的追踪方法,只需要一个单目摄像头就能够实现对对象的定位追踪,整体方案比较简单并且成本比较低。利用本发明实施例的方案,可以追踪VR设备本身和外置手柄。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。但本领域技术人员应当清楚的是,上述各实施例可以根据需要单独使用或者相互结合使用。另外,对于装置实施例而言,由于其是与方法实施例相对应,所以描述得比较简单,相关之处参见方法实施例的对应部分的说明即可。以上所描述的系统实施例仅仅是示意性的,其中作为分离部件说明的模块可以是或者也可是不是物理上分开的。
另外,附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本发明实施例所提供的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上例子仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员应该理解,可在不脱离本发明的范围的情况下,对以上实施例进行修改。本发明的范围由所附权利要求来限定。
Claims (13)
1.一种基于单目摄像头的追踪方法,其特征在于,包括以下步骤:
检测所述摄像头拍摄的图像中的特征圆球的位置和大小,根据图像中的特征圆球的位置和所述摄像头的视场,确定特征圆球偏离所述摄像头光轴的方向和角度,以及,根据图像中的特征圆球的大小确定特征圆球与所述摄像头的距离;
检测所述摄像头的朝向;
根据特征圆球在空间中的位置、特征圆球偏离所述摄像头光轴的方向和角度、特征圆球与所述摄像头的距离、以及所述摄像头的朝向确定摄像头在空间中的位置。
2.根据权利要求1所述的追踪方法,其特征在于,所述摄像头搭载在VR设备上。
3.一种基于单目摄像头的追踪方法,其特征在于,包括以下步骤:
检测所述摄像头拍摄的图像中的特征圆球的位置和大小,根据图像中的特征圆球的位置和所述摄像头的视场,确定特征圆球偏离所述摄像头光轴的方向和角度,以及,根据图像中的特征圆球的大小确定特征圆球与所述摄像头的距离;
检测所述摄像头的朝向;
根据摄像头在空间中的位置、特征圆球偏离所述摄像头光轴的方向和角度、特征圆球与所述摄像头的距离、以及摄像头的朝向确定特征圆球在空间中的位置。
4.根据权利要求3所述的方法,其特征在于,所述摄像头搭载在VR头戴设备上,所述特征圆球固定在与所述VR头戴设备配套的手柄上。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述摄像头为红外摄像头,所述特征圆球为球形红外光源,所述摄像头设有用于过滤可见光、允许红外光透过的带通滤波片。
6.根据权利要求1-4任一项所述的方法,其特征在于,所述摄像头为红外摄像头,所述特征圆球的表面均匀分布有多个红外发光点,所述摄像头设有用于过滤可见光、允许红外光透过的带通滤波片。
7.根据权利要求1-4任一项所述的方法,其特征在于,通过携带所述摄像头的设备上的运动传感器测量所述摄像头的朝向。
8.根据权利要求1-4任一项所述的方法,其特征在于,所述图像中的特征圆球的大小是通过图像中的特征圆球的直径的长度来衡量。
9.根据权利要求1-4任一项所述的方法,其特征在于,所述图像中的特征圆球为完整圆形,所述图像中的特征圆球的大小是通过图像中的特征圆球的面积的大小来衡量。
10.一种VR设备,其特征在于,包括单目摄像头、运动传感器、第一处理模块、和第二处理模块;
所述运动传感器,用于测量所述摄像头的朝向;
所述第一处理模块,用于检测所述摄像头拍摄的图像中的特征圆球的位置和大小,根据图像中的特征圆球的位置和所述摄像头的视场,确定特征圆球偏离所述摄像头光轴的方向和角度,以及,根据图像中的特征圆球的大小确定特征圆球与所述摄像头的距离;
所述第二处理模块,用于根据特征圆球在空间中的位置、特征圆球偏离所述摄像头光轴的方向和角度、特征圆球与所述摄像头的距离、以及所述摄像头的朝向确定所述VR设备在空间中的位置。
11.一种与手柄配套的VR头戴设备,其特征在于,所述手柄上固定有特征圆球,所述VR头戴设备包括单目摄像头、运动传感器、第一处理模块、和第二处理模块;
所述运动传感器,用于测量所述摄像头的朝向;
所述第一处理模块,用于检测所述摄像头拍摄的图像中的特征圆球的位置和大小,根据图像中的特征圆球的位置和所述摄像头的视场,确定特征圆球偏离所述摄像头光轴的方向和角度,以及,根据图像中的特征圆球的大小确定特征圆球与所述摄像头的距离;
所述第二处理模块,用于根据所述VR头戴设备在空间中的位置、特征圆球偏离所述摄像头光轴的方向和角度、特征圆球与所述摄像头的距离、以及摄像头的朝向确定所述手柄在空间中的位置。
12.根据权利要求10或11所述的设备,其特征在于,所述摄像头为红外摄像头,所述特征圆球为球形红外光源,所述摄像头设有用于过滤可见光、允许红外光透过的带通滤波片。
13.根据权利要求10或11所述的设备,其特征在于,所述摄像头为红外摄像头,所述特征圆球的表面均匀分布有多个红外发光点,所述摄像头设有用于过滤可见光、允许红外光透过的带通滤波片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710225288.6A CN107168520B (zh) | 2017-04-07 | 2017-04-07 | 基于单目摄像头的追踪方法、vr设备和vr头戴设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710225288.6A CN107168520B (zh) | 2017-04-07 | 2017-04-07 | 基于单目摄像头的追踪方法、vr设备和vr头戴设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107168520A true CN107168520A (zh) | 2017-09-15 |
CN107168520B CN107168520B (zh) | 2020-12-18 |
Family
ID=59849596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710225288.6A Active CN107168520B (zh) | 2017-04-07 | 2017-04-07 | 基于单目摄像头的追踪方法、vr设备和vr头戴设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107168520B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109509535A (zh) * | 2018-10-08 | 2019-03-22 | 北京健康有益科技有限公司 | 食物体积的获取方法、食物热量的获取方法、电子设备 |
CN110567451A (zh) * | 2019-09-20 | 2019-12-13 | 深圳市丰之健电子科技有限公司 | 一种人体姿态识别仪装置及其使用方法 |
CN111915638A (zh) * | 2019-05-09 | 2020-11-10 | 东芝泰格有限公司 | 追踪装置及信息处理方法、可读存储介质、电子设备 |
CN111915656A (zh) * | 2019-05-09 | 2020-11-10 | 东芝泰格有限公司 | 追踪装置及信息处理方法、可读存储介质、电子设备 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010104179A (ko) * | 2000-05-13 | 2001-11-24 | 이택룡 | 가상 현실 골프 시스템 및 이를 이용한 게임방법 |
CN102436261A (zh) * | 2011-12-05 | 2012-05-02 | 北京航空航天大学 | 基于单目摄像头和led的机器人对接定位和导航策略 |
CN102967305A (zh) * | 2012-10-26 | 2013-03-13 | 南京信息工程大学 | 基于大小回字标志物的多旋翼无人机位姿获取方法 |
CN103645733A (zh) * | 2013-12-02 | 2014-03-19 | 江苏建威电子科技有限公司 | 自寻充电机器人及其自寻充电系统和方法 |
CN104090660A (zh) * | 2014-05-30 | 2014-10-08 | 贺杰 | 一种基于立体视觉的动作采集和反馈方法及系统 |
CN104766345A (zh) * | 2015-04-08 | 2015-07-08 | 欧剑 | 基于衣服特征点的身体扫描及运动捕捉方法 |
CN105243664A (zh) * | 2015-10-08 | 2016-01-13 | 东南大学 | 一种基于视觉的轮式移动机器人快速目标跟踪方法 |
CN106019265A (zh) * | 2016-05-27 | 2016-10-12 | 北京小鸟看看科技有限公司 | 一种多目标定位方法和系统 |
CN106101689A (zh) * | 2016-06-13 | 2016-11-09 | 西安电子科技大学 | 利用手机单目摄像头对虚拟现实眼镜进行增强现实的方法 |
CN106502418A (zh) * | 2016-11-09 | 2017-03-15 | 南京阿凡达机器人科技有限公司 | 一种基于单目手势识别的视觉跟随方法 |
-
2017
- 2017-04-07 CN CN201710225288.6A patent/CN107168520B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010104179A (ko) * | 2000-05-13 | 2001-11-24 | 이택룡 | 가상 현실 골프 시스템 및 이를 이용한 게임방법 |
CN102436261A (zh) * | 2011-12-05 | 2012-05-02 | 北京航空航天大学 | 基于单目摄像头和led的机器人对接定位和导航策略 |
CN102967305A (zh) * | 2012-10-26 | 2013-03-13 | 南京信息工程大学 | 基于大小回字标志物的多旋翼无人机位姿获取方法 |
CN103645733A (zh) * | 2013-12-02 | 2014-03-19 | 江苏建威电子科技有限公司 | 自寻充电机器人及其自寻充电系统和方法 |
CN104090660A (zh) * | 2014-05-30 | 2014-10-08 | 贺杰 | 一种基于立体视觉的动作采集和反馈方法及系统 |
CN104766345A (zh) * | 2015-04-08 | 2015-07-08 | 欧剑 | 基于衣服特征点的身体扫描及运动捕捉方法 |
CN105243664A (zh) * | 2015-10-08 | 2016-01-13 | 东南大学 | 一种基于视觉的轮式移动机器人快速目标跟踪方法 |
CN106019265A (zh) * | 2016-05-27 | 2016-10-12 | 北京小鸟看看科技有限公司 | 一种多目标定位方法和系统 |
CN106101689A (zh) * | 2016-06-13 | 2016-11-09 | 西安电子科技大学 | 利用手机单目摄像头对虚拟现实眼镜进行增强现实的方法 |
CN106502418A (zh) * | 2016-11-09 | 2017-03-15 | 南京阿凡达机器人科技有限公司 | 一种基于单目手势识别的视觉跟随方法 |
Non-Patent Citations (2)
Title |
---|
JULIEN PILET 等: ""Virtually augmenting hundreds of real pictures: An approach based on learning, retrieval, and tracking"", 《2010 IEEE VIRTUAL REALITY CONFERENCE》 * |
陈和恩: ""基于单目摄像机的增强现实场景感知技术研究"", 《中国博士学位论文全文数据库信息科技辑》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109509535A (zh) * | 2018-10-08 | 2019-03-22 | 北京健康有益科技有限公司 | 食物体积的获取方法、食物热量的获取方法、电子设备 |
CN111915638A (zh) * | 2019-05-09 | 2020-11-10 | 东芝泰格有限公司 | 追踪装置及信息处理方法、可读存储介质、电子设备 |
CN111915656A (zh) * | 2019-05-09 | 2020-11-10 | 东芝泰格有限公司 | 追踪装置及信息处理方法、可读存储介质、电子设备 |
CN110567451A (zh) * | 2019-09-20 | 2019-12-13 | 深圳市丰之健电子科技有限公司 | 一种人体姿态识别仪装置及其使用方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107168520B (zh) | 2020-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10713812B2 (en) | Method and apparatus for determining facial pose angle, and computer storage medium | |
KR102437456B1 (ko) | 이벤트 카메라-기반 변형가능 물체 추적 | |
CN108136258B (zh) | 基于跟踪眼部运动来调整图像帧的方法、系统及头戴式设备 | |
CN105793764B (zh) | 用于为头戴式显示设备提供扩展显示设备的设备、方法和系统 | |
US9310891B2 (en) | Method and system enabling natural user interface gestures with user wearable glasses | |
Plopski et al. | Corneal-imaging calibration for optical see-through head-mounted displays | |
CN112789578A (zh) | 用于可穿戴或移动设备上的姿势、穿戴、活动或携带检测的神经网络系统 | |
CN107168520A (zh) | 基于单目摄像头的追踪方法、vr设备和vr头戴设备 | |
CN116324677A (zh) | 响应于检测到的手势的非接触式照片捕获 | |
US9245499B1 (en) | Displaying glasses with recorded images | |
US20170277259A1 (en) | Eye tracking via transparent near eye lens | |
US20170123488A1 (en) | Tracking of wearer's eyes relative to wearable device | |
CN106415445A (zh) | 用于观看者关注区域估计的技术 | |
CN101715581A (zh) | 体积识别方法和系统 | |
CN105929963A (zh) | 一种用于追踪眼球位置的方法及检测装置 | |
KR101255219B1 (ko) | 시선 추적 방법 및 이를 적용한 장치 | |
CN106657988A (zh) | 自动定位测试图卡的摄像头测试方法和装置、计算机设备 | |
CN115956259A (zh) | 生成用于虚拟现实体验的基础真实数据集 | |
CN108154864A (zh) | 显示屏处理方法、第一电子设备以及第二电子设备 | |
CN104679222B (zh) | 基于人机交互的医疗办公系统、医疗信息共享系统及方法 | |
WO2020072591A1 (en) | Placement and manipulation of objects in augmented reality environment | |
US20240144533A1 (en) | Multi-modal tracking of an input device | |
CN110222651A (zh) | 一种人脸姿态检测方法、装置、终端设备及可读存储介质 | |
CN112101261A (zh) | 人脸识别方法、装置、设备及存储介质 | |
CN110349269A (zh) | 一种目标穿戴物试戴方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |