CN107329593B - 一种vr手柄定位方法及装置 - Google Patents

一种vr手柄定位方法及装置 Download PDF

Info

Publication number
CN107329593B
CN107329593B CN201710509271.3A CN201710509271A CN107329593B CN 107329593 B CN107329593 B CN 107329593B CN 201710509271 A CN201710509271 A CN 201710509271A CN 107329593 B CN107329593 B CN 107329593B
Authority
CN
China
Prior art keywords
handle
dimensional image
ring
coordinates
surrounding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710509271.3A
Other languages
English (en)
Other versions
CN107329593A (zh
Inventor
张超
仇璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201710509271.3A priority Critical patent/CN107329593B/zh
Publication of CN107329593A publication Critical patent/CN107329593A/zh
Application granted granted Critical
Publication of CN107329593B publication Critical patent/CN107329593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种VR手柄定位方法及装置，其中，方法包括：对包括至少两个VR手柄的真实场景进行拍摄，获得二维图像，至少两个VR手柄分别被可视化特征不同的圆环环绕着；从二维图像中识别出环绕每个VR手柄的圆环的可视化特征；将环绕每个VR手柄的圆环的可视化特征在预先建立的圆环的可视化特征与持有端的对应关系中进行匹配，以确定每个VR手柄的持有端；根据拍摄参数和环绕每个VR手柄的圆环在二维图像中的点坐标，获得每个VR手柄在真实场景中的三维坐标。本发明提供的方法可以在包括至少两个VR手柄的场景中，准确定位出每个VR手柄的持有端和在真实场景中的三维坐标。

Description

一种VR手柄定位方法及装置
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种VR手柄定位方法及装置。
背景技术
随着虚拟现实(Virtual Reality，VR)技术的发展，用户可以在真实世界中体验各种各样的虚拟场景。其中，VR手柄是人机交互、虚拟现实与真实世界交互的关键设备之一。为了增强用户在VR场景中体验的真实感，可以将用户的VR手柄对应的虚拟手柄也显示在虚拟场景中。这就需要精确定位用户的VR手柄，尤其是在多用户场景中，需要精确定位每个用户的左手或右手的VR手柄。
现有技术中，主要有红外光定位和可见光定位两种方法来定位VR手柄。对于红外光定位方法来说，一般根据VR手柄发射的红外线进行定位；但红外线没有明显外在特征，在多用户场景中很难区分出每个用户的VR手柄。对于可见光定位方法来说，VR手柄发出的单色光束容易受环境干扰，为定位VR手柄带来困难。
发明内容
本发明的多个方面提供一种VR手柄定位方法及装置，用以准确定位出每个VR手柄的持有端和在真实场景中的三维坐标。
本发明提供一种VR手柄定位方法，包括：
对包括至少两个VR手柄的真实场景进行拍摄，获得二维图像，所述至少两个VR手柄分别被可视化特征不同的圆环环绕着；
从所述二维图像中识别出环绕每个VR手柄的圆环的可视化特征；
将环绕每个VR手柄的圆环的可视化特征在预先建立的圆环的可视化特征与持有端的对应关系中进行匹配，以确定每个VR手柄的持有端；
根据拍摄参数和环绕每个VR手柄的圆环在所述二维图像中的点坐标，获得每个VR手柄在所述真实场景中的三维坐标。
可选地，所述至少两个VR手柄分别被颜色排布不同的圆环环绕着。
可选地，从所述二维图像中识别出环绕每个VR手柄的圆环的可视化特征之前，所述方法还包括：
从不同方位对包括所述至少两个VR手柄的真实场景进行拍摄，获得多张不同方位的二维图像；
对所述多张不同方位的二维图像中环绕每个VR手柄的圆环的可视化特征进行目标识别的训练，以建立能够识别出环绕每个VR手柄的圆环的可视化特征的目标识别模型；
所述从所述二维图像中识别出环绕每个VR手柄的圆环的可视化特征，包括：
根据所述目标识别模型，从所述二维图像中识别出环绕每个VR手柄的圆环的可视化特征。
可选地，根据拍摄参数和环绕每个VR手柄的圆环在所述二维图像中的点坐标，获得每个VR手柄在所述真实场景中的三维坐标，包括：
根据环绕每个VR手柄的圆环在所述二维图像中的点坐标，获取环绕每个VR手柄的圆环的环心的二维图像坐标，分别作为每个VR手柄的二维图像坐标；
根据拍摄参数对每个VR手柄的二维图像坐标进行视觉几何反投影处理，以获得每个VR手柄在所述真实场景中的三维坐标。
可选地，所述根据环绕每个VR手柄的圆环在所述二维图像中的点坐标，获取环绕每个VR手柄的圆环的环心的二维图像坐标，分别作为每个VR手柄的二维图像坐标，包括：
从环绕每个VR手柄的圆环中，分别选择距离每个VR手柄顶端最近的圆环，作为环绕每个VR手柄的第一圆环；
根据环绕每个VR手柄的第一圆环在所述二维图像中的点坐标，计算环绕每个VR手柄的第一圆环的环心的二维图像坐标，作为所述每个VR手柄的二维图像坐标。
可选地，对至少两个VR手柄中的第一VR手柄，所述根据环绕所述第一VR手柄的第一圆环在所述二维图像中的点坐标，计算环绕第一VR手柄的第一圆环的环心的二维图像坐标，包括：
对环绕所述第一VR手柄的第一圆环在所述二维图像中的点坐标进行曲线拟合，以获得环绕所述第一VR手柄的第一圆环对应的椭圆表达式；
从环绕所述第一VR手柄的第一圆环对应的椭圆表达式中，获取环绕所述第一VR手柄的第一圆环的环心的二维图像坐标。
可选地，对至少两个VR手柄中的第一VR手柄，所述根据拍摄参数对第一VR手柄的二维图像坐标进行视觉几何反投影处理，以获得第一VR手柄在所述真实场景中的三维坐标，包括：
根据所述拍摄参数，建立将点坐标从所述二维图像所在图像坐标系下反投影至世界坐标系下的视觉几何反投影矩阵；
根据所述视觉几何反投影矩阵，将环绕所述第一VR手柄的第一圆环的环心的二维图像坐标反投影至所述世界坐标系下，以得到所述第一VR手柄的三维坐标点簇；
根据环绕所述第一VR手柄的第一圆环的真实半径与环绕所述第一VR手柄的第一圆环的图像半径的比值以及所述拍摄参数中的光心到所述二维图像中环绕所述第一VR手柄的第一圆环的环心的距离，获得环绕所述第一VR手柄的第一圆环的真实环心与所述光心之间的距离；
根据环绕所述第一VR手柄的第一圆环的真实环心与所述光心之间的距离以及所述第一VR手柄的三维坐标点簇，获得环绕所述第一VR手柄的第一圆环的环心在所述真实场景中的三维坐标，作为所述第一VR手柄在所述真实场景中的三维坐标。
可选地，所述方法还包括：
根据每个VR手柄在所述真实场景中的三维坐标和每个VR手柄的持有端，将每个VR手柄映射到所述真实场景对应的虚拟场景中，以获得VR图像；
将所述VR图像传输至用户的头显设备进行显示。
本发明还提供一种VR手柄定位装置，其特征在于，包括：
拍摄模块，用于对包括至少两个VR手柄的真实场景进行拍摄，以获得二维图像，所述至少两个VR手柄分别被可视化特征不同的圆环环绕着；
识别模块，用于从所述二维图像中识别出环绕每个VR手柄的圆环的可视化特征；
匹配模块，用于将环绕每个VR手柄的圆环的可视化特征在预先建立的圆环的可视化特征与持有端的对应关系中进行匹配，以确定每个VR手柄的持有端；
获得模块，用于根据拍摄参数和环绕每个VR手柄的圆环在所述二维图像中的点坐标，获得每个VR手柄在所述真实场景中的三维坐标。
可选地，所述至少两个VR手柄分别被颜色排布不同的圆环环绕着。
在本发明中，至少两个VR手柄分别被可视化特征不同的圆环环绕着，进而通过在圆环的可视化特征与持有端的对应关系中匹配，确定每个VR手柄的持有端，从而准确区分出每个VR手柄；然后，根据拍摄参数和环绕每个VR手柄的圆环在同一张二维图像中的点坐标，获得每个VR手柄在所述真实场景中的三维坐标，从而通过一张图像准确定位出每个VR手柄在真实场景中的三维坐标和持有端。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明一实施例提供的一种VR手柄定位方法的流程示意图；
图2为本发明又一实施例提供的VR手柄示意图；
图3为本发明又一实施例提供的视觉几何投影模型图；
图4为本发明又一实施例提供的将部分圆环从图像坐标系下反投影至拍摄设备坐标系下的示意图；
图5为本发明又一实施例提供的一种VR手柄定位装置的模块结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合附图，详细说明本发明各实施例提供的技术方案。
图1为本发明一实施例提供的一种VR手柄定位方法的流程示意图。如图1所示，该方法包括以下步骤：
S101：对包括至少两个VR手柄的真实场景进行拍摄，获得二维图像，至少两个VR手柄分别被可视化特征不同的圆环环绕着。
S102：从二维图像中识别出环绕每个VR手柄的圆环的可视化特征。
S103：将环绕每个VR手柄的圆环的可视化特征在预先建立的圆环的可视化特征与持有端的对应关系中进行匹配，以确定每个VR手柄的持有端。
S104：根据拍摄参数和环绕每个VR手柄的圆环在二维图像中的点坐标，获得每个VR手柄在真实场景中的三维坐标。
在包括至少两个VR手柄的真实场景中，可以定位每个VR手柄在真实场景中的位置，再将每个VR手柄在真实场景中的位置映射到虚拟场景中进行显示。
定位每个VR手柄在真实场景中的位置的过程包括初步定位和精确定位。其中，初步定位用于定位VR手柄属于哪个用户的哪只手，精确定位用于定位VR手柄在真实场景中的三维坐标。
首先，对真实场景中的至少两个VR手柄进行初步定位。
一般来说，至少两个VR手柄均处于同一空间内。可选地，可以在至少两个VR手柄所处空间的角落，架起一可对真实场景进行拍摄的拍摄设备，如相机，以便能够拍摄到包括全部VR手柄的真实场景。拍摄后得到的图像是包括全部VR手柄的二维图像，图像上的坐标为二维坐标。
其中，每个VR手柄上设置有环绕VR手柄的可视化特征不同的圆环。圆环的可视化特征可唯一标识VR手柄。优选地，本实施例中的每个圆环均为正圆环，即半径均相同。
可选地，圆环的可视化特征包括但不限于圆环的颜色排布、圆环的纹理、圆环的相对粗度、圆环的相对透明度等特征。
在获得包含所有VR手柄的二维图像之后，可以从二维图像中识别出环绕每个VR手柄的圆环的可视化特征。
然后，将环绕每个VR手柄的圆环的可视化特征在预先建立的圆环的可视化特征与持有端的对应关系中进行匹配，以确定每个VR手柄的持有端。其中，持有端可由用户和/或用户的左右手来表示。优选地，持有端由用户和用户的左右手表示，这样可以明确VR手柄属于哪个用户的哪个手。可选地，在具体实现上，可以使用用户标识以及用户的左右手标识来表示持有端。基于此，圆环的可视化特征与持有端的对应关系可以是圆环的可视化特征与用户标识以及用户的左右手标识之间的对应关系。
在一示例中，圆环的可视化特征为圆环的粗度等级。预先建立第一粗度等级与第一用户标识的对应关系，第二粗度等级与第二用户的左手标识的对应关系以及第三粗度等级与第二用户的右手标识的对应关系，其中，第一粗度等级对应的粗度大于第二粗度等级对应的粗度，第二粗度等级对应的粗度大于第三粗度等级对应的粗度。在二维图像中，环绕A手柄的圆环的粗度大于环绕B手柄的圆环的粗度，环绕B手柄的圆环的粗度大于环绕C手柄的圆环的粗度。则可以确定A手柄的持有端为第一用户，B手柄的持有端为第二用户的左手，C手柄的持有端为第二用户的右手。
在又一示例中，圆环的可视化特征为圆环的透明度等级。预先建立第一透明度等级与第一用户标识的对应关系，第二透明度等级与第二用户的左手标识的对应关系以及第三透明度等级与第二用户的右手标识的对应关系，其中，第一透明度等级对应的透明度大于第二透明度等级对应的透明度，第二透明度等级对应的透明度大于第三透明度等级对应的透明度。在二维图像中，环绕A手柄的圆环的透明度大于环绕B手柄的圆环的透明度，环绕B手柄的圆环的透明度大于环绕C手柄的圆环的透明度。则可以确定A手柄的持有端为第一用户，B手柄的持有端为第二用户的左手，C手柄的持有端为第二用户的右手。
然后，对真实场景中的至少两个VR手柄进行精确定位。根据拍摄参数和环绕每个VR手柄的圆环在二维图像中的点坐标，获得每个VR手柄在真实场景中的三维坐标。
通过拍摄，环绕每个VR手柄的圆环在真实场景中的三维坐标可投影为每个VR手柄的圆环在二维图像中的点坐标。本实施例中，可选地，采用与拍摄相反的方法，将每个VR手柄的圆环在二维图像中的点坐标投影为环绕每个VR手柄的圆环在真实场景中的三维坐标，作为每个VR手柄在真实场景中的三维坐标。
其中，拍摄参数包括但不限于拍摄设备的尺度因子、光心坐标、焦距、外参数矩阵、内参数矩阵、拍摄设备坐标系相对于世界坐标系的旋转和平移矩阵等。
本实施例中，至少两个VR手柄分别被可视化特征不同的圆环环绕着，进而通过在圆环的可视化特征与持有端的对应关系中匹配，确定每个VR手柄的持有端，从而准确区分出每个VR手柄；然后，根据拍摄参数和环绕每个VR手柄的圆环在同一张二维图像中的点坐标，获得每个VR手柄在真实场景中的三维坐标，从而通过一张图像准确定位出每个VR手柄在真实场景中的三维坐标和持有端。
在一可选实施方式中，VR手柄的圆环的可视化特征为圆环的颜色排布。基于此，至少两个VR手柄分别被颜色排布不同的圆环环绕着。
可选地，环绕每个VR手柄的颜色排布不同的圆环可以包括一个或多个。
在一示例中，手柄A被一个红色圆环环绕，手柄B被一个绿色圆环环绕，环绕两个VR手柄的圆环的颜色排布不同。
可选地，为使圆环的颜色排布与环境色的区别更明显，以准确识别出圆环的颜色排布。可选地，至少两个VR手柄分别被至少两个平行排布的、颜色排布不同的圆环环绕着。
可选地，环绕一个VR手柄的平行排布的圆环的颜色可以相同也可以不同，能够使环绕不同VR手柄的圆环的颜色排布不同即可。
例如，环绕A手柄的圆环自距手柄顶端最近的圆环到距手柄顶端最远的圆环的颜色排布为红色、绿色；环绕B手柄的圆环自距手柄顶端最近的圆环到距手柄顶端最远的圆环的颜色排布为红色、红色。则环绕A手柄和环绕B手柄的圆环的颜色排布不同。
优选地，环绕一个VR手柄的至少两个平行排布的圆环的颜色不同。这样，多个圆环排列组合可以产生多种颜色排布，以区分多个手柄。
图2为本发明又一实施例提供的VR手柄示意图。图2示出的VR手柄自距手柄顶端最近的圆环到距手柄顶端最远的圆环的颜色排布为红色、蓝色、紫色。红色圆环、蓝色圆环和紫色圆环排列组合，共有6中颜色排布。则可以将这6中颜色排布的圆环分别环绕在6个VR手柄上，以区分6个VR手柄。图2中，不同颜色以不同的灰度表示。
可选地，如图2所示，圆环可以设置在VR手柄的顶端，手握区域设置在手柄的中后端，且在3个圆环的内部，以避免遮挡圆环。
在上述实施例或下述实施例中，在从二维图像中识别出环绕每个VR手柄的圆环的可视化特征之前，可以预先训练目标识别模型，以通过训练后的目标识别模型，从二维图像中识别出环绕每个VR手柄的圆环的可视化特征。
具体而言，从不同方位对包括至少两个VR手柄的真实场景进行拍摄，获得多张不同方位的二维图像；对多张不同方位的二维图像中环绕每个VR手柄的圆环的可视化特征进行目标识别的训练，以建立能够识别出环绕每个VR手柄的圆环的可视化特征的目标识别模型。
可选地，可以使用基于卷积神经网络的目标物检测(R-CNN)模型作为初始模型进行目标识别的训练。初始模型中的参数值均为默认值。训练之后的模型可称为目标识别模型。
其中，卷积神经网络的目标物检测(R-CNN)模型是基于深度学习的目标检测模型，能够较准确地识别出目标。一般来说，若要进行模型训练，可预先生成训练集和验证集。
可选地，可从尽可能多的不同方位拍摄包括至少两个VR手柄的真实场景，获得足够多的二维图像。在每张二维图像中标定环绕每个VR手柄的圆环的可视化特征和环绕每个VR手柄的全部圆环所在的二维区域。其中，不同方位包括不同的角度和/或位置。
然后，将标定后的二维图像按比例分为训练集和验证集。例如，标定后的二维图像有10000张，按照4:1的比例分为训练集和验证集。则训练集包括8000张标定后的二维图像，验证集包括2000张标定后的二维图像。
本实施例中，使用训练集对RCNN模型进行预训练，而后使用验证集优化RCNN中的参数。在设置好训练的次数、学习率、误差函数等参数后，可以开始使用训练集训练RCNN模型，具体包括以下4个步骤；
1、将未标定的多张二维图像中的每张图像生成多个二维区域，例如1K-2K个二维区域。
2、对每个二维区域，使用深度网络提取二维区域内的特征。
3、判别提取的特征是否为训练集中环绕每个VR手柄的圆环的可视化特征。
4、若是，使用回归器精细修正二维区域的位置。
然后，使用验证集进一步优化RCNN模型中的参数。
优化后的RCNN可以从二维图像中识别出环绕每个VR手柄的圆环的可视化特征。在识别过程中，RCNN通过一矩形框将环绕每个VR手柄的圆环分别整体框选住，矩形框所框选的区域就是环绕每个VR手柄的全部圆环所在二维图像中的区域。然后，在矩形框所框选的区域内，识别出环绕每个VR手柄的圆环的可视化特征。进而，根据圆环的可视化特征在预先建立的圆环的可视化特征与持有端的对应关系中进行匹配，以确定每个VR手柄的持有端。
当然，本实施例中除了使用RCNN模型进行可视化特征的识别，还可以使用词袋(Bag-of-words)模型、多尺度的概率潜在语义分析目标识别(Multi-Level-probabilisticLatent Semantic Anaklysis,ML-pLSA)模型、基于模型匹配的快速目标识别模型等进行可视化特征的识别。
训练好的目标识别模型可以存储起来备用，在对包括至少两个VR手柄的真实场景进行拍摄，获得二维图像之后，可以根据目标识别模型，从二维图像中识别出环绕每个VR手柄的圆环的可视化特征。
在上述实施例或下述实施例中，根据拍摄参数和环绕每个VR手柄的圆环在二维图像中的点坐标，获得每个VR手柄在真实场景中的三维坐标，包括以下两步。
第一步，根据环绕每个VR手柄的圆环在二维图像中的点坐标，获取环绕每个VR手柄的圆环的环心的二维图像坐标，分别作为每个VR手柄的二维图像坐标。
一般来说，拍摄角度可能正对圆环，可能不正对圆环。如果拍摄角度正对圆环，真实场景中半径相同的圆环呈现在二维图像中依然为半径相同的圆环。圆环的环心就是圆心位置。如果拍摄角度不正对圆环，真实场景中半径相同的圆环呈现在二维图像中为椭圆。圆环的环心就是椭圆的中心位置。
可选地，可以识别出环绕每个VR手柄的圆环在二维图像中的点坐标，进而通过点坐标，获取环绕每个VR手柄的圆环的环心的二维图像坐标。
其中，环心的二维图像坐标是在图像坐标系下的环心的二维坐标。
为了便于确定VR手柄的二维图像坐标，可以将环绕每个VR手柄的圆环的环心的二维图像坐标作为每个VR手柄的二维图像坐标。
第二步，根据拍摄参数对每个VR手柄的二维图像坐标进行视觉几何反投影处理，以获得每个VR手柄在真实场景中的三维坐标。
视觉几何投影的过程实质是根据拍摄参数，将环绕每个VR手柄的圆环的环心在真实场景中的三维坐标投影为二维图像坐标。本实施例中，视觉几何反投影就是将环绕每个VR手柄的圆环的环心的二维图像坐标反投影为环绕每个VR手柄的圆环的环心在真实场景中的三维坐标。
在上述实施例或下述实施例中，根据环绕每个VR手柄的圆环在二维图像中的点坐标，获取环绕每个VR手柄的圆环的环心的二维图像坐标，分别作为每个VR手柄的二维图像坐标，包括：从环绕每个VR手柄的圆环中，分别选择距离每个VR手柄顶端最近的圆环，作为环绕每个VR手柄的第一圆环；根据环绕每个VR手柄的第一圆环在二维图像中的点坐标，计算环绕每个VR手柄的第一圆环的环心的二维图像坐标，作为每个VR手柄的二维图像坐标。
可选地，第一圆环可以为环绕每个VR手柄的任一圆环。考虑到距离每个VR手柄顶端最近的圆环最不易被遮挡，或者遮挡的部分最小，可以将距离每个VR手柄顶端最近的圆环，作为环绕每个VR的第一圆环,如图2所示。
可选地，可以通过RCNN模型识别出第一圆环上的点坐标。第一圆环上的点坐标相比于其他圆环数量较多，能够更准确地计算出环心的二维图像坐标。
考虑到大多数情况下，第一圆环被遮挡的部分较少或者未被遮挡，可以直接选出第一圆环上相距最远的两点，将两点之间的中点坐标作为环心的二维图像坐标。
还有一些情况，由于第一圆环被遮挡，导致距离最远的两点的中心不为环心。基于此，可以对环绕第一VR手柄的第一圆环在二维图像中的点坐标进行曲线拟合，获得曲线表达式；进而从曲线表达式中，获取环绕第一VR手柄的第一圆环的环心的二维图像坐标。
这种曲线拟合的方法适用于第一圆环被遮挡的情况，也适用于第一圆环未被遮挡的情况。
大多数情况下，拍摄角度不正对圆环，优选地，对至少两个VR手柄中的第一VR手柄，根据环绕第一VR手柄的第一圆环在二维图像中的点坐标，计算环绕第一VR手柄的第一圆环的环心的二维图像坐标，包括：对环绕第一VR手柄的第一圆环在二维图像中的点坐标进行曲线拟合，以获得环绕第一VR手柄的第一圆环对应的椭圆表达式；从环绕第一VR手柄的第一圆环对应的椭圆表达式中，获取环绕第一VR手柄的第一圆环的环心的二维图像坐标。
当然，若拍摄角度正对圆环，也可以采用上述优选实施方式获取环绕第一VR手柄的第一圆环的环心的二维图像坐标。
其中，第一VR手柄为至少两个VR手柄中的任一手柄。
需要说明的是，虽然通过RCNN模型识别出第一圆环上的点坐标，但是，囿于RCNN方法的局限性，所识别出来的点坐标大部分是第一圆环上的点坐标，也有小部分不是第一圆环上的点坐标。优选地，可以采用随机抽样一致性算法(RANdom SAmple Consensus，RANSAC)对环绕第一VR手柄的第一圆环在二维图像中的点坐标进行曲线拟合，以获得环绕第一VR手柄的第一圆环对应的椭圆表达式。
其中，RANSAC算法可以从一组包含“局外点”的观测数据集中，通过迭代方式估计椭圆表达式的参数。其中，局外点不适应与椭圆表达式的点。
RANSAC算法的输入是一组观测数据和一个初始椭圆表达式，椭圆表达式中的参数为初始参数。RANSAC通过反复选择RCNN识别出的第一圆环上的点坐标中的一组随机子集来拟合出椭圆表达式。被选取的子集被假设为局内点，并用下述方法进行验证：
1、假设初始的椭圆表达式适应于假设的局内点，即所有的未知参数都能从假设的局内点计算得出。
2、用1中得到的椭圆表达式去测试所有的第一圆环上的点坐标，如果某个点适用于上述椭圆表达式，认为它也是局内点。
3、如果有足够多的点被归类为假设的局内点，那么1中的椭圆表达式就足够合理。
4、然后，用所有假设的局内点修正1中的椭圆表达式，因为它仅仅被初始的假设局内点估计过。
5、最后，通过估计局内点与4中得到的椭圆表达式的错误率来评估本步骤中得到的椭圆表达式。
在每次选取随机子集时，均要执行步骤1-5。每次产生的椭圆表达式要么因为局内点太少而被舍弃，要么因为比现有的模型更好而被选用。
可选地，椭圆表达式可以有多种形式。例如：椭圆的一般表达式为
Ax2+By2+Cx+Dy+E＝0,A>0,B>0,A≠B
又例如椭圆的参数表达式为
x＝a*cos(t)*cos(θ)-bsin(t)*sin(θ)+g；
y＝a*cos(t)*sin(θ)+bsin(t)*cos(θ)+h
其中，θ为椭圆相对于图像坐标系的旋转角；a，b分别为长、短半轴；(g，h)为椭圆的中心坐标；t为参数，0<＝t<＝2π。
然后，从环绕第一VR手柄的第一圆环对应的椭圆表达式中，获取环绕第一VR手柄的第一圆环的环心的二维图像坐标。若椭圆表达式中直接体现中心坐标，可以直接从椭圆表达式中获取中心坐标作为环心的二维图像坐标。若椭圆表达式中未体现中心坐标，可以从椭圆表达式中计算出中心坐标，作为环心的二维图像坐标。
可选地，对至少两个VR手柄中的第一VR手柄，可以根据拍摄参数对第一VR手柄的二维图像坐标进行视觉几何反投影处理，以获得第一VR手柄在真实场景中的三维坐标。其中，第一VR手柄可以是至少两个VR手柄中的任一VR手柄。
其中，第一VR手柄的二维图像坐标为环绕第一VR手柄的第一圆环的环心的二维图像坐标，第一VR手柄在真实场景中的三维坐标为环绕第一VR手柄的第一圆环的环心的三维坐标。
本实施例中，通过对第一圆环的环心的二维图像坐标进行视觉几何反投影处理，以投影为真实场景中的三维坐标。可选地，视觉几何反投影处理包括根据视觉几何反投影矩阵的处理过程和根据投影比例关系的处理过程。
其中，根据视觉几何反投影矩阵的处理过程包括：根据拍摄参数，建立将点坐标从二维图像所在图像坐标系下反投影至世界坐标系下的视觉几何反投影矩阵；根据视觉几何反投影矩阵，将环绕第一VR手柄的第一圆环的环心的二维图像坐标反投影至世界坐标系下，以得到第一VR手柄的三维坐标点簇。
图3为本发明又一实施例提供的视觉几何投影模型图。其中，m＝(x,y)是在图像坐标系下，环绕第一VR手柄的第一圆环的环心的二维图像坐标。Mc＝(Xc,Yc,Zc)是在拍摄设备坐标系下，环绕第一VR手柄的第一圆环的环心的三维坐标。设环绕第一VR手柄的第一圆环的真实环心为M，M＝(X,Y,Z)是在世界坐标系下，第一圆环的环心的三维坐标。
其中，环绕第一VR手柄的第一圆环的真实环心就是环绕第一VR手柄的第一圆环在真实场景中的环心。
根据视觉几何投影原理，存在投影矩阵Q，将世界坐标系下的环绕第一VR手柄的第一圆环的环心的三维坐标投影为图像坐标系下的第一圆环的环心的二维图像坐标，即m＝QM，Q＝K(R,t)如下式所示：
Figure BDA0001335372870000141
其中，k为拍摄参数中的内参数矩阵，其中的fX、fY是拍摄参数中的尺度因子，一般设为fX＝fY＝f，f是拍摄参数中焦距，即图3中O点和P点之间的距离，P＝(cX,，cX)是拍摄参数中主点坐标；(R,t)是拍摄参数中外参数矩阵，R和t分别代表了拍摄设备坐标系相对世界坐标系的旋转矩阵和平移矩阵。
本实施例中，采用与上述投影方法相反的视觉几何反投影方法，将图像坐标系下的环绕第一VR手柄的第一圆环的环心的二维坐标反投影至世界坐标系中，即求解Q-1m。此处Q-1就是将点坐标从图像坐标系下反投影至到世界坐标系下的视觉几何反投影矩阵，经计算可得到第一圆环的环心的三维坐标点簇，即第一VR手柄的三维坐标点簇。
根据投影比例关系的处理过程包括：根据环绕第一VR手柄的第一圆环的真实半径与环绕第一VR手柄的第一圆环的图像半径的比值以及拍摄参数中的光心到二维图像中环绕第一VR手柄的第一圆环的环心的距离，获得环绕第一VR手柄的第一圆环的真实环心与光心之间的距离；根据环绕第一VR手柄的第一圆环的真实环心与光心之间的距离以及第一VR手柄的三维坐标点簇，获得环绕第一VR手柄的第一圆环的环心在真实场景中的三维坐标，作为第一VR手柄在真实场景中的三维坐标。
其中，环绕第一VR手柄的第一圆环的真实半径为环绕第一VR手柄的第一圆环在真实场景中的半径。环绕第一VR手柄的第一圆环的图像半径为环绕第一VR手柄的第一圆环在二维图像中的半径。环绕第一VR手柄的第一圆环的真实环心为环绕第一VR手柄的第一圆环在真实场景中的环心。
图4为本发明又一实施例提供的将部分圆环从图像坐标系下反投影至拍摄设备坐标系下的示意图。如图4所示，环绕第一VR手柄的第一圆环的真实半径为R，环绕第一VR手柄的第一圆环的图像半径为r，O点和P点之间的距离为焦距f,∠OPm为直角。可选地，如果第一圆环为正圆形，则图像半径为第一圆环的半径；如果第一圆环为椭圆形，则图像半径为椭圆的长半径。
根据视觉投影原理可知，第一圆环的环心的三维坐标点簇为mMc射线，无法确定具体深度。可选地，可以根据OMc/Om＝R/r，求得OMc，进而确定第一VR手柄的第一圆环的环心在真实场景中的三维坐标。
其中R是开发人员设置的，因此是已知的。根据上述实施例求得的椭圆表达式或圆形表达式，可以获知二维图像中环绕第一VR手柄的第一圆环的长半径r以及环心m的坐标。若要求得OMc，还需要获知Om。由图4可知，△OPm为直角三角形，O点和P点之间的距离为焦距f，可以根据拍摄参数获得。M点P点的二维图像坐标和可以根据上述实施例获知。进而，根据勾股定理可求得O点和m点的距离。接着，在Om、R、r均获知的情况下，根据OMc/Om＝R/r，可求得OMc。
在一可选实施方式中，根据每个VR手柄在真实场景中的三维坐标和每个VR手柄的持有端，将每个VR手柄映射到真实场景对应的虚拟场景中，以获得VR图像；将VR图像传输至用户的头显设备进行显示。
其中，每个VR手柄在真实场景中的三维坐标即在世界坐标系下每个VR手柄的三维坐标。可选地，可以把世界坐标系下每个VR手柄的三维坐标映射为虚拟场景中的坐标系下的每个VR手柄的三维坐标。接着在虚拟场景中的坐标系下的每个VR手柄的三维坐标处，通过渲染引擎渲染出每个VR手柄对应的虚拟模型，例如刀的模型、枪的模型等。
可选地，VR手柄的持有端不同，渲染出的对应VR手柄的虚拟模型不同。可以根据持有端在虚拟场景中的身份信息和分工不同，渲染VR手柄的对应的虚拟模型。例如，持有VR手柄的用户在虚拟场景中的身份为士兵身份，则将该用户持有的VR手柄对应的虚拟模型渲染为枪。又例如，用户的左手持有A手柄，用户的右手持有B手柄，用户在虚拟场景中的身份为射手身份，则将用户的左手持有的VR手柄对应的虚拟模型渲染为弓，用户的右手持有的VR手柄对应的虚拟模型渲染为箭。
在将每个VR手柄渲染为虚拟模型后，获得显示有虚拟模型的VR图像。接着，可以将VR图像传输至用户的头显设备进行显示，进而用户可以看到显示虚拟模型的虚拟场景。
可选地，可以实时获取VR手柄在真实场景中的位置，进而用户在移动VR手柄时，可以在渲染引擎中进行虚拟模型的实时移动渲染，并传输至头显中进行显示。
本发明实施例还提供一种VR手柄定位装置200，图5为本发明又一实施例提供的一种VR手柄定位装置的模块结构图，包括：
拍摄模块201，用于对包括至少两个VR手柄的真实场景进行拍摄，获得二维图像，至少两个VR手柄分别被可视化特征不同的圆环环绕着。
识别模块202，用于从拍摄模块201拍摄的二维图像中识别出环绕每个VR手柄的圆环的可视化特征。
匹配模块203，用于将识别模块202识别的环绕每个VR手柄的圆环的可视化特征在预先建立的圆环的可视化特征与持有端的对应关系中进行匹配，以确定每个VR手柄的持有端。
获得模块204，用于根据拍摄参数和环绕每个VR手柄的圆环在拍摄模块201拍摄的二维图像中的点坐标，获得每个VR手柄在真实场景中的三维坐标。
在本发明中，至少两个VR手柄分别被可视化特征不同的圆环环绕着，进而通过在圆环的可视化特征与持有端的对应关系中匹配，确定每个VR手柄的持有端，从而准确区分出每个VR手柄；然后，根据拍摄参数和环绕每个VR手柄的圆环在同一张二维图像中的点坐标，获得每个VR手柄在真实场景中的三维坐标，从而通过一张图像准确定位出每个VR手柄在真实场景中的三维坐标和持有端。
可选地，至少两个VR手柄分别被圆环排布不同的圆环环绕着。
可选地，VR手柄定位装置200还包括训练模块。
拍摄模块201具体还用于从不同方位对包括至少两个VR手柄的真实场景进行拍摄，获得多张不同方位的二维图像。
训练模块，用于对多张不同方位的二维图像中环绕每个VR手柄的圆环的可视化特征进行目标识别的训练，以建立能够识别出环绕每个VR手柄的圆环的可视化特征的目标识别模型。
基于此，识别模块202具体用于根据目标识别模型，从二维图像中识别出环绕每个VR手柄的圆环的可视化特征。
可选地，获得模块204在根据拍摄参数和环绕每个VR手柄的圆环在二维图像中的点坐标，获得每个VR手柄在真实场景中的三维坐标时，具体用于：根据环绕每个VR手柄的圆环在二维图像中的点坐标，获取环绕每个VR手柄的圆环的环心的二维图像坐标，分别作为每个VR手柄的二维图像坐标；根据拍摄参数对每个VR手柄的二维图像坐标进行视觉几何反投影处理，以获得每个VR手柄在真实场景中的三维坐标。
可选地，获得模块204在根据环绕每个VR手柄的圆环在二维图像中的点坐标，获取环绕每个VR手柄的圆环的环心的二维图像坐标，分别作为每个VR手柄的二维图像坐标时，具体用于：从环绕每个VR手柄的圆环中，分别选择距离每个VR手柄顶端最近的圆环，作为环绕每个VR手柄的第一圆环；根据环绕每个VR手柄的第一圆环在二维图像中的点坐标，计算环绕每个VR手柄的第一圆环的环心的二维图像坐标，作为每个VR手柄的二维图像坐标。
可选地，获得模块204在对至少两个VR手柄中的第一VR手柄，根据环绕第一VR手柄的第一圆环在二维图像中的点坐标，计算环绕第一VR手柄的第一圆环的环心的二维图像坐标时，具体还用于：对环绕第一VR手柄的第一圆环在二维图像中的点坐标进行曲线拟合，以获得环绕第一VR手柄的第一圆环对应的椭圆表达式；从环绕第一VR手柄的第一圆环对应的椭圆表达式中，获取环绕第一VR手柄的第一圆环的环心的二维图像坐标。
可选地，获得模块204在对至少两个VR手柄中的第一VR手柄，根据拍摄参数对第一VR手柄的二维图像坐标进行视觉几何反投影处理，以获得第一VR手柄在真实场景中的三维坐标时，具体用于：
根据拍摄参数，建立将点坐标从二维图像所在图像坐标系下反投影至世界坐标系下的视觉几何反投影矩阵；
根据视觉几何反投影矩阵，将环绕第一VR手柄的第一圆环的环心的二维图像坐标反投影至世界坐标系下，以得到第一VR手柄的三维坐标点簇；
根据环绕第一VR手柄的第一圆环的真实半径与环绕第一VR手柄的第一圆环的图像半径的比值以及拍摄参数中的光心到二维图像中环绕第一VR手柄的第一圆环的环心的距离，获得环绕第一VR手柄的第一圆环的真实环心与光心之间的距离；
根据环绕第一VR手柄的第一圆环的真实环心与光心之间的距离以及第一VR手柄的三维坐标点簇，获得环绕第一VR手柄的第一圆环的环心在真实场景中的三维坐标，作为第一VR手柄在真实场景中的三维坐标。
可选地，VR手柄定位装置200还包括映射模块和显示模块。
映射模块，用于根据每个VR手柄在真实场景中的三维坐标和每个VR手柄的持有端，将每个VR手柄映射到真实场景对应的虚拟场景中，以获得VR图像。
显示模块，用于将VR图像传输至用户的头显设备进行显示。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (8)

1.一种VR手柄定位方法，其特征在于，包括：
对包括至少两个VR手柄的真实场景进行拍摄，获得二维图像，所述至少两个VR手柄分别被可视化特征不同的圆环环绕着；
从所述二维图像中识别出环绕每个VR手柄的圆环的可视化特征；
将环绕每个VR手柄的圆环的可视化特征在预先建立的圆环的可视化特征与持有端的对应关系中进行匹配，以确定每个VR手柄的持有端；
根据拍摄参数和环绕每个VR手柄的圆环在所述二维图像中的点坐标，获得每个VR手柄在所述真实场景中的三维坐标；
所述根据拍摄参数和环绕每个VR手柄的圆环在所述二维图像中的点坐标，获得每个VR手柄在所述真实场景中的三维坐标，包括：
根据环绕每个VR手柄的圆环在所述二维图像中的点坐标，获取环绕每个VR手柄的圆环的环心的二维图像坐标，分别作为每个VR手柄的二维图像坐标；
根据拍摄参数对每个VR手柄的二维图像坐标进行视觉几何反投影处理，以获得每个VR手柄在所述真实场景中的三维坐标；
对至少两个VR手柄中的第一VR手柄，根据拍摄参数对第一VR手柄的二维图像坐标进行视觉几何反投影处理，以获得第一VR手柄在所述真实场景中的三维坐标，包括：
根据所述拍摄参数，建立将点坐标从所述二维图像所在图像坐标系下反投影至世界坐标系下的视觉几何反投影矩阵；
根据所述视觉几何反投影矩阵，将环绕所述第一VR手柄的第一圆环的环心的二维图像坐标反投影至所述世界坐标系下，以得到所述第一VR手柄的三维坐标点簇；
根据环绕所述第一VR手柄的第一圆环的真实半径与环绕所述第一VR手柄的第一圆环的图像半径的比值以及所述拍摄参数中的光心到所述二维图像中环绕所述第一VR手柄的第一圆环的环心的距离，获得环绕所述第一VR手柄的第一圆环的真实环心与所述光心之间的距离；
根据环绕所述第一VR手柄的第一圆环的真实环心与所述光心之间的距离以及所述第一VR手柄的三维坐标点簇，获得环绕所述第一VR手柄的第一圆环的环心在所述真实场景中的三维坐标，作为所述第一VR手柄在所述真实场景中的三维坐标。
2.根据权利要求1所述的方法，其特征在于，所述至少两个VR手柄分别被颜色排布不同的圆环环绕着。
3.根据权利要求1所述的方法，其特征在于，从所述二维图像中识别出环绕每个VR手柄的圆环的可视化特征之前，所述方法还包括：
从不同方位对包括所述至少两个VR手柄的所述真实场景进行拍摄，获得多张不同方位的二维图像；
对所述多张不同方位的二维图像中环绕每个VR手柄的圆环的可视化特征进行目标识别的训练，以建立能够识别出环绕每个VR手柄的圆环的可视化特征的目标识别模型；
所述从所述二维图像中识别出环绕每个VR手柄的圆环的可视化特征，包括：
根据所述目标识别模型，从所述二维图像中识别出环绕每个VR手柄的圆环的可视化特征。
4.根据权利要求1所述的方法，其特征在于，所述根据环绕每个VR手柄的圆环在所述二维图像中的点坐标，获取环绕每个VR手柄的圆环的环心的二维图像坐标，分别作为每个VR手柄的二维图像坐标，包括：
从环绕每个VR手柄的圆环中，分别选择距离每个VR手柄顶端最近的圆环，作为环绕每个VR手柄的第一圆环；
根据环绕每个VR手柄的第一圆环在所述二维图像中的点坐标，计算环绕每个VR手柄的第一圆环的环心的二维图像坐标，作为所述每个VR手柄的二维图像坐标。
5.根据权利要求4所述的方法，其特征在于，对至少两个VR手柄中的第一VR手柄，根据环绕第一VR手柄的第一圆环在二维图像中的点坐标，计算环绕第一VR手柄的第一圆环的环心的二维图像坐标，包括：
对环绕所述第一VR手柄的第一圆环在所述二维图像中的点坐标进行曲线拟合，以获得环绕所述第一VR手柄的第一圆环对应的椭圆表达式；
从环绕所述第一VR手柄的第一圆环对应的椭圆表达式中，获取环绕所述第一VR手柄的第一圆环的环心的二维图像坐标。
6.根据权利要求1-5任一项所述的方法，其特征在于，还包括：
根据每个VR手柄在所述真实场景中的三维坐标和每个VR手柄的持有端，将每个VR手柄映射到所述真实场景对应的虚拟场景中，以获得VR图像；
将所述VR图像传输至用户的头显设备进行显示。
7.一种VR手柄定位装置，其特征在于，包括：
拍摄模块，用于对包括至少两个VR手柄的真实场景进行拍摄，获得二维图像，所述至少两个VR手柄分别被可视化特征不同的圆环环绕着；
识别模块，用于从所述二维图像中识别出环绕每个VR手柄的圆环的可视化特征；
匹配模块，用于将环绕每个VR手柄的圆环的可视化特征在预先建立的圆环的可视化特征与持有端的对应关系中进行匹配，以确定每个VR手柄的持有端；
获得模块，用于根据拍摄参数和环绕每个VR手柄的圆环在所述二维图像中的点坐标，获得每个VR手柄在所述真实场景中的三维坐标；
所述获得模块还用于：
根据环绕每个VR手柄的圆环在所述二维图像中的点坐标，获取环绕每个VR手柄的圆环的环心的二维图像坐标，分别作为每个VR手柄的二维图像坐标；
根据拍摄参数对每个VR手柄的二维图像坐标进行视觉几何反投影处理，以获得每个VR手柄在所述真实场景中的三维坐标；
所述获得模块还用于：
根据所述拍摄参数，建立将点坐标从所述二维图像所在图像坐标系下反投影至世界坐标系下的视觉几何反投影矩阵；
根据所述视觉几何反投影矩阵，将环绕第一VR手柄的第一圆环的环心的二维图像坐标反投影至所述世界坐标系下，以得到所述第一VR手柄的三维坐标点簇；
根据环绕所述第一VR手柄的第一圆环的真实半径与环绕所述第一VR手柄的第一圆环的图像半径的比值以及所述拍摄参数中的光心到所述二维图像中环绕所述第一VR手柄的第一圆环的环心的距离，获得环绕所述第一VR手柄的第一圆环的真实环心与所述光心之间的距离；
根据环绕所述第一VR手柄的第一圆环的真实环心与所述光心之间的距离以及所述第一VR手柄的三维坐标点簇，获得环绕所述第一VR手柄的第一圆环的环心在所述真实场景中的三维坐标，作为所述第一VR手柄在所述真实场景中的三维坐标。
8.根据权利要求7所述的装置，其特征在于，所述至少两个VR手柄分别被颜色排布不同的圆环环绕着。
CN201710509271.3A 2017-06-28 2017-06-28 一种vr手柄定位方法及装置 Active CN107329593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710509271.3A CN107329593B (zh) 2017-06-28 2017-06-28 一种vr手柄定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710509271.3A CN107329593B (zh) 2017-06-28 2017-06-28 一种vr手柄定位方法及装置

Publications (2)

Publication Number Publication Date
CN107329593A CN107329593A (zh) 2017-11-07
CN107329593B true CN107329593B (zh) 2020-10-09

Family

ID=60198309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710509271.3A Active CN107329593B (zh) 2017-06-28 2017-06-28 一种vr手柄定位方法及装置

Country Status (1)

Country Link
CN (1) CN107329593B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992214A (zh) * 2017-11-24 2018-05-04 深圳多哚新技术有限责任公司 一种手柄空间位置与编码对应关系的确定方法、装置及系统
CN110572635A (zh) * 2019-08-28 2019-12-13 重庆爱奇艺智能科技有限公司 一种用于手持控制设备追踪定位的方法、设备与系统
CN110609622A (zh) * 2019-09-18 2019-12-24 深圳市瑞立视多媒体科技有限公司 结合3d与虚拟现实技术实现多人交互方法、系统及介质
CN111161335A (zh) * 2019-12-30 2020-05-15 深圳Tcl数字技术有限公司 虚拟形象的映射方法、映射装置及计算机可读存储介质
CN112822480B (zh) 2020-12-31 2022-05-17 青岛小鸟看看科技有限公司 Vr系统及其定位追踪方法
CN113327244A (zh) * 2021-06-25 2021-08-31 南京爱奇艺智能科技有限公司 一种基于计算机视觉的手柄控制器led灯定位方法和系统
CN113256724B (zh) * 2021-07-07 2021-09-24 上海影创信息科技有限公司 一种手柄inside-out视觉6自由度定位方法及系统
CN115937478B (zh) * 2022-12-26 2023-11-17 北京字跳网络技术有限公司 一种标定信息确定方法、装置、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101377405B (zh) * 2008-07-11 2010-04-14 北京航空航天大学 一种空间圆姿态参数和几何参数的视觉测量方法
CN101520700A (zh) * 2008-12-31 2009-09-02 广东威创视讯科技股份有限公司 一种基于摄像头的三维定位触摸装置及其定位方法
CN101839692B (zh) * 2010-05-27 2012-09-05 西安交通大学 单相机测量物体三维位置与姿态的方法
CN102279646A (zh) * 2010-06-10 2011-12-14 鼎亿数码科技(上海)有限公司 带手持设备的装置及手持设备运动的识别方法
US9678583B2 (en) * 2013-07-23 2017-06-13 University Of Kentucky Research Foundation 2D and 3D pointing device based on a passive lights detection operation method using one camera
US9377854B2 (en) * 2014-03-28 2016-06-28 Intel Corporation Technologies for remotely controlling a computing device via a wearable computing device
CN105117016A (zh) * 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的交互手柄
CN106445084A (zh) * 2016-09-30 2017-02-22 乐视控股（北京）有限公司 定位方法及采集设备
CN106443651A (zh) * 2016-09-30 2017-02-22 乐视控股（北京）有限公司 虚拟现实设备、空间定位系统及方法
CN106843460B (zh) * 2016-12-13 2019-08-02 西北大学 基于多摄像头的多目标位置捕获定位系统及方法
CN106768361B (zh) * 2016-12-19 2019-10-22 北京小鸟看看科技有限公司 与vr头戴设备配套的手柄的位置追踪方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《High-accuracy Positioning System using Visible LED Lights and Image Sensor》;Masaki Yoshino等;《IEEE Xplore》;20080505;第439-442页 *
《基于特征点图像序列的多摄像机全局标定》;贾倩倩等;《清华大学学报 (自然科学版)》;20091231;第60-63页 *

Also Published As

Publication number Publication date
CN107329593A (zh) 2017-11-07

Similar Documents

Publication Publication Date Title
CN107329593B (zh) 一种vr手柄定位方法及装置
CN108764024B (zh) 人脸识别模型的生成装置、方法及计算机可读存储介质
JP6681729B2 (ja) オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム
Hold-Geoffroy et al. A perceptual measure for deep single image camera calibration
US7889193B2 (en) Method of and system for determining a data model designed for being superposed with an image of a real object in an object tracking process
KR102120046B1 (ko) 오브젝트를 표시하는 방법
JP6635690B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN108875524B (zh) 视线估计方法、装置、系统和存储介质
WO2021103430A1 (zh) 活体检测方法及装置、存储介质
CN112513875B (zh) 眼部纹理修复
CN109711472B (zh) 训练数据生成方法和装置
CN110751009A (zh) 人脸识别方法、目标识别方法、装置和电子设备
WO2022099613A1 (zh) 图像生成模型的训练方法、新视角图像生成方法及装置
CN109906600A (zh) 模拟景深
Canessa et al. A dataset of stereoscopic images and ground-truth disparity mimicking human fixations in peripersonal space
CN112802081A (zh) 一种深度检测方法、装置、电子设备及存储介质
CN109214350A (zh) 一种光照参数的确定方法、装置、设备及存储介质
CN115131437A (zh) 位姿估计方法及相关模型的训练方法、装置、设备、介质
US8948461B1 (en) Method and system for estimating the three dimensional position of an object in a three dimensional physical space
CN112508778B (zh) 一种3d人脸道具贴图方法、终端及存储介质
US11080920B2 (en) Method of displaying an object
Ventura et al. Structure and motion in urban environments using upright panoramas
CN115409949A (zh) 模型训练方法、视角图像生成方法、装置、设备及介质
US20230144111A1 (en) A method for generating a 3d model
CN117044195A (zh) 便携式电子设备的校准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant