CN111614915B - 一种空间定位方法、装置、系统和头戴式设备 - Google Patents
一种空间定位方法、装置、系统和头戴式设备 Download PDFInfo
- Publication number
- CN111614915B CN111614915B CN202010402917.XA CN202010402917A CN111614915B CN 111614915 B CN111614915 B CN 111614915B CN 202010402917 A CN202010402917 A CN 202010402917A CN 111614915 B CN111614915 B CN 111614915B
- Authority
- CN
- China
- Prior art keywords
- tracking exposure
- light source
- environment
- image data
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 125000001475 halogen functional group Chemical group 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 206010052143 Ocular discomfort Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Abstract
本发明实施例涉及一种空间定位方法、装置、系统和头戴式设备，摄像机在工作时，可以动态调整曝光时间，形成以一定比例的环境跟踪曝光、手持设备跟踪曝光交替进行的图像序列。在此过程中，手持设备上的LED接受指令，按照一定的频率、亮度和发光时刻进行脉冲发光。为了避免对人眼造成闪烁感，LED在环境跟踪曝光、手持设备跟踪曝光的强度，控制在一定范围内。这种方式未增加摄像机的个数，从而使得头戴式设备inside‑out更加简便，并避免闪烁感。
Description
技术领域
本发明实施例涉及VR/AR领域，特别涉及一种空间定位方法、装置、系统和头戴式设备。
背景技术
随着5G的到来，VR/AR的浪潮又再次袭来。空间定位技术是VR/AR的核心关键技术。在2017年以后，空间定位方案都逐渐转向由内向外(inside-out)，直接把摄像机内置到用户所佩戴的头盔或者眼镜之中，摄像机通过拍摄周边环境，提取周边环境的特征点(如房间墙壁上的图案，天花板的角点等)，反向计算出头盔或者眼镜的六自由度(6degrees offreedom，6DOF)空间位置(X,Y,Z三维坐标)和姿态(Yaw,Roll,Pitch三个角度)，对于手柄而言，仍然在上面布设光源(如LED)，通过摄像机拍摄到的手柄上的LED来解算手柄相对于头盔的6DOF参数。通过这样的方案，可以实现对用户头部和手部的6DOF空间定位和实时位置追踪，从而很好的解决了用户使用的方便性问题。
摄像机在连续拍摄图像时，环境跟踪曝光时长的帧和手持设备跟踪曝光时长的帧按照一定的比例交替进行，比如先拍摄一帧环境跟踪曝光时间的图像，然后拍摄一帧手持设备跟踪曝光时间的图像；或者按照1:2的比例进行拍摄。这种方案的优点是解决了曝光时长的矛盾，并且没有引入额外的摄像机从而增加成本、发热和功耗。但缺点是，同一个摄像机进行时分复用，需要摄像机工作在更高的帧率(如60FPS，其中30FPS进行环境跟踪曝光，用于头部定位，30FPS进行手持设备跟踪曝光，用于手柄定位)，增加了摄像机的帧率要求。更重要的是，虽然摄像机工作在更高的帧率，但手柄的帧率是更低的，其LED发光的频率也只有30FPS，这会带来闪烁问题，用户使用时，会看到手柄上的LED处于闪烁状态，引起用户的视觉不适感。
实现本发明过程中，发明人发现相关技术中至少存在如下问题：同一个摄像机进行时分复用，环境跟踪曝光时长的帧和手持设备跟踪曝光时长的帧按照一定的比例交替进行，用户使用时，会看到手柄上的LED处于闪烁状态，引起用户的视觉不适感。
发明内容
本发明实施例的目的是提供一种空间定位方法、装置、系统和头戴式设备，以解决因光源处于闪烁状态，引起用户的视觉不适感。
第一方面，本发明实施例提供了一种头戴式设备，包括：
图像传感器，
处理器，
存储器，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以执行以下方法：
向所述图像传感器发送曝光指令，以使得所述图像传感器获取所述头戴式设备周围环境的图像数据，所述周围环境的图像数据包括环境跟踪曝光和手持设备跟踪曝光的图像数据，手持设备的光源在环境跟踪曝光的积分发光强度，不低于所述手持设备的光源在手持设备跟踪曝光的积分发光强度，其中，所述环境跟踪曝光时长大于所述手持设备跟踪曝光时长；
根据所述环境跟踪曝光图像数据，获取所述头戴式设备相对于周围环境的位置；
根据所述手持设备跟踪曝光图像数据，获取所述手持设备相对于所述头戴式设备的位置。
在一些实施例中，所述指令还用于执行：获取上一帧手持设备跟踪曝光图像数据，计算所述光源发光光斑的位置和边界；
预测当前帧环境跟踪曝光的光源发光光斑的位置和边界；
从当前帧环境跟踪曝光图像数据中，去除预测的光源发光光斑；
根据减去后的环境跟踪曝光图像数据，确定所述头戴式设备相对于周围环境的位置。
第二方面，本发明实施例提供了一种空间定位方法，应用于头戴式设备，所述头戴式设备包括：图像传感器，处理器，存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述方法包括：
向所述图像传感器发送曝光指令，以使得所述图像传感器获取所述头戴式设备周围环境的图像数据，所述周围环境的图像数据包括环境跟踪曝光和手持设备跟踪曝光的图像数据，手持设备的光源在环境跟踪曝光的积分发光强度，不低于所述手持设备的光源在手持设备跟踪曝光的积分发光强度，其中，所述环境跟踪曝光时长大于所述手持设备跟踪曝光时长；
根据所述环境跟踪曝光图像数据，获取所述头戴式设备相对于周围环境的位置；
根据所述手持设备跟踪曝光图像数据，获取所述手持设备相对于所述头戴式设备的位置。
在一些实施例中，所述根据所述环境跟踪曝光图像数据，获取所述头戴式设备相对于周围环境的位置，包括：
获取上一帧手持设备跟踪曝光图像数据，计算所述光源发光光斑的位置和边界；
预测当前帧环境跟踪曝光的光源发光光斑的位置和边界；
从当前帧环境跟踪曝光图像数据中，去除预测的光源发光光斑；
根据减去后的环境跟踪曝光图像数据，确定所述头戴式设备相对于周围环境的位置。
在一些实施例中，所述预测当前帧环境跟踪曝光的光源发光光斑的位置和边界，包括：
获取所述头戴式设备的运动信息和所述手持设备的运动信息，确定环境跟踪曝光的光源发光光斑的位置，并计算环境跟踪曝光中光源发光光斑的光晕信息。
第三方面，一种空间定位装置，包括：
发送模块，用于向所述图像传感器发送曝光指令，以使得所述图像传感器获取所述头戴式设备周围环境的图像数据，所述周围环境的图像数据包括环境跟踪曝光和手持设备跟踪曝光的图像数据，手持设备的光源在环境跟踪曝光的积分发光强度，不低于所述手持设备的光源在手持设备跟踪曝光的积分发光强度，其中，所述环境跟踪曝光时长大于所述手持设备跟踪曝光时长；
第一获取模块，用于根据所述环境跟踪曝光图像数据，获取所述头戴式设备相对于周围环境的位置；
第二获取模块，用于根据所述手持设备跟踪曝光图像数据，获取所述手持设备相对于所述头戴式设备的位置。
在一些实施例中，所述第一获取模块，用于：
获取上一帧手持设备跟踪曝光图像数据，计算所述光源发光光斑的位置和边界；
预测当前帧环境跟踪曝光的光源发光光斑的位置和边界；
从当前帧环境跟踪曝光图像数据中，去除预测的光源发光光斑；
根据减去后的环境跟踪曝光图像数据，确定所述头戴式设备相对于周围环境的位置。
在一些实施例中，所述第一获取模块，还用于：
获取所述头戴式设备的运动信息和所述手持设备的运动信息，确定环境跟踪曝光的光源发光光斑的位置，并计算环境跟踪曝光中光源发光光斑的光晕信息。
第四方面，本发明实施例提供了一种空间定位系统，包括如上的头戴式设备，以及手持设备，所述手持设备上设有光源。
第五方面，本发明实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被机器人执行时，使所述机器人执行如上所述的方法。
本发明实施例的空间定位方法、装置、系统和头戴式设备，摄像机在工作时，可以动态调整曝光时间，形成以一定比例的环境跟踪曝光、手持设备跟踪曝光交替进行的图像序列。在此过程中，手持设备上的LED接受指令，按照一定的频率、亮度和发光时刻进行脉冲发光。为了避免对人眼造成闪烁感，LED在环境跟踪曝光、手持设备跟踪曝光的强度，控制在一定范围内。这种方式未增加摄像机的个数，从而使得头戴式设备inside-out更加简便，并避免闪烁感。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1为本发明实施例提供的空间定位的应用场景实例；
图2是本发明头戴式设备定位方法的一个实施例的流程示意图；
图3是本发明头戴式设备中摄像机的曝光和手持设备的LED的发光的时间关系；
图4是本发明头戴式设备手持设备跟踪曝光的图像示意图；
图5是本发明头戴式设备环境跟踪曝光的图像示意图；
图6是本发明头戴式设备环境跟踪曝光图像处理方法；
图7是本发明头戴式设备空间定位装置的结构示意图；
图8是本发明头戴式设备的一个实施例的结构示意图；
图9是本发明LED发光峰值不变的示意图；
图10是本发明LED发光峰值变化的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的空间定位的应用场景实例。在本应用场景中，包括虚拟现实(VR)的环境10，头戴式设备11以及手持设备12。头戴式设备11上的图像传感器13可实现环境跟踪曝光和手持设备跟踪曝光。该图像传感器13可以是任何合适的，具有图像采集能力的设备，例如摄像头，照相机等。
该手持设备12上安装有至少一个LED灯14，所述LED灯14可实现脉冲发光，为可见光光源和/或红外光光源，且当光源为可见光光源时，所述图像传感器13内可设置有红外光截止滤波片。
头戴式设备11根据环境跟踪曝光的图像数据，确定头戴式设备11相对于环境的位置。头戴式设备11根据手持设备跟踪曝光的图像数据，确定手持设备12相对于头戴式设备11的位置。
图2为本发明实施例提供的一种空间定位方法的流程示意图，所述方法可以由图1所示的头戴式设备执行，如图2所示，所述方法包括：
101：向所述图像传感器发送曝光指令，以使得所述图像传感器获取所述头戴式设备周围环境的图像数据，所述周围环境的图像数据包括环境跟踪曝光和手持设备跟踪曝光的图像数据，所述手持设备的光源在环境跟踪曝光的积分发光强度不低于所述手持设备的光源在手持设备跟踪曝光的积分发光强度，其中，所述环境跟踪曝光时长大于所述手持设备跟踪曝光时长。
为了方便说明，可以将环境跟踪曝光定义为长曝光，将手持设备跟踪曝光定义为短曝光。
其中，环境曝光的时间取决于环境光的强弱，一般来说会在1-10ms不等。手持设备的LED检测需要极短曝光，以保证产生强的信噪比，一般手持设备跟踪曝光的时间在20-200us范围比较合适。
其中，曝光指令用于控制图像传感器(摄像机)曝光的方式，可以使手持设备跟踪曝光按照一定时序进行。
具体地，该头戴式设备可以通过向手持设备的光源发送脉冲指令，该脉冲指令用于控制所述光源在环境跟踪曝光、手持设备跟踪曝光中的亮度，以使得所述光源在环境跟踪曝光的积分发光强度，不低于所述光源在手持设备跟踪曝光的积分发光强度。可选地，该头戴式设备也可以无需通过向手持设备的光源发送脉冲指令的方式来调节光源积分发光强度，而采用手持设备自适应/自控制调节手持设备的光源积分发光强度的方式。
可实施地，为了避免手持设备跟踪曝光时，设置在手持设备的LED闪烁，可以将LED的发光模式改为：脉冲发光。并且，在环境跟踪曝光的积分发光强度不低于在手持设备跟踪曝光的积分发光强度。如摄像机的曝光和手持设备的LED的发光的时间关系如图3所示(此示例为环境跟踪曝光、手持设备跟踪曝光以1:1比例进行，也可以是1:2或者其它比例)。
102，根据所述环境跟踪曝光图像数据，获取所述头戴式设备相对于周围环境的位置；
103，根据所述手持设备跟踪曝光图像数据，获取所述手持设备相对于所述头戴式设备的位置。
具体的，如图4所述，在手持设备跟踪曝光中，可以看到LED灯的亮点，根据图像数据中的亮点(光斑)，可以定位手持设备。
具体的，如图5所述，在环境跟踪曝光中，可以看到环境跟踪曝光帧，周边背景相对较亮，手持设备上若干发光LED，会对周边环境的特征提取造成干扰。为了减少在环境跟踪曝光帧里，LED对周边环境的特征提取造成干扰，需要对此帧里的图像进行处理。
在一些实施例中，对环境跟踪曝光的图像处理的方式如下：
获取上一帧手持设备跟踪曝光图像数据，计算所述光源发光光斑的位置和边界；
预测当前帧环境跟踪曝光的光源发光光斑的位置和边界；
从当前帧环境跟踪曝光图像数据中，去除预测的光源发光光斑；
根据减去后的环境跟踪曝光图像数据，确定所述头戴式设备相对于周围环境的位置。
在一些实施例中，所述预测当前帧环境跟踪曝光的光源发光光斑的位置和边界，具体为：
获取所述头戴式设备的运动信息和所述手持设备的运动信息，确定环境跟踪曝光的光源发光光斑的位置，并计算环境跟踪曝光中光源发光光斑的光晕信息。
其中，所述运动信息包括设置在所述头戴式设备中的惯性传感器数据；或者，还包括设置在手持设备中的惯性传感器数据。
在另一些实施例中，处理算法流程如图6。具体描述为：第一步，在图像传感器捕获的第N帧，手持设备跟踪曝光帧IMAGE(N)里，通过运算算法提取出来的LED发光光斑(LEDBLOB)的位置，边界等信息，该运算算法可以包括：比如二值化处理，连通域提取，形态学检测等算法，通过上述算法获得BLOB_GROUP(N)，这里面会有第N帧的所有LED BLOB的信息，根据BLOB_GROUP(N)，可进行手持设备的6DOF参数计算。
第二步，根据第N帧的LED BLOB运动信息和(如果有)手持设备上内置的IMU(惯性传感器)数据，以及由于环境跟踪曝光带来的光晕效益使得LED BLOB面积会增大，预测在第N+1帧(环境跟踪曝光帧)时，LED BLOB的位置和边界，形成BLOB_GROUP(N+1)。
第三步，图像传感器捕获的第N+1帧获得的图像IMAGE(N+1)，由于有LED BLOB干扰，不能直接使用，而是要做处理运算，该处理算法可以是简单的减法预算，也可以是一些图像变换，如卷积，或者深度学习的算法，对目标进行去除。也可以使用历史图像信息，对需要去除位置的图像进行替换，插值等，将其中的BLOB_GROUP(N+1)去除之后，对剩余的图像进行特征提取，并最终计算头戴设备的6DOF参数。
本发明实施例的空间定位方法，摄像机在工作时，可以动态调整曝光时间，形成以一定比例的环境跟踪曝光、手持设备跟踪曝光交替进行的图像序列。在此过程中，手持设备上的LED接受指令，按照一定的频率、亮度和发光时刻进行脉冲发光。为了避免对人眼造成闪烁感，LED在环境跟踪曝光和手持设备跟踪曝光的强度，控制在一定范围内。这种方式未增加摄像机的个数，从而使得头戴式设备inside-out更加简便，并避免闪烁感。
相应的，如图7所示，本发明实施例还提供了一种空间定位装置，可以用于图1所示的头戴式设备，头戴式设备定位装置700包括：
发送模块701，用于向所述图像传感器发送曝光指令，以使得所述图像传感器获取所述头戴式设备周围环境的图像数据，所述周围环境的图像数据包括环境跟踪曝光和手持设备跟踪曝光的图像数据，手持设备的光源在环境跟踪曝光的积分发光强度不低于所述手持设备的光源在手持设备跟踪曝光的积分发光强度，其中，所述环境跟踪曝光时长大于所述手持设备跟踪曝光时长；
第一获取模块702，用于根据所述环境跟踪曝光图像数据，获取所述头戴式设备相对于周围环境的位置；
第二获取模块703，用于根据所述手持设备跟踪曝光图像数据，获取所述手持设备相对于所述头戴式设备的位置。
在一些实施例中，所述第一获取模块702，用于：
获取上一帧手持设备跟踪曝光图像数据，计算所述光源发光光斑的位置和边界；
预测当前帧环境跟踪曝光的光源发光光斑的位置和边界；
从当前帧环境跟踪曝光图像数据中，去除预测的光源发光光斑；
根据减去后的环境跟踪曝光图像数据，确定所述头戴式设备相对于周围环境的位置。
在其他实施例中，所述第一获取模块702，还用于：
获取所述头戴式设备的运动信息和所述手持设备的运动信息，确定环境跟踪曝光的光源发光光斑的位置，并计算环境跟踪曝光中光源发光光斑的光晕信息。
可实施的，该头戴式设备可以通过向手持设备的光源发送脉冲指令，该脉冲指令用于控制所述光源在环境跟踪曝光、手持设备跟踪曝光中的亮度，以使得所述光源在环境跟踪曝光的积分发光强度，不低于所述光源在手持设备跟踪曝光的积分发光强度。可选地，该头戴式设备也可以无需通过向手持设备的光源发送脉冲指令的方式来调节光源积分发光强度，而采用手持设备自适应/自控制调节手持设备的光源积分发光强度的方式。
在手持设备跟踪曝光中，根据图像数据中的亮点(光斑)，可以定位手持设备。
在环境跟踪曝光中，可以看到环境跟踪曝光帧，周边背景相对较亮，手持设备上若干发光LED，会对周边环境的特征提取造成干扰。为了减少在环境跟踪曝光帧里，LED对周边环境的特征提取造成干扰，需要对此帧里的图像进行处理。
具体的处理方式如下：
具体描述为：第一步，在图像传感器捕获的第N帧，手持设备跟踪曝光帧IMAGE(N)里，通过运算算法提取出来的LED发光光斑(LED BLOB)的位置，边界等信息，该运算算法可以包括：比如二值化处理，连通域提取，形态学检测等算法，通过上述算法获得BLOB_GROUP(N)，这里面会有第N帧的所有LED BLOB的信息，根据BLOB_GROUP(N)，可进行手持设备的6DOF参数计算。
第二步，根据第N帧的LED BLOB运动信息和(如果有)手持设备上内置的IMU(惯性传感器)数据，以及由于环境跟踪曝光带来的光晕效益使得LED BLOB面积会增大，预测在第N+1帧(环境跟踪曝光帧)时，LED BLOB的位置和边界，形成BLOB_GROUP(N+1)。
第三步，图像传感器捕获的第N+1帧获得的图像IMAGE(N+1)，由于有LED BLOB干扰，不能直接使用，而是要做处理运算，该处理算法可以是简单的减法预算，也可以是一些图像变换，如卷积，或者深度学习的算法，对目标进行去除。也可以使用历史图像信息，对需要去除位置的图像进行替换，插值等，将其中的BLOB_GROUP(N+1)去除之后，对剩余的图像进行特征提取，并最终计算头戴设备的6DOF参数。
本发明实施例的空间定位装置，摄像机在工作时，可以动态调整曝光时间，形成以一定比例的环境跟踪曝光、手持设备跟踪曝光交替进行的图像序列。在此过程中，手持设备上的LED接受指令，按照一定的频率、亮度和发光时刻进行脉冲发光。为了避免对人眼造成闪烁感，LED在环境跟踪曝光、手持设备跟踪曝光的强度，控制在一定范围内。这种方式未增加摄像机的个数，从而使得头戴式设备inside-out更加简便，并避免闪烁感。
需要说明的是，上述装置可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在装置实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
其中，在一些实施例中，请参照图8，头戴式设备80包括图像传感器81、处理器82、存储器83。
头戴式设备80上安装有一个或多个图像传感器81(如摄像机)。
图像传感器81在工作时，可以动态调整曝光时间，从而形成以一定比例的环境跟踪曝光、手持设备跟踪曝光交替进行的图像序列。在此过程中，手持设备上的光源(LED)接受处理器82的指令，按照一定的频率、亮度和发光时刻进行脉冲发光。LED的脉冲发光随着时间变化，其强度可能会发生变化，其总发光强度由LED在此期间的累计发光时长和强度共同决定，这种计算总发光强度的方法称之为：积分发光强度，示例见图9所示。在图9示例中，LED发光峰值不变化。在图10中，LED发光的亮度峰值也可以是随着时间改变的。
其中，所述光源为可见光光源和/或红外光光源，且当光源为可见光光源时，所述图像传感器内可设置有红外光截止滤波片。
在头戴式设备中，可设置惯性传感器。
在本发明实施例中，所述处理器82和所述存储器83可以通过总线或者其他方式连接。
存储器83作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的头戴式设备定位方法对应的程序指令/模块。处理器82通过运行存储在存储器83中的非易失性软件程序、指令以及模块，从而执行控制器的各种功能应用以及数据处理，即实现上述方法实施例的头戴式设备定位方法。
存储器83可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据头戴式设备定位装置的使用所创建的数据等。此外，存储器83可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器83可选包括相对于处理器82远程设置的存储器，这些远程存储器可以通过网络连接至头戴式设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器83中，当被所述一个或者多个处理器82执行时，执行上述任意方法实施例中的头戴式设备定位方法，例如，执行以上描述的图2中的方法步骤101至步骤103；实现图7中的模块701-703的功能。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图8中的一个处理器82，可使得上述一个或多个处理器可执行上述任意方法实施例中的头戴式设备定位方法，例如，执行以上描述的图2中的方法步骤101至步骤103；实现图7中的模块701-703的功能。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种头戴式设备，包括：
图像传感器，
处理器，
存储器，
所述存储器存储有可被至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以执行以下方法：
向所述图像传感器发送曝光指令，以使得所述图像传感器获取所述头戴式设备周围环境的图像数据，所述周围环境的图像数据包括环境跟踪曝光和手持设备跟踪曝光的图像数据，手持设备的光源在环境跟踪曝光的积分发光强度不低于所述手持设备的光源在手持设备跟踪曝光的积分发光强度，其中，所述环境跟踪曝光时长大于所述手持设备跟踪曝光时长；
获取上一帧手持设备跟踪曝光图像数据，计算所述光源发光光斑的位置和边界；
预测当前帧环境跟踪曝光的光源发光光斑的位置和边界；
从当前帧环境跟踪曝光图像数据中，去除预测的光源发光光斑；
根据减去后的环境跟踪曝光图像数据，确定所述头戴式设备相对于周围环境的位置；
根据所述手持设备跟踪曝光图像数据，获取所述手持设备相对于所述头戴式设备的位置。
2.一种空间定位方法，应用于头戴式设备，所述头戴式设备包括：图像传感器，处理器，存储器，所述存储器存储有可被至少一个处理器执行的指令，所述方法包括：
向所述图像传感器发送曝光指令，以使得所述图像传感器获取所述头戴式设备周围环境的图像数据，所述周围环境的图像数据包括环境跟踪曝光和手持设备跟踪曝光的图像数据，手持设备的光源在环境跟踪曝光的积分发光强度不低于所述手持设备的光源在手持设备跟踪曝光的积分发光强度，其中，所述环境跟踪曝光时长大于所述手持设备跟踪曝光时长；
获取上一帧手持设备跟踪曝光图像数据，计算所述光源发光光斑的位置和边界；
预测当前帧环境跟踪曝光的光源发光光斑的位置和边界；
从当前帧环境跟踪曝光图像数据中，去除预测的光源发光光斑；
根据减去后的环境跟踪曝光图像数据，确定所述头戴式设备相对于周围环境的位置；
根据所述手持设备跟踪曝光图像数据，获取所述手持设备相对于所述头戴式设备的位置。
3.根据权利要求2所述的方法，所述预测当前帧环境跟踪曝光的光源发光光斑的位置和边界，包括：
获取所述头戴式设备的运动信息和所述手持设备的运动信息，确定环境跟踪曝光的光源发光光斑的位置，并计算环境跟踪曝光中光源发光光斑的光晕信息。
4.一种空间定位装置，包括：
发送模块，用于向图像传感器发送曝光指令，以使得所述图像传感器获取头戴式设备周围环境的图像数据，所述周围环境的图像数据包括环境跟踪曝光和手持设备跟踪曝光的图像数据，手持设备的光源在环境跟踪曝光的积分发光强度不低于所述手持设备的光源在手持设备跟踪曝光的积分发光强度，其中，所述环境跟踪曝光时长大于所述手持设备跟踪曝光时长；
第一获取模块，用于获取上一帧手持设备跟踪曝光图像数据，计算所述光源发光光斑的位置和边界；
预测当前帧环境跟踪曝光的光源发光光斑的位置和边界；
从当前帧环境跟踪曝光图像数据中，去除预测的光源发光光斑；
根据减去后的环境跟踪曝光图像数据，确定所述头戴式设备相对于周围环境的位置；
第二获取模块，用于根据所述手持设备跟踪曝光图像数据，获取所述手持设备相对于所述头戴式设备的位置。
5.根据权利要求4所述的装置，所述第一获取模块，还用于：
获取所述头戴式设备的运动信息和所述手持设备的运动信息，确定环境跟踪曝光的光源发光光斑的位置，并计算环境跟踪曝光中光源发光光斑的光晕信息。
6.一种空间定位系统，包括如权利要求1所述的头戴式设备，以及手持设备，所述手持设备上设有光源。
7.一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被头戴式设备执行时，使所述头戴式设备执行如权利要求2-3任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010402917.XA CN111614915B (zh) | 2020-05-13 | 2020-05-13 | 一种空间定位方法、装置、系统和头戴式设备 |
| PCT/CN2020/094766 WO2021227163A1 (zh) | 2020-05-13 | 2020-06-05 | 一种空间定位方法、装置、系统和头戴式设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010402917.XA CN111614915B (zh) | 2020-05-13 | 2020-05-13 | 一种空间定位方法、装置、系统和头戴式设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111614915A CN111614915A (zh) | 2020-09-01 |
| CN111614915B true CN111614915B (zh) | 2021-07-30 |
Family
ID=72201293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010402917.XA Active CN111614915B (zh) | 2020-05-13 | 2020-05-13 | 一种空间定位方法、装置、系统和头戴式设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111614915B (zh) |
| WO (1) | WO2021227163A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112286343A (zh) * | 2020-09-16 | 2021-01-29 | 青岛小鸟看看科技有限公司 | 定位追踪方法、平台及头戴显示系统 |
| CN112437213A (zh) * | 2020-10-28 | 2021-03-02 | 青岛小鸟看看科技有限公司 | 图像采集方法、手柄设备、头戴设备及头戴系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101937505B (zh) * | 2009-07-03 | 2013-03-27 | 深圳泰山在线科技有限公司 | 一种目标检测方法和设备及其使用的图像采集装置 |
| CN101937563B (zh) * | 2009-07-03 | 2012-05-30 | 深圳泰山在线科技有限公司 | 一种目标检测方法和设备及其使用的图像采集装置 |
| CN104436643B (zh) * | 2014-11-17 | 2017-05-31 | 深圳市欢创科技有限公司 | 在显示屏上输出光枪瞄准准心的方法、装置及系统 |
| CN206400472U (zh) * | 2016-08-24 | 2017-08-11 | 王忠民 | 一种虚拟现实设备及其定位系统 |
| WO2017080533A2 (zh) * | 2017-01-22 | 2017-05-18 | 广东虚拟现实科技有限公司 | 一种与虚拟现实环境进行交互的装置 |
| CN107037880A (zh) * | 2017-03-02 | 2017-08-11 | 深圳前海极客船长网络科技有限公司 | 基于虚拟现实技术的空间定位定姿系统及其方法 |
| US10503247B2 (en) * | 2017-05-09 | 2019-12-10 | Microsoft Technology Licensing, Llc | Calibration of stereo cameras and handheld object |
| EP3871034A4 (en) * | 2018-10-26 | 2022-08-10 | Magic Leap, Inc. | ELECTROMAGNETIC AMBIENT DISTORTION CORRECTION FOR ELECTROMAGNETIC TRACKING |
-
2020
- 2020-05-13 CN CN202010402917.XA patent/CN111614915B/zh active Active
- 2020-06-05 WO PCT/CN2020/094766 patent/WO2021227163A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| CN111614915A (zh) | 2020-09-01 |
| WO2021227163A1 (zh) | 2021-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111614915B (zh) | 一种空间定位方法、装置、系统和头戴式设备 | |
| JP6381711B2 (ja) | 仮想現実システムの較正 | |
| TWI723529B (zh) | 臉部辨識模組及臉部辨識方法 | |
| US20200065579A1 (en) | Pupil tracking device | |
| CN101442861B (zh) | Led灯光场景控制系统及其控制方法 | |
| GB2582469A (en) | Systems and methods for motion capture | |
| CN107690598A (zh) | 滤波装置及滤波方法 | |
| CN104641727A (zh) | 经由便携式设备控制(多个)光源 | |
| CN106664785B (zh) | 确定用于活动的适当照明的方法 | |
| RU2016113960A (ru) | Наголовное устройство отображения и способ управления наголовным устройством отображения | |
| JP6993516B2 (ja) | ヘッドマウントディスプレイおよびその方法 | |
| JP7283958B2 (ja) | 複数のマーカを備えたデバイス | |
| WO2017195450A1 (ja) | 情報処理装置、情報処理方法 | |
| CN105915810B (zh) | 一种电子设备的控制方法及电子设备 | |
| WO2021079022A1 (en) | Display apparatus and method using projection matrices to generate image frames | |
| KR102173608B1 (ko) | 제스처 기반 nui를 이용한 조명효과 제어 시스템 및 방법 | |
| US11042747B2 (en) | Masking method for augmented reality effects | |
| WO2020044809A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN111752386A (zh) | 一种空间定位方法、系统及头戴式设备 | |
| JP2015095225A (ja) | 情報生成装置、情報生成方法、及び、情報生成プログラム | |
| US11030817B2 (en) | Display system and method of using environment map to generate extended-reality images | |
| US20220161126A1 (en) | Device including plurality of markers | |
| JP4438557B2 (ja) | 撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラム | |
| JP5861881B2 (ja) | 画像合成装置、画像合成方法、プログラム、及び、画像合成システム | |
| US11023041B1 (en) | System and method for producing images based on gaze direction and field of view |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 518000, Floor 1801, Block C, Minzhi Stock Commercial Center, North Station Community, Minzhi Street, Longhua District, Shenzhen City, Guangdong Province Patentee after: Shenzhen Huanchuang Technology Co.,Ltd. Address before: 518000 C2 2315, Nanshan Zhiyuan 1001, Nanshan District Xue Yuan Avenue, Shenzhen, Guangdong. Patentee before: SHENZHEN CAMSENSE TECHNOLOGIES Co.,Ltd. |
|
| CP03 | Change of name, title or address |