CN117670997A - 一种手柄定位方法及相关装置 - Google Patents

Abstract

提供了一种手柄定位方法及相关装置，该方法包括：获取第一图像和手柄的电磁数据，其中，第一图像是电子设备处于当前位姿时拍摄到的图像，电磁数据包括手柄的边界点在世界坐标系下的坐标及其关于原点对称的坐标；将电磁数据转换至图像坐标系下，在第一图像上得到与电磁数据对应的特征点；基于上述特征点，确定第一图像的检测区域；若在第一图像的检测区域内检测到手柄的图像，则确定手柄在电子设备的前方。这样一来，便能够准确地确定出手柄的位置，解决了通过电磁数据定位手柄的歧义性问题。

Description

一种手柄定位方法及相关装置

技术领域

本申请涉及终端技术领域，尤其涉及一种手柄定位方法及相关装置。

背景技术

近年来，虚拟显示技术快速发展，例如，虚拟现实(virtual reality，VR)、增强现实(augmented reality，AR)、混合现实(mixed reality，MR)、扩展现实(extendedreality，XR)等。随着虚拟显示技术的发展，交互方式也越来越多元化。以电磁手柄为例，电磁手柄是一种贴合用户日常操作习惯的交互介质，电子设备(如VR设备)可以通过来自手柄的电磁数据来确定手柄的位置，但在初始化时存在歧义性，手柄会给出两个关于原点对称的坐标，进而导致无法判断手柄的位置。

发明内容

本申请提供了一种手柄定位方法及相关装置，以期准确地判断出手柄的实际位置。

第一方面，本申请提供了一种手柄定位方法，该方法可以由电子设备执行，或者，也可以由配置在电子设备中的部件(如芯片、芯片系统等)执行，或者，还可以由能够实现全部或部分电子设备功能的逻辑模块或软件实现，本申请对此不作限定。

可选地，上述电子设备为头戴设备，例如，VR设备、AR设备、MR设备、XR设备等。该头戴设备上可以安装有摄像头，以获取该头戴设备处于当前位姿时拍摄到的图像。

示例性地，该方法包括：获取第一图像和手柄的电磁数据，其中，第一图像是电子设备处于当前位姿时拍摄到的图像，电磁数据包括手柄的边界点在世界坐标系下的坐标及其关于原点对称的坐标；将电磁数据转换至图像坐标系下，在第一图像上得到与电磁数据对应的特征点；基于特征点，确定第一图像的检测区域；若在第一图像的检测区域内检测到手柄的图像，则确定手柄在电子设备的前方。

在上述技术方案中，通过将获取到的电磁数据转换至图像坐标系下，进而在电子设备处于当前位姿时拍摄的第一图像上得到与电磁数据对应的特征点，并根据特征点，确定第一图像的检测区域，也即检测区域包含上述特征点，不难理解，若在第一图像上的检测区域内检测出手柄的图像，则代表在特征点所指示的手柄位置确实拍摄到了手柄，也即手柄确实在特征点所指示的位置(本申请中电子设备获取到的第一图像是处于当前位姿时拍摄的，因此，认为该位置为电子设备的前方，也即手柄在电子设备的前方)，这样一来，便能够准确地确定出手柄的实际位置，解决了通过电磁数据定位手柄的歧义性问题。

结合第一方面，在第一方面的某些可能的实现方式中，上述基于特征点，确定第一图像的检测区域，包括：确定特征点中横坐标最大的第一特征点、横坐标最小的第二特征点、纵坐标最大的第三特征点以及纵坐标最小的第四特征点；基于第一特征点、第二特征点、第三特征点以及第四特征点，确定第一图像的检测区域，上述检测区域包含上述特征点，且检测区域的左边界与第二特征点具有第一预设距离、检测区域的右边界与第一特征点具有第二预设距离、检测区域的上边界与第三特征点具有第三预设距离以及检测区域的下边界与第四特征点具有第四预设距离。

第一预设距离、第二预设距离、第三预设距离以及第四预设距离的数值可以相同，也可以不同，本申请对此不作限定。

可选地，检测区域的左边界与第二特征点的距离、检测区域的右边界与第一特征点的距离、检测区域的上边界与第三特征点的距离以及检测区域的下边界与第四特征点的距离可以相同，也可以不同，本申请对此不作限定。

结合第一方面，在第一方面的某些可能的实现方式中，若第一图像的检测区域内未检测到手柄的图像，则确定手柄在电子设备的后方。

若在第一图像上的检测区域内未检测出手柄的图像，则代表在特征点所指示的手柄位置未拍摄到手柄，也即，手柄未在特征点所指示的位置，因此，认为手柄在关于原点对称的位置，也即，手柄在电子设备的后方，这样一来，便能够准确地确定出手柄的实际位置，解决了通过电磁数据定位手柄的歧义性问题。

结合第一方面，在第一方面的某些可能的实现方式中，在确定手柄在电子设备的后方之前，上述方法还包括：重复以下步骤，直至重复的次数达到预设门限值：获取第二图像，第二图像是电子设备处于另一位姿时拍摄到的图像；将电磁数据转换至图像坐标系下，在第二图像上得到与电磁数据对应的特征点；基于特征点，确定第二图像的检测区域；在第二图像的检测区域内检测手柄的图像；其中，不同次获取到的第二图像是电子设备处于不同位姿时拍摄到的图像。

若在第一图像的检测区域内未检测到手柄的图像，也可能是因为电子设备拍摄的前方视野有限，例如，手柄可能位于电子设备的正前方偏右或偏左的位置，导致未拍摄到手柄，因此，电子设备可以进一步获取第二图像，第二图像是电子设备处于另一位姿时拍摄到的图像，并针对第二图像重新进行检测，其中，针对第二图像检测的手柄和针对第一图像检测的手柄是同一手柄，也即，改变电子设备的位姿，获取电子设备在不同位姿时拍摄的图像，基于图像对同一手柄进行检测。例如，将电磁数据转换至图像坐标系下，在第二图像上得到与电磁数据对应的特征点，基于特征点，确定第二图像的检测区域，在第二图像的检测区域内检测手柄的图像。通过变换位姿，重新拍摄图像，并进行检测，有利于提高确定出的手柄的位置的准确性。

结合第一方面，在第一方面的某些可能的实现方式中，上述方法还包括：基于训练好的目标检测模型，在第一图像的检测区域对手柄进行检测。

在本申请中，可以通过预先训练好的目标检测模型，在第一图像的检测区域对手柄进行检测，目标检测模型例如包括但不限于：快速区域卷积神经网络(fast regionbased convolutional neural network，Fast R-CNN)模型、移动互联网(mobile net)模型、仅看一次(you only look once，YOLO)模型等，本申请对目标检测模型的具体类型不作限定。

结合第一方面，在第一方面的某些可能的实现方式中，上述基于训练好的目标检测模型，在第一图像的检测区域对手柄进行检测，包括：基于第一图像的检测区域，对第一图像进行裁剪，得到检测区域的图像；将检测区域的图像输入训练好的目标检测模型，以对手柄进行检测。

通过对第一图像进行裁剪，得到检测区域的图像，并将检测区域的图像输入训练好的目标检测模型进行检测，相比于直接将第一图像输入至训练好的目标检测模型，可以有效地避免输入图像过大、目标较小导致的目标检测模型检测精度不够的问题，另外，也有利于提高检测效率，降低电子设备的功耗。

结合第一方面，在第一方面的某些可能的实现方式中，上述方法还包括：获取训练集，上述训练集包括手柄的多个图像；基于上述训练集，对目标检测模型进行训练，得到训练好的目标检测模型。

通过获取手柄的多个图像对目标检测模型进行反复训练，有利于提高目标检测模型的鲁棒性，进而提高目标检测的准确性。

结合第一方面，在第一方面的某些可能的实现方式中，上述训练集是通过黑白相机、彩色相机、单目相机、双目相机中的一种或多种获取到的。

通过黑白相机、彩色相机采集的手柄图像对目标检测模型进行训练，换言之，可以采集不同场景的手柄对目标检测模型进行训练，有利于提高目标检测模型的鲁棒性，通过单目相机、双目相机采集的手柄图像对目标检测模型进行训练，也即，可以采集不同位姿下的手柄对目标检测模型进行训练，有利于提高目标检测模型的鲁棒性。

第二方面，本申请提供了一种电子设备，可以实现第一方面和第一方面任一种可能的实现方式中的方法。该装置包括用于执行上述方法的相应的单元。该装置包括的单元可以通过软件和/或硬件方式实现。

第三方面，本申请提供了一种电子设备，该装置包括处理器。该处理器与存储器耦合，可用于执行存储器中的计算机程序，以实现第一方面和第一方面任一种可能的实现方式中的方法。

可选地，该装置还包括存储器。

可选地，该装置还包括通信接口，处理器与通信接口耦合。

第四方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序或指令，当该计算机程序或指令被执行时，以实现第一方面和第一方面任一种可能的实现方式中的方法。

第五方面，本申请提供了一种计算机程序产品，该计算机程序产品包括指令，当该指令被运行时，以实现第一方面和第一方面任一种可能的实现方式中的方法。

第六方面，本申请提供了一种芯片系统，该芯片系统包括至少一个处理器，用于支持实现上述第一方面和第一方面任一种可能实现方式中所涉及的功能，例如，接收或处理上述方法中所涉及的数据等。

在一种可能的设计中，所述芯片系统还包括存储器，所述存储器用于保存程序指令和数据，存储器位于处理器之内或处理器之外。

该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

应当理解的是，本申请的第二方面至第六方面与本申请的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

附图说明

图1是本申请实施例提供的电子设备的结构示意图；

图2是适用于本申请实施例提供的方法的应用场景示意图；

图3是本申请实施例提供的一种手柄定位方法的示意性流程图；

图4是本申请实施例提供的第一图像和检测区域的示意图；

图5是本申请实施例提供的手柄定位方法的详细流程示意图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

本申请实施例提供的方法可以应用于AR设备、VR设备、MR设备、XR设备、电视、游戏机、平板电脑、车载设备、笔记本电脑等电子设备上。本申请对电子设备的具体类型不作任何限定。

示例性地，图1示出了电子设备100的结构示意图。如图1所示，该电子设备100可以包括处理器110、外部存储器接口120、内部存储器121、通用串行总线(universal serialbus，USB)接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、传感器模块180、按键190、马达191、指示器192、摄像头193、显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A、陀螺仪传感器180B、气压传感器180C、磁传感器180D、加速度传感器180E、距离传感器180F、接近光传感器180G、指纹传感器180H、温度传感器180J、触摸传感器180K、环境光传感器180L、骨传导传感器180M等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)、微控制单元(microcontroller unit，MCU)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signalprocessor，ISP)、控制器、存储器、视频编解码器、数字信号处理器(digital signalprocessor，DSP)、基带处理器及神经网络处理器(neural-network processing unit，NPU)等中的一个或多个。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，应用处理器通过音频模块170(如扬声器170A等)输出声音信号，或通过显示屏194显示图像或视频。

控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

处理器110可以通过执行指令，执行不同的操作，以实现不同的功能。该指令例如可以是设备出厂前预先保存在存储器中的指令，也可以是用户在使用过程中安装新的应用(application，APP)之后从APP中读取到的指令，本申请实施例对此不作任何限定。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口、集成电路内置音频(inter-integrated circuitsound，I2S)接口、安全数字输入输出接口(secure digital input and output，SDIO)、脉冲编码调制(pulse code modulation，PCM)接口、通用异步收发传输器(universalasynchronous receiver/transmitter，UART)接口、通用同步异步收发传输器(universalsynchronous asynchronous receiver/transmitter，USART)、移动产业处理器接口(mobile industry processor interface，MIPI)、通用输入输出(general-purposeinput/output，GPIO)接口、用户标识模块(subscriber identity module，SIM)接口和/或通用串行总线(universal serial bus，USB)接口等。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110、内部存储器121、外部存储器、显示屏194、摄像头193和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量、电池循环次数、电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)，如无线保真(wireless fidelity，Wi-Fi)网络)、蓝牙(bluetooth，BT)、全球导航卫星系统(global navigation satellite system，GNSS)、调频(frequency modulation，FM)、近距离无线通信(near field communication，NFC)技术、红外(infrared，IR)技术等无线通信的解决方案。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，5G通信系统，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，GNSS，北斗卫星导航系统(BeiDou navigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite basedaugmentation systems，SBAS)。

电子设备100可以通过GPU、显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像、视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)、有机发光二极管(organic light-emittingdiode，OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode，AMOLED)、柔性发光二极管(flex light-emittingdiode，FLED)，迷你LED(Mini LED)、微Led(Micro LED)、微OLED(Micro-OLED)、量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，电子设备100可以包括一个或多个显示屏194。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。在一些实施例中，电子设备100可以包括一个或多个摄像头193。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

在本申请实施例中，电子设备可以采用摄像头193采集处于当前位姿时拍摄的图像，进而通过ISP对图像进行处理后转发至处理器110，以便于处理器110基于采集的图像，对手柄进行检测。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3、MPEG4等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

电子设备100可以通过音频模块170，如扬声器170A、受话器170B、麦克风170C和耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放、录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个、四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

按键190包括开机键(或称电源键)、音量键等。按键190可以是机械按键，也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。例如在本申请实施例中，用户可通过对开机键190的按压或触摸，实现屏幕休眠和屏幕唤醒的功能。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持一个或多个SIM卡接口。SIM卡接口195可以支持Nano SIM卡、Micro SIM卡、SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。

应理解，本申请示意的结构并不构成对电子设备100的具体限定。在另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

为便于理解本申请实施例提供的手柄定位方法，下面将对本申请实施例提供的手柄定位方法的应用场景进行说明。可理解的，本申请实施例描述的应用场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定。

图2是适用于本申请实施例提供的方法的应用场景示意图。

如图2所示，电子设备210可以和手柄220进行通信，其中，电子设备210例如可以是VR设备、AR设备、体感游戏机、电视等设备，手柄220例如可以是电磁手柄，本申请对电子设备210和手柄220的具体类型不作限定。示例性地，用户可以通过操作手柄220，来实现对电子设备210上模拟角色等的控制。因此，对手柄220的位置进行初始化是至关重要的。

目前，以诸如VR设备等头戴设备为代表的电子设备可以通过来自电磁手柄的电磁数据来确定手柄的位置，但在初始化时存在歧义性，电磁手柄会给出两个关于原点对称的坐标，进而导致无法判断电磁手柄的位置。

为解决上述问题，本申请提供了一种手柄定位方法，通过将获取到的电磁数据转换至图像坐标系下，在电子设备处于当前位姿时拍摄的第一图像上得到与电磁数据对应的特征点，进而根据特征点，确定第一图像的检测区域，也即检测区域包含上述特征点，也就是说，若在第一图像上的检测区域内检测出手柄的图像，代表在特征点所指示的位置确实拍摄到了手柄，因此，则确定手柄在电子设备的前方，能够准确地确定出手柄的位置，解决了通过电磁数据定位手柄的歧义性问题。

在介绍本申请实施例提供的方法之前，首先做出如下几点说明：

第一，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

第二，在本申请实施例中，“多个”是指两个或两个以上。“以下一项或多项”或其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b，或c中的一项或多项，可以表示：a，b，c；a和b；a和c；b和c；或a和b和c。

下面将结合附图，详细说明本申请实施例提供的手柄定位方法。

应理解，下文示出的实施例以VR设备为例来描述，其中，VR设备上可以安装有摄像头，以用于拍摄图像，但不应对该方法的执行主体构成任何限定。只要能够通过运行记录有本申请实施例提供的方法的代码的程序，便可执行本申请实施例提供的方法。例如，VR设备也可以替换为配置在VR设备中的部件(如，芯片、芯片系统等)，或其他能够调用程序并执行程序的功能模块。本申请实施例对此不作限定。

还应理解，VR设备仅为电子设备的一示例，不应对本申请实施例构成任何限定，电子设备也可以是其他类型的设备，以实现本申请实施例提供的手柄定位方法，例如，电子设备还可以是体感游戏机、AR设备等。

图3是本申请实施例提供的一种手柄定位方法300的示意性流程图。图3所示的方法300可以包括步骤310至步骤340，下面详细说明方法300中的各个步骤。

步骤310，获取第一图像和手柄的电磁数据。

其中，上述第一图像是VR设备处于当前位姿时拍摄到的图像，上述电磁数据包括手柄的边界点在世界坐标系下的坐标及其关于原点对称的坐标。示例性地，这里的原点可以是VR设备，也就是说，电磁数据包括手柄的边界点相对于VR设备的坐标及其该坐标关于VR设备对称的坐标。

示例性地，VR设备处于当前位姿时可以通过摄像头拍摄图像，通过蓝牙从手柄获取电磁数据，电磁数据包括手柄的边界点在世界坐标系下的坐标及其关于原点对称的坐标。

可以理解，在获取第一图像和手柄的电磁数据之前，需要将用于获取手柄的电磁数据的传感器和用于拍摄第一图像的摄像头的时间戳对齐，以保证第一图像和手柄的电磁数据是针对同一时刻下获取到的，进而提高定位手柄位置的准确度。

步骤320，将电磁数据转换至图像坐标系下，在第一图像上得到与电磁数据对应的特征点。

VR设备获取到第一图像和手柄的电磁数据后，将电磁数据转换至图像坐标系下，在第一图像上得到与电磁数据对应的特征点。

在一些实施例中，VR设备将手柄的边界点的坐标及其关于原点对称的坐标中指示手柄位于VR设备的后方的坐标剔除，并通过内外参矩阵和去畸变过程，将手柄的边界点的坐标及其关于原点对称的坐标转换至图像坐标系下，以在第一图像上得到对应的特征点。

示例性地，以VR设备的坐标为原点为例，手柄的边界点的坐标及其关于原点对称的坐标包括：(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)、(x4,y4,z4)、(-x1,-y1,-z1)、(-x2,-y2,-z2)、(-x3,-y3,-z3)、(-x4,-y4,-z4)，VR设备将手柄的边界点关于原点(如VR设备)对称的坐标(-x1,-y1,-z1)、(-x2,-y2,-z2)、(-x3,-y3,-z3)、(-x4,-y4,-z4)剔除，并通过内外参矩阵和去畸变过程，具体变换过程包括关于泰勒展开式的前5项来近似鱼眼镜头的实际投影函数得到鱼眼相机模型，从世界坐标系到相机坐标系再从相机坐标系到图像坐标系，进而将(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)、(x4,y4,z4)转换至图像坐标系下的坐标，以得到第一图像上对应的特征点。

步骤330，基于上述特征点，确定第一图像的检测区域。

其中，上述特征点的个数可以为多个，VR设备可以基于上述特征点，确定出第一图像的检测区域，第一图像的检测区域包含有上述特征点，换言之，VR设备可以在包含有上述特征点的区域对手柄进行检测。

在一些实施例中，确定特征点中横坐标最大的第一特征点、横坐标最小的第二特征点、纵坐标最大的第三特征点以及纵坐标最小的第四特征点，并基于第一特征点、第二特征点、第三特征点以及第四特征点，确定第一图像的检测区域。其中，检测区域包含上述特征点，且检测区域的左边界与第二特征点具有第一预设距离、检测区域的右边界与第一特征点具有第二预设距离、检测区域的上边界与第三特征点具有第三预设距离以及检测区域的下边界与第四特征点具有第四预设距离。

可选地，检测区域的左边界与第二特征点的距离、检测区域的右边界与第一特征点的距离、检测区域的上边界与第三特征点的距离以及检测区域的下边界与第四特征点的距离可以相同，也可以不同，本申请对此不作限定。

示例性地，上述特征点包括：(20,30)、(23,29)、(19,50)以及(30,60)，其中，图像坐标系中，横轴为m轴，纵轴为n轴，横坐标最大的点为(30,60)，横坐标最小的点为(20,30)，纵坐标最大的点为(30,60)，纵坐标最小的点为(23,29)。根据特征点的最大横坐标、最小横坐标、最大纵坐标和最小纵坐标，检测区域的左边界和特征点的最小横坐标之间可以具有第一预设距离，检测区域的右边界和特征点的最大横坐标之间可以具有第二预设距离，检测区域的上边界和特征点的最大纵坐标之间可以具有第三预设距离，检测区域的下边界和特征点的最小纵坐标之间可以具有第四预设距离，以第一预设距离、第二预设距离、第三预设距离和第四预设距离都为100个像素点为例，则检测区域的左边界与(20,30)的距离为100，也即，检测区域的左边界为m＝-80的直线，检测区域的右边界与(30,60)的距离为100，也即，检测区域的右边界为m＝130的直线，检测区域的上边界与(30,60)的距离为100，也即，检测区域的上边界为n＝160的直线，检测区域的下边界与(23,29)的距离为100，也即，检测区域的下边界为n＝-71的直线。

步骤340，若在第一图像的检测区域内检测到手柄的图像，则确定手柄在VR设备的前方。

VR设备确定出第一图像的检测区域后，在第一图像的检测区域对手柄进行检测，若在第一图像的检测区域内检测到手柄的图像，则确定手柄在VR设备的前方。

其中，前方可以是指电子设备处于当前位姿时所朝向的方向。相应地，后方可以是指电子设备处于当前位姿时所朝向的方向的反方向，也可以理解为，前方关于电子设备对称的方向为后方。例如，某一用户戴着头戴设备处于当前位姿时，其面部朝向的方向记为头戴设备的前方，其背部朝向的方向记为头戴设备的后方。

可以理解，电子设备处于当前位姿时所朝向的方向为前方，因此，其拍摄到的图像是前方视野的图像，如果该图像的检测区域内检测到手柄的图像，则确定手柄在该电子设备的前方，如果没有检测到手柄的图像，则确定手柄在该电子设备的后方。

示例性地，VR设备基于训练好的目标检测模型，在第一图像的检测区域对手柄进行检测。例如，VR设备确定出检测区域后，将第一图像输入至训练好的目标检测模型，在检测区域对手柄进行检测，若在检测区域内检测到手柄的图像，则确定手柄在VR设备的前方。

可选地，上述基于训练好的目标检测模型，在第一图像的检测区域对手柄进行检测，包括：基于第一图像的检测区域，对第一图像进行裁剪，得到检测区域的图像，并将检测区域的图像输入训练好的目标检测模型，以对手柄进行检测。

示例性地，VR设备基于检测区域对第一图像进行裁剪，裁剪之后，得到检测区域的图像，并将检测区域的图像输入训练好的目标检测模型，以对手柄进行检测，这样一来，可以使得目标检测模型能够聚焦于检测区域来进行检测，相比于对整个图像进行检测来说，可以有效地避免输入图像过大、目标较小导致的目标检测模型检测精度不高的问题，也有利于提高检测效率，降低VR设备的功耗。

图4是本申请实施例提供的第一图像和检测区域的示意图。如图4中的a)所示，VR设备处于当前位姿时可以通过摄像头拍摄图像(图4在以手柄位于VR设备的前方，也即可以通过摄像头拍摄到手柄为例)，并将获取到的电磁数据转换至图像坐标系下，在第一图像上得到对应的特征点(如图4的a)中手柄上的黑点所示)。进一步地，VR设备基于上述特征点，确定出检测区域，并对其进行裁剪，得到检测区域的图像(如图4中的b)所示)，具体确定检测区域的过程可以参看图3的描述(图4中的b)示出的检测区域的左边界与第二特征点的距离、检测区域的右边界与第一特征点的距离、检测区域的上边界与第三特征点的距离以及检测区域的下边界与第四特征点的距离不同)。VR设备可以将检测区域的图像输入至训练好的目标检测模型，以对手柄进行检测。

可选地，目标检测模型例如包括但不限于：Fast R-CNN模型、mobile net模型、YOLO模型等，本申请对目标检测模型的具体类型不作限定。

可选地，图3所述的方法300还包括：获取训练集，上述训练集包括手柄的多个图像；基于训练集，对目标检测模型进行训练，得到训练好的目标检测模型。

示例性地，VR设备可以通过摄像头采集手柄在不同位姿下、不同场景下的图像，并基于上述图像对目标检测模型进行训练，有利于提高目标检测模型的精度，进而提高目标检测的准确性。

可选地，上述训练集是通过黑白相机、彩色相机、单目相机、双目相机中的一种或多种获取到的。

VR设备可以通过黑白相机、彩色相机采集的手柄图像对目标检测模型进行训练，换言之，可以采集不同颜色的手柄对目标检测模型进行训练，还可以通过单目相机、双目相机采集的手柄图像对目标检测模型进行训练，换言之，可以采集不同位姿下的手柄对目标检测模型进行训练。

可以理解，上述方法中可能存在第一图像的检测区域内未检测到手柄的图像的情况。在一些实施例中，若第一图像的检测区域内未检测到手柄的图像，VR设备直接确定手柄在VR设备的后方。

在一些实施例中，VR设备可以重复以下步骤，直至重复的次数达到预设门限值：获取第二图像，第二图像是VR设备处于另一位姿时拍摄到的图像；将电磁数据转换至图像坐标系下，在第二图像上得到与电磁数据对应的特征点；基于特征点，确定第二图像的检测区域；在第二图像的检测区域内检测手柄；其中，不同次获取到的第二图像是VR设备处于不同位姿时拍摄到的图像。

可以理解，若在第一图像的检测区域内未检测到手柄的图像，也可能是因为VR设备通过摄像头拍摄的前方视野有限，例如，手柄可能位于VR设备的正前方偏右或偏左的位置，导致未拍摄到手柄，因此，VR设备可以进一步获取第二图像，第二图像是VR设备处于另一位姿时拍摄到的图像，并针对第二图像重新进行检测，其中，针对第二图像检测的手柄和针对第一图像检测的手柄是同一手柄，也即，改变电子设备的位姿，拍摄不同位姿下电子设备前方视野的图像，基于图像对同一手柄进行检测。例如，将电磁数据转换至图像坐标系下，在第二图像上得到与电磁数据对应的特征点，基于特征点，确定第二图像的检测区域，在第二图像的检测区域内检测手柄。通过变换位姿，重新拍摄图像，并进行检测，有利于提高确定出的手柄的位置的准确性。

图5是本申请实施例提供的手柄定位方法的详细流程示意图。

步骤510，电磁数据和第一图像时间戳对齐。

其中，电磁数据和第一图像时间戳对齐的方式具体参见步骤310的相关描述，此处不再赘述。

步骤520，将电磁数据转换至图像坐标系下，在第一图像上得到特征点。

VR设备获取到第一图像和手柄的电磁数据后，将电磁数据转换至图像坐标系下，在第一图像上得到与电磁数据对应的特征点。具体的步骤可以参看图3的描述，此处不再赘述。

步骤530，基于特征点，确定第一图像的检测区域，并对其进行裁剪，得到检测区域的图像。

第一图像的检测区域包含有上述特征点。VR设备得到特征点后，基于上述特征点，确定检测区域，并将检测区域从第一图像上裁剪下来，得到检测区域的图像，以便于在检测区域内对手柄进行检测。具体的步骤可以参看图3的描述，此处不再赘述。

步骤540，采集不同场景下和不同位姿下的手柄图像，得到训练集。

VR设备可以通过摄像头采集不同场景、不同位姿下的手柄图像，得到训练集。

步骤550，基于上述训练集，对目标检测模型进行训练。

步骤560，基于训练好的目标检测模型，对手柄进行检测，输出检测结果。

VR设备可以将检测区域的图像输入至训练好的目标检测模型，以对手柄进行检测，若检测结果指示在检测区域内检测到手柄的图像，则确定手柄在VR设备的前方；若检测结果指示检测区域内未检测到手柄的图像，则确定手柄在VR设备的后方。

基于上述技术方案，通过将获取到的电磁数据转换至图像坐标系下，在电子设备处于当前位姿时拍摄的第一图像上得到与电磁数据对应的特征点，进而根据特征点，确定第一图像的检测区域，也即检测区域包含上述特征点，不难理解，若在第一图像上的检测区域内检测出手柄，则代表在特征点所指示的位置确实拍摄到了手柄，也即手柄确实在特征点所指示的位置(本申请中电子设备获取到的第一图像是电子设备处于当前位姿时拍摄的，因此，认为该位置为电子设备的前方，也即手柄在电子设备的前方)，这样一来，便能够准确地确定出手柄的位置，解决了通过电磁数据定位手柄的歧义性问题。

本申请实施例还提供了一种电子设备，该电子设备例如可以为图1所示的电子设备，该电子设备包括用于执行上述方法实施例中电子设备所执行的步骤的相应的单元，可以用于实现上述方法实施例中电子设备的功能。该电子设备包括的单元可以通过软件和/或硬件方式实现。

本申请实施例还提供一种电子设备，该电子设备例如可以为图1所示的电子设备，该电子设备中的存储器用于存储计算机程序，该电子设备中的处理器用于调用并执行计算机程序，以实现图3或图5所示实施例中所述的方法。

本申请还提供了一种芯片系统，所述芯片系统包括至少一个处理器，用于实现上述图3或图5所示实施例所述的方法，例如，接收或处理上述方法中所涉及的数据和/或信息。

在一种可能的设计中，所述芯片系统还包括存储器，所述存储器用于保存程序指令和数据，存储器位于处理器之内或处理器之外。

该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

本申请还提供一种计算机程序产品，所述计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当所述计算机程序被运行时，使得电子设备实现图3或图5所示实施例所述的方法。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序(也可以称为代码，或指令)。当所述计算机程序被运行时，使得电子设备实现图3或图5所示实施例所述的方法。

应理解，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

还应理解，本申请实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本说明书中使用的术语“单元”、“模块”等，可用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各种说明性逻辑块(illustrative logical block)和步骤(step)，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。在本申请所提供的几个实施例中，应该理解到，所揭露的装置、设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在上述实施例中，各功能单元的功能可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令(程序)。在计算机上加载和执行所述计算机程序指令(程序)时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种手柄定位方法，其特征在于，包括：

获取第一图像和手柄的电磁数据，所述第一图像是电子设备处于当前位姿时拍摄到的图像，所述电磁数据包括所述手柄的边界点在世界坐标系下的坐标及其关于原点对称的坐标；

将所述电磁数据转换至图像坐标系下，在所述第一图像上得到与所述电磁数据对应的特征点；

基于所述特征点，确定所述第一图像的检测区域；

若在所述第一图像的检测区域内检测到所述手柄的图像，则确定所述手柄在所述电子设备的前方。

2.如权利要求1所述的方法，其特征在于，所述基于所述特征点，确定所述第一图像的检测区域，包括：

确定所述特征点中横坐标最大的第一特征点、横坐标最小的第二特征点、纵坐标最大的第三特征点以及纵坐标最小的第四特征点；

基于所述第一特征点、所述第二特征点、所述第三特征点以及所述第四特征点，确定所述第一图像的检测区域，所述检测区域包含所述特征点，且所述检测区域的左边界与所述第二特征点具有第一预设距离、所述检测区域的右边界与所述第一特征点具有第二预设距离、所述检测区域的上边界与所述第三特征点具有第三预设距离以及所述检测区域的下边界与所述第四特征点具有第四预设距离。

3.如权利要求1或2所述的方法，其特征在于，若在所述第一图像的检测区域内未检测到所述手柄的图像，则确定所述手柄在所述电子设备的后方。

4.如权利要求3所述的方法，其特征在于，在所述确定所述手柄在所述电子设备的后方之前，所述方法还包括：

重复以下步骤，直至重复的次数达到预设门限值：

获取第二图像，所述第二图像是所述电子设备处于另一位姿时拍摄到的图像；

将所述电磁数据转换至图像坐标系下，在所述第二图像上得到与所述电磁数据对应的特征点；

基于所述特征点，确定所述第二图像的检测区域；

在所述第二图像的检测区域内检测所述手柄；

其中，不同次获取到的第二图像是所述电子设备处于不同位姿时拍摄到的图像。

5.如权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

基于训练好的目标检测模型，在所述第一图像的检测区域对所述手柄进行检测。

6.如权利要求5所述的方法，其特征在于，所述基于训练好的目标检测模型，在所述第一图像的检测区域对所述手柄进行检测，包括：

基于所述第一图像的检测区域，对所述第一图像进行裁剪，得到检测区域的图像；

将所述检测区域的图像输入所述训练好的目标检测模型，以对所述手柄进行检测。

7.如权利要求5或6所述的方法，其特征在于，所述方法还包括：

获取训练集，所述训练集包括所述手柄的多个图像；

基于所述训练集，对所述目标检测模型进行训练，得到所述训练好的目标检测模型。

8.如权利要求7所述的方法，其特征在于，所述训练集是通过黑白相机、彩色相机、单目相机、双目相机中的一种或多种获取到的。

9.一种电子设备，其特征在于，包括处理器和存储器，其中，

所述存储器用于存储计算机程序；

所述处理器用于调用所述计算机程序，以使得所述电子设备执行权利要求1至8中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序或指令，当所述计算机程序或指令被计算机执行时，实现如权利要求1至8中任一项所述的方法。

11.一种计算机程序产品，其特征在于，所述计算机程序产品包括指令，当所述指令被计算机运行时，实现如权利要求1至8中任一项所述的方法。