CN111354037A - 一种定位方法及系统 - Google Patents

Abstract

本申请公开了一种定位方法及系统，用以基于深度学习方式实现运动捕捉系统中检测目标的检测及像素级分割，并结合惯性传感器来获得检测目标高频率的定位输出，从而得到检测目标高频高精度的世界坐标，有效提高了目标定位的成功率和精确度。本申请提供的一种定位方法包括：利用至少一台检测相机获取的检测目标的彩色图像与深度图像，确定所述检测目标的至少一个位置坐标，并根据所述位置坐标，确定所述至少一个检测相机与所述检测目标的距离数据；根据检测目标的世界坐标，以及对惯性传感器输出的所述检测目标的世界坐标的加速度信号进行积分的结果，最终确定所述检测目标的世界坐标。

Description

一种定位方法及系统

技术领域

本申请涉及图像处理领域，尤其涉及一种定位方法及系统。

背景技术

目标追踪和定位是机器人研究领域中十分重要的一项研究内容。机器人在运动的过程中，需要清楚地获取周围和环境信息以及自身所在的位置，才能顺利地进行路径规划和自主导航等任务，上述过程依赖于同步定位和建图(Simultaneous Localization AndMapping，SLAM)技术。SLAM的算法输出要与真值(ground truth)比较才能得到算法的效果，比如定位的精度、轨迹偏移等，而如何获取真值是这一过程的关键。

基于目标追踪和定位技术的运动捕捉系统是一种用于准确测量运动物体在三维空间运动状况的高技术设备，它基于计算机图形学原理，通过排布在空间中的数个视频捕捉设备将运动物体(标志点)的运动状况以图像的形式记录下来，然后使用计算机对该图像数据进行处理，得到不同时间计量单位上不同物体(标志点)的空间坐标(X，Y，Z)。

目前，多数SLAM技术的前期对比验证主要基于网上的各种各样的数据集，例如TUM(德国慕尼黑工业大学)、KITTI提供的RGBD数据集、单目数据集等，但这种网上的数据集并不能满足在移动机器人项目的开发要求，例如网上数据集的相机、加速度计、陀螺仪等硬件和移动机器人实际使用的硬件不同，以及采集频率和分辨率也不相同，因此，在移动机器人项目的实际开发过程中对运动捕捉系统的运用需求强烈。

发明内容

本申请实施例提供了一种定位方法及系统，用以基于深度学习方式实现运动捕捉系统中检测目标的检测及像素级分割，并结合惯性传感器来获得检测目标高频率的定位输出，从而得到检测目标高频高精度的世界坐标，有效提高了目标定位的成功率和精确度。

本申请实施例提供的一种定位方法包括：

利用至少一台检测相机获取的检测目标的彩色图像与深度图像，确定所述检测目标的至少一个位置坐标，并根据所述位置坐标，确定所述至少一个检测相机与所述检测目标的距离数据；

其中，检测目标为实际检测目标的特征物，所述实际检测目标可以是移动机器人；

根据所述至少一个检测相机与检测目标的所述距离数据，确定所述检测目标的世界坐标；

对惯性传感器输出的所述检测目标的世界坐标的加速度信号进行积分；

根据所述检测目标的世界坐标，以及对惯性传感器输出的所述检测目标的世界坐标的加速度信号进行积分的结果，最终确定所述检测目标的世界坐标。

由于移动机器人的形状复杂并且特征不够明显，直接通过图像识别来检测和追踪移动机器人难度较大并且效果不佳，因此本申请实施例通过在移动机器人上放置特征标志物来识别移动机器人，本申请实施例将特征标志物固定在移动机器人的上方，通过追踪特征标志物来间接追踪移动机器人；在追踪移动机器人的过程中采用基于目标检测方式来跟踪移动机器人，有效提升了目标检测的精确度；采用不断刷新数据帧(即检测相机不断获取检测目标图像)的方式不断更新特征标志物的位置，从而实现对特征标志物的追踪，与基于物体本身的目标追踪的方法相比本申请实施例提供的目标检测及定位方法更加简单易行，而且不需要额外的传感器。

本申请实施例提供的定位方法，首先基于检测相机获取的检测目标的彩色图像进行深度学习的推理，从而得到的检测目标的检测框，再进行像素级分割得到二维坐标，再基于深度图得到检测目标与检测相机的具体距离初步确定检测目标的世界坐标，最终结合惯性传感器来获得检测目标高频率的定位输出，从而得到检测目标高频高精度的世界坐标，本申请实施例所述方法满足了将运动捕捉运用在移动机器人的实际开发过程中的需求。

可选地，利用至少一台检测相机获取的检测目标的彩色图像与深度图像，确定所述检测目标的至少一个位置坐标，具体包括：

根据所述图像校准后检测目标的深度图像与检测目标的彩色图像的像素点对应关系，初步确定检测目标的深度值；

根据初步确定的检测目标的深度值，确定所述检测目标的位置坐标。

本申请采用的检测相机可以为英特尔公司发布的Realsense D系列深度相机，所述深度相机的深度距离精度大概是1％以内，即1m的误差大概在1cm以内，但并不是所有的像素点都有深度值，所有的深度也并非准确，因此可以通过深度相机的post-processing选项来减少深度图像中不准确的像素点，提高深度值的精度，保证计算结果的准确性；由于本申请采用的深度相机的深度视角比彩色视角更大，所以在深度图像与彩色图像分辨率相同的情况下，彩色图像与深度图像中的像素点并非一一对应，因此还需要图像校准，本申请采用的Realsense系列深度相机具有图像校准功能。

可选地，根据初步确定的检测目标的深度值，确定所述检测目标的位置坐标，具体包括：

利用检测相机获取的检测目标的彩色图像，确定满足目标检测技术的标准图像；

对满足目标检测技术的标准图像中的检测目标进行检测标定，确定标定文件；

根据所述标定文件和所述满足目标检测技术的标准图像，通过深度学习网络的训练模型，确定检测目标的检测推理模型；

根据检测推理模型得到所述检测目标所在图像的检测框，再在检测框内进行像素级分割从而得到检测对象的二维坐标，进一步确定的检测目标的深度值，最后结合惯性传感器的定位输出，最终确定检测目标的深度值；

根据最终确定的检测目标的深度值，确定所述检测目标的位置坐标。

本申请实施例提供的目标检测及定位的方法，可以是基于快速的基于区域的卷积网络方法，即Fast R-CNN目标检测方法。

可选地，所述满足目标检测技术的标准图像，是对检测相机采集的检测目标的彩色图像经过稳像及高动态范围曝光(High Dynamic Range exposure，HDR)合成后得到的。

可选地，根据所述至少一个检测相机与检测目标的所述距离数据，确定所述检测目标的世界坐标，具体包括：

分别确定各台检测相机与检测目标的距离；

根据每台检测相机与检测目标的距离，和所述每台检测相机的位置坐标，采用三边定位算法，确定所述检测目标的世界坐标。

可选地，该方法还包括采用最小二乘算法优化所述检测目标的世界坐标。

本申请通过运动捕捉的ROS节点订阅检测相机的彩色图像和深度图像话题，在深度图像中获取检测相机到特征物的距离，计算机根据深度相机获取相机到特征物的距离，并根据三台相机各自的坐标采用三边定位算法计算出特征物的世界坐标，当采用更多相机检测特征物时，可以采用最小二乘优化法对特征物的世界坐标进行优化。

本申请实施例最终输出的结果跟上述优化的检测目标的世界坐标以及惯性传感器插值定位输出的结合得到，惯性传感器插值具体包括：服务器对图像帧和惯性传感器的时间戳进行时间同步，使得两者具有统一的时间标度；以两帧图像的第一帧图像为初始时刻，对加速度计输出信号进行两次积分得到惯性传感器频率下的三自由位置输出；对检测目标中心和惯性传感器进行外参标定使得检测目标位置与惯性传感器位置统一，提高检测精度；将惯性传感器得到的三自由位置输出根据外参转换成检测目标的位置输出。

本申请提供了一种定位装置，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行：

利用至少一台检测相机获取的检测目标的彩色图像与深度图像，确定所述检测目标的至少一个位置坐标，并根据所述位置坐标，确定所述至少一个检测相机与所述检测目标的距离数据；

根据所述至少一个检测相机与检测目标的所述距离数据，确定所述检测目标的世界坐标；

对惯性传感器输出的所述检测目标的世界坐标的加速度信号进行积分；

根据所述检测目标的世界坐标，以及对惯性传感器输出的所述检测目标的世界坐标的加速度信号进行积分的结果，最终确定所述检测目标的世界坐标。

可选地，利用至少一台检测相机获取的检测目标的彩色图像与深度图像，确定所述检测目标的至少一个位置坐标，具体包括：

根据所述图像校准后检测目标的深度图像与检测目标的彩色图像的像素点对应关系，初步确定检测目标的深度值；

根据初步确定的检测目标的深度值，确定所述检测目标的位置坐标。

可选地，根据初步确定的检测目标的深度值，确定所述检测目标的位置坐标，具体包括：

利用检测相机获取的检测目标的彩色图像，确定满足目标检测技术的标准图像；

对满足目标检测技术的标准图像中的检测目标进行检测标定，确定标定文件；

根据所述标定文件和所述满足目标检测技术的标准图像，通过深度学习网络的训练模型，确定检测目标的检测推理模型；

根据所述检测目标的检测推理模型和像素级分割算法以及初步确定的检测目标的深度值，最终确定检测目标的深度值；

根据最终确定的检测目标的深度值，确定所述检测目标的位置坐标。

可选地，所述满足目标检测技术的标准图像，是对检测相机采集的检测目标的彩色图像经过稳像及高动态范围曝光HDR合成后得到的。

可选地，根据所述至少一个检测相机与检测目标的所述距离数据，确定所述检测目标的世界坐标，具体包括：

分别确定各台检测相机与检测目标的距离；

根据每台检测相机与检测目标的距离，和所述每台检测相机的位置坐标，采用三边定位算法，确定所述检测目标的世界坐标。

可选地，该装置还包括：采用最小二乘算法优化所述检测目标的世界坐标。

相应地，本申请提供了一种定位系统，该系统包括上述定位装置。

可选地，该系统还包括：至少一台用来检测与检测目标的距离并发送给所述定位装置的检测相机；

一台惯性传感器，用来输出检测目标的世界坐标的加速度信号。

本申请另一实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的一种定位系统的结构示意图；

图2为本申请实施例提供的一种定位方法具体实施流程示意图；

图3为本申请实施例提供的一种定位方法流程示意图；

图4为本申请实施例提供的一种定位装置结构示意图；

图5为本申请实施例提供的一种定位系统结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种定位方法及系统，用以基于深度学习方式实现运动捕捉系统中检测目标的检测及图像像素级分割，并结合惯性传感器来获得检测目标高频率的定位输出，从而得到检测目标高频高精度的世界坐标，有效提高了目标检测的成功率和精确度。

其中，方法和装置是基于同一申请构思的，由于方法和装置解决问题的原理相似，因此装置和方法的实施可以相互参见，重复之处不再赘述。

本申请实施例提供的技术方案可以适用于多种系统，尤其是5G系统。例如适用的系统可以是全球移动通讯(global system of mobile communication，GSM)系统、码分多址(code division multiple access，CDMA)系统、宽带码分多址(Wideband CodeDivision Multiple Access，WCDMA)通用分组无线业务(general packet radio service，GPRS)系统、长期演进(long term evolution，LTE)系统、LTE频分双工(frequencydivision duplex，FDD)系统、LTE时分双工(time division duplex，TDD)、通用移动系统(universal mobile telecommunication system，UMTS)、全球互联微波接入(worldwideinteroperability for microwave access，WiMAX)系统、5G系统以及5G NR系统等。这多种系统中均包括终端设备和网络设备。

本申请实施例涉及的终端设备，可以是指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。在不同的系统中，终端设备的名称可能也不相同，例如在5G系统中，终端设备可以称为用户设备(user equipment，UE)。无线终端设备可以经RAN与一个或多个核心网进行通信，无线终端设备可以是移动终端设备，如移动电话(或称为“蜂窝”电话)和具有移动终端设备的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据。例如，个人通信业务(personal communication service，PCS)电话、无绳电话、会话发起协议(session initiated protocol，SIP)话机、无线本地环路(wireless local loop，WLL)站、个人数字助理(personal digital assistant，PDA)等设备。无线终端设备也可以称为系统、订户单元(subscriber unit)、订户站(subscriberstation)，移动站(mobile station)、移动台(mobile)、远程站(remote station)、接入点(access point)、远程终端设备(remote terminal)、接入终端设备(access terminal)、用户终端设备(user terminal)、用户代理(user agent)、用户装置(user device)，本申请实施例中并不限定。

本申请实施例涉及的网络设备，可以是基站，该基站可以包括多个小区。根据具体应用场合不同，基站又可以称为接入点，或者可以是指接入网中在空中接口上通过一个或多个扇区与无线终端设备通信的设备，或者其它名称。网络设备可用于将收到的空中帧与网际协议(internet protocol，IP)分组进行相互转换，作为无线终端设备与接入网的其余部分之间的路由器，其中接入网的其余部分可包括网际协议(IP)通信网络。网络设备还可协调对空中接口的属性管理。例如，本申请实施例涉及的网络设备可以是全球移动通信系统(global system for mobile communications，GSM)或码分多址接入(code divisionmultiple access，CDMA)中的网络设备(base transceiver station，BTS)，也可以是带宽码分多址接入(wide-band code division multiple access，WCDMA)中的网络设备(NodeB)，还可以是长期演进(long term evolution，LTE)系统中的演进型网络设备(evolutional node B，eNB或e-NodeB)、5G网络架构(next generation system)中的5G基站，也可是家庭演进基站(home evolved node B，HeNB)、中继节点(relay node)、家庭基站(femto)、微微基站(pico)等，本申请实施例中并不限定。

下面结合说明书附图对本申请各个实施例进行详细描述。需要说明的是，本申请实施例的展示顺序仅代表实施例的先后顺序，并不代表实施例所提供的技术方案的优劣。

现存的SLAM技术的对比验证方案包括基于高速相机的运动捕捉方案、二维码方案(例如，在地上贴特征二维码，移动机器人车体前部有摄像头实时检测这些二维码，通过算法处理为SLAM提供真值)，激光扫描方案(例如，先在移动机器人上安装激光扫描装置，提前在场地中扫描来收集场地的精准地图信息，将此信息作为SLAM的真值)等，但是以上方案都存在很多不足之处，比如高速相机方案的采购成本非常昂贵，二维码方案要在场地中繁琐得铺设二维码，可移植性很低，激光扫描方案价格高昂。

目前，将目标检测和追踪用在机器人领域来求解SLAM算法真值的需求是真切存在的，因此，我们提出一种使用基于深度相机的运动捕捉系统来获取SLAM定位真值的方案，该方案基于深度学习的方式进行视觉目标检测，从而获知移动机器人的位置，进而通过深度相机得到相机与移动机器人的距离，然后通过至少三个距离数据来进行求解移动机器人的世界坐标，即得到真值。具体实施内容参见以下实施例。

实施例一，基于深度相机的运动捕捉系统的硬件结构。

本申请实施例主要硬件结构如图1所示，图1中基于深度相机的目标追踪和定位系统由场地外围的多台深度相机、移动机器人及移动机器人上的特征标志物(例如黄色小球)和惯性传感器组成，其中深度相机主要用于输出彩色图像和深度图像，例如可以采用Intel生产的RealSense D系列深度相机，可以获取0.2m-10m的深度距离，精度可达毫米级。可基于该深度相机提供的彩色图像根据深度学习的方式进行小球检测，通过该深度相机的深度图像进行距离检测。标志物是一些特制的小球，在它的表面涂了一层反光能力很强的物质，在摄像机的捕捉状态下，它会显得格外的明亮，使摄像机很容易捕捉到它的运动轨迹。

实施例二，通过检测目标的特征物确定检测目标。

移动机器人即实际检测目标(本申请实施例采用小车代表移动机器人)的位置确定需要解决目标检测和坐标获取两个问题，在解决这两个问题之前，由于小车的形状复杂并且特征不够明显，直接通过图像识别来检测和追踪小车难度较大并且效果不佳，因此，我们通过在小车上放置标志物的方式来识别小车，我们把标志物(本申请实施例中的标志物统一为黄色小球，具体实施时标志物不限)固定在的正上方，通过追踪小球来间接地追踪小车。采用不断刷新数据帧(即深度相机持续获取小球图片)的方式来不断更新小球位置，从而实现小球的追踪。

相比与其他的基于物体本身的目标追踪的方案，结合本申请实施例二的目标追踪方案更加简单易行，而且不需要额外的传感器。

实施例三，在追踪小球的过程中，采用基于目标检测技术的目标检测和像素级分割方式来跟踪小球，本申请实施例采用的目标检测技术是基于Fast R-CNN的目标检测技术。在深度相机输出的每一帧的彩色图片中，通过Fast R-CNN目标检测技术来准确地检测出小球所在的矩形框位置，参见图2，具体包括：

步骤301、通过深度相机的彩色摄像头，采集室内空间的图像；

步骤302、将采集到的彩色图像经过稳像及HDR(高动态范围曝光)合成后，产生输入Fast R-CNN的检测器的合格图像；其中HDR(高动态范围曝光)使用多张不同曝光度的图片融合为1张图片，确保图片中没有过爆部分及过暗部分，接近于目视效果；

Fast R-CNN使用拥有16层模型的卷积神经网络模型VGG16网络模型作为基础网络模型，为了增强对小目标的检测及分割精度，将第一个卷积层使用的64个滤波器增加到128个，滤波器的个数具体实施例时可根据实施情况进行配置；

对第一个卷积层使用的128个滤波器算子，固定分配64个滤波器，使用Sobel边缘检测算子得到特征标志物的矩形框；

步骤303、上一步骤中的目标检测过程生成了小球在图像中所处位置的矩形框，但是尚未得到小球的像素坐标，因此本步骤通过Opencv自带的图像分割工具根据亮度和颜色进行像素级分割。

首先，将图片由RGB颜色空间转换为HSV颜色空间，HSV颜色空间可以更直观地反映物体的颜色，便于利用颜色进行分割；再根据标记物在HSV颜色空间中的范围，对图像进行分割。属于标记物颜色的像素被保留下来(变为白色)，其余像素置为黑色；

再利用Opencv自带的函数getStructuringElement函数得到指定形状和尺寸的结构元素进行形态学运算，对刚才得到的图像进行膨胀，以使对应区域更明显。最后利用Opencv自带的函数HoughCircles进行霍夫梯度法Hough变换，提取图像中的圆形(小球的平面图形为圆形)；

根据提取到的图像中的圆形标志物区域进行标定，生成标定文件label.xml；

本步骤通过将标定文件和原始图片输入与本申请实施例相适应的Fast R-CNN系统中进行交替训练，并生成检测推理模型，该检测推理模型用于小球检测，根据所述图像分割的结果得到特征标志物的所在的矩形框，再进一步利用霍夫梯度法提取出小球的中心坐标；

其中，对检测相机采集的检测目标的彩色图片有如下要求：

检测目标处于不同环境光下的状态，所述不同环境光包括：强光、中光、弱光；

检测目标的不同旋转角度(例如：10度、20度…360度)；

检测目标处于不同位置(例如：拐角处、跑道处、丁字路口、十字路口等)；

检测目标所处位置的地面颜色；

检测目标所处位置的地面材质(例如：大理石、人工大理石、木质、瓷砖等)。

实施例四，图像校准。

步骤401、检测相机获取检测目标的深度图像；

步骤402、首先，使用完成小球检测和分割之后得到小球圆心的像素点行列值在深度图像中寻找对应的像素点并获取对应像素点的值，由于深度图中的像素值一般以mm为单位，所以需要将所述对应像素点的值乘以一定放大倍数，得到以米为单位的相机坐标系的Z值(相机坐标系的X，Y，Z轴中的Z轴坐标)；但是，默认情况下，由于RealSense相机的深度视角(FOV)比彩色视角更大，即使在深度图与彩色图分辨率相同的情况下，两幅图中的像素点也不是一一对应的，需要进行图像校准来对齐深度图和彩色图；

RealSense深度相机中基于ROS的realsense开发包，创建realsenes节点，发布彩色图话题和深度图话题中，提供图像校准的功能，但是默认情况下，在多个相机节点同时启动的情况下并不发布对齐后的图像话题；因此，计算机通过修改multi_devices.launch这一文件，使多相机的情况下亦发布对齐后的图像话题，然后订阅/camera/align_depth_to_color话题，得到与彩色图对齐之后的深度图像，该图像与彩色图的像素点是一一对应的；

步骤403、在完成实施例三中的小球检测和像素级分割之后，得到小球圆心的像素点行列值，进行上述图像校准后，使用该值在检测相机的深度图像中寻找对应的像素点并取出对应像素点的值，再进行单位转换，转换成以米为单位的深度值。

实施例五，特征物世界坐标的初步确定，具体实施流程参见图2。

步骤501、当检测相机通过以上实施例同时检测到小球，并获取与小球的有效距离时，通过三边定位算法计算出特征标志物的世界坐标；本申请实施例还实现了使用Ceres库(一种解决优化问题的C++库)提供的非线性最小二乘优化算法来优化三边定位的计算结果，随着检测相机数量增多，最小二乘优化算法的迭代次数增加，算法优化效果就更为明显。

实施例六，惯性传感器插值。

目标检测和三维定位系统用于实时计算出移动机器人的世界坐标，本申请实施例提供的系统采用放置与移动机器人上的彩色小球代表移动机器人的位置，由多台深度相机组成，首先通过上述实施例对彩色图像进行Fast R-CNN得到小球的目标检测，再根据传统的图像处理方法再对小球进行像素级分割得到小球具体的二维坐标，再根据深度图得到小球距离相机的具体距离，最终通过多个相机的输出距离得到移动机器人的三维世界坐标，但由于现有技术基于图像的处理速度不能满足高频的需求，因此本申请实施例采用高频的惯性传感器对两个图像帧之间进行定位插值，以获得高频率的定位输出。

步骤601，深度相机获取的图像两帧之间的定位输出通过惯性传感器插值得到。惯性传感器信号来自三自由度的加速度计，由惯性传感器中的加速度计向电脑以高频率输出加速度信号，所述加速度信号通过实际检测目标的采集电路获得，其输出频率要比图像的输出频率高一个数量级，每次插值以两帧的第一帧为初始时刻，对加速度计输出的信号进行两次积分得到惯性传感器频率下的三自由度输出；

步骤602，结合步骤501所得到的小球的世界坐标和惯性传感器插值定位输出就可以得到实际检测目标(小车)的高频高精度的三维坐标位置，具体包括：

对图像帧和惯性传感器的时间戳进行时间同步，并进行对其操作；其中，时间同步即通过对两者时钟的同步操作，使得两者具有一个统一时间标度的过程；对齐操作即找到两者的对应关系；

以两帧图像的第一帧图像为初始时刻，对加速度计输出信号进行两次积分得到惯性传感器频率下的三自由位置输出；

由于惯性传感器的位置与小球位置有偏差，因此需要对小球中心和惯性传感器进行外参标定，即将小球位置与加速度计位置统一；

将惯性传感器得到的三自由位置输出根据外参转换成小球的坐标位置输出；

最后将该输出坐标值发送给小车作为当前小车的轨迹真值，用于校验小车自身SLAM得到的轨迹。

综上所述，本申请实施例提供了一种定位方法，参见图3，包括：

S101、利用至少一台检测相机获取的检测目标的彩色图像与深度图像，确定所述检测目标的至少一个位置坐标，并根据所述位置坐标，确定所述至少一个检测相机与所述检测目标的距离数据；

S102、根据所述至少一个检测相机与检测目标的所述距离数据，确定所述检测目标的世界坐标，具体实施时可根据本申请实施例三提出的基于深度学习方式来实现检测目标的检测及像素级分割；

S103、对惯性传感器输出的所述检测目标的世界坐标的加速度信号进行积分；

S104、根据所述检测目标的世界坐标，以及对惯性传感器输出的所述检测目标的世界坐标的加速度信号进行积分的结果，最终确定所述检测目标的世界坐标，例如本申请实施例五。

本申请实施例提供了一种定位装置，参见图4，包括：

处理器400，用于读取存储器420中的程序，执行下列过程：

利用至少一台检测相机获取的检测目标的彩色图像与深度图像，确定所述检测目标的至少一个位置坐标，并根据所述位置坐标，确定所述至少一个检测相机与所述检测目标的距离数据；

根据收发机410接收的所述至少一个检测相机与检测目标的所述距离数据，确定所述检测目标的世界坐标；

对惯性传感器输出的所述检测目标的世界坐标的加速度信号进行积分；

根据所述检测目标的世界坐标，以及对惯性传感器输出的所述检测目标的世界坐标的加速度信号进行积分的结果，最终确定所述检测目标的世界坐标。

可选地，处理器400利用至少一台检测相机获取的检测目标的彩色图像与深度图像，确定所述检测目标的至少一个位置坐标，具体包括：

根据所述图像校准后检测目标的深度图像与检测目标的彩色图像的像素点对应关系，初步确定检测目标的深度值；

根据初步确定的检测目标的深度值，确定所述检测目标的位置坐标。

可选地，处理器400根据初步确定的检测目标的深度值，确定所述检测目标的位置坐标，具体包括：

利用检测相机获取的检测目标的彩色图像，确定满足目标检测技术的标准图像；

对满足目标检测技术的标准图像中的检测目标进行检测标定，确定标定文件；

根据所述标定文件和所述满足目标检测技术的标准图像，通过深度学习网络的训练模型，确定检测目标的检测推理模型；

根据所述检测目标的检测推理模型和图像分割算法，以及初步确定的检测目标的深度值，最终确定检测目标的深度值；

根据最终确定的检测目标的深度值，确定所述检测目标的位置坐标。

可选地，所述满足目标检测技术的标准图像，是对检测相机采集的检测目标的彩色图像经过稳像及高动态范围曝光HDR合成后得到的。

可选地，处理器400根据所述至少一个检测相机与检测目标的所述距离数据，确定所述检测目标的世界坐标，具体包括：

分别确定各台检测相机与检测目标的距离；

根据每台检测相机与检测目标的距离，和所述每台检测相机的位置坐标，采用三边定位算法，确定所述检测目标的世界坐标。

可选地，处理器400还可以采用最小二乘算法优化所述检测目标的世界坐标。

收发机410，用于在处理器400的控制下接收和发送数据。

其中，在图4中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器400代表的一个或多个处理器和存储器420代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机410可以是多个元件，即包括发送机和收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器400负责管理总线架构和通常的处理，存储器420可以存储处理器400在执行操作时所使用的数据。

处理器400可以是中央处埋器(CPU)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)。

相应地，本申请实施例提供了一种定位系统，参见图5，包括：上述定位装置50，还可以包括多个检测相机51、检测目标52、实际检测目标53、惯性传感器54；

检测相机51，用于检测与所述检测目标52的距离；

检测目标52为实际检测目标53的特征物，用于简化实际检测目标53模型；

惯性传感器54，用来输出检测目标52的世界坐标的加速度信号。

本申请实施例提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(PersonalDigital Assistant，PDA)等。该计算设备可以包括中央处理器(Center Processing Unit，CPU)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(LiquidCrystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。

存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储本申请实施例提供的任一所述方法的程序。

处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行本申请实施例提供的任一所述方法。

本申请实施例提供了一种计算机存储介质，用于储存为上述本申请实施例提供的装置所用的计算机程序指令，其包含用于执行上述本申请实施例提供的任一方法的程序。

所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。

本申请实施例提供的方法可以应用于终端设备，也可以应用于网络设备。

其中，终端设备也可称之为用户设备(User Equipment，简称为“UE”)、移动台(Mobile Station，简称为“MS”)、移动终端(Mobile Terminal)等，可选的，该终端可以具备经无线接入网(Radio Access Network，RAN)与一个或多个核心网进行通信的能力，例如，终端可以是移动电话(或称为“蜂窝”电话)、或具有移动性质的计算机等，例如，终端还可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置。

网络设备可以为基站(例如，接入点)，指接入网中在空中接口上通过一个或多个扇区与无线终端通信的设备。基站可用于将收到的空中帧与IP分组进行相互转换，作为无线终端与接入网的其余部分之间的路由器，其中接入网的其余部分可包括网际协议(IP)网络。基站还可协调对空中接口的属性管理。例如，基站可以是GSM或CDMA中的基站(BTS，BaseTransceiver Station)，也可以是WCDMA中的基站(NodeB)，还可以是LTE中的演进型基站(NodeB或eNB或e-NodeB，evolutional Node B)，或者也可以是5G系统中的gNB等。本申请实施例中不做限定。

上述方法处理流程可以用软件程序实现，该软件程序可以存储在存储介质中，当存储的软件程序被调用时，执行上述方法步骤。

综上所述，本申请公开了一种定位方法及系统，用以基于深度学习方式实现运动捕捉系统中检测目标的检测及像素级分割，并结合惯性传感器来获得检测目标高频率的定位输出，从而得到检测目标高频高精度的世界坐标，有效提高了目标检测的成功率和精确度。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种定位方法，其特征在于，该方法包括：

利用至少一台检测相机获取的检测目标的彩色图像与深度图像，确定所述检测目标的至少一个位置坐标，并根据所述位置坐标，确定所述至少一个检测相机与所述检测目标的距离数据；

根据所述至少一个检测相机与检测目标的所述距离数据，确定所述检测目标的世界坐标；

对惯性传感器输出的所述检测目标的世界坐标的加速度信号进行积分；

根据所述检测目标的世界坐标，以及对惯性传感器输出的所述检测目标的世界坐标的加速度信号进行积分的结果，最终确定所述检测目标的世界坐标。

2.根据权利要求1所述的方法，其特征在于，利用至少一台检测相机获取的检测目标的彩色图像与深度图像，确定所述检测目标的至少一个位置坐标，具体包括：

根据所述图像校准后检测目标的深度图像与检测目标的彩色图像的像素点对应关系，初步确定检测目标的深度值；

根据初步确定的检测目标的深度值，确定所述检测目标的位置坐标。

3.根据权利要求2所述的方法，其特征在于，根据初步确定的检测目标的深度值，确定所述检测目标的位置坐标，具体包括：

利用检测相机获取的检测目标的彩色图像，确定满足目标检测技术的标准图像；

对满足目标检测技术的标准图像中的检测目标进行像素级分割标定，确定标定文件；

根据所述标定文件和所述满足目标检测技术的标准图像，通过深度学习网络的训练模型，确定检测目标的检测和分割推理模型；

根据所述检测目标的检测和分割推理模型，以及初步确定的检测目标的深度值，最终确定检测目标的深度值；

根据最终确定的检测目标的深度值，确定所述检测目标的位置坐标。

4.根据权利要求3所述的方法，其特征在于，所述满足目标检测技术的标准图像，是对检测相机采集的检测目标的彩色图像经过稳像及高动态范围曝光HDR合成后得到的。

5.根据权利要求1所述的方法，其特征在于，根据所述至少一个检测相机与检测目标的所述距离数据，确定所述检测目标的世界坐标，具体包括：

分别确定各台检测相机与检测目标的距离；

根据每台检测相机与检测目标的距离，和所述每台检测相机的位置坐标，采用三边定位算法，确定所述检测目标的世界坐标。

6.根据权利要求1所述的方法，其特征在于，该方法还包括：采用最小二乘算法优化所述检测目标的世界坐标。

7.一种定位装置，其特征在于，包括存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至6任一项所述的方法。

8.一种定位系统，其特征在于，该系统包括权利要求7所述的定位装置。

9.根据权利要求8所述的系统，其特征在于，该系统还包括：至少一台用来检测与检测目标的距离并发送给所述定位装置的检测相机；

一个惯性传感器，用来输出检测目标的世界坐标的加速度信号。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1至6任一项所述的方法。

Images