CN111292288B - 一种目标检测及定位的方法及装置 - Google Patents

一种目标检测及定位的方法及装置 Download PDF

Info

Publication number
CN111292288B
CN111292288B CN201811487099.7A CN201811487099A CN111292288B CN 111292288 B CN111292288 B CN 111292288B CN 201811487099 A CN201811487099 A CN 201811487099A CN 111292288 B CN111292288 B CN 111292288B
Authority
CN
China
Prior art keywords
detection
target
detection target
determining
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811487099.7A
Other languages
English (en)
Other versions
CN111292288A (zh
Inventor
韩松杉
朱明明
许义恒
郭若楠
张弥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sineva Intelligent Technology Co ltd
Original Assignee
Beijing Sineva Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sineva Technology Co ltd filed Critical Beijing Sineva Technology Co ltd
Priority to CN201811487099.7A priority Critical patent/CN111292288B/zh
Publication of CN111292288A publication Critical patent/CN111292288A/zh
Application granted granted Critical
Publication of CN111292288B publication Critical patent/CN111292288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种目标检测及定位的方法及装置，用以基于深度学习方式实现运动捕捉系统中检测目标的检测及像素级分割，从而得到检测目标的世界坐标，有效提高了目标检测的成功率和精确度。本申请提供的一种目标检测及定位的方法包括：根据检测相机获取检测目标的彩色图像与深度图像，并基于目标检测技术确定检测目标的位置坐标；所述检测目标为实际检测目标的特征物；根据所述检测目标的位置坐标确定多个检测相机与所述检测目标的距离数据；根据所述多个检测相机与检测目标的所述距离数据，确定所述检测目标的世界坐标。

Description

一种目标检测及定位的方法及装置
技术领域
本申请涉及图像处理领域，尤其涉及一种目标检测及定位的方法及装置。
背景技术
目标追踪和定位是机器人研究领域中十分重要的一项研究内容。机器人在运动的过程中，需要清楚地获取周围和环境信息以及自身所在的位置，才能顺利地进行路径规划和自主导航等任务，上述过程依赖于同步定位和建图(Simultaneous Localization AndMapping，SLAM)技术。SLAM的算法输出要与真值(ground truth)比较才能得到算法的效果，比如定位的精度、轨迹偏移等，而如何获取真值是这一过程的关键。
基于目标追踪和定位技术的运动捕捉系统是一种用于准确测量运动物体在三维空间运动状况的高技术设备，它基于计算机图形学原理，通过排布在空间中的数个视频捕捉设备将运动物体(标志点)的运动状况以图像的形式记录下来，然后使用计算机对该图像数据进行处理，得到不同时间计量单位上不同物体(标志点)的空间坐标(X，Y，Z)。
目前，多数SLAM技术的前期对比验证主要基于网上的各种各样的数据集，例如TUM(德国慕尼黑工业大学)、KITTI提供的RGBD数据集、单目数据集等，但这种网上的数据集并不能满足在移动机器人项目的开发要求，例如网上数据集的相机、加速度计、陀螺仪等硬件和移动机器人实际使用的硬件不同，以及采集频率和分辨率也不相同，因此，在移动机器人项目的实际开发过程中对运动捕捉系统的运用需求强烈。
发明内容
本申请实施例提供了一种目标检测及定位的方法及装置，用以基于深度学习方式实现运动捕捉系统中检测目标的检测及像素级分割，从而得到检测目标的世界坐标，有效提高了目标检测的成功率和精确度。
本申请实施例提供的一种目标检测及定位的方法包括：
根据检测相机获取检测目标的彩色图像与深度图像，并基于目标检测技术确定检测目标的位置坐标；所述检测目标为实际检测目标的特征物；
其中，所述实际检测目标可以是移动机器人；
根据所述检测目标的位置坐标确定多个检测相机与所述检测目标的距离数据；
根据所述多个检测相机与检测目标的所述距离数据，确定所述检测目标的世界坐标。
由于移动机器人的形状复杂并且特征不够明显，直接通过图像识别来检测和追踪移动机器人难度较大并且效果不佳，因此本申请实施例通过在移动机器人上放置特征标志物来识别移动机器人，本申请实施例将特征标志物固定在移动机器人的上方，通过追踪特征标志物来间接追踪移动机器人；在追踪移动机器人的过程中采用基于目标检测方式来跟踪移动机器人，有效提升了目标检测的精确度；采用不断刷新数据帧(即检测相机不断获取检测目标图像)的方式不断更新特征标志物的位置，从而实现对特征标志物的追踪，与基于物体本身的目标追踪的方法相比本申请实施例提供的目标检测及定位方法更加简单易行，而且不需要额外的传感器。
本申请实施例提供的目标检测及定位的方法，首先基于检测相机获取的检测目标的彩色图像进行深度学习，从而得到的检测目标的位置坐标，再基于深度图得到检测目标与检测相机的具体距离确定检测目标的世界坐标，满足了将运动捕捉运用在移动机器人的实际开发过程中的需求。
可选地，根据检测相机获取的检测目标的深度图像进行图像校准；
根据所述图像校准后检测目标的深度图像与检测目标的彩色图像像素点一一对应关系初步确定检测目标的深度值；
根据所述初步确定检测目标的深度值确定所述检测目标的位置坐标。
本申请采用的检测相机可以为英特尔公司发布的Realsense D系列深度相机，所述深度相机的深度距离精度大概是1％以内，即1m的误差大概在1cm以内，但并不是所有的像素点都有深度值，所有的深度也并非准确，因此可以通过深度相机的post-processing选项来减少深度图像中不准确的像素点，提高深度值的精度，保证计算结果的准确性；由于本申请采用的深度相机的深度视角比彩色视角更大，所以在深度图像与彩色图像分辨率相同的情况下，彩色图像与深度图像中的像素点并非一一对应，因此还需要图像校准，本申请采用的Realsense系列深度相机具有图像校准功能。
可选地，所述基于目标检测技术确定检测目标的位置坐标包括：
根据检测相机获取的检测目标的彩色图像，确定输入目标检测器的图像；
对输入目标检测器的图像中的检测目标进行人为的像素级分割标定，确定标定文件；
根据所述标定文件和所述输入目标检测器的图像，通过深度学习网络的训练，确定检测目标的检测和分割推理模型；
根据所述检测目标的检测和分割推理模型，以及初步确定的检测目标的深度值，最终确定检测目标的深度值；
根据最终确定的检测目标的深度值，确定所述检测目标的位置坐标。
本申请实施例提供的目标检测及定位的方法可以基于Mask-RCNN目标检测技术，所述Mask-RCNN目标检测技术的优势在于能同时进行检测和分割。
可选地，分别确定各台检测相机与检测目标的距离；根据每台检测相机与检测目标的距离和所述每台检测相机的位置坐标，采用三边定位算法确定所述检测目标的世界坐标。
可选地，该方法还包括：采用最小二乘算法优化所述检测目标的世界坐标。
本申请通过运动捕捉的ROS节点订阅检测相机的彩色图像和深度图像话题，在深度图像中获取检测相机到特征物的距离，计算机根据深度相机获取相机到特征物的距离，并根据三台相机各自的坐标采用三边定位算法计算出特征物的世界坐标，当采用更多相机检测特征物时，可以采用最小二乘优化法对特征物的世界坐标进行优化。
本申请另一实施例提供了一种计算设备，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一种方法。
本申请另一实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种目标检测及定位系统的结构示意图；
图2为本申请实施例提供的一种目标检测及定位的方法具体实施流程示意图；
图3为本申请实施例提供的一种目标检测及定位的方法流程示意图；
图4为本申请实施例提供的一种目标检测及定位的装置结构示意图；
图5为本申请实施例提供的另一种目标检测及定位的装置结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种目标检测及定位的方法及装置，用以基于深度学习方式实现运动捕捉系统中检测目标的检测及像素级分割，从而得到检测目标的世界坐标，有效提高了目标检测的成功率和精确度。
其中，方法和装置是基于同一申请构思的，由于方法和装置解决问题的原理相似，因此装置和方法的实施可以相互参见，重复之处不再赘述。
本申请实施例提供的技术方案可以适用于多种系统，尤其是5G系统。例如适用的系统可以是全球移动通讯(global system of mobile communication，GSM)系统、码分多址(code division multiple access，CDMA)系统、宽带码分多址(Wideband CodeDivision Multiple Access，WCDMA)通用分组无线业务(general packet radio service，GPRS)系统、长期演进(long term evolution，LTE)系统、LTE频分双工(frequencydivision duplex，FDD)系统、LTE时分双工(time division duplex，TDD)、通用移动系统(universal mobile telecommunication system，UMTS)、全球互联微波接入(worldwideinteroperability for microwave access，WiMAX)系统、5G系统以及5G NR系统等。这多种系统中均包括终端设备和网络设备。
本申请实施例涉及的终端设备，可以是指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。在不同的系统中，终端设备的名称可能也不相同，例如在5G系统中，终端设备可以称为用户设备(user equipment，UE)。无线终端设备可以经RAN与一个或多个核心网进行通信，无线终端设备可以是移动终端设备，如移动电话(或称为“蜂窝”电话)和具有移动终端设备的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据。例如，个人通信业务(personal communication service，PCS)电话、无绳电话、会话发起协议(session initiated protocol，SIP)话机、无线本地环路(wireless local loop，WLL)站、个人数字助理(personal digital assistant，PDA)等设备。无线终端设备也可以称为系统、订户单元(subscriber unit)、订户站(subscriberstation)，移动站(mobile station)、移动台(mobile)、远程站(remote station)、接入点(access point)、远程终端设备(remote terminal)、接入终端设备(access terminal)、用户终端设备(user terminal)、用户代理(user agent)、用户装置(user device)，本申请实施例中并不限定。
本申请实施例涉及的网络设备，可以是基站，该基站可以包括多个小区。根据具体应用场合不同，基站又可以称为接入点，或者可以是指接入网中在空中接口上通过一个或多个扇区与无线终端设备通信的设备，或者其它名称。网络设备可用于将收到的空中帧与网际协议(internet protocol，IP)分组进行相互转换，作为无线终端设备与接入网的其余部分之间的路由器，其中接入网的其余部分可包括网际协议(IP)通信网络。网络设备还可协调对空中接口的属性管理。例如，本申请实施例涉及的网络设备可以是全球移动通信系统(global system for mobile communications，GSM)或码分多址接入(code divisionmultiple access，CDMA)中的网络设备(base transceiver station，BTS)，也可以是带宽码分多址接入(wide-band code division multiple access，WCDMA)中的网络设备(NodeB)，还可以是长期演进(long term evolution，LTE)系统中的演进型网络设备(evolutional node B，eNB或e-NodeB)、5G网络架构(next generation system)中的5G基站，也可是家庭演进基站(home evolved node B，HeNB)、中继节点(relay node)、家庭基站(femto)、微微基站(pico)等，本申请实施例中并不限定。
下面结合说明书附图对本申请各个实施例进行详细描述。需要说明的是，本申请实施例的展示顺序仅代表实施例的先后顺序，并不代表实施例所提供的技术方案的优劣。
现存的SLAM技术的对比验证方案包括基于高速相机的运动捕捉方案、二维码方案(例如，在地上贴特征二维码，移动机器人车体前部有摄像头实时检测这些二维码，通过算法处理为SLAM提供真值)，激光扫描方案(例如，先在移动机器人上安装激光扫描装置，提前在场地中扫描来收集场地的精准地图信息，将此信息作为SLAM的真值)等，但是以上方案都存在很多不足之处，比如高速相机方案的采购成本非常昂贵，二维码方案要在场地中繁琐得铺设二维码，可移植性很低，激光扫描方案价格高昂。
目前，将目标检测和追踪用在机器人领域来求解SLAM算法真值的需求是真切存在的，因此，我们提出一种使用基于深度相机的运动捕捉系统来获取SLAM定位真值的方案，该方案基于深度学习的方式进行视觉目标检测，从而获知移动机器人的位置，进而通过深度相机得到相机与移动机器人的距离，然后通过至少三个距离数据来进行求解移动机器人的世界坐标，即得到真值。具体实施内容参见以下实施例。
实施例一，基于深度相机的运动捕捉系统的硬件结构。
本申请实施例主要硬件结构如图1所示，图1中基于深度相机的目标追踪和定位系统由场地外围的多台深度相机、移动机器人及移动机器人上的跟踪器(即特征标志物，例如：黄色小球)组成，其中深度相机主要用于输出彩色图像和深度图像，例如可以采用Intel生产的RealSense D系列深度相机，可以获取0.2m-10m的深度距离，精度可达毫米级。可基于该深度相机提供的彩色图像根据深度学习的方式进行小球检测，通过该深度相机的深度图像进行距离检测。标志物是一些特制的小球，在它的表面涂了一层反光能力很强的物质，在摄像机的捕捉状态下，它会显得格外的明亮，使摄像机很容易捕捉到它的运动轨迹。
实施例二，通过检测目标的特征物确定检测目标。
移动机器人(本申请实施例采用小车代表移动机器人)的位置确定需要解决目标检测和坐标获取两个问题，在解决这两个问题之前，由于小车的形状复杂并且特征不够明显，直接通过图像识别来检测和追踪小车难度较大并且效果不佳，因此，我们通过在小车上放置标志物的方式来识别小车，我们把标志物(本申请实施例中的标志物统一为黄色小球，具体实施时标志物不限)固定在的正上方，通过追踪小球来间接地追踪小车。采用不断刷新数据帧(即深度相机持续获取小球图片)的方式来不断更新小球位置，从而实现小球的追踪。
相比与其他的基于物体本身的目标追踪的方案，结合本申请实施例二的目标追踪方案更加简单易行，而且不需要额外的传感器。
实施例三，在追踪小球的过程中，采用基于目标检测技术的目标检测和像素级分割方式来跟踪小球，本申请实施例采用的目标检测技术是基于Mask-RCNN的目标检测技术，该技术是基于Faster-RCNN架构提出的新的卷积网络，能够在有效地检测目标的同时完成高质量的语义分割，能有效的提升目标检测精度。在深度相机输出的每一帧的彩色图片中，通过Mask-RCNN目标检测技术来准确地检测出小球的位置，参见图2，具体包括：
步骤301、通过深度相机的彩色摄像头，采集室内空间的图像；
步骤302、将采集到的彩色图像经过稳像及HDR(高动态范围曝光)合成后，产生输入Mask-RCNN的检测器的合格图像；其中HDR(高动态范围曝光)使用多张不同曝光度的图片融合为1张图片，确保图片中没有过爆部分及过暗部分，接近于目视效果；
Mask-RCNN使用拥有16层模型的卷积神经网络模型VGG16网络模型作为基础网络模型，为了增强对小目标的检测及分割精度，将第一个卷积层使用的64个滤波器增加到128个，滤波器的个数具体实施例时可根据实施情况进行配置；
对第一个卷积层使用的128个滤波器算子，固定分配64个滤波器，使用Sobel边缘检测算子；
将照片中的圆形标记物(即在照片中平面化的小球)区域进行像素级手动分割标定，生成标定文件label.xml；
将标定文件和原始图片输入与本申请实施例相适应的Mask-RCNN系统中进行交替训练，并生成检测和分割的推理模型，该检测和分割的推理模型用于小球检测和分割。
其中，对检测相机采集的检测目标的彩色图片有如下要求：
检测目标处于不同环境光下的状态，所述不同环境光包括：强光、中光、弱光；
检测目标的不同旋转角度(例如：10度、20度…360度)；
检测目标处于不同位置(例如：拐角处、跑道处、丁字路口、十字路口等)；
检测目标所处位置的地面颜色；
检测目标所处位置的地面材质(例如：大理石、人工大理石、木质、瓷砖等)；
检测目标所处位置的背景(例如：行人、车辆、花、树、建筑)。
实施例四，图像校准，具体实施流程参见图2。
步骤401、检测相机获取检测目标的深度图像；
步骤402、首先，使用完成小球检测之后得到小球圆心的像素点行列值在深度图像中寻找对应的像素点并获取对应像素点的值，由于深度图中的像素值一般以mm为单位，所以需要将所述对应像素点的值乘以一定放大倍数，得到以米为单位的相机坐标系的Z值(相机坐标系的X,Y,Z轴中的Z轴坐标)；但是，默认情况下，由于RealSense相机的深度视角(FOV)比彩色视角更大，即使在深度图与彩色图分辨率相同的情况下，两幅图中的像素点也不是一一对应的，需要进行图像校准来对齐深度图和彩色图；
RealSense深度相机中基于ROS的realsense开发包，创建realsenes节点，发布彩色图话题和深度图话题中，提供图像校准的功能，但是默认情况下，在多个相机节点同时启动的情况下并不发布对齐后的图像话题；因此，计算机通过修改multi_devices.launch这一文件，使多相机的情况下亦发布对齐后的图像话题，然后订阅/camera/align_depth_to_color话题，得到与彩色图对齐之后的深度图像，该图像与彩色图的像素点是一一对应的。
步骤403、在完成实施例三中的小球检测和像素级分割之后，得到小球圆心的像素点行列值，进行上述图像校准后，使用该值在检测相机的深度图像中寻找对应的像素点并取出对应像素点的值，再进行单位转换，转换成以米为单位的深度值。
实施例五，特征物世界坐标的确定，具体实施流程参见图2。
步骤501、当检测相机通过以上实施例同时检测到小球，并获取与小球的有效距离时，通过三边定位算法计算出小球在相机坐标系中的坐标；本申请实施例还实现了使用Ceres库(一种解决优化问题的C++库)提供的非线性最小二乘优化算法来优化三边定位的计算结果，随着检测相机数量增多，最小二乘优化算法的迭代次数增加，算法优化效果就更为明显；在计算出小车的坐标之后，通过ROS将该坐标值发送给小车的处理系统，作为小车的轨迹真值，用于校验小车自身SLAM得到的轨迹。
综上所述，本申请实施例提供一种目标检测及定位的方法，参见图3，包括：
S101、根据检测相机获取检测目标的彩色图像与深度图像，并基于目标检测技术确定检测目标的位置坐标，例如本申请实施例三中将Mask-RCNN目标检测技术与具体实施情况相结合确定检测目标的位置坐标；所述检测目标为实际检测目标的特征物；
S102、根据所述检测目标的位置坐标确定多个检测相机与所述检测目标的距离数据；
例如本申请实施例五，根据所述多个检测相机与检测目标的所述距离数据，确定所述检测目标的世界坐标。
相应地，本申请实施例提供一种目标检测及定位的装置，参见图4，包括：
第一单元11，用于根据检测相机获取检测目标的彩色图像与深度图像，并基于目标检测技术确定检测目标的位置坐标；所述检测目标为实际检测目标的特征物；
第二单元12，用于根据所述检测目标的位置坐标确定多个检测相机与所述检测目标的距离数据；
第三单元13，用于根据所述多个检测相机与检测目标的所述距离数据，确定所述检测目标的世界坐标。
需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等。该计算设备可以包括中央处理器(Center Processing Unit，CPU)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。
存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储本申请实施例提供的任一所述方法的程序。
处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行本申请实施例提供的任一所述方法。
本申请实施例提供的另一种目标检测及定位装置，参见图5，包括：
处理器500，用于读取存储器520中的程序，执行下列过程：
处理器500根据检测相机获取检测目标的彩色图像与深度图像，并基于目标检测技术确定检测目标的位置坐标；所述检测目标为实际检测目标的特征物；
处理器500根据所述检测目标的位置坐标确定多个检测相机与所述检测目标的距离数据；
处理器500根据所述多个检测相机与检测目标的所述距离数据，确定所述检测目标的世界坐标。
可选地，处理器500还可以根据检测相机获取的检测目标的深度图像进行图像校准；
根据所述图像校准后检测目标的深度图像与检测目标的彩色图像像素点一一对应关系初步确定检测目标的深度值；
根据所述初步确定检测目标的深度值确定所述检测目标的位置坐标。
可选地，所述基于目标检测技术确定检测目标的位置坐标包括：
根据检测相机获取的检测目标的彩色图像，确定输入目标检测器的图像；
对输入目标检测器的图像中的检测目标进行人为的像素级分割标定，确定标定文件；
根据所述标定文件和所述输入目标检测器的图像，通过深度学习网络的训练，确定检测目标的检测和分割推理模型；
根据所述检测目标的检测和分割推理模型，以及初步确定的检测目标的深度值，最终确定检测目标的深度值；
根据最终确定的检测目标的深度值，确定所述检测目标的位置坐标。
可选地，所述输入目标检测器的图像，是对检测相机采集的检测目标的彩色图像经过稳像及HDR合成后得到。
可选地，处理器500分别确定各台检测相机与检测目标的距离；
根据每台检测相机与检测目标的距离和所述每台检测相机的位置坐标，采用三边定位算法确定所述检测目标的世界坐标。
可选地，处理器500还可以采用最小二乘算法优化所述检测目标的世界坐标。
收发机510，用于在处理器500的控制下接收和发送数据。
其中，在图5中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器500代表的一个或多个处理器和存储器520代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机510可以是多个元件，即包括发送机和收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器500负责管理总线架构和通常的处理，存储器520可以存储处理器500在执行操作时所使用的数据。
处理器500可以是中央处埋器(CPU)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)。
本申请实施例提供了一种计算机存储介质，用于储存为上述本申请实施例提供的装置所用的计算机程序指令，其包含用于执行上述本申请实施例提供的任一方法的程序。
所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
本申请实施例提供的方法可以应用于终端设备，也可以应用于网络设备。
其中，终端设备也可称之为用户设备(User Equipment，简称为“UE”)、移动台(Mobile Station，简称为“MS”)、移动终端(Mobile Terminal)等，可选的，该终端可以具备经无线接入网(Radio Access Network，RAN)与一个或多个核心网进行通信的能力，例如，终端可以是移动电话(或称为“蜂窝”电话)、或具有移动性质的计算机等，例如，终端还可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置。
网络设备可以为基站(例如，接入点)，指接入网中在空中接口上通过一个或多个扇区与无线终端通信的设备。基站可用于将收到的空中帧与IP分组进行相互转换，作为无线终端与接入网的其余部分之间的路由器，其中接入网的其余部分可包括网际协议(IP)网络。基站还可协调对空中接口的属性管理。例如，基站可以是GSM或CDMA中的基站(BTS，BaseTransceiver Station)，也可以是WCDMA中的基站(NodeB)，还可以是LTE中的演进型基站(NodeB或eNB或e-NodeB，evolutional Node B)，或者也可以是5G系统中的gNB等。本申请实施例中不做限定。
上述方法处理流程可以用软件程序实现，该软件程序可以存储在存储介质中，当存储的软件程序被调用时，执行上述方法步骤。
综上所述，本申请实施例提供了一种目标检测及定位的方法及装置，首先基于检测相机获取的检测目标的彩色图像进行深度学习，从而得到的检测目标的位置坐标，再基于深度图得到检测目标与检测相机的具体距离确定检测目标的世界坐标，满足了将运动捕捉运用在移动机器人的实际开发过程中的需求；用以基于深度学习方式实现运动捕捉系统中检测目标的检测及像素级分割，从而得到检测目标的世界坐标，有效提高了目标检测的成功率和精确度。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种目标检测及定位的方法，其特征在于，该方法包括：
根据检测相机获取检测目标的彩色图像与深度图像，并基于目标检测技术确定检测目标的位置坐标；所述检测目标为实际检测目标的特征物；
根据所述检测目标的位置坐标确定多个检测相机与所述检测目标的距离数据；
根据所述多个检测相机与检测目标的所述距离数据，确定所述检测目标的世界坐标；
其中，所述根据检测相机获取检测目标的彩色图像与深度图像，并基于目标检测技术确定检测目标的位置坐标，包括：
根据检测相机获取的检测目标的深度图像进行图像校准；
根据所述图像校准后检测目标的深度图像与检测目标的彩色图像像素点一一对应关系初步确定检测目标的深度值；
根据检测相机获取的检测目标的彩色图像，确定输入目标检测器的图像；
对输入目标检测器的图像中的检测目标进行人为的像素级分割标定，确定标定文件；
根据所述标定文件和所述输入目标检测器的图像，通过深度学习网络的训练，确定检测目标的检测和分割推理模型；
根据所述检测目标的检测和分割推理模型，以及初步确定的检测目标的深度值，最终确定检测目标的深度值；
根据最终确定的检测目标的深度值，确定所述检测目标的位置坐标。
2.根据权利要求1所述的方法，其特征在于，所述输入目标检测器的图像，是对检测相机采集的检测目标的彩色图像经过稳像及HDR合成后得到。
3.根据权利要求1所述的方法，其特征在于，分别确定各台检测相机与检测目标的距离；
根据每台检测相机与检测目标的距离和所述每台检测相机的位置坐标，采用三边定位算法确定所述检测目标的世界坐标。
4.根据权利要求1所述的方法，其特征在于，该方法还包括：采用最小二乘算法优化所述检测目标的世界坐标。
5.一种目标检测及定位的装置，其特征在于，该装置包括：
第一单元，用于根据检测相机获取检测目标的彩色图像与深度图像，并基于目标检测技术确定检测目标的位置坐标；所述检测目标为实际检测目标的特征物；
第二单元，用于根据所述检测目标的位置坐标确定多个检测相机与所述检测目标的距离数据；
第三单元，用于根据所述多个检测相机与检测目标的所述距离数据，确定所述检测目标的世界坐标；
其中，所述根据检测相机获取检测目标的彩色图像与深度图像，并基于目标检测技术确定检测目标的位置坐标，包括：
根据检测相机获取的检测目标的深度图像进行图像校准；
根据所述图像校准后检测目标的深度图像与检测目标的彩色图像像素点一一对应关系初步确定检测目标的深度值；
根据检测相机获取的检测目标的彩色图像，确定输入目标检测器的图像；
对输入目标检测器的图像中的检测目标进行人为的像素级分割标定，确定标定文件；
根据所述标定文件和所述输入目标检测器的图像，进行深度学习的训练，确定检测目标的检测和分割推理模型；
根据所述检测目标的检测和分割推理模型，以及初步确定的检测目标的深度值，最终确定检测目标的深度值；
根据最终确定的检测目标的深度值，确定所述检测目标的位置坐标。
6.根据权利要求5所述的装置，其特征在于，所述输入目标检测器的图像，是对检测相机采集的检测目标的彩色图像经过稳像及HDR合成后得到。
7.根据权利要求5所述的装置，其特征在于，分别确定各台检测相机与检测目标的距离；
根据每台检测相机与检测目标的距离和所述每台检测相机的位置坐标，采用三边定位算法确定所述检测目标的世界坐标。
8.根据权利要求5所述的装置，其特征在于，该装置还包括：
优化单元，用于采用最小二乘算法优化所述检测目标的世界坐标。
9.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至4任一项所述的方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1至4任一项所述的方法。
CN201811487099.7A 2018-12-06 2018-12-06 一种目标检测及定位的方法及装置 Active CN111292288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811487099.7A CN111292288B (zh) 2018-12-06 2018-12-06 一种目标检测及定位的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811487099.7A CN111292288B (zh) 2018-12-06 2018-12-06 一种目标检测及定位的方法及装置

Publications (2)

Publication Number Publication Date
CN111292288A CN111292288A (zh) 2020-06-16
CN111292288B true CN111292288B (zh) 2023-06-02

Family

ID=71022872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811487099.7A Active CN111292288B (zh) 2018-12-06 2018-12-06 一种目标检测及定位的方法及装置

Country Status (1)

Country Link
CN (1) CN111292288B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348868A (zh) * 2020-11-06 2021-02-09 养哇(南京)科技有限公司 一种通过检测和标定恢复单目slam尺度的方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610113A (zh) * 2017-09-13 2018-01-19 北京邮电大学 一种图像中基于深度学习的小目标的检测方法及装置
CN107967695A (zh) * 2017-12-25 2018-04-27 北京航空航天大学 一种基于深度光流和形态学方法的运动目标检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104023177A (zh) * 2014-06-04 2014-09-03 华为技术有限公司 摄像机控制方法、装置及摄像机
CN106156723B (zh) * 2016-05-23 2019-02-15 北京联合大学 一种基于视觉的路口精定位方法
CN106826815B (zh) * 2016-12-21 2019-05-31 江苏物联网研究发展中心 基于彩色图像与深度图像的目标物体识别与定位的方法
CN206804856U (zh) * 2017-05-11 2017-12-26 深圳爱络凯寻科技有限公司 室内超声波三维定位系统
CN107844750B (zh) * 2017-10-19 2020-05-19 华中科技大学 一种水面全景图像目标检测识别方法
CN108335329B (zh) * 2017-12-06 2021-09-10 腾讯科技（深圳）有限公司 应用于飞行器中的位置检测方法和装置、飞行器
CN108489454A (zh) * 2018-03-22 2018-09-04 沈阳上博智像科技有限公司 深度距离测量方法、装置、计算机可读存储介质及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610113A (zh) * 2017-09-13 2018-01-19 北京邮电大学 一种图像中基于深度学习的小目标的检测方法及装置
CN107967695A (zh) * 2017-12-25 2018-04-27 北京航空航天大学 一种基于深度光流和形态学方法的运动目标检测方法

Also Published As

Publication number Publication date
CN111292288A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
US11165959B2 (en) Connecting and using building data acquired from mobile devices
US10297074B2 (en) Three-dimensional modeling from optical capture
CA3120725C (en) Surveying and mapping system, surveying and mapping method and device, apparatus and medium
US20190026400A1 (en) Three-dimensional modeling from point cloud data migration
RU2741443C1 (ru) Способ и устройство для планирования точек выборки для съёмки и картографирования, терминал управления и носитель для хранения данных
JP7236565B2 (ja) 位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラム
US11557083B2 (en) Photography-based 3D modeling system and method, and automatic 3D modeling apparatus and method
US20170337690A1 (en) Predictor-corrector based pose detection
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
CN111354037A (zh) 一种定位方法及系统
CN109540144A (zh) 一种室内定位方法及装置
Gomez-Jauregui et al. Quantitative evaluation of overlaying discrepancies in mobile augmented reality applications for AEC/FM
WO2021093679A1 (zh) 视觉定位方法和装置
CA3120727A1 (en) Surveying and mapping system, surveying and mapping method and device, apparatus and medium
WO2019032184A1 (en) ANNOTATION GENERATION FOR IMAGE NETWORK
CN112422653A (zh) 基于位置服务的场景信息推送方法、系统、存储介质及设备
EP3875902B1 (en) Planning method and apparatus for surveying and mapping sampling points, control terminal and storage medium
CN111292288B (zh) 一种目标检测及定位的方法及装置
US9852542B1 (en) Methods and apparatus related to georeferenced pose of 3D models
CN111210471B (zh) 一种定位方法、装置及系统
CN108287549A (zh) 一种改善空间扫描时间性能的方法及系统
CN111612904B (zh) 基于三维模型图像机器学习的位置感知系统
CN118817261A (zh) 一种图像采集设备的参数确定方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230614

Address after: 314400 floor 3, building 5, No. 17, Caohejing Road, Haining Economic Development Zone, Haining City, Jiaxing City, Zhejiang Province

Patentee after: ZHEJIANG SINEVA INTELLIGENT TECHNOLOGY Co.,Ltd.

Address before: Building 10, jingdongbei science and Technology Park, 18 Kechuang 10th Street, Daxing District, Beijing 100176

Patentee before: BEIJING SINEVA TECHNOLOGY Co.,Ltd.