CN110163904B - 对象标注方法、移动控制方法、装置、设备及存储介质 - Google Patents

对象标注方法、移动控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110163904B
CN110163904B CN201811060480.5A CN201811060480A CN110163904B CN 110163904 B CN110163904 B CN 110163904B CN 201811060480 A CN201811060480 A CN 201811060480A CN 110163904 B CN110163904 B CN 110163904B
Authority
CN
China
Prior art keywords
target
point cloud
cloud data
dimensional
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811060480.5A
Other languages
English (en)
Other versions
CN110163904A (zh
Inventor
曾超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Dadi Tongtu Beijing Technology Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Tencent Dadi Tongtu Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Tencent Dadi Tongtu Beijing Technology Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811060480.5A priority Critical patent/CN110163904B/zh
Publication of CN110163904A publication Critical patent/CN110163904A/zh
Priority to EP19861154.3A priority patent/EP3852064B1/en
Priority to PCT/CN2019/105049 priority patent/WO2020052540A1/zh
Priority to US17/071,969 priority patent/US11893785B2/en
Application granted granted Critical
Publication of CN110163904B publication Critical patent/CN110163904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种对象标注方法、移动控制方法、装置、设备及存储介质，其中方法包括：获取由图像传感器从环境空间中拍摄得到的参考图像，参考图像包括至少一个参考对象；获取由三维空间传感器扫描环境空间得到的目标点云数据，目标点云数据用于表示在环境空间中的目标对象所占据的三维空间区域；从参考图像中确定出与目标对象匹配的目标参考对象；确定目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸；根据确定的投影尺寸在参考图像中对目标参考对象进行三维标注。结合目标点云数据对参考图像中的目标参考对象进行三维标注，可提高标注的精确度，且无需人工标注，可降低标注成本。

Description

对象标注方法、移动控制方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种对象标注方法、移动控制方法、装置、设备及存储介质。
背景技术
随着机器学习(Machine Learning，ML)的发展，图像标注成为了一个热门的研究课题。其中，图像标注领域中的图像3D对象标注尤其重要，所谓的图像3D对象标注是指：针对图像中的目标对象(例如车辆、自行车和行人等)，利用3D激光扫描得到的同一时刻的激光点云数据，标注该对象在3D空间中的立体包围框，并投影至图像中的标注方法。如何更好地对图像中的目标对象进行三维标注成为了研究的热点。
发明内容
本发明实施例提供了一种对象标注方法、移动控制方法、装置、控制设备及存储介质，可更好地对目标对象进行三维标注。
一方面，本发明实施例提供了一种对象标注方法，包括：
获取由图像传感器从环境空间中拍摄得到的参考图像，所述参考图像包括至少一个参考对象；
获取由三维空间传感器扫描所述环境空间得到的目标点云数据，所述目标点云数据用于表示在所述环境空间中的目标对象所占据的三维空间区域；
从所述参考图像中确定出与所述目标对象匹配的目标参考对象；
确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸；
根据确定的投影尺寸在所述参考图像中对所述目标参考对象进行三维标注。
另一方面，本发明实施例提供了一种移动控制方法，包括：
在移动平台的移动过程中，获取从环境空间中拍摄得到的参考图像，以及获取扫描所述环境空间得到的目标点云数据，所述目标点云数据用于表示在所述环境空间中的目标对象所占据的三维空间区域；
根据所述目标对象和所述目标点云数据，对所述参考图像中的至少一个参考对象进行三维标注，得到三维标注区域；
对所述参考图像中的所述三维标注区域进行图像识别，确定所述三维标注区域内的目标参考对象的参数信息；
根据所述参数信息生成控制指令，并根据所述控制指令控制所述移动平台移动。
再一方面，本发明实施例提供了一种对象标注装置，包括：
获取单元，用于获取由图像传感器从环境空间中拍摄得到的参考图像，所述参考图像包括至少一个参考对象；
所述获取单元，还用于获取由三维空间传感器扫描所述环境空间得到的目标点云数据，所述目标点云数据用于表示在所述环境空间中的目标对象所占据的三维空间区域；
确定单元，用于从所述参考图像中确定出与所述目标对象匹配的目标参考对象；
所述确定单元，还用于确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸；
标注单元，根据确定的投影尺寸在所述参考图像中对所述目标参考对象进行三维标注。
再一方面，本发明实施例提供了一种移动控制装置，包括：
获取单元，用于在移动平台的移动过程中，获取从环境空间中拍摄得到的参考图像，以及获取扫描所述环境空间得到的目标点云数据，所述目标点云数据用于表示在所述环境空间中的目标对象所占据的三维空间区域；
标注单元，用于根据所述目标对象和所述目标点云数据，对所述参考图像中的至少一个参考对象进行三维标注，得到三维标注区域；
识别单元，用于对所述参考图像中的所述三维标注区域进行图像识别，确定所述三维标注区域内的目标参考对象的参数信息；
控制单元，用于根据所述参数信息生成控制指令，并根据所述控制指令控制所述移动平台移动。
再一方面，本发明实施例提供一种控制设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括第一程序指令，所述处理器被配置用于调用所述第一程序指令，执行如下步骤：
获取由图像传感器从环境空间中拍摄得到的参考图像，所述参考图像包括至少一个参考对象；
获取由三维空间传感器扫描所述环境空间得到的目标点云数据，所述目标点云数据用于表示在所述环境空间中的目标对象所占据的三维空间区域；
从所述参考图像中确定出与所述目标对象匹配的目标参考对象；
确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸；
根据确定的投影尺寸在所述参考图像中对所述目标参考对象进行三维标注。
或者，所述计算机程序包括第二程序指令，所述处理器被配置用于调用所述第二程序指令，执行如下步骤：
在移动平台的移动过程中，获取从环境空间中拍摄得到的参考图像，以及获取扫描所述环境空间得到的目标点云数据，所述目标点云数据用于表示在所述环境空间中的目标对象所占据的三维空间区域；
根据所述目标对象和所述目标点云数据，对所述参考图像中的至少一个参考对象进行三维标注，得到三维标注区域；
对所述参考图像中的所述三维标注区域进行图像识别，确定所述三维标注区域内的目标参考对象的参数信息；
根据所述参数信息生成控制指令，并根据所述控制指令控制所述移动平台移动。
再一方面，本发明实施例提供一种计算机存储介质，该计算机存储介质存储有第一计算机程序指令，该第一计算机程序指令被执行时用于实现上述的对象标注方法；或者，该计算机存储介质存储有第二计算机程序指令，该第二计算机程序指令被执行时用于实现上述的移动控制方法。
本发明实施例在进行对象三维标注时，可以获取目标对象的目标点云数据，并确定目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸，然后根据该投影尺寸对参考图像中与目标对象匹配的目标参考对象进行三维标注。通过结合目标点云数据对参考图像中的目标参考对象进行三维标注，可以提高标注的精确度，且无需人工标注，可降低标注成本。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种对象标注方法的流程示意图；
图2是本发明另一实施例提供的一种对象标注方法的流程示意图；
图3是本发明另一实施例提供的一种对象标注方法的流程示意图；
图4是本发明实施例提供的一种确定目标点云数据的方法示意图；
图5是本发明实施例提供的一种交并比的计算示意图；
图6a是本发明实施例提供的一种在二维图像上进行三维标注的效果图；
图6b是本发明实施例提供的一种在二维图像上进行二维标注的效果图；
图7是本发明实施例提供的一种对象标注方法的应用场景图；
图8是本发明实施例提供的一种对象标注方法的标注效果图；
图9是本发明实施例提供的一种移动控制方法的流程示意图；
图10是本发明实施例提供的一种移动控制方法的应用场景图；
图11是本发明实施例提供的一种对象标注装置的结构示意图；
图12是本发明实施例提供的一种移动控制装置的结构示意图；
图13是本发明实施例提供的一种控制设备的结构示意图。
具体实施方式
本发明实施例提供了一种对象标注方法，该对象标注方法可以用于对平面图像中的对象进行三维标注。在本发明实施例中，可以结合激光、超声波、雷达等类型的三维空间传感器来对环境空间进行扫描得到某个对象的三维点云数据，然后再基于三维点云数据对二维的平面图像进行三维标注。
如图1所示，在对平面图像中的对象进行三维标注时，可以获取点云数据帧集合，并可以基于点云数据帧集合对目标对象进行跟踪检测，得到目标对象的点云轨迹数据。所述点云轨迹数据可以是指：由目标对象在不同时刻的点云数据所构成的表明目标对象的运动轨迹的数据，基于点云数据可以确定目标对象的位置信息、方向信息、速度信息等等。同时，还可以通过各类型的摄像机等图像传感器获取参考图像(例如环境图像等平面图像)，并可以基于图像的目标检测方法，例如基于DPM(Deformable Parts Model，可变形部件模型)的方法，对参考图像进行对象检测，确定参考图像中的至少一个参考对象。进一步地基于三维空间传感器和图像传感器之间的标定参数、目标对象的点云轨迹数据等信息，对目标对象和至少一个参考对象进行关联匹配，得到目标对象和至少一个参考对象的匹配度。根据匹配度则可以确定出待标注的目标参考对象，该目标参考对象可以理解为三维空间传感器所扫描的某个目标对象在参考图像中所对应的对象。最后，根据目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸，在参考图像中对目标参考对象进行三维标注。
在一个实施例中，针对平面图像中的对象进行三维标注时，本发明实施例在图2中提出了一种对象标注方法的示意流程图。本发明实施例的所述对象标注方法可以由一个控制设备来实现，此处的控制设备可以是智能终端，例如智能手机、平板电脑等移动智能终端，以及台式电脑等，该智能终端可以作为移动平台的一部分，被配置在移动平台上，也可以是一个外部独立的终端设备，与移动平台相连接；在其他实施例中，该控制设备还可以是一些基于图像识别进行自动移动的移动平台，例如配置处理器的无人驾驶汽车、机器人、无人机，等移动平台。
本发明实施例以控制设备为智能终端，且该智能终端被配置在移动平台上为例，智能终端可以控制对应的移动平台安全移动，这些移动平台均可配置三维空间传感器和图像传感器。在移动平台的移动过程中，移动平台可以调用三维空间传感器对环境空间中的目标对象进行扫描，得到点云数据帧集合，该点云数据帧集合中可以包括目标对象的目标点云数据；还可以调用图像传感器对环境空间中的目标对象(例如车辆、行人等)进行拍摄，得到大量的拍摄图像。在本发明实施例中，时间戳是一个可以表示一份数据在某个特定时间时已经存在的、完整的、可验证的数据，通常是一个字符序列，可以唯一地标识某一刻的时间。因此图像传感器在得到每一幅拍摄图像、三维空间传感器在得到点云数据帧时，可以为该拍摄图像生成一个拍摄时间戳，以记录该拍摄图像的图像拍摄时刻。
智能终端在检测到对象标注的触发事件之后，此处的触发事件可以包括：对参考图像中的目标参考对象进行三维标注的标注指令，或者开启了自动进行三维标注的工作模式等事件；此时智能终端可以在S201中获取由图像传感器从环境空间中拍摄得到的参考图像，此处的参考图像包括至少一个参考对象。具体的，智能终端可以自动从图像传感器中获取图像传感器所拍摄得到的大量的拍摄图像，并可以从这些大量的拍摄图像中任意选取一帧或多帧拍摄图像作为参考图像。
在一种实施方式中，可以在移动平台的移动过程中，移动平台上所配置的智能终端可以实时或周期性获取图像传感器从环境空间中拍摄到的拍摄图像，并将获取到的拍摄图像存储至存储器或者数据库中。当检测到对象标注的触发事件时，可以从存储器或者数据库中获取这些拍摄图像，并从这些拍摄图像中任意选取一帧或多帧拍摄图像作为参考图像。在其他实施例中，智能终端也可以直接从移动平台中获取参考图像。
在检测到对象标注的触发事件之后，此时智能终端还可以在S202中获取由三维空间传感器扫描环境空间中得到的目标点云数据，此处的目标点云数据用于表示在环境空间中的目标对象所占据的三维空间区域，目标点云数据的数据采集时刻可以与参考图像的图像拍摄时刻相同。具体的，智能终端可以自动从三维空间传感器中获取三维空间传感器扫描得到的点云数据帧集合，并可以基于点云数据帧集合，对目标对象进行跟踪检测，确定目标对象的点云轨迹数据；然后在点云轨迹数据中进行查找、插值处理等一系列操作，得到目标点云数据，此处的插值处理是指：由已知的点云数据估计目标点云数据的处理。
在一种实施方式中，智能终端可以在移动平台的移动过程中，实时或周期性获取三维空间传感器扫描到的点云数据帧集合，并将获取到的点云数据帧集合存储至存储器或者数据库中。当检测到对象标注的触发事件时，可以从存储器或者数据库中获取点云数据帧集合，并基于该点云数据帧集合进行目标对象的跟踪检测、查找、插值处理等一系列操作，得到目标点云数据。在其他实施例中，智能终端也可以直接从移动平台中获取目标点云数据。需要说明的是，步骤S201和步骤S202可以同时执行，在其他实施例中，也可以先执行步骤S201再执行步骤S202，还可以先执行S202再执行S201，本发明实施例对S201和S202的执行顺序不作限定。
在获取到参考图像之后，智能终端可以在S203中从该参考图像中确定出与目标对象匹配的目标参考对象，此处的目标参考对象与目标对象的匹配度大于预设阈值，目标参考对象可以认为是目标对象在参考图像中所对应的对象。具体的，智能终端在获取到参考图像之后，可以采用目标检测方法对参考图像进行图像检测，确定参考图像中的至少一个参考对象，此处的目标检测方法包括但不限于：Hog(Histogram of Oriented Gradient，方向梯度直方图)特征加svm(Support Vector Machine，支持向量机)分类器的方法、基于深度神经网络的方法(深度神经网络可以包括：SSD(Single Shot Multi Box Detector)、YOLO(You Only Look Once)等网络)、基于DPM(Deformable Parts Model，可变形部件模型)的方法，等等。
智能终端在确定出参考图像中的至少一个参考对象之后，可以将目标对象和至少一个参考对象进行关联匹配，根据匹配结果确定目标参考对象。匹配结果中可以包括目标对象与各个参考对象的匹配度，将匹配度大于阈值所对应的参考对象确定为目标参考对象。在一种实施方式中，将目标对象和至少一个参考对象进行关联匹配的具体实施方式可以是：可以先将目标对象的目标点云数据所表示的三维空间区域投影到参考图像上，确定图像投影区域；然后将图像投影区域和各个参考对象在参考图像中所占据的图像参考区域进行关联匹配，得到匹配结果。
在得到目标点云数据之后，还可以在S204中确定目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸，该投影尺寸可以包括高度值、长度值、宽度值，即该投影尺寸可以是一个三维的包围框的尺寸。目标点云数据所表示的三维空间区域的实际尺寸(米)和该投影尺寸(像素)可具有投影比例关系，该投影比例关系可以和参考图像的分辨率有关。例如，投影比例关系为1:50，那么假设三维空间区域的实际高度值为3米，则投影尺寸的高度值为150像素。需要说明的是，步骤S204和步骤S203无先后顺序，在其他实施例中，步骤S204和步骤S203还可同时执行。在确定了投影尺寸之后，可以在S205中根据确定的投影尺寸在参考图像中对目标参考对象进行三维标注。
本发明实施例在进行对象三维标注时，可以获取目标对象的目标点云数据，并确定目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸，然后根据该投影尺寸对参考图像中与目标对象匹配的目标参考对象进行三维标注。通过结合目标点云数据对参考图像中的目标参考对象进行三维标注，可以提高标注的精确度，且无需人工标注，可降低标注成本。
再一个实施例中，针对参考图像中的对象进行三维标注时，本发明实施例在图3中提出了另一种对象标注方法的示意流程图。本发明实施例的所述对象标注方法可以由一个控制设备来实现，此处的控制设备可以是智能终端，例如智能手机、平板电脑等移动智能终端，以及台式电脑等，该智能终端可以作为移动平台的一部分，被配置在移动平台上，也可以是一个外部独立的终端设备，与移动平台相连接；在其他实施例中，该控制设备还可以是一些基于图像识别进行自动移动的移动平台，例如配置处理器的无人驾驶汽车、机器人、无人机，等等。本发明实施例以控制设备为智能终端，且该智能终端被配置在移动平台上为例。
智能终端在检测到对象标注的触发事件之后，可以在S301中获取由图像传感器从环境空间中拍摄得到的参考图像，参考图像包括至少一个参考对象。具体的，可以自动从图像传感器中获取该参考图像。在一种实施方式中，智能终端可以在移动平台的移动过程中，实时或周期性获取图像传感器从环境空间中拍摄到的拍摄图像，并将获取到的拍摄图像存储至存储器或者数据库中。当检测到对象标注的触发事件时，可以从存储器或者数据库中获取这些拍摄图像，并从这些拍摄图像中任意选取一帧或多帧拍摄图像作为参考图像。
在检测到对象标注的触发事件之后，还可以在S302中获取由三维空间传感器扫描环境空间得到的点云数据帧集合。可以自动从三维空间传感器中获取该点云数据帧集合。在一种实施方式中，智能终端可以在移动平台的移动过程中，实时或周期性获取三维空间传感器扫描到的点云数据帧集合，并将获取到的点云数据帧集合存储至存储器或者数据库中。当检测到对象标注的触发事件时，可以从存储器或者数据库中获取该点云数据帧集合。需要说明的是，步骤S301和步骤S302可以同时执行，在其他实施例中，也可以先执行步骤S301再执行步骤S302，还可以先执行S302再执行S301，本发明实施例对S301和S302的执行顺序不作限定。
在获取到点云数据帧集合之后，可以在S303中，基于点云数据帧集合，对目标对象进行跟踪检测，确定目标对象的点云轨迹数据，此处的点云数据帧集合可以包括了至少两帧点云数据帧。可以先对目标点云数据帧进行对象检测，确定目标对象，所述目标点云数据帧为所述点云数据帧集合中的任意一点云数据帧。在具体实施过程中，可以采用单帧目标检测方法对目标点云数据帧进行对象检测，此处的单帧目标检测算法可以包括但不限于：基于传统的点云分割聚类方法，传统的点云分割聚类方法通常包括了如下流程：先进行地面滤波，得到非地面点；然后对非地面点进行分割聚类和特征提取；基于深度学习的目标检测方法，例如基于MV3D(Multi-View 3D Object Detection Network for AutonomousDriving)模型的方法、基于Voxel模型的方法、基于Pointnet模型的方法，等等。
在确定目标对象之后，可以获取与目标点云数据帧相关联的关联点云数据帧，此处的关联点云数据帧可以包括：采集时间位于目标点云数据帧之前或者之后的一帧点云数据帧；基于关联点云数据帧，对目标对象进行跟踪处理，确定目标对象的点云轨迹数据。在一个实施例中，可以采用目标跟踪算法对目标点云数据帧检测得到的目标对象，在关联点云数据帧中进行目标对象的关联匹配和跟踪，以得到目标对象的点云轨迹数据，此处的目标跟踪算法可以包括但不限于：基于均值漂移算法的目标跟踪算法、基于粒子滤波算法的目标跟踪算法、基于Kalman(卡尔曼)滤波的目标跟踪算法、基于对运动目标建模的目标跟踪算法、基于贝叶斯理论的目标跟踪算法，等等。在其他实施例中，关联点云数据帧还可以是采集时间位于目标点云数据帧之前或者之后的，与目标点云数据帧相邻的一帧点云数据帧。
本发明实施例还可以根据目标对象的点云轨迹数据对目标对象进行分类，确定目标对象的分类类别，该分类类别可以例如大卡车、自行车、行人、摩托车，等等。由于在移动过程中，可能会在某一个时刻，因为距离、可视角度以及遮挡物的遮挡等因素，导致采集到的点云数据帧不准确，从而导致对目标对象进行分类所得到的分类类别不准确。因此本发明实施例根据点云轨迹数据对目标对象进行分类。由前述可知，点云轨迹数据是由目标对象在不同时刻的点云数据所构成的表明目标对象的运动轨迹的数据，采用多个时刻的点云数据对目标对象进行分类，可以提高分类类别的准确性以及鲁棒性。
由于智能终端所获取的点云数据帧集合是三维空间传感器提前获取到的，且在移动过程中，可能会在某些时刻，因为距离、可视角度以及遮挡物的遮挡等因素，导致目标对象的点云轨迹数据所表示的三维空间区域的尺寸不准确，因此在一种实施方式中，在基于点云数据帧集合，对目标对象进行跟踪检测时，还可以对目标对象进行双向目标跟踪优化，所谓的双向目标跟踪优化是指：在时间域上不仅从前往后对目标对象进行跟踪滤波处理，而且还从后往前对目标对象进行跟踪滤波处理。通过对目标对象进行双向目标跟踪优化，可以保证目标对象的点云轨迹数据所表示的三维空间区域尺寸(例如三维空间区域的长宽高的值)和分类类别(例如大卡车、自行车等)是最佳值。
在得到目标对象的点云轨迹数据之后，可以从点云轨迹数据中查找并确定目标点云数据。由前述可知，目标点云数据的数据采集时刻与参考图像的图像拍摄时刻相同，且参考图像具有拍摄时间戳，该拍摄时间戳记录着参考图像的图像拍摄时刻，因此可以根据参考图像的拍摄时间戳从点云轨迹数据中确定目标点云数据。具体的，可以先获取参考图像的拍摄时间戳，并在S304中根据参考图像的拍摄时间戳从点云轨迹数据中确定参考点云数据，该参考点云数据的数据时间戳与参考图像的拍摄时间戳满足预设条件。
在一种实施方式中，此处的预设条件可以是：参考点云数据的数据时间戳所构成的时间戳范围内包括参考图像的拍摄时间戳，且该数据时间戳与该拍摄时间戳的差值小于预设差值。例如：参考图像的拍摄时间戳为8:45:45，点云数据A的数据时间戳为8:45:40，点云数据B的数据时间戳为8:45:50，预设差值为10秒。由于点云数据A的数据时间戳与点云数据B的数据时间戳所构成的时间戳范围为[8:45:40，8:45:50]，包括了参考图像的拍摄时间戳8:45:45，且点云数据A的数据时间戳、点云数据B的数据时间戳与参考图像的拍摄时间戳的差值均为5秒，该差值小于10秒，因此，点云数据A和点云数据B均可作为参考点云数据。需要说明的是，所列举的时间戳仅为举例，在实际使用中，一帧图像或者一帧点云数据的采集时间可以以毫秒记。
再一种实施方式中，此处的预设条件可以是：参考点云数据的数据时间戳早于或晚于参考图像的拍摄时间戳，且参考点云数据的数据时间戳与参考图像的拍摄时间戳的差值小于预设差值。例如，以参考点云数据的数据时间戳晚于参考图像的拍摄时间戳为例：参考图像的拍摄时间戳为8:45:45，点云数据A的数据时间戳为8:45:46，点云数据B的数据时间戳为8:45:48，点云数据C的数据时间戳为8:45:49，预设差值为10秒。由于点云数据A、点云数据B、点云数据C这三个点云数据的数据时间戳均晚于参考图像的拍摄时间戳8:45:45，且这三个点云数据的数据时间戳与参考图像的拍摄时间戳的差值均小于10秒。因此，点云数据A、点云数据B以及点云数据C均可作为参考点云数据。
在确定了参考点云数据之后，可以在S305中对参考点云数据进行插值处理得到目标点云数据。由前述可知，插值处理是指由已知的点云数据估计目标点云数据的处理。在一种实施方式中，若参考点云数据的数据时间戳所构成的时间戳范围内包括参考图像的拍摄时间戳，则此情况下的插值处理可以是内插处理，所谓的内插处理的原理为：根据未知函数f(x)在某区间内若干点的函数值，作出在该若干点的函数值与f(x)值相等的特定函数来近似原函数f(x)，进而可用此特定函数算出该区间内其他各点的原函数f(x)的近似值的方法。
在一个实施例中，对参考点云数据进行插值处理得到目标点云数据的具体实施方式可以是：参考点云数据可以包括第一点云数据和第二点云数据，其中第一点云数据的数据时间戳早于参考图像的拍摄时间戳，第二点云数据的数据时间戳晚于参考图像的拍摄时间戳。可以根据第一点云数据所对应的位置、速度、方向等第一信息，以及第二点云数据所对应的位置、速度、方向等第二信息确定运动函数，然后根据此运动函数计算目标点云数据。
举例来说，如图4所示：参考图像的拍摄时间戳为8:25:25，确定目标对象的点云轨迹数据是由目标对象在8:25:10、8:25:20、8:25:30以及8:25:40等时刻的点云数据所构成的表明目标对象的运动轨迹的数据。根据参考图像的拍摄时间戳8:25:25，可以从该点云轨迹数据中选取8:25:20和8:25:30这两个时刻所对应的点云数据作为参考点云数据，即参考点云数据包括的第一点云数据的时间戳为8:25:20，第二点云数据的时间戳为8:25:30。
在根据第一点云数据和第二点云数据进行内插处理得到目标点云数据的过程中，可以获取第一点云数据所对应的第一位置、第一速度、第一方向等信息，以及第二点云数据所对应的第二位置、第二速度、第二方向等信息。然后可以基于这些信息从点云轨迹数据中估计时间戳为8:25:25的目标点云数据。在一个实例中，假设第一速度与第二速度相同、且运动方向相同(即第一方向和第二方向相同)，此时可以认为目标对象匀速向第一方向(或第二方向)移动，那么可以确定运动函数为时间和位置成正相关的函数，即可以直接根据第一位置和第二位置估计目标点云数据。由于图像采集时刻的时间戳8:25:25位于第一点云数据的时间戳8:25:20和第二点云数据的时间戳8:25:30的中间，且目标对象均是匀速向一个方向(第一方向或者第二方向)移动，那么可以估计目标点云数据的位置处于第一位置和第二位置的中间，因此可以根据第一位置信息和第二位置信息确定一个中间位置，然后将该中间位置所对应的点云数据确定为目标点云数据，目标点云数据可以携带位置(例如可以是相对三维空间传感器的位置)、速度、方向等信息，该目标点云数据如图4中的黑线加粗的部分。需要说明的是：第一点云数据的数据时间戳与参考图像的拍摄时间戳的第一差值可以等于第二点云数据的数据时间戳与参考图像的拍摄时间戳的第二差值。在其他实施例中，第一差值也可以与第二差值不同。
再一种实施方式中，若参考点云数据的数据时间戳早于参考图像的拍摄时间戳，则此情况下的对参考点云数据进行插值处理得到目标点云数据的具体实施方式可以是：根据各个参考点云数据的位置、速度等信息，在时间域上向后进行预估，以估计得到在点云轨迹数据中图像采集时刻的时间戳所对应的目标点云数据。同理，若参考点云数据的数据时间戳晚于参考图像的拍摄时间戳，则在时间域上向前进行预估。
在确定目标点云数据之后，可以在S306中对目标点云数据和至少一个参考对象在参考图像上的参考包围框进行匹配处理，确定目标点云数据对应的目标对象和至少一个参考对象的匹配度。在一个实施例中，可以将目标点云数据所表示的三维空间区域进行二维图像投影，得到目标点云数据在参考图像上的图像投影区域；确定该图像投影区域的最小外包框；对最小外包框和至少一个参考对象在参考图像上的参考包围框进行匹配计算，确定目标点云数据对应的目标对象和至少一个参考对象的匹配度。
在具体实施过程中，首先，智能终端可以采用基于深度神经网络的方法、基于DPM的方法等目标检测方法对参考图像进行图像检测，确定参考图像中的至少一个参考对象，以及参考对象的分类类别和置信度，置信度可用于表示参考对象属于该分类类别的概率。并可以对检测到的参考对象进行二维标注，得到参考对象的参考包围框；每一个参考对象均对应一个参考包围框，该参考包围框是一个二维的包围框。还可以利用图像传感器和三维空间传感器的标定参数，将目标点云数据所表示的三维空间区域投影到参考图像中，此处的标定参数可以包括：图像传感器的内参数、外参数以及畸变参数等参数，三维空间传感器的内参数和外参数等。将目标点云数据所表示的三维空间投影到参考图像中后，可以得到目标点云数据在参考图像中的图像投影区域，该图像投影区域可以是目标点云数据的投影点所构成的区域。然后，可以根据图像投影区域中的各个投影点确定一个最小外包框，确定出的最小外包框可包括全部投影点或者大于预设比例的投影点，例如该最小外包围框将99％的投影点都覆盖在框内。在一种实施方式中，当图像投影区域中的某几个投影点离其余的投影点较远时，可以根据图像投影区域中除这几个投影点以外的其余的投影点确定最小外包框。得到最小外包框和参考包围框后，可以对最小外包框和至少一个参考对象在参考图像上的参考包围框进行匹配计算，确定目标点云数据对应的目标对象和至少一个参考对象的匹配度。
在一种实施方式中，对最小外包框和至少一个参考对象在参考图像上的参考包围框进行匹配计算，确定目标点云数据对应的目标对象和至少一个参考对象的匹配度的具体实施方式可以是：根据最小外包框的位置、大小等信息，以及至少一个参考对象在参考图像上的参考包围框的位置、大小等信息，确定目标点云数据对应的目标对象和至少一个参考对象的匹配度。例如，最小外包框位于参考图像中的右下角，大小为250像素*200像素，参考对象A的参考包围框也位于参考图像中的右下角，大小为250像素*200像素，那么可以确定目标点云数据对应的目标对象和该参考对象A的匹配度为100％；又如，参考对象B的参考包围框位于参考图像中的左上角，大小为250像素*200像素，由于位于右下角的最小外包框与该参考对象B的参考包围框的位置不同，那么可以确定目标点云数据对应的目标对象和该参考对象B的匹配度为0。
再一种实施方式中，为了更加准确地计算目标对象和参考对象的匹配度，对最小外包框和至少一个参考对象在参考图像上的参考包围框进行匹配计算，确定目标点云数据对应的目标对象和至少一个参考对象的匹配度的具体实施方式可以是：计算最小外包框和至少一个参考对象在参考图像上的参考包围框的交并比；将交并比作为目标点云数据对应的目标对象和至少一个参考对象的匹配度。例如，可以采用如图5所示的方法分别计算最小外包框和各个参考包围框的交并比(Intersection Over Union，IOU)，所谓的交并比是一种测量在特定数据集中检测相应物体准确度的一个标准，可以用于测量真实与预测之间的相关度，相关度越高，交并比的值越大。本发明实施例可以将最小外包框和参考包围框相交的相交面积(如图5中序号为①的阴影部分的面积)与最小外包框和参考包围框合并在一起的合并面积(如图5中序号为②的阴影部分的面积)的比值确定为交并比，并用该交并比作为目标对象和参考对象之间的匹配度，交并比的值越大，则表明目标对象和参考对象之间的匹配度就越高。交并比按照百分比计算后的值可以作为匹配度，例如交并比IOU＝8/10＝0.8，那么匹配度可以用80％来量化。
由于匹配度可以表示目标对象与参考对象之间的契合程度，因此在确定了目标对象和各个参考对象的匹配度之后，可以在S307中，根据匹配度从至少一个参考对象中确定目标参考对象，目标参考对象和目标点云数据对应的目标对象的匹配度大于预设阈值；此处的预设阈值可以是根据业务需求或者经验值确定的。具体的，可以将各个匹配度与预设阈值进行比较，若匹配度大于预设阈值(例如80％)，则可以表明该匹配度所对应的参考对象与目标对象之间的契合程度高，此时可以将该匹配度所对应的参考对象确定为目标参考对象。当可能存在多个参考包围框与最小外包框之间的匹配度大于预设阈值时，可以将IOU最大的参考包围框对应的参考对象作为目标参考对象。
在一种实施方式中，为了进一步更加准确地确定目标参考对象以及保证目标参考对象的唯一性，还可以结合目标参考对象的分类类别以及参考对象的分类类别来确定目标参考对象。具体的，可以先根据匹配度从至少一个参考对象中确定候选参考对象，候选参考对象和目标点云数据所表示的目标对象的匹配度大于预设阈值；然后根据候选参考对象的分类类别和目标点云数据所表示的目标对象的分类类别确定目标参考对象。目标参考对象的分类类别可以和目标点云数据所表示的目标对象的分类类别相同，例如目标参考对象和目标对象的分类类别均为自行车。在其他实施例中，目标参考对象的分类类别可以和目标对象的分类类别相似，例如候选参考对象的分类类别为越野车，目标对象的分类类别为商务车，由于越野车和商务车的形状、大小均相似，此时，可以将该候选参考对象确定为目标参考对象。
在确定了目标参考对象之后，可以在S308中获取目标参考对象的对象信息。此处的目标参考对象的对象信息可以包括目标参考对象的二维标注尺寸和/或目标参考对象的分类类别；其中，二维标注尺寸为包围该目标参考对象的参考包围框的尺寸。然后可以在S309中，根据对象信息确定目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸。此处的投影尺寸可以是三维包围框的尺寸，即投影尺寸可以包括三维包围框的高度值、长度值和/或宽度值。在确定投影尺寸时，可以根据目标参考对象的二维标注尺寸确定投影尺寸中的高度值，根据目标参考对象的分类类别确定投影尺寸中的长度值和/或宽度值。
在一种实施方式中，若对象信息包括：目标参考对象的二维标注尺寸；则根据对象信息确定目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸的具体实施方式可以是：获取二维标注尺寸的高度值；根据高度值，确定目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸中的高度值。即在获取到二维标注尺寸的高度值之后，可以将二维尺寸的高度值确定为投影尺寸中的高度值。
再一种实施方式中，若对象信息包括：目标参考对象的分类类别；则根据对象信息确定目标点云数据所表示的三维空间区域投影到二维图像上的投影尺寸的具体实施方式可以是：可以先获取为分类类别设置的尺寸标准值，此处的尺寸标准值是指该分类类别所对应的实际尺寸的值，可以包括：标准长度值和/或标准宽度值。例如，分类类别是小轿车，小轿车的实际长度为4米，则为该分类类别所设置的标准长度值为4米。然后可以根据尺寸标准值，确定目标点云数据投影到二维图像上的投影尺寸中的长度值和/或宽度值。
当尺寸标准值包括标准长度值时，根据尺寸标准值，确定目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸中的长度值的具体实施方式可以是：若三维空间区域的长度值与标准长度值的差值大于预设长度差值，则将三维空间区域的长度值调整至标准长度值，并根据调整后的三维空间区域的长度值确定投影尺寸中的长度值。在根据调整后的三维空间区域的长度值确定投影尺寸中的长度值时，可以根据三维空间区域的实际尺寸和投影尺寸之间的投影比例关系，确定调整后的三维空间区域的长度值所对应的投影尺寸的长度值。例如，目标参考对象被分类为小轿车，一般情况下小轿车的长度为5米内，那么，在确定目标参考对象的分类类别后，将三维空间区域的长度值由初始的2米，调整至5米，那么调整后的三维空间区域的长度值为5米，投影比例关系为1:50，那么确定的投影尺寸的长度值等于250像素。
当尺寸标准值包括标准宽度值时，根据尺寸标准值，确定目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸中的宽度值的具体实施方式可以是：若三维空间区域的宽度值与标准宽度值的差值大于预设宽度差值，则将三维空间区域的宽度值调整至标准宽度值，并根据调整后的三维空间区域的宽度值确定投影尺寸中的宽度值。在根据调整后的三维空间区域的宽度值确定投影尺寸中的宽度值时，也可以根据投影比例关系，确定调整后的三维空间区域的宽度值所对应的投影尺寸的宽度值。例如，目标参考对象被分类为小轿车，一般情况下小轿车的宽度为2米内，那么，在确定目标参考对象的分类类别后，可以将三维空间区域的宽度值由初始的0.5米，调整至2米，那么调整后的三维空间区域的宽度值为2米，投影比例关系为1:50，那么确定的投影尺寸的宽度值等于100像素。
此处的预设长度差值和预设宽度差值均可以是根据业务需求或者经验值确定的。预设长度差值和预设宽度差值均可以取较大的数值，例如取值均为2米，此情况下，若三维空间区域的长度值远小于标准长度值，和/或三维空间区域的宽度值远小于标准宽度值，则对三维空间区域的长度值和/或宽度值进行调整。预设长度差值和预设宽度差值也均可以取较小的数值，例如取值均为零，此情况下，若三维空间区域的长度值不等于标准长度值，和/或三维空间区域的宽度值不等于标准宽度值，则对三维空间区域的长度值和/或宽度值进行调整。
在确定了投影尺寸之后，则可以在S310中根据确定的投影尺寸在参考图像中对目标参考对象进行三维标注。
本发明实施例在进行对象三维标注时，可以获取目标对象的目标点云数据，并确定目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸，然后根据该投影尺寸对参考图像中与目标对象匹配的目标参考对象进行三维标注。通过结合目标点云数据对参考图像中的目标参考对象进行三维标注，可以提高标注的精确度，且无需人工标注，可降低标注成本。
基于上述的描述，本发明实施例可以实现对平面的二维图像进行三维标注，将二维图像中的某一个对象以三维框的形式标注出来，这样在自动驾驶汽车、机器人、无人机等移动平台的移动过程中，能够基于三维框的标注，更准确地确定二维图像上的某个对象的所在位置，从而方便对移动平台进行避障、跟踪等移动控制。如图6a所示，通过在二维图像中对目标车辆的三维标注，能够得到三维标注框101，如图6b所示，通过在二维图像中对车辆的二维标注，能够得到一个二维标注框102，拍摄图像的车辆(例如一个自动驾驶的车辆)能够在三维标注框101中确定出距离本车辆最近的是目标车辆的车尾中由棱线103标注出来的部分，而在图6b所对应的二维标注框102中根本无法检测确定出目标车辆的该部分车尾位置。
在一个实施例中，为了实现对平面的二维图像进行三维标注，以使得可以根据三维标注区域对移动平台进行避障、跟踪等移动控制，可以通过建立一个用于对二维图像进行三维标注的模型，基于该模型来对摄像机等设备拍摄得到的二维图像进行三维标注，后续可以再利用成熟的二维图像的检测识别技术，更准确地通过二维图像确定某个目标对象的位置，从而方便对移动平台进行避障、跟踪等移动控制。在建立该模型的过程中，可以基于大量的样本图像来对初始模型进行有监督的训练，进而可以得到能够较为准确地对二维图像进行三维标注的模型。所述样本图像作为一个平面图像，其标注过程可参考前述实施例中对参考图像进行三维标注的相关内容。
在一个实施例中，所述样本图像可以是先由用户通过人工框选三维标注框的形式来对二维的样本图像进行人工标注得到三维标注的样本图像，再将该原始的样本图像输入到初始模型中，由初始模型对原始样本图像进行识别与三维标注，如果三维标注的区域与上述提及的三维标注的样本图像上的标注区域相同，则证明初始模型可用，不需要对初始模型进行优化，如果不相同，则需要对初始模型进行优化直至所述初始模型对原始样本图像的三维标注的区域与上述提及的三维标注的样本图像上的标注区域相同。基于初始模型对大量的样本图像进行相同的处理，完成对初始模型的优化，最终得到的最终模型可配置到自动驾驶汽车、UAV、机器人等移动平台中。
在一个实施例中，样本图像可以自动进行标注，结合三维空间传感器来对环境空间进行扫描得到某个对象的三维点云数据，基于三维点云数据来对拍摄到的所述环境空间中的参考图像进行三维标注。需要说明的是，基于三维空间传感器的三维点云数据进行三维标注的过程可以参见上述图2或图3所示的对象标注方法，在此不再赘述。得到三维标注的样本图像，可以基于上述相同的原理来实现对初始模型的训练优化。三维点云数据可以用来对样本图像进行自动的三维标注来代替人工三维标注，最终训练得到的最终模型可以直接对摄像装置拍摄到的某个图像进行三维标注。在其他实施例中，训练得到的模型也可以基于三维点云数据和摄像装置拍摄到的图像，在移动平台运行的过程中完成对摄像装置拍摄到的图像进行三维标注。在其他实施例中，在得到三维标注的样本图像之后，可以将该三维标注的样本图像直接输出至标注人员处，以使标注人员检测该三维标注的样本图像的标注效果是否合格。
在训练得到最终模型之后，可以将该最终模型运用在移动平台中，所述移动平台可以包括：自动驾驶汽车(Autonomous vehicles；Self-piloting automobile)、无人驾驶飞机(Unmanned Aerial Vehicle/Drones，UAV)(简称无人机)、机器人，等等。其中，此处的自动驾驶汽车又可称为无人驾驶汽车、电脑驾驶汽车、或者轮式移动机器人，是一种通过电脑系统实现无人驾驶的智能汽车。自动驾驶汽车可以依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，使得电脑可以在没有任何人类主动的操作下，自动安全地操作汽车。
在实际运用过程中，这些移动平台中均可配置三维空间传感器(例如激光雷达、三维激光扫描仪等等)以及图像传感器(例如摄像装置)，所谓的激光雷达是一种以发射激光束探测目标对象的位置、速度等特征量的雷达系统。以三维空间传感器为激光雷达，图像传感器为摄像装置为例，这些移动平台在自动移动的过程中，可以通过激光雷达获取移动平台周围的目标对象(待标注对象)的激光点云数据，该激光点云数据可以表示在环境空间中的目标对象所占据的三维空间区域；通过摄像装置可以获取移动平台周围环境的参考图像，该参考图像中可以包括激光雷达所检测到的目标对象的图像区域，此处的目标对象是指影响移动平台安全移动的物体或者移动平台的跟踪对象，例如行人、车辆、自行车，等等。在一个实施例中，移动平台可以与智能终端相连接，接收智能终端所发送的控制指令，并根据此控制指令进行安全移动。移动平台在获取到目标对象的激光点云数据、参考图像等数据后，可以将这些数据发送至智能终端，由智能终端调用训练优化后的最终模型根据这些数据进行一系列对象标注处理，然后根据标注结果生成控制指令，以控制移动平台在移动过程中可以避开目标对象，实现安全移动。
以移动平台为无人驾驶汽车为例，无人驾驶汽车可以与控制设备，如智能终端(如专用的电脑设备)相连接，如图7所示。该电脑设备可以作为无人驾驶汽车的一部分，被配置在无人驾驶汽车上，也可以是一个外部独立的电脑设备。无人驾驶汽车在自动行驶过程中，可以通过激光雷达获取此无人驾驶汽车周围的待标注的目标对象的激光点云数据(或者称之为目标点云数据)，同时通过摄像装置获取无人驾驶汽车在行驶过程中从环境空间中拍摄得到的参考图像，该目标对象可以是公路上除该无人驾驶汽车以外的其他车辆、行人等。无人驾驶汽车在获取到待标注的目标对象的激光点云数据和参考图像之后，可以将待标注的目标对象的激光点云数据和参考图像发送至与无人驾驶汽车相连接的智能终端。
智能终端在获取到待标注的目标对象的激光点云数据以及参考图像之后，可以调用训练优化后的最终模型根据激光点云数据和参考图像对目标参考对象进行三维标注处理，此处的目标参考对象是待标注的目标对象在参考图像中所对应的目标对象。在一个实施例中，可以从参考图像中确定出与待标注的目标对象匹配的目标参考对象；确定激光点云数据所表示的三维空间区域投影到参考图像上的投影尺寸；然后根据确定的投影尺寸在参考图像中对目标参考对象进行三维标注。例如，以目标参考对象A为例，确定的投影尺寸的长度值为200像素，宽度值为100像素，高度值为150像素，那么采用此确定的投影尺寸对目标参考对象A进行三维标注，可以得到如图8所示的标注效果图。智能终端还可以将此标注效果图发送至无人驾驶汽车，以使得无人驾驶汽车可以在显示屏幕中显示该标注效果图。
由此可见，本发明实施例在无人驾驶汽车的自动行驶过程中，可以在获取到待标注的目标对象的激光点云数据和参考图像之后，根据该激光点云数据和环境图像进行投影，关联匹配等一系列处理，实现对参考图像中的目标参考对象的标注处理，得到目标参考对象的3D包围框。通过结合待标注的目标对象的激光点云数据对参考图像中的目标参考对象进行三维标注，可以提高标注的精确度。并且，在标注过程中，不需要大量标注人员对激光点云数据进行人工标注，可以简化标注操作，降低标注成本。
在一种实施方式中，可以在移动平台中配置有处理器，该处理器与三维空间传感器和摄像装置相连接。移动平台在获取到待标注目标对象的激光点云数据、参考图像等数据后，也可以由移动平台中的处理器根据这些数据进行一系列三维标注、基于图像的目标对象识别等数据处理。根据数据处理结果生成控制指令，并根据此控制指令进行自动行驶，实现在行驶过程中可以避开目标对象，达到安全行驶。
再一个实施例中，为了实现对平面的二维图像进行三维标注，以使得可以根据三维标注区域对移动平台进行避障、跟踪等移动控制，本发明实施例在图9中提出了一种移动控制方法的示意流程图。本发明实施例所提出的移动控制方法可以由一个控制设备来实现，此处的控制设备可以是智能终端例如智能手机、平板电脑等移动智能终端，以及台式电脑等；该控制设备也可以是一些基于图像识别而进行自动移动的移动平台，此处的移动平台可以包括：无人驾驶汽车、机器人、无人机等等，这些移动平台可以配置处理器、三维空间传感器以及图像传感器等。
本发明实施例以控制设备为移动平台实现该移动控制方法为例，在S901中，在移动平台的移动过程中，获取从环境空间中拍摄得到的参考图像，以及获取扫描所述环境空间得到的目标点云数据，所述目标点云数据用于表示在所述环境空间中的目标对象所占据的三维空间区域。具体的，由于移动平台配置有三维空间传感器以及图像传感器，因此移动平台在移动过程中，可以调用图像传感器对环境空间中的目标对象(例如车辆、行人等)进行实时拍摄，将实时拍摄得到的图像作为参考图像，获取到的参考图像中可以包括至少一个参考对象。同时，移动平台还可以调用三维空间传感器对该环境空间的目标对象进行实时扫描，将实时扫描得到的点云数据作为目标点云数据。
由于图像和点云数据的采集频率不同，采集到的帧图像和点云数据帧可能无法一一对应，可能会导致移动平台在获取到参考图像的时刻，无法获取到扫描得到的目标点云数据，因此移动平台可以设置一个延时时间以获取更多的点云数据，从而确定目标点云数据。例如，图像的采集频率为20帧/秒，点云数据的采集频率为15帧/秒。若在同一时刻进行图像采集和点云数据采集，则可以采集得到20帧图像和15帧点云数据帧。若采集到的第20帧图像作为参考图像，此时没有对应的目标点云数据，则可以设置一个如1秒的延时时间，那么移动平台可以再获取到15帧点云数据帧，从而可以基于获取到的30帧点云数据帧查找确定出于参考图像对应的目标点云数据。
因此，在一种实施方式中，获取扫描环境空间得到的目标点云数据的具体实施方式可以包括如下步骤s11-s14：
s11，获取扫描所述环境空间得到的点云数据帧集合，该点云数据帧集合可以包括图像采集时刻所采集到的多帧点云数据帧以及移动平台设置的延时时间内所采集到的多帧点云数据帧；
s12，基于所述点云数据帧集合，对所述目标对象进行跟踪检测，确定所述目标对象的点云轨迹数据；
具体的，所述点云数据帧集合可以包括至少两帧点云数据帧。可以对目标点云数据帧进行对象检测，确定所述目标对象，所述目标点云数据帧为所述点云数据帧集合中的任意一点云数据帧；
获取与所述目标点云数据帧相关联的关联点云数据帧，所述关联点云数据帧包括：采集时间位于所述目标点云数据帧之前或者之后的一帧点云数据帧；基于所述关联点云数据帧，对所述目标对象进行跟踪处理，确定所述目标对象的点云轨迹数据。
s13，根据所述参考图像的拍摄时间戳从所述点云轨迹数据中确定参考点云数据，该参考点云数据的数据时间戳与参考图像的拍摄时间戳满足预设条件。
在一种实施方式中，此处的预设条件可以是：参考点云数据的数据时间戳所构成的时间戳范围内包括参考图像的拍摄时间戳，且该数据时间戳与该拍摄时间戳的差值小于预设差值。再一种实施方式中，此处的预设条件可以是：参考点云数据的数据时间戳早于或晚于参考图像的拍摄时间戳，且参考点云数据的数据时间戳与参考图像的拍摄时间戳的差值小于预设差值。
s14，对所述参考点云数据进行插值处理得到所述目标点云数据。
插值处理是指由已知的点云数据估计目标点云数据的处理。在一种实施方式中，若参考点云数据的数据时间戳所构成的时间戳范围内包括参考图像的拍摄时间戳，则此情况下的插值处理可以是内插处理。相应的，对参考点云数据进行插值处理得到目标点云数据的具体实施方式可以是：参考点云数据可以包括第一点云数据和第二点云数据，其中第一点云数据的数据时间戳早于参考图像的拍摄时间戳，第二点云数据的数据时间戳晚于参考图像的拍摄时间戳。可以根据第一点云数据所对应的位置、速度、方向等第一信息，以及第二点云数据所对应的位置、速度、方向等第二信息确定运动函数，然后根据此运动函数计算目标点云数据。
再一种实施方式中，若参考点云数据的数据时间戳早于参考图像的拍摄时间戳，则此情况下的对参考点云数据进行插值处理得到目标点云数据的具体实施方式可以是：根据各个参考点云数据的位置、速度等信息，在时间域上向后进行预估，以估计得到在点云轨迹数据中图像采集时刻的时间戳所对应的目标点云数据。同理，若参考点云数据的数据时间戳晚于参考图像的拍摄时间戳，则在时间域上向前进行预估。
移动平台在获取到参考图像和目标点云数据之后，可以在S902中根据目标对象和目标点云数据，对参考图像中的至少一个参考对象进行三维标注，得到三维标注区域。在具体实施过程中，步骤S902可以包括如下步骤s21-s23：
s21，从参考图像中的至少一个参考对象中确定出与目标对象匹配的目标参考对象，此处的所述目标参考对象可以认为是目标对象在参考图像中所对应的对象。
在一个实施例中，移动平台在从参考图像中的至少一个参考对象中确定出与目标对象匹配的目标参考对象时，可以先对目标点云数据和至少一个参考对象在参考图像上的参考包围框进行匹配处理，确定目标点云数据对应的目标对象和至少一个参考对象的匹配度。在一种实施方式中，移动平台在确定匹配度的过程中，移动平台可以将目标点云数据所表示的三维空间区域进行二维图像投影，得到目标点云数据在参考图像上的图像投影区域；确定图像投影区域的最小外包框；对最小外包框和至少一个参考对象在所述参考图像上的参考包围框进行匹配计算，确定目标点云数据对应的目标对象和所述至少一个参考对象的匹配度。
在一种实施方式中，对最小外包框和至少一个参考对象在所述参考图像上的参考包围框进行匹配计算，确定目标点云数据对应的目标对象和所述至少一个参考对象的匹配度的具体实施方式可以是：计算最小外包框和至少一个参考对象在参考图像上的参考包围框的交并比；将该交并比作为目标点云数据对应的目标对象和至少一个参考对象的匹配度。
再一种实施方式中，对最小外包框和至少一个参考对象在所述参考图像上的参考包围框进行匹配计算，确定目标点云数据对应的目标对象和所述至少一个参考对象的匹配度的具体实施方式可以是：根据最小外包框的位置、大小等信息，以及至少一个参考对象在参考图像上的参考包围框的位置、大小等信息，确定目标点云数据对应的目标对象和至少一个参考对象的匹配度。
在确定出目标对象和至少一个参考对象的匹配度之后，可以根据该匹配度从至少一个参考对象中确定目标参考对象，该目标参考对象和目标点云数据对应的目标对象的匹配度大于预设阈值，此处的预设阈值可以是根据业务需求或者经验值确定的。在一种实施方式中，根据该匹配度从至少一个参考对象中确定目标参考对象的具体实施方式可以是：将各个匹配度与预设阈值进行比较，若匹配度大于预设阈值(例如80％)，则可以将该匹配度所对应的参考对象确定为目标参考对象。当可能存在多个参考包围框与最小外包框之间的匹配度大于预设阈值时，可以将匹配度最大的参考包围框所对应的参考对象作为目标参考对象。
在一种实施方式中，为了进一步更加准确地确定目标参考对象以及保证目标参考对象的唯一性，还可以结合目标参考对象的分类类别以及参考对象的分类类别来确定目标参考对象。具体的，可以先根据匹配度从至少一个参考对象中确定候选参考对象，该候选参考对象和该目标点云数据对应的目标对象的匹配度大于预设阈值；然后根据候选参考对象的分类类别和目标点云数据对应的目标对象的分类类别确定目标参考对象。
s22，确定目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸。
在确定了目标参考对象之后，可以获取目标参考对象的对象信息，此处的目标参考对象的对象信息可以包括目标参考对象的二维标注尺寸和/或目标参考对象的分类类别；其中，二维标注尺寸为包围该目标参考对象的参考包围框的尺寸。然后根据该对象信息确定目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸。此处的投影尺寸可以包括三维包围框的高度值、长度值和/或宽度值。在确定投影尺寸时，可以根据目标参考对象的二维标注尺寸确定投影尺寸中的高度值，根据目标参考对象的分类类别确定投影尺寸中的长度值和/或宽度值。
在一种实施方式中，若对象信息包括：目标参考对象的二维标注尺寸；则根据对象信息确定目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸的具体实施方式可以是：获取二维标注尺寸的高度值；根据高度值，确定目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸中的高度值。即在获取到二维标注尺寸的高度值之后，可以将二维尺寸的高度值确定为投影尺寸中的高度值。再一种实施方式中，若对象信息包括：目标参考对象的分类类别；则根据对象信息确定目标点云数据所表示的三维空间区域投影到二维图像上的投影尺寸的具体实施方式可以是：可以先获取为分类类别设置的尺寸标准值，此处的尺寸标准值是指该分类类别所对应的实际尺寸的值，可以包括：标准长度值和/或标准宽度值。然后可以根据尺寸标准值，确定目标点云数据投影到二维图像上的投影尺寸中的长度值和/或宽度值。
当尺寸标准值包括标准长度值时，根据尺寸标准值，确定目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸中的长度值的具体实施方式可以是：若三维空间区域的长度值与标准长度值的差值大于预设长度差值，则将三维空间区域的长度值调整至标准长度值，并根据调整后的三维空间区域的长度值确定投影尺寸中的长度值。在根据调整后的三维空间区域的长度值确定投影尺寸中的长度值时，可以根据三维空间区域的实际尺寸和投影尺寸之间的投影比例关系，确定调整后的三维空间区域的长度值所对应的投影尺寸的长度值。
当尺寸标准值包括标准宽度值时，根据尺寸标准值，确定目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸中的宽度值的具体实施方式可以是：若三维空间区域的宽度值与标准宽度值的差值大于预设宽度差值，则将三维空间区域的宽度值调整至标准宽度值，并根据调整后的三维空间区域的宽度值确定投影尺寸中的宽度值。在根据调整后的三维空间区域的宽度值确定投影尺寸中的宽度值时，也可以根据投影比例关系，确定调整后的三维空间区域的宽度值所对应的投影尺寸的宽度值。
s23，根据确定的投影尺寸在参考图像中对目标参考对象进行三维标注，得到三维标注区域。
在确定了投影尺寸之后，移动平台可以根据确定的投影尺寸在参考图像中对目标参考对象进行三维标注，以得到三维标注区域。
在得到三维标注区域之后，可以在S903中对参考图像中的三维标注区域进行图像识别，确定该三维标注区域内的目标参考对象的参数信息。在一个实施例中，此处的目标参考对象的参数信息可以包括目标参考对象的长度值、宽度值、高度值，目标参考对象的位置信息以及目标参考对象与移动平台之间的距离信息等等。
在确定目标参考对象的参数信息之后，可以在S904中根据参数信息生成控制指令，并根据控制指令控制移动平台移动。此处的控制指令可以包括：速度控制指令和/或方向控制指令。具体实施过程中，移动平台可以根据目标参考对象与移动平台之间的距离信息以及目标参考对象的位置信息生成速度控制指令。若位置信息表明目标参考对象位于移动平台的正前方，且距离信息表明目标参考对象与移动平台之间的距离较远，则生成的速度控制指令可以控制移动平台保持当前速度继续行驶，或者控制移动平台提高当前速度行驶，提高后的速度小于当前道路所允许的最大速度。若位置信息表明目标参考对象位于移动平台的正前方，且距离信息表明目标参考对象与移动平台之间的距离较近，则生成的速度控制指令可以控制移动平台减小当前速度行驶，以避免移动平台与正前方的目标参考对象相撞。
移动平台还可以根据目标参考对象的长度值、宽度值、高度值，目标参考对象的位置信息以及目标参考对象与移动平台之间的距离信息生成方向控制指令。具体的，可以根据目标参考对象的位置信息确定移动平台向某一个方向进行方向变换，根据目标参考对象的长度值、宽度值、高度值以及目标参考对象与移动平台之间的距离信息确定方向变换的角度。
例如，如图10所示，参考图像中包括两个目标参考对象以及这两个目标参考对象的三维包围框，分别对这两个目标参考对象的三维包围框进行图像识别，可以分别得到这两个目标参考对象的参数信息。其中目标参考对象11的位置信息表明目标参考对象11位于移动平台的正前方，目标参考对象12的位置信息表明目标参考对象12位于移动平台的左上方。移动平台在进行道路变换时，可以根据目标参考对象11和目标参考对象12的位置信息确定移动平台向右进行道路变换，即行驶方向由向当前行驶改变为向右前方行驶以完成道路变换。并且，可以根据目标参考对象11的长度值、宽度值、高度值和目标参考对象11与移动平台之间的距离信息，以及目标参考对象12的三维包围框的长度值、宽度值、高度值和目标参考对象12与移动平台之间的距离信息确定方向变换的角度为30度，即方向控制指令可以控制移动平台以当前行驶方向为基准，以30度的角度向右前方行驶。
本发明实施例在移动平台的自动移动过程中，可以在获取到目标对象的激光点云数据和参考图像之后，可以通过结合目标对象的目标点云数据对参考图像中的目标参考对象进行三维标注，提高三维标注所得到的三维标注区域的精确度。在得到三维标注区域之后，可以对三维标注区域进行图像识别得到参数信息，更准确地确定目标对象所在位置，从而根据参数信息生成控制指令以对移动平台进行避障、跟踪等移动控制。
基于上述对象标注方法实施例的描述，在一个实施例中，本发明实施例还提供了一种如图11所示的对象标注装置的结构示意图。如图11所示，本发明实施例中的对象标注装置可包括：
获取单元101，用于获取由图像传感器从环境空间中拍摄得到的参考图像，所述参考图像包括至少一个参考对象；
所述获取单元101，还用于获取由三维空间传感器扫描所述环境空间得到的目标点云数据，所述目标点云数据用于表示在所述环境空间中的目标对象所占据的三维空间区域；
确定单元102，用于从所述参考图像中确定出与所述目标对象匹配的目标参考对象；
所述确定单元102，还用于确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸；
标注单元103，根据确定的投影尺寸在所述参考图像中对所述目标参考对象进行三维标注。
在一个实施例中，在确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸时，确定单元102可具体用于：获取所述目标参考对象的对象信息；根据所述对象信息确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸。
再一个实施例中，所述对象信息包括：所述目标参考对象的二维标注尺寸；相应的，在根据所述对象信息确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸时，确定单元102可具体用于：获取所述二维标注尺寸的高度值；根据所述高度值，确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸中的高度值。
再一个实施例中，所述对象信息包括：所述目标参考对象的二维标注尺寸；相应的，在根据所述对象信息确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸时，确定单元102可具体用于：获取为所述分类类别设置的尺寸标准值，所述尺寸标准值包括：标准长度值和/或标准宽度值；根据所述尺寸标准值，确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸中的长度值和/或宽度值。
再一个实施例中，当所述尺寸标准值包括所述标准长度值时，相应的，在根据所述尺寸标准值，确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸中的长度值时，确定单元102可具体用于：若所述三维空间区域的长度值与所述标准长度值的差值大于预设长度差值，则将所述三维空间区域的长度值调整至所述标准长度值，并根据调整后的三维空间区域的长度值确定所述投影尺寸中的长度值；
当所述尺寸标准值包括所述标准宽度值时，相应的，在根据所述尺寸标准值，确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸中的宽度值时，确定单元102可具体用于：若所述三维空间区域的宽度值与所述标准宽度值的差值大于预设宽度差值，则将所述三维空间区域的宽度值调整至所述标准宽度值，并根据调整后的三维空间区域的宽度值确定所述投影尺寸中的宽度值。
再一个实施例中，在从所述参考图像中确定出与所述目标对象匹配的目标参考对象时，确定单元102可具体用于：对所述目标点云数据和所述至少一个参考对象在所述参考图像上的参考包围框进行匹配处理，确定所述目标点云数据对应的目标对象和所述至少一个参考对象的匹配度；根据所述匹配度从所述至少一个参考对象中确定目标参考对象，所述目标参考对象和所述目标点云数据对应的目标对象的匹配度大于预设阈值。
再一个实施例中，在对所述目标点云数据和所述至少一个参考对象在所述参考图像上的参考包围框进行匹配处理，确定所述目标点云数据对应的所述目标对象和所述至少一个参考对象的匹配度时，确定单元102可具体用于：将所述目标点云数据所表示的三维空间区域进行二维图像投影，得到所述目标点云数据在所述参考图像上的图像投影区域；确定所述图像投影区域的最小外包框；对所述最小外包框和所述至少一个参考对象在所述参考图像上的参考包围框进行匹配计算，确定所述目标点云数据对应的目标对象和所述至少一个参考对象的匹配度。
再一个实施例中，在对所述最小外包框和所述至少一个参考对象在所述参考图像上的参考包围框进行匹配计算，确定所述目标点云数据对应的目标对象和所述至少一个参考对象的匹配度时，确定单元102可具体用于：计算所述最小外包框和所述至少一个参考对象在所述参考图像上的参考包围框的交并比；将所述交并比作为所述目标点云数据对应的目标对象和所述至少一个参考对象的匹配度。
再一个实施例中，在根据所述匹配度从所述至少一个参考对象中确定目标参考对象时，确定单元102可具体用于：根据所述匹配度从所述至少一个参考对象中确定候选参考对象，所述候选参考对象和所述目标点云数据对应的目标对象的匹配度大于预设阈值；根据所述候选参考对象的分类类别和所述目标点云数据对应的目标对象的分类类别确定目标参考对象。
再一个实施例中，在获取由三维空间传感器扫描所述环境空间中得到的目标点云数据时，获取单元101可具体用于：获取由三维空间传感器扫描所述环境空间得到的点云数据帧集合；基于所述点云数据帧集合，对所述目标对象进行跟踪检测，确定所述目标对象的点云轨迹数据；根据所述参考图像的拍摄时间戳从所述点云轨迹数据中确定参考点云数据；对所述参考点云数据进行插值处理得到所述目标点云数据。
再一个实施例中，所述点云数据帧集合包括至少两帧点云数据帧，相应的，在基于所述点云数据帧集合，对所述目标对象进行跟踪检测，确定所述目标对象的点云轨迹数据时，获取单元101可具体用于：对目标点云数据帧进行对象检测，确定所述目标对象，所述目标点云数据帧为所述点云数据帧集合中的任意一点云数据帧；获取与所述目标点云数据帧相关联的关联点云数据帧，所述关联点云数据帧包括：采集时间位于所述目标点云数据帧之前或者之后的一帧点云数据帧；基于所述关联点云数据帧，对所述目标对象进行跟踪处理，确定所述目标对象的点云轨迹数据。
本发明实施例在进行对象三维标注时，可以获取目标对象的目标点云数据，并确定目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸，然后根据该投影尺寸对参考图像中与目标对象匹配的目标参考对象进行三维标注。通过结合目标点云数据对参考图像中的目标参考对象进行三维标注，可以提高标注的精确度，且无需人工标注，可降低标注成本。
基于上述移动控制方法实施例的描述，在一个实施例中，本发明实施例还提供了一种如图12所示的移动控制装置的结构示意图。如图12所示，本发明实施例中的移动控制装置可包括：
获取单元201，用于在移动平台的移动过程中，获取从环境空间中拍摄得到的参考图像，以及获取扫描所述环境空间得到的目标点云数据，所述目标点云数据用于表示在所述环境空间中的目标对象所占据的三维空间区域。
标注单元202，用于根据所述目标对象和所述目标点云数据，对所述参考图像中的至少一个参考对象进行三维标注，得到三维标注区域。
识别单元203，用于对所述参考图像中的所述三维标注区域进行图像识别，确定所述三维标注区域内的目标参考对象的参数信息。
控制单元203，用于根据所述参数信息生成控制指令，并根据所述控制指令控制所述移动平台移动。
在一个实施例中，在根据所述目标对象和所述目标点云数据，对所述参考图像中的参考对象进行三维标注，得到三维标注区域时，标注单元202可具体用于：从所述参考图像中的至少一个参考对象中确定出与所述目标对象匹配的目标参考对象；确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸；根据确定的投影尺寸在所述参考图像中对所述目标参考对象进行三维标注，得到三维标注区域。
再一个实施例中，在从所述参考图像中的至少一个参考对象中确定出与所述目标对象匹配的目标参考对象时，标注单元202可具体用于：对所述目标点云数据和所述至少一个参考对象在所述参考图像上的参考包围框进行匹配处理，确定所述目标点云数据对应的目标对象和所述至少一个参考对象的匹配度；根据所述匹配度从所述至少一个参考对象中确定目标参考对象，所述目标参考对象和所述目标点云数据对应的目标对象的匹配度大于预设阈值。
再一个实施例中，在根据所述匹配度从所述至少一个参考对象中确定目标参考对象时，标注单元202可具体用于：根据所述匹配度从所述至少一个参考对象中确定候选参考对象，所述候选参考对象和所述目标点云数据对应的目标对象的匹配度大于预设阈值；根据所述候选参考对象的分类类别和所述目标点云数据对应的目标对象的分类类别确定目标参考对象。
再一个实施例中，在获取扫描所述环境空间得到的目标点云数据时，获取单元201可具体用于：获取扫描所述环境空间得到的点云数据帧集合；基于所述点云数据帧集合，对所述目标对象进行跟踪检测，确定所述目标对象的点云轨迹数据；根据所述参考图像的拍摄时间戳从所述点云轨迹数据中确定参考点云数据；对所述参考点云数据进行插值处理得到所述目标点云数据。
本发明实施例在移动平台的自动移动过程中，可以在获取到目标对象的激光点云数据和参考图像之后，可以通过结合目标对象的目标点云数据对参考图像中的目标参考对象进行三维标注，提高三维标注所得到的三维标注区域的精确度。在得到三维标注区域之后，可以对三维标注区域进行图像识别得到参数信息，更准确地确定目标对象所在位置，从而根据参数信息生成控制指令以对移动平台进行避障、跟踪等移动控制。
请参见图13，是本发明实施例提供的一种控制设备的结构示意图。如图13所示的本实施例中的控制设备可以包括：一个或多个处理器301；一个或多个输入设备302，一个或多个输出设备303和存储器304。上述处理器301、输入设备302、输出设备303和存储器304通过总线305连接。存储器304用于存储计算机程序，所述计算机程序包括程序指令，处理器301用于执行所述存储器304存储的程序指令。
在一个实施例中，该处理器301可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器，即微处理器或者任何常规的处理器。该存储器304可以包括只读存储器和随机存取存储器，并向处理器301提供指令和数据。因此，在此对于处理器301和存储器304不作限定。
在本发明实施例中，由处理器301加载并执行计算机存储介质中存放的一条或一条以上第一程序指令，以实现上述相应对象标注实施例中的方法的相应步骤；具体实现中，计算机存储介质中的至少一条第一程序指令由处理器301加载并执行如下步骤：
获取由图像传感器从环境空间中拍摄得到的参考图像，所述参考图像包括至少一个参考对象；
获取由三维空间传感器扫描所述环境空间得到的目标点云数据，所述目标点云数据用于表示在所述环境空间中的目标对象所占据的三维空间区域；
从所述参考图像中确定出与所述目标对象匹配的目标参考对象；
确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸；
根据确定的投影尺寸在所述参考图像中对所述目标参考对象进行三维标注。
在一个实施例中，在确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸时，该至少一条第一程序指令可以由该处理器301加载并具体用于执行：获取所述目标参考对象的对象信息；根据所述对象信息确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸。
再一个实施例中，所述对象信息包括：所述目标参考对象的二维标注尺寸；相应的，在根据所述对象信息确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸时，该至少一条第一程序指令可由该处理器301加载并具体用于执行：获取所述二维标注尺寸的高度值；根据所述高度值，确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸中的高度值。
再一个实施例中，所述对象信息包括：所述目标参考对象的二维标注尺寸；相应的，在根据所述对象信息确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸时，该至少一条第一程序指令可由该处理器301加载并具体用于执行：获取为所述分类类别设置的尺寸标准值，所述尺寸标准值包括：标准长度值和/或标准宽度值；根据所述尺寸标准值，确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸中的长度值和/或宽度值。
再一个实施例中，当所述尺寸标准值包括所述标准长度值时，在根据所述尺寸标准值，确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸中的长度值时，该至少一条第一程序指令可由该处理器301加载并具体用于执行：若所述三维空间区域的长度值与所述标准长度值的差值大于预设长度差值，则将所述三维空间区域的长度值调整至所述标准长度值，并根据调整后的三维空间区域的长度值确定所述投影尺寸中的长度值；
当所述尺寸标准值包括所述标准宽度值时，在根据所述尺寸标准值，确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸中的宽度值时，该至少一条第一程序指令可由该处理器301加载并具体用于执行：若所述三维空间区域的宽度值与所述标准宽度值的差值大于预设宽度差值，则将所述三维空间区域的宽度值调整至所述标准宽度值，并根据调整后的三维空间区域的宽度值确定所述投影尺寸中的宽度值。
再一个实施例中，在从所述参考图像中确定出与所述目标对象匹配的目标参考对象时，该至少一条第一程序指令可以由该处理器301加载并具体用于执行：对所述目标点云数据和所述至少一个参考对象在所述参考图像上的参考包围框进行匹配处理，确定所述目标点云数据对应的目标对象和所述至少一个参考对象的匹配度；根据所述匹配度从所述至少一个参考对象中确定目标参考对象，所述目标参考对象和所述目标点云数据对应的目标对象的匹配度大于预设阈值。
再一个实施例中，在对所述目标点云数据和所述至少一个参考对象在所述参考图像上的参考包围框进行匹配处理，确定所述目标点云数据对应的所述目标对象和所述至少一个参考对象的匹配度时，该至少一条第一程序指令可由该处理器301加载并具体用于执行：将所述目标点云数据所表示的三维空间区域进行二维图像投影，得到所述目标点云数据在所述参考图像上的图像投影区域；确定所述图像投影区域的最小外包框；对所述最小外包框和所述至少一个参考对象在所述参考图像上的参考包围框进行匹配计算，确定所述目标点云数据对应的目标对象和所述至少一个参考对象的匹配度。
再一个实施例中，在对所述最小外包框和所述至少一个参考对象在所述参考图像上的参考包围框进行匹配计算，确定所述目标点云数据对应的目标对象和所述至少一个参考对象的匹配度时，该至少一条第一程序指令可由该处理器301加载并具体用于执行：计算所述最小外包框和所述至少一个参考对象在所述参考图像上的参考包围框的交并比；将所述交并比作为所述目标点云数据对应的目标对象和所述至少一个参考对象的匹配度。
再一个实施例中，在根据所述匹配度从所述至少一个参考对象中确定目标参考对象时，该至少一条第一程序指令可由该处理器301加载并具体用于执行：根据所述匹配度从所述至少一个参考对象中确定候选参考对象，所述候选参考对象和所述目标点云数据对应的目标对象的匹配度大于预设阈值；根据所述候选参考对象的分类类别和所述目标点云数据对应的目标对象的分类类别确定目标参考对象。
再一个实施例中，在获取由三维空间传感器扫描所述环境空间中得到的目标点云数据时，该至少一条第一程序指令可由该处理器301加载并具体用于执行：获取由三维空间传感器扫描所述环境空间得到的点云数据帧集合；基于所述点云数据帧集合，对所述目标对象进行跟踪检测，确定所述目标对象的点云轨迹数据；根据所述参考图像的拍摄时间戳从所述点云轨迹数据中确定参考点云数据；对所述参考点云数据进行插值处理得到所述目标点云数据。
再一个实施例中，所述点云数据帧集合包括至少两帧点云数据帧，在基于所述点云数据帧集合，对所述目标对象进行跟踪检测，确定所述目标对象的点云轨迹数据时，该至少一条第一程序指令可由该处理器301加载并具体用于执行：对目标点云数据帧进行对象检测，确定所述目标对象，所述目标点云数据帧为所述点云数据帧集合中的任意一点云数据帧；获取与所述目标点云数据帧相关联的关联点云数据帧，所述关联点云数据帧包括：采集时间位于所述目标点云数据帧之前或者之后的一帧点云数据帧；基于所述关联点云数据帧，对所述目标对象进行跟踪处理，确定所述目标对象的点云轨迹数据。
本发明实施例在进行对象三维标注时，可以获取目标对象的目标点云数据，并确定目标点云数据所表示的三维空间区域投影到参考图像上的投影尺寸，然后根据该投影尺寸对参考图像中与目标对象匹配的目标参考对象进行三维标注。通过结合目标点云数据对参考图像中的目标参考对象进行三维标注，可以提高标注的精确度，且无需人工标注，可降低标注成本。
在其他实施例中，还可以由处理器301加载并执行计算机存储介质中存放的一条或一条以上第二程序指令，以实现上述相应移动控制实施例中的方法的相应步骤；具体实现中，计算机存储介质中的至少一条第二程序指令由处理器301加载并执行如下步骤：
在移动平台的移动过程中，获取从环境空间中拍摄得到的参考图像，以及获取扫描所述环境空间得到的目标点云数据，所述目标点云数据用于表示在所述环境空间中的目标对象所占据的三维空间区域；
根据所述目标对象和所述目标点云数据，对所述参考图像中的至少一个参考对象进行三维标注，得到三维标注区域；
对所述参考图像中的所述三维标注区域进行图像识别，确定所述三维标注区域内的目标参考对象的参数信息；
根据所述参数信息生成控制指令，并根据所述控制指令控制所述移动平台移动。
在一个实施例中，在根据所述目标对象和所述目标点云数据，对所述参考图像中的参考对象进行三维标注，得到三维标注区域时，该至少一条第二程序指令可以由所述处理器301加载并具体用于执行：从所述参考图像中的至少一个参考对象中确定出与所述目标对象匹配的目标参考对象；确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸；根据确定的投影尺寸在所述参考图像中对所述目标参考对象进行三维标注，得到三维标注区域。
再一个实施例中，在从所述参考图像中的至少一个参考对象中确定出与所述目标对象匹配的目标参考对象时，该至少一条第二程序指令可由该处理器301加载并具体用于执行：对所述目标点云数据和所述至少一个参考对象在所述参考图像上的参考包围框进行匹配处理，确定所述目标点云数据对应的目标对象和所述至少一个参考对象的匹配度；根据所述匹配度从所述至少一个参考对象中确定目标参考对象，所述目标参考对象和所述目标点云数据对应的目标对象的匹配度大于预设阈值。
再一个实施例中，在根据所述匹配度从所述至少一个参考对象中确定目标参考对象时，该至少一条第二程序指令可由该处理器301加载并具体用于执行：根据所述匹配度从所述至少一个参考对象中确定候选参考对象，所述候选参考对象和所述目标点云数据对应的目标对象的匹配度大于预设阈值；根据所述候选参考对象的分类类别和所述目标点云数据对应的目标对象的分类类别确定目标参考对象。
再一个实施例中，在获取扫描所述环境空间得到的目标点云数据时，该至少一条第二程序指令可由该处理器301加载并具体用于执行：获取扫描所述环境空间得到的点云数据帧集合；基于所述点云数据帧集合，对所述目标对象进行跟踪检测，确定所述目标对象的点云轨迹数据；根据所述参考图像的拍摄时间戳从所述点云轨迹数据中确定参考点云数据；对所述参考点云数据进行插值处理得到所述目标点云数据。
本发明实施例在移动平台的自动移动过程中，可以在获取到目标对象的激光点云数据和参考图像之后，可以通过结合目标对象的目标点云数据对参考图像中的目标参考对象进行三维标注，提高三维标注所得到的三维标注区域的精确度。在得到三维标注区域之后，可以对三维标注区域进行图像识别得到参数信息，更准确地确定目标对象所在位置，从而根据参数信息生成控制指令以对移动平台进行避障、跟踪等移动控制。
需要说明的是，上述描述的终端和单元的具体工作过程，可以参考前述各个实施例中的相关描述，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明的部分实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (18)

1.一种对象标注方法，其特征在于，包括：
获取由图像传感器从环境空间中拍摄得到的参考图像，所述参考图像包括至少一个参考对象；
获取由三维空间传感器扫描所述环境空间得到的目标点云数据，所述目标点云数据用于表示在所述环境空间中的目标对象所占据的三维空间区域；
从所述参考图像中确定出与所述目标对象匹配的目标参考对象；
获取所述目标参考对象的对象信息，所述对象信息包括：所述目标参考对象的二维标注尺寸；所述二维标注尺寸为包围目标参考对象的参考包围框的尺寸，所述目标参考对象的参考包围框是一个二维的包围框；
根据所述对象信息确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸；其中，所述投影尺寸是三维包围框的尺寸，所述投影尺寸中的高度值等于所述对象信息中的二维标注尺寸的高度值；
根据确定的投影尺寸在所述参考图像中对所述目标参考对象进行三维标注。
2.如权利要求1所述的方法，其特征在于，所述根据所述对象信息确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸，包括：
获取所述二维标注尺寸的高度值；
根据所述高度值，确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸中的高度值。
3.如权利要求1所述的方法，其特征在于，所述对象信息包括：所述目标参考对象的分类类别；所述根据所述对象信息确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸，包括：
获取为所述分类类别设置的尺寸标准值，所述尺寸标准值包括：标准长度值和/或标准宽度值；
根据所述尺寸标准值，确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸中的长度值和/或宽度值。
4.如权利要求3所述的方法，其特征在于，
当所述尺寸标准值包括所述标准长度值时，所述根据所述尺寸标准值，确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸中的长度值，包括：若所述三维空间区域的长度值与所述标准长度值的差值大于预设长度差值，则将所述三维空间区域的长度值调整至所述标准长度值，并根据调整后的三维空间区域的长度值确定所述投影尺寸中的长度值；
当所述尺寸标准值包括所述标准宽度值时，所述根据所述尺寸标准值，确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸中的宽度值，包括：若所述三维空间区域的宽度值与所述标准宽度值的差值大于预设宽度差值，则将所述三维空间区域的宽度值调整至所述标准宽度值，并根据调整后的三维空间区域的宽度值确定所述投影尺寸中的宽度值。
5.如权利要求1所述的方法，其特征在于，所述从所述参考图像中确定出与所述目标对象匹配的目标参考对象，包括：
对所述目标点云数据和所述至少一个参考对象在所述参考图像上的参考包围框进行匹配处理，确定所述目标点云数据对应的目标对象和所述至少一个参考对象的匹配度；
根据所述匹配度从所述至少一个参考对象中确定目标参考对象，所述目标参考对象和所述目标点云数据对应的目标对象的匹配度大于预设阈值。
6.如权利要求5所述的方法，其特征在于，所述对所述目标点云数据和所述至少一个参考对象在所述参考图像上的参考包围框进行匹配处理，确定所述目标点云数据对应的所述目标对象和所述至少一个参考对象的匹配度，包括：
将所述目标点云数据所表示的三维空间区域进行二维图像投影，得到所述目标点云数据在所述参考图像上的图像投影区域；
确定所述图像投影区域的最小外包框；
对所述最小外包框和所述至少一个参考对象在所述参考图像上的参考包围框进行匹配计算，确定所述目标点云数据对应的目标对象和所述至少一个参考对象的匹配度。
7.如权利要求6所述的方法，其特征在于，所述对所述最小外包框和所述至少一个参考对象在所述参考图像上的参考包围框进行匹配计算，确定所述目标点云数据对应的目标对象和所述至少一个参考对象的匹配度，包括：
计算所述最小外包框和所述至少一个参考对象在所述参考图像上的参考包围框的交并比；
将所述交并比作为所述目标点云数据对应的目标对象和所述至少一个参考对象的匹配度。
8.如权利要求5所述的方法，其特征在于，所述根据所述匹配度从所述至少一个参考对象中确定目标参考对象，包括：
根据所述匹配度从所述至少一个参考对象中确定候选参考对象，所述候选参考对象和所述目标点云数据对应的目标对象的匹配度大于预设阈值；
根据所述候选参考对象的分类类别和所述目标点云数据对应的目标对象的分类类别确定目标参考对象。
9.如权利要求1所述的方法，其特征在于，所述获取由三维空间传感器扫描所述环境空间中得到的目标点云数据，包括：
获取由三维空间传感器扫描所述环境空间得到的点云数据帧集合；
基于所述点云数据帧集合，对所述目标对象进行跟踪检测，确定所述目标对象的点云轨迹数据；
根据所述参考图像的拍摄时间戳从所述点云轨迹数据中确定参考点云数据；
对所述参考点云数据进行插值处理得到所述目标点云数据。
10.如权利要求9所述的方法，其特征在于，所述点云数据帧集合包括至少两帧点云数据帧，所述基于所述点云数据帧集合，对所述目标对象进行跟踪检测，确定所述目标对象的点云轨迹数据，包括：
对目标点云数据帧进行对象检测，确定所述目标对象，所述目标点云数据帧为所述点云数据帧集合中的任意一点云数据帧；
获取与所述目标点云数据帧相关联的关联点云数据帧，所述关联点云数据帧包括：采集时间位于所述目标点云数据帧之前或者之后的一帧点云数据帧；
基于所述关联点云数据帧，对所述目标对象进行跟踪处理，确定所述目标对象的点云轨迹数据。
11.一种移动控制方法，其特征在于，包括：
在移动平台的移动过程中，获取从环境空间中拍摄得到的参考图像，以及获取扫描所述环境空间得到的目标点云数据，所述目标点云数据用于表示在所述环境空间中的目标对象所占据的三维空间区域；
从所述参考图像中的至少一个参考对象中确定出与所述目标对象匹配的目标参考对象；
获取所述目标参考对象的对象信息，所述对象信息包括：所述目标参考对象的二维标注尺寸；所述二维标注尺寸为包围目标参考对象的参考包围框的尺寸，所述目标参考对象的参考包围框是一个二维的包围框；
根据所述对象信息确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸；其中，所述投影尺寸是三维包围框的尺寸，所述投影尺寸中的高度值等于所述对象信息中的二维标注尺寸的高度值；
根据确定的投影尺寸在所述参考图像中对所述目标参考对象进行三维标注，得到三维标注区域；
对所述参考图像中的所述三维标注区域进行图像识别，确定所述三维标注区域内的目标参考对象的参数信息；
根据所述参数信息生成控制指令，并根据所述控制指令控制所述移动平台移动。
12.如权利要求11所述的方法，其特征在于，所述从所述参考图像中的至少一个参考对象中确定出与所述目标对象匹配的目标参考对象，包括：
对所述目标点云数据和所述至少一个参考对象在所述参考图像上的参考包围框进行匹配处理，确定所述目标点云数据对应的目标对象和所述至少一个参考对象的匹配度；
根据所述匹配度从所述至少一个参考对象中确定目标参考对象，所述目标参考对象和所述目标点云数据对应的目标对象的匹配度大于预设阈值。
13.如权利要求12所述的方法，其特征在于，所述根据所述匹配度从所述至少一个参考对象中确定目标参考对象，包括：
根据所述匹配度从所述至少一个参考对象中确定候选参考对象，所述候选参考对象和所述目标点云数据对应的目标对象的匹配度大于预设阈值；
根据所述候选参考对象的分类类别和所述目标点云数据对应的目标对象的分类类别确定目标参考对象。
14.如权利要求11所述的方法，其特征在于，所述获取扫描所述环境空间得到的目标点云数据，包括：
获取扫描所述环境空间得到的点云数据帧集合；
基于所述点云数据帧集合，对所述目标对象进行跟踪检测，确定所述目标对象的点云轨迹数据；
根据所述参考图像的拍摄时间戳从所述点云轨迹数据中确定参考点云数据；
对所述参考点云数据进行插值处理得到所述目标点云数据。
15.一种对象标注装置，其特征在于，包括：
获取单元，用于获取由图像传感器从环境空间中拍摄得到的参考图像，所述参考图像包括至少一个参考对象；
所述获取单元，还用于获取由三维空间传感器扫描所述环境空间得到的目标点云数据，所述目标点云数据用于表示在所述环境空间中的目标对象所占据的三维空间区域；
确定单元，用于从所述参考图像中确定出与所述目标对象匹配的目标参考对象；
所述确定单元，还用于获取所述目标参考对象的对象信息，所述对象信息包括：所述目标参考对象的二维标注尺寸；所述二维标注尺寸为包围目标参考对象的参考包围框的尺寸，所述目标参考对象的参考包围框是一个二维的包围框；根据所述对象信息确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸；其中，所述投影尺寸是三维包围框的尺寸，所述投影尺寸中的高度值等于所述对象信息中的二维标注尺寸的高度值；
标注单元，根据确定的投影尺寸在所述参考图像中对所述目标参考对象进行三维标注。
16.一种移动控制装置，其特征在于，包括：
获取单元，用于在移动平台的移动过程中，获取从环境空间中拍摄得到的参考图像，以及获取扫描所述环境空间得到的目标点云数据，所述目标点云数据用于表示在所述环境空间中的目标对象所占据的三维空间区域；
标注单元，用于从所述参考图像中的至少一个参考对象中确定出与所述目标对象匹配的目标参考对象；获取所述目标参考对象的对象信息，所述对象信息包括：所述目标参考对象的二维标注尺寸；所述二维标注尺寸为包围目标参考对象的参考包围框的尺寸，所述目标参考对象的参考包围框是一个二维的包围框；根据所述对象信息确定所述目标点云数据所表示的三维空间区域投影到所述参考图像上的投影尺寸；其中，所述投影尺寸是三维包围框的尺寸，所述投影尺寸中的高度值等于所述对象信息中的二维标注尺寸的高度值；根据确定的投影尺寸在所述参考图像中对所述目标参考对象进行三维标注，得到三维标注区域；
识别单元，用于对所述参考图像中的所述三维标注区域进行图像识别，确定所述三维标注区域内的目标参考对象的参数信息；
控制单元，用于根据所述参数信息生成控制指令，并根据所述控制指令控制所述移动平台移动。
17.一种控制设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括第一程序指令，所述处理器被配置用于调用所述第一程序指令，执行如权利要求1-10任一项所述的对象标注方法；或者，所述计算机程序包括第二程序指令，所述处理器被配置用于调用所述第二程序指令，执行如权利要求11-14任一项所述的移动控制方法。
18.一种计算机存储介质，其特征在于，所述计算机存储介质存储有第一计算机程序指令，所述第一计算机程序指令适于由处理器加载并执行如权利要求1-10任一项所述的对象标注方法；或者所述计算机存储介质存储有第二计算机程序指令，所述第二计算机程序指令适于由处理器加载并执行如权利要求11-14任一项所述的移动控制方法。
CN201811060480.5A 2018-09-11 2018-09-11 对象标注方法、移动控制方法、装置、设备及存储介质 Active CN110163904B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811060480.5A CN110163904B (zh) 2018-09-11 2018-09-11 对象标注方法、移动控制方法、装置、设备及存储介质
EP19861154.3A EP3852064B1 (en) 2019-09-10 Object labeling method and apparatus, movement control method and apparatus, device, and storage medium
PCT/CN2019/105049 WO2020052540A1 (zh) 2018-09-11 2019-09-10 对象标注方法、移动控制方法、装置、设备及存储介质
US17/071,969 US11893785B2 (en) 2018-09-11 2020-10-15 Object annotation method and apparatus, movement control method and apparatus, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811060480.5A CN110163904B (zh) 2018-09-11 2018-09-11 对象标注方法、移动控制方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110163904A CN110163904A (zh) 2019-08-23
CN110163904B true CN110163904B (zh) 2022-04-22

Family

ID=67645070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811060480.5A Active CN110163904B (zh) 2018-09-11 2018-09-11 对象标注方法、移动控制方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US11893785B2 (zh)
CN (1) CN110163904B (zh)
WO (1) WO2020052540A1 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163904B (zh) 2018-09-11 2022-04-22 腾讯大地通途（北京）科技有限公司 对象标注方法、移动控制方法、装置、设备及存储介质
US11069085B2 (en) * 2019-02-13 2021-07-20 Toyota Research Institute, Inc. Locating a vehicle based on labeling point cloud data of a scene
JP7250573B2 (ja) * 2019-03-11 2023-04-03 本田技研工業株式会社 倒立振子型ロボット
EP3985615A4 (en) * 2019-06-14 2022-08-10 FUJIFILM Corporation DEVICE, METHOD AND PROGRAM FOR PROCESSING POINT CLOUD DATA
CN112956187A (zh) * 2019-10-11 2021-06-11 深圳市大疆创新科技有限公司 移动物体监控的方法、装置及计算机存储介质
CN110929612A (zh) * 2019-11-13 2020-03-27 北京云聚智慧科技有限公司 一种目标对象标注方法、装置及设备
CN112950785B (zh) * 2019-12-11 2023-05-30 杭州海康威视数字技术股份有限公司 点云标注方法、装置及系统
US11776215B1 (en) * 2019-12-16 2023-10-03 Scale AI, Inc. Pre-labeling data with cuboid annotations
US11461915B2 (en) * 2020-01-06 2022-10-04 Qualcomm Incorporated Object size estimation using camera map and/or radar information
CN111274927A (zh) * 2020-01-17 2020-06-12 北京三快在线科技有限公司 一种训练数据的生成方法、装置、电子设备和存储介质
CN111310667B (zh) * 2020-02-18 2023-09-01 北京小马慧行科技有限公司 确定标注是否准确的方法、装置、存储介质与处理器
CN111401194B (zh) * 2020-03-10 2023-09-22 北京百度网讯科技有限公司 用于自动驾驶车辆的数据处理方法和装置
CN113592897B (zh) * 2020-04-30 2024-03-29 魔门塔(苏州)科技有限公司 一种点云数据的标注方法及装置
CN111476840B (zh) * 2020-05-14 2023-08-22 阿丘机器人科技(苏州)有限公司 目标定位方法、装置、设备及计算机可读存储介质
CN111767862A (zh) * 2020-06-30 2020-10-13 广州文远知行科技有限公司 车辆标注方法、装置、计算机设备及可读存储介质
CN114092754A (zh) * 2020-07-31 2022-02-25 上海图森未来人工智能科技有限公司 一种3d点云数据中物体的标注方法和装置、存储介质
CN112037120A (zh) * 2020-07-31 2020-12-04 上海图森未来人工智能科技有限公司 3d点云数据中道路平面要素的标注方法和装置、存储介质
CN113763307B (zh) * 2020-08-11 2024-06-18 北京京东乾石科技有限公司 样本数据的获取方法和装置
CN112099050A (zh) * 2020-09-14 2020-12-18 北京魔鬼鱼科技有限公司 车辆外形识别装置和方法、车辆处理设备和方法
CN112183657B (zh) * 2020-10-14 2022-03-01 北京字跳网络技术有限公司 获取标注信息的方法、装置、电子设备和计算机可读介质
CN112735253B (zh) * 2020-10-22 2023-03-10 深圳安途智行科技有限公司 红绿灯自动标注方法及计算机设备
CN112346691A (zh) * 2020-11-05 2021-02-09 北京电子工程总体研究所 一种目标高度和灰度对应的方法、计算设备及存储介质
CN112527374A (zh) 2020-12-11 2021-03-19 北京百度网讯科技有限公司 标注工具生成方法、标注方法、装置、设备以及存储介质
CN112669373B (zh) * 2020-12-24 2023-12-05 北京亮道智能汽车技术有限公司 一种自动化标注方法、装置、电子设备及存储介质
CN112700552A (zh) * 2020-12-31 2021-04-23 华为技术有限公司 三维物体检测方法、装置、电子设备及介质
US11827203B2 (en) 2021-01-14 2023-11-28 Ford Global Technologies, Llc Multi-degree-of-freedom pose for vehicle navigation
CN113808186B (zh) * 2021-03-04 2024-01-16 京东鲲鹏(江苏)科技有限公司 训练数据生成方法、装置与电子设备
CN115049700A (zh) * 2021-03-09 2022-09-13 华为技术有限公司 一种目标检测方法及装置
CN113190003B (zh) * 2021-05-06 2024-05-31 珠海格力智能装备有限公司 Agv避障方法、装置、计算机可读存储介质和处理器
CN112907672B (zh) * 2021-05-07 2021-10-08 上海擎朗智能科技有限公司 一种机器人的避让方法、装置、电子设备及存储介质
CN113469042A (zh) * 2021-06-30 2021-10-01 上海商汤临港智能科技有限公司 真值数据确定、神经网络训练、行驶控制方法及装置
US11608084B1 (en) * 2021-08-27 2023-03-21 Motional Ad Llc Navigation with drivable area detection
CN114511765A (zh) * 2021-12-30 2022-05-17 清华大学 一种车路协调数据联合标注方法及装置
CN114444895A (zh) * 2021-12-31 2022-05-06 深圳云天励飞技术股份有限公司 清洁质量评估方法及相关设备
CN114372970B (zh) * 2022-01-04 2024-02-06 杭州三坛医疗科技有限公司 一种手术参考信息生成方法及装置
CN114549644A (zh) * 2022-02-24 2022-05-27 北京百度网讯科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN114359876B (zh) * 2022-03-21 2022-05-31 成都奥伦达科技有限公司 一种车辆目标识别方法及存储介质
CN115147474B (zh) * 2022-07-01 2023-05-02 小米汽车科技有限公司 点云标注模型的生成方法、装置、电子设备及存储介质
JP7411771B1 (ja) * 2022-12-01 2024-01-11 セイコーソリューションズ株式会社 車両速度検出装置、車両速度検出方法及びプログラム
CN116304992A (zh) * 2023-05-22 2023-06-23 智道网联科技(北京)有限公司 传感器时差确定方法、装置、计算机设备和存储介质
CN116626670B (zh) * 2023-07-18 2023-11-03 小米汽车科技有限公司 自动驾驶模型的生成方法、装置、车辆及存储介质
CN117637081B (zh) * 2024-01-26 2024-04-26 江苏杰成新能源科技有限公司 一种用于废旧电池材料的智能修复评估方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107816976A (zh) * 2017-04-25 2018-03-20 北京图森未来科技有限公司 一种接近物体的位置确定方法和装置
CN107871129A (zh) * 2016-09-27 2018-04-03 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN108416804A (zh) * 2018-02-11 2018-08-17 深圳市优博讯科技股份有限公司 获取目标物体体积的方法、装置、终端设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS644855Y2 (zh) * 1985-11-28 1989-02-07
JP5774889B2 (ja) * 2011-03-31 2015-09-09 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
US10247541B2 (en) * 2014-03-31 2019-04-02 Gorilla Technology Inc. System and method of estimating the three-dimensional size of an object for packaging or storing the object
CN104680532B (zh) 2015-03-02 2017-12-08 北京格灵深瞳信息技术有限公司 一种对象标注方法及装置
WO2017163384A1 (ja) * 2016-03-24 2017-09-28 三菱電機株式会社 データ処理装置、データ処理方法及びデータ処理プログラム
CN107784038B (zh) * 2016-08-31 2021-03-19 法法汽车(中国)有限公司 一种传感器数据的标注方法
CN107798010A (zh) * 2016-08-31 2018-03-13 法乐第(北京)网络科技有限公司 一种传感器数据的标注装置
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
CN106971403B (zh) * 2017-04-27 2020-04-03 武汉数文科技有限公司 点云图像处理方法及装置
CN108154560A (zh) * 2018-01-25 2018-06-12 北京小马慧行科技有限公司 激光点云标注方法、装置及可读存储介质
CN110163904B (zh) 2018-09-11 2022-04-22 腾讯大地通途（北京）科技有限公司 对象标注方法、移动控制方法、装置、设备及存储介质
JP7192534B2 (ja) * 2019-01-29 2022-12-20 ブラザー工業株式会社 アプリケーションプログラム、およびプリンタ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871129A (zh) * 2016-09-27 2018-04-03 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN107816976A (zh) * 2017-04-25 2018-03-20 北京图森未来科技有限公司 一种接近物体的位置确定方法和装置
CN108416804A (zh) * 2018-02-11 2018-08-17 深圳市优博讯科技股份有限公司 获取目标物体体积的方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
US11893785B2 (en) 2024-02-06
EP3852064A1 (en) 2021-07-21
WO2020052540A1 (zh) 2020-03-19
US20210043002A1 (en) 2021-02-11
CN110163904A (zh) 2019-08-23
EP3852064A4 (en) 2021-11-10

Similar Documents

Publication Publication Date Title
CN110163904B (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
CN111693972B (zh) 一种基于双目序列图像的车辆位置与速度估计方法
CN111160302B (zh) 基于自动驾驶环境的障碍物信息识别方法和装置
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
US11120280B2 (en) Geometry-aware instance segmentation in stereo image capture processes
US11841434B2 (en) Annotation cross-labeling for autonomous control systems
CN112997187A (zh) 基于鸟瞰图点云的二维对象边界框信息估计
Dreher et al. Radar-based 2D car detection using deep neural networks
CN115049700A (zh) 一种目标检测方法及装置
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
EP4213128A1 (en) Obstacle detection device, obstacle detection system, and obstacle detection method
Liu et al. Vehicle-related distance estimation using customized YOLOv7
Fu et al. Camera-based semantic enhanced vehicle segmentation for planar lidar
US20220129685A1 (en) System and Method for Determining Object Characteristics in Real-time
CN117475355A (zh) 基于监控视频的安全预警方法及装置、设备、存储介质
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
KR102618680B1 (ko) 영상과 라이다를 이용한 실시간 3차원 물체 인식 및 추적하는 시스템
Budzan Fusion of visual and range images for object extraction
EP3852064B1 (en) Object labeling method and apparatus, movement control method and apparatus, device, and storage medium
Bhatlawande et al. LIDAR based Detection of Small Vehicles
CN113516685A (zh) 目标跟踪方法、装置、设备及存储介质
Moonjarin et al. Automated overtaking assistance system: a real-time approach using deep learning techniques
Pascual Olivas Safety related object and pattern recognition for autonomous machines
Darwesh LiDAR Based Object Detection and Tracking in Stationary Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant