CN110291771A - 一种目标对象的深度信息获取方法及可移动平台 - Google Patents

一种目标对象的深度信息获取方法及可移动平台 Download PDF

Info

Publication number
CN110291771A
CN110291771A CN201880010542.3A CN201880010542A CN110291771A CN 110291771 A CN110291771 A CN 110291771A CN 201880010542 A CN201880010542 A CN 201880010542A CN 110291771 A CN110291771 A CN 110291771A
Authority
CN
China
Prior art keywords
image
information
depth
target object
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880010542.3A
Other languages
English (en)
Other versions
CN110291771B (zh
Inventor
钱杰
张李亮
吴博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN110291771A publication Critical patent/CN110291771A/zh
Application granted granted Critical
Publication of CN110291771B publication Critical patent/CN110291771B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种目标对象的深度信息获取方法及可移动平台，该可移动平台的机身上配置拍摄装置和深度传感器，该方法包括：获取目标对象的第一区域指示信息，其中，该第一区域指示信息用于指示目标对象在拍摄装置输出的图像中的图像区域；根据该第一区域指示信息从深度传感器输出的深度图像中获取该目标对象的深度信息。可见，通过实施本申请，可移动平台可以确定目标对象的深度信息。

Description

一种目标对象的深度信息获取方法及可移动平台
技术领域
本发明涉及终端技术领域，尤其涉及一种目标对象的深度信息获取方法及可移动平台。
背景技术
目前可移动平台可以配置拍摄装置，可移动平台可以使用机器学习算法在拍摄装置拍摄的图像上识别出需要跟踪的目标对象，以获取目标对象在图像中的检测框，并根据目标对象的检测框确定出目标对象的位置，并根据所述位置对目标对象进行跟踪。
然而，在实际应用中，根据目标对象的检测框确定出目标对象的位置，其准确性和可靠性不高。在确定目标对象的位置时，如果能够结合目标对象的深度信息，可提高其准确性和可靠性。因此，如何获取目标对象的深度信息是目前亟待解决的问题。
发明内容
本发明实施例公开了一种目标对象的深度信息获取方法及可移动平台，能够准确地获取目标对象的深度信息。
第一方面，本申请提供了一种目标对象的深度信息获取方法，应用于可移动平台，该可移动平台的机身上配置拍摄装置和深度传感器，该方法包括：
获取目标对象的第一区域指示信息，其中，该第一区域指示信息用于指示目标对象在拍摄装置输出的图像中的图像区域；
根据该第一区域指示信息从深度传感器输出的深度图像中获取该目标对象的深度信息。
第二方面，本申请提供了一种可移动平台，可移动平台包括：存储器、处理器、拍摄装置和深度传感器，其中：
存储器，用于存储程序指令；
处理器，调用程序指令以用于：
获取目标对象的第一区域指示信息，其中，该第一区域指示信息用于指示目标对象在拍摄装置输出的图像中的图像区域；
根据该第一区域指示信息从深度传感器输出的深度图像中获取目标对象的深度信息。
本发明实施例中提供的目标对象的深度信息获取方法和可移动平台，根据目标对象的第一区域指示信息获取从深度传感器输出的深度图像中获取该目标对象的深度信息，其中，该第一区域指示信息用于指示目标对象在拍摄装置输出的图像中的图像区域。通过这种方式，可移动平台可以获取目标对象的深度信息。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种目标对象的深度信息获取方法的流程示意图；
图2是本发明实施例提供的一种拍摄装置输出的图像的示意图；
图3是本发明实施例提供的另一种目标对象的深度信息获取方法的流程示意图；
图4是本发明实施例提供的一种拍摄装置输出的图像和灰度图像的示意图；
图5是本发明实施例提供的另一种拍摄装置输出的图像和灰度图像的示意图；
图6是本发明实施例提供的又一种目标对象的深度信息获取方法的流程示意图；
图7是本发明实施例提供的一种灰度图像的示意图；
图8是本发明实施例提供的一种灰度图像和深度图像的示意图；
图9是本发明实施例提供的另一种灰度图像和深度图像的示意图；
图10是本发明实施例提供的又一种目标对象的深度信息获取方法的流程示意图；
图11是本发明实施例提供的又一种目标对象的深度信息获取方法的流程示意图；
图12是本发明实施例提供的一种拍摄装置输出的图像和深度图像的示意图；
图13是本发明实施例提供的一种可移动平台的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本发明使用的术语仅仅是出于描述特定实施例的目的，而非限制本发明。本发明和权利要求书所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。应当理解的是，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”，或者，“当……时”，或者，“响应于确定”。
本发明实施例提出了一种目标对象的深度信息获取方法及可移动平台。其中，该可移动平台可以包括但不限于无人机、无人船、地面机器人(例如无人车等)。可移动平台可以进行目标对象的跟踪，例如，对人物或汽车等其他可移动的目标对象进行跟踪。可移动平台可以包括拍摄装置，可移动平台的机身上配置有拍摄装置(如相机、摄像机等)，可移动平台可通过拍摄装置拍摄目标对象的图像，进而根据目标对象的图像分析得到目标对象的位置信息。可移动平台根据目标对象的位置信息对目标对象进行跟踪。可选的，拍摄装置可以直接配置在可移动平台的机身。可选的，所述拍摄装置可以通过承载装置配置在可移动平台的机身上。其中，所述承载装置可以为云台，云台可以承载拍摄装置以为拍摄设备增稳和/或调整拍摄装置的拍摄姿态。
此外，该可移动平台还包括深度传感器，所述深度传感器可以配置在可移动平台的机身上。该深度传感器为任何能够直接或者间接地获取深度图像的传感器。在某些情况中，所述深度传感器可以为毫米波雷达或激光雷达等传感器。在某些情况中，该深度传感器也可以为任何能够获取深度图像和深度图像对应的灰度图像的传感器，例如，该深度传感器可以包括双目摄像头、单目摄像头、TOF相机等传感器。
下面对本发明实施例提供的目标对象的深度信息获取方法的具体流程进一步进行说明。
请参阅图1，图1为本发明实施例公开的一种目标对象的深度信息获取方法的流程示意图。如图1所示，该目标对象的深度信息获取方法可包括步骤101和102。其中：
101、可移动平台获取目标对象的第一区域指示信息。
其中，该第一区域指示信息用于指示目标对象在拍摄装置输出的图像中的图像区域。例如，图2为可移动平台的拍摄装置输出的图像。图2中201为目标对象，202所示的区域为目标对象在拍摄装置输出的图像中的图像区域。该第一区域指示信息用于指示202所示的图像区域。
可选的，第一区域指示信息可以为目标对象的检测框(bounding box)信息。其中，所述第一区域指示信息可以为图像区域202左上角和右下角在图像中的位置。所述第一区域指示信息可以用于指示目标对象在图像中的图像区域在图像中的哪个位置；所述第一区域指示信息可以用于指示目标对象在图像中的图像区域的大小，例如检测框的长和宽。
可选的，可移动平台获取目标对象的第一区域指示信息的具体实施方式可以为：可移动平台可将拍摄装置拍摄的图像输入到第一预设神经网络中，并获取该第一预设神经网络输出的第一区域指示信息。具体地，可移动平台的处理器获取拍摄装置拍摄的图像，并将所述图像输入到已经训练好的第一神经网络。其中，已经训练好的第一神经网络可以对特定类型的对象进行识别，若目标对象的类型与所述特定类型一致，则所述第一神经网络模型可以识别图像中的目标对象，并输出目标对象的第一区域指示信息，可移动平台的处理器可以获取输出目标对象的第一区域指示信息。
可选的，可移动平台获取目标对象的第一区域指示信息的具体实施方式可以为：可移动平台获取控制终端发送的第一区域指示信息，其中，所述第一区域指示信息是控制终端检测用户在显示所述图像的交互界面上的目标对象选择操作确定的。该控制终端可以接收可移动平台发送的拍摄装置拍摄的图像。例如，该控制终端可以为手机、平板电脑、遥控器、穿戴式设备(手表或手环)中的一种或多种。该控制终端的交互界面可以显示可移动平台的拍摄装置拍摄的图像。用户可在显示所述图像的交互界面进行目标对象选择操作，例如框选目标对象，控制终端检测用户的目标对象选择操作，并根据检测到的所述操作获取用于指示目标对象的图像区域的第一区域指示信息，并将该第一区域指示信息发送至可移动平台。
102、可移动平台根据第一区域指示信息从深度传感器输出的深度图像中获取目标对象的深度信息。
具体地，可移动平台的处理器可以获取深度传感器输出的深度图像，所述深度图像中包括目标对象的深度信息。其中，深度图像中每个像素值是深度传感器与物体之间的深度，即深度图像中包括深度传感器与目标对象之间的深度。可移动平台的处理器可以根据第一区域指示信息从深度图像中获取目标对象的深度信息。
作为一种可选的实施方式，可移动平台还可根据目标对象的深度信息确定目标对象的位置信息，并根据目标对象的位置信息对目标对象进行跟踪。
在现有技术中，通常根据目标对象的检测框信息来确定目标对象的位置信息。这样会导致确定的目标对象的位置信息不准确。本发明实施例中，在获取目标对象的深度信息后，可以根据目标对象的深度信息来确定目标对象的位置信息，例如，可以将目标对象的深度信息和目标对象的第一区域指示信息来确定目标对象的位置信息。这样可以更加准确地确定目标对象的位置信息。
通过实施图1所描述的方法，可移动平台可获取目标对象的第一区域指示信息，进而根据第一区域指示信息从深度传感器输出的深度图像中获取目标对象的深度信息。可见，通过实施图1所描述的方法，可移动平台可以确定目标对象的深度信息。
请参阅图3，图3为本发明实施例公开的一种目标对象的深度信息获取方法的流程示意图。其中，302和303为102的具体实施方式。如图3所示，该目标对象的深度信息获取方法可包括步骤301～303。其中：
301、可移动平台获取目标对象的第一区域指示信息。
其中，301的具体实施方式与101的具体实施方式相同，具体可参见101对应的描述，在此不赘述。
302、可移动平台将第一目标区域信息指示的图像区域投影到与深度图像对应的灰度图像中，以获取参考图像区域。其中，该灰度图像是深度传感器输出的。
如前述所说，该深度传感器包括任何能够获取深度图像和深度图像对应的灰度图像的传感器。例如，该深度传感器包括双目摄像头、单目摄像头和TOF相机中的一种或多种。在某些情况中，深度传感器可以先输出灰度图像，再根据灰度图像输出深度图像。在某些情况中，深度传感器可以同时输出深度图像和与深度图像对应的灰度图像。
其中，该灰度图像中的每一个像素点与深度图像的每一个像素点具有一一对应关系，即深度图像中的每一个像素点在灰度图像上的位置与深度图像的每一个像素点在深度图像上的位置相同。
由于拍摄装置和深度传感都配置在可移动平台的机身上，根据拍摄装置、深度传感器和所述机身之间的空间位置关系，可以将第一目标区域信息指示的图像区域投影到与深度图像对应的灰度图像中以获取参考图像区域，即灰度图像中的一个图像区域。可以理解的是，参考图像区域可以是第一目标区域信息指示的图像区域投影到与深度图像对应的灰度图像获取的投影区域；在某些情况中，参考图像区域可以是根据图像区域投影到与深度图像对应的灰度图像获取的投影区域确定的图像区域，例如，将获取的投影区域按照预设的方式扩大预设倍数后获取的图像区域。
可选的，可根据承载拍摄装置的云台的姿态信息、机身的姿态信息、深度传感器和可移动平台的惯性测量单元(Inertial measurement unit，IMU)之间的几何位置关系和所述云台与所述惯性测量单元之间的几何位置关系，将第一目标区域信息指示的图像区域投影到与深度图像对应的灰度图像中，以获取参考图像区域。
由于投影过程可能存在误差，因此将第一目标区域信息指示的图像区域投影到灰度图像中的投影区域可能不是目标对象在灰度图像中的区域。例如，如图4所示，人物401为目标对象。人物401的第一目标区域信息指示的图像区域为图像区域402。灰度图像中的图像区域403为第一目标区域信息指示的图像区域402投影到灰度图像中的投影区域。如图4所示，投影区域403相较于图像区域402向下及向右均发生了偏移，投影区域403不能准确地包括目标对象，这样会导致根据投影区域中的灰度图像，无法准确地得到目标对象的深度信息。因此，可选的，参考图像区域可以根据得到的投影区域403获取。例如保持投影区域的中心点不变，适当对投影区域进行扩大，得到参考图像区域。例如，如图5所示，第一目标区域信息指示的图像区域502为350*250，对投影区域扩大后得到的参考图像区域503为640*360。
303、可移动平台根据灰度图像与深度图像的对应关系和参考灰度图像，从深度图像中获取目标对象的深度信息。其中，该参考灰度图像为参考图像区域内的灰度图像。
本申请实施例中，可移动平台获取参考图像区域之后，根据灰度图像与深度图像的对应关系和参考灰度图像，从深度图像中获取目标对象的深度信息。
作为一种可选的实施方式，可移动平台还可根据目标对象的深度信息确定目标对象的位置信息，并根据目标对象的位置信息对目标对象进行跟踪。
根据目标对象的深度信息来确定目标对象的位置信息，可以准确地确定目标对象的位置信息。当然也可以将目标对象的深度信息和目标对象的第一区域指示信息相结合来确定目标对象的位置信息。这样可以更加准确地确定目标对象的位置信息。
可见，通过实施图3所描述的方法，能够准确地获取目标对象的深度信息。
请参阅图6，图6为本发明实施例公开的一种目标对象的深度信息获取方法的流程示意图。其中，604和605为303的具体实施方式。如图6所示，该目标对象的深度信息获取方法可包括步骤601～605。其中：
601、可移动平台获取目标对象的第一区域指示信息。
602、可移动平台将第一目标区域信息指示的图像区域投影到与深度图像对应的灰度图像中，以获取参考图像区域。其中，该灰度图像是深度传感器输出的。
其中，601和602的具体实施方式与301和302的具体实施方式相同，具体可参见301和302对应的描述，在此不赘述。
603、可移动平台获取目标对象的类型。
604、可移动平台获取至少一个与目标对象的类型相同的对象的第二区域指示信息。其中，该第二区域指示信息用于指示该至少一个对象在参考灰度图像中的图像区域，该至少一个对象中包括该目标对象。
605、可移动平台根据灰度图像与深度图像的对应关系和该至少一个对象的第二区域指示信息，从深度图像中获取该目标对象的深度信息。
在本申请实施例中，可移动平台可通过以下两种方式获取目标对象的类型。
方式一：可移动平台将拍摄装置输出的图像输入到第二预设神经网络(例如卷积神经网络)中，并获取第二预设神经网络输出的目标对象的类型。即可移动平台可通过深度学习得到目标对象的类型。具体地，可移动平台的处理器获取拍摄装置拍摄的图像，并将所述图像输入到已经训练好的第二神经网络。其中，已经训练好的第二神经网络可以对所述图像中的对象的类型进行识别，并输出识别到的目标对象的类型。可移动平台的处理器可以获取第二神经网络输出的目标对象的类型。
方式二：可移动平台获取可移动平台的控制终端发送的目标对象的类型。可选的，所述目标对象的类型是所述控制终端接收的用户输入的类型。或者，可移动平台还可通过其他方式获取目标对象的类型，本申请实施例不做限定。
在本申请实施例中，可移动平台从参考灰度图像中确定至少一个与目标对象的类型相同的对象，即从参考灰度图像获取至少一个与目标对象的类型相同的对象，进而获取与目标对象的类型相同的对象的第二区域指示信息。如图7所示，目标对象的类型为人类。可移动平台从参考图像区域700的参考灰度图像中确定人物701和人物702为与目标对象的类型相同的对象。例如，可以利用深度学习的算法从参考灰度图像中确定人物701和人物702为与目标对象的类型相同的对象。人物701的第二区域指示信息指示703所示的灰度图像区域，人物702的第二区域指示信息指示704所示的灰度图像区域。可移动平台根据灰度图像与深度图像的对应关系、人物701的第二区域指示信息和人物702的第二区域指示信息，从深度图像中获取目标对象的深度信息。
可选的，对象的第二区域指示信息可以为对象的检测框(bounding box)信息。
可见，通过图6所描述的方法，能够准确地获取目标对象的深度信息。
作为一种可选的实施方式，步骤605的具体实施方式包括以下步骤(11)～(13)：
(11)、可移动平台从该至少一个对象的第二区域指示信息中确定该目标对象的第二区域指示信息；
(12)、可移动平台根据灰度图像与深度图像的对应关系和该目标对象的第二区域指示信息，确定该目标对象的第三区域指示信息，其中，该第三区域指示信息用于指示该目标对象在深度图像上的图像区域；
(13)、可移动平台根据第三区域指示信息从深度图像中获取该目标对象的深度信息。
例如，如图8所示，可移动平台从参考图像区域800的参考灰度图像中获取的至少一个与目标对象的类型相同的对象包括人物801和人物802。人物801的第二区域指示信息指示803所示的区域。人物802的第二区域指示信息指示804所示的区域。可移动平台确定人物801的第二区域指示信息为目标对象的第二区域指示信息。由于灰度图像与深度图像具有对应关系，可移动平台可根据灰度图像与深度图像的对应关系和人物801的第二区域指示信息，确定该人物801的第三区域指示信息，该人物801的第三区域指示信息指示的深度图像区域与该人物801第二区域指示信息指示的灰度图像区域对应。如图8所示，805所示的区域为人物801的第三区域指示信息所指示的区域。可移动平台根据该人物801的第三区域指示信息所指示的区域从深度图像中获取目标对象的深度信息。通过实施该实施方式，能够准确地获取目标对象的深度信息。
可选的，可移动平台根据该第三区域指示信息从深度图像中获取目标对象的深度信息的具体实施方式为：按照预设的方式对该第三区域指示信息指示的图像区域内的深度图像进行聚类运算；将聚类运算获取的深度信息确定为目标对象的深度信息。具体地，可以以该第三区域指示信息指示的图像区域内中心的像素点作为起点进行聚类运算，将聚类运算获取的深度信息确定为目标对象的深度信息。聚类算法可以确定出同一类的像素点，即聚类算法可以将目标对象与背景区分开来，进而得到只属于目标对象的深度图像区域，再根据目标对象的深度图像区域确定目标对象的深度信息。通过实施该实施方式，能够对第三区域指示信息指示的图像区域进行深度扣取，以准确地获取目标对象的深度信息。
可选的，该至少一个对象的第二区域指示信息包括多个对象的第二区域指示信息；步骤(11)，即可移动平台从该至少一个对象的第二区域指示信息中确定目标对象的第二区域指示信息的具体实施方式为：确定该至少一个对象中每一个对象的第二目标信息的评价参数；将评价参数符合预设要求的对象的第二区域指示信息确定为该目标对象的第二区域指示信息。
具体地，可移动平台可以确定该至少一个对象中每一个对象的第二目标信息的评价参数，其中，可以对每一个对象的第二目标信息的评价参数进行分析以根据所述评价参数来确定至少一个对象的第二目标信息中确定目标对象的第二目标指示信息。通过实施该实施方式，能够准确地从多个对象的第二区域指示信息中确定出目标对象的第二区域指示信息。
可选的，该评价参数包括第二区域指示信息指示的图像区域与参考图像区域之间的距离，将评价参数符合预设要求的对象的第二区域指示信息确定为目标对象的第二区域指示信息的具体实施方式为：将该距离最小的对象的第二区域指示信息确定为目标对象的第二区域指示信息。具体地，该距离可以是第二区域指示信息指示的图像区域的中心位置与参考图像区域中心位置之间的距离。例如，如图8所示，第二区域指示信息指示的图像区域803的中心位置与参考图像区域800之间的距离最小，因此将人物801确定为目标对象，将指示的图像区域803的第二区域指示信息确定为目标对象的第二区域指示信息。通过实施该实施方式，能够准确地从多个对象的第二区域指示信息中确定出目标对象的第二区域指示信息。
或者，该评价参数还可以是其他参数，本申请实施例不做限定。
作为一种可选的实施方式，步骤605的具体实施方式包括以下步骤(21)～(23)：
(21)、可移动平台根据灰度图像与深度图像的对应关系和该至少一个对象的第二区域指示信息，确定该至少一个对象的第三区域指示信息，该第三区域指示信息用于指示对象在深度图像上的图像区域；
(22)、可移动平台根据该至少一个对象的第三区域指示信息从深度图像获取至少一个对象的深度信息；
(23)、可移动平台从至少一个对象的深度信息中获取目标对象的深度信息。
例如，如图9所示，可移动平台从参考图像区域900的参考灰度图像中获取的至少一个与目标对象的类型相同的对象包括人物901和人物902。903所示的区域为人物901的第二区域指示信息所指示的区域。904所示的区域为人物902的第二区域指示信息所指示的区域。可移动平台根据灰度图像与深度图像的对应关系和人物901的第二区域指示信息，确定人物901的第三区域指示信息，并根据灰度图像与深度图像的对应关系和人物902的第二区域指示信息，确定人物902的第三区域指示信息。人物901的第三区域指示信息指示深度图像中905所示的区域。人物902的第三区域指示信息指示深度图像中906所示的区域。可移动平台根据人物901的第三区域指示信息从深度图像获取人物901的深度信息；可移动平台根据人物902的第三区域指示信息从深度图像获取人物902的深度信息；可移动平台从人物901的深度信息和人物902的深度信息中获取目标对象的深度信息。
通过实施该实施方式，能够准确地获取目标对象的深度信息。
作为一种可选的实施方式，可移动平台根据该至少一个对象的第三区域指示信息从深度图像获取该至少一个对象的深度信息的具体实施方式为：按照预设的方式对第一对象的第三区域指示信息指示的图像区域内的深度图像进行聚类运算；将聚类运算获取的深度信息确定为该第一对象的深度信息，其中该第一对象为该至少一个对象中的任一对象。
例如，如图9所示，该至少一个对象包括人物901和人物902。可移动平台按照预设的方式对人物901的第三区域指示信息指示的图像区域内的深度图像进行聚类运算；将聚类运算获取的深度信息确定为该人物901的深度信息。可移动平台按照预设的方式对人物902的第三区域指示信息指示的图像区域内的深度图像进行聚类运算；将聚类运算获取的深度信息确定为该人物902的深度信息。具体地，可以以该第三区域指示信息指示的图像区域内中心的像素点作为起点进行聚类运算，将聚类运算获取的深度信息确定为目标对象的深度信息。通过实施该实施方式，能够对第三区域指示信息指示的图像区域进行深度扣取，以准确地获取该至少一个对象的深度信息。
作为一种可选的实施方式，该至少一个对象的深度信息包括多个对象的深度信息，可移动平台从至少一个对象的深度信息中获取目标对象的深度信息的具体实施方式为：可移动平台获取该至少一个对象中的每一个对象的深度信息的评价参数；可移动平台将评价参数符合预设要求的对象的深度信息确定为目标对象的深度信息。
具体地，可移动平台可以确定该至少一个对象中每一个对象的深度信息的评价参数，其中，可以对每一个对象的深度信息的评价参数进行分析以根据所述评价参数来确定至少一个对象的深度信息中确定目标对象的深度信息。通过实施该实施方式，能够从多个对象的深度信息中准确地确定目标对象的深度信息。
可选的，该评价参数包括第二区域指示信息指示的图像区域与参考图像区域之间的距离和/或对象的深度信息与历史时刻获取的目标对象的深度信息之间的差异；将评价参数符合预设要求的对象的深度信息确定为目标对象的深度信息的具体实施方式为：将距离最小和/或差异最小的对象的深度信息确定为目标对象的深度信息。具体地，该距离可以是第二区域指示信息指示的图像区域的中心位置与参考图像区域中心位置之间的距离。
例如，如图9所示，第二区域指示信息指示的图像区域903的中心位置与参考图像区域900的中心位置之间的距离最小。因此将人物901的深度信息确定为目标对象的深度信息。
再如，上一次获取的目标对象的深度信息为2m，获取的人物901的深度信息为2.5m，获取的人物902的深度信息为5m。因此，将人物901的深度信息确定为目标对象的深度信息。通常可移动平台会以周期来检测目标对象的深度信息，该周期一般为较短的时间。在较短的时间之内目标对象的深度信息不会变化太大。因此，可以将与历史时刻获取的目标对象的深度信息之间的差异最小的对象的深度信息确定为目标对象的深度信息。
可见，通过实施该实施方式，能够准确地从多个对象的深度信息中确定出目标对象的深度信息。
请参阅图10，图10为本发明实施例公开的一种目标对象的深度信息获取方法的流程示意图。其中，1004～1006为303的具体实施方式。如图10所示，该目标对象的深度信息获取方法可包括步骤1001～1006。其中：
1001、可移动平台获取目标对象的第一区域指示信息。
1002、可移动平台将第一目标区域信息指示的图像区域投影到与深度图像对应的灰度图像中，以获取参考图像区域。其中，该灰度图像是深度传感器输出的。
其中，1001和1002的具体实施方式与301和302的具体实施方式相同，具体可参见301和302对应的描述，在此不赘述。
1003、可移动平台获取该目标对象在图像中的图像特征。
在本申请实施例中，可移动平台可通过以下两种方式获取目标对象的图像特征。方式一：可移动平台将拍摄装置输出的图像输入到第三预设神经网络(例如卷积神经网络)中，并获取第三预设神经网络输出的目标对象的图像特征。即可移动平台可通过深度学习得到目标对象的图像特征。具体地，可移动平台的处理器获取拍摄装置拍摄的图像，并将所述图像输入到已经训练好的第三神经网络。其中，已经训练好的第三神经网络可以对特定类型的对象的图像特征进行识别，若目标对象的类型与所述特定类型一致，则所述第一神经网络模型可以识别图像中的目标对象的图像特征，并输出目标对象的图像特征，可移动平台的处理器可以获取输出目标对象的图像特征。
方式二：可移动平台获取可移动平台的控制终端发送的目标对象的图像特征。可选的，该目标对象的图像特征可以是用户在控制终端输入的。例如，用户可在控制终端输入控制终端可识别的目标对象的图像特征，控制终端将用户输入的目标对象的图像特征发送至可移动平台。或者，可移动平台还可通过其他方式获取目标对象的图像特征，本申请实施例不做限定。
1004、可移动平台获取与目标对象的图像特征匹配的对象的第二区域指示信息，将该图像特征匹配的对象的第二区域指示信息确定为目标对象的第二区域指示信息。其中，该第二区域指示信息用于指示与图像特征匹配的对象在参考灰度图像中的图像区域。
1005、可移动平台根据灰度图像与深度图像的对应关系和该目标对象的第二区域指示信息，确定该目标对象的第三区域指示信息。其中，该第三区域指示信息用于指示该目标对象在深度图像上的图像区域。
1006、可移动平台根据该第三区域指示信息从深度图像中获取目标对象的深度信息。
也就是说，可移动平台可以从参考灰度图像中确定与目标对象的图像特征匹配的对象，进而获取与目标对象的图像特征匹配的对象的第二区域指示信息。例如，如图8所示，可移动平台在参考图像区域800的参考灰度图像中确定人物801为与目标对象的图像特征匹配的对象，因此可移动平台将人物801的第二区域指示信息确定为目标对象的第二区域指示信息。该目标对象的第二区域指示信息指示图像区域803。可移动平台根据灰度图像与深度图像的对应关系和目标对象的第二区域指示信息，确定目标对象的第三区域指示信息。该第三区域指示信息指示深度图像上的805区域。可移动平台根据该第三区域指示信息从深度图像中获取目标对象的深度信息。
可选的，可移动平台根据第三区域指示信息从深度图像中获取目标对象的深度信息的具体实施方式为：按照预设的方式对第三区域指示信息指示的图像区域内的深度图像进行聚类运算；将聚类运算获取的深度信息确定为目标对象的深度信息。该实施方式的具体实现可参见图6对应的实施例中对应的描述，在此不赘述。
可见，通过图10所描述的方法，可移动平台能够准确地获取目标对象的深度信息。
请参阅图11，图11为本发明实施例公开的一种目标对象的深度信息获取方法的流程示意图。其中，1102和1103为102的具体实施方式。如图11所示，该目标对象的深度信息获取方法可包括步骤1101～1103。其中：
1101、可移动平台获取目标对象的第一区域指示信息。
1102、可移动平台将第一区域指示信息指示的图像区域投影到深度图像中，以获取目标对象的第三区域指示信息。其中，该第三区域指示信息用于指示目标对象在深度图像上的图像区域。
1103、可移动平台根据第三区域指示信息从深度图像中获取目标对象的深度信息。
本申请实施例中，可移动平台可直接将第一区域指示信息指示的图像区域投影到深度图像，并将所得到的投影区域确定为目标对象在深度图像上的图像区域。例如，如图12所示，目标对象为人物1201，第一区域指示信息指示的图像区域为1202所示的区域。可移动平台可直接将第一区域指示信息指示的图像区域1202投影到深度图像中，所得到的投影区域1203就为目标对象在深度图像上的图像区域，即第三区域指示信息指示的图像区域为1203所示的区域。目标对象的第三区域指示信息指示投影区域1203。可移动平台根据第三区域指示信息就可从深度图像中获取目标对象的深度信息。
在实际应用中，云台的关节角可能存在误差，因此根据云台的关节角将第一区域指示信息指示的图像区域投影到深度图像，得到的投影区域可能并不是目标对象在深度图像上的图像区域，即投影具有误差。但是也存在云台的关节角没有误差或者误差已知的情况，因此，可直接将第一区域指示信息指示的图像区域投影到深度图像，并将所得到的投影区域确定为目标对象在深度图像上的图像区域。
通过实施图11所描述的方法，可移动平台能够准确地获取目标对象的深度信息。
作为一种可选的实施方式，可移动平台根据该第三区域指示信息从深度图像中获取目标对象的深度信息的具体实施方式为：按照预设的方式对该第三区域指示信息指示的图像区域内的深度图像进行聚类运算；将聚类运算获取的深度信息确定为目标对象的深度信息。该实施方式的具体实现可参见图6对应的实施例中对应的描述，在此不赘述。
作为一种可选的实施方式，拍摄装置通过云台配置在可移动平台的机身上，将该第一区域指示信息指示的图像区域投影到深度图像中以获取目标对象的第三区域指示信息的具体实施方式为：获取云台的关节角误差；根据关节角误差将第一区域指示信息指示的图像区域投影到深度图像中，以获取目标对象的第三区域指示信息。
在该实施方式中，若云台的关节角存在误差，将第一区域指示信息指示的图像区域投影到深度图像中所得到的投影区域可能不是目标对象在深度图像上的图像区域。因此可以先计算出云台的关节角误差，再根据关节角误差对测量得到的云台的关节角进行纠正。再根据纠正后的云台的关节角将第一区域指示信息指示的图像区域投影到深度图像中，此时得到的投影区域就为目标对象在深度图像上的图像区域。进一步地，可以根据纠正后的云台的关节角、承载拍摄装置的云台的姿态信息、机身的姿态信息、深度传感器和可移动平台的惯性测量单元(Inertial measurement unit，IMU)之间的几何位置关系和所述云台与所述惯性测量单元之间的几何位置关系将该第一区域指示信息指示的图像区域投影到深度图像中以获取目标对象的第三区域指示信息。可见，通过实施该实施方式可以准确地投影得到目标对象在深度图像上的图像区域。
作为一种可选的实施方式，可移动平台获取云台的关节角误差的具体实施方式为：获取拍摄装置输出的图像中的图像特征；获取与深度图像对应的灰度图像中的图像特征，其中，灰度图像是深度传感器输出的；将拍摄装置输出的图像中的图像特征和灰度图像中的图像特征进行匹配，以获取匹配成功的拍摄装置输出的图像中的第一图像特征和对应的灰度图像中的第二图像特征；根据第一图像特征在拍摄装置输出的图像中的位置信息和第二图像特征在灰度图像中的位置信息获取云台的关节角误差。通过实施该实施方式，可以准确地计算出云台的关节角误差。
也就是说，在该实施方式中，深度传感器是可以获取灰度图像和深度图像的传感器。拍摄装置输出的图像的第一图像特征与深度传感器输出的灰度图像中的第二图像特征相匹配时，可移动平台根据第一图像特征在拍摄装置输出的图像中的位置信息和第二图像特征在灰度图像中的位置信息获取云台的关节角误差。
可选的，可移动平台可将拍摄装置输出的图像输入到第四预设神经网络(例如卷积神经网络)中，并获取第四预设神经网络输出拍摄装置输出的图像的图像特征。同理，可移动平台可将深度传感器输出的灰度图像输入到第五预设神经网络(例如卷积神经网络)中，并获取第五预设神经网络输出深度传感器输出的灰度图像的图像特征。或者，可移动平台还可通过其他方式获取目标对象的图像特征，本申请实施例不做限定。
作为一种可选的实施方式，可移动平台获取目标对象的深度信息之后，还可根据目标对象的深度信息确定目标对象的位置信息，并根据目标对象的位置信息对目标对象进行跟踪。
根据目标对象的深度信息来确定目标对象的位置信息，可以准确地确定目标对象的位置信息。当然也可以将目标对象的深度信息和目标对象的第一区域指示信息相结合来确定目标对象的位置信息。这样可以更加准确地确定目标对象的位置信息。
本申请实施例提供了一种可移动平台。该可移动平台的机身上配置拍摄装置和深度传感器，该可移动平台至少可以包括处理单元，其中：
处理单元，用于获取目标对象的第一区域指示信息，其中，第一区域指示信息用于指示目标对象在拍摄装置输出的图像中的图像区域；
该处理单元，还用于根据第一区域指示信息从深度传感器输出的深度图像中获取目标对象的深度信息。
可选的，该处理单元根据第一区域指示信息从深度传感器输出的深度图像中获取目标对象的深度信息，包括：
将第一目标区域信息指示的图像区域投影到与深度图像对应的灰度图像中，以获取参考图像区域，其中，灰度图像是深度传感器输出的；
根据灰度图像与深度图像的对应关系和参考灰度图像，从深度图像中获取目标对象的深度信息，其中，参考灰度图像为参考图像区域内的灰度图像。
可选的，该处理单元还用于获取目标对象的类型；
该处理单元根据灰度图像与深度图像的对应关系和参考灰度图像，从深度图像中获取目标对象的深度信息，包括：
获取至少一个与目标对象的类型相同的对象的第二区域指示信息，其中，第二区域指示信息用于指示至少一个对象在参考灰度图像中的图像区域，至少一个对象中包括目标对象；
根据灰度图像与深度图像的对应关系和至少一个对象的第二区域指示信息，从深度图像中获取目标对象的深度信息。
可选的，该处理单元根据灰度图像与深度图像的对应关系和至少一个对象的第二区域指示信息，从深度图像中获取目标对象的深度信息，包括：
从至少一个对象的第二区域指示信息中确定目标对象的第二区域指示信息；
根据对应关系和目标对象的第二区域指示信息，确定目标对象的第三区域指示信息，其中，第三区域指示信息用于指示目标对象在深度图像上的图像区域；
根据第三区域指示信息从深度图像中获取目标对象的深度信息。
可选的，该至少一个对象的第二区域指示信息包括多个对象的第二区域指示信息，
该处理单元从至少一个对象的第二区域指示信息中确定目标对象的第二区域指示信息，包括：
确定每一个对象的第二目标信息的评价参数；
将评价参数符合预设要求的对象的第二区域指示信息确定为目标对象的第二区域指示信息。
可选的，评价参数包括第二区域指示信息指示的图像区域与参考图像区域之间的距离，
该处理单元将评价参数符合预设要求的对象的第二区域指示信息确定为目标对象的第二区域指示信息，包括：
将距离最小的对象的第二区域指示信息确定为目标对象的第二区域指示信息。
可选的，该处理单元根据灰度图像与深度图像的对应关系和至少一个对象的第二区域指示信息，从深度图像中获取目标对象的深度信息，包括：
根据灰度图像与深度图像的对应关系和至少一个对象的第二区域指示信息，确定至少一个对象的第三区域指示信息，第三区域指示信息用于指示对象在深度图像上的图像区域；
根据至少一个对象的第三区域指示信息从深度图像获取至少一个对象的深度信息；
从至少一个对象的深度信息中获取目标对象的深度信息。
可选的，至少一个对象的深度信息包括多个对象的深度信息，
该处理单元从至少一个对象的深度信息中获取目标对象的深度信息包括：
获取至少一个对象中的每一个对象的深度信息的评价参数；
将评价参数的符合预设要求的对象的深度信息确定为目标对象的深度信息。
可选的，评价参数包括第二区域指示信息指示的图像区域与参考图像区域之间的距离和/或对象的深度信息与历史时刻获取的目标对象的深度信息之间的差异；
该处理单元将评价参数的符合预设要求的对象的深度信息确定为目标对象的深度信息包括：
将距离最小和/或差异最小的对象的深度信息确定为目标对象的深度信息。
可选的，该处理单元还用于获取目标对象在图像中的图像特征；
该处理单元根据灰度图像与深度图像的对应关系和参考灰度图像，从深度图像中获取目标对象的深度信息包括：
获取与目标对象的图像特征匹配的对象的第二区域指示信息，将图像特征匹配的对象的第二区域指示信息确定为目标对象的第二区域指示信息，其中，第二区域指示信息用于指示与图像特征匹配的对象在参考灰度图像中的图像区域；
根据对应关系和目标对象的第二区域指示信息确定目标对象的第三区域指示信息，其中，第三区域指示信息用于指示目标对象在深度图像上的图像区域；
根据第三区域指示信息从深度图像中获取目标对象的深度信息。
可选的，该处理单元根据第一区域指示信息从深度传感器输出的深度图像中获取目标对象的深度信息包括：
将第一区域指示信息指示的图像区域投影到深度图像中，以获取目标对象的第三区域指示信息，其中，第三区域指示信息用于指示目标对象在深度图像上的图像区域；
根据第三区域指示信息从深度图像中获取目标对象的深度信息。
可选的，拍摄装置通过云台配置在可移动平台的机身上，
该处理单元将第一区域指示信息指示的图像区域投影到深度图像中，以获取目标对象的第三区域指示信息包括：
获取云台的关节角误差；
根据关节角误差将第一区域指示信息指示的图像区域投影到深度图像中以获取目标对象的第三区域指示信息。
可选的，该处理单元获取云台的关节角误差，包括：
获取拍摄装置输出的图像中的图像特征；
获取与深度图像对应的灰度图像中的图像特征，其中，灰度图像是深度传感器输出的；
将拍摄装置输出的图像中的图像特征和灰度图像中的图像特征进行匹配，以获取匹配成功的拍摄装置输出的图像中的第一图像特征和对应的灰度图像中的第二图像特征；
根据第一图像特征在拍摄装置输出的图像中的位置信息和第二图像特征在灰度图像中的位置信息获取云台的关节角误差。
可选的，该处理单元根据第三目标区域指示信息从深度图像中获取目标对象的深度信息包括：
按照预设的方式对第三区域指示信息指示的图像区域内的深度图像进行聚类运算；
将聚类运算获取的深度信息确定为目标对象的深度信息。
可选的，该处理单元还用于根据目标对象的深度信息确定目标对象的位置信息；根据目标对象的位置信息对目标对象进行跟踪。
请参阅图13，图13是本发明实施例提供的一种可移动平台的结构示意图。如图13所示，该可移动平台包括存储器1301、处理器1302、拍摄装置1303和深度传感器1304。可选的，存储器1301、处理器1302和拍摄装置1303和深度传感器1304可通过总线系统1305相连。
存储器1301，用于存储程序指令。存储器1301可以包括易失性存储器(volatilememory)，例如随机存取存储器(random-access memory，RAM)；存储器1301也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储器1301还可以包括上述种类的存储器的组合。
处理器1302可以包括中央处理器(central processing unit，CPU)。处理器1302还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)等。上述PLD可以是现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)等。其中，处理器1302调用存储器1301中的程序指令用于执行以下步骤：
获取目标对象的第一区域指示信息，其中，第一区域指示信息用于指示目标对象在拍摄装置1303输出的图像中的图像区域；
根据第一区域指示信息从深度传感器1304输出的深度图像中获取目标对象的深度信息。
可选的，处理器1302根据第一区域指示信息从深度传感器1304输出的深度图像中获取目标对象的深度信息，包括：
将第一目标区域信息指示的图像区域投影到与深度图像对应的灰度图像中，以获取参考图像区域，其中，灰度图像是深度传感器1304输出的；
根据灰度图像与深度图像的对应关系和参考灰度图像，从深度图像中获取目标对象的深度信息，其中，参考灰度图像为参考图像区域内的灰度图像。
可选的，处理器1302，调用程序指令还用于：
获取目标对象的类型；
处理器1302根据灰度图像与深度图像的对应关系和参考灰度图像，从深度图像中获取目标对象的深度信息，包括：
获取至少一个与目标对象的类型相同的对象的第二区域指示信息，其中，第二区域指示信息用于指示至少一个对象在参考灰度图像中的图像区域，至少一个对象中包括目标对象；
根据灰度图像与深度图像的对应关系和至少一个对象的第二区域指示信息，从深度图像中获取目标对象的深度信息。
可选的，处理器1302根据灰度图像与深度图像的对应关系和至少一个对象的第二区域指示信息，从深度图像中获取目标对象的深度信息，包括：
从至少一个对象的第二区域指示信息中确定目标对象的第二区域指示信息；
根据对应关系和目标对象的第二区域指示信息，确定目标对象的第三区域指示信息，其中，第三区域指示信息用于指示目标对象在深度图像上的图像区域；
根据第三区域指示信息从深度图像中获取目标对象的深度信息。
可选的，至少一个对象的第二区域指示信息包括多个对象的第二区域指示信息，
处理器1302从至少一个对象的第二区域指示信息中确定目标对象的第二区域指示信息，包括：
确定每一个对象的第二目标信息的评价参数；
将评价参数符合预设要求的对象的第二区域指示信息确定为目标对象的第二区域指示信息。
可选的，评价参数包括第二区域指示信息指示的图像区域与参考图像区域之间的距离，
处理器1302将评价参数符合预设要求的对象的第二区域指示信息确定为目标对象的第二区域指示信息，包括：
将距离最小的对象的第二区域指示信息确定为目标对象的第二区域指示信息。
可选的，处理器1302根据灰度图像与深度图像的对应关系和至少一个对象的第二区域指示信息，从深度图像中获取目标对象的深度信息，包括：
根据灰度图像与深度图像的对应关系和至少一个对象的第二区域指示信息，确定至少一个对象的第三区域指示信息，第三区域指示信息用于指示对象在深度图像上的图像区域；
根据至少一个对象的第三区域指示信息从深度图像获取至少一个对象的深度信息；
从至少一个对象的深度信息中获取目标对象的深度信息。
可选的，至少一个对象的深度信息包括多个对象的深度信息，
处理器1302从至少一个对象的深度信息中获取目标对象的深度信息包括：
获取至少一个对象中的每一个对象的深度信息的评价参数；
将评价参数的符合预设要求的对象的深度信息确定为目标对象的深度信息。
可选的，评价参数包括第二区域指示信息指示的图像区域与参考图像区域之间的距离和/或对象的深度信息与历史时刻获取的目标对象的深度信息之间的差异；
处理器1302将评价参数的符合预设要求的对象的深度信息确定为目标对象的深度信息包括：
将距离最小和/或差异最小的对象的深度信息确定为目标对象的深度信息。
可选的，处理器1302，调用程序指令还用于：
获取目标对象在图像中的图像特征；
处理器1302根据灰度图像与深度图像的对应关系和参考灰度图像，从深度图像中获取目标对象的深度信息包括：
获取与目标对象的图像特征匹配的对象的第二区域指示信息，将图像特征匹配的对象的第二区域指示信息确定为目标对象的第二区域指示信息，其中，第二区域指示信息用于指示与图像特征匹配的对象在参考灰度图像中的图像区域；
根据对应关系和目标对象的第二区域指示信息确定目标对象的第三区域指示信息，其中，第三区域指示信息用于指示目标对象在深度图像上的图像区域；
根据第三区域指示信息从深度图像中获取目标对象的深度信息。
可选的，处理器1302根据第一区域指示信息从深度传感器1304输出的深度图像中获取目标对象的深度信息包括：
将第一区域指示信息指示的图像区域投影到深度图像中，以获取目标对象的第三区域指示信息，其中，第三区域指示信息用于指示目标对象在深度图像上的图像区域；
根据第三区域指示信息从深度图像中获取目标对象的深度信息。
可选的，拍摄装置1303通过云台配置在可移动平台的机身上，
处理器1302将第一区域指示信息指示的图像区域投影到深度图像中，以获取目标对象的第三区域指示信息包括：
获取云台的关节角误差；
根据关节角误差将第一区域指示信息指示的图像区域投影到深度图像中以获取目标对象的第三区域指示信息。
可选的，处理器1302获取云台的关节角误差，包括：
获取拍摄装置1303输出的图像中的图像特征；
获取与深度图像对应的灰度图像中的图像特征，其中，灰度图像是深度传感器1304输出的；
将拍摄装置1303输出的图像中的图像特征和灰度图像中的图像特征进行匹配，以获取匹配成功的拍摄装置1303输出的图像中的第一图像特征和对应的灰度图像中的第二图像特征；
根据第一图像特征在拍摄装置1303输出的图像中的位置信息和第二图像特征在灰度图像中的位置信息获取云台的关节角误差。
可选的，处理器1302根据第三目标区域指示信息从深度图像中获取目标对象的深度信息包括：
按照预设的方式对第三区域指示信息指示的图像区域内的深度图像进行聚类运算；
将聚类运算获取的深度信息确定为目标对象的深度信息。
可选的，处理器1302，调用程序指令还用于：
根据目标对象的深度信息确定目标对象的位置信息；
根据目标对象的位置信息对目标对象进行跟踪。
基于同一发明构思，本申请实施例中提供的可移动平台解决问题的原理与本申请方法实施例相似，因此可移动平台的实施可以参见方法的实施，可移动平台的有益效果可以参见方法的有益效果，为简洁描述，在这里不再赘述。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (30)

1.一种目标对象的深度信息获取方法，应用于可移动平台，其中，所述可移动平台的机身上配置拍摄装置和深度传感器，其特征在于，所述方法包括：
获取目标对象的第一区域指示信息，其中，所述第一区域指示信息用于指示所述目标对象在所述拍摄装置输出的图像中的图像区域；
根据所述第一区域指示信息从所述深度传感器输出的深度图像中获取所述目标对象的深度信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一区域指示信息从所述深度传感器输出的深度图像中获取所述目标对象的深度信息，包括：
将所述第一目标区域信息指示的图像区域投影到与所述深度图像对应的灰度图像中，以获取参考图像区域，其中，所述灰度图像是所述深度传感器输出的；
根据所述灰度图像与所述深度图像的对应关系和参考灰度图像，从所述深度图像中获取所述目标对象的深度信息，其中，所述参考灰度图像为参考图像区域内的灰度图像。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取目标对象的类型；
所述根据所述灰度图像与所述深度图像的对应关系和参考灰度图像，从所述深度图像中获取所述目标对象的深度信息，包括：
获取至少一个与所述目标对象的类型相同的对象的第二区域指示信息，其中，所述第二区域指示信息用于指示所述至少一个对象在所述参考灰度图像中的图像区域，所述至少一个对象中包括所述目标对象；
根据所述灰度图像与所述深度图像的对应关系和所述至少一个对象的第二区域指示信息，从所述深度图像中获取所述目标对象的深度信息。
4.根据权利要求3所述的方法，其特征在于，所述根据所述灰度图像与所述深度图像的对应关系和所述至少一个对象的第二区域指示信息，从所述深度图像中获取所述目标对象的深度信息，包括：
从所述至少一个对象的第二区域指示信息中确定所述目标对象的第二区域指示信息；
根据所述对应关系和目标对象的第二区域指示信息，确定所述目标对象的第三区域指示信息，其中，所述第三区域指示信息用于指示所述目标对象在所述深度图像上的图像区域；
根据所述第三区域指示信息从所述深度图像中获取目标对象的深度信息。
5.根据权利要求4所述的方法，其特征在于，所述至少一个对象的第二区域指示信息包括多个对象的第二区域指示信息，
所述从至少一个对象的第二区域指示信息中确定所述目标对象的第二区域指示信息，包括：
确定每一个对象的第二目标信息的评价参数；
将评价参数符合预设要求的对象的第二区域指示信息确定为所述目标对象的第二区域指示信息。
6.根据权利要求5所述的方法，其特征在于，所述评价参数包括所述第二区域指示信息指示的图像区域与所述参考图像区域之间的距离，
所述将评价参数符合预设要求的对象的第二区域指示信息确定为所述目标对象的第二区域指示信息，包括：
将所述距离最小的对象的第二区域指示信息确定为所述目标对象的第二区域指示信息。
7.根据权利要求3所述的方法，其特征在于，所述根据所述灰度图像与所述深度图像的对应关系和所述至少一个对象的第二区域指示信息，从所述深度图像中获取所述目标对象的深度信息，包括：
根据所述灰度图像与所述深度图像的对应关系和所述至少一个对象的第二区域指示信息，确定所述至少一个对象的第三区域指示信息，所述第三区域指示信息用于指示对象在所述深度图像上的图像区域；
根据所述至少一个对象的第三区域指示信息从所述深度图像获取所述至少一个对象的深度信息；
从所述至少一个对象的深度信息中获取所述目标对象的深度信息。
8.根据权利要求7所述的方法，其特征在于，所述至少一个对象的深度信息包括多个对象的深度信息，
所述从所述至少一个对象的深度信息中获取所述目标对象的深度信息包括：
获取所述至少一个对象中的每一个对象的深度信息的评价参数；
将评价参数的符合预设要求的对象的深度信息确定为所述目标对象的深度信息。
9.根据权利要求8所述的方法，其特征在于，所述评价参数包括第二区域指示信息指示的图像区域与所述参考图像区域之间的距离和/或对象的深度信息与历史时刻获取的目标对象的深度信息之间的差异；
所述将评价参数的符合预设要求的对象的深度信息确定为所述目标对象的深度信息包括：
将所述距离最小和/或差异最小的对象的深度信息确定为所述目标对象的深度信息。
10.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取目标对象在所述图像中的图像特征；
所述根据灰度图像与所述深度图像的对应关系和参考灰度图像，从所述深度图像中获取所述目标对象的深度信息包括：
获取与所述目标对象的图像特征匹配的对象的第二区域指示信息，将与所述图像特征匹配的对象的第二区域指示信息确定为所述目标对象的第二区域指示信息，其中，所述第二区域指示信息用于与指示所述图像特征匹配的对象在所述参考灰度图像中的图像区域；
根据所述对应关系和所述目标对象的第二区域指示信息确定所述目标对象的第三区域指示信息，其中，所述第三区域指示信息用于指示所述目标对象在所述深度图像上的图像区域；
根据所述第三区域指示信息从所述深度图像中获取所述目标对象的深度信息。
11.根据权利1要求所述的方法，其特征在于，所述根据所述第一区域指示信息从深度传感器输出的深度图像中获取目标对象的深度信息包括：
将所述第一区域指示信息指示的图像区域投影到所述深度图像中，以获取所述目标对象的第三区域指示信息，其中，所述第三区域指示信息用于指示所述目标对象在所述深度图像上的图像区域；
根据所述第三区域指示信息从所述深度图像中获取所述目标对象的深度信息。
12.根据权利要求11所述的方法，其特征在于，所述拍摄装置通过云台配置在可移动平台的机身上，
将所述第一区域指示信息指示的图像区域投影到所述深度图像中，以获取所述目标对象的第三区域指示信息包括：
获取所述云台的关节角误差；
根据所述关节角误差将所述第一区域指示信息指示的图像区域投影到所述深度图像中以获取目标对象的第三区域指示信息。
13.根据权利要求12所述的方法，其特征在于，
所述获取所述云台的关节角误差，包括：
获取所述拍摄装置输出的图像中的图像特征；
获取与所述深度图像对应的灰度图像中的图像特征，其中，所述灰度图像是所述深度传感器输出的；
将所述拍摄装置输出的图像中的图像特征和所述灰度图像中的图像特征进行匹配，以获取匹配成功的所述拍摄装置输出的图像中的第一图像特征和对应的所述灰度图像中的第二图像特征；
根据第一图像特征在所述拍摄装置输出的图像中的位置信息和第二图像特征在所述灰度图像中的位置信息获取所述云台的关节角误差。
14.根据权利要求4或10或11所述的方法，其特征在于，所述根据所述第三目标区域指示信息从所述深度图像中获取目标对象的深度信息包括：
按照预设的方式对所述第三区域指示信息指示的图像区域内的深度图像进行聚类运算；
将聚类运算获取的深度信息确定为所述目标对象的深度信息。
15.根据权利要求1～14任意一项所述的方法，其特征在于，所述方法还包括：
根据所述目标对象的深度信息确定所述目标对象的位置信息；
根据所述目标对象的位置信息对所述目标对象进行跟踪。
16.一种可移动平台，其特征在于，所述可移动平台包括：存储器、处理器、拍摄装置和深度传感器，其中：
所述存储器，用于存储程序指令；
所述处理器，调用所述程序指令以用于：
获取目标对象的第一区域指示信息，其中，所述第一区域指示信息用于指示所述目标对象在所述拍摄装置输出的图像中的图像区域；
根据所述第一区域指示信息从所述深度传感器输出的深度图像中获取所述目标对象的深度信息。
17.根据权利要求16所述的可移动平台，其特征在于，所述处理器根据所述第一区域指示信息从所述深度传感器输出的深度图像中获取所述目标对象的深度信息时，具体用于：
将所述第一目标区域信息指示的图像区域投影到与所述深度图像对应的灰度图像中，以获取参考图像区域，其中，所述灰度图像是所述深度传感器输出的；
根据所述灰度图像与所述深度图像的对应关系和参考灰度图像，从所述深度图像中获取所述目标对象的深度信息，其中，所述参考灰度图像为参考图像区域内的灰度图像。
18.根据权利要求17所述的可移动平台，其特征在于，所述处理器，调用所述程序指令还用于：
获取目标对象的类型；
所述处理器根据所述灰度图像与所述深度图像的对应关系和参考灰度图像，从所述深度图像中获取所述目标对象的深度信息时，具体用于：
获取至少一个与所述目标对象的类型相同的对象的第二区域指示信息，其中，所述第二区域指示信息用于指示所述至少一个对象在所述参考灰度图像中的图像区域，所述至少一个对象中包括所述目标对象；
根据所述灰度图像与所述深度图像的对应关系和所述至少一个对象的第二区域指示信息，从所述深度图像中获取所述目标对象的深度信息。
19.根据权利要求18所述的可移动平台，其特征在于，所述处理器根据所述灰度图像与所述深度图像的对应关系和所述至少一个对象的第二区域指示信息，从所述深度图像中获取所述目标对象的深度信息时，具体用于：
从所述至少一个对象的第二区域指示信息中确定所述目标对象的第二区域指示信息；
根据所述对应关系和目标对象的第二区域指示信息，确定所述目标对象的第三区域指示信息，其中，所述第三区域指示信息用于指示所述目标对象在所述深度图像上的图像区域；
根据所述第三区域指示信息从所述深度图像中获取目标对象的深度信息。
20.根据权利要求19所述的可移动平台，其特征在于，所述至少一个对象的第二区域指示信息包括多个对象的第二区域指示信息，
所述处理器从至少一个对象的第二区域指示信息中确定所述目标对象的第二区域指示信息时，具体用于：
确定每一个对象的第二目标信息的评价参数；
将评价参数符合预设要求的对象的第二区域指示信息确定为所述目标对象的第二区域指示信息。
21.根据权利要求20所述的可移动平台，其特征在于，所述评价参数包括所述第二区域指示信息指示的图像区域与所述参考图像区域之间的距离，
所述处理器将评价参数符合预设要求的对象的第二区域指示信息确定为所述目标对象的第二区域指示信息时，具体用于：
将所述距离最小的对象的第二区域指示信息确定为所述目标对象的第二区域指示信息。
22.根据权利要求18所述的可移动平台，其特征在于，所述处理器根据所述灰度图像与所述深度图像的对应关系和所述至少一个对象的第二区域指示信息，从所述深度图像中获取所述目标对象的深度信息时，具体用于：
根据所述灰度图像与所述深度图像的对应关系和所述至少一个对象的第二区域指示信息，确定所述至少一个对象的第三区域指示信息，所述第三区域指示信息用于指示对象在所述深度图像上的图像区域；
根据所述至少一个对象的第三区域指示信息从所述深度图像获取所述至少一个对象的深度信息；
从所述至少一个对象的深度信息中获取所述目标对象的深度信息。
23.根据权利要求22所述的可移动平台，其特征在于，所述至少一个对象的深度信息包括多个对象的深度信息，
所述处理器从所述至少一个对象的深度信息中获取所述目标对象的深度信息时，具体用于：
获取所述至少一个对象中的每一个对象的深度信息的评价参数；
将评价参数的符合预设要求的对象的深度信息确定为所述目标对象的深度信息。
24.根据权利要求23所述的可移动平台，其特征在于，所述评价参数包括第二区域指示信息指示的图像区域与所述参考图像区域之间的距离和/或对象的深度信息与历史时刻获取的目标对象的深度信息之间的差异；
所述处理器将评价参数的符合预设要求的对象的深度信息确定为所述目标对象的深度信息时，具体用于：
将所述距离最小和/或差异最小的对象的深度信息确定为所述目标对象的深度信息。
25.根据权利要求17所述的可移动平台，其特征在于，所述处理器，调用所述程序指令还用于：
获取目标对象在所述图像中的图像特征；
所述处理器根据灰度图像与所述深度图像的对应关系和参考灰度图像，从所述深度图像中获取所述目标对象的深度信息时，具体用于：
获取与所述目标对象的图像特征匹配的对象的第二区域指示信息，将与所述图像特征匹配的对象的第二区域指示信息确定为所述目标对象的第二区域指示信息，其中，所述第二区域指示信息用于与指示所述图像特征匹配的对象在所述参考灰度图像中的图像区域；
根据所述对应关系和所述目标对象的第二区域指示信息确定所述目标对象的第三区域指示信息，其中，所述第三区域指示信息用于指示所述目标对象在所述深度图像上的图像区域；
根据所述第三区域指示信息从所述深度图像中获取所述目标对象的深度信息。
26.根据权利要求16所述的可移动平台，其特征在于，所述处理器根据所述第一区域指示信息从深度传感器输出的深度图像中获取目标对象的深度信息时，具体用于：
将所述第一区域指示信息指示的图像区域投影到所述深度图像中，以获取所述目标对象的第三区域指示信息，其中，所述第三区域指示信息用于指示所述目标对象在所述深度图像上的图像区域；
根据所述第三区域指示信息从所述深度图像中获取所述目标对象的深度信息。
27.根据权利要求26所述的可移动平台，其特征在于，所述拍摄装置通过云台配置在可移动平台的机身上，
所述处理器将所述第一区域指示信息指示的图像区域投影到所述深度图像中，以获取所述目标对象的第三区域指示信息时，具体用于：
获取所述云台的关节角误差；
根据所述关节角误差将所述第一区域指示信息指示的图像区域投影到所述深度图像中以获取目标对象的第三区域指示信息。
28.根据权利要求27所述的可移动平台，其特征在于，所述处理器获取所述云台的关节角误差时，具体用于：
获取所述拍摄装置输出的图像中的图像特征；
获取与所述深度图像对应的灰度图像中的图像特征，其中，所述灰度图像是所述深度传感器输出的；
将所述拍摄装置输出的图像中的图像特征和所述灰度图像中的图像特征进行匹配，以获取匹配成功的所述拍摄装置输出的图像中的第一图像特征和对应的所述灰度图像中的第二图像特征；
根据第一图像特征在所述拍摄装置输出的图像中的位置信息和第二图像特征在所述灰度图像中的位置信息获取所述云台的关节角误差。
29.根据权利要求19或25或26所述的可移动平台，其特征在于，所述处理器根据所述第三目标区域指示信息从所述深度图像中获取目标对象的深度信息时，具体用于：
按照预设的方式对所述第三区域指示信息指示的图像区域内的深度图像进行聚类运算；
将聚类运算获取的深度信息确定为所述目标对象的深度信息。
30.根据权利要求16～29任意一项所述的可移动平台，其特征在于，所述处理器，调用所述程序指令还用于：
根据所述目标对象的深度信息确定所述目标对象的位置信息；
根据所述目标对象的位置信息对所述目标对象进行跟踪。
CN201880010542.3A 2018-07-23 2018-07-23 一种目标对象的深度信息获取方法及可移动平台 Expired - Fee Related CN110291771B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/096636 WO2020019111A1 (zh) 2018-07-23 2018-07-23 一种目标对象的深度信息获取方法及可移动平台

Publications (2)

Publication Number Publication Date
CN110291771A true CN110291771A (zh) 2019-09-27
CN110291771B CN110291771B (zh) 2021-11-16

Family

ID=68001268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880010542.3A Expired - Fee Related CN110291771B (zh) 2018-07-23 2018-07-23 一种目标对象的深度信息获取方法及可移动平台

Country Status (3)

Country Link
US (1) US20210004978A1 (zh)
CN (1) CN110291771B (zh)
WO (1) WO2020019111A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022040941A1 (zh) * 2020-08-25 2022-03-03 深圳市大疆创新科技有限公司 深度计算方法、装置、可移动平台及存储介质
WO2022141271A1 (zh) * 2020-12-30 2022-07-07 深圳市大疆创新科技有限公司 云台系统的控制方法、控制设备、云台系统和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815678B (zh) * 2020-07-10 2024-01-23 北京猎户星空科技有限公司 目标跟随方法、装置和电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090290758A1 (en) * 2008-05-20 2009-11-26 Victor Ng-Thow-Hing Rectangular Table Detection Using Hybrid RGB and Depth Camera Sensors
US20140022171A1 (en) * 2012-07-19 2014-01-23 Omek Interactive, Ltd. System and method for controlling an external system using a remote device with a depth sensor
CN103971103A (zh) * 2014-05-23 2014-08-06 西安电子科技大学宁波信息技术研究院 一种人数统计系统
WO2014154839A1 (en) * 2013-03-27 2014-10-02 Mindmaze S.A. High-definition 3d camera device
JP2014197411A (ja) * 2010-12-30 2014-10-16 アイロボット コーポレイション 可動式ロボットシステム
CN104715471A (zh) * 2014-01-03 2015-06-17 杭州海康威视数字技术股份有限公司 目标定位跟踪方法及其装置
CN104794737A (zh) * 2015-04-10 2015-07-22 电子科技大学 一种深度信息辅助粒子滤波跟踪方法
US20160189358A1 (en) * 2014-12-29 2016-06-30 Dassault Systemes Method for calibrating a depth camera
CN106203361A (zh) * 2016-07-15 2016-12-07 苏州宾果智能科技有限公司 一种机器人跟踪方法和装置
US20170006211A1 (en) * 2015-07-01 2017-01-05 Sony Corporation Method and apparatus for autofocus area selection by detection of moving objects
US20170161561A1 (en) * 2015-10-05 2017-06-08 Pillar Vision, Inc. Systems and methods for monitoring objects at sporting events
CN107689060A (zh) * 2016-08-03 2018-02-13 北京三星通信技术研究有限公司 目标对象的视觉处理方法、装置及基于视觉处理的设备
CN108256421A (zh) * 2017-12-05 2018-07-06 盈盛资讯科技有限公司 一种动态手势序列实时识别方法、系统及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7372977B2 (en) * 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
CN102779347B (zh) * 2012-06-14 2014-08-06 清华大学 一种用于飞行器的目标跟踪与定位方法和装置
CN104751491B (zh) * 2015-04-10 2018-01-23 中国科学院宁波材料技术与工程研究所 一种人群跟踪及人流量统计方法及装置
CN106780601B (zh) * 2016-12-01 2020-03-27 北京未动科技有限公司 一种空间位置追踪方法、装置及智能设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090290758A1 (en) * 2008-05-20 2009-11-26 Victor Ng-Thow-Hing Rectangular Table Detection Using Hybrid RGB and Depth Camera Sensors
JP2014197411A (ja) * 2010-12-30 2014-10-16 アイロボット コーポレイション 可動式ロボットシステム
US20140022171A1 (en) * 2012-07-19 2014-01-23 Omek Interactive, Ltd. System and method for controlling an external system using a remote device with a depth sensor
WO2014154839A1 (en) * 2013-03-27 2014-10-02 Mindmaze S.A. High-definition 3d camera device
CN104715471A (zh) * 2014-01-03 2015-06-17 杭州海康威视数字技术股份有限公司 目标定位跟踪方法及其装置
CN103971103A (zh) * 2014-05-23 2014-08-06 西安电子科技大学宁波信息技术研究院 一种人数统计系统
US20160189358A1 (en) * 2014-12-29 2016-06-30 Dassault Systemes Method for calibrating a depth camera
CN104794737A (zh) * 2015-04-10 2015-07-22 电子科技大学 一种深度信息辅助粒子滤波跟踪方法
US20170006211A1 (en) * 2015-07-01 2017-01-05 Sony Corporation Method and apparatus for autofocus area selection by detection of moving objects
US20170161561A1 (en) * 2015-10-05 2017-06-08 Pillar Vision, Inc. Systems and methods for monitoring objects at sporting events
CN106203361A (zh) * 2016-07-15 2016-12-07 苏州宾果智能科技有限公司 一种机器人跟踪方法和装置
CN107689060A (zh) * 2016-08-03 2018-02-13 北京三星通信技术研究有限公司 目标对象的视觉处理方法、装置及基于视觉处理的设备
CN108256421A (zh) * 2017-12-05 2018-07-06 盈盛资讯科技有限公司 一种动态手势序列实时识别方法、系统及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张松: ""基于RGB-D传感器的地面移动机器人目标检测与跟踪"", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022040941A1 (zh) * 2020-08-25 2022-03-03 深圳市大疆创新科技有限公司 深度计算方法、装置、可移动平台及存储介质
WO2022141271A1 (zh) * 2020-12-30 2022-07-07 深圳市大疆创新科技有限公司 云台系统的控制方法、控制设备、云台系统和存储介质

Also Published As

Publication number Publication date
WO2020019111A1 (zh) 2020-01-30
CN110291771B (zh) 2021-11-16
US20210004978A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
US9802599B2 (en) Vehicle lane placement
WO2018068771A1 (zh) 目标跟踪方法、系统、电子设备和计算机存储介质
JP2020030204A (ja) 距離測定方法、プログラム、距離測定システム、および可動物体
CN110264495B (zh) 一种目标跟踪方法及装置
CN106989746A (zh) 导航方法及导航装置
CN110470333B (zh) 传感器参数的标定方法及装置、存储介质和电子装置
US20210004978A1 (en) Method for acquiring depth information of target object and movable platform
CN108564657B (zh) 一种基于云端的地图构建方法、电子设备和可读存储介质
CN105785989A (zh) 利用行进中机器人标定分布式网络摄像机的系统和相关方法
CN111373336B (zh) 状态感知方法以及相关设备
CN107941212B (zh) 一种视觉与惯性联合定位方法
US20190325600A1 (en) Determining a pose of a handheld object
CN113887400B (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
CN110942474A (zh) 机器人目标跟踪方法、设备及存储介质
CN112699765A (zh) 评估视觉定位算法的方法、装置、电子设备及存储介质
US11080562B1 (en) Key point recognition with uncertainty measurement
WO2020135183A1 (zh) 点云地图的构建方法、装置、计算机设备和存储介质
JP2006090957A (ja) 移動体の周囲物体検出装置及び移動体の周囲物体検出方法
CN109084804B (zh) 机器人定位精准度判定处理方法及装置
CN113063421A (zh) 导航方法及相关装置、移动终端、计算机可读存储介质
Cudrano et al. Clothoid-based lane-level high-definition maps: Unifying sensing and control models
CN112405526A (zh) 一种机器人的定位方法及装置、设备、存储介质
CN116958452A (zh) 三维重建方法和系统
CN112146620A (zh) 目标物体的测距方法及装置
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211116