CN110609562A - 一种图像信息采集方法和装置 - Google Patents

Abstract

本申请实施例提供一种图像信息采集方法和装置，用于可移动装置，涉及计算机控制技术领域，能够使可移动装置自动调整图像信息获取角度和位置，从而获取更准确的图像信息。其方法为：可移动装置采用第一位姿采集第一图像，以使第一图像包括目标物体；确定第一图像是否满足预设条件；当第一图像不满足预设条件时，将第一位姿调整为第二位姿；采用第二位姿采集第二图像。本申请实施例应用于可移动装置进行图像信息采集和图像信息处理的场景中。

Description

一种图像信息采集方法和装置

技术领域

本申请涉及计算机控制技术领域，尤其涉及一种图像信息采集方法和装置。

背景技术

目前，可移动装置(例如，无人机)正在迅速发展壮大，能够被应用到越来越多的行业和领域中。可移动装置主要的环境信息输入源是摄像头，为了使可移动装置获取用户所需的图像信息，需要用户根据可移动装置当前位置，人为操控可移动装置进行移动，以获得更好的图像信息获取角度和位置。

但是，随着人们对于可移动装置智能需求的提升，人们对可移动装置的操作也逐渐从由用户手动控制无人机来完成某项任务向直接向无人机发布某项任务，并由可移动装置自行完成进行转变。因此，亟需一种能够使可移动装置自动获取更准确的图像信息的方法。

发明内容

本申请实施例提供一种图像信息采集方法和装置，使可移动装置能够自动调整图像信息获取角度和位置，从而获取更准确的图像信息。

第一方面，本申请实施例提供一种图像信息采集方法，用于可移动装置，该方法包括：采用第一位姿采集第一图像，以使该第一图像包括目标物体；确定该第一图像是否满足预设条件；当该第一图像不满足预设条件时，将该第一位姿调整为第二位姿；采用该第二位姿采集第二图像。

也就是说，当可移动装置采用第一位姿采集到的第一图像不满足预设条件时，可移动装置可以将该第一位姿调整为第二位姿，即能够自动调整图像信息获取角度和位置，以便采用该第二位姿采集更准确的图像信息。

在一种可能的实现方式中，该方法还包括：采用该第一位姿和/或该第二位姿采集该目标物体的状态信息；对应的，将该第一位姿调整为第二位姿，包括：根据该第一图像和该目标物体的状态信息将该第一位姿调整为第二位姿；其中，该目标物体的状态信息包括以下信息的至少一种：该目标物体相对于该可移动装置的距离信息、速度信息和移动方向信息。

由此，可移动装置可以根据该第一图像和该目标物体的状态信息调整位姿，能够得到更好的针对目标物体的图像信息获取角度和位置。例如，当第一图像中的目标物体处于图像的边缘位置，且目标物体距离可移动装置较远时，可移动装置可以在靠近目标物体的同时调整自身姿态，以便使目标物体处于图像中心位置，从而可以获取到更准确的图像信息。

在一种可能的实现方式中，根据该第一图像和该目标物体的状态信息将该第一位姿调整为第二位姿，包括：根据该第一图像和该目标物体的状态信息确定该可移动装置的移动路线和姿态角；根据该移动路线和该姿态角将该第一位姿调整为该第二位姿。

在一种可能的实现方式中。该目标物体存在至少两个外观不同的面。举例来说，假设目标物体为人，从人脸的前方观察人和从人脸的后方(后脑勺正对的方向)观察人，可以得到两个或两个以上外观不同的面。该至少两个外观不同的面包括第一面，例如，可以设定从人脸前方观察到的面是第一面。当该目标物体存在第一面时，该移动路线用于指示该可移动装置从当前位置移动到第一目标空间区域；该第一目标空间区域包括该第一面的法线方向与该可移动装置和目标物体的连线方向的夹角满足第一预设阈值，且该可移动装置与该目标物体之间的距离满足第二预设阈值的空间区域。可以理解的是，当可移动装置处于第一目标区域内时，可移动装置可以更好的获取该第一面的相关信息。

在一种可能的实现方式中，若该目标物体不存在外观不同的面，该移动路线用于指示该可移动装置从当前位置移动到第二目标空间区域，该第二目标空间区域包括该目标物体与该可移动装置之间的距离满足第三预设阈值的空间区域。

这样一来，可移动装置可以通过改变自身与目标物体的相对位置的方式重新获取目标物体的图像信息，以便获取更为准确的图像信息。

在一种可能的实现方式中，该可移动装置包括摄像头和机体，该姿态角包括该机体相对于该目标物体的角度和该摄像头相对于该目标物体的角度。

这样一来，可移动装置可以分别调整其机体和摄像头相对于目标物体的角度，即调整其机体和摄像头相对于目标物体的姿态，以得到更准确的图像信息获取角度和位置，从而能够采集到更准确的图像信息。

在一种可能的实现方式中，确定该第一图像不满足预设条件包括：确定该目标物体在该第一图像中占据的像素数量或像素比例小于第四预设阈值；和/或，确定该第一图像的清晰度小于第五预设阈值；和/或，确定该第一图像的检测结果信任度小于第六预设阈值；和/或，确定该目标物体包括第一特征，该第一特征是预设的第二特征的父特征。

其中，预设的第二特征可以是用户希望从目标物体检测到的特征。第一特征是第二特征的父特征，即当目标物体具有第一特征时，目标物体可能也具有第二特征。例如，第一特征(例如，人)是第二特征(例如，儿童)的父特征。由于可移动装置对目标物体是否存在预设的第二特征的检测结果可能不太准确，因此可以同时确定目标物体是否包括第一特征。若目标物体包括第一特征，则第一图像不满足预设条件，从而可移动装置可以调整位姿重新采集图像信息进行判断，以便减少可移动装置对目标物体的特征误判的可能性。

在一种可能的实现方式中，该方法还包括：确定该第二图像是否满足该预设条件；当该第二图像不满足该预设条件时，根据该第一图像和该第二图像，将该第二位姿调整为第三位姿；采用该第三位姿采集第三图像。

也就是说，可移动装置可以根据多次采集到的图像信息调整位姿，可以更准确的调整图像信息获取角度和位置，从而采集到更准确的图像信息。

在一种可能的实现方式中，该可移动装置为无人机，该无人机具备空间机动性和悬停的功能。

第二方面，本申请实施例提供一种可移动装置，包括：采集单元，用于采用第一位姿采集第一图像，以使该第一图像包括目标物体；确定单元，用于确定该第一图像是否满足预设条件；调整单元，用于当该第一图像不满足预设条件时，将该第一位姿调整为第二位姿；该采集单元，还用于采用该第二位姿采集第二图像。

在一种可能的实现方式中，该采集单元还用于：采用该第一位姿和/或该第二位姿采集该目标物体的状态信息；对应的，该调整单元用于：根据该第一图像和该目标物体的状态信息将该第一位姿调整为第二位姿；其中，该目标物体的状态信息包括以下信息的至少一种：该目标物体相对于该可移动装置的距离信息、速度信息和移动方向信息。

在一种可能的实现方式中，该调整单元用于：根据该第一图像和该目标物体的状态信息确定该可移动装置的移动路线和姿态角；根据该移动路线和该姿态角将该第一位姿调整为该第二位姿。

在一种可能的实现方式中，若该目标物体存在至少两个外观不同的面，该至少两个外观不同的面包括第一面，该移动路线用于指示该可移动装置从当前位置移动到第一目标空间区域；该第一目标空间区域包括该第一面的法线方向与该可移动装置和目标物体的连线方向的夹角满足第一预设阈值，且该可移动装置与该目标物体之间的距离满足第二预设阈值的空间区域。

在一种可能的实现方式中，若该目标物体不存在外观不同的面，该移动路线用于指示该可移动装置从当前位置移动到第二目标空间区域，该第二目标空间区域包括该目标物体与该可移动装置之间的距离满足第三预设阈值的空间区域。

在一种可能的实现方式中，该可移动装置包括摄像头和机体，该姿态角包括该机体相对于该目标物体的角度和该摄像头相对于该目标物体的角度。

在一种可能的实现方式中，确定单元确定该第一图像不满足预设条件包括：确定单元确定该目标物体在该第一图像中占据的像素数量或像素比例小于第四预设阈值；和/或，该确定单元确定该第一图像的清晰度小于第五预设阈值；和/或，该确定单元确定该第一图像的检测结果信任度小于第六预设阈值；和/或，该确定单元确定该目标物体包括第一特征，该第一特征是预设的第二特征的父特征。

在一种可能的实现方式中，该确定单元还用于：确定该第二图像是否满足该预设条件；该调整单元还用于，当该第二图像不满足该预设条件时，根据该第一图像和该第二图像，将该第二位姿调整为第三位姿；该采集单元，还用于采用该第三位姿采集第三图像。

第二方面及其各种可能的实现方式的技术效果可以参见第一方面及其各种可能的实现方式的技术效果，此处不再赘述。

第三方面，本申请实施例提供了一种装置，该装置以芯片的产品形态存在，该装置的结构中包括处理器和存储器，该存储器用于与处理器耦合，保存该装置必要的程序指令和数据，该处理器用于执行存储器中存储的程序指令，使得该装置执行上述方法中可移动装置的功能。

第四方面，本申请实施例提供了一种可移动装置，该可移动装置可以实现上述方法实施例中可移动装置所执行的功能，功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个上述功能相应的模块。

在一种可能的设计中，该可移动装置的结构中包括处理器和通信接口，该处理器被配置为支持该可移动装置执行上述方法中相应的功能。该通信接口用于支持该可移动装置与其他网元之间的通信。该可移动装置还可以包括存储器，该存储器用于与处理器耦合，其保存该可移动装置必要的程序指令和数据。

第五方面，本申请实施例提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行第一方面提供的任意一种方法。

第六方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行第一方面提供的任意一种方法。

附图说明

图1为本申请实施例提供的一种可移动装置进行图像采集的场景示意图；

图2为本申请实施例提供的一种可移动装置的结构示意图一；

图3为本申请实施例提供的一种可移动装置的结构示意图二；

图4为本申请实施例提供的一种可移动装置的机体和摄像头分别调整姿态角的示意图；

图5为本申请实施例提供的一种本申请实施例提供的一种图像分类、物体检测、语义分割、实例分割算法的输出结果示意图；

图6为本申请实施例提供的一种2D包围盒和3D包围盒示意图；

图7为本申请实施例提供的一种图像信息采集方法的流程示意图；

图8为本申请实施例提供的一种第一目标空间区域的示意图；

图9为本申请实施例提供的一种可移动装置的结构示意图三。

具体实施方式

本申请实施例提供一种图像信息采集方法和装置，可以应用于可移动装置进行图像信息采集和图像信息处理的场景中。如图1所示，在可移动装置进行图像信息采集的过程中，可移动装置可以自动调整可移动装置的位姿，以便采集到目标物体更准确的图像信息。进一步的，可移动装置可以根据采集到的图像信息进行图像处理任务。

如图2所示，可移动装置可以包括摄像头和具有空间移动性的机体。例如，可移动装置可以为无人机，可以具备空间机动性和悬停的功能。其中，摄像头例如但不限于为各种类型的摄像传感器，例如红外线摄像头、双目摄像头、单目摄像头、光场摄像头、多目摄像头等。可选的，可移动装置还可以包括各种类型的传感器，例如超声波雷达、激光雷达、红外线摄像头、毫米波雷达、红外线测量仪、陀螺仪、加速度传感器等等。

在一种可能的设计中，本申请实施例中的可移动装置可以通过图3中的装置来实现。图3所示为本申请实施例提供的装置的硬件结构示意图。该装置300包括至少一个处理器301，通信线路302，存储器303以及至少一个通信接口304。

处理器301可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。

通信线路302可包括一通路，在上述组件之间传送信息。

通信接口304，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。

存储器303可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路302与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器303用于存储执行本申请方案的计算机执行指令，并由处理器301来控制执行。处理器301用于执行存储器303中存储的计算机执行指令，从而实现本申请下述实施例提供的承载处理方法。

可选的，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

在具体实现中，作为一种实施例，处理器301可以包括一个或多个CPU，例如图3中的CPU0和CPU1。

在具体实现中，作为一种实施例，装置300可以包括多个处理器，例如图3中的处理器301和处理器307。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

在具体实现中，作为一种实施例，装置300还可以包括输出设备305和输入设备306。输出设备305和处理器301通信，可以以多种方式来显示信息。例如，输出设备305可以是发光二级管(light emitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等。输入设备306和处理器301通信，可以以多种方式接收用户的输入。输入设备306可以是各种类型的传感设备等。例如，输入设备可以包括图像传感器、超声波传感器、超声波雷达、激光雷达、红外线摄像头、毫米波雷达、红外线测量仪、双目摄像头、单目摄像头、加速度传感器、全球定位系统(global positioning system，GPS)等等。输入设备306可以用于执行下述方法实施例中可移动装置执行的各种信息采集。

在具体实现中，作为一种实施例，装置300还可以包括动力系统308。动力系统308可以包括电动的动力系统或内燃机。其中，电动的动力系统可以包含电机(例如无刷电机)、电调(控制电机转速)、螺旋桨以及电池等。

其中，处理器301用于控制动力系统308执行下述方法实施例中可移动装置的位姿调整等操作。

在具体实现中，装置300可以是无人机、无人飞行器或有图3中类似结构的设备。本申请实施例不限定装置300的类型。

为了下述各实施例的描述清楚简洁，首先给出相关概念或技术的简要介绍：

目标物体：可以包括预设的至少一个物体。物体可以是自然界客观存在的一切有形体的物质。目标物体可以具有相应的状态，例如静止或运动状态。可移动装置可以分别对至少一个物体中的每个物体的图像信息进行采集，也可以对符合相应的条件的多个物体(例如距离较近的两个物体)的图像信息同时进行采集。

目标物体的面：是以不同位置和角度对目标物体进行观察获得的“观察平面”。在一种可能的情况中，目标物体可以存在至少两个外观不同的面。至少两个外观不同的面包括第一面，可以将第一面定义为目标物体的朝向参考区域，可以将朝向参考区域的法线方向定义为目标物体的朝向，从而目标物体具有朝向性。其中，朝向参考区域的法线方向可以包括正方向和负方向，可以将由目标物体内部指向外部的方向定义为法线正方向，将目标物体外部指向内部的方向定义为法线负方向。例如，假设目标物体为人，可以将人的面部(人脸)定义为人的朝向参考区域，人脸的法线正方向(从人体内指向人体外，即人脸正对的方向)是人的朝向。

位姿：可以包括可移动装置相对于目标物体的三维距离位置参数或者可移动装置在世界坐标系(如，经度和纬度)的位置参数，以及可移动装置的姿态角。

其中，姿态角包括可移动装置的机体相对于目标物体的角度和摄像头相对于目标物体的角度。示例性的，如图4中的(a)所示，所示，假设目标物体为人，以人的面部中心为坐标原点建立三维坐标，X轴、Y轴和Z轴相互垂直，且Y轴与人的面部正前方的方向平行。通常情况下，当可移动装置悬停时，可移动装置的机体相对于Z轴的角度不变。如图4中的(b)所示，可移动装置的机体可以在X轴和Y轴组成的平面进行360度的旋转。如图4中的(c)所示，可移动装置的摄像头相对于Z轴的角度可以不断变化。并且摄像头也可以在以X轴和Y轴所在的平面进行旋转。

图像分类(image classification)算法(任务)：也称为图像识别(imagerecognition)算法(任务)，是常见的图像处理算法(任务)之一。其操作是将采集到的图像输入分类器，判断该图像是否包含目标物体。例如，图像分类的输出可以对应图5中的(a)，目标物体包括瓶子、杯子和立方体。其中，分类器可以采用统计学分类器，例如但不限于支持向量机(Support Vector Machines，SVM)或隐马尔可夫模型(Hidden Markov Model，HMM)等。通过大量带有相应物体/事件标记的图像对分类器进行训练，从而使分类器具备对于标记内容的图像分类和识别功能。上述标记不限于是对图像中物体、图像自身属性、图像中的事件等内容的标记。举例来说，训练图像集可以包含一个较为抽象的标记，比如对图像风格属性的标记，标记内容为“风景照”。经过使用训练图像对分类器进行训练，分类器学习训练图像集中所有带有“风景照”标记的图像和没有带有“风景照”标记的图像在图像信息中的区别，最终具备针对“风景照”这一物体的识别能力。又比如，用1000张猫的图像(对应标记：猫，非狗)和1000张狗(对应标记：非猫，狗)以及1000张既不是猫也不是狗的图像(对应标记：非猫，非狗)来训练分类器，则分类器具备一定识别猫与狗的图像的能力。随着深度学习的发展以及终端芯片算力的增长，业界越来越多采用深度神经网络(Deep NeuralNetwork，DNN)和卷积神经网络(Convolutional Neural Network，CNN)处理图像分类和识别任务。其本质仍然与统计学分类器相同，需要大量带有标记的图像对CNN模型进行训练。

物体检测(object detection)算法(任务)：除了需要判断图像中是否包含目标物体，还需要输出目标物体在图像中的位置。例如，如图5中的(b)所示，为物体检测任务的一种输出结果，定位出瓶子、杯子和立方体所在的位置。物体检测结果的输出通常是以包围盒的(bounding box)的形式，包围盒可以是2D的或者3D的。如图6所中的(a)所示，为2D包围盒输出形式；如图6所中的(b)所示，为3D包围盒输出形式。与物体定位(objectlocalization)不同的是，在物体定位中，通常只有一个或固定数目的目标，而物体检测更一般化，其图像中出现的目标种类和数目都不定。

语义分割(semantic segmentation)算法(任务)：相比物体检测任务，语义分割任务需要进一步判断图像中哪些像素属于哪个物体。如图5中的(c)所示，为语义分割的一种可能的输出结果，可以标识出瓶子、杯子和立方体所占的像素。但是，语义分割不区分属于相同类别的不同实例，比如无法区分图5中(c)中的三个立方体。

实例分割(instance segmentation)算法(任务)：如图5中的(d)所示，相比语义分割，实例分割可以进一步区分出哪些像素属于哪个立方体，即区分出立方体1、立方体2和立方体3分别占据的像素。

可以理解的是，图像分类、物体检测、语意分割、实例分割等算法或任务的难度是逐渐升高的，相应的计算开销也逐渐增大。目前，通常采用CNN进行各种类型的图像处理，现有技术中各种类型的图像算法对应的CNN模型很多，本申请不做限定。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请的描述中，除非另有说明，“多个”是指两个或多于两个。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

本申请实施例提供一种图像信息采集方法，如图7所示，包括：

701、可移动装置采用第一位姿采集第一图像，以使第一图像包括目标物体。

可以理解的是，可移动装置可以根据预设的算法检测目标物体。预设算法包括但不限于图像检测处理中的图像分类(识别)、物体检测、语义分割、实例分割等算法。

进一步的，可移动装置还可以采用第一位姿采集目标物体的状态信息，目标物体的状态信息包括以下信息的至少一种：目标物体相对于可移动装置的距离信息、速度信息、移动方向信息。

目标物体的状态信息可以是可移动装置通过至少一个(或至少一种)传感器采集得到的。例如，可以通过超声波雷达、激光雷达、毫米波雷达、红外线测量仪、双目摄像头、单目摄像头等传感器采集目标物体相对于可移动装置的距离信息；可以通过加速度传感器、激光雷达、GPS等传感器获得可移动装置相对地面的速度信息，再根据不同时间点获取到的距离信息计算目标物体的速度信息；可以通过双目摄像头、单目摄像头进行图像分析，或通过激光雷达获得点云数据来分析目标物体位移等方法，获取目标物体的移动方向信息。

702、可移动装置确定第一图像是否满足预设条件。

其中，预设条件包括以下条件的至少一个：目标物体在第一图像中占据的像素数量或像素比例的条件；第一图像的清晰度的条件；目标物体的特征的条件；第一图像的检测结果信任度的条件。

在一种可能的实现方式中，当目标物体在第一图像中占据的像素数量或像素比例小于预设阈值(第四预设阈值)时，确定第一图像不满足预设条件。其中，目标物体在第一图像中占据的像素数量或像素比例与目标物体投影到摄像头上的覆盖面积正相关。例如，对于人脸识别任务，一般需要保证人脸图像大于28x28像素。

在一种可能的实现方式中，当确定第一图像的清晰度小于第五预设阈值时，确定第一图像不满足预设条件。第一图像的清晰度与第一图像的锐度正相关，第一图像的锐度可通过调制传递函数(modulation transfer function，MTF)、光学传递函数(opticaltransfer function，OTF)或空间频率响应(spatial frequency response，SFR)曲线来衡量。第一图像的清晰度与第一图像的噪声程度逆相关。第一图像的噪声程度可通过感光度或信噪比(Signal-to-noise ratio，SNR)来衡量。

在一种可能的实现方式中，当第一图像的检测结果信任度小于第六预设阈值时，确定第一图像不满足预设条件。其中，第一图像的检测结果可以包括：图像中出现目标物体的概率、目标物体的相应位置以及对目标物体状态信息判断结果(例如当目标物体为人时，确定其是否受伤)等，第一图像的检测结果信任度可以是对上述概率、相应位置和/或状态信息判断结果的信任值。

在一种可能的实现方式中，当确定目标物体包括第一特征时，确定第一图像不满足预设条件。其中，第一特征是预设的第二特征的父特征，或者说，预设的第二特征是第一特征的子特征。即，当目标物体具有第一特征时，目标物体可能也具有第二特征。举例来说，第一特征(例如，人)是第二特征(例如，儿童或成人)的父特征。又例如，第二特征(例如，拉布拉多犬)为第一特征(例如，狗)的子特征。当然，也可以预设第一特征的父特征，或第二特征的子特征。例如，假设目标物体为人，预设的第二特征为受伤，则可以规定第一特征包括流血，呈躺卧状或表情痛苦等等。其中，预设的第二特征可以是用户希望从目标物体检测到的特征。由于可移动装置对目标物体是否存在预设的第二特征的检测结果可能不太准确，因此可以同时确定目标物体是否包括第一特征。若目标物体包括第一特征，则第一图像不满足预设条件，从而可移动装置可以调整位姿重新采集图像信息进行判断，以便减少可移动装置对目标物体的特征误判的可能性。

可以理解的是，可以通过对可移动装置上的分类器进行相应的训练使分类器获得识别上述特征的能力。进一步的，分类器可以判断第一图像中的目标物体是否同时包括多个特征。比如当第一图像中包括的目标物体为一条“拉布拉多犬”时，该目标物体可以同时包括“狗”、“短毛犬”等多个特征。

在一种可能的设计中，预设的条件还可以包括目标物体的朝向的条件。具体的，对于具有朝向的目标物体，当确定第一图像不包括目标物体的朝向的特征时，确定第一图像不满足预设条件。例如，假设目标物体为人且人的朝向为其面部正前方，那么需要确定是否采集到人的面部特征，若未采集到面部特征，确定不满足目标物体的朝向的条件。

需要说明的是，可以对目标物体是否具有朝向性进行预先定义。比如，可以定义人、椅子、电视机等有朝向性；定义水桶、桌子等没有朝向性。在检测出图像中包含上述预先定义过的物体后，再通过查找表的方式查看这些物体是否具备朝向性。对于具有朝向性的物体，可以定义相应的朝向参考区域。物体的状态中的至少一种取决于该物体在该朝向参考区域的状态。例如，可以将人脸定义为人的朝向参考区域，当判断人是否处于受伤这一状态，可以通过识别人面部表情是否痛苦来进行判断。可以通过对目标物体进行3D建模并与预先设定的物体参考模型进行朝向参考区域匹配。也可以对目标物体本身朝向参考区域直接进行检测。比如，若目标物体为人，其朝向参考区域为人脸，则可以采用人的位置进行人脸识别来获得人脸的具体位置，再通过头部朝向检测、眼睛位置检测等技术确定人脸的朝向。

进一步的，可移动装置可以确定目标物体的状态信息是否满足相应的条件。例如，目标物体相对于可移动装置的距离应该小于第七预设阈值。第七预设阈值的大小与摄像传感器的焦距以及摄像传感器的感光元件分辨率有关。

703、当第一图像不满足预设条件时，可移动装置将第一位姿调整为第二位姿。

在一种可能的设计中，当可移动装置确定第一图像不满足预设条件时，可移动装置可以根据第一图像和目标物体的状态信息将第一位姿调整为第二位姿。具体的，可移动装置可以根据第一图像和目标物体的状态信息确定可移动装置的移动路线和姿态角。而后，根据移动路线和姿态角将第一位姿调整为第二位姿。

若目标物体存在至少两个外观不同的面，至少两个外观不同的面包括第一面，移动路线用于指示可移动装置从当前位置移动到第一目标空间区域；第一目标空间区域包括第一面的法线方向与可移动装置和目标物体的连线方向的夹角满足预设阈值(第一预设阈值)，且可移动装置与目标物体之间的距离满足第二预设阈值的空间区域。即当目标物体具备朝向性时，第一目标空间区域包括目标物体的朝向方向与可移动装置和目标物体的连线方向的夹角满足第一预设阈值，且可移动装置与目标物体之间的距离满足第二预设阈值的空间区域。

举例来说，如图8所示，假设目标物体为人，可以以人的面部中心为坐标原点建立三维坐标，X轴、Y轴和Z轴相互垂直，且Y轴与人的面部正前方的方向平行。假设人的朝向为人的面部正前方的方向，即Y轴指示的方向。第一目标空间区域可以包括Y轴的方向与可移动装置和人的连线方向的夹角为a，且与坐标原点的距离在d1与d2之间的空间区域。其中，a、d1及d2可以是采用人的面部大小以及可移动装置的摄像传感器的参数(例如，焦距、分辨率、最小对焦距离等)得到的。

若目标物体不存在外观不同的面，即目标物体不具备朝向性或未检测到目标物体的朝向时，可移动装置可以根据移动路线从当前位置移动到第二目标空间区域，第二目标空间区域包括目标物体与可移动装置之间的距离满足第三预设阈值的空间区域。

其中，可移动装置向第一目标空间区域或第二目标空间区域运动的方式例如但不限于以下方式：沿着可移动装置朝向目标物体的方向或重力方向，进行水平和/或垂直移动，以缩短可移动装置与目标物体之间的距离。或者，以目标物体为圆心，维持无人机高度，保持与物体距离，围绕物体旋转。或者，降低或升高无人机高度，围绕物体旋转。在移动过程中，可移动装置可以通过相应的传感器避让遮挡物。例如，可移动装置可以通过图像传感器、超声波传感器、激光雷达、毫米波雷达、红外线摄像头等传感器感知移动途径上是否存在障碍物，从而进行避让。

可以理解的是，可移动装置向第一目标空间区域或第二目标空间区域运动的过程中，或者到达第一目标空间区域或第二目标空间区域中的任一位置后，可移动装置的机体和摄像头可以分别改变其相对于目标物体的角度，以便获取更符合预设条件的图像信息。另外，为了保证可移动装置在移动过程中的稳定性，其俯仰角可以自动调节，相关方法可以参考现有技术。

704、可移动装置采用第二位姿采集第二图像。

在一种可能的设计中，可移动装置还可以采用第二位姿采集目标物体的状态信息，目标物体的状态信息包括以下信息的至少一种：目标物体相对于可移动装置的距离信息、速度信息和移动方向信息。

705、可移动装置确定第二图像是否满足预设条件。

具体过程可以参考步骤702。

706、当第二图像不满足预设条件时，可移动装置根据第一图像和第二图像，将第二位姿调整为第三位姿。

具体过程可以参考步骤703。

在一种可能的设计中，若可移动装置采用第一位姿和采用第二位姿采集目标物体的状态信息，可移动装置可以根据第一图像、采用第一位姿采集到的目标物体的状态信息、第二图像以及采用第二位姿采集到的目标物体的状态信息，将可移动装置将第二位姿调整为第三位姿。也就是说，可移动装置可以根据多次(两次或两次以上)采集到的图像信息调整位姿，可以更准确的调整图像信息获取角度和位置，从而采集到更准确的图像信息。

707、可移动装置采用第三位姿采集第三图像。

可移动装置可以进一步确定第三图像是否满足预设条件，具体过程可以参考步骤702。

在一种可能的设计中，当采用第三位姿采集到的第三图像满足预设条件时，可移动装置可以不再调整位姿。若可移动装置多次改变位姿后采集到的图像仍无法满足预设条件，可以将最后一次采集到的图像信息作为最终的图像信息。或者，可以为预设条件包括的至少一个条件标记重要程度，将满足最重要的条件的图像信息作为最终的图像信息。

基于上述方法，当可移动装置确定该第一图像不满足预设条件时，该可移动装置可以将第一位姿调整为第二位姿；并采用该第二位姿采集第二图像。也就是说，当可移动装置采用第一位姿采集到的第一图像不满足预设条件时，可移动装置可以将第一位姿调整为第二位姿，即能够自动调整图像信息获取角度和位置，并采用该第二位姿采集更准确的图像信息。

进一步的，当第二图像不满足预设条件时，可移动装置可以将第二位姿调整为第三位姿。若可移动装置多次改变位姿后采集到的图像仍无法满足预设条件，可以将最后一次采集到的图像信息作为最终的图像信息。

上述主要从可移动装置的角度对本申请实施例提供的方案进行了介绍。可以理解的是，可移动装置为了实现上述功能，其包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的算法步骤，本申请能够以硬件或硬件和软件的结合形式来实现。某个功能究竟以硬件还是软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对可移动装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图9示出了上述实施例中所涉及的可移动装置9的一种可能的结构示意图，可移动装置包括：采集单元901、确定单元902和调整单元903。采集单元901用于支持可移动装置执行图7中的过程701、704和707。确定单元902用于支持可移动装置执行图7中的过程702、703、705和706。调整单元903用于支持可移动装置执行图7中的过程703和706。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

结合本申请公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM、闪存、ROM、EPROM、EEPROM、寄存器、硬盘、移动硬盘、只读光盘或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于核心网接口设备中。当然，处理器和存储介质也可以作为分立组件存在于核心网接口设备中。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在可移动装置可读介质中或者作为可移动装置可读介质上的一个或多个指令或代码进行传输。可移动装置可读介质包括可移动装置存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送可移动装置程序的任何介质。存储介质可以是通用或专用可移动装置能够存取的任何可用介质。

以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。

Claims (16)

1.一种图像信息采集方法，用于可移动装置，其特征在于，包括：

采用第一位姿采集第一图像，以使所述第一图像包括目标物体；

确定所述第一图像是否满足预设条件；

当所述第一图像不满足预设条件时，将所述第一位姿调整为第二位姿；

采用所述第二位姿采集第二图像。

2.根据权利要求1所述的图像信息采集方法，其特征在于，还包括：

采用所述第一位姿和/或所述第二位姿采集所述目标物体的状态信息；

对应的，所述将所述第一位姿调整为第二位姿，包括：

根据所述第一图像和所述目标物体的状态信息将所述第一位姿调整为第二位姿；

其中，所述目标物体的状态信息包括以下信息的至少一种：所述目标物体相对于所述可移动装置的距离信息、速度信息和移动方向信息。

3.根据权利要求2所述的图像信息采集方法，其特征在于，所述根据所述第一图像和所述目标物体的状态信息将所述第一位姿调整为第二位姿，包括：

根据所述第一图像和所述目标物体的状态信息确定所述可移动装置的移动路线和姿态角；

根据所述移动路线和所述姿态角将所述第一位姿调整为所述第二位姿。

4.根据权利要求3所述的图像信息采集方法，其特征在于，

若所述目标物体存在至少两个外观不同的面，所述至少两个外观不同的面包括第一面，所述移动路线用于指示所述可移动装置从当前位置移动到第一目标空间区域；所述第一目标空间区域包括所述第一面的法线方向与所述可移动装置和所述目标物体的连线方向的夹角满足第一预设阈值，且所述可移动装置与所述目标物体之间的距离满足第二预设阈值的空间区域。

5.根据权利要求3所述的图像信息采集方法，其特征在于，

若所述目标物体不存在外观不同的面，所述移动路线用于指示所述可移动装置从当前位置移动到第二目标空间区域，所述第二目标空间区域包括所述目标物体与所述可移动装置之间的距离满足第三预设阈值的空间区域。

6.根据权利要求3-5任一项所述的图像信息采集方法，其特征在于，所述可移动装置包括摄像头和机体，所述姿态角包括所述机体相对于所述目标物体的角度和所述摄像头相对于所述目标物体的角度。

7.根据权利要求1-6任一项所述的图像信息采集方法，其特征在于，所述确定所述第一图像不满足预设条件包括：

确定所述目标物体在所述第一图像中占据的像素数量或像素比例小于第四预设阈值；和/或

确定所述第一图像的清晰度小于第五预设阈值；和/或

确定所述第一图像的检测结果信任度小于第六预设阈值；和/或

确定所述目标物体包括第一特征，所述第一特征是预设的第二特征的父特征。

8.根据权利要求1-7任一项所述的图像信息采集方法，其特征在于，所述方法还包括：

确定所述第二图像是否满足所述预设条件；

当所述第二图像不满足所述预设条件时，根据所述第一图像和所述第二图像，将所述第二位姿调整为第三位姿；

采用所述第三位姿采集第三图像。

9.一种可移动装置，其特征在于，包括：

采集单元，用于采用第一位姿采集第一图像，以使所述第一图像包括目标物体；

确定单元，用于确定所述第一图像是否满足预设条件；

调整单元，用于当所述第一图像不满足预设条件时，将所述第一位姿调整为第二位姿；

所述采集单元，还用于采用所述第二位姿采集第二图像。

10.根据权利要求9所述的可移动装置，其特征在于，所述采集单元还用于：

采用所述第一位姿和/或所述第二位姿采集所述目标物体的状态信息；

对应的，所述调整单元用于：

根据所述第一图像和所述目标物体的状态信息将所述第一位姿调整为第二位姿；

其中，所述目标物体的状态信息包括以下信息的至少一种：所述目标物体相对于所述可移动装置的距离信息、速度信息和移动方向信息。

11.根据权利要求10所述的可移动装置，其特征在于，所述调整单元用于：

根据所述第一图像和所述目标物体的状态信息确定所述可移动装置的移动路线和姿态角；

根据所述移动路线和所述姿态角将所述第一位姿调整为所述第二位姿。

12.根据权利要求11所述的可移动装置，其特征在于，

若所述目标物体存在至少两个外观不同的面，所述至少两个外观不同的面包括第一面，所述移动路线用于指示所述可移动装置从当前位置移动到第一目标空间区域；所述第一目标空间区域包括所述第一面的法线方向与所述可移动装置和所述目标物体的连线方向的夹角满足第一预设阈值，且所述可移动装置与所述目标物体之间的距离满足第二预设阈值的空间区域。

13.根据权利要求11所述的可移动装置，其特征在于，

若所述目标物体不存在外观不同的面，所述移动路线用于指示所述可移动装置从当前位置移动到第二目标空间区域，所述第二目标空间区域包括所述目标物体与所述可移动装置之间的距离满足第三预设阈值的空间区域。

14.根据权利要求11-13任一项所述的可移动装置，其特征在于，所述可移动装置包括摄像头和机体，所述姿态角包括所述机体相对于所述目标物体的角度和所述摄像头相对于所述目标物体的角度。

15.根据权利要求9-14任一项所述的可移动装置，其特征在于，所述确定单元确定所述第一图像不满足预设条件包括：

所述确定单元确定所述目标物体在所述第一图像中占据的像素数量或像素比例小于第四预设阈值；和/或

所述确定单元确定所述第一图像的清晰度小于第五预设阈值；和/或

所述确定单元确定所述第一图像的检测结果信任度小于第六预设阈值；和/或

所述确定单元确定所述目标物体包括第一特征，所述第一特征是预设的第二特征的父特征。

16.根据权利要求9-15任一项所述的可移动装置，其特征在于，所述确定单元还用于：

确定所述第二图像是否满足所述预设条件；

所述调整单元还用于，当所述第二图像不满足所述预设条件时，根据所述第一图像和所述第二图像，将所述第二位姿调整为第三位姿；

所述采集单元，还用于采用所述第三位姿采集第三图像。