CN110741625B - 运动估计方法及摄影器材 - Google Patents

运动估计方法及摄影器材 Download PDF

Info

Publication number
CN110741625B
CN110741625B CN201880036756.8A CN201880036756A CN110741625B CN 110741625 B CN110741625 B CN 110741625B CN 201880036756 A CN201880036756 A CN 201880036756A CN 110741625 B CN110741625 B CN 110741625B
Authority
CN
China
Prior art keywords
scene
equipment
depth map
ground
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880036756.8A
Other languages
English (en)
Other versions
CN110741625A (zh
Inventor
叶长春
周游
严嘉祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN110741625A publication Critical patent/CN110741625A/zh
Application granted granted Critical
Publication of CN110741625B publication Critical patent/CN110741625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Abstract

提供一种运动估计方法及可移动设备。该方法包括检测可移动设备当前所处场景是否为昏暗场景或无纹理场景；当场景为昏暗场景或无纹理场景时，利用可移动设备上的测距模块获取场景的第一深度图；根据第一深度图，确定可移动设备在当前时刻与地面之间的竖直距离；根据可移动设备在前一时刻与地面之间的竖直距离，以及可移动设备在当前时刻与地面之间的竖直距离，确定可移动设备从前一时刻到当前时刻沿竖直方向的运动速度。测距模块的使用与环境的亮度、纹理无关，因此，可以提高可移动设备在昏暗或无纹理场景中的运动估计的准确性。

Description

运动估计方法及摄影器材
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本申请涉及自动化领域，并且更为具体地，涉及一种运动估计方法及可移动设备。
背景技术
随着计算机视觉技术的发展，计算机视觉系统的应用愈发广泛。
计算机视觉系统(下文简称视觉系统)可用于计算可移动设备从前一时刻到当前时刻的位姿变化，从而对可移动设备进行运动估计(或称对可移动设备进行跟踪)。
但是，基于视觉系统的运动估计方式依赖于拍摄到的图像的纹理信息，如果可移动设备当前所处的场景昏暗或无纹理，则视觉系统难以对可移动设备进行准确的运动估计。
发明内容
本申请提供一种运动估计方法及可移动设备，能够提高昏暗或无纹理场景下可移动设备的运动估计的准确性。
第一方面，提供一种可移动设备的运动估计方法，包括：检测所述可移动设备当前所处场景是否为昏暗场景或无纹理场景；当所述场景为昏暗场景或无纹理场景时，利用所述可移动设备上的测距模块获取所述场景的第一深度图；根据所述第一深度图，确定所述可移动设备在当前时刻与地面之间的竖直距离；根据所述可移动设备在前一时刻与地面之间的竖直距离，以及所述可移动设备在当前时刻与地面之间的竖直距离，确定所述可移动设备从前一时刻到当前时刻沿竖直方向的运动速度。
第二方面，提供一种可移动设备，所述可移动设备包括测距模块，存储器和处理器，所述存储器用于存储指令，所述处理器用于执行所述指令，以执行以下操作：检测所述可移动设备当前所处场景是否为昏暗场景或无纹理场景；当所述场景为昏暗场景或无纹理场景时，利用所述测距模块获取所述场景的第一深度图；根据所述第一深度图，确定所述可移动设备在当前时刻与地面之间的竖直距离；根据所述可移动设备在前一时刻与地面之间的竖直距离，以及所述可移动设备在当前时刻与地面之间的竖直距离，确定所述可移动设备从前一时刻到当前时刻沿竖直方向的运动速度。
第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有用于执行如第一方面所述的方法的指令。
第四方面，提供一种计算机程序产品，包括用于执行第一方面所述的方法的指令。
当可移动设备处于昏暗或无纹理场景时，利用测距模块对可移动设备在竖直方向的运动进行运动估计，测距模块的使用与环境的亮度、纹理等因素无关，因此，可以提高可移动设备在昏暗或无纹理场景中的运动估计的准确性。
附图说明
图1是本申请实施例提供的可移动设备的运动估计方法的示意性流程图。
图2是本申请实施例提供的昏暗场景检测方式的示意性流程图。
图3是本申请实施例提供的无纹理场景检测方式的示意性流程图。
图4是图1中的步骤S130的一种可能的实现方式的示意性流程图。
图5是图4中的步骤S430的一种可能的实现方式的示意性流程图。
图6是图5中的步骤S520的一种可能的实现方式的示意性流程图。
图7是本申请实施例提供的可移动设备的示意性结构图。
具体实施方式
本申请实施例提及的可移动设备例如可以是手持的摄影器材(如自拍杆，云台等)、航拍飞行器、无人车、无人机、虚拟现实(virtual reality，VR)眼镜，增强现实(augmented reality，AR)眼镜、手机(如带有双摄像头的手机) 等，也可以是其他任意类型的带有相机或摄像头(比如多摄像头)的载具。
视觉系统在可移动设备上的应用越来越广泛。下面以视觉系统在无人机上的应用为例对视觉系统的应用方式进行举例说明。为了提高无人机的运动估计或定位能力，有些无人机厂商在无人机上安装了视觉系统与惯导系统相结合的定位系统(简称视觉-惯导定位系统)。简单的视觉-惯导定位系统可以由一个相机和一个惯性测量单元(inertialmeasurement unit，IMU)组成。相机可负责采集无人机所处场景的图像信息，IMU可负载采集无人机的三轴姿态角(或角速率)和/或加速度等信息。利用视觉-惯导定位系统，采用一定的视觉定位算法，可以使得在全球定位系统(global positioning system，GPS)信号较弱甚至没有GPS信号的区域也能对无人机进行准确的运动估计和定位，从而实现无人机的稳定悬停及航向规划。上述视觉定位算法例如可以是视觉里程计(visualodometry，VO)算法或视觉惯导里程计(visual inertial odometry， VIO)算法。
基于视觉系统的运动估计或定位方式依赖于采集到的图像中的纹理信息，而有些场景无法提供丰富的纹理信息，从而导致运动估计或定位不准确，甚至导致运动估计或定位失败。无法提供丰富纹理信息的场景例如可以是昏暗场景(如夜晚场景)，也可以是无纹理的场景(如纯色场景)。
因此，本申请实施例提供一种可移动设备的运动估计方法，能够在昏暗场景或无纹理场景下对可移动设备在竖直方向(或重力方向)的运动进行准确估计。
图1是本申请实施例提供的可移动设备的运动估计方法的示意性流程图。该可移动设备上配置有测距模块。该测距模块也可称为距离传感器(或称为距离测量传感器或景深测量传感器)。测距模块可以是基于飞行时间(time of fly，ToF)的测距模块(如3D-ToF传感器)，也可以是基于相位的测距模块。该测距模块可以是激光测距模块，也可以是红外测距模块。作为一个示例，该测距模块为基于结构光(如红外结构光)的三维深度传感器。
图1的方法可以包括步骤S110至步骤S140。下面对图1中的各个步骤分别进行详细描述。
在步骤S110，检测可移动设备当前所处场景是否为昏暗场景或无纹理场景。
昏暗场景例如可以是夜晚场景，也可以是室内的光线较弱或无光照场景。当前场景是否为昏暗场景的检测方式可以有多种。例如，可以由用户自主判断，并将判断结果发送给可移动设备；接着，可移动设备可以根据用户提供的判断结果确定当前场景是否为昏暗场景。又如，可移动设备可以自动检测当前场景是否为昏暗场景。举个例子，可移动设备可以使用相机(例如可以是灰度相机)对当前场景进行拍摄，并根据拍摄到的画面的亮度确定该场景是否为昏暗场景。又如，可移动设备上可以安装光线传感器，可移动设备可以采用光线传感器确定当前场景是否为昏暗场景。下面会结合图2，给出昏暗场景的检测方式一个详细示例。
无纹理场景指的是场景(或场景对应的画面)包含较少的纹理信息，甚至没有任何纹理信息。无纹理场景例如可以是纯色场景(如纯色背景布置的摄影棚)。当前场景是否为无纹理场景，可以由用户自主判断(并将判断结果发送给可移动设备)，也可以由可移动设备自动检测，本申请实施例对此并不限定。下面会结合图3，给出无纹理场景的检测方式的一个详细示例。
在步骤S120，当场景为昏暗场景或无纹理场景时，利用可移动设备上的测距模块获取场景的第一深度图。
该第一深度图可以包含当前场景的三维点云。第一深度图可以是基于测距模块的测量信息获取的原始深度图，也可以是将原始深度图经过预处理之后得到的深度图。该预处理例如可以包括斑点滤除等操作，这样可以使得深度图中的三维点云的过度更加平滑，并可以抑制深度图中的噪点。
在步骤S130，根据第一深度图，确定可移动设备在当前时刻与地面之间的竖直距离。
本申请实施例提及的当前时刻可以是指当前的图像采集时刻。同理，前一时刻可以指前一图像采集时刻。时刻之间的间隔可以根据实际情况预先设定，如根据运动估计的精度、图像采样频率等要求确定。作为一个示例，可以将前一时刻与当前时刻之间的时间间隔设置为50ms。
步骤S130的实现方式可以有多种。例如，可以利用第一深度图确定地面在当前场景中的位置，然后根据地面在当前场景中的位置，确定可移动设备在当前时刻与地面之间的竖直距离。又如，可以利用第一深度图与前一时刻获得的深度图之间的配准关系，确定可移动设备从前一时刻到当前时刻在竖直方向上的移动距离，并根据可移动设备在前一时刻与地面之间的竖直距离，以及可移动设备从前一时刻到当前时刻在竖直方向上的移动距离，确定可移动设备与地面之间的竖直距离。下文会结合具体的实施例对步骤S130的实现方式进行详细的举例说明，此处暂不详述。
在步骤S140，根据可移动设备在前一时刻与地面之间的竖直距离，以及可移动设备在当前时刻与地面之间的竖直距离，确定可移动设备从前一时刻到当前时刻沿竖直方向的运动速度。
以测距模块的采样频率为20Hz为例，则前一时刻与当前时刻之间的间隔 T为50ms。可移动设备从前一时刻到当前时刻沿竖直方向的运动速度vi可以采用下式计算得到：
Δhi＝hi-hi-1
vi＝Δhi/T
其中，hi表示可移动设备在当前时刻与地面之间的竖直距离，hi-1表示可移动设备在前一时刻与地面之间的竖直距离。
需要说明的是，在某些应用中，如果获取到可移动设备与地面之间的竖直距离即可满足应用需求，也可以仅执行步骤S130，无需执行步骤在S140。
本申请实施例中，当可移动设备处于昏暗或无纹理场景时，利用测距模块对可移动设备在竖直方向的运动进行运动估计，测距模块的使用与环境的亮度、纹理无关，因此，可以提高可移动设备在昏暗或无纹理场景中的运动估计的准确性。
下面结合图2，给出昏暗场景判断方式的一个示例。图2包括步骤S210- 步骤S240，下面对图2中的各个步骤进行详细描述。
在步骤S210，利用可移动设备上的相机获取可移动设备所处的当前场景的画面。
在昏暗场景下(如在夜里或矿井内)，画面的成像质量会大大降低。因此，在一些实施例中，可以先采用相机的曝光模块和/或补光灯提升周围环境的光线强度，再拍摄当前场景的画面，以提升画面的成像质量。
例如，当可移动设备检测到画面亮度不足的时候，可以采用自动曝光 (automaticexposure control，AEC)算法自动增大曝光时间和曝光增益，从而在不增加额外设备的情况下，使相机获得比较明亮的画面。
增大曝光时间会使画面产生运动模糊，增加曝光增益会引入图像噪声。图像的运动模糊或噪声如果过大，会降低可移动设备运动估计的准确度，因此，相机的曝光时间和曝光增益通常具有上限(即会预先为相机的曝光时间和曝光增益设置一个最大值)。在实际使用时，可以将相机的曝光时间和/或曝光增益调节至预设的最大值，然后再拍摄当前场景的画面，从而在保证图像的运动模糊或噪声可接收的情况下，尽可能增大周围环境的光线强度。
此外，有的可移动设备会配置有补光灯，补光灯能照亮周围环境，从而提升昏暗场景下拍摄到的画面的质量。因此，在某些实施例中，也可以通过打开补光灯的方式提升相机拍摄到的画面的质量。
应理解，为了增加环境光的光强，可以同时使用相机的曝光模块和补光灯，也可以仅使用其中一个，本申请实施例对此并不限定。例如，可以优先将相机的曝光时间和曝光增益调节至预设的最大值，当将相机的曝光时间和曝光增益调节至预设的最大值之后，如果当前场景的画面仍未达到期望的亮度，再开启补光灯。
在步骤S220，检测画面的亮度。
这里的亮度可以指画面的总亮度，也可以指画面的平均亮度。在使用曝光模块或补光灯的方案中，可以等曝光模块或补光灯均稳定工作之后(如曝光时间和曝光增益均达到最大值之后，或补光灯已经完全开启之后)，再检测画面的亮度。
在步骤S230，当画面的亮度大于预设的第一阈值时，确定场景为明亮场景。
在步骤S240，当画面的亮度小于第一阈值时，确定场景为昏暗场景。
第一阈值的具体取值可以根据经验或者实验选取，本申请实施例对此并不限定。
下面结合图3，给出无纹理场景判断方式的一个示例。图3包括步骤S310- 步骤S330，下面对图3中的各个步骤进行详细描述。
在步骤S310，利用可移动设备上的相机获取可移动设备所处的当前场景的画面。
在步骤S320，对画面进行边缘检测，得到场景中的物体的轮廓图。
例如可以采用Sobel算子或Canny算子对画面进行边缘检测。
在步骤S330，当轮廓图中的特征点的数量大于预设的第二阈值时，确定场景为有纹理的场景。
第二阈值的具体取值可以根据经验或者实验选取，本申请实施例对此并不限定。
轮廓图中的特征点的提取或检测的方式可以有多种，如可以采用角点检测算法进行特征点的提取或检测。该角点检测算法例如可以是Harris& Stephens角点检测算法，Plessey角点检测算法，或Shi–Tomasi角点检测算法。
下面结合图4，对图1中的步骤S130的实现方式进行详细的举例说明。
在步骤S410(步骤S410可发生在步骤S130之前)，利用可移动设备上的惯性测量单元获取可移动设备的设备坐标系和世界坐标系之间的旋转关系信息。
具体地，惯性测量单元可以包括加速度计和陀螺仪。惯性测量单元可采用如下公式对可移动设备从前一时刻到当前时刻的运动进行估计：
Figure BDA0002300104880000071
Figure BDA0002300104880000072
Figure BDA0002300104880000073
Figure BDA0002300104880000074
Figure BDA0002300104880000075
将上述公式从连续形式转换为离散形式，可得到如下公式如下：
Figure BDA0002300104880000076
vk+1＝vk+(Rwi(am-ba)+g)Δt
Figure BDA0002300104880000077
Δq＝q{(ω-bω)Δt}
(ba)k+1＝(ba)k
(bω)k+1＝(bω)k
其中，pk+1表示可移动设备在当前时刻的位置，vk+1表示可移动设备在当前时刻的速度，qk+1表示可移动设备在当前时刻的姿态四元数，(ba)k+1表示当前时刻惯性测量单元中的加速度计零轴偏差，(bω)k+1表示当前时刻惯性测量单元中的陀螺仪零轴偏差；
pk表示可移动设备在前一时刻的位置，vk表示可移动设备在前一时刻的速度，qk表示可移动设备在前一时刻的姿态四元数，(ba)k表示前一时刻惯性测量单元中的加速度计零轴偏差，(bω)k表示前一时刻惯性测量单元中的陀螺仪零轴偏差；
Δt表示前一时刻和当前时刻之间的时间差。以图像采样频率等于20Hz 为例，Δt大致等于50ms。Rwi表示可移动设备的设备坐标系与世界坐标系的旋转关系，该旋转关系可以由姿态四元数q转换得到，am表示当前时刻加速度计的读数，g表示重力加速度，ω表示当前时刻陀螺仪的读数，Δq表示可移动设备当前时刻与前一时刻之间的姿态差，如果‖ω-bω‖2<ωth，则表明可移动设备的姿态较为平稳。
从以上公式可以看出，Rwi即为当前时刻可移动设备的设备坐标系和世界坐标系之间的旋转关系信息，可以通过求解出Rwi计算该旋转关系信息。
继续参见图4，在获取到可移动设备的设备坐标系和世界坐标系之间的旋转关系信息之后，可以将步骤S130进一步划分为步骤S420和步骤S430。
在步骤S420，根据该旋转关系信息，将第一深度图中的三维点云从设备坐标系转换至世界坐标系，得到第二深度图。
第一深度图中的三维点云是设备坐标系下的三维点云。利用步骤S410输出的旋转关系信息，通过如下公式，将第一深度图中的每个点从设备坐标系转换至世界坐标系：
Figure BDA0002300104880000081
其中，PD表示三维点云在设备坐标系下的坐标，PW表示三维点云在世界坐标系下的坐标，
Figure BDA0002300104880000082
表示可移动设备的设备坐标系和世界坐标系之间的旋转关系信息，等同于上文中的Rwi。
在步骤S430，根据第二深度图确定可移动设备在当前时刻与地面之间的竖直距离。
将三维点云从设备坐标系转换至世界坐标系，可以使得可移动设备与地面之间的竖直距离的计算更加简单直观。
步骤S430的实现方式可以有多种。例如，可以对第二深度图中的位于可移动设备下方的三维点云进行平面拟合，将拟合得到的平面作为地面，并计算可移动设备与该地面之间的竖直距离。又如，可以计算可移动设备沿竖直方向运动会碰到的第一个点，然后将该点与可移动设备之间的距离作为可移动设备在当前时刻与地面之间的竖直距离。
下面结合图5，对基于平面拟合确定可移动设备在当前时刻与地面之间的竖直距离的方式进行详细的举例说明。
如图5所示，步骤S430可包括步骤S510和步骤S520。
在步骤S510，对第二深度图中的三维点云(如世界坐标系中的位于可移动设备下方的三维点云)进行平面拟合，得到目标平面。
平面拟合的方式可以有多种，如可以利用最小二乘法对第二深度图中的三维点云进行平面拟合，也可采用列文伯格-马夸尔特算法(Levenberg–Marquardt algorithm)对第二深度图中的三维点云进行平面拟合。
在步骤S520，根据目标平面，确定可移动设备在当前时刻与地面之间的竖直距离。
步骤S520的实现方式可以有多种。可选地，在某些实施例中，可以将可移动设备与目标平面之间的竖直距离直接确定为可移动设备在当前时刻与地面之间的竖直距离。
可选地，在另一些实施例中，可以根据目标平面的平面拟合代价从预设的多种距离确定方式中选取合适的距离确定方式。下面结合图6对这种实现方式进行详细描述。
如图6所示，步骤S520可包括步骤S610-步骤S630。
在步骤S610，当平面拟合的代价小于预设阈值时，将可移动设备与目标平面之间的竖直距离确定为可移动设备在当前时刻与地面之间的竖直距离。
平面拟合代价可用于表示地面的平整程度。平面拟合代价较大可表示地面凹凸不平；平面拟合代价较小可表示地面比较平坦。
以采用列文伯格-马夸尔特算法进行平面拟合为例，该算法的目标方程如下：
Figure BDA0002300104880000091
f(Pw,i,β)采用平面方程表示：
Figure BDA0002300104880000092
残差向量r满足如下方程：
Figure BDA0002300104880000093
代价方程C可以通过如下方程表示：
Figure BDA0002300104880000094
通过迭代方式求解上述目标方程，并将最终计算出的平面方程作为目标平面的方程，从而确定目标平面。然后，可以基于目标方程对应的代价方程，得到目标平面的平面拟合代价(C的取值表示平面拟合代价)。如果平面拟合代价较小，可以认为目标平面比较平整，则可以采用下面的方式直接计算可移动设备到目标平面的距离D：
Figure BDA0002300104880000101
由平面方程可以得到平面法向量为：
Figure BDA0002300104880000102
竖直方向上的单位向量为：
Figure BDA0002300104880000103
因此，目标平面与竖直方向的夹角θ满足如下关系：
Figure BDA0002300104880000104
因此，可移动设备与目标平面之间的竖直距离h满足：
Figure BDA0002300104880000105
如果平面拟合代价过大，则表示目标平面凹凸不平，可以采用步骤S620- 步骤S630描述的方式计算可移动设备在当前时刻与地面之间的竖直距离。
在步骤S620，当平面拟合的代价大于或等于预设阈值时，将第一深度图中的三维点云与前一时刻获取的深度图中的三维点云进行配准，以确定可移动设备从前一时刻至当前时刻在竖直方向上的位移。
第一深度图中的三维点云与前一时刻获取的深度图中的三维点云例如可以采用迭代最近点(iterative closest point，ICP)算法进行配准。通过ICP算法可以得到可移动设备的位姿变换信息。然后，可以从该位姿变换信息中获取可移动设备从前一时刻至当前时刻在竖直方向上的位移，从而进一步计算可移动设备从前一时刻到当前时刻在竖直方向上的运动速度。
在步骤S630，根据可移动设备在前一时刻与地面之间的竖直距离，以及可移动设备从前一时刻至当前时刻在竖直方向上的位移，确定可移动设备在当前时刻与地面之间的竖直距离。
本申请实施例中，当平面拟合代价较大时，采用三维点云配准的方式确定可移动设备在当前时刻与地面之间的竖直距离；当平面拟合代价小时，采用点与平面之间的距离关系确定可移动设备在当前时刻与地面之间的竖直距离，从而使得可移动设备的计算策略更加灵活，计算结果更加准确。
上文结合图1-图6，描述了可移动设备处于昏暗或无纹理场景时的运动估计方式。当可移动设备处于明亮且有纹理场景时，仍可以采用测距模块进行运动估计，也可以按照传统的方式，采用视觉+惯导系统，通过VO或VIO 算法进行运动估计。
此外，无论采用上文描述的哪种方式进行运动估计，在得到估计结果之后，均可以采用卡尔曼滤波对估计出的结果进行滤波，使得估计结果更加准确。
进一步地，本申请还提供一种运动补偿方法，可以包括上文任一实施例描述的运动估计的步骤，还可以包括抵消可移动设备在竖直方向上的运动的步骤。该可移动设备例如可以是手持摄影器材，如手持云台等。举例说明，当用户手握摄影器材进行摄影时，竖直方向的运动通常是由于手抖所引起的，当检测到竖直方向的运动时，可以控制摄影器材以相同的速度沿反方向运动，从而抵消摄影器材在竖直方向的运动，提高拍摄出的图像的质量。
本申请实施例还提供一种可移动设备。如图7所示，该可移动设备700 可包括测距模块710，存储器720和处理器730。存储器720可用于存储指令。处理器730可用于执行指令，以执行以下操作：检测可移动设备700当前所处场景是否为昏暗场景或无纹理场景；当场景为昏暗场景或无纹理场景时，利用测距模块获取场景的第一深度图；根据第一深度图，确定可移动设备700 在当前时刻与地面之间的竖直距离；根据可移动设备700在前一时刻与地面之间的竖直距离，以及可移动设备700在当前时刻与地面之间的竖直距离，确定可移动设备700从前一时刻到当前时刻沿竖直方向的运动速度。
可选地，处理器730还可用于执行以下操作：利用可移动设备700上的惯性测量单元获取可移动设备700的设备坐标系和世界坐标系之间的旋转关系信息；根据第一深度图，确定可移动设备700在当前时刻与地面之间的竖直距离，包括：根据旋转关系信息，将第一深度图中的三维点云从设备坐标系转换至世界坐标系，得到第二深度图；根据第二深度图，确定可移动设备 700在当前时刻与地面之间的竖直距离。
可选地，根据第二深度图，确定可移动设备700在当前时刻与地面之间的竖直距离，包括：对第二深度图中的三维点云进行平面拟合，得到目标平面；根据目标平面，确定可移动设备700在当前时刻与地面之间的竖直距离。
可选地，根据目标平面，确定可移动设备700在当前时刻与地面之间的竖直距离，包括：当平面拟合的代价小于预设阈值时，将可移动设备700与目标平面之间的竖直距离确定为可移动设备700在当前时刻与地面之间的竖直距离。
可选地，根据目标平面，确定可移动设备700在当前时刻与地面之间的竖直距离，还包括：当平面拟合的代价大于或等于预设阈值时，将第一深度图中的三维点云与前一时刻获取的深度图中的三维点云进行配准，以确定可移动设备700从前一时刻至当前时刻在竖直方向上的位移；根据可移动设备 700在前一时刻与地面之间的竖直距离，以及可移动设备700从前一时刻至当前时刻在竖直方向上的位移，确定可移动设备700在当前时刻与地面之间的竖直距离。
可选地，将第一深度图中的三维点云与前一时刻获取的深度图中的三维点云进行配准，包括：利用迭代最近点算法将第一深度图中的三维点云与前一时刻获取的深度图中的三维点云进行配准。
可选地，对第二深度图中的三维点云进行平面拟合，包括：利用列文伯格-马夸尔特算法对第二深度图中的三维点云进行平面拟合。
可选地，处理器730还用于执行以下操作：当场景为明亮且有纹理的场景时，利用可移动设备700上的相机和惯性测量单元对可移动设备700在竖直方向上的运动进行运动估计。
可选地，检测可移动设备700当前所处场景是否为昏暗场景或无纹理场景，包括：利用相机获取场景的画面；根据画面的亮度和/或纹理，检测场景是否为昏暗场景或无纹理场景。
可选地，根据画面的亮度和/或纹理，检测场景是否为昏暗场景或无纹理场景，包括：检测画面的亮度；当画面的亮度大于预设的第一阈值时，确定场景为明亮场景；当画面的亮度小于第一阈值时，确定场景为昏暗场景。
可选地，根据画面的亮度和/或纹理，检测场景是否为昏暗场景或无纹理场景，包括：对画面进行边缘检测，得到场景中的物体的轮廓图；当轮廓图中的特征点的数量大于预设的第二阈值时，确定场景为有纹理的场景；当轮廓图中的特征点的数量小于第二阈值时，确定场景为无纹理的场景。
可选地，在利用相机获取场景的画面之前，处理器730还用于执行以下操作：将相机的曝光时间和/或曝光增益调节至预设的最大值；和/或打开可移动设备700上的补光灯。
可选地，测距模块710为基于结构光的三维深度传感器。
可选地，结构光为红外光。
可选地，可移动设备700为手持摄影器材，无人机、无人车、虚拟现实眼镜、增强现实眼镜或手机。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线 (例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线 (例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
需要说明的是，在不冲突的前提下，本申请描述的各个实施例和/或各个实施例中的技术特征可以任意的相互组合，组合之后得到的技术方案也应落入本申请的保护范围。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (29)

1.一种摄影器材的运动估计方法，其特征在于，包括：
检测所述摄影器材当前所处场景是否为昏暗场景或无纹理场景；
当所述场景为昏暗场景或无纹理场景时，利用所述摄影器材上的测距模块获取所述场景的第一深度图；
根据所述第一深度图，确定所述摄影器材在当前时刻与地面之间的竖直距离；
根据所述摄影器材在前一时刻与地面之间的竖直距离，以及所述摄影器材在当前时刻与地面之间的竖直距离，确定所述摄影器材从前一时刻到当前时刻沿竖直方向的运动速度；
控制所述摄影器材以相同的运动速度沿反方向运动，从而抵消摄影器材在竖直方向的运动。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用所述摄影器材上的惯性测量单元获取所述摄影器材的设备坐标系和世界坐标系之间的旋转关系信息；
所述根据所述第一深度图，确定所述摄影器材在当前时刻与地面之间的竖直距离，包括：
根据所述旋转关系信息，将所述第一深度图中的三维点云从所述设备坐标系转换至世界坐标系，得到第二深度图；
根据所述第二深度图，确定所述摄影器材在当前时刻与地面之间的竖直距离。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第二深度图，确定所述摄影器材在当前时刻与地面之间的竖直距离，包括：
对所述第二深度图中的三维点云进行平面拟合，得到目标平面；
根据所述目标平面，确定所述摄影器材在当前时刻与地面之间的竖直距离。
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标平面，确定所述摄影器材在当前时刻与地面之间的竖直距离，包括：
当所述平面拟合的代价小于预设阈值时，将所述摄影器材与所述目标平面之间的竖直距离确定为所述摄影器材在当前时刻与地面之间的竖直距离。
5.根据权利要求4所述的方法，其特征在于，所述根据所述目标平面，确定所述摄影器材在当前时刻与地面之间的竖直距离，还包括：
当所述平面拟合的代价大于或等于预设阈值时，将所述第一深度图中的三维点云与前一时刻获取的深度图中的三维点云进行配准，以确定所述摄影器材从前一时刻至当前时刻在竖直方向上的位移；
根据所述摄影器材在前一时刻与地面之间的竖直距离，以及所述摄影器材从前一时刻至当前时刻在竖直方向上的位移，确定所述摄影器材在当前时刻与地面之间的竖直距离。
6.根据权利要求5所述的方法，其特征在于，所述将所述第一深度图中的三维点云与前一时刻获取的深度图中的三维点云进行配准，包括：
利用迭代最近点算法将所述第一深度图中的三维点云与前一时刻获取的深度图中的三维点云进行配准。
7.根据权利要求3-6中任一项所述的方法，其特征在于，所述对所述第二深度图中的三维点云进行平面拟合，包括：
利用列文伯格-马夸尔特算法对所述第二深度图中的三维点云进行平面拟合。
8.根据权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括：
当所述场景为明亮且有纹理的场景时，利用所述摄影器材上的相机和惯性测量单元对所述摄影器材在竖直方向上的运动进行运动估计。
9.根据权利要求1-6中任一项所述的方法，其特征在于，所述检测所述摄影器材当前所处场景是否为昏暗场景或无纹理场景，包括：
利用所述摄影器材的相机获取所述场景的画面；
根据所述画面的亮度和/或纹理，检测所述场景是否为昏暗场景或无纹理场景。
10.根据权利要求9所述的方法，其特征在于，所述根据所述画面的亮度和/或纹理，检测所述场景是否为昏暗场景或无纹理场景，包括：
检测所述画面的亮度；
当所述画面的亮度大于预设的第一阈值时，确定所述场景为明亮场景；
当所述画面的亮度小于所述第一阈值时，确定所述场景为昏暗场景。
11.根据权利要求9或10所述的方法，其特征在于，所述根据所述画面的亮度和/或纹理，检测所述场景是否为昏暗场景或无纹理场景，包括：
对所述画面进行边缘检测，得到所述场景中的物体的轮廓图；
当所述轮廓图中的特征点的数量大于预设的第二阈值时，确定所述场景为有纹理的场景；
当所述轮廓图中的特征点的数量小于所述第二阈值时，确定所述场景为无纹理的场景。
12.根据权利要求9所述的方法，其特征在于，在所述利用所述相机获取所述场景的画面之前，所述方法还包括：
将所述相机的曝光时间和/或曝光增益调节至预设的最大值；和/或
打开所述摄影器材上的补光灯。
13.根据权利要求1-6中任一项所述的方法，其特征在于，所述测距模块为基于结构光的三维深度传感器。
14.根据权利要求13所述的方法，其特征在于，所述结构光为红外光。
15.一种摄影器材，其特征在于，所述摄影器材包括测距模块，存储器和处理器，所述存储器用于存储指令，所述处理器用于执行所述指令，以执行以下操作：
检测所述摄影器材当前所处场景是否为昏暗场景或无纹理场景；
当所述场景为昏暗场景或无纹理场景时，利用所述测距模块获取所述场景的第一深度图；
根据所述第一深度图，确定所述摄影器材在当前时刻与地面之间的竖直距离；
根据所述摄影器材在前一时刻与地面之间的竖直距离，以及所述摄影器材在当前时刻与地面之间的竖直距离，确定所述摄影器材从前一时刻到当前时刻沿竖直方向的运动速度；
控制所述摄影器材以相同的运动速度沿反方向运动，从而抵消摄影器材在竖直方向的运动。
16.根据权利要求15所述的摄影器材，其特征在于，所述处理器还用于执行以下操作：
利用所述摄影器材上的惯性测量单元获取所述摄影器材的设备坐标系和世界坐标系之间的旋转关系信息；
所述根据所述第一深度图，确定所述摄影器材在当前时刻与地面之间的竖直距离，包括：
根据所述旋转关系信息，将所述第一深度图中的三维点云从所述设备坐标系转换至世界坐标系，得到第二深度图；
根据所述第二深度图，确定所述摄影器材在当前时刻与地面之间的竖直距离。
17.根据权利要求16所述的摄影器材，其特征在于，所述根据所述第二深度图，确定所述摄影器材在当前时刻与地面之间的竖直距离，包括：
对所述第二深度图中的三维点云进行平面拟合，得到目标平面；
根据所述目标平面，确定所述摄影器材在当前时刻与地面之间的竖直距离。
18.根据权利要求17所述的摄影器材，其特征在于，所述根据所述目标平面，确定所述摄影器材在当前时刻与地面之间的竖直距离，包括：
当所述平面拟合的代价小于预设阈值时，将所述摄影器材与所述目标平面之间的竖直距离确定为所述摄影器材在当前时刻与地面之间的竖直距离。
19.根据权利要求18所述的摄影器材，其特征在于，所述根据所述目标平面，确定所述摄影器材在当前时刻与地面之间的竖直距离，还包括：
当所述平面拟合的代价大于或等于预设阈值时，将所述第一深度图中的三维点云与前一时刻获取的深度图中的三维点云进行配准，以确定所述摄影器材从前一时刻至当前时刻在竖直方向上的位移；
根据所述摄影器材在前一时刻与地面之间的竖直距离，以及所述摄影器材从前一时刻至当前时刻在竖直方向上的位移，确定所述摄影器材在当前时刻与地面之间的竖直距离。
20.根据权利要求19所述的摄影器材，其特征在于，所述将所述第一深度图中的三维点云与前一时刻获取的深度图中的三维点云进行配准，包括：
利用迭代最近点算法将所述第一深度图中的三维点云与前一时刻获取的深度图中的三维点云进行配准。
21.根据权利要求17-20中任一项所述的摄影器材，其特征在于，所述对所述第二深度图中的三维点云进行平面拟合，包括：
利用列文伯格-马夸尔特算法对所述第二深度图中的三维点云进行平面拟合。
22.根据权利要求15-20中任一项所述的摄影器材，其特征在于，所述处理器还用于执行以下操作：
当所述场景为明亮且有纹理的场景时，利用所述摄影器材上的相机和惯性测量单元对所述摄影器材在竖直方向上的运动进行运动估计。
23.根据权利要求15-20中任一项所述的摄影器材，其特征在于，所述检测所述摄影器材当前所处场景是否为昏暗场景或无纹理场景，包括：
利用所述摄影器材的相机获取所述场景的画面；
根据所述画面的亮度和/或纹理，检测所述场景是否为昏暗场景或无纹理场景。
24.根据权利要求23所述的摄影器材，其特征在于，所述根据所述画面的亮度和/或纹理，检测所述场景是否为昏暗场景或无纹理场景，包括：
检测所述画面的亮度；
当所述画面的亮度大于预设的第一阈值时，确定所述场景为明亮场景；
当所述画面的亮度小于所述第一阈值时，确定所述场景为昏暗场景。
25.根据权利要求23所述的摄影器材，其特征在于，所述根据所述画面的亮度和/或纹理，检测所述场景是否为昏暗场景或无纹理场景，包括：
对所述画面进行边缘检测，得到所述场景中的物体的轮廓图；
当所述轮廓图中的特征点的数量大于预设的第二阈值时，确定所述场景为有纹理的场景；
当所述轮廓图中的特征点的数量小于所述第二阈值时，确定所述场景为无纹理的场景。
26.根据权利要求23所述的摄影器材，其特征在于，在所述利用所述相机获取所述场景的画面之前，所述处理器还用于执行以下操作：
将所述相机的曝光时间和/或曝光增益调节至预设的最大值；和/或
打开所述摄影器材上的补光灯。
27.根据权利要求15-20中任一项所述的摄影器材，其特征在于，所述测距模块为基于结构光的三维深度传感器。
28.根据权利要求27所述的摄影器材，其特征在于，所述结构光为红外光。
29.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，所述指令被处理器执行以实现如权利要求1-14中任一项所述的方法。
CN201880036756.8A 2018-07-23 2018-07-23 运动估计方法及摄影器材 Active CN110741625B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/096681 WO2020019130A1 (zh) 2018-07-23 2018-07-23 运动估计方法及可移动设备

Publications (2)

Publication Number Publication Date
CN110741625A CN110741625A (zh) 2020-01-31
CN110741625B true CN110741625B (zh) 2022-06-21

Family

ID=69180868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880036756.8A Active CN110741625B (zh) 2018-07-23 2018-07-23 运动估计方法及摄影器材

Country Status (3)

Country Link
US (1) US20210097696A1 (zh)
CN (1) CN110741625B (zh)
WO (1) WO2020019130A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018086133A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
CN113359167A (zh) * 2021-04-16 2021-09-07 电子科技大学 一种通过惯性测量参数将gps与激光雷达融合定位的方法
CN114029953B (zh) * 2021-11-18 2022-12-20 上海擎朗智能科技有限公司 基于深度传感器确定地平面的方法、机器人及机器人系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009216743A (ja) * 2008-03-07 2009-09-24 Canon Inc 像振れ補正カメラ
CN102829768A (zh) * 2012-03-08 2012-12-19 神翼航空器科技（天津）有限公司 直升机航拍装置
CN107544541A (zh) * 2017-09-18 2018-01-05 南方科技大学 一种无人机控制方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009060624A1 (ja) * 2007-11-09 2009-05-14 Panasonic Corporation カメラ、カメラシステムおよびカメラ本体
US20120249792A1 (en) * 2011-04-01 2012-10-04 Qualcomm Incorporated Dynamic image stabilization for mobile/portable electronic devices
CN104236548B (zh) * 2014-09-12 2017-04-05 清华大学 一种微型无人机室内自主导航方法
JP6333396B2 (ja) * 2015-06-26 2018-05-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ モバイルプラットフォームの変位を計測する方法及び装置
CN105045263B (zh) * 2015-07-06 2016-05-18 杭州南江机器人股份有限公司 一种基于Kinect深度相机的机器人自定位方法
US10607351B2 (en) * 2015-07-13 2020-03-31 Koninklijke Philips N.V. Method and apparatus for determining a depth map for an image
CN105447853B (zh) * 2015-11-13 2018-07-13 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
CN106017463B (zh) * 2016-05-26 2019-02-26 浙江大学 一种基于定位传感装置的飞行器定位方法
CN107346142B (zh) * 2016-09-30 2019-02-26 广州亿航智能技术有限公司 飞行器控制方法、光流模块及飞行器
CN106989744A (zh) * 2017-02-24 2017-07-28 中山大学 一种融合机载多传感器的旋翼无人机自主定位方法
CN107388967B (zh) * 2017-08-14 2019-11-12 上海汽车集团股份有限公司 一种车载三维激光传感器的外参数补偿方法及装置
CN107656545A (zh) * 2017-09-12 2018-02-02 武汉大学 一种面向无人机野外搜救的自主避障与导航方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009216743A (ja) * 2008-03-07 2009-09-24 Canon Inc 像振れ補正カメラ
CN102829768A (zh) * 2012-03-08 2012-12-19 神翼航空器科技（天津）有限公司 直升机航拍装置
CN107544541A (zh) * 2017-09-18 2018-01-05 南方科技大学 一种无人机控制方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
相机防抖技术浅析;岑裕庭;《轻工科技》;20160630;全文 *

Also Published As

Publication number Publication date
CN110741625A (zh) 2020-01-31
US20210097696A1 (en) 2021-04-01
WO2020019130A1 (zh) 2020-01-30

Similar Documents

Publication Publication Date Title
US11263761B2 (en) Systems and methods for visual target tracking
CN112567201B (zh) 距离测量方法以及设备
EP3579545B1 (en) Camera setting adjustment based on predicted environmental factors and tracking systems employing the same
CN111344644B (zh) 用于基于运动的自动图像捕获的技术
CN111935393A (zh) 拍摄方法、装置、电子设备和存储介质
US20210097696A1 (en) Motion estimation methods and mobile devices
US10012509B2 (en) Utilizing camera to assist with indoor pedestrian navigation
WO2020014987A1 (zh) 移动机器人的控制方法、装置、设备及存储介质
JP6943988B2 (ja) 移動可能物体の制御方法、機器およびシステム
WO2018193574A1 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
US11272105B2 (en) Image stabilization control method, photographing device and mobile platform
WO2022077296A1 (zh) 三维重建方法、云台负载、可移动平台以及计算机可读存储介质
JP2004056664A (ja) 共同撮影システム
CN110896331B (zh) 一种测量天线工程参数的方法、装置和存储介质
KR101614654B1 (ko) 단일 카메라가 장착된 드론을 이용한 추적 객체 위치 판별 방법
WO2020038720A1 (en) Apparatus, method and computer program for detecting the form of a deformable object
CN110119189B (zh) Slam系统的初始化、ar控制方法、装置和系统
WO2021043214A1 (zh) 一种标定方法、装置及飞行器
CN115225815A (zh) 目标智能追踪拍摄方法、服务器、拍摄系统、设备及介质
CN112204946A (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
WO2020014864A1 (zh) 位姿确定方法、设备、计算机可读存储介质
CN110503684A (zh) 相机位姿估计方法和装置
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
CN113701750A (zh) 一种井下多传感器的融合定位系统
WO2019189381A1 (ja) 移動体、制御装置、および制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant