CN111750850B - 角度信息获取方法、装置和系统 - Google Patents

角度信息获取方法、装置和系统 Download PDF

Info

Publication number
CN111750850B
CN111750850B CN201910239898.0A CN201910239898A CN111750850B CN 111750850 B CN111750850 B CN 111750850B CN 201910239898 A CN201910239898 A CN 201910239898A CN 111750850 B CN111750850 B CN 111750850B
Authority
CN
China
Prior art keywords
angle
axis
coordinate system
direction vector
angle information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910239898.0A
Other languages
English (en)
Other versions
CN111750850A (zh
Inventor
邵响
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910239898.0A priority Critical patent/CN111750850B/zh
Publication of CN111750850A publication Critical patent/CN111750850A/zh
Application granted granted Critical
Publication of CN111750850B publication Critical patent/CN111750850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种角度信息获取方法、装置和系统，属于电子技术应用领域。所述方法包括：获取角度误差；当获取到第二场景下所述惯性传感器采集的加速度数据时，根据所述第二场景下所述惯性传感器采集的加速度数据，获取所述深度相机的第三角度信息；根据所述角度误差，对所述第三角度信息进行修正，将修正后的角度信息作为所述第二场景下所述深度相机的角度信息。本发明根据预先获取的角度误差，对角度信息进行了修正，可以提高角度信息的准确性。

Description

角度信息获取方法、装置和系统
技术领域
本发明涉及电子技术应用领域，尤其涉及一种角度信息获取方法、装置和系统。
背景技术
随着视频监控技术的发展，深度相机(如ToF(Time of flight，飞行时间)相机、双目相机)的使用越来越普遍。在对深度相机拍摄的图像进行分析之前，往往需要获取深度相机的外参，如深度相机的角度信息，包括俯仰角和倾斜角。
目前，相关技术通过在深度相机上安装角度传感器，深度相机被安装到真实应用场景时，通过角度传感器测量传感器坐标系相对于世界坐标系的角度，将该角度作为深度相机的角度信息。
上述技术通过角度传感器测量深度相机的角度信息，由于传感器坐标系和相机坐标系存在角度误差，通过角度传感器测量的角度信息往往不是深度相机真实的角度信息，这种方式获取到的角度信息不准确。
发明内容
本发明实施例提供了一种角度信息获取方法、装置和系统，可以解决相关技术角度信息不准确的问题。所述技术方案如下：
第一方面，提供了一种角度信息获取方法，所述方法包括：
获取角度误差，所述角度误差为深度相机的第一角度信息和第二角度信息之间的误差，所述第一角度信息根据第一场景下所述深度相机采集的地面图像得到，所述第二角度信息根据所述第一场景下惯性传感器采集的加速度数据得到；
当获取到第二场景下所述惯性传感器采集的加速度数据时，根据所述第二场景下所述惯性传感器采集的加速度数据，获取所述深度相机的第三角度信息；
根据所述角度误差，对所述第三角度信息进行修正，将修正后的角度信息作为所述第二场景下所述深度相机的角度信息；
其中，所述第一角度信息、所述第二角度信息和所述第三角度信息包括俯仰角和倾斜角。
在一种可能实现方式中，所述第一角度信息的获取过程包括：
根据所述第一场景下所述深度相机采集的地面图像和所述深度相机的内参，获取所述深度相机的第一角度信息，所述内参包括所述深度相机的焦距和主点的坐标。
在一种可能实现方式中，所述根据所述第一场景下所述深度相机采集的地面图像和所述深度相机的内参，获取所述第一角度信息，包括：
根据所述地面图像、所述内参和地面配置信息，获取相机坐标系下地面的地平面方程，所述地面配置信息用于指定所述地面图像中用于代表所述地面的地面框；
根据所述地平面方程，获取所述第一角度信息；
其中，所述相机坐标系的原点为所述深度相机的光心，所述相机坐标系的Zc轴与所述深度相机的光轴重合，所述相机坐标系的Xc轴和Yc轴对应的平面与所述深度相机的成像平面平行。
在一种可能实现方式中，所述根据所述地面图像、所述内参和地面配置信息，获取相机坐标系下地面的地平面方程，包括：
根据所述地面图像和所述地面配置信息，确定所述地面图像中多个像素点的深度信息，所述多个像素点为所述地面框中的像素点；
根据所述多个像素点的深度信息、所述多个像素点在像素坐标系中的坐标和所述内参，获取所述多个像素点对应的多个三维点在所述相机坐标系中的坐标；
根据所述多个三维点的坐标，获取所述地平面方程。
在一种可能实现方式中，根据所述多个像素点的深度信息、所述多个像素点在像素坐标系中的坐标和所述内参，获取所述多个像素点对应的多个三维点在所述相机坐标系中的坐标，包括：
根据所述多个像素点的深度信息、所述多个像素点在像素坐标系中的坐标和所述内参，采用所述像素坐标系和所述相机坐标系之间的坐标转换关系，获取所述多个三维点的坐标，所述坐标转换关系为：
Figure BDA0002009341290000021
其中，F为所述深度相机的焦距，dx和dy分别为像素点在图像坐标系的x轴和y轴的物理尺寸，(u0，v0)为所述深度相机的主点在所述像素坐标系中的坐标，(u，v)为像素点在所述像素坐标系中的坐标，Zc为像素点的深度信息，(XC，YC，ZC)为三维点在所述相机坐标系中的坐标。
在一种可能实现方式中，所述根据所述多个三维点的坐标，获取所述地平面方程，包括：
根据所述多个三维点的坐标，获取所述地平面方程为：ax+by+cz+d＝0，其中，a、b和c为所述地平面方程的系数，a2+b2+c2＝1，d为所述地平面方程的常数。
在一种可能实现方式中，所述根据所述地平面方程，获取所述第一角度信息，包括：
根据所述地平面方程，获取所述地面的法向量；
根据所述法向量和相机坐标系的Zc轴的方向向量，获取第一俯仰角，所述第一俯仰角与所述法向量和所述Zc轴的方向向量的夹角互余；
根据所述法向量、所述Zc轴的方向向量、所述第一俯仰角和所述相机坐标系的Xc轴的方向向量，获取第一倾斜角。
在一种可能实现方式中，所述根据所述法向量、所述Zc轴的方向向量、所述第一俯仰角和所述相机坐标系的Xc轴的方向向量，获取所述第一倾斜角，包括：
根据所述法向量、所述Zc轴的方向向量和所述第一俯仰角，获取世界坐标系的z轴的方向向量；
根据所述世界坐标系的z轴的方向向量和所述世界坐标系的y轴的方向向量，确定所述世界坐标系的x轴的方向向量，所述世界坐标系的y轴的方向向量与所述法向量反向；
根据所述相机坐标系的Xc轴的方向向量和所述世界坐标系的x轴的方向向量，获取所述第一倾斜角，所述第一倾斜角为所述Xc轴的方向向量和所述x轴的方向向量的夹角；
其中，所述世界坐标系的原点为所述深度相机的光心到所述地面的投影点，所述世界坐标系的y轴垂直于所述地面向上，所述世界坐标系的z轴为所述深度相机的光轴到所述地面的投影。
在一种可能实现方式中，所述第二角度信息的获取过程包括：
根据所述第一场景下所述惯性传感器采集的三轴重力加速度分量，获取深度相机的第二角度信息。
在一种可能实现方式中，所述根据所述第一场景下所述惯性传感器采集的三轴重力加速度分量，获取所述第二角度信息，包括：
根据所述三轴重力加速度分量，获取重力加速度方向的方向向量、所述传感器坐标系的Z轴的方向向量和X轴的方向向量，所述三轴重力加速度分量包括重力加速度在传感器坐标系的X轴、Y轴和Z轴的分量；
根据所述重力加速度方向的方向向量、所述传感器坐标系的Z轴的方向向量和X轴的方向向量，获取所述第二角度信息。
在一种可能实现方式中，所述根据所述重力加速度方向的方向向量、所述传感器坐标系的Z轴的方向向量和X轴的方向向量，获取所述第二角度信息，包括：
根据所述传感器坐标系的Z轴的方向向量和所述重力加速度方向的方向向量，获取第二俯仰角，所述第二俯仰角与所述Z轴的方向向量和所述重力加速度方向的方向向量的夹角互余；
根据所述传感器坐标系的X轴的方向向量和所述重力加速度方向的方向向量，获取第二倾斜角，所述第二倾斜角与所述X轴的方向向量和所述重力加速度方向的方向向量的夹角互余。
在一种可能实现方式中，所述角度误差包括俯仰角误差和倾斜角误差，所述获取角度误差包括：
根据所述第一角度信息和所述第二角度信息中的俯仰角，获取所述俯仰角误差；
根据所述第一角度信息和所述第二角度信息中的倾斜角，获取所述倾斜角误差。
在一种可能实现方式中，所述根据所述角度误差，对所述第三角度信息进行修正，将修正后的角度信息作为所述第二场景下所述深度相机的角度信息，包括：
根据所述俯仰角误差，对所述第三角度信息中的俯仰角进行修正，将修正后的俯仰角作为所述第二场景下所述深度相机的俯仰角；
根据所述倾斜角误差，对所述第三角度信息中的倾斜角进行修正，将修正后的倾斜角作为所述第二场景下所述深度相机的倾斜角。
第二方面，提供了一种角度信息获取装置，所述装置包括：
获取模块，用于获取角度误差，所述角度误差为深度相机的第一角度信息和第二角度信息之间的误差，所述第一角度信息根据第一场景下所述深度相机采集的地面图像得到，所述第二角度信息根据所述第一场景下惯性传感器采集的加速度数据得到；
所述获取模块还用于当获取到第二场景下所述惯性传感器采集的加速度数据时，根据所述第二场景下所述惯性传感器采集的加速度数据，获取所述深度相机的第三角度信息；
修正模块，用于根据所述角度误差，对所述第三角度信息进行修正，将修正后的角度信息作为所述第二场景下所述深度相机的角度信息；
其中，所述第一角度信息、所述第二角度信息和所述第三角度信息包括俯仰角和倾斜角。
在一种可能实现方式中，所述获取模块用于：
根据所述第一场景下所述深度相机采集的地面图像和所述深度相机的内参，获取所述深度相机的第一角度信息，所述内参包括所述深度相机的焦距和主点的坐标。
在一种可能实现方式中，所述获取模块用于：
根据所述地面图像、所述内参和地面配置信息，获取相机坐标系下地面的地平面方程，所述地面配置信息用于指定所述地面图像中用于代表所述地面的地面框；
根据所述地平面方程，获取所述第一角度信息；
其中，所述相机坐标系的原点为所述深度相机的光心，所述相机坐标系的Zc轴与所述深度相机的光轴重合，所述相机坐标系的Xc轴和Yc轴对应的平面与所述深度相机的成像平面平行。
在一种可能实现方式中，所述获取模块用于：
根据所述地面图像和所述地面配置信息，确定所述地面图像中多个像素点的深度信息，所述多个像素点为所述地面框中的像素点；
根据所述多个像素点的深度信息、所述多个像素点在像素坐标系中的坐标和所述内参，获取所述多个像素点对应的多个三维点在所述相机坐标系中的坐标；
根据所述多个三维点的坐标，获取所述地平面方程。
在一种可能实现方式中，所述获取模块用于：
根据所述多个像素点的深度信息、所述多个像素点在像素坐标系中的坐标和所述内参，采用所述像素坐标系和所述相机坐标系之间的坐标转换关系，获取所述多个三维点的坐标，所述坐标转换关系为：
Figure BDA0002009341290000051
其中，F为所述深度相机的焦距，dx和dy分别为像素点在图像坐标系的x轴和y轴的物理尺寸，(u0，v0)为所述深度相机的主点在所述像素坐标系中的坐标，(u，v)为像素点在所述像素坐标系中的坐标，Zc为像素点的深度信息，(XC，YC，ZC)为三维点在所述相机坐标系中的坐标。
在一种可能实现方式中，所述获取模块用于：
根据所述多个三维点的坐标，获取所述地平面方程为：ax+by+cz+d＝0，其中，a、b和c为所述地平面方程的系数，a2+b2+c2＝1，d为所述地平面方程的常数。
在一种可能实现方式中，所述获取模块用于：
根据所述地平面方程，获取所述地面的法向量；
根据所述法向量和相机坐标系的Zc轴的方向向量，获取第一俯仰角，所述第一俯仰角与所述法向量和所述Zc轴的方向向量的夹角互余；
根据所述法向量、所述Zc轴的方向向量、所述第一俯仰角和所述相机坐标系的Xc轴的方向向量，获取第一倾斜角。
在一种可能实现方式中，所述获取模块用于：
根据所述法向量、所述Zc轴的方向向量和所述第一俯仰角，获取世界坐标系的z轴的方向向量；
根据所述世界坐标系的z轴的方向向量和所述世界坐标系的y轴的方向向量，确定所述世界坐标系的x轴的方向向量，所述世界坐标系的y轴的方向向量与所述法向量反向；
根据所述相机坐标系的Xc轴的方向向量和所述世界坐标系的x轴的方向向量，获取所述第一倾斜角，所述第一倾斜角为所述Xc轴的方向向量和所述x轴的方向向量的夹角；
其中，所述世界坐标系的原点为所述深度相机的光心到所述地面的投影点，所述世界坐标系的y轴垂直于所述地面向上，所述世界坐标系的z轴为所述深度相机的光轴到所述地面的投影。
在一种可能实现方式中，所述获取模块用于：
根据所述第一场景下所述惯性传感器采集的三轴重力加速度分量，获取深度相机的第二角度信息。
在一种可能实现方式中，所述获取模块用于：
根据所述三轴重力加速度分量，获取重力加速度方向的方向向量、所述传感器坐标系的Z轴的方向向量和X轴的方向向量，所述三轴重力加速度分量包括重力加速度在传感器坐标系的X轴、Y轴和Z轴的分量；
根据所述重力加速度方向的方向向量、所述传感器坐标系的Z轴的方向向量和X轴的方向向量，获取所述第二角度信息。
在一种可能实现方式中，所述获取模块用于：
根据所述传感器坐标系的Z轴的方向向量和所述重力加速度方向的方向向量，获取第二俯仰角，所述第二俯仰角与所述Z轴的方向向量和所述重力加速度方向的方向向量的夹角互余；
根据所述传感器坐标系的X轴的方向向量和所述重力加速度方向的方向向量，获取第二倾斜角，所述第二倾斜角与所述X轴的方向向量和所述重力加速度方向的方向向量的夹角互余。
在一种可能实现方式中，所述角度误差包括俯仰角误差和倾斜角误差，所述获取模块用于：
根据所述第一角度信息和所述第二角度信息中的俯仰角，获取所述俯仰角误差；
根据所述第一角度信息和所述第二角度信息中的倾斜角，获取所述倾斜角误差。
在一种可能实现方式中，所述修正模块用于：
根据所述俯仰角误差，对所述第三角度信息中的俯仰角进行修正，将修正后的俯仰角作为所述第二场景下所述深度相机的俯仰角；
根据所述倾斜角误差，对所述第三角度信息中的倾斜角进行修正，将修正后的倾斜角作为所述第二场景下所述深度相机的倾斜角。
第三方面，提供了一种角度信息获取系统，所述系统包括深度相机、惯性传感器和计算机设备；
所述深度相机用于在第一场景下采集地面图像；
所述惯性传感器用于在所述第一场景下采集加速度数据；
所述计算机设备用于获取角度误差，所述角度误差为所述深度相机的第一角度信息和第二角度信息之间的误差，所述第一角度信息根据所述第一场景下所述深度相机采集的地面图像得到，所述第二角度信息根据所述第一场景下所述惯性传感器采集的加速度数据得到；
所述惯性传感器还用于在第二场景下采集加速度数据；
所述计算机设备还用于当获取到第二场景下所述惯性传感器采集的加速度数据时，根据所述第二场景下所述惯性传感器采集的加速度数据，获取所述深度相机的第三角度信息；根据所述角度误差，对所述第三角度信息进行修正，将修正后的角度信息作为所述第二场景下所述深度相机的角度信息；
其中，所述第一角度信息、所述第二角度信息和所述第三角度信息包括俯仰角和倾斜角。
第四方面，提供了一种计算机设备，包括一个或多个处理器和一个或多个存储器；所述一个或多个存储器，用于存放至少一条指令；所述一个或多个处理器，用于执行所述一个或多个存储器上所存放的至少一条指令，实现第一方面任一种实现方式所述的方法步骤。
第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有至少一条指令，所述至少一条指令被处理器执行时实现第一方面任一种实现方式所述的方法步骤。
本发明实施例提供的技术方案带来的有益效果至少包括：
通过在第一场景下分别根据深度相机采集的地面图像和惯性传感器采集的加速度数据，获取深度相机的角度信息，计算两者之间的角度误差，当在第二场景下根据惯性传感器采集的加速度数据获取到深度相机的角度信息后，根据角度误差进行修正，最终得到第二场景下深度相机的角度信息。上述方案考虑了相机坐标系和传感器坐标系之间的角度误差，在第二场景下根据惯性传感器采集的加速度数据获取到角度信息后，根据预先获取的角度误差，对角度信息进行了修正，可以提高角度信息的准确性。
另外，通过在第二场景下直接根据惯性传感器采集的加速度数据，获取深度相机的角度信息，而无需根据深度相机采集的地面图像来获取角度信息，可以避免真实场景下如果深度相机无法采集到地面图像，则导致无法准确获取角度信息的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种像素坐标系和图像坐标系的关系示意图；
图2是本发明实施例提供的一种图像坐标系和相机坐标系的关系示意图；
图3是本发明实施例提供的一种角度信息获取系统的示意图；
图4是本发明实施例提供的一种角度信息获取方法的流程图；
图5是本发明实施例提供的一种角度信息获取方法的流程图；
图6是本发明实施例提供的一种地面的示意图；
图7是本发明实施例提供的一种角度计算的原理图；
图8是本发明实施例提供的一种角度计算的原理图；
图9是本发明实施例提供的一种相机坐标系和传感器坐标系的示意图；
图10是本发明实施例提供的一种获取角度误差的流程图；
图11是本发明实施例提供的一种角度信息获取装置的结构示意图；
图12是本发明实施例提供的一种计算机设备1200的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
为了方便理解，下面先对本发明实施例中涉及的坐标系进行解释说明：
相机坐标系(XC，YC，ZC)：原点为深度相机的光心，XC轴和YC轴对应的平面(XC YC平面)与深度相机的成像平面平行，ZC轴与深度相机的光轴重合，坐标单位为毫米(mm)。
图像坐标系(x，y)：也称为图像物理坐标系，原点为图像的中心，坐标单位为毫米(mm)，图像坐标系的x轴与相机坐标系的XC轴平行，图像坐标系的y轴与相机坐标系的YC轴平行。
像素坐标系(u,v)：也称为图像像素坐标系，原点为图像的左上角，坐标单位为像素。
世界坐标系(x，y，z)：为了描述深度相机的位置而被定义，原点为深度相机的光心到地面的投影点(垂点)，y轴垂直于地面向上，z轴为深度相机的光轴到地面的投影，x轴由y轴和z轴确定，遵循左手坐标系的规则。
(1)像素坐标系和图像坐标系
参见图1，提供了一种像素坐标系和图像坐标系的关系示意图，如图1所示，像素坐标系和图像坐标系是一个二维平面，又称为成像平面，实际上就是摄像头的CCD(Charge-coupled Device，电荷耦合元件)惯性传感器的表面。每个CCD惯性传感器都有一定的尺寸，也有一定的分辨率，这样可以确定毫米与像素点之间的转换关系。例如，CCD惯性传感器的尺寸是8mm×6mm，帧画面的分辨率设置为640*480，那么毫米与像素点之间的转换关系为80pixels/mm。CCD惯性传感器每个像素点的物理大小为dx×dy，相应地，就有dx＝dy＝1/80mm。
对于像素坐标系下的点p(u,v)，对应于图像坐标系下的点p(x,y)，两者的关系如下式(1)所示：
Figure BDA0002009341290000091
其中，(u0,v0)为主点的坐标，也即是光轴与成像平面相交的点，理论上主点的坐标处在成像平面的中心点位置，但由于设备制作工艺等原因，主点的坐标与成像平面的中心点位置存在微小的偏移量，可以在内参标定过程中计算得到。
(2)图像坐标系和相机坐标系
参见图2，提供了一种图像坐标系和相机坐标系的关系示意图，如图2所示，对于相机坐标系中的点P(XC，YC，ZC)，投影到图像坐标系的点p(x,y)，相机坐标系的原点Oc和主点O1之间的长度为焦距F，根据相似三角形可以得到下式(2)：
Figure BDA0002009341290000092
根据式(1)和式(2)，可以得到下式(3)：
Figure BDA0002009341290000101
(3)像素坐标系和相机坐标系
根据式(1)和式(3)，像素坐标系下的点p(u,v)和相机坐标系中的点P(XC，YC，ZC)的坐标转换关系如下式(4)所示：
Figure BDA0002009341290000102
其中，fx＝F/dx，fy＝F/dy，dx和dy是像素点的物理大小，单位为毫米(mm)，fx表示焦距F在图1所示的x轴方向对应的像素个数，fy表示焦距F在图1所示的y轴方向对应的像素个数。
图3是本发明实施例提供的一种角度信息获取系统的示意图，该角度信息获取系统可以包括深度相机301、惯性传感器302和计算机设备303。
其中，深度相机301用于对其所在场景的地面进行图像采集，得到地面图像，该地面图像用于获取深度信息，也即是，图像中各个像素点对应的三维点到深度相机301的距离。深度相机301包括但不限于ToF相机和双目相机。如果该深度相机301是ToF相机，则该深度相机301采集的地面图像是一个深度图像，该深度图像中各个像素点的像素值代表各个像素点对应的三维点到该深度相机301的距离(深度信息)。深度相机301可以将深度图像发送给计算机设备303。如果深度相机301是双目相机，则深度相机301采集的地面图像是同一场景的左、右两幅视点图像，也称为双目图像，深度相机301可以将该双目图像发送给计算机设备303，计算机设备303可以采用立体匹配算法对双目图像进行计算，得到视差图，再将视差图转换为深度图像。
惯性传感器302安装在深度相机301上，用于测量深度相机301的加速度数据，如三轴重力加速度分量，惯性传感器302可以是IMU(Inertial Measurement Unit，惯性测量单元)，包括但不限于三轴加速度计。
计算机设备303用于根据深度相机301采集的地面图像计算深度相机301的角度信息，计算机设备303还用于根据惯性传感器302采集的加速度数据计算深度相机301的角度信息。计算机设备303可以包含处理器和存储器，其中，处理器包括但不限于CPU(CentralProcessing Unit，中央处理器)、DSP(Digital Signal Processing，数字信号处理)和ARM(Advanced RISC Machines)。
在示例性实施例中，该深度相机301用于在第一场景下采集地面图像；该惯性传感器302用于在该第一场景下采集加速度数据；该计算机设备303用于获取角度误差，该角度误差为该深度相机的第一角度信息和第二角度信息之间的误差，该第一角度信息根据该第一场景下该深度相机采集的地面图像得到，该第二角度信息根据该第一场景下该惯性传感器采集的加速度数据得到；该惯性传感器302还用于在第二场景下采集加速度数据；该计算机设备303还用于当获取到第二场景下该惯性传感器采集的加速度数据时，根据该第二场景下该惯性传感器采集的加速度数据，获取该深度相机的第三角度信息；根据该角度误差，对该第三角度信息进行修正，将修正后的角度信息作为该第二场景下该深度相机的角度信息；其中，该第一角度信息、该第二角度信息和该第三角度信息包括俯仰角和倾斜角。
图4是本发明实施例提供的一种角度信息获取方法的流程图。参见图4，该方法包括：
401、获取角度误差，该角度误差为深度相机的第一角度信息和第二角度信息之间的误差，该第一角度信息根据第一场景下该深度相机采集的地面图像得到，该第二角度信息根据该第一场景下惯性传感器采集的加速度数据得到。
402、当获取到第二场景下该惯性传感器采集的加速度数据时，根据该第二场景下该惯性传感器采集的加速度数据，获取该深度相机的第三角度信息。
403、根据该角度误差，对该第三角度信息进行修正，将修正后的角度信息作为该第二场景下该深度相机的角度信息。
其中，该第一角度信息、该第二角度信息和该第三角度信息包括俯仰角和倾斜角。
本发明实施例提供的方法，通过在第一场景下分别根据深度相机采集的地面图像和惯性传感器采集的加速度数据，获取深度相机的角度信息，计算两者之间的角度误差，当在第二场景下根据惯性传感器采集的加速度数据获取到深度相机的角度信息后，根据角度误差进行修正，最终得到第二场景下深度相机的角度信息。上述方案考虑了相机坐标系和传感器坐标系之间的角度误差，在第二场景下根据惯性传感器采集的加速度数据获取到角度信息后，根据预先获取的角度误差，对角度信息进行了修正，可以提高角度信息的准确性。
另外，通过在第二场景下直接根据惯性传感器采集的加速度数据，获取深度相机的角度信息，而无需根据深度相机采集的地面图像来获取角度信息，可以避免真实场景下如果深度相机无法采集到地面图像，则导致无法准确获取角度信息的问题。
在一种可能实现方式中，该第一角度信息的获取过程包括：
根据该第一场景下该深度相机采集的地面图像和该深度相机的内参，获取该深度相机的第一角度信息，该内参包括该深度相机的焦距和主点的坐标。
在一种可能实现方式中，该根据该第一场景下该深度相机采集的地面图像和该深度相机的内参，获取该第一角度信息，包括：
根据该地面图像、该内参和地面配置信息，获取相机坐标系下地面的地平面方程，该地面配置信息用于指定该地面图像中用于代表该地面的地面框；
根据该地平面方程，获取该第一角度信息；
其中，该相机坐标系的原点为该深度相机的光心，该相机坐标系的Zc轴与该深度相机的光轴重合，该相机坐标系的Xc轴和Yc轴对应的平面与该深度相机的成像平面平行。
在一种可能实现方式中，该根据该地面图像、该内参和地面配置信息，获取相机坐标系下地面的地平面方程，包括：
根据该地面图像和该地面配置信息，确定该地面图像中多个像素点的深度信息，该多个像素点为该地面框中的像素点；
根据该多个像素点的深度信息、该多个像素点在像素坐标系中的坐标和该内参，获取该多个像素点对应的多个三维点在该相机坐标系中的坐标；
根据该多个三维点的坐标，获取该地平面方程。
在一种可能实现方式中，根据该多个像素点的深度信息、该多个像素点在像素坐标系中的坐标和该内参，获取该多个像素点对应的多个三维点在该相机坐标系中的坐标，包括：
根据该多个像素点的深度信息、该多个像素点在像素坐标系中的坐标和该内参，采用该像素坐标系和该相机坐标系之间的坐标转换关系，获取该多个三维点的坐标，该坐标转换关系为：
Figure BDA0002009341290000121
其中，F为该深度相机的焦距，dx和dy分别为像素点在图像坐标系的x轴和y轴的物理尺寸，(u0，v0)为该深度相机的主点在该像素坐标系中的坐标，(u，v)为像素点在该像素坐标系中的坐标，Zc为像素点的深度信息，(XC，YC，ZC)为三维点在该相机坐标系中的坐标。
在一种可能实现方式中，该根据该多个三维点的坐标，获取该地平面方程，包括：
根据该多个三维点的坐标，获取该地平面方程为：ax+by+cz+d＝0，其中，a、b和c为该地平面方程的系数，a2+b2+c2＝1，d为该地平面方程的常数。
在一种可能实现方式中，该根据该地平面方程，获取该第一角度信息，包括：
根据该地平面方程，获取该地面的法向量；
根据该法向量和相机坐标系的Zc轴的方向向量，获取第一俯仰角，该第一俯仰角与该法向量和该Zc轴的方向向量的夹角互余；
根据该法向量、该Zc轴的方向向量、该第一俯仰角和该相机坐标系的Xc轴的方向向量，获取第一倾斜角。
在一种可能实现方式中，该根据该法向量、该Zc轴的方向向量、该第一俯仰角和该相机坐标系的Xc轴的方向向量，获取该第一倾斜角，包括：
根据该法向量、该Zc轴的方向向量和该第一俯仰角，获取世界坐标系的z轴的方向向量；
根据该世界坐标系的z轴的方向向量和该世界坐标系的y轴的方向向量，确定该世界坐标系的x轴的方向向量，该世界坐标系的y轴的方向向量与该法向量反向；
根据该相机坐标系的Xc轴的方向向量和该世界坐标系的x轴的方向向量，获取该第一倾斜角，该第一倾斜角为该Xc轴的方向向量和该x轴的方向向量的夹角；
其中，该世界坐标系的原点为该深度相机的光心到该地面的投影点，该世界坐标系的y轴垂直于该地面向上，该世界坐标系的z轴为该深度相机的光轴到该地面的投影。
在一种可能实现方式中，该第二角度信息的获取过程包括：
根据该第一场景下该惯性传感器采集的三轴重力加速度分量，获取深度相机的第二角度信息。
在一种可能实现方式中，该根据该第一场景下该惯性传感器采集的三轴重力加速度分量，获取该第二角度信息，包括：
根据该三轴重力加速度分量，获取重力加速度方向的方向向量、该传感器坐标系的Z轴的方向向量和X轴的方向向量，该三轴重力加速度分量包括重力加速度在传感器坐标系的X轴、Y轴和Z轴的分量；
根据该重力加速度方向的方向向量、该传感器坐标系的Z轴的方向向量和X轴的方向向量，获取该第二角度信息。
在一种可能实现方式中，该根据该重力加速度方向的方向向量、该传感器坐标系的Z轴的方向向量和X轴的方向向量，获取该第二角度信息，包括：
根据该传感器坐标系的Z轴的方向向量和该重力加速度方向的方向向量，获取第二俯仰角，该第二俯仰角与该Z轴的方向向量和该重力加速度方向的方向向量的夹角互余；
根据该传感器坐标系的X轴的方向向量和该重力加速度方向的方向向量，获取第二倾斜角，该第二倾斜角与该X轴的方向向量和该重力加速度方向的方向向量的夹角互余。
在一种可能实现方式中，该角度误差包括俯仰角误差和倾斜角误差，该获取角度误差包括：
根据该第一角度信息和该第二角度信息中的俯仰角，获取该俯仰角误差；
根据该第一角度信息和该第二角度信息中的倾斜角，获取该倾斜角误差。
在一种可能实现方式中，该根据该角度误差，对该第三角度信息进行修正，将修正后的角度信息作为该第二场景下该深度相机的角度信息，包括：
根据该俯仰角误差，对该第三角度信息中的俯仰角进行修正，将修正后的俯仰角作为该第二场景下该深度相机的俯仰角；
根据该倾斜角误差，对该第三角度信息中的倾斜角进行修正，将修正后的倾斜角作为该第二场景下该深度相机的倾斜角。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
图5是本发明实施例提供的一种角度信息获取方法的流程图。该方法由计算机设备执行，参见图5，该方法包括：
501、根据第一场景下深度相机采集的地面图像和该深度相机的内参，获取深度相机的第一角度信息。
其中，第一场景具有完全可控的测试条件，可以保证深度相机采集到第一场景的地面图像。该第一角度信息包括俯仰角和倾斜角。俯仰角是指深度相机的光轴与地平面的夹角，也即是，深度相机的ZC轴与地平面的夹角。倾斜角是指图像坐标系的x轴与地平面的夹角，也即是，相机坐标系的XC轴与地平面的夹角。
针对深度相机的内参，该内参是与深度相机自身特性相关的参数，包括深度相机的焦距和主点坐标。该内参可以通过预设参数标定算法标定得到，该内参可以由深度相机标定得到后发送给计算机设备，也可以由技术人员输入到该计算机设备中，本发明实施例对计算机设备获取到该内参的方式不做限定。
针对深度相机采集的地面图像，该地面图像可以是深度图像，也可以是双目图像。该地面图像可以由深度相机采集后发送给计算机设备。
在一种可能实现方式中，该步骤501可以包括步骤501A和步骤501B：
501A、根据该地面图像、该内参和地面配置信息，获取相机坐标系下地面的地平面方程，该地面配置信息用于指定该地面图像中用于代表该地面的地面框。
该地平面方程可以是相机坐标系下地面的地平面方程，相机坐标系下的地面与世界坐标系下的地面平行。
在一种可能实现方式中，该步骤501A包括下述步骤a1至步骤a3：
步骤a1、根据该地面图像和该地面配置信息，确定该地面图像中多个像素点的深度信息，该多个像素点为该地面框中的像素点。
其中，像素点的深度信息是指像素点对应的三维点到深度相机的距离，该距离也即是相机坐标系下该三维点的Zc轴坐标(ZC)。
该地面配置信息中可以包括地面框的大小和位置，计算机设备可以根据地面配置信息，在地面图像中划定用于代表地面的地面框，然后选择该地面框内的多个像素点。参见图6，提供了一种地面的示意图，图6中的x轴、y轴和z轴为世界坐标系的三个坐标轴，地面可以用根据地面配置信息划定的一个地面框来表示。
针对该多个像素点的深度信息，该多个像素点的深度信息也即是该多个像素点对应的多个三维点到深度相机的距离，该距离也即是相机坐标系下该多个三维点的Zc轴坐标(ZC)。
当深度相机采集的地面图像为深度图像时，计算机设备可以直接将深度图像中该多个像素点的像素值作为该多个像素点的深度信息。当深度相机采集的地面图像为双目图像时，计算机设备可以先根据地面图像获取深度图像，再将深度图像中该多个像素点的像素值作为该多个像素点的深度信息。其中，针对深度图像的获取方式，计算机设备可以根据双目图像和深度相机的参数，获取深度图像，其中，该参数包括采集该双目图像的深度相机的内参和部分外参(如两个光心之间的距离、旋转参数和平移参数)，与内参同理，该部分外参可以由深度相机标定得到后发送给计算机设备，也可以由技术人员输入到该计算机设备中。
步骤a2、根据该多个像素点的深度信息、该多个像素点在像素坐标系中的坐标和该内参，获取该多个像素点对应的多个三维点在相机坐标系中的坐标。
在一种可能实现方式中，该步骤b可以包括：根据该多个像素点的深度信息、该多个像素点在像素坐标系中的坐标和该内参，采用像素坐标系和相机坐标系之间的坐标转换关系，获取该多个三维点的坐标，该坐标转换关系为：
Figure BDA0002009341290000151
其中，F为该深度相机的焦距，dx和dy分别为像素点在图像坐标系的x轴和y轴的物理尺寸，(u0，v0)为该深度相机的主点在像素坐标系中的坐标，(u，v)为像素点在像素坐标系中的坐标，Zc为像素点的深度信息，(XC，YC，ZC)为三维点在相机坐标系中的坐标。
对于该多个像素点中的每个像素点(u，v)，计算机设备可以根据该像素点的坐标(u,v)以及该像素点的深度信息(Zc)、主点的坐标(u0，v0)和焦距F，利用上述坐标转换关系，计算得到该像素点对应的三维点的坐标(XC，YC，ZC)。
步骤a3、根据该多个三维点的坐标，获取该地平面方程。
在一种可能实现方式中，根据该多个三维点的坐标，获取该地平面方程为：ax+by+cz+d＝0，其中，a、b和c为该地平面方程的系数，a2+b2+c2＝1，d为该地平面方程的常数。
计算机设备可以根据多个像素点在相机坐标系中的坐标，求解地平面方程的系数a、b、c和d，从而得到地平面方程。
501B、根据该地平面方程，获取该第一角度信息。
其中，第一角度信息可以包括第一俯仰角和第一倾斜角，在一种可能实现方式中，该步骤501B可以包括步骤b1至步骤b3：
步骤b1、根据该地平面方程，获取该地面的法向量。
计算机设备可以根据地平面方程的系数，获取该法向量，例如，地平面方程为ax+by+cz+d＝0，则该地面的法向量为
Figure BDA0002009341290000161
由于a2+b2+c2＝1，该法向量也即是单位法向量。
步骤b2、根据该法向量和相机坐标系的Zc轴的方向向量，获取第一俯仰角，该第一俯仰角与该法向量和该Zc轴的方向向量的夹角互余。
参见图7，提供了一种角度计算的原理图，如图7所示，点OC为相机坐标系的原点，XC轴、YC轴和ZC轴为相机坐标系的三个坐标轴，点O为世界坐标系的原点，x轴、y轴和z轴为世界坐标系的三个坐标轴。相机坐标系沿着世界坐标系的y轴负方向平移至与世界坐标系的原点重合时，相机坐标系的ZC轴与世界坐标系的z轴的夹角即为深度相机的第一俯仰角P1，与第一俯仰角P1互余的角为角Q，存在P+Q＝90°的关系。角Q是地面的法向量和该相机坐标系的Zc轴的方向向量的夹角，因而可以根据地面的法向量和该相机坐标系的Zc轴的方向向量，求得与第一俯仰角P1互余的角Q，再根据角Q计算得到第一俯仰角P1。
取相机坐标系ZC轴上的一点A(0,0,1)，向量
Figure BDA0002009341290000162
将向量
Figure BDA0002009341290000163
作为相机坐标系的Zc轴的方向向量，再结合地面的法向量
Figure BDA0002009341290000164
可以得到角Q的计算方式如下式(5)所示：
Figure BDA0002009341290000165
根据式(5)可得Q＝arccos(c)，根据P1+Q＝90°，求得第一俯仰角P1＝90°-arccos(c)。
步骤b3、根据该法向量、该Zc轴的方向向量、该第一俯仰角和该相机坐标系的Xc轴的方向向量，获取第一倾斜角。
在一种可能实现方式中，该步骤b3可以包括步骤b31至步骤b33：
步骤b31、根据该法向量、该Zc轴的方向向量和该第一俯仰角，获取世界坐标系的z轴的方向向量。
其中，相机坐标系的Z轴的方向向量为向量
Figure BDA0002009341290000171
如图7所示，点A(0,0,1)到直线OCO的垂点为点B(x，y，z)，向量
Figure BDA0002009341290000172
＝(x，y，z)，向量
Figure BDA0002009341290000173
与地面的法向量
Figure BDA0002009341290000174
平行，点B和法向量
Figure BDA0002009341290000175
的坐标之间的关系如下式(6)所示：
x/a＝y/b＝z/c(6)
向量
Figure BDA0002009341290000176
向量
Figure BDA0002009341290000177
和俯仰角P1之间的关系如下式(7)所示：
Figure BDA0002009341290000178
其中，
Figure BDA0002009341290000179
sin(P1)＝c。
根据式(6)和式(7)，求得点B的坐标为(ac，bc，c2)，向量
Figure BDA00020093412900001711
-bc，1-c2)，向量
Figure BDA00020093412900001712
与世界坐标系的z轴平行，可以得到世界坐标系的z轴的方向向量
Figure BDA00020093412900001713
步骤b32、根据该世界坐标系的z轴的方向向量和该世界坐标系的y轴的方向向量，确定该世界坐标系的x轴的方向向量，该世界坐标系的y轴的方向向量与该法向量反向。
其中，世界坐标系的z轴的方向向量
Figure BDA00020093412900001714
世界坐标系的y轴与地面的法向量反向，可得到世界坐标系的y轴的方向向量
Figure BDA00020093412900001715
根据左手坐标系的规则，世界坐标系的x轴的方向向量
Figure BDA00020093412900001716
根据向量叉乘的计算公式，可以得到世界坐标系的x轴的方向向量
Figure BDA00020093412900001717
步骤b33、根据该相机坐标系的Xc轴的方向向量和该世界坐标系的x轴的方向向量，获取该第一倾斜角，该第一倾斜角为该Xc轴的方向向量和该x轴的方向向量的夹角。
第一倾斜角为相机坐标系的Xc轴和世界坐标系的x轴的夹角，计算机设备可以根据相机坐标系的Xc轴的方向向量和世界坐标系的x轴的方向向量，计算得到第一倾斜角。
其中，相机坐标系的Xc轴的方向向量可以为
Figure BDA00020093412900001718
世界坐标系的x轴的方向向量
Figure BDA00020093412900001719
可以得到第一倾斜角I1的计算方式如下式(8)所示：
Figure BDA00020093412900001720
根据式(8)可得第一倾斜角
Figure BDA00020093412900001721
步骤501是根据第一场景下该深度相机采集的地面图像获取第一角度信息的一种可能实现方式。
502、根据该第一场景下惯性传感器采集的三轴重力加速度分量，获取深度相机的第二角度信息。
其中，该第二角度信息包括俯仰角和倾斜角。
针对惯性传感器采集的三轴重力加速度分量，该三轴加速度分量可以由惯性传感器采集后发送给计算机设备。惯性传感器静止时重力加速度g垂直于地面，惯性传感器可以测量重力加速度g在传感器坐标系的X轴、Y轴和Z轴的分量，分别为gx、gy和gz。考虑到惯性传感器采集的加速度数据(三轴重力加速度分量)可能存在噪声，为了保证计算结果的准确性，计算机设备可以先对数据进行降噪处理后，再根据其计算得到第二角度信息。
在一种可能实现方式中，该步骤502可以包括下述步骤502A和步骤502B：
502A、根据该三轴重力加速度分量，获取重力加速度方向的方向向量、该传感器坐标系的Z轴的方向向量和X轴的方向向量，该三轴重力加速度分量包括重力加速度在传感器坐标系的X轴、Y轴和Z轴的分量。
在传感器坐标系下，根据重力加速度g在传感器坐标系的X轴、Y轴和Z轴的分量gx、gy和gz，可以求得重力加速度方向的方向向量为
Figure BDA0002009341290000181
Figure BDA0002009341290000182
根据重力加速度g在传感器坐标系的Z轴的分量gz，可以求得传感器坐标系的Z轴的方向向量
Figure BDA0002009341290000183
根据重力加速度g在传感器坐标系的X轴的分量gx，可以求得传感器坐标系的X轴的方向向量
Figure BDA0002009341290000184
502B、根据该重力加速度方向的方向向量、该传感器坐标系的Z轴的方向向量和X轴的方向向量，获取该第二角度信息。
在一种可能实现方式中，该步骤502B可以包括步骤c1和步骤c2：
步骤c1、根据该传感器坐标系的Z轴的方向向量和该重力加速度方向的方向向量，获取第二俯仰角，该第二俯仰角与该传感器坐标系的Z轴的方向向量和该重力加速度方向的方向向量的夹角互余。
参见图8，提供了一种角度计算的原理图，如图8所示，与第二俯仰角P2互余的角为角m，角m为传感器坐标系的Z轴和重力加速度方向的夹角。根据传感器坐标系的Z轴的方向向量
Figure BDA0002009341290000185
和重力加速度方向的方向向量
Figure BDA0002009341290000186
Figure BDA0002009341290000187
可以得到角m的计算方式如下式(9)所示：
Figure BDA0002009341290000188
根据式(9)可得
Figure BDA0002009341290000189
根据m+P2＝90°，求得第二俯仰角
Figure BDA0002009341290000191
步骤c2、根据该传感器坐标系的X轴的方向向量和该重力加速度方向的方向向量，获取第二倾斜角，该第二倾斜角与该传感器坐标系的X轴的方向向量和该重力加速度方向的方向向量的夹角互余。
如图8所示，与第二倾斜角I2互余的角为角n，角n为传感器坐标系的X轴和重力加速度方向的夹角。根据传感器坐标系的X轴的方向向量
Figure BDA0002009341290000192
Figure BDA0002009341290000193
和重力加速度方向的方向向量
Figure BDA0002009341290000194
可以得到角n的计算方式如下式(10)所示：
Figure BDA0002009341290000195
根据式(9)可得
Figure BDA0002009341290000196
根据n+I2＝90°，求得第二俯仰角
Figure BDA0002009341290000197
需要说明的是，步骤502是根据该第一场景下惯性传感器采集的加速度数据获取第二角度信息的一种可能实现方式。
上述步骤501和步骤502为可选步骤，也即是，本发明实施例提供的角度信息获取方法也可以不包括该步骤501和步骤502，例如，该第一角度信息和第二角度信息可以由计算机设备预先获取后存储在本地，则计算机设备可以直接从本地存储中获取到该第一角度信息和第二角度信息，而无需通过执行步骤501和步骤502。
503、获取角度误差，该角度误差为深度相机的第一角度信息和第二角度信息之间的误差，该第一角度信息根据第一场景下该深度相机采集的地面图像得到，该第二角度信息根据该第一场景下惯性传感器采集的加速度数据得到。
本发明实施例中，计算机设备根据步骤501和步骤502获取到第一角度信息和第二角度信息后，可以计算第一角度信息和第二角度信息之间的角度误差。
在一种可能实现方式中，该角度误差包括俯仰角误差和倾斜角误差。该步骤503可以包括：根据该第一角度信息和该第二角度信息中的俯仰角，获取该俯仰角误差；根据该第一角度信息和该第二角度信息中的倾斜角，获取该倾斜角误差。
针对俯仰角误差，计算机设备可以将第一角度信息和该第二角度信息中的两个俯仰角相减，得到俯仰角误差。该俯仰角误差可以是第一角度信息的俯仰角减去第二角度信息的俯仰角得到的误差，也即是，ΔP＝P1-P2，该俯仰角误差也可以是第二角度信息的俯仰角减去第一角度信息的俯仰角得到的误差，也即是，ΔP＝P2-P1。
针对倾斜角误差，计算机设备可以将第一角度信息和该第二角度信息中的两个倾斜角相减，得到倾斜角误差。该倾斜角误差可以是第一角度信息的倾斜角减去第二角度信息的倾斜角得到的误差，也即是，ΔI＝I1-I2，该倾斜角误差也可以是第二角度信息的倾斜角减去第一角度信息的倾斜角得到的误差，也即是，ΔI＝I2-I1。
由于第一角度信息是在相机坐标系下计算出来的角度信息，第二角度信息是在传感器坐标系下计算出来的角度信息，因此，第一角度信息和第二角度信息之间的角度误差也即是相机坐标系和传感器坐标系之间的误差。参见图9，提供了一种相机坐标系和传感器坐标系的示意图，如图9所示，Xc轴、Yc轴和Zc轴是相机坐标系的坐标轴，X轴、Y轴和Z轴是传感器坐标系的坐标轴，相机坐标系的Zc轴和传感器坐标系的Z轴之间的夹角即为俯仰角误差ΔP，相机坐标系的Xc轴和传感器坐标系的X轴之间的夹角即为倾斜角误差ΔI。
上述步骤501至步骤503是在第一场景下，分别根据深度相机和惯性传感器采集的数据，计算得到深度相机的角度信息后，计算两者之间的角度误差的过程。参见图10，提供了一种获取角度误差的流程图，如图10所示，在第一场景下，计算机设备可以根据深度图像和配置信息，获取地面上的多个三维点的坐标信息，拟合得到地平面方程，再计算第一俯仰角P1和第一倾斜角I1。另外，计算机设备还可以根据惯性传感器采集的数据(IMU数据)，进行降噪处理后，计算第二俯仰角P2和第二倾斜角I2。
需要说明的是，本发明实施例是以该步骤503中计算机设备根据该第一角度信息和该第二角度信息计算角度误差为例进行说明，可以理解的是，计算机设备也可以预先根据第一角度信息和第二角度信息计算角度误差后，将该角度误差存储在本地，这样在该步骤503中计算机设备可以直接从本地存储中获取到该角度误差。
504、当获取到第二场景下该惯性传感器采集的加速度数据时，根据该第二场景下该惯性传感器采集的加速度数据，获取该深度相机的第三角度信息。
其中，第二场景可以是深度相机的真实应用场景，该第三角度信息包括俯仰角和倾斜角。
本发明实施例中，当深度相机安装到第二场景中时，惯性传感器可以将采集的加速度数据发送给计算机设备，计算机设备可以根据惯性传感器在第二场景下采集的加速度数据，获取深度相机在第二场景下的角度信息，也即是，第三角度信息，第三角度信息的获取过程与步骤502中第二角度信息的获取过程同理。
505、根据该角度误差，对该第三角度信息进行修正，将修正后的角度信息作为该第二场景下该深度相机的角度信息。
本发明实施例中，计算机设备利用惯性传感器采集的加速度数据获取到深度相机当前的角度信息后，该角度信息与深度相机当前真实的角度信息存在误差，因此需要进行角度信息的修正。
在一种可能实现方式中，该步骤501可以包括：根据该俯仰角误差，对该第三角度信息中的俯仰角进行修正，将修正后的俯仰角作为该第二场景下该深度相机的俯仰角；根据该倾斜角误差，对该第三角度信息中的倾斜角进行修正，将修正后的倾斜角作为该第二场景下该深度相机的倾斜角。
针对俯仰角的修正，如果俯仰角误差为第一角度信息的俯仰角减去第二角度信息的俯仰角得到的误差，则计算机设备可以将第三角度信息的俯仰角加上俯仰角误差，最终得到的俯仰角作为深度相机当前的俯仰角。如果俯仰角误差为第二角度信息的俯仰角减去第一角度信息的俯仰角得到的误差，则计算机设备可以将第三角度信息的俯仰角减去俯仰角误差，最终得到的俯仰角作为深度相机当前的俯仰角。
针对倾斜角的修正，如果倾斜角误差为第一角度信息的倾斜角减去第二角度信息的倾斜角得到的误差，则计算机设备可以将第三角度信息的倾斜角加上倾斜角误差，最终得到的倾斜角作为深度相机当前的倾斜角。如果倾斜角误差为第二角度信息的倾斜角减去第一角度信息的倾斜角得到的误差，则计算机设备可以将第三角度信息的倾斜角减去倾斜角误差，最终得到的倾斜角作为深度相机当前的倾斜角。
通过在第二场景下直接根据惯性传感器采集的加速度数据，获取深度相机的角度信息，而无需根据深度相机采集的地面图像来获取角度信息，可以避免真实场景下如果深度相机无法采集到地面图像，则导致无法准确获取角度信息的问题。
本发明实施例提供的方法，通过在第一场景下分别根据深度相机采集的地面图像和惯性传感器采集的加速度数据，获取深度相机的角度信息，计算两者之间的角度误差，当在第二场景下根据惯性传感器采集的加速度数据获取到深度相机的角度信息后，根据角度误差进行修正，最终得到第二场景下深度相机的角度信息。上述方案考虑了相机坐标系和传感器坐标系之间的角度误差，在第二场景下根据惯性传感器采集的加速度数据获取到角度信息后，根据预先获取的角度误差，对角度信息进行了修正，可以提高角度信息的准确性。
另外，通过在第二场景下直接根据惯性传感器采集的加速度数据，获取深度相机的角度信息，而无需根据深度相机采集的地面图像来获取角度信息，可以避免真实场景下如果深度相机无法采集到地面图像，则导致无法准确获取角度信息的问题。
图11是本发明实施例提供的一种角度信息获取装置的结构示意图。参照图11，该装置包括：
获取模块1101，用于获取角度误差，该角度误差为深度相机的第一角度信息和第二角度信息之间的误差，该第一角度信息根据第一场景下该深度相机采集的地面图像得到，该第二角度信息根据该第一场景下惯性传感器采集的加速度数据得到；
该获取模块1101还用于当获取到第二场景下该惯性传感器采集的加速度数据时，根据该第二场景下该惯性传感器采集的加速度数据，获取该深度相机的第三角度信息；
修正模块1102，用于根据该角度误差，对该第三角度信息进行修正，将修正后的角度信息作为该第二场景下该深度相机的角度信息；
其中，该第一角度信息、该第二角度信息和该第三角度信息包括俯仰角和倾斜角。
在一种可能实现方式中，该获取模块1101用于：
根据该第一场景下该深度相机采集的地面图像和该深度相机的内参，获取该深度相机的第一角度信息，该内参包括该深度相机的焦距和主点的坐标。
在一种可能实现方式中，该获取模块1101用于：
根据该地面图像、该内参和地面配置信息，获取相机坐标系下地面的地平面方程，该地面配置信息用于指定该地面图像中用于代表该地面的地面框；
根据该地平面方程，获取该第一角度信息；
其中，该相机坐标系的原点为该深度相机的光心，该相机坐标系的Zc轴与该深度相机的光轴重合，该相机坐标系的Xc轴和Yc轴对应的平面与该深度相机的成像平面平行。
在一种可能实现方式中，该获取模块1101用于：
根据该地面图像和该地面配置信息，确定该地面图像中多个像素点的深度信息，该多个像素点为该地面框中的像素点；
根据该多个像素点的深度信息、该多个像素点在像素坐标系中的坐标和该内参，获取该多个像素点对应的多个三维点在该相机坐标系中的坐标；
根据该多个三维点的坐标，获取该地平面方程。
在一种可能实现方式中，该获取模块1101用于：
根据该多个像素点的深度信息、该多个像素点在像素坐标系中的坐标和该内参，采用该像素坐标系和该相机坐标系之间的坐标转换关系，获取该多个三维点的坐标，该坐标转换关系为：
Figure BDA0002009341290000231
其中，F为该深度相机的焦距，dx和dy分别为像素点在图像坐标系的x轴和y轴的物理尺寸，(u0，v0)为该深度相机的主点在该像素坐标系中的坐标，(u，v)为像素点在该像素坐标系中的坐标，Zc为像素点的深度信息，(XC，YC，ZC)为三维点在该相机坐标系中的坐标。
在一种可能实现方式中，该获取模块1101用于：
根据该多个三维点的坐标，获取该地平面方程为：ax+by+cz+d＝0，其中，a、b和c为该地平面方程的系数，a2+b2+c2＝1，d为该地平面方程的常数。
在一种可能实现方式中，该获取模块用于：
根据该地平面方程，获取该地面的法向量；
根据该法向量和相机坐标系的Zc轴的方向向量，获取第一俯仰角，该第一俯仰角与该法向量和该Zc轴的方向向量的夹角互余；
根据该法向量、该Zc轴的方向向量、该第一俯仰角和该相机坐标系的Xc轴的方向向量，获取第一倾斜角。
在一种可能实现方式中，该获取模块1101用于：
根据该法向量、该Zc轴的方向向量和该第一俯仰角，获取世界坐标系的z轴的方向向量；
根据该世界坐标系的z轴的方向向量和该世界坐标系的y轴的方向向量，确定该世界坐标系的x轴的方向向量，该世界坐标系的y轴的方向向量与该法向量反向；
根据该相机坐标系的Xc轴的方向向量和该世界坐标系的x轴的方向向量，获取该第一倾斜角，该第一倾斜角为该Xc轴的方向向量和该x轴的方向向量的夹角；
其中，该世界坐标系的原点为该深度相机的光心到该地面的投影点，该世界坐标系的y轴垂直于该地面向上，该世界坐标系的z轴为该深度相机的光轴到该地面的投影。
在一种可能实现方式中，该获取模块1101用于：
根据该第一场景下该惯性传感器采集的三轴重力加速度分量，获取深度相机的第二角度信息。
在一种可能实现方式中，该获取模块1101用于：
根据该三轴重力加速度分量，获取重力加速度方向的方向向量、该传感器坐标系的Z轴的方向向量和X轴的方向向量，该三轴重力加速度分量包括重力加速度在传感器坐标系的X轴、Y轴和Z轴的分量；
根据该重力加速度方向的方向向量、该传感器坐标系的Z轴的方向向量和X轴的方向向量，获取该第二角度信息。
在一种可能实现方式中，该获取模块1101用于：
根据该传感器坐标系的Z轴的方向向量和该重力加速度方向的方向向量，获取第二俯仰角，该第二俯仰角与该Z轴的方向向量和该重力加速度方向的方向向量的夹角互余；
根据该传感器坐标系的X轴的方向向量和该重力加速度方向的方向向量，获取第二倾斜角，该第二倾斜角与该X轴的方向向量和该重力加速度方向的方向向量的夹角互余。
在一种可能实现方式中，该角度误差包括俯仰角误差和倾斜角误差，该获取模块1101用于：
根据该第一角度信息和该第二角度信息中的俯仰角，获取该俯仰角误差；
根据该第一角度信息和该第二角度信息中的倾斜角，获取该倾斜角误差。
在一种可能实现方式中，该修正模块1102用于：
根据该俯仰角误差，对该第三角度信息中的俯仰角进行修正，将修正后的俯仰角作为该第二场景下该深度相机的俯仰角；
根据该倾斜角误差，对该第三角度信息中的倾斜角进行修正，将修正后的倾斜角作为该第二场景下该深度相机的倾斜角。
本发明实施例中，通过在第一场景下分别根据深度相机采集的地面图像和惯性传感器采集的加速度数据，获取深度相机的角度信息，计算两者之间的角度误差，当在第二场景下根据惯性传感器采集的加速度数据获取到深度相机的角度信息后，根据角度误差进行修正，最终得到第二场景下深度相机的角度信息。上述方案考虑了相机坐标系和传感器坐标系之间的角度误差，在第二场景下根据惯性传感器采集的加速度数据获取到角度信息后，根据预先获取的角度误差，对角度信息进行了修正，可以提高角度信息的准确性。
另外，通过在第二场景下直接根据惯性传感器采集的加速度数据，获取深度相机的角度信息，而无需根据深度相机采集的地面图像来获取角度信息，可以避免真实场景下如果深度相机无法采集到地面图像，则导致无法准确获取角度信息的问题。
需要说明的是：上述实施例提供的角度信息获取装置在获取角度信息时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的角度信息获取装置与角度信息获取方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图12是本发明实施例提供的一种计算机设备1200的结构示意图，该计算机设备1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(CentralProcessing Units，CPU)1201和一个或一个以上的存储器1202，其中，该存储器1202中存储有至少一条指令，该至少一条指令由该处理器1201加载并执行以实现上述各个方法实施例提供的角度信息获取方法。当然，该计算机设备1200还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备1200还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种存储有至少一条指令的计算机可读存储介质，例如存储有至少一条指令的存储器，上述至少一条指令被处理器执行时实现上述实施例中的角度信息获取方法。例如，该计算机可读存储介质可以是只读内存(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-OnlyMemory，CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，上述程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
上述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (23)

1.一种角度信息获取方法，其特征在于，所述方法包括：
获取角度误差，所述角度误差为深度相机的第一角度信息和第二角度信息之间的误差，所述第一角度信息根据第一场景下所述深度相机采集的地面图像得到，所述第二角度信息根据所述第一场景下惯性传感器采集的加速度数据得到；
当获取到第二场景下所述惯性传感器采集的加速度数据时，根据所述第二场景下所述惯性传感器采集的加速度数据，获取所述深度相机的第三角度信息；
根据所述角度误差，对所述第三角度信息进行修正，将修正后的角度信息作为所述第二场景下所述深度相机的角度信息；
其中，所述第一角度信息、所述第二角度信息和所述第三角度信息包括俯仰角和倾斜角。
2.根据权利要求1所述的方法，其特征在于，所述第一角度信息的获取过程包括：
根据所述第一场景下所述深度相机采集的地面图像和所述深度相机的内参，获取所述深度相机的第一角度信息，所述内参包括所述深度相机的焦距和主点的坐标。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一场景下所述深度相机采集的地面图像和所述深度相机的内参，获取所述第一角度信息，包括：
根据所述地面图像、所述内参和地面配置信息，获取相机坐标系下地面的地平面方程，所述地面配置信息用于指定所述地面图像中用于代表所述地面的地面框；
根据所述地平面方程，获取所述第一角度信息；
其中，所述相机坐标系的原点为所述深度相机的光心，所述相机坐标系的Zc轴与所述深度相机的光轴重合，所述相机坐标系的Xc轴和Yc轴对应的平面与所述深度相机的成像平面平行。
4.根据权利要求3所述的方法，其特征在于，所述根据所述地面图像、所述内参和地面配置信息，获取相机坐标系下地面的地平面方程，包括：
根据所述地面图像和所述地面配置信息，确定所述地面图像中多个像素点的深度信息，所述多个像素点为所述地面框中的像素点；
根据所述多个像素点的深度信息、所述多个像素点在像素坐标系中的坐标和所述内参，获取所述多个像素点对应的多个三维点在所述相机坐标系中的坐标；
根据所述多个三维点的坐标，获取所述地平面方程。
5.根据权利要求3所述的方法，其特征在于，所述根据所述地平面方程，获取所述第一角度信息，包括：
根据所述地平面方程，获取所述地面的法向量；
根据所述法向量和相机坐标系的Zc轴的方向向量，获取第一俯仰角，所述第一俯仰角与所述法向量和所述Zc轴的方向向量的夹角互余；
根据所述法向量、所述Zc轴的方向向量、所述第一俯仰角和所述相机坐标系的Xc轴的方向向量，获取第一倾斜角。
6.根据权利要求5所述的方法，其特征在于，所述根据所述法向量、所述Zc轴的方向向量、所述第一俯仰角和所述相机坐标系的Xc轴的方向向量，获取所述第一倾斜角，包括：
根据所述法向量、所述Zc轴的方向向量和所述第一俯仰角，获取世界坐标系的z轴的方向向量；
根据所述世界坐标系的z轴的方向向量和所述世界坐标系的y轴的方向向量，确定所述世界坐标系的x轴的方向向量，所述世界坐标系的y轴的方向向量与所述法向量反向；
根据所述相机坐标系的Xc轴的方向向量和所述世界坐标系的x轴的方向向量，获取所述第一倾斜角，所述第一倾斜角为所述Xc轴的方向向量和所述x轴的方向向量的夹角；
其中，所述世界坐标系的原点为所述深度相机的光心到所述地面的投影点，所述世界坐标系的y轴垂直于所述地面向上，所述世界坐标系的z轴为所述深度相机的光轴到所述地面的投影。
7.根据权利要求1所述的方法，其特征在于，所述第二角度信息的获取过程包括：
根据所述第一场景下所述惯性传感器采集的三轴重力加速度分量，获取深度相机的第二角度信息。
8.根据权利要求7所述的方法，其特征在于，所述根据所述第一场景下所述惯性传感器采集的三轴重力加速度分量，获取所述第二角度信息，包括：
根据所述三轴重力加速度分量，获取重力加速度方向的方向向量、所述传感器坐标系的Z轴的方向向量和X轴的方向向量，所述三轴重力加速度分量包括重力加速度在传感器坐标系的X轴、Y轴和Z轴的分量；
根据所述重力加速度方向的方向向量、所述传感器坐标系的Z轴的方向向量和X轴的方向向量，获取所述第二角度信息。
9.根据权利要求8所述的方法，其特征在于，所述根据所述重力加速度方向的方向向量、所述传感器坐标系的Z轴的方向向量和X轴的方向向量，获取所述第二角度信息，包括：
根据所述传感器坐标系的Z轴的方向向量和所述重力加速度方向的方向向量，获取第二俯仰角，所述第二俯仰角与所述Z轴的方向向量和所述重力加速度方向的方向向量的夹角互余；
根据所述传感器坐标系的X轴的方向向量和所述重力加速度方向的方向向量，获取第二倾斜角，所述第二倾斜角与所述X轴的方向向量和所述重力加速度方向的方向向量的夹角互余。
10.根据权利要求1所述的方法，其特征在于，所述角度误差包括俯仰角误差和倾斜角误差，所述获取角度误差包括：
根据所述第一角度信息和所述第二角度信息中的俯仰角，获取所述俯仰角误差；
根据所述第一角度信息和所述第二角度信息中的倾斜角，获取所述倾斜角误差。
11.根据权利要求10所述的方法，其特征在于，所述根据所述角度误差，对所述第三角度信息进行修正，将修正后的角度信息作为所述第二场景下所述深度相机的角度信息，包括：
根据所述俯仰角误差，对所述第三角度信息中的俯仰角进行修正，将修正后的俯仰角作为所述第二场景下所述深度相机的俯仰角；
根据所述倾斜角误差，对所述第三角度信息中的倾斜角进行修正，将修正后的倾斜角作为所述第二场景下所述深度相机的倾斜角。
12.一种角度信息获取装置，其特征在于，所述装置包括：
获取模块，用于获取角度误差，所述角度误差为深度相机的第一角度信息和第二角度信息之间的误差，所述第一角度信息根据第一场景下所述深度相机采集的地面图像得到，所述第二角度信息根据所述第一场景下惯性传感器采集的加速度数据得到；
所述获取模块还用于当获取到第二场景下所述惯性传感器采集的加速度数据时，根据所述第二场景下所述惯性传感器采集的加速度数据，获取所述深度相机的第三角度信息；
修正模块，用于根据所述角度误差，对所述第三角度信息进行修正，将修正后的角度信息作为所述第二场景下所述深度相机的角度信息；
其中，所述第一角度信息、所述第二角度信息和所述第三角度信息包括俯仰角和倾斜角。
13.根据权利要求12所述的装置，其特征在于，所述获取模块用于：
根据所述第一场景下所述深度相机采集的地面图像和所述深度相机的内参，获取所述深度相机的第一角度信息，所述内参包括所述深度相机的焦距和主点的坐标。
14.根据权利要求13所述的装置，其特征在于，所述获取模块用于：
根据所述地面图像、所述内参和地面配置信息，获取相机坐标系下地面的地平面方程，所述地面配置信息用于指定所述地面图像中用于代表所述地面的地面框；
根据所述地平面方程，获取所述第一角度信息；
其中，所述相机坐标系的原点为所述深度相机的光心，所述相机坐标系的Zc轴与所述深度相机的光轴重合，所述相机坐标系的Xc轴和Yc轴对应的平面与所述深度相机的成像平面平行。
15.根据权利要求14所述的装置，其特征在于，所述获取模块用于：
根据所述地面图像和所述地面配置信息，确定所述地面图像中多个像素点的深度信息，所述多个像素点为所述地面框中的像素点；
根据所述多个像素点的深度信息、所述多个像素点在像素坐标系中的坐标和所述内参，获取所述多个像素点对应的多个三维点在所述相机坐标系中的坐标；
根据所述多个三维点的坐标，获取所述地平面方程。
16.根据权利要求14所述的装置，其特征在于，所述获取模块用于：
根据所述地平面方程，获取所述地面的法向量；
根据所述法向量和相机坐标系的Zc轴的方向向量，获取第一俯仰角，所述第一俯仰角与所述法向量和所述Zc轴的方向向量的夹角互余；
根据所述法向量、所述Zc轴的方向向量、所述第一俯仰角和所述相机坐标系的Xc轴的方向向量，获取第一倾斜角。
17.根据权利要求16所述的装置，其特征在于，所述获取模块用于：
根据所述法向量、所述Zc轴的方向向量和所述第一俯仰角，获取世界坐标系的z轴的方向向量；
根据所述世界坐标系的z轴的方向向量和所述世界坐标系的y轴的方向向量，确定所述世界坐标系的x轴的方向向量，所述世界坐标系的y轴的方向向量与所述法向量反向；
根据所述相机坐标系的Xc轴的方向向量和所述世界坐标系的x轴的方向向量，获取所述第一倾斜角，所述第一倾斜角为所述Xc轴的方向向量和所述x轴的方向向量的夹角；
其中，所述世界坐标系的原点为所述深度相机的光心到所述地面的投影点，所述世界坐标系的y轴垂直于所述地面向上，所述世界坐标系的z轴为所述深度相机的光轴到所述地面的投影。
18.根据权利要求12所述的装置，其特征在于，所述获取模块用于：
根据所述第一场景下所述惯性传感器采集的三轴重力加速度分量，获取深度相机的第二角度信息。
19.根据权利要求18所述的装置，其特征在于，所述获取模块用于：
根据所述三轴重力加速度分量，获取重力加速度方向的方向向量、所述传感器坐标系的Z轴的方向向量和X轴的方向向量，所述三轴重力加速度分量包括重力加速度在传感器坐标系的X轴、Y轴和Z轴的分量；
根据所述重力加速度方向的方向向量、所述传感器坐标系的Z轴的方向向量和X轴的方向向量，获取所述第二角度信息。
20.根据权利要求19所述的装置，其特征在于，所述获取模块用于：
根据所述传感器坐标系的Z轴的方向向量和所述重力加速度方向的方向向量，获取第二俯仰角，所述第二俯仰角与所述Z轴的方向向量和所述重力加速度方向的方向向量的夹角互余；
根据所述传感器坐标系的X轴的方向向量和所述重力加速度方向的方向向量，获取第二倾斜角，所述第二倾斜角与所述X轴的方向向量和所述重力加速度方向的方向向量的夹角互余。
21.根据权利要求12所述的装置，其特征在于，所述角度误差包括俯仰角误差和倾斜角误差，所述获取模块用于：
根据所述第一角度信息和所述第二角度信息中的俯仰角，获取所述俯仰角误差；
根据所述第一角度信息和所述第二角度信息中的倾斜角，获取所述倾斜角误差。
22.根据权利要求21所述的装置，其特征在于，所述修正模块用于：
根据所述俯仰角误差，对所述第三角度信息中的俯仰角进行修正，将修正后的俯仰角作为所述第二场景下所述深度相机的俯仰角；
根据所述倾斜角误差，对所述第三角度信息中的倾斜角进行修正，将修正后的倾斜角作为所述第二场景下所述深度相机的倾斜角。
23.一种角度信息获取系统，其特征在于，所述系统包括深度相机、惯性传感器和计算机设备；
所述深度相机用于在第一场景下采集地面图像；
所述惯性传感器用于在所述第一场景下采集加速度数据；
所述计算机设备用于获取角度误差，所述角度误差为所述深度相机的第一角度信息和第二角度信息之间的误差，所述第一角度信息根据所述第一场景下所述深度相机采集的地面图像得到，所述第二角度信息根据所述第一场景下所述惯性传感器采集的加速度数据得到；
所述惯性传感器还用于在第二场景下采集加速度数据；
所述计算机设备还用于当获取到第二场景下所述惯性传感器采集的加速度数据时，根据所述第二场景下所述惯性传感器采集的加速度数据，获取所述深度相机的第三角度信息；根据所述角度误差，对所述第三角度信息进行修正，将修正后的角度信息作为所述第二场景下所述深度相机的角度信息；
其中，所述第一角度信息、所述第二角度信息和所述第三角度信息包括俯仰角和倾斜角。
CN201910239898.0A 2019-03-27 2019-03-27 角度信息获取方法、装置和系统 Active CN111750850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910239898.0A CN111750850B (zh) 2019-03-27 2019-03-27 角度信息获取方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910239898.0A CN111750850B (zh) 2019-03-27 2019-03-27 角度信息获取方法、装置和系统

Publications (2)

Publication Number Publication Date
CN111750850A CN111750850A (zh) 2020-10-09
CN111750850B true CN111750850B (zh) 2021-12-14

Family

ID=72671580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910239898.0A Active CN111750850B (zh) 2019-03-27 2019-03-27 角度信息获取方法、装置和系统

Country Status (1)

Country Link
CN (1) CN111750850B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114830911B (zh) * 2022-05-19 2023-08-01 苏州大学 智能除草方法、装置和存储介质

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU5164498A (en) * 1996-12-03 1998-06-29 Recon/Optical, Inc. Electro-optical imaging array and camera system with pitch rate image motion compensation
CN102162738A (zh) * 2010-12-08 2011-08-24 中国科学院自动化研究所 摄像头与惯性传感器组合定位定姿系统的标定方法
CN103745474A (zh) * 2014-01-21 2014-04-23 南京理工大学 基于惯性传感器和摄像机的图像配准方法
CN104298887A (zh) * 2014-10-20 2015-01-21 中国空间技术研究院 一种多片线阵ccd相机的相对辐射定标方法
CN104833372A (zh) * 2015-04-13 2015-08-12 武汉海达数云技术有限公司 一种车载移动测量系统高清全景相机外参数标定方法
CN104933706A (zh) * 2015-05-29 2015-09-23 西安电子科技大学 一种成像系统色彩信息标定方法
CN105588563A (zh) * 2016-01-15 2016-05-18 武汉光庭科技有限公司 一种自动驾驶中双目相机与惯性导航单元联合标定方法
CN105654484A (zh) * 2015-12-30 2016-06-08 西北工业大学 光场相机外参数标定装置及方法
WO2016187760A1 (en) * 2015-05-23 2016-12-01 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors
CN106251305A (zh) * 2016-07-29 2016-12-21 长春理工大学 一种基于惯性测量单元imu的实时电子稳像方法
CN106500669A (zh) * 2016-09-22 2017-03-15 浙江工业大学 一种基于四旋翼imu参数的航拍图像矫正方法
CN106683130A (zh) * 2015-11-11 2017-05-17 杭州海康威视数字技术股份有限公司 一种深度图像获得方法及装置
CN107103626A (zh) * 2017-02-17 2017-08-29 杭州电子科技大学 一种基于智能手机的场景重建方法
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及系统
CN107945234A (zh) * 2016-10-12 2018-04-20 杭州海康威视数字技术股份有限公司 一种立体摄像机外部参数的确定方法及装置
CN108090456A (zh) * 2017-12-27 2018-05-29 北京初速度科技有限公司 一种车道线识别方法及装置
CN108288294A (zh) * 2018-01-17 2018-07-17 视缘(上海)智能科技有限公司 一种3d相机群的外参标定方法
CN108387206A (zh) * 2018-01-23 2018-08-10 北京航空航天大学 一种基于地平线与偏振光的载体三维姿态获取方法
JP2018139105A (ja) * 2016-12-21 2018-09-06 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 地理登録を通じた生センサ画像強化のための方法および装置
CN207923150U (zh) * 2017-08-04 2018-09-28 广东工业大学 一种深度相机和惯性测量单元相对姿态的标定系统
CN108663043A (zh) * 2018-05-16 2018-10-16 北京航空航天大学 基于单个相机辅助的分布式pos主子节点相对位姿测量方法
CN108762324A (zh) * 2018-05-23 2018-11-06 深圳市道通智能航空技术有限公司 云台电机角度和角速度估算方法、装置、云台及飞行器
CN108932737A (zh) * 2018-06-15 2018-12-04 深圳地平线机器人科技有限公司 车载相机俯仰角标定方法和装置、电子设备以及车辆
CN109029433A (zh) * 2018-06-28 2018-12-18 东南大学 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN109166150A (zh) * 2018-10-16 2019-01-08 青岛海信电器股份有限公司 获取位姿的方法、装置存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2615580B1 (en) * 2012-01-13 2016-08-17 Softkinetic Software Automatic scene calibration

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU5164498A (en) * 1996-12-03 1998-06-29 Recon/Optical, Inc. Electro-optical imaging array and camera system with pitch rate image motion compensation
CN102162738A (zh) * 2010-12-08 2011-08-24 中国科学院自动化研究所 摄像头与惯性传感器组合定位定姿系统的标定方法
CN103745474A (zh) * 2014-01-21 2014-04-23 南京理工大学 基于惯性传感器和摄像机的图像配准方法
CN104298887A (zh) * 2014-10-20 2015-01-21 中国空间技术研究院 一种多片线阵ccd相机的相对辐射定标方法
CN104833372A (zh) * 2015-04-13 2015-08-12 武汉海达数云技术有限公司 一种车载移动测量系统高清全景相机外参数标定方法
CN107850901A (zh) * 2015-05-23 2018-03-27 深圳市大疆创新科技有限公司 使用惯性传感器和图像传感器的传感器融合
WO2016187760A1 (en) * 2015-05-23 2016-12-01 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors
CN104933706A (zh) * 2015-05-29 2015-09-23 西安电子科技大学 一种成像系统色彩信息标定方法
CN106683130A (zh) * 2015-11-11 2017-05-17 杭州海康威视数字技术股份有限公司 一种深度图像获得方法及装置
CN105654484A (zh) * 2015-12-30 2016-06-08 西北工业大学 光场相机外参数标定装置及方法
CN105588563A (zh) * 2016-01-15 2016-05-18 武汉光庭科技有限公司 一种自动驾驶中双目相机与惯性导航单元联合标定方法
CN106251305A (zh) * 2016-07-29 2016-12-21 长春理工大学 一种基于惯性测量单元imu的实时电子稳像方法
CN106500669A (zh) * 2016-09-22 2017-03-15 浙江工业大学 一种基于四旋翼imu参数的航拍图像矫正方法
CN107945234A (zh) * 2016-10-12 2018-04-20 杭州海康威视数字技术股份有限公司 一种立体摄像机外部参数的确定方法及装置
JP2018139105A (ja) * 2016-12-21 2018-09-06 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 地理登録を通じた生センサ画像強化のための方法および装置
CN107103626A (zh) * 2017-02-17 2017-08-29 杭州电子科技大学 一种基于智能手机的场景重建方法
CN207923150U (zh) * 2017-08-04 2018-09-28 广东工业大学 一种深度相机和惯性测量单元相对姿态的标定系统
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及系统
CN108090456A (zh) * 2017-12-27 2018-05-29 北京初速度科技有限公司 一种车道线识别方法及装置
CN108288294A (zh) * 2018-01-17 2018-07-17 视缘(上海)智能科技有限公司 一种3d相机群的外参标定方法
CN108387206A (zh) * 2018-01-23 2018-08-10 北京航空航天大学 一种基于地平线与偏振光的载体三维姿态获取方法
CN108663043A (zh) * 2018-05-16 2018-10-16 北京航空航天大学 基于单个相机辅助的分布式pos主子节点相对位姿测量方法
CN108762324A (zh) * 2018-05-23 2018-11-06 深圳市道通智能航空技术有限公司 云台电机角度和角速度估算方法、装置、云台及飞行器
CN108932737A (zh) * 2018-06-15 2018-12-04 深圳地平线机器人科技有限公司 车载相机俯仰角标定方法和装置、电子设备以及车辆
CN109029433A (zh) * 2018-06-28 2018-12-18 东南大学 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN109166150A (zh) * 2018-10-16 2019-01-08 青岛海信电器股份有限公司 获取位姿的方法、装置存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Kinect深度相机标定算法研究;李雅娜;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20160315;第I138-6606页 *
Online Self-Calibration Initialization for Multi-Camera Visual-Inertial SLAM;Liu Yong等;《2018 IEEE International Conference on Robotics and Biomimetics (ROBIO)》;20190314;第192-199页 *
Spatial Calibration for Thermal-RGB Cameras and Inertiao Sensor System;Yan Li等;《2018 24th International Conference on Paltern Recognition(ICPR)》;20181129;第2295-2300页 *
点云下地平面检测的RGB-D相机外参自动标定;孙士杰等;《中国图象图形学报》;20180616;第866-873页 *
空间机器人双目视觉测量系统精度分析;田睿等;《载人航天》;20170215;第23卷(第1期);第76-81页 *
融合深度图像的移动机器人定位与导航方法研究;李仁东;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20180315;第I140-550页 *

Also Published As

Publication number Publication date
CN111750850A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
JP5027747B2 (ja) 位置測定方法、位置測定装置、およびプログラム
US8264553B2 (en) Hardware assisted image deblurring
CN109752003B (zh) 一种机器人视觉惯性点线特征定位方法及装置
JP5027746B2 (ja) 位置測定方法、位置測定装置、およびプログラム
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
KR20130138247A (ko) 신속 3ｄ 모델링
US11627390B2 (en) Encoding method, playing method and apparatus for image stabilization of panoramic video, and method for evaluating image stabilization algorithm
CN110517209B (zh) 数据处理方法、装置、系统以及计算机可读存储介质
WO2019171984A1 (ja) 信号処理装置、信号処理方法、及び、プログラム
CN106570907B (zh) 一种相机标定方法及装置
CN108827341A (zh) 用于确定图像采集装置的惯性测量单元中的偏差的方法
CN111711756A (zh) 一种图像防抖方法、电子设备及存储介质
CN109040525B (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN111791235A (zh) 一种机器人多相机视觉惯性点线特征定位方法及装置
CN111025330B (zh) 一种基于深度图的目标倾斜角检测方法及设备
CN112270702A (zh) 体积测量方法及装置、计算机可读介质和电子设备
US20160105590A1 (en) Method and device for determining movement between successive video images
CN110825079A (zh) 一种地图构建方法及装置
US11196929B2 (en) Signal processing device, imaging device, and signal processing method
CN111750850B (zh) 角度信息获取方法、装置和系统
CN114926316A (zh) 距离测量方法、装置、电子设备及存储介质
CN113436267B (zh) 视觉惯导标定方法、装置、计算机设备和存储介质
JP2004271292A (ja) 校正器及びステレオカメラ位置姿勢校正装置
JP2008076405A (ja) ３次元測量装置及び電子的記憶媒体
JP2013160602A (ja) 写真測量装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant