CN111750896B - 云台标定方法、装置、电子设备及存储介质 - Google Patents

云台标定方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111750896B
CN111750896B CN201910244079.5A CN201910244079A CN111750896B CN 111750896 B CN111750896 B CN 111750896B CN 201910244079 A CN201910244079 A CN 201910244079A CN 111750896 B CN111750896 B CN 111750896B
Authority
CN
China
Prior art keywords
calibration
imu
angle
holder
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910244079.5A
Other languages
English (en)
Other versions
CN111750896A (zh
Inventor
刘翎予
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Co Ltd
Original Assignee
Hangzhou Hikrobot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Technology Co Ltd filed Critical Hangzhou Hikrobot Technology Co Ltd
Priority to CN201910244079.5A priority Critical patent/CN111750896B/zh
Publication of CN111750896A publication Critical patent/CN111750896A/zh
Application granted granted Critical
Publication of CN111750896B publication Critical patent/CN111750896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • G01D18/008Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00 with calibration coefficients stored in memory

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Gyroscopes (AREA)

Abstract

本发明实施例提供了云台标定方法、装置、电子设备及存储介质,该方法包括:获取图像采集设备采集的标定目标的目标图像、IMU的惯性数据及电机编码器的码盘数据,其中,标定目标包括方向特征;根据标定目标的方向特征及目标图像中的方向特征,确定云台的实际欧拉角;根据云台的实际欧拉角、惯性数据及码盘数据,计算IMU的校准信息及电机编码器的校准信息,以完成云台的标定。在本发明实施例的云台标定方法中,通过采集包括方向特征的标定目标的目标图像,对云台进行标定,可以有效减少IMU的安装误差,提升了云台标定的精度。

Description

云台标定方法、装置、电子设备及存储介质
技术领域
本发明涉及摄影测量技术领域,特别是涉及云台标定方法、装置、电子设备及存储介质。
背景技术
云台是安装、固定摄像机的支撑设备。无人机挂载云台的目的是为了增加摄像机的拍摄范围,同时通过云台可以增加摄像机采集的图像的稳定性。一般云台都会搭载IMU(Inertial Measurement Unit,惯性测量单元)和电机编码器用来解算摄像机的姿态角速度等运动信息,从而进行增稳控制。
但是在实际运行过程中,IMU一般会存在漂移误差以及在安装过程中引入的安装误差,这些误差都会造成云台成像一定角度的歪斜、漂移甚至抖动,造成用户体验差的结果。因此使用前需要预先对云台中的IMU及电机编码器进行标定,以减轻误差对拍摄画面的影响。
现有云台标定技术中,在对云台的IMU标定以及电机编码器码盘零点标定时,会将IMU拆卸进行单独校准,但是这种校准方法会存在安装误差;而电机编码器标定的方法为将云台卡在零位进行校准,采用此种方法需要准备专门的云台校准工装,云台校准工装的精度误差会影响电机编码器的标定,总之现有云台标定方法中云台标定误差大。
发明内容
本发明实施例的目的在于提供一种云台标定方法、装置、电子设备及存储介质,以实现减少云台标定误差。具体技术方案如下:
第一方面,本发明实施例提供了一种云台标定方法,应用于云台,所述云台安装有惯性测量单元IMU、电机编码器及图像采集设备,所述方法包括:
获取所述图像采集设备采集的标定目标的目标图像、所述IMU的惯性数据及所述电机编码器的码盘数据,其中,所述标定目标包括方向特征;
根据所述标定目标的方向特征及所述目标图像中的方向特征,确定所述云台的实际欧拉角;
根据所述云台的实际欧拉角、所述惯性数据及所述码盘数据,计算所述IMU的校准信息及所述电机编码器的校准信息,以完成所述云台的标定。
可选的,所述云台处于预设平台挂载或无人机挂载状态下;所述获取所述图像采集设备采集的标定目标的目标图像、所述IMU的惯性数据及所述电机编码器的码盘数据,包括:
当所述云台处于静止状态时,获取所述图像采集设备采集的标定目标的目标图像、所述IMU的惯性数据及所述电机编码器的码盘数据;或者,当所述云台处于运动状态时,同步获取所述图像采集设备采集的标定目标的目标图像、所述IMU的惯性数据及所述电机编码器的码盘数据。
可选的,所述根据所述标定目标的方向特征及所述目标图像中的方向特征,确定所述云台的实际欧拉角,包括:
利用预设特征提取方法确定所述目标图像的方向特征;
以所述标定目标的方向特征为基准,计算所述目标图像的方向特征的滚转偏转角、俯仰偏转角及偏航偏转角,得到所述云台的实际欧拉角。
可选的,所述IMU的校准信息包括所述IMU的角速度校准信息及加速度校准信息,所述根据所述云台的实际欧拉角、所述惯性数据及所述码盘数据,计算所述IMU的校准信息及所述电机编码器的校准信息,以完成所述云台的标定,包括:
将所述惯性数据中的角速度,作为所述IMU的角速度校准信息;
根据所述实际欧拉角,确定所述云台的当前滚转角、当前俯仰角及当前偏航角;
计算重力加速度在所述当前滚转角、所述当前俯仰角及所述当前偏航角上的当前加速度分量;
根据所述惯性数据的加速度分量及所述当前加速度分量,确定所述IMU的加速度校准信息;
根据所述实际欧拉角及所述码盘数据,计算所述电机编码器的校准信息。
可选的,在所述根据所述云台的实际欧拉角、所述惯性数据及所述码盘数据,计算所述IMU的校准信息及所述电机编码器的校准信息,以完成所述云台的标定之后,所述方法还包括:
在所述云台运行时,按照所述IMU的校准信息及所述电机编码器的校准信息,校正所述云台的运行参数。
第二方面,本发明实施例提供了一种云台标定装置,位于云台,所述云台安装有惯性测量单元IMU、电机编码器及图像采集设备,所述装置包括:
数据获取模块,用于获取所述图像采集设备采集的标定目标的目标图像、所述IMU的惯性数据及所述电机编码器的码盘数据,其中,所述标定目标包括方向特征;
实际欧拉角确定模块,用于根据所述标定目标的方向特征及所述目标图像中的方向特征,确定所述云台的实际欧拉角;
云台标定模块,用于根据所述云台的实际欧拉角、所述惯性数据及所述码盘数据,计算所述IMU的校准信息及所述电机编码器的校准信息,以完成所述云台的标定。
可选的,所述数据获取模块,具体用于:
当所述云台处于静止状态时,获取所述图像采集设备采集的标定目标的目标图像、所述IMU的惯性数据及所述电机编码器的码盘数据;或者,当所述云台处于运动状态时,同步获取所述图像采集设备采集的标定目标的目标图像、所述IMU的惯性数据及所述电机编码器的码盘数据;其中,所述云台处于预设平台挂载或无人机挂载状态下。
可选的,所述实际欧拉角确定模块,包括:
方向特征确定子模块,用于利用预设特征提取方法确定所述目标图像的方向特征;
方向特征比较子模块,用于以所述标定目标的方向特征为基准,计算所述目标图像的方向特征的滚转偏转角、俯仰偏转角及偏航偏转角,得到所述云台的实际欧拉角。
可选的,所述云台标定模块,包括:
第一标定子模块,用于将所述惯性数据中的角速度,作为所述IMU的角速度校准信息;
第一计算子模块,用于根据所述实际欧拉角,确定所述云台的当前滚转角、当前俯仰角及当前偏航角;
第二计算子模块,用于计算重力加速度在所述当前滚转角、所述当前俯仰角及所述当前偏航角上的当前加速度分量;
第二标定子模块,用于根据所述惯性数据的加速度分量及所述当前加速度分量,确定所述IMU的加速度校准信息;
第三标定子模块,用于根据所述实际欧拉角及所述码盘数据,计算所述电机编码器的校准信息。
可选的,本发明实施例的云台标定装置还包括:
云台运行校正模块,用于在所述云台运行时,按照所述IMU的校准信息及所述电机编码器的校准信息,校正所述云台的运行参数。
第三方面,本发明实施例提供了一种电子设备,包括处理器及存储器;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现上述第一方面任一所述的云台标定方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面任一所述的云台标定方法。
本发明实施例提供的云台标定方法、装置、电子设备及存储介质,获图像采集设备采集的标定目标的目标图像、IMU的惯性数据及电机编码器的码盘数据,其中,标定目标包括方向特征;根据标定目标的方向特征及目标图像中的方向特征,确定云台的实际欧拉角;根据云台的实际欧拉角、惯性数据及码盘数据,计算IMU的校准信息及电机编码器的校准信息,以完成云台的标定。通过采集包括方向特征的标定目标的目标图像,对云台进行标定,可以有效减少IMU的安装误差,提升了云台标定的精度;在对电机编码器进行标定时,不用准备专门的云台校准工装,可以减少云台校准工装的精度对标定的影响。云台标定可以自动进行,减少了人工成本。当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的云台标定方法的第一种流程示意图;
图2为本发明实施例的云台标定方法的第二种流程示意图;
图3为本发明实施例的云台标定方法中采集图像的第一种示意图;
图4为本发明实施例的云台标定方法的第三种流程示意图;
图5为本发明实施例的云台标定方法中采集图像的第二种示意图;
图6为本发明实施例的云台标定方法中采集的目标图像的示意图;
图7为本发明实施例的云台标定装置的一种示意图;
图8为本发明实施例的电子设备的一种示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有云台标定技术中,在对云台的IMU标定以及电机编码器码盘零点标定时,会将IMU拆卸进行单独校准,这种校准方法会增加人工成本,并且在将IMU安装到云台上时还会引入安装误差;而电机编码器标定的方法为将云台卡在零位进行校准,采用此种方法需要准备专门的云台校准工装,并且云台校准工装的精度误差也会影响电机编码器的标定。现有云台标定方法中云台标定的精度低。
有鉴于此,本发明实施例提供了一种云台标定方法,参见图1,应用于云台,上述云台安装有IMU、电机编码器及图像采集设备,上述方法包括:
S101,获取上述图像采集设备采集的标定目标的目标图像、上述IMU的惯性数据及上述电机编码器的码盘数据,其中,上述标定目标包括方向特征。
本发明实施例中的云台标定方法可以通过标定系统实现,标定系统为任意能够实现本发明实施例的云台标定方法的系统。例如:
标定系统可以为一种设备,包括:处理器、存储器、通信接口和总线;处理器、存储器和通信接口通过总线连接并完成相互间的通信;存储器存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行本发明实施例的云台标定方法。具体的标定系统可以为云台。
标定系统还可以为一种应用程序,用于在运行时执行本发明实施例的云台标定方法。
标定系统还可以为一种存储介质,用于存储可执行代码,可执行代码用于执行本发明实施例的云台标定方法。
为了增加云台标定的准确度,可以将云台设定为指定状态,获取云台在指定状态时的目标图像、惯性数据及码盘数据。指定状态是指模拟云台工作场景的状态,例如,可以将云台挂载在特定的测试平台上,或将云台挂载在无人机上。图像采集设备为任意用于采集图像的设备,具体的可以为摄像机等。标定目标为预先设定的目标,标定目标需要包括方向特征,通过方向特征可以识别出水平方向、垂直方向等方向。IMU的惯性数据可以包括角速度及加速度,电机编码器的码盘数据可以包括角位移。
在采集一组目标图像、惯性数据及码盘数据的过程中,可以使云台保持静止状态,不允许移动或转动。在云台处于静止状态时,理论上IMU及电机编码器的测量数据不会发生变化,因此目标图像的采集时刻、惯性数据的采集时刻及码盘数据的采集时刻可以不同。但是为了提高标定的准确性,可选的,IMU的惯性数据的采集时刻、电机编码器的码盘数据的采集时刻及图像采集设备的目标图像的采集时刻相同。
例如参见图2所示,在采集数据的过程中,需要保证目标图像、IMU的惯性数据及码盘数据采集的同步,可以通过IMU采集时间触发图像采集设备曝光的形式,且要求保证环境亮度满足拍摄需求,图像采集设备采集曝光时间不应过长,将采集到的目标图像、惯性数据及码盘数据对应存储并计算。
当然在采集目标图像、惯性数据及码盘数据的过程中,云台还可以处于匀速直线运动或低速运动状态,此时需要保证IMU的惯性数据的采集时刻、电机编码器的码盘数据的采集时刻及图像采集设备的目标图像的采集时刻相同,即同步采集目标图像、惯性数据及码盘数据。其中,低速运动状态是指不足以引起IMU参数改变的运动状态。
在本发明实施例中,同步采集目标图像、惯性数据及码盘数据,保证后续计算时数据的有效对应,从而提高标定精度。将云台挂载在预设平台挂载或无人机下,模拟云台实际挂载环境,能够提高校正的准确度,云台为静止状态,提高图像采集设备采集目标图像的平稳性,可以提高云台校准精度。
例如图3所示,预先搭建环绕式标定图案区域,标定图案区域的图像搭载框架完全垂直于地平面,标定图案区域中的标定目标可以为矩形、十字或圆形等标准标定图案,标定目标满足对应图像识别算法可识别出水平和垂直的指示方向,并且设定水平方位的标志。云台可以旋转拍摄标定图案区域中的标定目标,并同步获取IMU的惯性数据及电机编码器的码盘数据。
S102,根据上述标定目标的方向特征及上述目标图像中的方向特征,确定上述云台的实际欧拉角;
目标图像为标定目标的图像,标定目标包括方向特征,因此目标图像同样包括方向特征。标定系统提取目标图像中的方向特征,计算标定目标的方向特征与目标图像的方向特征的差异,从而得到云台的实际欧拉角。可针对标定目标选定的标志图案采用不同算法,如边缘检测、梯度检测、圆心检测等特征提取与计算方法,得到目标图像与标定目标各方向的角度差,在标定目标方向已知的情况下,即可以得到云台的实际欧拉角。可选的,上述实际欧拉角包括:滚转偏转角、俯仰偏转角及偏航偏转角。
S103,根据上述云台的实际欧拉角、上述惯性数据及上述码盘数据,计算上述IMU的校准信息及上述电机编码器的校准信息,以完成上述云台的标定。
标定系统根据云台的实际欧拉角及惯性数据,计算IMU的校准信息。根据云台的实际欧拉角及码盘数据,计算电机编码器的校准信息,并存储校准信息,以完成云台的标定。后续云台在使用时,可以按照校准信息直接对云台的位置参数进行校正,从而提高图像采集设备采集图像的稳定性。
在本发明实施例中,通过采集包括方向特征的标定目标的目标图像,对云台进行标定,可以有效减少IMU的安装误差,提升了云台标定的精度;在对电机编码器进行标定时,不用准备专门的云台校准工装,可以减少云台校准工装的精度对标定的影响。云台标定可以自动进行,减少了人工成本。
可选的,上述根据上述标定目标的方向特征及上述目标图像中的方向特征,确定上述云台的实际欧拉角,包括:
步骤一,利用预设特征提取方法确定上述目标图像的方向特征。
预设特征提取方法为任意确定图像中方向特征的方法。例如标定系统可以通过边缘检测、梯度检测、圆心检测等特征提取与计算方法,确定目标图像的方向特征。标定系统还可以通过预先训练的深度学习算法,确定目标图像的方向特征。
步骤二,以上述标定目标的方向特征为基准,计算上述目标图像的方向特征的滚转偏转角、俯仰偏转角及偏航偏转角,得到上述云台的实际欧拉角。
预先获取标定目标的方向特征,标记系统以标定目标的方向特征为基准,计算目标图像方向特征与标定目标的方向特征的滚转偏转角、俯仰偏转角及偏航偏转角,得到云台的实际欧拉角。
可选的,上述IMU的校准信息包括上述IMU的角速度校准信息及加速度校准信息,上述根据上述云台的实际欧拉角、上述惯性数据及上述码盘数据,计算上述IMU的校准信息及上述电机编码器的校准信息,以完成上述云台的标定,包括:
步骤一,将上述惯性数据中的角速度,作为上述IMU的角速度校准信息。
云台处于静止状态,实际角速度为零,若IMU测量的惯性数据中的角速度为零,则说明IMU角速度测量准确,无需对云台的角速度数据进行校正(即角速度校准信息的数值为0),否则将此时IMU测量的惯性数据中的角速度作为IMU的角速度校准信息,例如云台静止时IMU测得的惯性数据中的滚转角角速度为a、俯仰角角速度为b、偏航角角速度为c,则IMU中角速度校准信息中滚转角角速度校准值为a、俯仰角角速度校准值为b、偏航角角速度校准值为c。
步骤二,根据上述实际欧拉角,确定上述云台的当前滚转角、当前俯仰角及当前偏航角。
实际欧拉角包括滚转偏转角、俯仰偏转角及偏航偏转角,获取上述三个角度可以得到云台的当前滚转角、当前俯仰角及当前偏航角。
步骤三,计算重力加速度在上述当前滚转角、上述当前俯仰角及上述当前偏航角上的当前加速度分量。
步骤四,根据上述惯性数据的加速度分量及上述当前加速度分量,确定上述IMU的加速度校准信息。
云台处于静止状态,实际加速度仅为重力加速度,计算惯性数据的加速度分量及当前加速度分量的差值,包括计算惯性数据在当前滚转角上的加速度分量,与重力加速度在当前滚转角上的加速度分量的差值,作为IMU在滚转角上的加速度校准信息;计算惯性数据在当前俯仰角上的加速度分量,与重力加速度在当前俯仰角上的加速度分量的差值,作为IMU在俯仰角上的加速度校准信息;计算惯性数据在当前偏航角上的加速度分量,与重力加速度在当前偏航角上的加速度分量的差值,作为IMU在偏航角上的加速度校准信息。
标定系统可以利用最小二乘法等优化算法进行校准信息的计算,其结果表现形式可以为单一固定偏置、偏置查询表或偏置拟合曲线等。
步骤五,根据上述实际欧拉角及上述码盘数据,计算上述电机编码器的校准信息。
标定系统按照实际欧拉角及码盘数据,计算电机编码器的校准信息。将角度转换为码盘刻度值,用当前的码盘刻度值减去角度转换的码盘刻度值即为零位刻度值。例如,实际欧拉角中当前俯仰角为5度,电机编码器俯仰角方向的码盘刻度为a,b为码盘满刻度,当前俯仰角对应的码盘刻度实际欧拉角为
Figure BDA0002010555960000101
即电机编码俯仰角零位刻度值为
Figure BDA0002010555960000102
可选的,在上述根据上述云台的实际欧拉角、上述惯性数据及上述码盘数据,计算上述IMU的校准信息及上述电机编码器的校准信息,以完成上述云台的标定之后,上述方法还包括:
在上述云台运行时,按照上述IMU的校准信息及上述电机编码器的校准信息,校正上述云台的运行参数。
在后续使用的过程中,例如在无人机挂载云台拍照时,按照IMU的校准信息及电机编码器的标定信息,利用相关的校正计算方法,校正云台的运行参数。例如,IMU测得的滚转角角速度为A、俯仰角角速度为B、偏航角角速度为C,IMU的角速度校准信息中滚转角角速度校准值为a、俯仰角角速度校准值为b、偏航角角速度校准值为c,则校准后的实际滚转角角速度为A-a、实际俯仰角角速度为B-b、实际偏航角角速度为C-c。例如,IMU测得的滚转角上的加速度为D、俯仰角上的角速度为E、偏航角上的加速度为F,IMU在滚转角上的加速度校准信息值为d,IMU在俯仰角上的加速度校准信息值为e,IMU在偏航角上的加速度校准信息值为f,则校准后的实际滚转角上的加速度为D-d,实际俯仰角上的角速度为E-e,实际偏航角上的加速度为F-f。例如,电机编码器标定的俯仰角零位刻度为a,而指示刻度为b,则校正后的实际编码器俯仰角度为
Figure BDA0002010555960000103
在本发明实施例中,通过云台标定的校准信息对云台运行参数进行校正,能够增加云台的稳定性,能够增加拍摄图像角度的准确性。
本发明实施例的云台标定方法的另一实施例可以如图4所示,无人机云台中搭载有摄像装置,所述摄像装置负责进行图像采集,随机角度拍摄预设好的标定目标,该标定目标为水平垂直的图像,并将采集到的图像实时传递至云台图像处理及存储模块;所述图像处理及存储模块负责对拍摄图像中标定目标的垂直或水平方向特征提取,得到摄像装置当前的滚转、俯仰及偏航角度,再通过测量的加速度计的值进行最小二乘拟合得到角速度计的校准信息,然后再通过角度以及当前的码盘值计算出相机水平时码盘的位置。具体可以包括:
步骤一,设计或搭建云台标定平台,可采用专用平台或直接无人机挂载。
步骤二,设计或搭建标定目标图案区域,可采用环绕式,标定目标图案搭载框架完全垂直于地平面,图案中标定目标可采用矩形、十字、圆形等标准标定图案,要求可以满足对应图像识别算法可识别出水平和垂直的指示方向,并且设定水平方位的标志,例如图2所示。
步骤三,设计图像采集、IMU数据采集、码盘数据采集同步,具体可以通过IMU采集时间触发云台曝光形式实现,且要求环境亮度足够,使云台图像采集曝光时间不至于过长,并将采集到的图像、IMU数据、码盘数据对应存储并计算。
步骤四,对采集到的图像进行处理,可针对标定目标采用不同算法,如边缘检测、梯度检测、圆心检测等特征提取与计算方法,得到对应图像的垂直、水平方向及偏航方位角,并与IMU数据对应存储。
步骤五,标定过程为定点标定过程。在云台的绝对零位前放置固定图像,如图5所示。使云台随机转动到能拍摄到图像的位置,拍出的图像可能有图示情况。待云台在此角度稳定后,进行图像、IMU数据、码盘数据采集,并存储下来。
步骤六,将标定过程得到的IMU数据、码盘数据与对应处理图像数据得到的相机角度进行一一匹配,利用最小二乘法等方法进行标定结果解算。其结果表现形式可以为单一固定偏置、偏置查询表或偏置拟合曲线等。
图6为不同角度下采集的四种图像,采集到的图像中包含标定目标,利用图像处理方法可提取出标定目标特征中心点(x,y),根据该中心点在摄像头画幅中的对应位置(x,y),摄像头距离采集平面的距离及摄像头视场角等内参,可以计算出摄像头当前的俯仰、滚转及偏航偏转角度,即对应当前位置的偏置情况。
步骤七,将标定结果存储至对应云台,并在云台运行过程中调用,进行偏置消除操作。
在本发明实施例中,利用图像手段对云台进行全自动标定,相对于传统标定方法,大大提升了云台标定的精度,并且标定可全自动进行,简化了标定流程。且本发明可以标定全方位偏置误差,另外考虑到云台控制的根因在于图像采集效果,使用图像手段标定可以不再考虑IMU与机芯的安装误差,提升产品良率和产品性能。
本发明实施例还提供了一种云台标定装置,参见图7,位于云台,上述云台安装有惯性测量单元IMU、电机编码器及图像采集设备,上述装置包括:
数据获取模块701,用于获取上述图像采集设备采集的标定目标的目标图像、上述IMU的惯性数据及上述电机编码器的码盘数据,其中,上述标定目标包括方向特征;
实际欧拉角确定模块702,用于根据上述标定目标的方向特征及上述目标图像中的方向特征,确定上述云台的实际欧拉角;
云台标定模块703,用于根据上述云台的实际欧拉角、上述惯性数据及上述码盘数据,计算上述IMU的校准信息及上述电机编码器的校准信息,以完成上述云台的标定。
在本发明实施例中,通过采集包括方向特征的标定目标的目标图像,对云台进行标定,可以有效减少IMU的安装误差,提升了云台标定的精度;在对电机编码器进行标定时,不用准备专门的云台校准工装,可以减少云台校准工装的精度对标定的影响。云台标定可以自动进行,减少了人工成本。
可选的,上述数据获取模块701,具体用于:
当所述云台处于静止状态时,获取所述图像采集设备采集的标定目标的目标图像、所述IMU的惯性数据及所述电机编码器的码盘数据;或者,当所述云台处于运动状态时,同步获取所述图像采集设备采集的标定目标的目标图像、所述IMU的惯性数据及所述电机编码器的码盘数据;其中,所述云台处于预设平台挂载或无人机挂载状态下。
可选的,所述实际欧拉角确定模块702,包括:
方向特征确定子模块,用于利用预设特征提取方法确定上述目标图像的方向特征;
方向特征比较子模块,用于以上述标定目标的方向特征为基准,计算上述目标图像的方向特征的滚转偏转角、俯仰偏转角及偏航偏转角,得到上述云台的实际欧拉角。
可选的,所述云台标定模块703,包括:
第一标定子模块,用于将所述惯性数据中的角速度,作为所述IMU的角速度校准信息;
第一计算子模块,用于根据所述实际欧拉角,确定所述云台的当前滚转角、当前俯仰角及当前偏航角;
第二计算子模块,用于计算重力加速度在所述当前滚转角、所述当前俯仰角及所述当前偏航角上的当前加速度分量;
第二标定子模块,用于根据所述惯性数据的加速度分量及所述当前加速度分量,确定所述IMU的加速度校准信息;
第三标定子模块,用于根据所述实际欧拉角及所述码盘数据,计算所述电机编码器的校准信息。
可选的,本发明实施例的云台标定装置还包括:
云台运行校正模块,用于在上述云台运行时,按照上述IMU的校准信息及上述电机编码器的校准信息,校正上述云台的运行参数。
本发明实施例提供了一种电子设备,参见图8,包括处理器801及存储器802;
上述存储器802,用于存放计算机程序;
上述处理器801,用于执行上述存储器802上所存放的程序时,实现如下步骤:
获取所述图像采集设备采集的标定目标的目标图像、上述IMU的惯性数据及上述电机编码器的码盘数据,其中,上述标定目标包括方向特征;
根据上述标定目标的方向特征及上述目标图像中的方向特征,确定上述云台的实际欧拉角;
根据上述云台的实际欧拉角、上述惯性数据及上述码盘数据,计算上述IMU的校准信息及上述电机编码器的校准信息,以完成上述云台的标定。
在本发明实施例中,通过采集包括方向特征的标定目标的目标图像,对云台进行标定,可以有效减少IMU的安装误差,提升了云台标定的精度;在对电机编码器进行标定时,不用准备专门的云台校准工装,可以减少云台校准工装的精度对标定的影响。云台标定可以自动进行,减少了人工成本。
上述处理器801,用于执行上述存储器802上所存放的程序时,还能够实现上述任一云台标定方法。
可选的上述电子设备还包括:通信接口及通信总线,其中,处理器801,通信接口,存储器802通过通信总线完成相互间的通信。
可选的,上述电子设备具体可以为一种云台,该云台上可以安装有:IMU、电机编码器及图像采集设备。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质,上述计算机可读存储介质内存储有计算机程序,上述计算机程序被处理器执行时实现如下步骤:
获取所述图像采集设备采集的标定目标的目标图像、上述IMU的惯性数据及上述电机编码器的码盘数据,其中,上述标定目标包括方向特征;
根据上述标定目标的方向特征及上述目标图像中的方向特征,确定上述云台的实际欧拉角;
根据上述云台的实际欧拉角、上述惯性数据及上述码盘数据,计算上述IMU的校准信息及上述电机编码器的校准信息,以完成上述云台的标定。
在本发明实施例中,通过采集包括方向特征的标定目标的目标图像,对云台进行标定,可以有效减少IMU的安装误差,提升了云台标定的精度;在对电机编码器进行标定时,不用准备专门的云台校准工装,可以减少云台校准工装的精度对标定的影响。云台标定可以自动进行,减少了人工成本。
可选的,上述计算机程序被处理器执行时,还能够实现上述任一云台标定方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备及存储介质的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (8)

1.一种云台标定方法,其特征在于,应用于云台,所述云台安装有惯性测量单元IMU、电机编码器及图像采集设备,所述云台处于预设平台挂载或无人机挂载状态下,所述方法包括:
当所述云台处于静止状态时,获取所述图像采集设备采集的标定目标的目标图像、所述IMU的惯性数据及所述电机编码器的码盘数据,其中,所述标定目标包括方向特征;
根据所述标定目标的方向特征及所述目标图像中的方向特征,确定所述云台的实际欧拉角;
根据所述云台的实际欧拉角、所述惯性数据及所述码盘数据,计算所述IMU的校准信息及所述电机编码器的校准信息,以完成所述云台的标定;
其中,所述IMU的校准信息包括所述IMU的角速度校准信息及加速度校准信息,所述根据所述云台的实际欧拉角、所述惯性数据及所述码盘数据,计算所述IMU的校准信息及所述电机编码器的校准信息,以完成所述云台的标定,包括:
将所述惯性数据中的角速度,作为所述IMU的角速度校准信息;
根据所述实际欧拉角,确定所述云台的当前滚转角、当前俯仰角及当前偏航角;
计算重力加速度在所述当前滚转角、所述当前俯仰角及所述当前偏航角上的当前加速度分量;
根据所述惯性数据的加速度分量及所述当前加速度分量,确定所述IMU的加速度校准信息;
根据所述实际欧拉角及所述码盘数据,计算所述电机编码器的校准信息。
2.根据权利要求1所述的方法,其特征在于,所述根据所述标定目标的方向特征及所述目标图像中的方向特征,确定所述云台的实际欧拉角,包括:
利用预设特征提取方法确定所述目标图像的方向特征;
以所述标定目标的方向特征为基准,计算所述目标图像的方向特征的滚转偏转角、俯仰偏转角及偏航偏转角,得到所述云台的实际欧拉角。
3.根据权利要求1所述的方法,其特征在于,在所述根据所述云台的实际欧拉角、所述惯性数据及所述码盘数据,计算所述IMU的校准信息及所述电机编码器的校准信息,以完成所述云台的标定之后,所述方法还包括:
在所述云台运行时,按照所述IMU的校准信息及所述电机编码器的校准信息,校正所述云台的运行参数。
4.一种云台标定装置,其特征在于,位于云台,所述云台安装有惯性测量单元IMU、电机编码器及图像采集设备,所述云台处于预设平台挂载或无人机挂载状态下,所述装置包括:
数据获取模块,用于当所述云台处于静止状态时,获取所述图像采集设备采集的标定目标的目标图像、所述IMU的惯性数据及所述电机编码器的码盘数据,其中,所述标定目标包括方向特征;
欧拉角确定模块,用于根据所述标定目标的方向特征及所述目标图像中的方向特征,确定所述云台的实际欧拉角;
云台标定模块,用于根据所述云台的实际欧拉角、所述惯性数据及所述码盘数据,计算所述IMU的校准信息及所述电机编码器的校准信息,以完成所述云台的标定;
其中,所述IMU的校准信息包括所述IMU的角速度校准信息及加速度校准信息,所述云台标定模块,包括:
第一标定子模块,用于将所述惯性数据中的角速度,作为所述IMU的角速度校准信息;
第一计算子模块,用于根据所述实际欧拉角,确定所述云台的当前滚转角、当前俯仰角及当前偏航角;
第二计算子模块,用于计算重力加速度在所述当前滚转角、所述当前俯仰角及所述当前偏航角上的当前加速度分量;
第二标定子模块,用于根据所述惯性数据的加速度分量及所述当前加速度分量,确定所述IMU的加速度校准信息;
第三标定子模块,用于根据所述实际欧拉角及所述码盘数据,计算所述电机编码器的校准信息。
5.根据权利要求4所述的装置,其特征在于,所述欧拉角确定模块,包括:
方向特征确定子模块,用于利用预设特征提取方法确定所述目标图像的方向特征;
方向特征比较子模块,用于以所述标定目标的方向特征为基准,计算所述目标图像的方向特征的滚转偏转角、俯仰偏转角及偏航偏转角,得到所述云台的实际欧拉角。
6.根据权利要求4所述的装置,其特征在于,所述装置还包括:
云台运行校正模块,用于在所述云台运行时,按照所述IMU的校准信息及所述电机编码器的校准信息,校正所述云台的运行参数。
7.一种电子设备,其特征在于,包括处理器及存储器;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现权利要求1-3任一所述的方法步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-3任一所述的方法步骤。
CN201910244079.5A 2019-03-28 2019-03-28 云台标定方法、装置、电子设备及存储介质 Active CN111750896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910244079.5A CN111750896B (zh) 2019-03-28 2019-03-28 云台标定方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910244079.5A CN111750896B (zh) 2019-03-28 2019-03-28 云台标定方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111750896A CN111750896A (zh) 2020-10-09
CN111750896B true CN111750896B (zh) 2022-08-05

Family

ID=72672390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910244079.5A Active CN111750896B (zh) 2019-03-28 2019-03-28 云台标定方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111750896B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113758498A (zh) * 2020-10-30 2021-12-07 北京京东乾石科技有限公司 一种无人机云台标定方法和装置
CN114565677B (zh) * 2022-01-14 2023-07-28 浙江大华技术股份有限公司 一种定位纠偏方法、监控设备和计算机可读存储介质
CN115541611B (zh) * 2022-09-29 2024-04-16 武汉大学 混凝土墙体外观图像采集系统参数检校方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103175530A (zh) * 2013-03-04 2013-06-26 北京航空航天大学 一种航空遥感惯性稳定平台耦合力矩估计与补偿方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8483960B2 (en) * 2002-09-20 2013-07-09 Visual Intelligence, LP Self-calibrated, remote imaging and data processing system
JP4365402B2 (ja) * 2006-12-20 2009-11-18 本田技研工業株式会社 移動体の移動角度検出装置
CN101793517B (zh) * 2010-02-09 2012-05-23 北京航空航天大学 一种提高机载平台定姿精度的在线快速方法
CN103424114B (zh) * 2012-05-22 2016-01-20 同济大学 一种视觉导航/惯性导航的全组合方法
CN106709222B (zh) * 2015-07-29 2019-02-01 中国科学院沈阳自动化研究所 基于单目视觉的imu漂移补偿方法
CN105865453B (zh) * 2016-05-20 2018-09-14 南京航空航天大学 一种位置传感器和姿态传感器的导航系统及其融合方法
WO2018120059A1 (zh) * 2016-12-30 2018-07-05 深圳市大疆灵眸科技有限公司 用于云台的控制方法、控制系统、云台和无人飞行器
CN106871904A (zh) * 2017-03-02 2017-06-20 南阳师范学院 一种基于机器视觉的移动机器人码盘定位修正方法
CN109211264B (zh) * 2017-07-06 2021-04-30 杭州海康机器人技术有限公司 测量系统的标定方法、装置、电子设备及可读存储介质
CN207095572U (zh) * 2017-08-17 2018-03-13 苏州中德睿博智能科技有限公司 一种用于飞行系统中头盔姿态测量的硬件平台
CN208043087U (zh) * 2018-04-13 2018-11-02 深圳市固胜智能科技有限公司 基于云台的imu校准装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103175530A (zh) * 2013-03-04 2013-06-26 北京航空航天大学 一种航空遥感惯性稳定平台耦合力矩估计与补偿方法

Also Published As

Publication number Publication date
CN111750896A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN110276786B (zh) 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
CN108592950B (zh) 一种单目相机和惯性测量单元相对安装角标定方法
CN111750896B (zh) 云台标定方法、装置、电子设备及存储介质
KR100762891B1 (ko) Los벡터 조정모델을 이용한 영상의 기하보정 방법 및 그장치
CN109708649B (zh) 一种遥感卫星的姿态确定方法及系统
CN106971408B (zh) 一种基于时空转换思想的摄像机标定方法
CN110736447B (zh) 一种集成式图像采集设备竖直方向水平位置检校方法
CN108932732B (zh) 一种获取监测对象数据信息的方法及装置
CN112529957A (zh) 确定摄像设备位姿的方法和装置、存储介质、电子设备
CN113580134A (zh) 视觉定位方法、设备、机器人、存储介质及程序产品
CN114777768A (zh) 一种卫星拒止环境高精度定位方法、系统及电子设备
CN115717867A (zh) 一种基于机载双相机和目标追踪的桥梁变形测量方法
KR20190143202A (ko) 3차원 모델링용 촬영장치 및 촬영방법
KR100520275B1 (ko) Gps 측량에 의한 수치지도 제작시 촬영기구회전모델을 이용한 선형 스캐닝 영상의 기하 보정방법
CN109506617B (zh) 传感器数据处理方法、存储介质、电子设备
CN113240806B (zh) 信息处理方法、装置、电子设备及存储介质
CN114979956A (zh) 一种无人机航拍地面目标定位方法及系统
CN111047552B (zh) 三维挠度测量方法及相关产品
CN108253940B (zh) 定位方法及装置
CN116519016A (zh) 无人机云台图像标定方法及系统
CN110906922A (zh) 无人机位姿信息的确定方法及装置、存储介质、终端
CN109959365B (zh) 一种基于位姿信息测量的海天线定位方法
CN113790711B (zh) 一种无人机低空飞行位姿无控多视测量方法及存储介质
CN115049697A (zh) 视觉测速方法、装置、设备和存储介质
Chabok Eliminating and modelling non-metric camera sensor distortions Caused by sidewise and forward motion of the UAV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Hikvision Robot Co.,Ltd.

Address before: 310052 5 / F, building 1, building 2, no.700 Dongliu Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address