CN106814753A - 一种目标位置矫正方法、装置及系统 - Google Patents

一种目标位置矫正方法、装置及系统 Download PDF

Info

Publication number
CN106814753A
CN106814753A CN201710164668.3A CN201710164668A CN106814753A CN 106814753 A CN106814753 A CN 106814753A CN 201710164668 A CN201710164668 A CN 201710164668A CN 106814753 A CN106814753 A CN 106814753A
Authority
CN
China
Prior art keywords
information
image acquiring
current time
target
last moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710164668.3A
Other languages
English (en)
Other versions
CN106814753B (zh
Inventor
陆宏伟
周彬
周剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Excellent Rich Science And Technology Ltd Co Of Chengdu Tong Jia
Original Assignee
Excellent Rich Science And Technology Ltd Co Of Chengdu Tong Jia
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Excellent Rich Science And Technology Ltd Co Of Chengdu Tong Jia filed Critical Excellent Rich Science And Technology Ltd Co Of Chengdu Tong Jia
Priority to CN201710164668.3A priority Critical patent/CN106814753B/zh
Publication of CN106814753A publication Critical patent/CN106814753A/zh
Application granted granted Critical
Publication of CN106814753B publication Critical patent/CN106814753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/12Target-seeking control

Abstract

本发明公开了一种目标位置矫正方法,包括:接收当前时刻和上一时刻图像获取装置的姿态信息;利用所述姿态信息以及上一时刻跟踪框的中心信息,生成当前时刻跟踪框的中心信息;根据当前时刻跟踪框的中心信息,以及目标检测器进行目标跟踪的控制;该方法将惯性测量装置得到的姿态信息和跟踪算法得到的目标检测器相结合的方式,去掉了平台姿态带来的目标移动,实现了无人飞行器等在目标跟踪过程中的精确控制;本发明还公开了一种目标位置矫正装置及系统,具有上述有益效果。

Description

一种目标位置矫正方法、装置及系统
技术领域
[0001] 本发明涉及计算机图像处理技术领域,特别涉及一种目标位置矫正方法、装置及 系统。
背景技术
[0002] 随着无人机技术的发展和进步,在军用和民用领域的应用都越来越广泛。且计算 机图像处理技术和无人机技术的融合更使得无人机在测绘、巡检和侦查等方面大展身手。 与此同时,由于无人机的运动过程不同于以往的任何载体,这就使得搭载于无人机上的图 像获取和处理装置的处理方法也将不同于常规的固定载体和高速运动载体。
[0003] 在基于无人机的图像处理中,目标跟踪是一个尤为重要的课题。运动目标跟踪在 军事制导,视觉导航,机器人,智能交通,公共安全等领域有着广泛的应用。例如,在车辆违 章抓拍系统中,车辆的跟踪就是必不可少的。在入侵检测中,人、动物、车辆等大型运动目标 的检测与跟踪也是整个系统运行的关键所在。
[0004] 而在无人机进行目标跟踪的过程中,如何去除无人机的移动带来的目标位置相对 于无人机本身的移动,始终保持目标位置和无人机位置的绝对关系,从而实现无人机的定 点跟踪功能,更加精确的控制无人机,显得尤为重要。
[0005] 因此,如何能够提高无人机目标位置的准确性,是本领域技术人员需要解决的技 术问题。
发明内容
[0006] 本发明的目的是提供一种目标位置矫正方法、装置及系统,将惯性测量装置得到 的姿态信息和跟踪算法得到的目标检测器相结合的方式,去掉了平台姿态带来的目标移 动,实现无人飞行器等在目标跟踪过程中的精确控制。
[0007] 为解决上述技术问题,本发明提供一种目标位置矫正方法,包括:
[0008] 接收当前时刻和上一时刻图像获取装置的姿态信息;
[0009] 利用所述姿态信息以及上一时刻跟踪框的中心信息,生成当前时刻跟踪框的中心 信息;
[0010] 根据所述当前时刻跟踪框的中心信息,以及目标检测器进行目标跟踪的控制。
[0011] 可选的,利用所述姿态信息以及上一时刻跟踪框的中心信息,生成当前时刻跟踪 框的中心信息,包括:
[0012] 将所述上一时刻跟踪框的中心信息,从图像坐标系转换到图像获取装置坐标系, 获得上一时刻图像获取装置坐标系下目标方位信息;
[0013] 根据上一时刻图像获取装置的姿态信息,将所述上一时刻图像获取装置坐标系下 目标方位信息投射到世界坐标系,获得上一时刻世界坐标系下目标方位信息;
[0014] 根据当前时刻图像获取装置的姿态信息,将所述上一时刻世界坐标系下目标方位 信息投射到图像获取装置坐标系,获得当前时刻图像获取装置坐标系下目标方位信息;
[0015] 根据图像获取装置内参,将所述当前时刻图像获取装置坐标系下目标方位信息投 射到图像坐标系,生成当前时刻跟踪框的中心信息。
[0016] 可选的,根据所述当前时刻跟踪框的中心信息,以及目标检测器进行目标跟踪的 控制,包括:
[0017] 使用所述目标检测器,在所述当前时刻跟踪框的中心信息的预定范围内搜索更新 目标位置;
[0018] 使用更新后的目标位置作为训练集,更新所述训练集得到更新后的目标检测器;
[0019] 利用更新后的目标检测器进行目标跟踪的控制。
[0020] 可选的,所述接收当前时刻和上一时刻图像获取装置的姿态信息,包括:
[0021] 接收当前时刻惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速 度数据值,以及上一时刻所述惯性测量装置发送的图像获取装置的N个加速度数据值和M个 角速度数据值;其中,N,M为大于1的整数;
[0022] 计算当前时刻图像获取装置的平均加速度数据值和平均角速度数据值作为当前 时刻图像获取装置的姿态信息;
[0023] 计算上一时刻图像获取装置的平均加速度数据值和平均角速度数据值作为上一 时刻图像获取装置的姿态信息。
[0024] 本发明还提供一种目标位置矫正装置,包括:
[0025] 姿态信息获取模块,用于接收当前时刻和上一时刻图像获取装置的姿态信息;
[0026] 跟踪框中心生成模块,用于利用所述姿态信息以及上一时刻跟踪框的中心信息, 生成当前时刻跟踪框的中心信息;
[0027] 跟踪控制模块,用于根据所述当前时刻跟踪框的中心信息,以及目标检测器进行 目标跟踪的控制。
[0028] 可选的,所述跟踪框中心生成模块,包括:
[0029] 第一转换单元,用于将所述上一时刻跟踪框的中心信息,从图像坐标系转换到图 像获取装置坐标系,获得上一时刻图像获取装置坐标系下目标方位信息;
[0030] 第二转换单元,用于根据上一时刻图像获取装置的姿态信息,将所述上一时刻图 像获取装置坐标系下目标方位信息投射到世界坐标系,获得上一时刻世界坐标系下目标方 位信息;
[0031] 第三转换单元,用于根据当前时刻图像获取装置的姿态信息,将所述上一时刻世 界坐标系下目标方位信息投射到图像获取装置坐标系,获得当前时刻图像获取装置坐标系 下目标方位信息;
[0032] 第四转换单元,用于根据图像获取装置内参,将所述当前时刻图像获取装置坐标 系下目标方位信息投射到图像坐标系,生成当前时刻跟踪框的中心信息。
[0033] 可选的,所述跟踪控制模块,包括:
[0034] 目标位置更新单元,用于使用所述目标检测器,在所述当前时刻跟踪框的中心信 息的预定范围内搜索更新目标位置;
[0035] 目标检测器更新单元,用于使用更新后的目标位置作为训练集,更新所述训练集 得到更新后的目标检测器;
[0036] 跟踪控制单元,用于利用更新后的目标检测器进行目标跟踪的控制。
[0037]可选的,所述姿态信息获取模块,包括:
[0038] 数据获取单元,用于接收当前时刻惯性测量装置发送的图像获取装置的N个加速 度数据值和M个角速度数据值,以及上一时刻所述惯性测量装置发送的图像获取装置的N个 加速度数据值和M个角速度数据值;其中,N,M为大于1的整数;
[0039] 姿态信息获取单元,用于计算当前时刻图像获取装置的平均加速度数据值和平均 角速度数据值作为当前时刻图像获取装置的姿态信息;计算上一时刻图像获取装置的平均 加速度数据值和平均角速度数据值作为上一时刻图像获取装置的姿态信息。
[0040] 本发明还提供一种目标位置矫正系统,包括:
[0041] 图像获取装置,用于获取目标图像信息;
[0042] 惯性测量装置,用于获取图像获取装置的姿态信息;
[0043] 处理器,用于接收当前时刻和上一时刻图像获取装置的姿态信息;利用所述姿态 信息以及上一时刻跟踪框的中心信息,生成当前时刻跟踪框的中心信息;根据所述当前时 刻跟踪框的中心信息,以及目标检测器进行目标跟踪的控制。
[0044] 可选的,所述惯性测量装置,包括至少一个加速度计和至少一个陀螺仪。
[0045] 本发明所提供的一种目标位置矫正方法,包括:接收当前时刻和上一时刻图像获 取装置的姿态信息;利用所述姿态信息以及上一时刻跟踪框的中心信息,生成当前时刻跟 踪框的中心信息;根据当前时刻跟踪框的中心信息,以及目标检测器进行目标跟踪的控制;
[0046] 可见,该方法将惯性测量装置得到的姿态信息和跟踪算法得到的目标检测器相结 合的方式,去掉了平台姿态带来的目标移动,实现了无人飞行器等在目标跟踪过程中的精 确控制;本发明还提供了一种目标位置矫正装置及系统,具有上述有益效果,在此不再赘 述。
附图说明
[0047] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本 发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据 提供的附图获得其他的附图。
[0048]图1为本发明实施例所提供的目标位置矫正方法的流程图;
[0049] 图2为本发明实施例所提供的目标位置矫正装置的结构框图;
[0050] 图3为本发明实施例所提供的目标位置矫正系统的结构框图;
[0051] 图4为本发明实施例所提供的另一目标位置矫正系统的结构框图。
具体实施方式
[0052] 本发明的核心是提供一种目标位置矫正方法、装置及系统,将惯性测量装置得到 的姿态信息和跟踪算法得到的目标检测器相结合的方式,去掉了平台姿态带来的目标移 动,实现无人飞行器等在目标跟踪过程中的精确控制。
[0053] 为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例 中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是 本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0054] 请参考图1,图1为本发明实施例所提供的目标位置矫正方法的流程图;该方法可 以包括:
[0055] S100、接收当前时刻和上一时刻图像获取装置的姿态信息;
[0056] 具体的,本实施例并不限定具体的姿态信息包含的内容,例如这里的姿态信息可 以包括图像获取装置的角速度信息和加速度信息。本实施例中姿态信息通常使用惯性测量 装置检测得到的。例如角速度信息可以由陀螺仪测得,加速度信息可以由加速度计测得。本 实施例并不对具体的检测方式进行限定,只要可以获取图像获取装置精确的姿态信息即 可。
[0057] 其中,本实施例中所说的图像获取装置,可以获取到图像的装置即可,例如相机, 摄像头等。并不对图像获取装置的具体形式进行限定。
[0058] 本实施例中获取的姿态信息可以采用惯性测量装置进行测量,惯性测量装置是测 量物体三轴姿态角(或角速率)以及加速度的装置。陀螺仪及加速度计是惯性测量装置的主 要元件,其精度直接影响到惯性测量装置的精度。目前,在实际工作中,由于不可避免的各 种干扰因素,而导致陀螺仪及加速度计产生误差,从初始对准开始,其导航误差就随时间而 增长,尤其是位置误差,这惯性测量装置的主要缺点。而本实施例利用外部信息进行辅助, 实现组合导航,使其有效地减小误差随时间积累的问题。
[0059] 进一步,为了提高可靠性,还可以为每个轴配备更多的姿态信息传感器(即多个陀 螺仪及加速度计)。根据接收到的多个姿态信息确定一个更加精准的最终姿态信息用于后 续计算,以提高系统的可靠性。本实施例并不限定具体的确定最终姿态信息的方式。例如可 以是求平均值,或者根据每个传感器的权重计算得到最终值等。一般而言惯性测量装置要 安装在被测物体的重心上。且这里的计算过程可以在惯性测量装置中进行,例如惯性测量 装置中有若干个加速度计,分别记为:N1、N2、N3,...,Nn;惯性测量装置中有若干个陀螺仪, 分别记为M1、M2、M3,...,Mn;惯性测量装置中还设置有一个微处理器;所述微处理器用于将 每个加速度计获取到的加速度数据值进行取算术平均值得到最终的加速度数据值;同时, 所述微处理器对每个陀螺仪计获取到的角速度数据值进行取算术平均值得到最终的角速 度数据值;进一步提高系统的精度。
[0060] 也可以在系统中的处理器中进行。具体位置的选择可以根据计算速度确定。优选 的,接收当前时刻和上一时刻图像获取装置的姿态信息可以包括:
[0061] 接收当前时刻惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速 度数据值,以及上一时刻所述惯性测量装置发送的图像获取装置的N个加速度数据值和M个 角速度数据值;其中,N,M为大于1的整数;
[0062] 计算当前时刻图像获取装置的平均加速度数据值和平均角速度数据值作为当前 时刻图像获取装置的姿态信息;
[0063] 计算上一时刻图像获取装置的平均加速度数据值和平均角速度数据值作为上一 时刻图像获取装置的姿态信息。
[0064]具体的,惯性测量装置中有若干个加速度计,分别记为:N1、N2、N3,. . .,Nn;惯性测 量装置中有若干个陀螺仪,分别记为M1、M2、M3,...,Mn;处理器用于将每个加速度计获取到 的加速度数据值进行取算术平均值得到最终的加速度数据值;同时,对每个陀螺仪计获取 到的角速度数据值进行取算术平均值得到最终的角速度数据值;进一步提高系统的精度。
[0065] 进一步系统在每一次计算得到的当前时刻和上一时刻图像获取装置的姿态信息 都可以进行保存。这样在下次使用时可以减少一次计算过程。
[0066] 进一步为了节省存储空间,也可以在上一时刻图像获取装置的姿态信息在本次计 算利用后进行删除。
[0067] S110、利用所述姿态信息以及上一时刻跟踪框的中心信息,生成当前时刻跟踪框 的中心信息;
[0068]具体的,跟踪框的中心信息的生成是对图像获取装置获取的图像信息进行处理后 得到的。该步骤是利用上一时刻和当前时刻的姿态信息,以及上一时刻跟踪框的中心信息, 生成准确的当前时刻跟踪框的中心信息。
[0069] 优选的,利用所述姿态信息以及上一时刻跟踪框的中心信息,生成当前时刻跟踪 框的中心信息可以包括:
[0070] 将所述上一时刻跟踪框的中心信息,从图像坐标系转换到图像获取装置坐标系, 获得上一时刻图像获取装置坐标系下目标方位信息;
[0071] 根据上一时刻图像获取装置的姿态信息,将所述上一时刻图像获取装置坐标系下 目标方位信息投射到世界坐标系,获得上一时刻世界坐标系下目标方位信息;
[0072] 根据当前时刻图像获取装置的姿态信息,将所述上一时刻世界坐标系下目标方位 信息投射到图像获取装置坐标系,获得当前时刻图像获取装置坐标系下目标方位信息; [0073] 根据图像获取装置内参,将所述当前时刻图像获取装置坐标系下目标方位信息投 射到图像坐标系,生成当前时刻跟踪框的中心信息。
[0074] 具体的,上述过程中图像坐标系和到相机坐标系相互投射的方法包括以下步骤:
[0075] 步骤1:设定物体在相机坐标系统中的坐标为:X (x,y,z);
[0076] 步骤2:采用如下公式,实现图像坐标系和相机坐标系的相互转换,设定所述图像 坐标系的点为Y(a,b):
[0077]
Figure CN106814753AD00081
[0078] 其中,fx、fy和物理焦距F之间的关系为:fx = F*s,fy = F*s; s表示X轴方向上的1毫 米长度所代表像素值;cx和cy表示光轴的偏移。
[0079] 上述过程中相机坐标系投射到世界坐标系中的方法包括以下步骤:
[0080] 步骤1:设相机坐标系的的坐标为:X (x,y,z);
[0081] 步骤2:对相机坐标系中的每一个坐标值进行旋转得到世界坐标系中的位置,x对 应的旋转矩阵为
Figure CN106814753AD00082
[0082] 步骤3: y对应的旋转矩阵为:
Figure CN106814753AD00083
[0083] 步骤4: z对应的旋转举证为
Figure CN106814753AD00091
[0084] 其中,0为绕X轴旋转的角度;a为绕Y轴旋转的角度;0为绕Z轴旋转的角度。
[0085] S120、根据所述当前时刻跟踪框的中心信息,以及目标检测器进行目标跟踪的控 制。
[0086] 具体的,目标检测器获取是利用跟踪算法生成的。本实施例并不对具体的跟踪算 法进行限定。在目标跟踪技术领域,常用的是KCF算法,其中,KCF算法是一种鉴别式追踪方 法,这类方法一般都是在追踪过程中训练一个目标检测器,使用目标检测器去检测下一帧 预测位置是否是目标,然后再使用新检测结果去更新训练集进而更新目标检测器。而在训 练目标检测器时一般选取目标区域为正样本,目标的周围区域为负样本,当然越靠近目标 的区域为正样本的可能性越大。
[0087]该步骤采用跟踪算法和惯性测量装置进行结合的方式,能够有效去除无人机姿态 变化导致的目标相对移动,实现更为精确的无人机跟踪控制。即有选的,根据所述当前时刻 跟踪框的中心信息,以及目标检测器进行目标跟踪的控制可以包括:
[0088] 使用所述目标检测器,在所述当前时刻跟踪框的中心信息的预定范围内搜索更新 目标位置;
[0089] 使用更新后的目标位置作为训练集,更新所述训练集得到更新后的目标检测器;
[0090] 利用更新后的目标检测器进行目标跟踪的控制。
[0091] 具体的,上述过程中目标检测器获取可以利用KFC算法生成。
[0092] 基于上述技术方案,本发明实施例提的目标位置矫正方法,该方法将惯性测量装 置得到的姿态信息和跟踪算法得到的目标检测器相结合的方式,去掉了平台姿态带来的目 标移动,实现了无人飞行器等在目标跟踪过程中的精确控制;且由于采用现有惯性测量装 置进行构建,无须特定的装置,就实现了目标位置的矫正,降低了成本。该方法流程较为简 易,也非常易于实现和推广。增强了无人机控制的精确性,较为巧妙地去除了平台姿态带来 的目标移动,具备很强的实用性。
[0093]下面对本发明实施例提供的目标位置矫正装置及系统进行介绍,下文描述的目标 位置矫正装置及系统与上文描述的目标位置矫正方法可相互对应参照。
[0094] 请参考图2,图2为本发明实施例所提供的目标位置矫正装置的结构框图;该装置 可以是处理器。该装置具体可以包括:
[0095] 姿态信息获取模块100,用于接收当前时刻和上一时刻图像获取装置的姿态信息; [0096] 跟踪框中心生成模块200,用于利用所述姿态信息以及上一时刻跟踪框的中心信 息,生成当前时刻跟踪框的中心信息;
[0097] 跟踪控制模块300,用于根据所述当前时刻跟踪框的中心信息,以及目标检测器进 行目标跟踪的控制。
[0098] 基于上述实施例,所述跟踪框中心生成模块200可以包括:
[0099] 第一转换单元,用于将所述上一时刻跟踪框的中心信息,从图像坐标系转换到图 像获取装置坐标系,获得上一时刻图像获取装置坐标系下目标方位信息;
[0100] 第二转换单元,用于根据上一时刻图像获取装置的姿态信息,将所述上一时刻图 像获取装置坐标系下目标方位信息投射到世界坐标系,获得上一时刻世界坐标系下目标方 位信息;
[0101] 第三转换单元,用于根据当前时刻图像获取装置的姿态信息,将所述上一时刻世 界坐标系下目标方位信息投射到图像获取装置坐标系,获得当前时刻图像获取装置坐标系 下目标方位信息;
[0102] 第四转换单元,用于根据图像获取装置内参,将所述当前时刻图像获取装置坐标 系下目标方位信息投射到图像坐标系,生成当前时刻跟踪框的中心信息。
[0103] 基于上述实施例,所述跟踪控制模块300可以包括:
[0104] 目标位置更新单元,用于使用所述目标检测器,在所述当前时刻跟踪框的中心信 息的预定范围内搜索更新目标位置;
[0105] 目标检测器更新单元,用于使用更新后的目标位置作为训练集,更新所述训练集 得到更新后的目标检测器;
[0106] 跟踪控制单元,用于利用更新后的目标检测器进行目标跟踪的控制。
[0107] 基于上述任意实施例,所述姿态信息获取模块100可以包括:
[0108] 数据获取单元,用于接收当前时刻惯性测量装置发送的图像获取装置的N个加速 度数据值和M个角速度数据值,以及上一时刻所述惯性测量装置发送的图像获取装置的N个 加速度数据值和M个角速度数据值;其中,N,M为大于1的整数;
[0109] 姿态信息获取单元,用于计算当前时刻图像获取装置的平均加速度数据值和平均 角速度数据值作为当前时刻图像获取装置的姿态信息;计算上一时刻图像获取装置的平均 加速度数据值和平均角速度数据值作为上一时刻图像获取装置的姿态信息。
[0110] 请参考图3,图3为本发明实施例所提供的目标位置矫正系统的结构框图;该系统 可以包括:
[0111] 图像获取装置10,用于获取目标图像信息;
[0112] 具体的,该图像获取装置10具体可以是相机。且图像获取装置10可以通过云台安 装在无人机上。
[0113] 惯性测量装置20,用于获取图像获取装置的姿态信息;
[0114]具体的,该惯性测量装置20具体可以包括加速度计和陀螺仪。
[0115] 处理器30,用于接收当前时刻和上一时刻图像获取装置的姿态信息;利用所述姿 态信息以及上一时刻跟踪框的中心信息,生成当前时刻跟踪框的中心信息;根据所述当前 时刻跟踪框的中心信息,以及目标检测器进行目标跟踪的控制。
[0116]具体的,该处理器30根据姿态信息进行目标位置矫正计算并得出矫正结果即目标 跟踪的控制结果。
[0117] 基于上述实施例,所述惯性测量装置20可以包括至少一个加速度计和至少一个陀 螺仪。即惯性测量单元中有若干个加速度计,分别记为:N1、N2、N3,...,Nn;所述惯性测量单 元中有若干个陀螺仪,分别记为M1、M2、M3,...,Mn;可以利用平均角速度数据和平均加速度 数据提高系统的精度。
[0118] 请参考图4,该系统还可以包括飞行控制器40,用于根据所述处理器30的矫正结果 进行跟踪控制,即根据当前时刻跟踪框的中心,进行目标跟踪的控制。存储器50,用于获取 的姿态信息进行暂存。处理器30分别信号连接于飞行控制器40、图像获取装置10、惯性测量 装置20和存储器50;惯性测量装置20还信号连接于存储器50。
[0119]具体的,惯性测量装置包括:加速度计和陀螺仪时所述加速度计将获取的加速度 信息同时发送给所述处理器和所述存储器;存储器将接收到的加速度信息进行暂存;所述 陀螺仪将获取到的角速度信息同时发送给所述处理器和所述存储器;存储器将接收到的角 速度信息进行暂存;处理器将获取到的加速度信息和角速度信息作为当前时刻的姿态信 息;存储器中存储的加速度信息和角速度信息将作为下一时刻的上一时刻姿态信息。
[0120] 进一步,存储器50可以是闪存。
[0121] 上述系统的工作过程可以是:
[0122] 无人机在飞行过程中,接收来自飞行控制器的控制命令,确定好目标;确定目标 后,无人机进行目标跟踪;同时,惯性测量装置实时获取无人机的姿态信息,将获取的姿态 信息存入存储器中;当无人机移动位置过后,惯性测量装置实时获取无人机的姿态信息发 送给处理器;处理器根据实时获取的姿态信息和存储器中存储的上一时刻的姿态信息,以 及根据以及上一时刻跟踪框的中心,生成当前时刻跟踪框的中心。并根据当前时刻跟踪框 的中心进行目标跟踪的控制。
[0123] 基于上述技术方案,本发明实施例提的一种目标位置矫正系统,构造简单,容易实 现,且系统构造成本低更加易于普及;同时,由于该系统增强了无人机控制的精确性,较为 巧妙地去除了平台姿态带来的目标移动,具备很强的实用性。
[0124] 说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实 施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而 言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明 即可。
[0125] 专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元 及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和 软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些 功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业 技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应 认为超出本发明的范围。
[0126] 结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执 行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存 储器(ROM)、电可编程ROM、电可擦除可编程R0M、寄存器、硬盘、可移动磁盘、CD-ROM、或技术 领域内所公知的任意其它形式的存储介质中。
[0127] 以上对本发明所提供的一种目标位置矫正方法、装置及系统进行了详细介绍。本 文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于 帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在 不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落 入本发明权利要求的保护范围内。

Claims (10)

1. 一种目标位置矫正方法,其特征在于,包括: 接收当前时刻和上一时刻图像获取装置的姿态信息; 利用所述姿态信息以及上一时刻跟踪框的中心信息,生成当前时刻跟踪框的中心信息; 根据所述当前时刻跟踪框的中心信息,以及目标检测器进行目标跟踪的控制。
2. 根据权利要求1所述的目标位置矫正方法,其特征在于,利用所述姿态信息以及上一时刻跟踪框的中心信息,生成当前时刻跟踪框的中心信息,包括: 将所述上一时刻跟踪框的中心信息,从图像坐标系转换到图像获取装置坐标系,获得上一时刻图像获取装置坐标系下目标方位信息; 根据上一时刻图像获取装置的姿态信息,将所述上一时刻图像获取装置坐标系下目标方位信息投射到世界坐标系,获得上一时刻世界坐标系下目标方位信息; 根据当前时刻图像获取装置的姿态信息,将所述上一时刻世界坐标系下目标方位信息投射到图像获取装置坐标系,获得当前时刻图像获取装置坐标系下目标方位信息; 根据图像获取装置内参,将所述当前时刻图像获取装置坐标系下目标方位信息投射到图像坐标系,生成当前时刻跟踪框的中心信息。
3. 根据权利要求1所述的目标位置矫正方法,其特征在于,根据所述当前时刻跟踪框的中心信息,以及目标检测器进行目标跟踪的控制,包括: 使用所述目标检测器,在所述当前时刻跟踪框的中心信息的预定范围内搜索更新目标位置; 使用更新后的目标位置作为训练集,更新所述训练集得到更新后的目标检测器; 利用更新后的目标检测器进行目标跟踪的控制。
4. 根据权利要求1-3任一项所述的目标位置矫正方法,其特征在于,所述接收当前时刻和上一时刻图像获取装置的姿态信息,包括: 接收当前时刻惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值,以及上一时刻所述惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值;其中,N,M为大于1的整数; 计算当前时刻图像获取装置的平均加速度数据值和平均角速度数据值作为当前时刻图像获取装置的姿态信息; 计算上一时刻图像获取装置的平均加速度数据值和平均角速度数据值作为上一时刻图像获取装置的姿态信息。
5. —种目标位置矫正装置,其特征在于,包括: 姿态信息获取模块,用于接收当前时刻和上一时刻图像获取装置的姿态信息; 跟踪框中心生成模块,用于利用所述姿态信息以及上一时刻跟踪框的中心信息,生成当前时刻跟踪框的中心信息; 跟踪控制模块,用于根据所述当前时刻跟踪框的中心信息,以及目标检测器进行目标跟踪的控制。
6. 根据权利要求5所述的目标位置矫正装置,其特征在于,所述跟踪框中心生成模块,包括: 第一转换单元,用于将所述上一时刻跟踪框的中心信息,从图像坐标系转换到图像获 取装置坐标系,获得上一时刻图像获取装置坐标系下目标方位信息; 第二转换单元,用于根据上一时刻图像获取装置的姿态信息,将所述上一时刻图像获取装置坐标系下目标方位信息投射到世界坐标系,获得上一时刻世界坐标系下目标方位信息; 第三转换单元,用于根据当前时刻图像获取装置的姿态信息,将所述上一时刻世界坐标系下目标方位信息投射到图像获取装置坐标系,获得当前时刻图像获取装置坐标系下目标方位信息; 第四转换单元,用于根据图像获取装置内参,将所述当前时刻图像获取装置坐标系下目标方位信息投射到图像坐标系,生成当前时刻跟踪框的中心信息。
7. 根据权利要求6所述的目标位置矫正装置,其特征在于,所述跟踪控制模块,包括: 目标位置更新单元,用于使用所述目标检测器,在所述当前时刻跟踪框的中心信息的 预定范围内搜索更新目标位置; 目标检测器更新单元,用于使用更新后的目标位置作为训练集,更新所述训练集得到更新后的目标检测器; 跟踪控制单元,用于利用更新后的目标检测器进行目标跟踪的控制。
8. 根据权利要求5-7任一项所述的目标位置矫正装置,其特征在于,所述姿态信息获取丰吴块,包括: 数据获取单元,用于接收当前时刻惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值,以及上一时刻所述惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值;其中,N,M为大于1的整数; 姿态信息获取单元,用于计算当前时刻图像获取装置的平均加速度数据值和平均角速度数据值作为当前时刻图像获取装置的姿态信息;计算上一时刻图像获取装置的平均加速度数据值和平均角速度数据值作为上一时刻图像获取装置的姿态信息。
9. 一种目标位置矫正系统,其特征在于,包括: 图像获取装置,用于获取目标图像信息; 惯性测量装置,用于获取图像获取装置的姿态信息; 处理器,用于接收当前时刻和上一时刻图像获取装置的姿态信息;利用所述姿态信息以及上一时刻跟踪框的中心信息,生成当前时刻跟踪框的中心信息;根据所述当前时刻跟踪框的中心信息,以及目标检测器进行目标跟踪的控制。
10. 根据权利要求9所述的目标位置矫正装置,其特征在于,所述惯性测量装置,包括至少一个加速度计和至少一个陀螺仪。
CN201710164668.3A 2017-03-20 2017-03-20 一种目标位置矫正方法、装置及系统 Active CN106814753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710164668.3A CN106814753B (zh) 2017-03-20 2017-03-20 一种目标位置矫正方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710164668.3A CN106814753B (zh) 2017-03-20 2017-03-20 一种目标位置矫正方法、装置及系统

Publications (2)

Publication Number Publication Date
CN106814753A true CN106814753A (zh) 2017-06-09
CN106814753B CN106814753B (zh) 2020-11-06

Family

ID=59114862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710164668.3A Active CN106814753B (zh) 2017-03-20 2017-03-20 一种目标位置矫正方法、装置及系统

Country Status (1)

Country Link
CN (1) CN106814753B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334099A (zh) * 2018-01-26 2018-07-27 上海深视信息科技有限公司 一种高效的无人机人体跟踪方法
CN108399642A (zh) * 2018-01-26 2018-08-14 上海深视信息科技有限公司 一种融合旋翼无人机imu数据的通用目标跟随方法和系统
CN109559330A (zh) * 2017-09-25 2019-04-02 北京金山云网络技术有限公司 运动目标的视觉跟踪方法、装置、电子设备及存储介质
CN109712188A (zh) * 2018-12-28 2019-05-03 科大讯飞股份有限公司 一种目标跟踪方法及装置
WO2020113357A1 (zh) * 2018-12-03 2020-06-11 深圳市大疆创新科技有限公司 目标检测方法和装置、航迹管理方法和装置以及无人机

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324937A (zh) * 2012-03-21 2013-09-25 日电(中国)有限公司 标注目标的方法和装置
CN105676865A (zh) * 2016-04-12 2016-06-15 北京博瑞爱飞科技发展有限公司 目标跟踪方法、装置和系统
CN106054924A (zh) * 2016-07-06 2016-10-26 北京北方猎天科技有限公司 一种无人机伴飞方法、伴飞装置和伴飞系统
CN106056633A (zh) * 2016-06-07 2016-10-26 速感科技(北京)有限公司 运动控制方法、装置及系统
CN106251364A (zh) * 2016-07-19 2016-12-21 北京博瑞爱飞科技发展有限公司 目标跟踪方法及装置
CN106257911A (zh) * 2016-05-20 2016-12-28 上海九鹰电子科技有限公司 用于视频图像的图像稳定方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324937A (zh) * 2012-03-21 2013-09-25 日电(中国)有限公司 标注目标的方法和装置
CN105676865A (zh) * 2016-04-12 2016-06-15 北京博瑞爱飞科技发展有限公司 目标跟踪方法、装置和系统
CN106257911A (zh) * 2016-05-20 2016-12-28 上海九鹰电子科技有限公司 用于视频图像的图像稳定方法和装置
CN106056633A (zh) * 2016-06-07 2016-10-26 速感科技(北京)有限公司 运动控制方法、装置及系统
CN106054924A (zh) * 2016-07-06 2016-10-26 北京北方猎天科技有限公司 一种无人机伴飞方法、伴飞装置和伴飞系统
CN106251364A (zh) * 2016-07-19 2016-12-21 北京博瑞爱飞科技发展有限公司 目标跟踪方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559330A (zh) * 2017-09-25 2019-04-02 北京金山云网络技术有限公司 运动目标的视觉跟踪方法、装置、电子设备及存储介质
CN108334099A (zh) * 2018-01-26 2018-07-27 上海深视信息科技有限公司 一种高效的无人机人体跟踪方法
CN108399642A (zh) * 2018-01-26 2018-08-14 上海深视信息科技有限公司 一种融合旋翼无人机imu数据的通用目标跟随方法和系统
WO2020113357A1 (zh) * 2018-12-03 2020-06-11 深圳市大疆创新科技有限公司 目标检测方法和装置、航迹管理方法和装置以及无人机
CN109712188A (zh) * 2018-12-28 2019-05-03 科大讯飞股份有限公司 一种目标跟踪方法及装置

Also Published As

Publication number Publication date
CN106814753B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
US10628712B2 (en) Method and apparatus for processing high-precision map data, storage medium and device
CN106959102B (zh) 测量子系统和测量系统
CN103776451B (zh) 一种基于mems的高精度三维姿态惯性测量系统以及测量方法
CN107148639B (zh) 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
Abyarjoo et al. Implementing a sensor fusion algorithm for 3D orientation detection with inertial/magnetic sensors
Ahmed et al. Accurate attitude estimation of a moving land vehicle using low-cost MEMS IMU sensors
KR102003152B1 (ko) 정보 처리 방법, 디바이스, 및 단말기
JP5062498B2 (ja) 風景マッチング用参照データ生成システム及び位置測位システム
CN105606094B (zh) 一种基于mems/gps组合系统的信息条件匹配滤波估计方法
CN102358325B (zh) 基于绝对坐标测量参考系的轨道参数测量装置及其方法
US6820002B2 (en) Moving direction detection method, moving direction detection apparatus, and program code
US20180225968A1 (en) Autonomous vehicle localization based on walsh kernel projection technique
CN104567931B (zh) 一种室内惯性导航定位的航向漂移误差消除方法
JP5435306B2 (ja) 画像処理システム及び位置測位システム
CN108387241A (zh) 更新自动驾驶车辆的定位地图的方法和系统
CN104121905B (zh) 一种基于惯性传感器的航向角获取方法
JP4929445B2 (ja) 力に依存するジャイロスコープの感度を測定する方法
US8200452B2 (en) Attitude-angle detecting apparatus and attitude-angle detecting method
CN101907714B (zh) 基于多传感器数据融合的gps辅助定位方法
CN110100151A (zh) 在视觉惯性测距中使用全球定位系统速度的系统及方法
JP3375268B2 (ja) ナビゲーション装置
JP2013186816A (ja) 動画処理装置、動画処理方法および動画処理用のプログラム
CN108303099B (zh) 基于三维视觉slam的无人机室内自主导航方法
CN106056664A (zh) 一种基于惯性和深度视觉的实时三维场景重构系统及方法
JP5057184B2 (ja) 画像処理システム及び車両制御システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant