CN106814753A - 一种目标位置矫正方法、装置及系统 - Google Patents
一种目标位置矫正方法、装置及系统 Download PDFInfo
- Publication number
- CN106814753A CN106814753A CN201710164668.3A CN201710164668A CN106814753A CN 106814753 A CN106814753 A CN 106814753A CN 201710164668 A CN201710164668 A CN 201710164668A CN 106814753 A CN106814753 A CN 106814753A
- Authority
- CN
- China
- Prior art keywords
- image acquisition
- information
- target
- acquisition device
- moment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000729 antidote Substances 0.000 title abstract 2
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000005259 measurement Methods 0.000 claims description 42
- 230000001133 acceleration Effects 0.000 claims description 36
- 238000012937 correction Methods 0.000 claims description 35
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 abstract description 14
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012050 conventional carrier Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种目标位置矫正方法，包括：接收当前时刻和上一时刻图像获取装置的姿态信息；利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息；根据当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制；该方法将惯性测量装置得到的姿态信息和跟踪算法得到的目标检测器相结合的方式，去掉了平台姿态带来的目标移动，实现了无人飞行器等在目标跟踪过程中的精确控制；本发明还公开了一种目标位置矫正装置及系统，具有上述有益效果。
Description
技术领域
本发明涉及计算机图像处理技术领域，特别涉及一种目标位置矫正方法、装置及系统。
背景技术
随着无人机技术的发展和进步，在军用和民用领域的应用都越来越广泛。且计算机图像处理技术和无人机技术的融合更使得无人机在测绘、巡检和侦查等方面大展身手。与此同时，由于无人机的运动过程不同于以往的任何载体，这就使得搭载于无人机上的图像获取和处理装置的处理方法也将不同于常规的固定载体和高速运动载体。
在基于无人机的图像处理中，目标跟踪是一个尤为重要的课题。运动目标跟踪在军事制导，视觉导航，机器人，智能交通，公共安全等领域有着广泛的应用。例如，在车辆违章抓拍系统中，车辆的跟踪就是必不可少的。在入侵检测中，人、动物、车辆等大型运动目标的检测与跟踪也是整个系统运行的关键所在。
而在无人机进行目标跟踪的过程中，如何去除无人机的移动带来的目标位置相对于无人机本身的移动，始终保持目标位置和无人机位置的绝对关系，从而实现无人机的定点跟踪功能，更加精确的控制无人机，显得尤为重要。
因此，如何能够提高无人机目标位置的准确性，是本领域技术人员需要解决的技术问题。
发明内容
本发明的目的是提供一种目标位置矫正方法、装置及系统，将惯性测量装置得到的姿态信息和跟踪算法得到的目标检测器相结合的方式，去掉了平台姿态带来的目标移动，实现无人飞行器等在目标跟踪过程中的精确控制。
为解决上述技术问题，本发明提供一种目标位置矫正方法，包括：
接收当前时刻和上一时刻图像获取装置的姿态信息；
利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息；
根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制。
可选的，利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息，包括：
将所述上一时刻跟踪框的中心信息，从图像坐标系转换到图像获取装置坐标系，获得上一时刻图像获取装置坐标系下目标方位信息；
根据上一时刻图像获取装置的姿态信息，将所述上一时刻图像获取装置坐标系下目标方位信息投射到世界坐标系，获得上一时刻世界坐标系下目标方位信息；
根据当前时刻图像获取装置的姿态信息，将所述上一时刻世界坐标系下目标方位信息投射到图像获取装置坐标系，获得当前时刻图像获取装置坐标系下目标方位信息；
根据图像获取装置内参，将所述当前时刻图像获取装置坐标系下目标方位信息投射到图像坐标系，生成当前时刻跟踪框的中心信息。
可选的，根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制，包括：
使用所述目标检测器，在所述当前时刻跟踪框的中心信息的预定范围内搜索更新目标位置；
使用更新后的目标位置作为训练集，更新所述训练集得到更新后的目标检测器；
利用更新后的目标检测器进行目标跟踪的控制。
可选的，所述接收当前时刻和上一时刻图像获取装置的姿态信息，包括：
接收当前时刻惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值，以及上一时刻所述惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值；其中，N，M为大于1的整数；
计算当前时刻图像获取装置的平均加速度数据值和平均角速度数据值作为当前时刻图像获取装置的姿态信息；
计算上一时刻图像获取装置的平均加速度数据值和平均角速度数据值作为上一时刻图像获取装置的姿态信息。
本发明还提供一种目标位置矫正装置，包括：
姿态信息获取模块，用于接收当前时刻和上一时刻图像获取装置的姿态信息；
跟踪框中心生成模块，用于利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息；
跟踪控制模块，用于根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制。
可选的，所述跟踪框中心生成模块，包括：
第一转换单元，用于将所述上一时刻跟踪框的中心信息，从图像坐标系转换到图像获取装置坐标系，获得上一时刻图像获取装置坐标系下目标方位信息；
第二转换单元，用于根据上一时刻图像获取装置的姿态信息，将所述上一时刻图像获取装置坐标系下目标方位信息投射到世界坐标系，获得上一时刻世界坐标系下目标方位信息；
第三转换单元，用于根据当前时刻图像获取装置的姿态信息，将所述上一时刻世界坐标系下目标方位信息投射到图像获取装置坐标系，获得当前时刻图像获取装置坐标系下目标方位信息；
第四转换单元，用于根据图像获取装置内参，将所述当前时刻图像获取装置坐标系下目标方位信息投射到图像坐标系，生成当前时刻跟踪框的中心信息。
可选的，所述跟踪控制模块，包括：
目标位置更新单元，用于使用所述目标检测器，在所述当前时刻跟踪框的中心信息的预定范围内搜索更新目标位置；
目标检测器更新单元，用于使用更新后的目标位置作为训练集，更新所述训练集得到更新后的目标检测器；
跟踪控制单元，用于利用更新后的目标检测器进行目标跟踪的控制。
可选的，所述姿态信息获取模块，包括：
数据获取单元，用于接收当前时刻惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值，以及上一时刻所述惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值；其中，N，M为大于1的整数；
姿态信息获取单元，用于计算当前时刻图像获取装置的平均加速度数据值和平均角速度数据值作为当前时刻图像获取装置的姿态信息；计算上一时刻图像获取装置的平均加速度数据值和平均角速度数据值作为上一时刻图像获取装置的姿态信息。
本发明还提供一种目标位置矫正系统，包括：
图像获取装置，用于获取目标图像信息；
惯性测量装置，用于获取图像获取装置的姿态信息；
处理器，用于接收当前时刻和上一时刻图像获取装置的姿态信息；利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息；根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制。
可选的，所述惯性测量装置，包括至少一个加速度计和至少一个陀螺仪。
本发明所提供的一种目标位置矫正方法，包括：接收当前时刻和上一时刻图像获取装置的姿态信息；利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息；根据当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制；
可见，该方法将惯性测量装置得到的姿态信息和跟踪算法得到的目标检测器相结合的方式，去掉了平台姿态带来的目标移动，实现了无人飞行器等在目标跟踪过程中的精确控制；本发明还提供了一种目标位置矫正装置及系统，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例所提供的目标位置矫正方法的流程图；
图2为本发明实施例所提供的目标位置矫正装置的结构框图；
图3为本发明实施例所提供的目标位置矫正系统的结构框图；
图4为本发明实施例所提供的另一目标位置矫正系统的结构框图。
具体实施方式
本发明的核心是提供一种目标位置矫正方法、装置及系统，将惯性测量装置得到的姿态信息和跟踪算法得到的目标检测器相结合的方式，去掉了平台姿态带来的目标移动，实现无人飞行器等在目标跟踪过程中的精确控制。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例所提供的目标位置矫正方法的流程图；该方法可以包括：
S100、接收当前时刻和上一时刻图像获取装置的姿态信息；
具体的，本实施例并不限定具体的姿态信息包含的内容，例如这里的姿态信息可以包括图像获取装置的角速度信息和加速度信息。本实施例中姿态信息通常使用惯性测量装置检测得到的。例如角速度信息可以由陀螺仪测得，加速度信息可以由加速度计测得。本实施例并不对具体的检测方式进行限定，只要可以获取图像获取装置精确的姿态信息即可。
其中，本实施例中所说的图像获取装置，可以获取到图像的装置即可，例如相机，摄像头等。并不对图像获取装置的具体形式进行限定。
本实施例中获取的姿态信息可以采用惯性测量装置进行测量，惯性测量装置是测量物体三轴姿态角(或角速率)以及加速度的装置。陀螺仪及加速度计是惯性测量装置的主要元件，其精度直接影响到惯性测量装置的精度。目前，在实际工作中，由于不可避免的各种干扰因素，而导致陀螺仪及加速度计产生误差，从初始对准开始，其导航误差就随时间而增长，尤其是位置误差，这惯性测量装置的主要缺点。而本实施例利用外部信息进行辅助，实现组合导航，使其有效地减小误差随时间积累的问题。
进一步，为了提高可靠性，还可以为每个轴配备更多的姿态信息传感器(即多个陀螺仪及加速度计)。根据接收到的多个姿态信息确定一个更加精准的最终姿态信息用于后续计算，以提高系统的可靠性。本实施例并不限定具体的确定最终姿态信息的方式。例如可以是求平均值，或者根据每个传感器的权重计算得到最终值等。一般而言惯性测量装置要安装在被测物体的重心上。且这里的计算过程可以在惯性测量装置中进行，例如惯性测量装置中有若干个加速度计，分别记为：N1、N2、N3，...，Nn；惯性测量装置中有若干个陀螺仪，分别记为M1、M2、M3，...，Mn；惯性测量装置中还设置有一个微处理器；所述微处理器用于将每个加速度计获取到的加速度数据值进行取算术平均值得到最终的加速度数据值；同时，所述微处理器对每个陀螺仪计获取到的角速度数据值进行取算术平均值得到最终的角速度数据值；进一步提高系统的精度。
也可以在系统中的处理器中进行。具体位置的选择可以根据计算速度确定。优选的，接收当前时刻和上一时刻图像获取装置的姿态信息可以包括：
接收当前时刻惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值，以及上一时刻所述惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值；其中，N，M为大于1的整数；
计算当前时刻图像获取装置的平均加速度数据值和平均角速度数据值作为当前时刻图像获取装置的姿态信息；
计算上一时刻图像获取装置的平均加速度数据值和平均角速度数据值作为上一时刻图像获取装置的姿态信息。
具体的，惯性测量装置中有若干个加速度计，分别记为：N1、N2、N3，...，Nn；惯性测量装置中有若干个陀螺仪，分别记为M1、M2、M3，...，Mn；处理器用于将每个加速度计获取到的加速度数据值进行取算术平均值得到最终的加速度数据值；同时，对每个陀螺仪计获取到的角速度数据值进行取算术平均值得到最终的角速度数据值；进一步提高系统的精度。
进一步系统在每一次计算得到的当前时刻和上一时刻图像获取装置的姿态信息都可以进行保存。这样在下次使用时可以减少一次计算过程。
进一步为了节省存储空间，也可以在上一时刻图像获取装置的姿态信息在本次计算利用后进行删除。
S110、利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息；
具体的，跟踪框的中心信息的生成是对图像获取装置获取的图像信息进行处理后得到的。该步骤是利用上一时刻和当前时刻的姿态信息，以及上一时刻跟踪框的中心信息，生成准确的当前时刻跟踪框的中心信息。
优选的，利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息可以包括：
将所述上一时刻跟踪框的中心信息，从图像坐标系转换到图像获取装置坐标系，获得上一时刻图像获取装置坐标系下目标方位信息；
根据上一时刻图像获取装置的姿态信息，将所述上一时刻图像获取装置坐标系下目标方位信息投射到世界坐标系，获得上一时刻世界坐标系下目标方位信息；
根据当前时刻图像获取装置的姿态信息，将所述上一时刻世界坐标系下目标方位信息投射到图像获取装置坐标系，获得当前时刻图像获取装置坐标系下目标方位信息；
根据图像获取装置内参，将所述当前时刻图像获取装置坐标系下目标方位信息投射到图像坐标系，生成当前时刻跟踪框的中心信息。
具体的，上述过程中图像坐标系和到相机坐标系相互投射的方法包括以下步骤：
步骤1：设定物体在相机坐标系统中的坐标为：X(x，y，z)；
步骤2：采用如下公式，实现图像坐标系和相机坐标系的相互转换，设定所述图像坐标系的点为Y(a，b)：
其中，fx、fy和物理焦距F之间的关系为：fx＝F*s，fy＝F*s；s表示X轴方向上的1毫米长度所代表像素值；cx和cy表示光轴的偏移。
上述过程中相机坐标系投射到世界坐标系中的方法包括以下步骤：
步骤1：设相机坐标系的的坐标为：X(x，y，z)；
步骤2：对相机坐标系中的每一个坐标值进行旋转得到世界坐标系中的位置，x对应的旋转矩阵为：
步骤3：y对应的旋转矩阵为：
步骤4：z对应的旋转举证为：
其中，为绕X轴旋转的角度；α为绕Y轴旋转的角度；β为绕Z轴旋转的角度。
S120、根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制。
具体的，目标检测器获取是利用跟踪算法生成的。本实施例并不对具体的跟踪算法进行限定。在目标跟踪技术领域，常用的是KCF算法，其中，KCF算法是一种鉴别式追踪方法，这类方法一般都是在追踪过程中训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，然后再使用新检测结果去更新训练集进而更新目标检测器。而在训练目标检测器时一般选取目标区域为正样本，目标的周围区域为负样本，当然越靠近目标的区域为正样本的可能性越大。
该步骤采用跟踪算法和惯性测量装置进行结合的方式，能够有效去除无人机姿态变化导致的目标相对移动，实现更为精确的无人机跟踪控制。即有选的，根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制可以包括：
使用所述目标检测器，在所述当前时刻跟踪框的中心信息的预定范围内搜索更新目标位置；
使用更新后的目标位置作为训练集，更新所述训练集得到更新后的目标检测器；
利用更新后的目标检测器进行目标跟踪的控制。
具体的，上述过程中目标检测器获取可以利用KFC算法生成。
基于上述技术方案，本发明实施例提的目标位置矫正方法，该方法将惯性测量装置得到的姿态信息和跟踪算法得到的目标检测器相结合的方式，去掉了平台姿态带来的目标移动，实现了无人飞行器等在目标跟踪过程中的精确控制；且由于采用现有惯性测量装置进行构建，无须特定的装置，就实现了目标位置的矫正，降低了成本。该方法流程较为简易，也非常易于实现和推广。增强了无人机控制的精确性，较为巧妙地去除了平台姿态带来的目标移动，具备很强的实用性。
下面对本发明实施例提供的目标位置矫正装置及系统进行介绍，下文描述的目标位置矫正装置及系统与上文描述的目标位置矫正方法可相互对应参照。
请参考图2，图2为本发明实施例所提供的目标位置矫正装置的结构框图；该装置可以是处理器。该装置具体可以包括：
姿态信息获取模块100，用于接收当前时刻和上一时刻图像获取装置的姿态信息；
跟踪框中心生成模块200，用于利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息；
跟踪控制模块300，用于根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制。
基于上述实施例，所述跟踪框中心生成模块200可以包括：
第一转换单元，用于将所述上一时刻跟踪框的中心信息，从图像坐标系转换到图像获取装置坐标系，获得上一时刻图像获取装置坐标系下目标方位信息；
第二转换单元，用于根据上一时刻图像获取装置的姿态信息，将所述上一时刻图像获取装置坐标系下目标方位信息投射到世界坐标系，获得上一时刻世界坐标系下目标方位信息；
第三转换单元，用于根据当前时刻图像获取装置的姿态信息，将所述上一时刻世界坐标系下目标方位信息投射到图像获取装置坐标系，获得当前时刻图像获取装置坐标系下目标方位信息；
第四转换单元，用于根据图像获取装置内参，将所述当前时刻图像获取装置坐标系下目标方位信息投射到图像坐标系，生成当前时刻跟踪框的中心信息。
基于上述实施例，所述跟踪控制模块300可以包括：
目标位置更新单元，用于使用所述目标检测器，在所述当前时刻跟踪框的中心信息的预定范围内搜索更新目标位置；
目标检测器更新单元，用于使用更新后的目标位置作为训练集，更新所述训练集得到更新后的目标检测器；
跟踪控制单元，用于利用更新后的目标检测器进行目标跟踪的控制。
基于上述任意实施例，所述姿态信息获取模块100可以包括：
数据获取单元，用于接收当前时刻惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值，以及上一时刻所述惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值；其中，N，M为大于1的整数；
姿态信息获取单元，用于计算当前时刻图像获取装置的平均加速度数据值和平均角速度数据值作为当前时刻图像获取装置的姿态信息；计算上一时刻图像获取装置的平均加速度数据值和平均角速度数据值作为上一时刻图像获取装置的姿态信息。
请参考图3，图3为本发明实施例所提供的目标位置矫正系统的结构框图；该系统可以包括：
图像获取装置10，用于获取目标图像信息；
具体的，该图像获取装置10具体可以是相机。且图像获取装置10可以通过云台安装在无人机上。
惯性测量装置20，用于获取图像获取装置的姿态信息；
具体的，该惯性测量装置20具体可以包括加速度计和陀螺仪。
处理器30，用于接收当前时刻和上一时刻图像获取装置的姿态信息；利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息；根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制。
具体的，该处理器30根据姿态信息进行目标位置矫正计算并得出矫正结果即目标跟踪的控制结果。
基于上述实施例，所述惯性测量装置20可以包括至少一个加速度计和至少一个陀螺仪。即惯性测量单元中有若干个加速度计，分别记为：N1、N2、N3，...，Nn；所述惯性测量单元中有若干个陀螺仪，分别记为M1、M2、M3，...，Mn；可以利用平均角速度数据和平均加速度数据提高系统的精度。
请参考图4，该系统还可以包括飞行控制器40，用于根据所述处理器30的矫正结果进行跟踪控制，即根据当前时刻跟踪框的中心，进行目标跟踪的控制。存储器50，用于获取的姿态信息进行暂存。处理器30分别信号连接于飞行控制器40、图像获取装置10、惯性测量装置20和存储器50；惯性测量装置20还信号连接于存储器50。
具体的，惯性测量装置包括：加速度计和陀螺仪时所述加速度计将获取的加速度信息同时发送给所述处理器和所述存储器；存储器将接收到的加速度信息进行暂存；所述陀螺仪将获取到的角速度信息同时发送给所述处理器和所述存储器；存储器将接收到的角速度信息进行暂存；处理器将获取到的加速度信息和角速度信息作为当前时刻的姿态信息；存储器中存储的加速度信息和角速度信息将作为下一时刻的上一时刻姿态信息。
进一步，存储器50可以是闪存。
上述系统的工作过程可以是：
无人机在飞行过程中，接收来自飞行控制器的控制命令，确定好目标；确定目标后，无人机进行目标跟踪；同时，惯性测量装置实时获取无人机的姿态信息，将获取的姿态信息存入存储器中；当无人机移动位置过后，惯性测量装置实时获取无人机的姿态信息发送给处理器；处理器根据实时获取的姿态信息和存储器中存储的上一时刻的姿态信息，以及根据以及上一时刻跟踪框的中心，生成当前时刻跟踪框的中心。并根据当前时刻跟踪框的中心进行目标跟踪的控制。
基于上述技术方案，本发明实施例提的一种目标位置矫正系统，构造简单，容易实现，且系统构造成本低更加易于普及；同时，由于该系统增强了无人机控制的精确性，较为巧妙地去除了平台姿态带来的目标移动，具备很强的实用性。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种目标位置矫正方法、装置及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种目标位置矫正方法，其特征在于，包括：
接收当前时刻和上一时刻图像获取装置的姿态信息；
利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息；
根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制。
2.根据权利要求1所述的目标位置矫正方法，其特征在于，利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息，包括：
将所述上一时刻跟踪框的中心信息，从图像坐标系转换到图像获取装置坐标系，获得上一时刻图像获取装置坐标系下目标方位信息；
根据上一时刻图像获取装置的姿态信息，将所述上一时刻图像获取装置坐标系下目标方位信息投射到世界坐标系，获得上一时刻世界坐标系下目标方位信息；
根据当前时刻图像获取装置的姿态信息，将所述上一时刻世界坐标系下目标方位信息投射到图像获取装置坐标系，获得当前时刻图像获取装置坐标系下目标方位信息；
根据图像获取装置内参，将所述当前时刻图像获取装置坐标系下目标方位信息投射到图像坐标系，生成当前时刻跟踪框的中心信息。
3.根据权利要求1所述的目标位置矫正方法，其特征在于，根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制，包括：
使用所述目标检测器，在所述当前时刻跟踪框的中心信息的预定范围内搜索更新目标位置；
使用更新后的目标位置作为训练集，更新所述训练集得到更新后的目标检测器；
利用更新后的目标检测器进行目标跟踪的控制。
4.根据权利要求1-3任一项所述的目标位置矫正方法，其特征在于，所述接收当前时刻和上一时刻图像获取装置的姿态信息，包括：
接收当前时刻惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值，以及上一时刻所述惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值；其中，N，M为大于1的整数；
计算当前时刻图像获取装置的平均加速度数据值和平均角速度数据值作为当前时刻图像获取装置的姿态信息；
计算上一时刻图像获取装置的平均加速度数据值和平均角速度数据值作为上一时刻图像获取装置的姿态信息。
5.一种目标位置矫正装置，其特征在于，包括：
姿态信息获取模块，用于接收当前时刻和上一时刻图像获取装置的姿态信息；
跟踪框中心生成模块，用于利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息；
跟踪控制模块，用于根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制。
6.根据权利要求5所述的目标位置矫正装置，其特征在于，所述跟踪框中心生成模块，包括：
第一转换单元，用于将所述上一时刻跟踪框的中心信息，从图像坐标系转换到图像获取装置坐标系，获得上一时刻图像获取装置坐标系下目标方位信息；
第二转换单元，用于根据上一时刻图像获取装置的姿态信息，将所述上一时刻图像获取装置坐标系下目标方位信息投射到世界坐标系，获得上一时刻世界坐标系下目标方位信息；
第三转换单元，用于根据当前时刻图像获取装置的姿态信息，将所述上一时刻世界坐标系下目标方位信息投射到图像获取装置坐标系，获得当前时刻图像获取装置坐标系下目标方位信息；
第四转换单元，用于根据图像获取装置内参，将所述当前时刻图像获取装置坐标系下目标方位信息投射到图像坐标系，生成当前时刻跟踪框的中心信息。
7.根据权利要求6所述的目标位置矫正装置，其特征在于，所述跟踪控制模块，包括：
目标位置更新单元，用于使用所述目标检测器，在所述当前时刻跟踪框的中心信息的预定范围内搜索更新目标位置；
目标检测器更新单元，用于使用更新后的目标位置作为训练集，更新所述训练集得到更新后的目标检测器；
跟踪控制单元，用于利用更新后的目标检测器进行目标跟踪的控制。
8.根据权利要求5-7任一项所述的目标位置矫正装置，其特征在于，所述姿态信息获取模块，包括：
数据获取单元，用于接收当前时刻惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值，以及上一时刻所述惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值；其中，N，M为大于1的整数；
姿态信息获取单元，用于计算当前时刻图像获取装置的平均加速度数据值和平均角速度数据值作为当前时刻图像获取装置的姿态信息；计算上一时刻图像获取装置的平均加速度数据值和平均角速度数据值作为上一时刻图像获取装置的姿态信息。
9.一种目标位置矫正系统，其特征在于，包括：
图像获取装置，用于获取目标图像信息；
惯性测量装置，用于获取图像获取装置的姿态信息；
处理器，用于接收当前时刻和上一时刻图像获取装置的姿态信息；利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息；根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制。
10.根据权利要求9所述的目标位置矫正装置，其特征在于，所述惯性测量装置，包括至少一个加速度计和至少一个陀螺仪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710164668.3A CN106814753B (zh) | 2017-03-20 | 2017-03-20 | 一种目标位置矫正方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710164668.3A CN106814753B (zh) | 2017-03-20 | 2017-03-20 | 一种目标位置矫正方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106814753A true CN106814753A (zh) | 2017-06-09 |
| CN106814753B CN106814753B (zh) | 2020-11-06 |
Family
ID=59114862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710164668.3A Active CN106814753B (zh) | 2017-03-20 | 2017-03-20 | 一种目标位置矫正方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106814753B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108334099A (zh) * | 2018-01-26 | 2018-07-27 | 上海深视信息科技有限公司 | 一种高效的无人机人体跟踪方法 |
| CN108363946A (zh) * | 2017-12-29 | 2018-08-03 | 成都通甲优博科技有限责任公司 | 基于无人机的人脸跟踪系统及方法 |
| CN108399642A (zh) * | 2018-01-26 | 2018-08-14 | 上海深视信息科技有限公司 | 一种融合旋翼无人机imu数据的通用目标跟随方法和系统 |
| CN109559330A (zh) * | 2017-09-25 | 2019-04-02 | 北京金山云网络技术有限公司 | 运动目标的视觉跟踪方法、装置、电子设备及存储介质 |
| CN109712188A (zh) * | 2018-12-28 | 2019-05-03 | 科大讯飞股份有限公司 | 一种目标跟踪方法及装置 |
| CN111262718A (zh) * | 2018-12-03 | 2020-06-09 | 厦门雅迅网络股份有限公司 | 避免因数据丢失而影响统计准确性的数据传输方法和系统 |
| WO2020113357A1 (zh) * | 2018-12-03 | 2020-06-11 | 深圳市大疆创新科技有限公司 | 目标检测方法和装置、航迹管理方法和装置以及无人机 |
| CN111489376A (zh) * | 2019-01-28 | 2020-08-04 | 广东虚拟现实科技有限公司 | 跟踪交互设备的方法、装置、终端设备及存储介质 |
| CN112567201A (zh) * | 2018-08-21 | 2021-03-26 | 深圳市大疆创新科技有限公司 | 距离测量方法以及设备 |
| CN114987799A (zh) * | 2022-05-13 | 2022-09-02 | 上海航天控制技术研究所 | 一种自旋状态下相对滚动容错控制方法 |
| CN115953328A (zh) * | 2023-03-13 | 2023-04-11 | 天津所托瑞安汽车科技有限公司 | 一种目标矫正方法、系统及电子设备 |
| CN116630412A (zh) * | 2022-02-10 | 2023-08-22 | 腾讯科技（深圳）有限公司 | 位姿处理方法、装置、电子设备、存储介质及程序产品 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103324937A (zh) * | 2012-03-21 | 2013-09-25 | 日电（中国）有限公司 | 标注目标的方法和装置 |
| CN105676865A (zh) * | 2016-04-12 | 2016-06-15 | 北京博瑞爱飞科技发展有限公司 | 目标跟踪方法、装置和系统 |
| CN106056633A (zh) * | 2016-06-07 | 2016-10-26 | 速感科技（北京）有限公司 | 运动控制方法、装置及系统 |
| CN106054924A (zh) * | 2016-07-06 | 2016-10-26 | 北京北方猎天科技有限公司 | 一种无人机伴飞方法、伴飞装置和伴飞系统 |
| CN106251364A (zh) * | 2016-07-19 | 2016-12-21 | 北京博瑞爱飞科技发展有限公司 | 目标跟踪方法及装置 |
| CN106257911A (zh) * | 2016-05-20 | 2016-12-28 | 上海九鹰电子科技有限公司 | 用于视频图像的图像稳定方法和装置 |
-
2017
- 2017-03-20 CN CN201710164668.3A patent/CN106814753B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103324937A (zh) * | 2012-03-21 | 2013-09-25 | 日电（中国）有限公司 | 标注目标的方法和装置 |
| CN105676865A (zh) * | 2016-04-12 | 2016-06-15 | 北京博瑞爱飞科技发展有限公司 | 目标跟踪方法、装置和系统 |
| CN106257911A (zh) * | 2016-05-20 | 2016-12-28 | 上海九鹰电子科技有限公司 | 用于视频图像的图像稳定方法和装置 |
| CN106056633A (zh) * | 2016-06-07 | 2016-10-26 | 速感科技（北京）有限公司 | 运动控制方法、装置及系统 |
| CN106054924A (zh) * | 2016-07-06 | 2016-10-26 | 北京北方猎天科技有限公司 | 一种无人机伴飞方法、伴飞装置和伴飞系统 |
| CN106251364A (zh) * | 2016-07-19 | 2016-12-21 | 北京博瑞爱飞科技发展有限公司 | 目标跟踪方法及装置 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109559330A (zh) * | 2017-09-25 | 2019-04-02 | 北京金山云网络技术有限公司 | 运动目标的视觉跟踪方法、装置、电子设备及存储介质 |
| CN108363946B (zh) * | 2017-12-29 | 2022-05-03 | 成都通甲优博科技有限责任公司 | 基于无人机的人脸跟踪系统及方法 |
| CN108363946A (zh) * | 2017-12-29 | 2018-08-03 | 成都通甲优博科技有限责任公司 | 基于无人机的人脸跟踪系统及方法 |
| CN108399642A (zh) * | 2018-01-26 | 2018-08-14 | 上海深视信息科技有限公司 | 一种融合旋翼无人机imu数据的通用目标跟随方法和系统 |
| CN108334099A (zh) * | 2018-01-26 | 2018-07-27 | 上海深视信息科技有限公司 | 一种高效的无人机人体跟踪方法 |
| CN108399642B (zh) * | 2018-01-26 | 2021-07-27 | 上海深视信息科技有限公司 | 一种融合旋翼无人机imu数据的通用目标跟随方法和系统 |
| CN108334099B (zh) * | 2018-01-26 | 2021-11-19 | 上海深视信息科技有限公司 | 一种高效的无人机人体跟踪方法 |
| CN112567201B (zh) * | 2018-08-21 | 2024-04-16 | 深圳市大疆创新科技有限公司 | 距离测量方法以及设备 |
| CN112567201A (zh) * | 2018-08-21 | 2021-03-26 | 深圳市大疆创新科技有限公司 | 距离测量方法以及设备 |
| CN111262718A (zh) * | 2018-12-03 | 2020-06-09 | 厦门雅迅网络股份有限公司 | 避免因数据丢失而影响统计准确性的数据传输方法和系统 |
| WO2020113357A1 (zh) * | 2018-12-03 | 2020-06-11 | 深圳市大疆创新科技有限公司 | 目标检测方法和装置、航迹管理方法和装置以及无人机 |
| CN111279215A (zh) * | 2018-12-03 | 2020-06-12 | 深圳市大疆创新科技有限公司 | 目标检测方法和装置、航迹管理方法和装置以及无人机 |
| CN109712188A (zh) * | 2018-12-28 | 2019-05-03 | 科大讯飞股份有限公司 | 一种目标跟踪方法及装置 |
| CN111489376B (zh) * | 2019-01-28 | 2023-05-16 | 广东虚拟现实科技有限公司 | 跟踪交互设备的方法、装置、终端设备及存储介质 |
| CN111489376A (zh) * | 2019-01-28 | 2020-08-04 | 广东虚拟现实科技有限公司 | 跟踪交互设备的方法、装置、终端设备及存储介质 |
| CN116630412A (zh) * | 2022-02-10 | 2023-08-22 | 腾讯科技（深圳）有限公司 | 位姿处理方法、装置、电子设备、存储介质及程序产品 |
| CN114987799A (zh) * | 2022-05-13 | 2022-09-02 | 上海航天控制技术研究所 | 一种自旋状态下相对滚动容错控制方法 |
| CN114987799B (zh) * | 2022-05-13 | 2024-07-23 | 上海航天控制技术研究所 | 一种自旋状态下相对滚动容错控制方法 |
| CN115953328A (zh) * | 2023-03-13 | 2023-04-11 | 天津所托瑞安汽车科技有限公司 | 一种目标矫正方法、系统及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106814753B (zh) | 2020-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106814753B (zh) | 一种目标位置矫正方法、装置及系统 | |
| JP5383801B2 (ja) | 位置及び経路地図表示用の位置及び経路地図データを生成する装置及び当該データ提供方法 | |
| CN108932737B (zh) | 车载相机俯仰角标定方法和装置、电子设备以及车辆 | |
| CN111279354B (zh) | 图像处理方法、设备及计算机可读存储介质 | |
| CN105953796A (zh) | 智能手机单目和imu融合的稳定运动跟踪方法和装置 | |
| CN105931275A (zh) | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 | |
| CN110956665B (zh) | 车辆拐弯轨迹双向计算方法、系统、装置 | |
| CN106370178B (zh) | 移动终端设备的姿态测量方法及装置 | |
| CN107389968B (zh) | 一种基于光流传感器和加速度传感器的无人机定点实现方法和装置 | |
| JP5214355B2 (ja) | 車両走行軌跡観測システム、車両走行軌跡観測方法、およびそのプログラム | |
| CN106052584A (zh) | 一种基于视觉及惯性信息融合的轨道空间线形测量方法 | |
| CN115574816B (zh) | 仿生视觉多源信息智能感知无人平台 | |
| CN114061619B (zh) | 一种基于在线标定的惯导系统姿态补偿方法 | |
| CN110736457A (zh) | 一种基于北斗、gps和sins的组合导航方法 | |
| JP2014240266A (ja) | センサドリフト量推定装置及びプログラム | |
| WO2018191957A1 (zh) | 一种云台姿态估计方法、装置以及相应的云台 | |
| CN104121930B (zh) | 一种基于加表耦合的mems陀螺漂移误差的补偿方法 | |
| CN116443028A (zh) | 头部姿态数据采集系统及方法 | |
| CN108871323A (zh) | 一种低成本惯性传感器在机动环境下的高精度导航方法 | |
| CN107942090A (zh) | 一种基于模糊星图提取光流信息的航天器角速度估计方法 | |
| CN116952229A (zh) | 无人机定位方法、装置、系统和存储介质 | |
| JP2007137306A (ja) | 移動体の水平走行判定装置及び方法 | |
| CN115560744A (zh) | 机器人以及基于多传感器的三维建图方法、存储介质 | |
| JP6677576B2 (ja) | 加速度信号を用いた吊り下げ移動物体の位置・姿勢推定方法及び推定装置 | |
| JP2009053039A (ja) | 車両姿勢推定装置、車両姿勢推定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |