CN105974940B - 适用于飞行器的目标跟踪方法 - Google Patents
适用于飞行器的目标跟踪方法 Download PDFInfo
- Publication number
- CN105974940B CN105974940B CN201610282288.5A CN201610282288A CN105974940B CN 105974940 B CN105974940 B CN 105974940B CN 201610282288 A CN201610282288 A CN 201610282288A CN 105974940 B CN105974940 B CN 105974940B
- Authority
- CN
- China
- Prior art keywords
- target
- dimensional information
- interim
- video camera
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000001052 transient effect Effects 0.000 claims abstract description 74
- 230000002123 temporal effect Effects 0.000 claims abstract description 32
- 239000000284 extract Substances 0.000 claims description 18
- 241000208340 Araliaceae Species 0.000 claims description 15
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 15
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 15
- 235000008434 ginseng Nutrition 0.000 claims description 15
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 abstract description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了适用于飞行器的目标跟踪方法，涉及自动控制领域，该方法包括以下步骤：飞行器主体朝向GPS定位信号所对应的地点飞行过程中，摄像机对参考目标所在的区域进行拍照，以获得参考图像，并从参考图像中提取参考目标的参考图像特征和参考目标位于参考图像中的起始位置信息，当摄像机获取到显示有临时目标的临时图像时，飞行器主体从临时图像中提取临时目标的临时图像特征和临时目标位于临时图像中的临时位置信息，若参考图像特征和临时图像特征一致，摄像机根据起始位置信息与临时位置信息间的差值计算偏离方向，飞行器按照偏离方向进行跟踪。从而避免了因GPS信号强度不够导致的无法定位的情形，进而使对目标的跟踪更加精确。
Description
技术领域
本发明涉及自动控制领域，尤其涉及适用于飞行器的目标跟踪方法。
背景技术
GPS定位和导航的基本原理是测量出已知位置的卫星到用户接收机之间的距离，然后能根据该距离测算出接收机的具体位置，进而对具体位置上的用户接收机进行跟踪。
在现有的跟踪系统中，常常利用GPS(Global Positioning System)，即全球定位系统来在全球范围内进行定位和导航。例如，GPS为车辆定位、防盗、行驶路线监控及呼叫指挥等提供服务。
特别是随着飞行器在生活中的逐步流行，GPS所提供的服务更广泛的应用于飞行器。例如，利用飞行器进行航拍、利用飞行器进行定位或者是利用飞行器进行跟踪，但是，单纯利用GPS对目标进行跟踪存在一定的缺陷，由于GPS主要是依靠卫星进行定位的，定位的精度取决于卫星的位置和数量，在一些因为高楼或者高山的遮挡而难以被卫星覆盖的区域，GPS信号强度不足，难以对目标定位，进而无法对目标进行跟踪。
发明内容
有鉴于此，本发明实施例的目的在于提供适用于飞行器的目标跟踪方法，用以解决上述问题。
第一方面，本发明实施例提供了适用于飞行器的目标跟踪方法，包括以下步骤：飞行器主体朝向GPS定位信号所对应的地点飞行过程中，摄像机对参考目标所在的区域进行拍照，以获得参考图像；
飞行器主体从参考图像中提取参考目标的参考图像特征和参考目标位于参考图像中的起始位置信息；
当设置在飞行器主体上的摄像机获取到显示有临时目标的临时图像时，飞行器主体从临时图像中提取临时目标的临时图像特征和临时目标位于临时图像中的临时位置信息；
若参考图像特征和临时图像特征一致，则摄像机根据起始位置信息与临时位置信息之间的差值计算偏离方向；
飞行器主体按照偏离方向进行跟踪。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，方法还包括：摄像机从参考图像中提取参考目标的第一参考尺度信息和第二参考尺度信息，第一参考尺度信息为参考目标在参考图像中的宽度值，第二参考尺度信息为参考目标在参考图像中的高度值；
当摄像机判定参考图像特征与临时图像特征一致时，摄像机从临时图像中提取临时目标的第一临时尺度信息和第二临时尺度信息，第一临时尺度信息为临时目标在临时图像中的宽度值，第二临时尺度信息为临时目标在临时图像中的高度值；
当第一参考尺度信息的数值大于第一临时尺度信息的数值时，摄像机计算第一参考尺度信息和第一临时尺度信息之间的差值，若差值的绝对值大于预先设定的阈值时，飞行器主体加速运动；
当第一参考尺度信息的数值小于第一临时尺度信息的数值时，摄像机计算第一参考尺度信息和第一临时尺度信息之间的差值，若差值的绝对值大于预先设定的阈值时，飞行器主体减速运动；
当第二参考尺度信息的数值大于第二临时尺度信息的数值时，摄像机计算第二参考尺度信息和第二临时尺度信息之间的差值，若差值的绝对值大于预先设定的阈值时，飞行器主体加速运动；
当第二参考尺度信息的数值小于第二临时尺度信息的数值时，摄像机计算第二参考尺度信息和第二临时尺度信息之间的差值，若差值的绝对值大于预先设定的阈值时，飞行器主体减速运动。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，方法还包括：飞行器主体与临时目标之间的距离符合如下约束条件：0.9*Z<X<1.1*Z，其中，Z为预先设定的阈值，X为飞行器主体与临时目标之间的距离。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，方法还包括：当临时位置信息的临时垂直坐标与起始位置信息的起始垂直坐标不一致时，飞行器主体计算临时垂直坐标与起始垂直坐标之间的差值，并生成纵向位移信息，其中，起始垂直坐标是参考目标在依据参考图像所建立的坐标系中位置坐标，临时垂直坐标是临时目标在依据临时图像所建立的坐标系中位置坐标；
飞行器主体调整拍取临时图像的摄像机的垂直角度。
结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，方法还包括：当临时位置信息的临时水平坐标与起始位置信息的起始水平坐标不一致时，飞行器主体计算临时水平坐标与起始水平坐标之间的差值，并生成横向位移信息，其中，起始水平坐标是参考目标在依据参考图像所建立的坐标系中的位置坐标，临时水平坐标是临时目标在依据临时图像所建立的坐标系中位置坐标；
飞行器主体调整拍取临时图像的摄像机的水平角度。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，方法还包括：摄像机在临时图像中实时查找类似目标，并提取类似目标的参比特征，当参比特征与临时图像特征中的一项相吻合时，将类似目标作为目标群中的候选目标。
结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，方法还包括：当飞行器主体监测到临时图像特征、临时位置信息、第一临时尺度信息和第二临时尺度信息的任一项有变化时，用变化后的临时图像特征、临时位置信息、第一临时尺度信息和第二临时尺度信息分别对变化前的临时图像特征、临时位置信息、第一临时尺度信息和第二临时尺度信息进行更新。
结合第一方面的第六种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，方法还包括：摄像机获取并计算类似目标的暂时坐标信息、第一暂时尺度信息和第二暂时尺度信息，其中，第一暂时尺度信息为类似目标在临时图像中的宽度值，第二暂时尺度信息为类似目标在临时图像中的高度值；
当摄像机检测到目标群，且，摄像机跟踪到临时目标时，将目标群的所有候选目标的暂时坐标信息、第一暂时尺度信息和第二暂时尺度信息分别与临时目标的临时位置信息、第一临时尺度信息和第二临时尺度信息进行加权计算，并向摄像机输出加权计算的结果，以显示加权计算的结果；
当摄像机没有检测到目标群，且，摄像机跟踪到临时目标时，将目标的临时位置信息、第一临时尺度信息和第二临时尺度信息输出到摄像机，以显示临时位置信息、第一临时尺度信息和第二临时尺度信息；
当摄像机检测到目标群，且，摄像机没有跟踪到临时目标时，将目标群的所有候选目标的暂时坐标信息、第一暂时尺度信息和第二暂时尺度信息分别进行加权计算，并向摄像机输出加权计算的结果，以显示加权计算的结果；
当摄像机没有检测到目标群，且，摄像机没有跟踪到临时目标时，不向摄像机输出信息。
结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，参考图像的坐标系与临时图像的坐标系是同一个坐标系。
结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第九种可能的实施方式，其中，目标的临时图像特征的记录方法包括：梯度方向直方图、局部二值模式直方图、尺度不变特征变换和加速的鲁棒特征。
本发明实施例提供的适用于飞行器的目标跟踪方法，包括以下步骤：飞行器主体朝向GPS定位信号所对应的地点飞行过程中，摄像机对参考目标所在的区域进行拍照，以获得参考图像，摄像机从参考图像中提取参考目标的参考图像特征和参考目标位于参考图像中的起始位置信息，当摄像机获取到显示有临时目标的临时图像时，从临时图像中提取临时目标的临时图像特征和临时目标位于临时图像中的临时位置信息，若参考图像特征和临时图像特征一致，则摄像机根据起始位置信息与临时位置信息之间的差值计算偏离方向，飞行器主体按照偏离方向进行跟踪。这样，飞行器主体按照参考图像和临时图像之间的相对位置来进行方向的调整，从而使飞行器主体能更加精准的跟踪目标。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的适用于飞行器的目标跟踪方法的示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。其中，术语“第一位置”和“第二位置”为两个不同的位置。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个组件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
目前，常常使用跟踪飞行器来对目标进行定位和跟踪，行业内惯用的手段是依靠GPS系统来获取要跟踪目标的经纬度坐标，使跟踪飞行器朝向要跟踪目标的经纬度坐标飞行，进而实现跟踪。由于GPS系统是依赖卫星进行信号传输的，在一些特殊场合，例如，山区，一些高山会阻挡卫星的信号传递，导致GPS信号变弱或者出现断续，严重时，跟踪飞行器无法获得GPS信号，导致跟踪失败。
如图1所示，本发明实施例提供了适用于飞行器的目标跟踪方法，适用于飞行器的目标跟踪方法应用于跟踪飞行器，跟踪飞行器包括飞行器主体和摄像机，飞行器主体包括飞行器和云台，飞行器的下端设置有云台，云台上固定有摄像机，其中，这里的摄像机是包括有处理器的摄像机，并且，摄像机的镜头朝向飞行器主体飞行的方向。
步骤S101：由于要跟踪目标上设置有GPS信号接收仪，能获取到GPS系统返回给它的经纬度坐标，启动飞行器主体，飞行器主体能获取到GPS信号接收仪转发的经纬度坐标，飞行器主体按照经纬度坐标朝向GPS定位信号所对应的地点飞行，在飞行过程中，摄像机对参考目标所在的区域进行拍照，以获得参考图像。
步骤S102：摄像机从参考图像中提取参考目标的参考图像特征和参考目标位于参考图像中的起始位置信息，参考目标在参考图像的某一个点的位置上，在实际操作中，将该点在依据参考图像建立的坐标系中的坐标值记作起始位置信息。同理，下文中提及的临时位置信息是临时目标在临时图像中的某一点，在实际操作中，将该点在依据临时图像建立的坐标系中的坐标值记作临时位置信息。并且，参考图像特征和起始位置信息被初始化在飞行器主体中，参考图像特征作为后续甄选要跟踪目标的参考特征，与之符合的才记作要跟踪的目标，起始位置信息作为要跟踪目标在摄像机获取图像的参考点，参考图像的坐标系与临时图像的坐标系是同一个坐标系，在本发明中以参考图像的左上角顶点为坐标原点，以坐标原点向右为x轴的正半轴，以坐标原点向下为y轴的正半轴，以像素为最小单位计算坐标的大小。当要跟踪的目标偏离该参考点时，控制飞行器主体转动，以实现摄像机拍摄角度的变换，并使其重回参考点的位置。在实际处理中，采用背景减等技术提取出参考目标的灰度、颜色等信息，通过阈值处理、形态学操作等技术消除噪声、伪目标等带来的干扰，而后再通过轮廓提取等技术得到参考目标的参考图像特征和起始位置信息。
步骤S103：由于摄像机在飞行过程中实时拍照，当摄像机获取到显示有临时目标的临时图像时，从临时图像中提取临时目标的临时图像特征和临时目标位于临时图像中的临时位置信息，其中，临时图像特征包括但不限于临时目标的灰度、颜色、形状等。在实际处理过程中，根据使用场景有选择的提取临时目标的临时图像特征。
步骤S104：如果参考图像特征和临时图像特征一致，假设，在参考图像中提取了参考目标的颜色和形状信息，在临时图像中提取了临时目标的颜色和形状信息，只有临时目标的颜色与参考目标的颜色对比一致，并且，临时目标的形状与参考目标的形状对比一致时，则判定该临时目标为要跟踪的目标，摄像机根据起始位置信息与临时位置信息之间的差值计算偏离方向，即，计算起始位置信息的水平坐标与临时位置信息的水平坐标之间的差值，并计算起始位置信息的垂直坐标与临时位置信息的垂直坐标之间的差值，两个差值来确定偏离的方向。飞行器主体按照偏离方向继续跟踪临时目标，使得起始位置信息与临时位置信息之间的差值逐步减小。其中，目标的临时图像特征包括但不限于梯度方向直方图、局部二值模式直方图、尺度不变特征变换和加速的鲁棒特征，即采用模板匹配、直方图匹配或者基于FLANN的匹配方法等来锁定临时目标为要跟踪的目标。
步骤S105：飞行器主体按照偏离方向进行跟踪。
此外，由于飞行器主体要跟踪的目标包括静态的目标和动态的目标，为了避免飞行器主体与目标相撞，同时也避免目标被跟丢，需要飞行器主体与之保持合理的距离。当飞行器主体与临时目标太近时，摄像机拍摄出来的图像中目标的尺度会变大；当飞行器主体与临时目标太远时，摄像机拍摄出来的图像中目标的尺度会变小。通过控制飞行器主体加速或者减速运动，使飞行器主体与临时目标之间的距离符合如下约束条件：0.9*Z<X<1.1*Z，其中，Z为预先设定的阈值，X为飞行器主体与临时目标之间的距离。举例如下：一辆车匀速前进，飞行器负责跟踪该车辆，并与车保持500米的距离，500米即为设定的阈值。
飞行器主体根据临时图像中临时目标的宽度值和高度值的变化来判定与车之间的距离。在本实施例中，摄像机从参考图像中提取参考目标的第一参考尺度信息和第二参考尺度信息，第一参考尺度信息为参考目标在参考图像中的宽度值，第二参考尺度信息为参考目标在参考图像中的高度值；
当摄像机判定参考图像特征与临时图像特征一致时，摄像机从临时图像中提取临时目标的第一临时尺度信息和第二临时尺度信息，第一临时尺度信息为临时目标在临时图像中的宽度值，第二临时尺度信息为临时目标在临时图像中的高度值；
当第一参考尺度信息的数值大于第一临时尺度信息的数值时，摄像机计算第一参考尺度信息和第一临时尺度信息之间的差值，若差值的绝对值大于预先设定的阈值时，飞行器主体加速运动；
当第一参考尺度信息的数值小于第一临时尺度信息的数值时，摄像机计算第一参考尺度信息和第一临时尺度信息之间的差值，若差值的绝对值大于预先设定的阈值时，飞行器主体减速运动；
当第二参考尺度信息的数值大于第二临时尺度信息的数值时，摄像机计算第二参考尺度信息和第二临时尺度信息之间的差值，若差值的绝对值大于预先设定的阈值时，飞行器主体加速运动；
当第二参考尺度信息的数值小于第二临时尺度信息的数值时，摄像机计算第二参考尺度信息和第二临时尺度信息之间的差值，若差值的绝对值大于预先设定的阈值时，飞行器主体减速运动。
当摄像机拍摄到的临时目标在临时图像中的位置远离参考点时，需要及时调整飞行器主体的飞行方向，通过飞行方向的调整使得临时目标在临时图像的位置始终保持在参考点，故适用于飞行器的目标跟踪方法还包括：
当摄像机判断临时位置信息的临时垂直坐标与起始位置信息的起始垂直坐标不一致时，计算临时垂直坐标与起始垂直坐标之间的差值生成纵向位移信息，其中，起始垂直坐标是摄像机在依据参考图像所建立的坐标系中获取的位置坐标，临时垂直坐标是摄像机在依据临时图像所建立的坐标系中获取的位置坐标；
云台的pitch轴按照纵向位移信息转动，以调整拍取临时图像的摄像机的垂直角度。
当临时位置信息的临时水平坐标与起始位置信息的起始水平坐标不一致时，计算临时水平坐标与起始水平坐标之间的差值生成横向位移信息，其中，起始水平坐标是摄像机在依据参考图像所建立的坐标系中获取的位置坐标，临时水平坐标是摄像机在依据临时图像所建立的坐标系中获取的位置坐标；
云台的yaw轴按照横向位移信息转动，以调整拍取临时图像的摄像机的水平角度。
在另一种实施例中，云台的pitch轴和yaw轴同时转动，使得临时垂直坐标和临时水平坐标同时变化。
进一步的，在飞行器主体对临时目标进行跟踪的过程中，临时目标由于自身或者外界的原因可能会发生形变、色变等，目标的临时图像特征包括但不限于梯度方向直方图、局部二值模式直方图、尺度不变特征变换和加速的鲁棒特征会发生变化。对于这种情况，本发明采用建立目标群和更新临时图像特征等方法。
摄像机在临时图像中实时查找类似目标，并提取类似目标的参比特征，当参比特征与临时图像特征中的一项相吻合时，例如，类似目标的颜色与临时目标的颜色相同，或者类似目标的颜色和形状分别与临时目标的颜色和形状相同，则将类似目标作为目标群中的候选目标。
当飞行器主体监测到临时图像特征、临时位置信息、第一临时尺度信息和第二临时尺度信息的任一项有变化时，用变化后的临时图像特征、临时位置信息、第一临时尺度信息和第二临时尺度信息分别对变化前的临时图像特征、临时位置信息、第一临时尺度信息和第二临时尺度信息进行更新，以消除或减弱由于目标外表的变化或遮挡等因素带给跟踪系统的干扰，进而提高跟踪系统的稳定性和跟踪结果的准确性。
为了便于操作人员查看，在本发明中，将飞行器主体跟踪的候选目标或者临时目标的位置信息和尺度信息有选择地显示在摄像机中，在一种实施例中，摄像机连接显示器，使用显示器显示候选目标或者临时目标的位置信息和尺度信息。
摄像机获取并计算类似目标的暂时坐标信息、第一暂时尺度信息和第二暂时尺度信息，其中，第一暂时尺度信息为类似目标在临时图像中的宽度值，第二暂时尺度信息为类似目标在临时图像中的高度值。
当摄像机检测到目标群，且，摄像机跟踪到临时目标时，将目标群的暂时坐标信息、第一暂时尺度信息和第二暂时尺度信息分别与临时目标的临时位置信息、第一临时尺度信息和第二临时尺度信息进行加权计算，并向摄像机输出加权计算的结果，以显示加权计算的结果；
以飞行器跟踪车为例，在前方有不只一辆车时，并且，车的颜色都一样，则除临时目标之外的车都归为目标群，在这种情况下，将目标群中的各个车的暂时坐标信息、第一暂时尺度信息和第二暂时尺度信息分别与临时目标即要跟踪的车的临时位置信息、第一临时尺度信息和第二临时尺度信息进行加权计算，并向摄像机输出加权计算的结果，以显示加权计算的结果；
当摄像机没有检测到目标群，且，摄像机跟踪到临时目标时，将临时目标的临时位置信息、第一临时尺度信息和第二临时尺度信息输出到摄像机，以显示临时位置信息、第一临时尺度信息和第二临时尺度信息；
以飞行器跟踪车为例，在前方只有一辆车时，该车即为临时目标，将该车的临时位置信息、第一临时尺度信息和第二临时尺度信息输出到摄像机，以显示临时位置信息、第一临时尺度信息和第二临时尺度信息；
当摄像机检测到目标群，且，摄像机没有跟踪到临时目标时，将目标群的暂时坐标信息、第一暂时尺度信息和第二暂时尺度信息分别进行加权计算，并向摄像机输出加权计算的结果，以显示加权计算的结果；
以飞行器跟踪车为例，在前方有多辆车时，但没有一辆车为临时目标，多辆车中的某一个特性与要跟踪的车一样，将多辆车归为目标群，在这种情况下，将目标群中的各个车的暂时坐标信息、第一暂时尺度信息和第二暂时尺度信息分别进行加权计算，并向摄像机输出加权计算的结果，以显示加权计算的结果；当摄像机没有检测到目标群，且，摄像机没有跟踪到临时目标时，不向摄像机输出信息。
上述向摄像机输出的结果还可以在显示器上进行显示，便于操作人员实时查看飞行器跟踪目标的情况。
实施例
以飞行器主体要跟踪一只小鸟为例，在飞行器主体的下端设置一个轻型飞行器主体，在飞行器主体上固定一个模拟摄像机，并且，模拟摄像机设置在飞行器主体的前端。要跟踪的小鸟能接收到GPS信号，启动飞行器主体，飞行器主体朝向GPS定位信号所对应的地点飞行，在飞行过程中，摄像机对小鸟所在的区域进行拍照，以获得参考图像，摄像机从参考图像中提取参考目标的参考图像特征，例如，小鸟的大小、颜色等，并提取参考目标位于参考图像中的起始位置信息，假设小鸟位于参考图像的中心点。飞行器主体飞行的过程中进行拍照，当摄像机获取到显示有临时目标的临时图像时，从临时图像中提取临时目标的临时图像特征和临时目标位于临时图像中的临时位置信息，当参考图像特征和临时图像特征一致，则摄像机根据起始位置信息与临时位置信息之间的差值计算偏离方向，飞行器主体按照偏离方向进行跟踪。并且，摄像机从参考图像中提取参考目标的宽度值和高度值，当摄像机判定参考图像特征与临时图像特征一致时，即该临时目标即为要跟踪的小鸟，摄像机从临时图像中提取小鸟的宽度值和高度值，当参考目标的宽度值和高度值与临时图像中提取小鸟的宽度值和高度值不一致时，说明飞行器主体与小鸟的距离偏离了预先设定的阈值，例如，参考目标的宽度值大于从临时图像中提取小鸟的宽度值，则说明飞行器主体与小鸟的距离大于阈值，飞行器主体加速运动，使飞行器主体与临时目标的距离保持在阈值范围内，在本发明中设定阈值范围在0.9*阈值到1.1*阈值之间。当临时目标偏离参考图像的中心点时，摄像机计算临时垂直坐标与起始垂直坐标之间的差值，并生成纵向位移信息，飞行器主体的pitch轴按照纵向位移信息转动，以调整拍取临时图像的摄像机的垂直角度。之后，摄像机计算临时水平坐标与起始水平坐标之间的差值，并生成横向位移信息，飞行器主体的yaw轴按照横向位移信息转动，以调整拍取临时图像的摄像机的水平角度。这样，通过调整飞行器主体，使得飞行器主体的飞行方向实时朝向要跟踪的小鸟，同时，在摄像机获取到的临时图像中，小鸟能保持在参考图像的中心点处，从而便于查看，也避免了跟踪目标的丢失。
本实施例提供的适用于飞行器的目标跟踪方法，该实施例的技术效果是：在飞行器主体朝向GPS定位信号所对应的地点飞行过程中，摄像机获取到参考图像和临时图像，通过对参考图像和临时图像获取特征参数，使得飞行器主体在不依赖GPS定位信号进行跟踪的情况下，能通过特征参数的比对和计算来对目标进行跟踪，从而提高了跟踪的精确度。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.适用于飞行器的目标跟踪方法，其特征在于，包括：
飞行器主体朝向GPS定位信号所对应的地点飞行过程中，摄像机对参考目标所在的区域进行拍照，以获得参考图像；
飞行器主体从所述参考图像中提取所述参考目标的参考图像特征和所述参考目标位于所述参考图像中的起始位置信息；
当设置在所述飞行器主体上的摄像机获取到显示有临时目标的临时图像时，飞行器主体从所述临时图像中提取所述临时目标的临时图像特征和所述临时目标位于所述临时图像中的临时位置信息；
若所述参考图像特征和所述临时图像特征一致，则摄像机根据所述起始位置信息与所述临时位置信息之间的差值计算偏离方向；
所述飞行器主体按照所述偏离方向进行跟踪；
所述方法还包括：
所述摄像机从所述参考图像中提取所述参考目标的第一参考尺度信息和第二参考尺度信息，所述第一参考尺度信息为所述参考目标在所述参考图像中的宽度值，所述第二参考尺度信息为所述参考目标在所述参考图像中的高度值；
当摄像机判定所述参考图像特征与所述临时图像特征一致时，摄像机从所述临时图像中提取所述临时目标的第一临时尺度信息和第二临时尺度信息，所述第一临时尺度信息为所述临时目标在所述临时图像中的宽度值，所述第二临时尺度信息为所述临时目标在所述临时图像中的高度值；
当所述第一参考尺度信息的数值大于所述第一临时尺度信息的数值时，摄像机计算所述第一参考尺度信息和所述第一临时尺度信息之间的差值，若所述差值的绝对值大于预先设定的阈值时，所述飞行器主体加速运动；
当所述第一参考尺度信息的数值小于所述第一临时尺度信息的数值时，摄像机计算所述第一参考尺度信息和所述第一临时尺度信息之间的差值，若所述差值的绝对值大于预先设定的阈值时，所述飞行器主体减速运动；
当所述第二参考尺度信息的数值大于所述第二临时尺度信息的数值时，摄像机计算所述第二参考尺度信息和所述第二临时尺度信息之间的差值，若所述差值的绝对值大于预先设定的阈值时，所述飞行器主体加速运动；
当所述第二参考尺度信息的数值小于所述第二临时尺度信息的数值时，摄像机计算所述第二参考尺度信息和所述第二临时尺度信息之间的差值，若所述差值的绝对值大于预先设定的阈值时，所述飞行器主体减速运动。
2.根据权利要求1所述的适用于飞行器的目标跟踪方法，其特征在于，所述方法还包括：
所述飞行器主体与所述临时目标之间的距离符合如下约束条件：0.9*Z<X<1.1*Z，其中，Z为预先设定的阈值，X为所述飞行器主体与所述临时目标之间的距离。
3.根据权利要求2所述的适用于飞行器的目标跟踪方法，其特征在于，所述方法还包括：
当所述临时位置信息的临时垂直坐标与起始位置信息的起始垂直坐标不一致时，飞行器主体计算所述临时垂直坐标与起始垂直坐标之间的差值，并生成纵向位移信息，其中，所述起始垂直坐标是参考目标在依据所述参考图像所建立的坐标系中位置坐标，所述临时垂直坐标是临时目标在依据所述临时图像所建立的坐标系中位置坐标；
飞行器主体调整拍取所述临时图像的所述摄像机的垂直角度。
4.根据权利要求3所述的适用于飞行器的目标跟踪方法，其特征在于，所述方法还包括：
当临时位置信息的临时水平坐标与起始位置信息的起始水平坐标不一致时，飞行器主体计算所述临时水平坐标与所述起始水平坐标之间的差值，并生成横向位移信息，其中，所述起始水平坐标是参考目标在依据所述参考图像所建立的坐标系中的位置坐标，所述临时水平坐标是临时目标在依据所述临时图像所建立的坐标系中位置坐标；
所述飞行器主体调整拍取所述临时图像的所述摄像机的水平角度。
5.根据权利要求1所述的适用于飞行器的目标跟踪方法，其特征在于，所述方法还包括：
摄像机在所述临时图像中实时查找类似目标，并提取类似目标的参比特征，当所述参比特征与所述临时图像特征中的一项相吻合时，将所述类似目标作为目标群中的候选目标。
6.根据权利要求5所述的适用于飞行器的目标跟踪方法，其特征在于，所述方法还包括：
当飞行器主体监测到所述临时图像特征、临时位置信息、第一临时尺度信息和第二临时尺度信息的任一项有变化时，用变化后的临时图像特征、临时位置信息、第一临时尺度信息和第二临时尺度信息分别对变化前的所述临时图像特征、临时位置信息、第一临时尺度信息和第二临时尺度信息进行更新。
7.根据权利要求6所述的适用于飞行器的目标跟踪方法，其特征在于，所述方法还包括：
所述摄像机获取并计算类似目标的暂时坐标信息、第一暂时尺度信息和第二暂时尺度信息，其中，所述第一暂时尺度信息为所述类似目标在所述临时图像中的宽度值，所述第二暂时尺度信息为所述类似目标在所述临时图像中的高度值；
当摄像机检测到所述目标群，且，摄像机跟踪到所述临时目标时，将所述目标群的所有候选目标的暂时坐标信息、第一暂时尺度信息和第二暂时尺度信息分别与所述临时目标的临时位置信息、第一临时尺度信息和第二临时尺度信息进行加权计算，并向摄像机输出所述加权计算的结果，以显示所述加权计算的结果；
当摄像机没有检测到所述目标群，且，摄像机跟踪到所述临时目标时，将所述目标的临时位置信息、第一临时尺度信息和第二临时尺度信息输出到摄像机，以显示所述临时位置信息、第一临时尺度信息和第二临时尺度信息；
当摄像机检测到所述目标群，且，摄像机没有跟踪到所述临时目标时，将所述目标群的所有候选目标的暂时坐标信息、第一暂时尺度信息和第二暂时尺度信息分别进行加权计算，并向摄像机输出所述加权计算的结果，以显示所述加权计算的结果；
当摄像机没有检测到所述目标群，且，摄像机没有跟踪到所述临时目标时，不向摄像机输出信息。
8.根据权利要求4所述的适用于飞行器的目标跟踪方法，其特征在于，所述参考图像的坐标系与所述临时图像的坐标系是同一个坐标系。
9.根据权利要求5所述的适用于飞行器的目标跟踪方法，其特征在于，所述目标的临时图像特征的记录方法包括：梯度方向直方图、局部二值模式直方图、尺度不变特征变换和加速的鲁棒特征。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610282288.5A CN105974940B (zh) | 2016-04-29 | 2016-04-29 | 适用于飞行器的目标跟踪方法 |
| US15/572,426 US10634500B2 (en) | 2015-06-29 | 2016-06-29 | Aircraft and obstacle avoidance method and system thereof |
| PCT/CN2016/087571 WO2017000876A1 (zh) | 2015-06-29 | 2016-06-29 | 对地定位或导航用相机、飞行器及其导航方法 |
| EP16817239.3A EP3276374B1 (en) | 2015-06-29 | 2016-06-29 | Aircraft and obstacle avoidance method and system thereof |
| EP16817240.1A EP3315414B1 (en) | 2015-06-29 | 2016-06-29 | Geo-location or navigation camera, and aircraft and navigation method therefor |
| US15/577,303 US10386188B2 (en) | 2015-06-29 | 2016-06-29 | Geo-location or navigation camera, and aircraft and navigation method therefor |
| PCT/CN2016/087570 WO2017000875A1 (zh) | 2015-06-29 | 2016-06-29 | 飞行器及其避障方法和系统 |
| US15/582,662 US10571934B2 (en) | 2016-04-29 | 2017-04-29 | Target tracking method for air vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610282288.5A CN105974940B (zh) | 2016-04-29 | 2016-04-29 | 适用于飞行器的目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105974940A CN105974940A (zh) | 2016-09-28 |
| CN105974940B true CN105974940B (zh) | 2019-03-19 |
Family
ID=56993562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610282288.5A Active CN105974940B (zh) | 2015-06-29 | 2016-04-29 | 适用于飞行器的目标跟踪方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10571934B2 (zh) |
| CN (1) | CN105974940B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107636550A (zh) * | 2016-11-10 | 2018-01-26 | 深圳市大疆创新科技有限公司 | 飞行控制方法、装置及飞行器 |
| WO2018098731A1 (zh) * | 2016-11-30 | 2018-06-07 | 深圳益强信息科技有限公司 | 一种基于飞行器的航空侦查目标确定方法及装置 |
| CN108227749A (zh) * | 2016-12-14 | 2018-06-29 | 昊翔电能运动科技(昆山)有限公司 | 无人机及其追踪系统 |
| JP6884003B2 (ja) * | 2017-02-20 | 2021-06-09 | 株式会社トプコン | 無人航空機の追跡装置、無人航空機の追跡方法、無人航空機の追跡システムおよびプログラム |
| CN107067424B (zh) * | 2017-04-18 | 2019-07-12 | 北京动视科技有限公司 | 一种击球影像生成方法及系统 |
| CN107920232B (zh) * | 2017-11-28 | 2020-05-15 | 江苏如是地球空间信息科技有限公司 | 一种基于gps定位坐标解算的智能跟踪摄像系统 |
| CN110764526B (zh) * | 2018-07-25 | 2023-04-07 | 杭州海康机器人技术有限公司 | 一种无人机飞行控制方法及装置 |
| CN110291482A (zh) * | 2018-07-31 | 2019-09-27 | 深圳市大疆创新科技有限公司 | 返航控制方法、装置及设备 |
| CN113190013B (zh) * | 2018-08-31 | 2023-06-27 | 创新先进技术有限公司 | 控制终端运动的方法和装置 |
| CN109299311B (zh) * | 2018-09-18 | 2021-01-12 | 甘肃启远智能科技有限责任公司 | 光伏组件经纬度数据配置方法及装置 |
| CN109240320A (zh) * | 2018-09-27 | 2019-01-18 | 易瓦特科技股份公司 | 无人机控制方法及装置 |
| CN109240346A (zh) * | 2018-09-27 | 2019-01-18 | 易瓦特科技股份公司 | 用于跟踪目标对象的方法及装置 |
| CN109782812B (zh) * | 2019-03-06 | 2022-04-19 | 深圳慧源创新科技有限公司 | 无人机飞行方法、装置、pid控制器及存储介质 |
| CN110488876A (zh) * | 2019-08-20 | 2019-11-22 | 斯威方德(深圳)智能科技有限公司 | 宠物喂食的方法、装置、存储介质以及计算机设备 |
| CN110955859B (zh) * | 2019-11-15 | 2021-05-14 | 北京航空航天大学 | 一种基于预定飞行轨的实际飞行轨道气动参数的计算方法 |
| CN110989611A (zh) * | 2019-12-17 | 2020-04-10 | 陕西瑞特测控技术有限公司 | 一种绿化带修剪车避开障碍物的导航定位方法 |
| CN112580617B (zh) * | 2021-03-01 | 2021-06-18 | 中国科学院自动化研究所 | 自然场景下的表情识别方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779347A (zh) * | 2012-06-14 | 2012-11-14 | 清华大学 | 一种用于飞行器的目标跟踪与定位方法和装置 |
| CN105182326A (zh) * | 2015-10-13 | 2015-12-23 | 四川星网云联科技有限公司 | 一种利用方位信息的目标跟踪快速方法及装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8055100B2 (en) * | 2004-04-02 | 2011-11-08 | The Boeing Company | Method and system for image registration quality confirmation and improvement |
| KR101271098B1 (ko) * | 2008-09-24 | 2013-06-04 | 삼성테크윈 주식회사 | 디지털 촬영장치, 추적방법 및 추적방법을 실행시키기 위한프로그램을 저장한 기록매체 |
| JP5219795B2 (ja) * | 2008-12-26 | 2013-06-26 | キヤノン株式会社 | 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム |
| US9147260B2 (en) * | 2010-12-20 | 2015-09-29 | International Business Machines Corporation | Detection and tracking of moving objects |
| US9483839B1 (en) * | 2015-05-06 | 2016-11-01 | The Boeing Company | Occlusion-robust visual object fingerprinting using fusion of multiple sub-region signatures |
| CN108780316B (zh) * | 2016-02-29 | 2022-07-08 | 深圳市大疆创新科技有限公司 | 用于飞行装置的移动控制的方法和系统 |
| CN107301651A (zh) * | 2016-04-13 | 2017-10-27 | 索尼公司 | 对象跟踪装置和方法 |
-
2016
- 2016-04-29 CN CN201610282288.5A patent/CN105974940B/zh active Active
-
2017
- 2017-04-29 US US15/582,662 patent/US10571934B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779347A (zh) * | 2012-06-14 | 2012-11-14 | 清华大学 | 一种用于飞行器的目标跟踪与定位方法和装置 |
| CN105182326A (zh) * | 2015-10-13 | 2015-12-23 | 四川星网云联科技有限公司 | 一种利用方位信息的目标跟踪快速方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于视觉的四旋翼飞行器目标识别及跟踪;朱玮;《万方学术论文》;20160301;参见第11-15、57页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105974940A (zh) | 2016-09-28 |
| US10571934B2 (en) | 2020-02-25 |
| US20180107229A1 (en) | 2018-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105974940B (zh) | 适用于飞行器的目标跟踪方法 | |
| US10634500B2 (en) | Aircraft and obstacle avoidance method and system thereof | |
| KR102003152B1 (ko) | 정보 처리 방법, 디바이스, 및 단말기 | |
| CN102353377B (zh) | 一种高空长航时无人机组合导航系统及其导航定位方法 | |
| CN104704384B (zh) | 具体用于装置的基于视觉的定位的图像处理方法 | |
| RU2753004C2 (ru) | Система и способ позиционирования и управления летательным аппаратом при его движении по рулежной дорожке | |
| CN103175524B (zh) | 一种无标识环境下基于视觉的飞行器位置与姿态确定方法 | |
| US20110282580A1 (en) | Method of image based navigation for precision guidance and landing | |
| CN107741229A (zh) | 一种光电/雷达/惯性组合的舰载机着舰导引方法 | |
| CN111426320B (zh) | 一种基于图像匹配/惯导/里程计的车辆自主导航方法 | |
| CN111649737B (zh) | 一种面向飞机精密进近着陆的视觉-惯性组合导航方法 | |
| CN110361010A (zh) | 一种基于占据栅格地图且结合imu的移动机器人定位方法 | |
| CN109470239B (zh) | 磁场补偿方法，相关装置及计算机程序 | |
| CN114136315B (zh) | 一种基于单目视觉辅助惯性组合导航方法及系统 | |
| CN112455502B (zh) | 基于激光雷达的列车定位方法及装置 | |
| CN109341686A (zh) | 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法 | |
| CN110223354A (zh) | 一种基于sfm三维重建的相机自标定方法 | |
| CN106643670A (zh) | 一种无人机航摄站点坐标求解装置及方法 | |
| JP2011141262A (ja) | 高度測定装置および方法 | |
| CN106969721A (zh) | 一种三维测量方法及其测量装置 | |
| CN105424034A (zh) | 一种船载全天时星光惯导组合导航系统 | |
| CN107576329B (zh) | 基于机器视觉的固定翼无人机着降引导合作信标设计方法 | |
| WO2013054132A1 (en) | Height measurement apparatus and method | |
| CN114689030A (zh) | 一种基于机载视觉的无人机辅助定位方法及系统 | |
| CN109341685B (zh) | 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |