CN105718895A - 一种基于视觉特征的无人机 - Google Patents
一种基于视觉特征的无人机 Download PDFInfo
- Publication number
- CN105718895A CN105718895A CN201610045878.6A CN201610045878A CN105718895A CN 105718895 A CN105718895 A CN 105718895A CN 201610045878 A CN201610045878 A CN 201610045878A CN 105718895 A CN105718895 A CN 105718895A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- feature
- submodule
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉特征的无人机,包括无人机和安装在无人机上的监控装置,监控装置具体包括预处理模块、检测跟踪模块、识别输出模块,其中预处理模块包含图像转化、图像滤波、图像增强三个子模块,检测跟踪模块包含构建、丢失判别、更新三个子模块。本无人机将视频图像技术运用在无人机上,能有效监控记录恶意破坏行为,具有实时性好、定位准确、自适应能力强、图像细节保留完整和鲁棒性强等优点。
Description
技术领域
本发明涉及无人机领域,具体涉及一种基于视觉特征的无人机。
背景技术
无人驾驶飞机简称“无人机”,是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。机上无驾驶舱,但安装有自动驾驶仪、程序控制装置等设备。地面、舰艇上或母机遥控站人员通过雷达等设备,对其进行跟踪、定位、遥控、遥测和数字传输。可在无线电遥控下像普通飞机一样起飞或用助推火箭发射升空,也可由母机带到空中投放飞行。回收时,可用与普通飞机着陆过程一样的方式自动着陆,也可通过遥控用降落伞或拦网回收。可反覆使用多次。广泛用于空中侦察、监视、通信、反潜、电子干扰等。
无人机作为一种重要的昂贵设备,其安全性尤为重要,必须能防止和监视恶意破坏行为。
发明内容
针对上述问题,本发明提供一种基于视觉特征的无人机。
本发明的目的采用以下技术方案来实现:
一种基于视觉特征的无人机,包括无人机和安装在无人机上的监测装置,监测装置用于对无人机附近的活动进行视频图像监测,监测装置包括预处理模块、检测跟踪模块、识别输出模块;
(1)预处理模块,用于对接收到的图像进行预处理,具体包括图像转化子模块、图像滤波子模块和图像增强子模块:
图像转化子模块,用于将彩色图像转化为灰度图像:
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,i=1,2,3,4;J(x,y)为经滤波后的图像;
图像增强子模块:
当 时, 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时ψα是范围为0到1的可变参数,
当 且ω>50时, 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块,具体包括构建子模块、丢失判别子模块和更新子模块:
构建子模块,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,……xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征fs (t)向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=4,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z,其中t=1,2,…,N,z=1,2,…,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为: 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
当目标丢失时,定义仿射变换模型: 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, 为温度旋转修正系数, 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=3帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
本无人机的有益效果为:在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;将M×N个幂指数运算降低为256个,提高了计算效率;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪。此外,该无人机具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面取得了很好的效果。
附图说明
利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是一种基于视觉特征的无人机的结构框图;
图2是一种基于视觉特征的无人机的外部示意图。
具体实施方式
结合以下实施例对本发明作进一步描述。
实施例1:如图1-2所示,一种基于视觉特征的无人机,包括无人机5和安装在无人机5上的监测装置4,监测装置4用于对无人机附近的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
(1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
图像转化子模块11,用于将彩色图像转化为灰度图像:
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块12,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,i=1,2,3,4;J(x,y)为经滤波后的图像;
图像增强子模块13:
当 时, 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,
当 且ω>50时, 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
构建子模块21,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,……xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征fs (t)向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块22,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=4,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z,其中t=1,2,…,N,z=1,2,…,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为: 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
当目标丢失时,定义仿射变换模型: 其中(Xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, 为温度旋转修正系数, 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块23,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=3帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+k)代表尺度为m×n的函数,且Pg(x+i,y+k)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
此实施例的无人机,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=4,F=3,计算平均帧率为15FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至110帧后仍能稳定跟踪目标。此外,该无人机具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。
实施例2:如图1-2所示,一种基于视觉特征的无人机,包括无人机5和安装在无人机5上的监测装置4,监测装置4用于对无人机5附近的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
(1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
图像转化子模块11,用于将彩色图像转化为灰度图像:
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块12,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,i=1,2,3,4;J(x,y)为经滤波后的图像;
图像增强子模块13:
当 时, 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,
当 且ω>50时, 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
构建子模块21,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,……xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征fs (t)向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块22,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=5,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z,其中t=1,2,…,N,z=1,2,…,Ns,然后计算总体相似性Φt=1—∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为: 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
当目标丢失时,定义仿射变换模型: 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, 为温度旋转修正系数, 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块23,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=4帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+k)代表尺度为m×n的函数,且Pg(x+i,y+k)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
此实施例的无人机,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=5,F=4,计算平均帧率为16FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至115帧后仍能稳定跟踪目标。此外,该无人机具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。
实施例3:如图1-2所示,一种基于视觉特征的无人机,包括无人机5和安装在无人机5上的监测装置4,监测装置4用于对无人机5附近的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
(1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
图像转化子模块11,用于将彩色图像转化为灰度图像:
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块12,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,i=1,2,3,4;J(x,y)为经滤波后的图像;
图像增强子模块13:
当 时, 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,
当 且ω>50时, 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
构建子模块21,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,……xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征fs (t)向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块22,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=6,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z,其中t=1,2,…,N,z=1,2,…,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为: 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
当目标丢失时,定义仿射变换模型: 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, 为温度旋转修正系数, 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块23,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=5帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块3,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+k)代表尺度为m×n的函数,且Pg(x+i,y+k)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
此实施例的无人机,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=6,F=5,计算平均帧率为17FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至120帧后仍能稳定跟踪目标。此外,该无人机具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。
实施例4:如图1-2所示,一种基于视觉特征的无人机,包括无人机5和安装在无人机5上的监测装置4,监测装置4用于对无人机5附近的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
(1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
图像转化子模块11,用于将彩色图像转化为灰度图像:
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块12,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,i=1,2,3,4;J(x,y)为经滤波后的图像;
图像增强子模块13:
当 时, 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,
当 且ω>50时, 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
构建子模块21,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,……xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征fs (t)向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块22,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=7,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z,其中t=1,2,…,N,z=1,2,…,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为:其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
当目标丢失时,定义仿射变换模型: 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, 为温度旋转修正系数, 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块23,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=6帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块3,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+k)代表尺度为m×n的函数,且Pg(x+i,y+k)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
此实施例的无人机,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=7,F=6,φ=0.18,计算平均帧率为18FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至125帧后仍能稳定跟踪目标。此外,该无人机具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。
实施例5:如图1-2所示,一种基于视觉特征的无人机,包括无人机5和安装在无人机5上的监测装置4,监测装置4用于对无人机5附近的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
(1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
图像转化子模块11,用于将彩色图像转化为灰度图像:
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块12,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,i=1,2,3,4;J(x,y)为经滤波后的图像;
图像增强子模块13:
当 时, 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,
当 且ω>50时, 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
构建子模块21,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,……xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征fs (t)向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块22,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=8,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z,其中t=1,2,…,N,z=1,2,…,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为: 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
当目标丢失时,定义仿射变换模型: 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, 为温度旋转修正系数, 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块23,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=7帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块3,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+k)代表尺度为m×n的函数,且Pg(x+i,y+k)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
此实施例的无人机,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=8,F=7,计算平均帧率为19FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至130帧后仍能稳定跟踪目标。此外,该无人机具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。
Claims (2)
1.一种基于视觉特征的无人机,包括无人机和安装在无人机上的监测装置,监测装置用于对无人机附近的活动进行视频图像监测,其特征是,监测装置包括预处理模块、检测跟踪模块、识别输出模块;
(1)预处理模块,用于对接收到的图像进行预处理,具体包括图像转化子模块、图像滤波子模块和图像增强子模块:
图像转化子模块,用于将彩色图像转化为灰度图像:
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,i=1,2,3,4;J(x,y)为经滤波后的图像;
图像增强子模块:
当 时, 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,ω为模板尺度大小参量,尺度越大则模板中包含的邻域像素信息就越多,输入图像经过不同尺度ωi的模板,得到的图像Ji将会包含不同范围的邻域信息;
当 且ω>50时, 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数为模板修正系数;
(2)检测跟踪模块,具体包括构建子模块、丢失判别子模块和更新子模块:
构建子模块,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,......xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征fs (t)向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=4,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Фt_z,其中t=1,2,...,N,z=1,2,...,Ns,然后计算总体相似性Фt=1-Πz(1-Фt_z);候选目标区域与目标的相似性用Ф=max{Фt,t}表示,则目标丢失判断式为: 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;当目标丢失时,定义仿射变换模型: 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, 为温度旋转修正系数, 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=3帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
2.根据权利要求1所述的一种基于视觉特征的无人机,其特征是,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610045878.6A CN105718895A (zh) | 2016-01-22 | 2016-01-22 | 一种基于视觉特征的无人机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610045878.6A CN105718895A (zh) | 2016-01-22 | 2016-01-22 | 一种基于视觉特征的无人机 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105718895A true CN105718895A (zh) | 2016-06-29 |
Family
ID=56153869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610045878.6A Pending CN105718895A (zh) | 2016-01-22 | 2016-01-22 | 一种基于视觉特征的无人机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105718895A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107329490A (zh) * | 2017-07-21 | 2017-11-07 | 歌尔科技有限公司 | 无人机避障方法及无人机 |
CN109154815A (zh) * | 2017-11-30 | 2019-01-04 | 深圳市大疆创新科技有限公司 | 最高温度点跟踪方法、装置和无人机 |
CN109410281A (zh) * | 2018-11-05 | 2019-03-01 | 珠海格力电器股份有限公司 | 一种定位控制方法、装置、存储介质及物流系统 |
CN109612333A (zh) * | 2018-11-08 | 2019-04-12 | 北京航天自动控制研究所 | 一种面向可重复使用火箭垂直回收的视觉辅助导引系统 |
CN110308151A (zh) * | 2019-07-22 | 2019-10-08 | 重庆大学 | 一种基于机器视觉的金属工件表面缺陷识别方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120154580A1 (en) * | 2010-12-20 | 2012-06-21 | Huang tai-hui | Moving object detection method and image processing system for moving object detection |
CN103136536A (zh) * | 2011-11-24 | 2013-06-05 | 北京三星通信技术研究有限公司 | 对象检测系统和方法、图像的特征提取方法 |
CN104899590A (zh) * | 2015-05-21 | 2015-09-09 | 深圳大学 | 一种无人机视觉目标跟随方法及系统 |
-
2016
- 2016-01-22 CN CN201610045878.6A patent/CN105718895A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120154580A1 (en) * | 2010-12-20 | 2012-06-21 | Huang tai-hui | Moving object detection method and image processing system for moving object detection |
CN103136536A (zh) * | 2011-11-24 | 2013-06-05 | 北京三星通信技术研究有限公司 | 对象检测系统和方法、图像的特征提取方法 |
CN104899590A (zh) * | 2015-05-21 | 2015-09-09 | 深圳大学 | 一种无人机视觉目标跟随方法及系统 |
Non-Patent Citations (1)
Title |
---|
吴京辉: "视频监控目标的跟踪与识别研究", 《中国博士学位论文全文数据库信息科技辑》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107329490A (zh) * | 2017-07-21 | 2017-11-07 | 歌尔科技有限公司 | 无人机避障方法及无人机 |
CN109154815A (zh) * | 2017-11-30 | 2019-01-04 | 深圳市大疆创新科技有限公司 | 最高温度点跟踪方法、装置和无人机 |
US11153494B2 (en) | 2017-11-30 | 2021-10-19 | SZ DJI Technology Co., Ltd. | Maximum temperature point tracking method, device and unmanned aerial vehicle |
US11798172B2 (en) | 2017-11-30 | 2023-10-24 | SZ DJI Technology Co., Ltd. | Maximum temperature point tracking method, device and unmanned aerial vehicle |
CN109410281A (zh) * | 2018-11-05 | 2019-03-01 | 珠海格力电器股份有限公司 | 一种定位控制方法、装置、存储介质及物流系统 |
CN109612333A (zh) * | 2018-11-08 | 2019-04-12 | 北京航天自动控制研究所 | 一种面向可重复使用火箭垂直回收的视觉辅助导引系统 |
CN109612333B (zh) * | 2018-11-08 | 2021-07-09 | 北京航天自动控制研究所 | 一种面向可重复使用火箭垂直回收的视觉辅助导引系统 |
CN110308151A (zh) * | 2019-07-22 | 2019-10-08 | 重庆大学 | 一种基于机器视觉的金属工件表面缺陷识别方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105718895A (zh) | 一种基于视觉特征的无人机 | |
CN109725310B (zh) | 一种基于yolo算法以及岸基雷达系统的船舶定位监管系统 | |
CN108873917A (zh) | 一种面向移动平台的无人机自主着陆控制系统及方法 | |
CN105373135A (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
García-Garrido et al. | Robust traffic signs detection by means of vision and V2I communications | |
CN105718896A (zh) | 一种具有目标识别功能的智能机器人 | |
CN110751266A (zh) | 一种无人机轨迹预测模块及其预测方法 | |
CN114967731A (zh) | 一种基于无人机的野外人员自动搜寻方法 | |
Ghosh et al. | AirTrack: Onboard deep learning framework for long-range aircraft detection and tracking | |
CN110211159A (zh) | 一种基于图像视频处理技术的飞机位置检测系统及方法 | |
CN110503647A (zh) | 基于深度学习图像分割的小麦植株实时计数方法 | |
CN110363144A (zh) | 一种基于图像处理技术的飞机门开关状态检测系统及方法 | |
CN106650814B (zh) | 一种基于车载单目视觉室外道路自适应分类器生成方法 | |
CN105740768A (zh) | 一种局部和全局特征相结合的无人驾驶叉运装置 | |
Luo et al. | UAV detection based on rainy environment | |
Fitzgerald | Landing site selection for UAV forced landings using machine vision | |
Wang et al. | Research on Smooth Edge Feature Recognition Method for Aerial Image Segmentation | |
CN105718897A (zh) | 一种基于视觉特征的数控车床 | |
Dudek et al. | Cloud detection system for uav sense and avoid: First results of cloud segmentation in a simulation environment | |
CN109902668B (zh) | 无人机载的路面检测系统及检测方法 | |
CN105574517A (zh) | 一种具有稳定跟踪功能的电动汽车充电桩 | |
Shakirzyanov et al. | Method for unmanned vehicles automatic positioning based on signal radially symmetric markers recognition of underwater targets | |
CN108573498B (zh) | 基于无人机的行驶车辆即时跟踪系统 | |
CN111950456A (zh) | 一种基于无人机的智能化fod探测方法及系统 | |
CN105718911A (zh) | 一种具有目标识别功能的室外变压器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160629 |