CN105513087A - 激光瞄准与跟踪设备及其控制方法 - Google Patents
激光瞄准与跟踪设备及其控制方法 Download PDFInfo
- Publication number
- CN105513087A CN105513087A CN201610121966.XA CN201610121966A CN105513087A CN 105513087 A CN105513087 A CN 105513087A CN 201610121966 A CN201610121966 A CN 201610121966A CN 105513087 A CN105513087 A CN 105513087A
- Authority
- CN
- China
- Prior art keywords
- laser
- acousto
- moving target
- optic modulator
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明提供了激光瞄准与跟踪设备及其控制方法,所述设备包括:图像采集器,与所述图像采集器电连接的控制器,与所述控制器电连接的激光发射器;所述图像采集器用于采集环境图像,将所述环境图像传输至所述控制器;所述控制器采用GPU与CPU结合工作,用于接收所述环境图像,根据所述环境图像确定待跟踪运动目标,以及所述待跟踪运动目标的位置,根据所述待跟踪运动目标的位置生成激光发射控制指令并传输至所述激光发射器;所述激光发射器用于接收所述激光发射控制指令,根据所述激光发射控制指令瞄准并跟踪所述待跟踪运动目标。本发明提供的激光瞄准与跟踪设备及其控制方法具有处理速度快的优点,通过本发明能够保证运动目标跟踪的实时性。
Description
技术领域
本发明涉及电子设备领域,尤其涉及激光瞄准与跟踪设备及其控制方法。
背景技术
利用激光进行运动目标的瞄准与跟踪是当前计算机视觉领域的研究热点,运动目标的瞄准跟踪是指利用计算机在视频序列中确定感兴趣的、具有某种显著特征的运动目标的位置、大小、以及运动目标完整的运动轨迹。近年来,随着计算机数据处理能力的飞速增长、以及图像分析技术的发展,运动目标的实时瞄准追踪技术脱颖而出。对运动目标进行瞄准与跟踪,在视频监控、视频压缩编码、机器人导航与定位、智能人机交互以及虚拟现实等领域有着重要的实用价值。
现有技术中的利用激光进行运动目标瞄准与跟踪的设备主要包括:控制器,与控制器电连接的摄像机。该设备的工作原理是:通过摄像机获取运动目标的图像并传输给控制器,控制器以CPU(CentralProcessingUnit,中央处理器)为工作核心,对接收到的图像进行运动目标检测与筛选,确定需要跟踪的运动目标,向摄像机发送控制指令,摄像机接收控制指令后,在控制指令的控制下对需要跟踪的运动目标进行跟踪拍摄。
发明人在研究中发现,现有技术中以CPU为工作核心的控制器运算处理速度慢,使得运动目标跟踪的实时性难以保证。
发明内容
本发明提供了激光瞄准与跟踪设备及其控制方法,运算处理速度快,能够保证运动目标跟踪的实时性。
第一方面,本发明实施例提供了一种激光瞄准与跟踪设备,所述设备包括:图像采集器,与所述图像采集器电连接的控制器,与所述控制器电连接的激光发射器;所述图像采集器用于采集环境图像,将所述环境图像传输至所述控制器;所述控制器采用GPU(GraphicProcessingUnit,图形处理器)与CPU结合工作,用于接收所述环境图像,根据所述环境图像确定待跟踪运动目标,以及所述待跟踪运动目标的位置,根据所述待跟踪运动目标的位置生成激光发射控制指令并传输至所述激光发射器;所述激光发射器用于接收所述激光发射控制指令,根据所述激光发射控制指令瞄准并跟踪所述待跟踪运动目标。
结合第一方面,本发明实施例提供了第一方面第一种可能的实施方式,其中,所述控制器包括相互电连接的GPU和CPU;所述CPU与所述图像采集器电连接,用于接收所述环境图像的当前帧图像,将所述当前帧图像传输给所述GPU;所述GPU用于对所述当前帧图像进行运动目标检测,得到所述当前帧图像中运动目标的图像特征并发送至所述CPU;其中,所述运动目标的图像特征包括所述运动目标的图像坐标、颜色特征和纹理特征;所述CPU还与所述激光发射器电连接,用于接收所述当前帧图像中运动目标的图像特征,将所述当前帧图像中运动目标的图像特征融合,并与预先存储的图像特征进行匹配,根据所述特征匹配结果对所述当前帧图像中的运动目标进行筛选,确定待跟踪运动目标以及所述待跟踪运动目标的图像坐标,将所述待跟踪运动目标的图像坐标转化为空间坐标,根据所述待跟踪运动目标的空间坐标生成激光发射控制指令并传输至所述激光发射器。
结合第一方面第一种可能的实施方式,本发明实施例提供了第一方面第二种可能的实施方式,其中,所述GPU用于对所述当前帧图像进行预处理,所述预处理包括解码和/或去噪;采用混合高斯进行背景建模,生成预设数量的背景模型;根据所述预设数量的背景模型对所述预处理后的当前帧图像进行运动目标检测,得到所述当前帧图像中运动目标的图像特征并发送至所述CPU。
结合第一方面第一种可能的实施方式,本发明实施例提供了第一方面第三种可能的实施方式,其中,所述CPU用于根据所述待跟踪运动目标的空间坐标进行计算,得到所述激光发射器的激光发射参数和激光偏转参数,根据所述激光发射参数和所述激光偏转参数生成所述激光发射控制指令并发送至所述激光发射器。
结合第一方面,本发明实施例提供了第一方面第四种可能的实施方式,其中,所述激光发射控制指令携带有激光发射参数和激光偏转参数;所述激光发射器包括依次排列的脉冲激光器和声光调制器;所述脉冲激光器与所述控制器电连接,接收所述激光发射控制指令,根据所述激光发射控制指令携带的激光发射参数发射激光;所述声光调制器与所述控制器电连接,接收所述激光发射控制指令,根据所述激光发射控制指令携带的激光偏转参数对所述脉冲激光器发出的激光进行偏转作用,以使所述激光瞄准并跟踪所述待跟踪运动目标。
结合第一方面第四种可能的实施方式,本发明实施例提供了第一方面第五种可能的实施方式,其中,所述声光调制器包括纵向声光调制器和横向声光调制器,所述脉冲激光器、所述纵向声光调制器和所述横向声光调制器依次排列,所述纵向声光调制器和所述横向声光调制器分别与所述控制器电连接;所述纵向声光调制器接收所述激光发射控制指令,根据所述激光发射控制指令携带的激光偏转参数将所述脉冲激光器发出的激光纵向偏转至所述横向声光调制器;所述横向声光调制器接收所述激光发射控制指令,根据所述激光发射控制指令携带的激光偏转参数对所述纵向偏转后的激光进行横向偏转,以使所述横向偏转后的激光瞄准并跟踪所述待跟踪运动目标。
结合第一方面第五种可能的实施方式,本发明实施例提供了第一方面第六种可能的实施方式,其中,所述激光发射器还包括凸透镜,所述脉冲激光器、所述纵向声光调制器、所述横向声光调制器和所述凸透镜依次排列;所述横向偏转后的激光穿过所述凸透镜,瞄准并跟踪所述待跟踪运动目标。
结合第一方面第四种可能的实施方式,本发明实施例提供了第一方面第七种可能的实施方式,其中,所述声光调制器包括横向声光调制器和纵向声光调制器,所述激光发射器还包括凸透镜,所述脉冲激光器、所述横向声光调制器、所述纵向声光调制器和所述凸透镜依次排列,所述横向声光调制器和所述纵向声光调制器分别与所述控制器电连接。
结合第一方面第六种可能的实施方式,本发明实施例提供了第一方面第八种可能的实施方式,其中,所述激光发射器还包括凸透镜安装架、脉冲激光器安装架、横向声光调制器安装架和纵向声光调制器安装架;所述凸透镜安装架、所述脉冲激光器安装架、所述横向声光调制器安装架和所述纵向声光调制器安装架上分别设置有调节元件;通过所述调节元件分别调节所述凸透镜、所述脉冲激光器、所述横向声光调制器和所述纵向声光调制器的安装位置。
第二方面,本发明实施例提供了一种激光瞄准与跟踪设备的控制方法,所述激光瞄准与跟踪设备包括第一方面上述实施例所述的激光瞄准与跟踪设备,所述控制方法包括:采用GPU与CPU结合工作,接收图像采集器采集的环境图像;根据所述环境图像确定待跟踪运动目标,以及所述待跟踪运动目标的位置;根据所述待跟踪运动目标的位置生成激光发射控制指令并传输至激光发射器,以使所述激光发射器根据所述激光发射控制指令瞄准并跟踪所述待跟踪运动目标。
本发明实施例中,图像采集器向控制器发送采集到的环境图像,控制器采用GPU与CPU结合工作,根据采集到的环境图像生成激光发射控制指令并传输至激光发射器,激光发射器根据激光发射控制指令瞄准并跟踪待跟踪运动目标。本实施例中,控制器采用GPU与CPU结合工作,具有运算处理速度快的优点,能够保证运动目标跟踪的实时性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出本发明第一实施例所提供的激光瞄准与跟踪设备的一种结构示意图;
图2示出本发明第一实施例所提供的激光瞄准与跟踪设备的另一种结构示意图;
图3示出本发明第一实施例所提供的激光发射器的一种结构示意图;
图4示出本发明第一实施例所提供的激光发射器的另一种结构示意图;
图5示出本发明第一实施例所提供的图像处理算法的流程示意图;
图6示出本发明第二实施例所提供的激光瞄准与跟踪设备的控制方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到现有技术中以CPU为工作核心的控制器运算处理速度慢,使得运动目标跟踪的实时性难以保证,本发明实施例提供了激光瞄准与跟踪设备及其控制方法,下面结合实施例进行详细说明。
实施例一
图1示出了本发明第一实施例提供的激光瞄准与跟踪设备的一种结构示意图。如图1所示,本实施例中的激光瞄准与跟踪设备1包括:
图像采集器10,与图像采集器10电连接的控制器20,与控制器20电连接的激光发射器30;
图像采集器10用于采集环境图像,将环境图像传输至控制器20;
控制器20采用GPU与CPU结合工作,用于接收环境图像,根据环境图像确定待跟踪运动目标,以及待跟踪运动目标的位置,根据待跟踪运动目标的位置生成激光发射控制指令并传输至激光发射器30;
激光发射器30用于接收激光发射控制指令,根据激光发射控制指令瞄准并跟踪待跟踪运动目标。
本发明实施例中,图像采集器10向控制器20发送采集到的环境图像,控制器20采用GPU与CPU结合工作,根据采集到的环境图像生成激光发射控制指令并传输至激光发射器30,激光发射器30根据激光发射控制指令瞄准并跟踪待跟踪运动目标。本实施例中,控制器20采用GPU与CPU结合工作,具有运算处理速度快的优点,能够保证运动目标跟踪的实时性。
本实施例中,图像采集器10安装在预设位置。图像采集器10优选采用CMOS(ComplementaryMetalOxideSemiconductor,互补金属氧化物半导体)全景高清1080P摄像机,CMOS全景高清1080P摄像机以每秒25帧的速率将分辨率为1080P(1920×1080)的视频流图像以1000Mbps的速率通过网络线缆实时传输至控制器20。现有技术中利用激光进行运动目标瞄准与跟踪的设备采用的视频流分辨率一般是VGA(videographicsarray,视频图形阵列)(640×480),很少能达到720P(1280×720)。与现有技术相比,本实施例中通过CMOS全景高清1080P摄像机能够获取到清晰度高的环境图像,从而提高后续图像分析处理的准确性,并且,视频分辨率的提高能使控制器20处理的细节更多,提高对体积较小或距离较远的运动目标的检测成功率。
图2示出了本发明第一实施例提供的激光瞄准与跟踪设备的另一种结构示意图。如图2所示,本实施例中,控制器20包括相互电连接的GPU21和CPU22;CPU22与图像采集器10电连接,用于接收环境图像的当前帧图像,将当前帧图像传输给GPU21;GPU21用于对当前帧图像进行运动目标检测,得到当前帧图像中运动目标的图像特征并发送至CPU22;其中,运动目标的图像特征包括运动目标的图像坐标、颜色特征和纹理特征;CPU22还与激光发射器30电连接,用于接收当前帧图像中运动目标的图像特征,将当前帧图像中运动目标的图像特征融合,并与预先存储的图像特征进行匹配,根据特征匹配结果对当前帧图像中的运动目标进行筛选,确定待跟踪运动目标以及待跟踪运动目标的图像坐标,将待跟踪运动目标的图像坐标转化为空间坐标,根据待跟踪运动目标的空间坐标生成激光发射控制指令并传输至激光发射器30。
上述GPU21对当前帧图像进行运动目标检测,得到当前帧图像中运动目标的图像特征并发送至CPU22的具体过程是:GPU21对当前帧图像进行预处理,该预处理包括解码和/或去噪;采用混合高斯进行背景建模,生成预设数量的背景模型;根据预设数量的背景模型对预处理后的当前帧图像进行运动目标检测,得到当前帧图像中运动目标的图像特征并发送至CPU22。
具体地,GPU21对当前帧图像解码,或者对当前帧图像进行去噪,或者对当前帧图像进行解码和去噪处理。GPU21采用混合高斯进行背景建模,生成5-7个背景模型。GPU21根据5-7个背景模型对预处理后的当前帧图像进行运动目标检测,从当前帧图像中剔除背景图像,得到当前帧图像中运动目标以及当前帧图像中运动目标的图像特征,并将当前帧图像中运动目标的图像特征发送至CPU22。与现有技术相比,本实施例中GPU21采用5-7个模型建立稳定背景,更大的计算规模导致运动前景与背景分割准确度的提高,而GPU21并行计算特性保证大量计算的实时完成。
通过GPU21对当前帧图像进行运动目标检测,能够从当前帧图像中检测得到多个运动目标,以及多个运动目标各自的图像坐标、颜色特征和纹理特征,其中颜色特征能够通过颜色直方图表示,纹理特征能够通过局部旋转不变纹理、梯度直方图表示。GPU21将多个运动目标各自的图像坐标、颜色特征和纹理特征发送至CPU22。
本实施例中,GPU21将对高清晰度数字图像的处理过程划分成小矩阵块分配到上千个计算单元和处理线程中同时进行,极大地提高了处理速度。GPU21利用内嵌的运动目标与特征检测算法将图像中的大部分无用信息过滤掉,保留有效信息,即当前帧图像中运动目标的图像特征,仅将数据规模很小的有效信息传输给CPU22。
CPU22接收多个运动目标各自的图像坐标、颜色特征和纹理特征,对于每个运动目标,将其各自的图像坐标、颜色特征和纹理特征进行融合,并将融合后的特征与预先存储的图像特征进行匹配,若匹配成功,则确定该融合后的特征对应的运动目标为待跟踪运动目标,并将该融合后的特征存储在内存中,作为下一帧匹配计算的模板。CPU22还确定待跟踪运动目标的图像坐标,并根据预先设定的坐标转换关系将待跟踪运动目标的图像坐标转换为空间坐标。
为了弥补背景建模方法对目标运动速度较低情况的不准确性,本实施例中CPU22进行运动目标筛选时,融合运动目标的多种图像特征,包括图像坐标、颜色特征和纹理特征,进一步提高了前景与背景分离的准确度,实现对复杂环境中感兴趣的运动目标的准确检测。本实施例中,CPU22实现了运动目标位置和颜色、纹理特征融合的匹配算法,实现了对目标运动轨迹的快速准确描述。
由于激光发射器30需要根据运动目标的空间位置对其进行激光捕捉与跟踪,因此CPU22根据待跟踪运动目标的空间坐标生成激光发射控制指令的具体过程是:CPU22根据待跟踪运动目标的空间坐标进行计算,得到激光发射器的激光发射参数和激光偏转参数,根据激光发射参数和激光偏转参数生成激光发射控制指令并发送至激光发射器30。其中,激光发射控制指令携带有激光发射参数和激光偏转参数。
本实施例中,控制器20采用GPU21与CPU22异构并行处理方式对环境图像进行处理,通过这种异构并行处理方式能够提到GPU21与CPU22的工作效率,从而提高图像处理速度。
如图2所示,本实施例中的激光发射器30包括依次排列的脉冲激光器31和声光调制器32;上述激光发射控制指令携带有激光发射参数和激光偏转参数;脉冲激光器31与控制器20电连接,接收激光发射控制指令,根据激光发射控制指令携带的激光发射参数发射激光;声光调制器32与控制器20电连接,接收激光发射控制指令,根据激光发射控制指令携带的激光偏转参数对脉冲激光器31发出的激光进行偏转作用,以使激光瞄准并跟踪待跟踪运动目标。
图2中,脉冲激光器31与声光调制器32之间的线段表示光路传播方向。本实施例中,脉冲激光器31根据激光发射参数开启激光发射功能,并发射激光。激光发射参数包括激光发射强度等参数。声光调制器32根据激光偏转参数转至指定的角度,通过该指定的角度对脉冲激光器31发出的激光进行偏转作用。激光偏转参数包括激光偏转角度等。
图3是本实施例中的激光发射器30的结构示意图,如图3所示,为了保证声光调制器32对激光进行准确偏转,声光调制器32包括纵向声光调制器321和横向声光调制器322,脉冲激光器31、纵向声光调制器321和横向声光调制器322依次排列,纵向声光调制器321和横向声光调制器322分别与控制器20电连接;纵向声光调制器321接收激光发射控制指令,根据激光发射控制指令携带的激光偏转参数将脉冲激光器发出的激光纵向偏转至横向声光调制器322;横向声光调制器322接收激光发射控制指令,根据激光发射控制指令携带的激光偏转参数对纵向偏转后的激光进行横向偏转,以使横向偏转后的激光瞄准并跟踪待跟踪运动目标。
本实施例中,激光通过纵向声光调制器321,利用声光效应所产生的布雷格衍射的特点,实现对激光束传播方向的控制,将光线进行纵向偏转到指定的角度,经过横向声光调制器322,将激光束进行横向偏转,汇聚到待跟踪运动目标上,实现实时瞄准与跟踪,从控制器20计算出待跟踪运动目标的位置到激光束定位与发射用时约几纳秒。
为了增大横向偏转后的激光的捕捉范围,如图3所示,本实施例中激光发射器30还包括凸透镜33,脉冲激光器31、纵向声光调制器321、横向声光调制器322和凸透镜33依次排列;横向偏转后的激光穿过凸透镜33,瞄准并跟踪待跟踪运动目标。
图3中,脉冲激光器31、纵向声光调制器321、横向声光调制器322和凸透镜33之间的线段表示光路传播方向。通过图3中的激光发射器30,激光从脉冲激光器31发出后,首先经过纵向声光调制器321进行纵向偏转,再经过横向声光调制器322进行横向偏转,最后穿过凸透镜33照向待跟踪运动目标。
如图4所示,本实施例中的激光发射器30还有另一种结构形式,声光调制器32包括横向声光调制器322和纵向声光调制器321,激光发射器30还包括凸透镜33,脉冲激光器31、横向声光调制器322、纵向声光调制器321和凸透镜33依次排列,横向声光调制器322和纵向声光调制器321分别与控制器20电连接。
图4中,脉冲激光器31、横向声光调制器322、纵向声光调制器321和凸透镜33之间的线段表示光路传播方向。当激光发射器30采用图4中的结构形式时,激光从脉冲激光器31发出后,首先经过横向声光调制器322进行横向偏转,再经过纵向声光调制器321进行纵向偏转,最后穿过凸透镜33照向待跟踪运动目标。
为了便于调节激光发射器30中各个器件的位置,激光发射器30还包括凸透镜安装架、脉冲激光器安装架、横向声光调制器安装架和纵向声光调制器安装架;凸透镜安装架、脉冲激光器安装架、横向声光调制器安装架和纵向声光调制器安装架上分别设置有调节元件;通过调节元件分别调节凸透镜33、脉冲激光器31、横向声光调制器322和纵向声光调制器321的安装位置。
本实施例中,激光发射器30还对待跟踪运动目标进行拍摄,将拍摄的图像传输回控制器20。控制器20与报警装置相连接,控制器20对激光发射器30传输回的图像进行分析,当分析得到图像中的物体飞行速度过快,超过预设阈值时,向报警装置发送报警指令,控制报警装置进行报警,并且,控制器20还与后台控制中心通信,控制器20对激光发射器30传输回的图像中的物体进行定位,确定该物体的地理坐标,将该地理坐标传输至后台控制中心,使后台控制中心的工作人员实时监控上述物体的位置变化情况。
本实施例提供的激光瞄准与跟踪设备能够应用军事领域和安防领域,用于预警探测、拦截、目标成像识别、直升机避障、反导精密跟瞄、无人机避障、跟踪监控技术等。例如,利用激光发射器30瞄准并跟踪空中飞行物体,对该物体进行拍摄,激光发射器30将拍摄的图像传输回控制器20。控制器20与报警装置相连接,控制器20对激光发射器30传输回的图像进行分析,当分析得到图像中的物体飞行速度过快,超过预设阈值时,向报警装置发送报警指令,控制报警装置进行报警,并且,控制器20还与后台控制中心通信,控制器20还对激光发射器30传输回的图像中的物体进行定位,确定该物体的地理坐标,将该地理坐标传输至后台控制中心,使后台控制中心的工作人员实时监控上述物体的位置变化情况。其中,飞行物体包括飞机、无人机等空中飞行器械。
又如,将激光发射器30安装在无人机上,激光发射器30高空监拍地面移动目标,激光发射器30将拍摄的图像传输回控制器20。控制器20与报警装置相连接,控制器20对激光发射器30传输回的图像进行分析,当分析得到图像中的物体飞行速度过快,超过预设阈值时,向报警装置发送报警指令,控制报警装置进行报警,并且,控制器20还与后台控制中心通信,控制器20还对激光发射器30传输回的图像中的物体进行定位,确定该物体的地理坐标,将该地理坐标传输至后台控制中心,使后台控制中心的工作人员实时监控上述物体的位置变化情况。
综上,本实施例中的激光瞄准与跟踪设备主要具有以下有益效果:
(1)软硬件结合:本实施例中加入GPU用于对图像进行处理,并在其中加入了运动目标与特征检测算法。软硬件相互结合,整个设备更加高效。
(2)速度更快:本实施例中的设备采用嵌入式系统组件与图形处理器异构计算方案(ARM+GPU),与现有的单纯ARMCPU的设备相比,本实施例中的设备的处理速度更快。本来由CPU实现的图像处理过程换由GPU来实现,图像经过GPU处理后仅将小规模的重要数据传输给CPU处理。这样做大大解放了CPU的工作,CPU工作起来更加高效、快速。与现有的ARM+DSP(digitalsignalprocessing,数字信号处理)处理设备相比,本实施例中的设备成本更低,处理能力更强大,能对高分辨率视频流进行实时处理,开发难度也更低。其中,ARM指的是AdvancedRISCMachines,一种RISC微处理器。
(3)独特算法:本实施例中GPU处理器中的运动目标与特征检测算法和目标跟踪算法,相比现有方案,具有极高效率和准确度。
(4)独特硬件设计:本实施例中的设备启动脉冲激光器发出一束激光脉冲,激光通过声光调制器,利用声光效应所产生的布雷格衍射的特点,实现对激光束传播方向的控制,将光线进行纵向偏转到指定的角度,经过第二个声光调制器,将激光束进行横向偏转,汇聚在相机采集到的光场物体上,实现实时瞄准与跟踪。
图5示出了本实施例提供的图像处理算法的流程示意图,该图像处理算法由CPU和GPU共同执行,如图5所示,该图像处理算法包括:
步骤502,对当前帧图像进行预处理,该预处理包括解码和/或去噪;
步骤504,采用混合高斯进行背景建模,生成5-7个背景模型;
步骤506,根据5-7个背景模型对预处理后的当前帧图像进行运动目标检测,得到当前帧图像中运动目标的图像特征;其中,运动目标的图像特征包括运动目标的图像坐标、颜色特征和纹理特征;
步骤508,将当前帧图像中运动目标的图像特征进行融合,并与预先存储的图像特征进行匹配,根据特征匹配结果对当前帧图像中的运动目标进行筛选,确定待跟踪运动目标以及待跟踪运动目标的图像坐标;
步骤510,将待跟踪运动目标的图像坐标转化为空间坐标。
图5中所示的图像处理算法由CPU和GPU共同执行,保证了图像处理的准确性、快速性和鲁棒性,提高了图像处理速度,实现了运动目标位置、颜色和纹理特征的融合,实现了快速准确的描述运动目标的运动轨迹。
实施例二
图6示出了本发明第二实施例提供的激光瞄准与跟踪设备的控制方法的流程示意图,其中,激光瞄准与跟踪设备包括实施例一中的激光瞄准与跟踪设备;如图6所示,该控制方法包括:
步骤602,采用GPU与CPU结合工作,接收图像采集器采集的环境图像;
步骤604,根据环境图像确定待跟踪运动目标,以及待跟踪运动目标的位置;
步骤606,根据待跟踪运动目标的位置生成激光发射控制指令并传输至激光发射器,以使激光发射器根据激光发射控制指令瞄准并跟踪待跟踪运动目标。
本发明实施例中,采用GPU与CPU结合工作,首先接收环境图像,然后根据环境图像确定待跟踪运动目标,以及待跟踪运动目标的位置,最后根据待跟踪运动目标的位置生成激光发射控制指令并传输至激光发射器,以使激光发射器根据激光发射控制指令瞄准并跟踪待跟踪运动目标。本实施例中,采用GPU与CPU结合工作,具有运算处理速度快的优点,能够保证运动目标跟踪的实时性。
在本发明所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种激光瞄准与跟踪设备,其特征在于,所述设备包括:
图像采集器,与所述图像采集器电连接的控制器,与所述控制器电连接的激光发射器;
所述图像采集器用于采集环境图像,将所述环境图像传输至所述控制器;
所述控制器采用GPU与CPU结合工作,用于接收所述环境图像,根据所述环境图像确定待跟踪运动目标,以及所述待跟踪运动目标的位置,根据所述待跟踪运动目标的位置生成激光发射控制指令并传输至所述激光发射器;
所述激光发射器用于接收所述激光发射控制指令,根据所述激光发射控制指令瞄准并跟踪所述待跟踪运动目标。
2.根据权利要求1所述的设备,其特征在于,所述控制器包括相互电连接的GPU和CPU;
所述CPU与所述图像采集器电连接,用于接收所述环境图像的当前帧图像,将所述当前帧图像传输给所述GPU;
所述GPU用于对所述当前帧图像进行运动目标检测,得到所述当前帧图像中运动目标的图像特征并发送至所述CPU;其中,所述运动目标的图像特征包括所述运动目标的图像坐标、颜色特征和纹理特征;
所述CPU还与所述激光发射器电连接,用于接收所述当前帧图像中运动目标的图像特征,将所述当前帧图像中运动目标的图像特征融合,并与预先存储的图像特征进行匹配,根据所述特征匹配结果对所述当前帧图像中的运动目标进行筛选,确定待跟踪运动目标以及所述待跟踪运动目标的图像坐标,将所述待跟踪运动目标的图像坐标转化为空间坐标,根据所述待跟踪运动目标的空间坐标生成激光发射控制指令并传输至所述激光发射器。
3.根据权利要求2所述的设备,其特征在于,所述GPU用于对所述当前帧图像进行预处理,所述预处理包括解码和/或去噪;采用混合高斯进行背景建模,生成预设数量的背景模型;根据所述预设数量的背景模型对所述预处理后的当前帧图像进行运动目标检测,得到所述当前帧图像中运动目标的图像特征并发送至所述CPU。
4.根据权利要求2所述的设备,其特征在于,所述CPU用于根据所述待跟踪运动目标的空间坐标进行计算,得到所述激光发射器的激光发射参数和激光偏转参数,根据所述激光发射参数和所述激光偏转参数生成所述激光发射控制指令并发送至所述激光发射器。
5.根据权利要求1所述的设备,其特征在于,所述激光发射控制指令携带有激光发射参数和激光偏转参数;所述激光发射器包括依次排列的脉冲激光器和声光调制器;
所述脉冲激光器与所述控制器电连接,接收所述激光发射控制指令,根据所述激光发射控制指令携带的激光发射参数发射激光;
所述声光调制器与所述控制器电连接,接收所述激光发射控制指令,根据所述激光发射控制指令携带的激光偏转参数对所述脉冲激光器发出的激光进行偏转作用,以使所述激光瞄准并跟踪所述待跟踪运动目标。
6.根据权利要求5所述的设备,其特征在于,所述声光调制器包括纵向声光调制器和横向声光调制器,所述脉冲激光器、所述纵向声光调制器和所述横向声光调制器依次排列,所述纵向声光调制器和所述横向声光调制器分别与所述控制器电连接;
所述纵向声光调制器接收所述激光发射控制指令,根据所述激光发射控制指令携带的激光偏转参数将所述脉冲激光器发出的激光纵向偏转至所述横向声光调制器;
所述横向声光调制器接收所述激光发射控制指令,根据所述激光发射控制指令携带的激光偏转参数对所述纵向偏转后的激光进行横向偏转,以使所述横向偏转后的激光瞄准并跟踪所述待跟踪运动目标。
7.根据权利要求6所述的设备,其特征在于,所述激光发射器还包括凸透镜,所述脉冲激光器、所述纵向声光调制器、所述横向声光调制器和所述凸透镜依次排列;
所述横向偏转后的激光穿过所述凸透镜,瞄准并跟踪所述待跟踪运动目标。
8.根据权利要求5所述的设备,其特征在于,所述声光调制器包括横向声光调制器和纵向声光调制器,所述激光发射器还包括凸透镜,所述脉冲激光器、所述横向声光调制器、所述纵向声光调制器和所述凸透镜依次排列,所述横向声光调制器和所述纵向声光调制器分别与所述控制器电连接。
9.根据权利要求7所述的设备,其特征在于,所述激光发射器还包括凸透镜安装架、脉冲激光器安装架、横向声光调制器安装架和纵向声光调制器安装架;
所述凸透镜安装架、所述脉冲激光器安装架、所述横向声光调制器安装架和所述纵向声光调制器安装架上分别设置有调节元件;
通过所述调节元件分别调节所述凸透镜、所述脉冲激光器、所述横向声光调制器和所述纵向声光调制器的安装位置。
10.一种激光瞄准与跟踪设备的控制方法,其特征在于,所述激光瞄准与跟踪设备包括权利要求1至9任一项所述的激光瞄准与跟踪设备;所述控制方法包括:
采用GPU与CPU结合工作,接收图像采集器采集的环境图像;
根据所述环境图像确定待跟踪运动目标,以及所述待跟踪运动目标的位置;
根据所述待跟踪运动目标的位置生成激光发射控制指令并传输至激光发射器,以使所述激光发射器根据所述激光发射控制指令瞄准并跟踪所述待跟踪运动目标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610121966.XA CN105513087A (zh) | 2016-03-03 | 2016-03-03 | 激光瞄准与跟踪设备及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610121966.XA CN105513087A (zh) | 2016-03-03 | 2016-03-03 | 激光瞄准与跟踪设备及其控制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105513087A true CN105513087A (zh) | 2016-04-20 |
Family
ID=55721044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610121966.XA Pending CN105513087A (zh) | 2016-03-03 | 2016-03-03 | 激光瞄准与跟踪设备及其控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105513087A (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106052481A (zh) * | 2016-05-10 | 2016-10-26 | 长春博信光电子有限公司 | 一种激光眩目方法及系统 |
CN106375682A (zh) * | 2016-08-31 | 2017-02-01 | 深圳市大疆创新科技有限公司 | 影像处理方法、装置与可移动设备、无人机遥控器及系统 |
CN107870628A (zh) * | 2016-09-27 | 2018-04-03 | 北京理工大学 | 一种无人直升机地面控制系统及其控制方法 |
CN108599398A (zh) * | 2018-03-30 | 2018-09-28 | 中国科学院长春光学精密机械与物理研究所 | 一种激光传输的跟踪瞄准系统 |
CN108924491A (zh) * | 2018-07-04 | 2018-11-30 | 深圳市商汤科技有限公司 | 视频流处理方法及装置、电子设备和存储介质 |
CN109040664A (zh) * | 2018-06-01 | 2018-12-18 | 深圳市商汤科技有限公司 | 视频流处理方法及装置、电子设备和存储介质 |
CN109194935A (zh) * | 2018-11-14 | 2019-01-11 | 众格智能科技(上海)有限公司 | 一种目标跟踪器 |
CN109477607A (zh) * | 2016-06-06 | 2019-03-15 | 深圳市大疆灵眸科技有限公司 | 用于跟踪的图像处理 |
CN110154896A (zh) * | 2018-03-16 | 2019-08-23 | 北京航空航天大学 | 一种检测障碍物的方法以及设备 |
CN110681057A (zh) * | 2019-09-17 | 2020-01-14 | 天津大学 | 一种用于实验小鼠的实时追踪照射装置及其方法 |
CN110708524A (zh) * | 2019-04-24 | 2020-01-17 | 广州星博科仪有限公司 | 一种基于光谱成像的目标投影指示装置 |
CN111179349A (zh) * | 2020-01-03 | 2020-05-19 | 中国航空制造技术研究院 | 一种一体化激光目标指示器和目标指示方法 |
CN111427387A (zh) * | 2020-04-26 | 2020-07-17 | 北京都是科技有限公司 | 一种激光瞄准系统、方法、装置及人工智能图像处理器 |
CN112363681A (zh) * | 2020-10-27 | 2021-02-12 | 上海影创信息科技有限公司 | 分体式vr/ar装置 |
CN112596440A (zh) * | 2020-12-17 | 2021-04-02 | 广东顺联动漫科技有限公司 | 一种控制物体运动的方法、装置、设备及存储介质 |
US11106928B2 (en) | 2016-06-06 | 2021-08-31 | Sz Dji Osmo Technology Co., Ltd. | Carrier-assisted tracking |
CN114035186A (zh) * | 2021-10-18 | 2022-02-11 | 北京航天华腾科技有限公司 | 一种目标方位跟踪指示系统及方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100085437A1 (en) * | 2008-10-07 | 2010-04-08 | The Boeing Company | Method and system involving controlling a video camera to track a movable target object |
CN102223522A (zh) * | 2011-05-20 | 2011-10-19 | 杭州数尔电子有限公司 | 智能自动跟踪器模块 |
CN103544714A (zh) * | 2013-10-22 | 2014-01-29 | 中国科学院半导体研究所 | 一种基于高速图像传感器的视觉追踪系统及方法 |
CN103783016A (zh) * | 2013-04-07 | 2014-05-14 | 北京志光伯元科技有限公司 | 一种激光灭虫设备 |
CN203733246U (zh) * | 2014-03-18 | 2014-07-23 | 于池 | 智能激光跟踪防盗报警装置 |
CN104501736A (zh) * | 2014-12-25 | 2015-04-08 | 安徽科鸣三维科技有限公司 | 一种基于激光源运动的机器视觉自动跟踪控制系统 |
CN204887275U (zh) * | 2015-09-06 | 2015-12-16 | 安徽理工大学 | 基于嵌入式技术的目标跟踪检测装置 |
-
2016
- 2016-03-03 CN CN201610121966.XA patent/CN105513087A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100085437A1 (en) * | 2008-10-07 | 2010-04-08 | The Boeing Company | Method and system involving controlling a video camera to track a movable target object |
CN102223522A (zh) * | 2011-05-20 | 2011-10-19 | 杭州数尔电子有限公司 | 智能自动跟踪器模块 |
CN103783016A (zh) * | 2013-04-07 | 2014-05-14 | 北京志光伯元科技有限公司 | 一种激光灭虫设备 |
CN103544714A (zh) * | 2013-10-22 | 2014-01-29 | 中国科学院半导体研究所 | 一种基于高速图像传感器的视觉追踪系统及方法 |
CN203733246U (zh) * | 2014-03-18 | 2014-07-23 | 于池 | 智能激光跟踪防盗报警装置 |
CN104501736A (zh) * | 2014-12-25 | 2015-04-08 | 安徽科鸣三维科技有限公司 | 一种基于激光源运动的机器视觉自动跟踪控制系统 |
CN204887275U (zh) * | 2015-09-06 | 2015-12-16 | 安徽理工大学 | 基于嵌入式技术的目标跟踪检测装置 |
Non-Patent Citations (2)
Title |
---|
徐剑 等: "一种融合局部纹理和颜色信息的背景减除方法", 《自动化学报》 * |
李楠 等: "基于成像跟踪的激光瞄准", 《海军航空工程学院学报》 * |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106052481A (zh) * | 2016-05-10 | 2016-10-26 | 长春博信光电子有限公司 | 一种激光眩目方法及系统 |
US11106928B2 (en) | 2016-06-06 | 2021-08-31 | Sz Dji Osmo Technology Co., Ltd. | Carrier-assisted tracking |
US10902609B2 (en) | 2016-06-06 | 2021-01-26 | Sz Dji Osmo Technology Co., Ltd. | Image processing for tracking |
US11568626B2 (en) | 2016-06-06 | 2023-01-31 | Sz Dji Osmo Technology Co., Ltd. | Carrier-assisted tracking |
CN109477607A (zh) * | 2016-06-06 | 2019-03-15 | 深圳市大疆灵眸科技有限公司 | 用于跟踪的图像处理 |
CN106375682A (zh) * | 2016-08-31 | 2017-02-01 | 深圳市大疆创新科技有限公司 | 影像处理方法、装置与可移动设备、无人机遥控器及系统 |
CN107870628B (zh) * | 2016-09-27 | 2021-03-19 | 北京理工大学 | 一种无人直升机地面控制系统及其控制方法 |
CN107870628A (zh) * | 2016-09-27 | 2018-04-03 | 北京理工大学 | 一种无人直升机地面控制系统及其控制方法 |
CN110154896A (zh) * | 2018-03-16 | 2019-08-23 | 北京航空航天大学 | 一种检测障碍物的方法以及设备 |
CN110154896B (zh) * | 2018-03-16 | 2020-04-07 | 北京航空航天大学 | 一种检测障碍物的方法以及设备 |
CN108599398A (zh) * | 2018-03-30 | 2018-09-28 | 中国科学院长春光学精密机械与物理研究所 | 一种激光传输的跟踪瞄准系统 |
CN109040664A (zh) * | 2018-06-01 | 2018-12-18 | 深圳市商汤科技有限公司 | 视频流处理方法及装置、电子设备和存储介质 |
CN108924491B (zh) * | 2018-07-04 | 2020-08-25 | 深圳市商汤科技有限公司 | 视频流处理方法及装置、电子设备和存储介质 |
CN108924491A (zh) * | 2018-07-04 | 2018-11-30 | 深圳市商汤科技有限公司 | 视频流处理方法及装置、电子设备和存储介质 |
CN109194935A (zh) * | 2018-11-14 | 2019-01-11 | 众格智能科技(上海)有限公司 | 一种目标跟踪器 |
CN110708524A (zh) * | 2019-04-24 | 2020-01-17 | 广州星博科仪有限公司 | 一种基于光谱成像的目标投影指示装置 |
CN110681057A (zh) * | 2019-09-17 | 2020-01-14 | 天津大学 | 一种用于实验小鼠的实时追踪照射装置及其方法 |
CN111179349A (zh) * | 2020-01-03 | 2020-05-19 | 中国航空制造技术研究院 | 一种一体化激光目标指示器和目标指示方法 |
CN111179349B (zh) * | 2020-01-03 | 2022-10-21 | 中国航空制造技术研究院 | 一种一体化激光目标指示器和目标指示方法 |
CN111427387A (zh) * | 2020-04-26 | 2020-07-17 | 北京都是科技有限公司 | 一种激光瞄准系统、方法、装置及人工智能图像处理器 |
CN112363681A (zh) * | 2020-10-27 | 2021-02-12 | 上海影创信息科技有限公司 | 分体式vr/ar装置 |
CN112596440A (zh) * | 2020-12-17 | 2021-04-02 | 广东顺联动漫科技有限公司 | 一种控制物体运动的方法、装置、设备及存储介质 |
CN114035186A (zh) * | 2021-10-18 | 2022-02-11 | 北京航天华腾科技有限公司 | 一种目标方位跟踪指示系统及方法 |
CN114035186B (zh) * | 2021-10-18 | 2022-06-28 | 北京航天华腾科技有限公司 | 一种目标方位跟踪指示系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105513087A (zh) | 激光瞄准与跟踪设备及其控制方法 | |
KR102032070B1 (ko) | 깊이 맵 샘플링을 위한 시스템 및 방법 | |
Jana et al. | YOLO based Detection and Classification of Objects in video records | |
CN114862901A (zh) | 一种露天矿山的路端多源传感器融合目标感知方法和系统 | |
CN105592269B (zh) | 运动目标捕捉与跟踪设备及运动目标捕捉与跟踪方法 | |
Gurram et al. | Monocular depth estimation through virtual-world supervision and real-world sfm self-supervision | |
CN104378582A (zh) | 一种基于ptz摄像机巡航的智能视频分析系统及方法 | |
Shreyas et al. | 3D object detection and tracking methods using deep learning for computer vision applications | |
CN105791686B (zh) | 多运动目标捕捉与跟踪设备及多运动目标捕捉与跟踪方法 | |
CN111666876A (zh) | 用于检测障碍物的方法、装置、电子设备和路侧设备 | |
Silva et al. | Monocular trail detection and tracking aided by visual SLAM for small unmanned aerial vehicles | |
Kong et al. | The robodrive challenge: Drive anytime anywhere in any condition | |
Sangam et al. | Transvisdrone: Spatio-temporal transformer for vision-based drone-to-drone detection in aerial videos | |
Zhao et al. | Dynamic object tracking for self-driving cars using monocular camera and lidar | |
Wu et al. | Realtime single-shot refinement neural network with adaptive receptive field for 3D object detection from LiDAR point cloud | |
WO2023105800A1 (en) | Object detection device, object detection method, and object detection system | |
Ahmed et al. | Multi-scale pedestrian intent prediction using 3D joint information as spatio-temporal representation | |
Barisic et al. | Brain over Brawn: Using a Stereo Camera to Detect, Track, and Intercept a Faster UAV by Reconstructing the Intruder's Trajectory | |
He et al. | Neural Radiance Field in Autonomous Driving: A Survey | |
Song et al. | Pedestrian intention prediction based on traffic-aware scene graph model | |
Li et al. | Feature point extraction and tracking based on a local adaptive threshold | |
Catalano et al. | Towards robust uav tracking in gnss-denied environments: a multi-lidar multi-uav dataset | |
CN205486308U (zh) | 激光瞄准与跟踪设备 | |
CN112529917A (zh) | 一种三维目标分割方法、装置、设备和存储介质 | |
Cai et al. | CI3D: Context Interaction for Dynamic Objects and Static Map Elements in 3D Driving Scenes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 100088 1, 111, 4 Building 44, North Third Ring Road, Haidian District, Beijing. Applicant after: Sima great (Beijing) Intelligent Systems Ltd Address before: 100080 Beijing, Haidian District, Shanghai 26 Road, 10 floor, 1019 room. Applicant before: Beijing Zhiguang Boyuan Technology Co., Ltd. |
|
CB02 | Change of applicant information | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160420 |
|
RJ01 | Rejection of invention patent application after publication |