CN113028897A - 图像导引方法及装置 - Google Patents

图像导引方法及装置 Download PDF

Info

Publication number
CN113028897A
CN113028897A CN202110264696.9A CN202110264696A CN113028897A CN 113028897 A CN113028897 A CN 113028897A CN 202110264696 A CN202110264696 A CN 202110264696A CN 113028897 A CN113028897 A CN 113028897A
Authority
CN
China
Prior art keywords
image
real
guidance
target object
time image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110264696.9A
Other languages
English (en)
Other versions
CN113028897B (zh
Inventor
赵旭
刘宁
韦健
苏中
刘福朝
刘洪�
李擎
赵辉
李连鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN202110264696.9A priority Critical patent/CN113028897B/zh
Publication of CN113028897A publication Critical patent/CN113028897A/zh
Application granted granted Critical
Publication of CN113028897B publication Critical patent/CN113028897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41GWEAPON SIGHTS; AIMING
    • F41G7/00Direction control systems for self-propelled missiles
    • F41G7/20Direction control systems for self-propelled missiles based on continuous observation of target position
    • F41G7/22Homing guidance systems
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F42AMMUNITION; BLASTING
    • F42BEXPLOSIVE CHARGES, e.g. FOR BLASTING, FIREWORKS, AMMUNITION
    • F42B15/00Self-propelled projectiles or missiles, e.g. rockets; Guided missiles
    • F42B15/01Arrangements thereon for guidance or control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Abstract

本发明公开了一种图像导引方法及装置。其中,该方法包括:通过已发射的惯性导引装置采集实时图像;通过图像识别模型识别实时图像是否包含目标对象,其中,图像识别模型为机器学习模型;在实时图像包含目标对象的情况下,通过惯性导引装置的姿态位置信息,结合实时图像中目标对象的成像位置和成像大小,生成导引信息;通过导引信息对导引对象进行导引,其中,惯性导引装置安装在导引对象上。本发明解决了相关技术中图像导引方法,需要依靠操作员实施控制,或依赖于识别模板,其准确率低,错误率高的技术问题。

Description

图像导引方法及装置
技术领域
本发明涉及图像导引领域,具体而言,涉及一种图像导引方法及装置。
背景技术
图像导引装置指通过连续拍摄包含目标的图像,从图像中分离出目标与背景,进而获取导弹偏离目标的误差信息,并以此信息导引和控制导弹最终精确命中目标的装置。是制导武器的重要组成部分。其中如何从图像中分离识别并跟踪目标,获取目标在图像中的位置与相关数据,是一个重要的技术难点。
现有的图像导引装置中使用的目标识别与跟踪技术,分为“人在回路”方式,即依靠操作员根据拍摄图像实时控制的方式;传统自动目标识别方式,即采用统计模式识别、模版匹配、支持向量机和神经网络与模板匹配结合自动进行目标识别的方式。“人在回路”方式,需要操作员实时控制,无法做到“发射后不管”。传统自动目标识别方式,严重依赖模板性能,实际战场中,复杂环境和目标特性的不确定性导致传统自动目标识别方式识别率低,误警率高。
相关技术中“人在回路”方式,需要操作员实时控制,无法做到“发射后不管”,越来越不适用于现代战争需要。传统自动目标识别方式,严重依赖模板性能,实际战场中,复杂环境和目标特性的不确定性导致传统自动目标识别方式识别率低,误警率高。需要在导弹发射前提前确定目标才能进行特定目标跟踪。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像导引方法及装置,以至少解决相关技术中图像导引方法,需要依靠操作员实施控制,或依赖于识别模板,其准确率低,错误率高的技术问题。
根据本发明实施例的一个方面,提供了一种图像导引方法,包括:通过已发射的惯性导引装置采集实时图像;通过图像识别模型识别实时图像是否包含目标对象,其中,所述图像识别模型为机器学习模型;在所述实时图像包含所述目标对象的情况下,通过所述惯性导引装置的姿态位置信息,结合所述实时图像中所述目标对象的成像位置和成像大小,生成导引信息;通过所述导引信息对导引对象进行导引,其中,所述惯性导引装置安装在所述导引对象上。
可选的,通过所述导引信息对导引对象进行导引之后,还包括:持续采集后续的实时图像;根据所述惯性导引装置记录的所述导引对象的惯导信息,确定后续的所述实时图像的旋转角度和缩放系数;根据所述旋转角度和缩放系数,确定所述目标对象在后续的实时图像中的位置和大小;根据所述位置和大小,识别后续的实时图像中是否存在目标对象,以对所述目标对象进行锁定监测。
可选的,根据所述位置和大小,识别后续的实时图像中是否存在目标对象包括:根据前一帧的实时图像中的目标对象的成像位置和成像大小,以及所述位置和大小,通过所述图像识别模型,确定所述目标对象出现在所述后续的实时图像中的概率;在所述概率达到预设阈值的情况下,确定所述后续的实时图像中存在所述目标对象;在所述概率未达到所述预设阈值的情况下,持续采集后续的实时图像,通过所述图像识别模型识别所述目标对象。
可选的,在所述概率达到预设阈值的情况下,确定所述后续的实时图像中存在所述目标对象之后,还包括:根据前一帧的实时图像中的成像位置和成像大小,识别后续的实时图像中的目标对象;根据后续的所述实时图像中的目标对象,更新所述目标对象的成位置和成像大小。
可选的,通过图像识别模型识别实时图像是否包含目标对象之前,还包括:建立所述图像识别模型;通过常见的目标对象的图像对所述图像识别模型进行训练。
可选的,通过已发射的惯性导引装置采集实时图像之后,还包括:对采集的所述实时图像进行预处理,其中,所述预处理包括方向修正处理,边缘锐化处理,灰度迁移处理,亮度调整处理。
可选的,在所述实时图像包含所述目标对象的情况下,通过所述惯性导引装置的姿态位置信息,结合所述实时图像中所述目标对象的成像位置和成像大小,生成导引信息之后,还包括:根据所述导引信息和所述实时图像输出视频流。
根据本发明实施例的另一方面,还提供了一种图像导引装置,包括:采集模块,用于通过已发射的惯性导引装置采集实时图像;识别模块,用于通过图像识别模型识别实时图像是否包含目标对象,其中,所述图像识别模型为机器学习模型;生成模块,用于在所述实时图像包含所述目标对象的情况下,通过所述惯性导引装置的姿态位置信息,结合所述实时图像中所述目标对象的成像位置和成像大小,生成导引信息;导引模块,用于通过所述导引信息对导引对象进行导引,其中,所述惯性导引装置安装在所述导引对象上。
根据本发明实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述中任意一项所述的图像导引方法。
根据本发明实施例的另一方面,还提供了一种计算机存储介质,所述计算机存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机存储介质所在设备执行上述中任意一项所述的图像导引方法。
在本发明实施例中,采用通过已发射的惯性导引装置采集实时图像;通过图像识别模型识别实时图像是否包含目标对象,其中,图像识别模型为机器学习模型;在实时图像包含目标对象的情况下,通过惯性导引装置的姿态位置信息,结合实时图像中目标对象的成像位置和成像大小,生成导引信息;通过导引信息对导引对象进行导引,其中,惯性导引装置安装在导引对象上的方式,通过图像识别模型识别实时采集的图像,包含目标对象的情况下,生成导引信息,对导引对象进行导引,达到了自动采集图像并识别图像目标,无需人为操作,对导引对象进行导引的目的,从而实现了提高导引准确率的技术效果,进而解决了相关技术中图像导引方法,需要依靠操作员实施控制,或依赖于识别模板,其准确率低,错误率高的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种图像导引方法的流程图;
图2是根据本发明实施方式的导引装置的示意图;
图3是根据本发明实施方式的导引装置的连接结构的示意图;
图4是根据本发明实施方式的硬件系统架构的示意图;
图5是根据本发明实施方式的目标搜索识别的流程图;
图6是根据本发明实施方式的目标持续跟踪的流程图;
图7是根据本发明实施例的一种图像导引装置的示意图。
上述附图的附图标记详细如下:
1-1相机镜头;1-2壳体;1-3相机连接器和接口转换;1-4核心处理层;1-5对外驱动和辅助电源;1-6电源分配、图传和对外连接器;1-7连接结构;1-8数据接口;1-9连接孔;2-1主控芯片(处理系统);2-2主控芯片(可编程逻辑);2-3USB驱动芯片;2-4相机;2-5解码及图传;2-6eMMC硬盘;2-7DDR3内存;2-8通信接口;
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种工业数据处理方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种工业数据处理方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,通过已发射的惯性导引装置采集实时图像;
步骤S104,通过图像识别模型识别实时图像是否包含目标对象,其中,图像识别模型为机器学习模型;
步骤S106,在实时图像包含目标对象的情况下,通过惯性导引装置的姿态位置信息,结合实时图像中目标对象的成像位置和成像大小,生成导引信息;
步骤S108,通过导引信息对导引对象进行导引,其中,惯性导引装置安装在导引对象上。
通过上述步骤,采用通过已发射的惯性导引装置采集实时图像;通过图像识别模型识别实时图像是否包含目标对象,其中,图像识别模型为机器学习模型;在实时图像包含目标对象的情况下,通过惯性导引装置的姿态位置信息,结合实时图像中目标对象的成像位置和成像大小,生成导引信息;通过导引信息对导引对象进行导引,其中,惯性导引装置安装在导引对象上的方式,通过图像识别模型识别实时采集的图像,包含目标对象的情况下,生成导引信息,对导引对象进行导引,达到了自动采集图像并识别图像目标,无需人为操作,对导引对象进行导引的目的,从而实现了提高导引准确率的技术效果,进而解决了相关技术中图像导引方法,需要依靠操作员实施控制,或依赖于识别模板,其准确率低,错误率高的技术问题。
上述惯性导引装置如图2所示,包括1-1相机镜头;1-2壳体;1-3相机连接器和接口转换;1-4核心处理层;1-5对外驱动和辅助电源;1-6电源分配、图传和对外连接器;1-7连接结构;1-8数据接口;1-9连接孔。上述1-2壳体为圆锥形,具体为两级圆锥形,包括上部的圆锥形和与圆锥形一体连接的圆台形,圆台形的上端面与圆锥形的下断面一体连接,圆台形的上端面的直径小于圆台形的下端面的直径,圆锥形的侧面的倾斜程度,大于圆台形的侧面的倾斜角度,有助于在降低空气阻力,减少空气摩擦的同时,保证结构的强度。
1-3相机连接器和接口转换、1-4核心处理层、1-5对外驱动和辅助电源、1-6电源分配、图传和对外连接器和1-7连接结构之间采用刚柔结合连接。1-1相机镜头、1-2壳体、1-7连接结构之间硬连接固定。1-8数据接口固定在1-7连接结构上。
通过图像采集装置采集实时图像,图像采集装置可以设置在惯性导引装置的最前端,例如上述圆锥形的顶尖的上端。上述图像采集装置可以为上述相机,相机镜头设置在惯性导引装置最前端。
上述图像识别模型为机器学习模型,可以包括卷积神经网络,或者其他深度学习网络,例如,yolo网络,本实施例的图像识别模型设计基于yolo v5网络的学习模型,采用包含常见目标的自建数据集对模型进行训练,调整yolo v5网络模型的参数,实现对常见目标的准确识别。由多组训练数据训练而成,每组训练数据包括输入的图像,以及该图像是否由目标对象,或者每组训练数据包括输入的包含目标对象的图像,以及该图像中目标对象的位置和图像。将采集的实时图像输入上述图像识别模型,由图像识别模型输出所述实时图像是否包含目标对象的识别结果。
在实时图像包含目标对象的情况下,确定目标对象在实时图像中的成像位置和成像大小。根据惯性导引装置本身记录的姿态位置信息,结合实时图像中目标对象的成像位置和成像大小,生成导引信息。通过导引信息对导引对象进行导引。上述导引对象可以为导弹,卫星等装置,上述惯性导引装置安装在导引对象上,对导引对象进行导引。
可选的,通过导引信息对导引对象进行导引之后,还包括:持续采集后续的实时图像;根据惯性导引装置记录的导引对象的惯导信息,确定后续的实时图像的旋转角度和缩放系数;根据旋转角度和缩放系数,确定目标对象在后续的实时图像中的位置和大小;根据位置和大小,识别后续的实时图像中是否存在目标对象,以对目标对象进行锁定监测。
根据惯性导引装置的惯导信息,确定后的实时图像的旋转角度和缩放系数,具体的,惯导信息记录的是导引对象的旋转角度和前进方向,根据其导引对象的旋转角度和缩放系数可以确定后续实时图像中目标对象的变化情况,包括旋转角度和缩放系数。从而确定目标对象在后续的实时图像中的位置和大小;根据位置和大小,识别后续的实时图像中是否存在目标对象,以对目标对象进行锁定监测。捷联安装于导引对象上的惯性导引装置会跟随导引对象运动,可以使用惯导信息解算出图像的旋转角度和放大系数,用于目标的再次识别,以实现目标持续实时跟踪。
可选的,根据位置和大小,识别后续的实时图像中是否存在目标对象包括:根据前一帧的实时图像中的目标对象的成像位置和成像大小,以及位置和大小,通过图像识别模型,确定目标对象出现在后续的实时图像中的概率;在概率达到预设阈值的情况下,确定后续的实时图像中存在目标对象;在概率未达到预设阈值的情况下,持续采集后续的实时图像,通过图像识别模型识别目标对象。
可选的,在概率达到预设阈值的情况下,确定后续的实时图像中存在目标对象之后,还包括:根据前一帧的实时图像中的成像位置和成像大小,识别后续的实时图像中的目标对象;根据后续的实时图像中的目标对象,更新目标对象的成位置和成像大小。
将后续的实时图像信息导入训练好的图像识别模型,该图像死别模型可以与上述识别模型为同一识别模型,在识别模型中设置阈值,如果后续的实时图像中没有出现可能性大于阈值的目标,则通过上述步骤S102至步骤S104重新进行目标搜索;如果图像中出现可能性大于阈值的目标,则根据存储的目标特征和图像预处理后的目标于前一帧在图像中的位置、大小信息进行比对,再次识别目标。并将处理后图像通过对外驱动以视频形式实时输出,以便调试测试。
可选的,通过图像识别模型识别实时图像是否包含目标对象之前,还包括:建立图像识别模型;通过常见的目标对象的图像对图像识别模型进行训练。
例如,设计基于yolo v5网络的学习模型,采用包含常见目标的自建数据集对模型进行训练,调整yolo v5网络模型的参数,实现对常见目标的准确识别。
可选的,通过已发射的惯性导引装置采集实时图像之后,还包括:对采集的实时图像进行预处理,其中,预处理包括方向修正处理,边缘锐化处理,灰度迁移处理,亮度调整处理。
采用图像预处理方法对相机采集的实时图像进行方向修正以及边缘锐化,灰度迁移以及亮度调整,以加强之后图像识别的准确度。并将处理后图像通过对外驱动以视频形式实时输出,以便调试测试。
可选的,在实时图像包含目标对象的情况下,通过惯性导引装置的姿态位置信息,结合实时图像中目标对象的成像位置和成像大小,生成导引信息之后,还包括:根据导引信息和实时图像输出视频流。以备测试与调试。
需要说明的是,本申请实施例还提供了一种可选的实施方式,下面对该实施方式进行详细说明。
本实施方式提供了一种智能图像导引装置,本实施方式采用深度学习方式进行目标识别与跟踪,无需在发射前确定目标,而是在发射至目标附件区域后,自行寻找识别目标并跟踪,智能化程度高。采用一体式设计,小型化,轻量化。具有明确成型的结构与硬软件设计。
系统组成:图2是根据本发明实施方式的导引装置的示意图,图3是根据本发明实施方式的导引装置的连接结构的示意图,如图2和图3所示,1-3相机连接器和接口转换、1-4核心处理层、1-5对外驱动和辅助电源、1-6电源分配、图传和对外连接器和1-7连接结构之间采用刚柔结合连接。1-1相机镜头、1-2壳体、1-7连接结构之间硬连接固定。1-8数据接口固定在1-7连接结构上。
图4是根据本发明实施方式的硬件系统架构的示意图,如图4所示,2-1主控芯片(处理系统)与2-2主控芯片(可编程逻辑)为芯片内部连接。2-1主控芯片(处理系统)与2-3USB驱动芯片、2-6eMMC硬盘、2-7DDR3内存之间通过总线连接。2-2主控芯片(可编程逻辑)与2-4相机、2-5解码及图传、2-8通信接口之间通过总线连接。
本实施方式通过相机获取包含目标的图像,图像在相机连接层进行预处理,然后将图像信息传输至核心处理层。核心处理层将图像存储至eMMC硬盘,并使用经过训练的深度学习模型对图像进行分类和目标识别,将识别信息存储至eMMC硬盘。核心处理层通过解码、图传和对外驱动将图像信息和识别信息以视频形式输出;同时通过通信接口与惯导组件交互,生成制导控制指令输出。
具体器件选型如下:
(1)主要器件选型
主控芯片:XC7Z020-2CLG400I
DDR3内存:MT41K256M16TW-125IT
eMMC硬盘:MTFC32GAKAEJP-4M IT
USB驱动芯片:TUSB1210BRHB
数字转PAL芯片:SAA7221
(2)软件
PL驱动,包括:HDMI、USB、串口。
PS驱动,包括:图像数据,基本IO和数据交互。
摄像头驱动。
(3)实施方式
如图2所示,该智能图像导引装置包括相机与镜头组件包括上述相机镜头1-1;壳体与外部连接结构包括上述壳体1-2、连接结构1-7;核心电路板(四层),核心电路板分为相机连接器、接口转换1-3;核心处理层1-4;对外驱动与辅助电源1-5;电源分配、图传、对外连接器1-6。
其中核心处理层1-4,包括主控芯片,DDR3内存,eMMC存储器。
其中对外驱动与辅助电源1-5,包括串口驱动器、HDMI驱动器、USB驱动器、辅助电源。
为了在复杂战场环境下,实现制导武器精确打击,高效毁伤及发射后不管的要求,本发明分目标搜索识别和目标持续跟踪两个部分以实现智能图像导引。
图5是根据本发明实施方式的目标搜索识别的流程图,如图5所示,目标搜索识别,指从未发现目标到发现目标确定目标的过程,分为以下步骤。
S1)模型训练:设计基于yolo v5网络的学习模型,采用包含常见目标的自建数据集对模型进行训练,调整yolo v5网络模型的参数,实现对常见目标的准确识别。
S2)图像采集:通过装置前部的摄像头采集前方图像并通过传输接口传输至核心处理电路。核心处理电路将图像通过对外驱动以视频形式实时输出,以便调试测试。
S3)图像预处理:采用图像预处理方法对相机采集的图像进行方向修正以及边缘锐化,灰度迁移以及亮度调整,以加强之后图像识别的准确度。并将处理后图像通过对外驱动以视频形式实时输出,以便调试测试。
S4)目标识别:将预处理后的图像信息导入训练好的模型,设置阈值,如果图像中没有出现可能性大于阈值的目标,则重新进行目标搜索;如果图像中出现可能性大于阈值的目标,则选择模型输出可能性最高的对象为目标,确定目标的特征以及目标在图像中的位置、大小信息。并将处理后图像通过对外驱动以视频形式实时输出,以便调试测试。
S5)目标信息:将目标信息存储,用于持续跟踪。
S6)结合惯导产生导引信息:通过惯导组件获取自身姿态位置信息,结合目标在图像中的位置、大小信息,产生导引信息。
S7)输出视频流:输出各种视频流以备测试与调试。
当发现目标后,进入目标持续跟踪。
图6是根据本发明实施方式的目标持续跟踪的流程图,如图6所示,目标持续跟踪,指智能导引装置在确定攻击目标后,持续实时锁定目标,更新目标特征相关信息,并持续产生导引信息以确保制导武器最终命中目标的过程,分为以下步骤。
S1)图像采集:通过装置前部的摄像头采集前方图像并通过传输接口传输至核心处理电路。核心处理电路将图像通过对外驱动以视频形式实时输出,以便调试测试。
S2)惯导信息:捷联安装于制导武器上的导引装置会跟随制导武器运动,可以使用惯导信息解算出图像的旋转角度和放大系数,用于目标的再次识别,以实现目标持续实时跟踪。
S3)图像预处理:除了采用图像预处理方法对相机采集的图像进行方向修正以及边缘锐化,灰度迁移以及亮度调整,并将处理后图像通过对外驱动以视频形式实时输出外,根据惯导信息获取的图像旋转角度和放大系数,调整目标特征以及目标前一帧在图像中的位置、大小信息。
S4)目标特征:目标特征信息,用于再次识别目标,并在识别完成后再次更新。
S5)目标识别:将预处理后的图像信息导入训练好的模型,设置阈值,如果图像中没有出现可能性大于阈值的目标,则重新进行目标搜索;如果图像中出现可能性大于阈值的目标,则根据存储的目标特征和图像预处理后的目标于前一帧在图像中的位置、大小信息进行比对,再次识别目标。并将处理后图像通过对外驱动以视频形式实时输出,以便调试测试。
S6)目标信息:将目标信息存储,用于持续跟踪。
S7)结合惯导产生导引信息:通过惯导组件获取自身姿态位置信息,结合目标在图像中的位置、大小信息,产生导引信息。
S8)输出视频流:输出各种视频流以备测试与调试。
图7是根据本发明实施例的一种图像导引装置的示意图,如图7所示,根据本发明实施例的另一方面,还提供了一种图像导引装置,包括:采集模块72,识别模块74,生成模块76和导引模块78,下面对该装置进行详细说明。
采集模块72,用于通过已发射的惯性导引装置采集实时图像;识别模块74,与上述采集模块72相连,用于通过图像识别模型识别实时图像是否包含目标对象,其中,图像识别模型为机器学习模型;生成模块76,与上述识别模块74相连,用于在实时图像包含目标对象的情况下,通过惯性导引装置的姿态位置信息,结合实时图像中目标对象的成像位置和成像大小,生成导引信息;导引模块78,与上述生成模块76相连,用于通过导引信息对导引对象进行导引,其中,惯性导引装置安装在导引对象上。
通过上述装置,采用采集模块72通过已发射的惯性导引装置采集实时图像;识别模块74通过图像识别模型识别实时图像是否包含目标对象,其中,图像识别模型为机器学习模型;生成模块76在实时图像包含目标对象的情况下,通过惯性导引装置的姿态位置信息,结合实时图像中目标对象的成像位置和成像大小,生成导引信息;导引模块78通过导引信息对导引对象进行导引,其中,惯性导引装置安装在导引对象上的方式,通过图像识别模型识别实时采集的图像,包含目标对象的情况下,生成导引信息,对导引对象进行导引,达到了自动采集图像并识别图像目标,无需人为操作,对导引对象进行导引的目的,从而实现了提高导引准确率的技术效果,进而解决了相关技术中图像导引方法,需要依靠操作员实施控制,或依赖于识别模板,其准确率低,错误率高的技术问题。
根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述中任意一项的图像导引方法。
根据本发明实施例的另一方面,还提供了一种计算机存储介质,计算机存储介质包括存储的程序,其中,在程序运行时控制计算机存储介质所在设备执行上述中任意一项的图像导引方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种图像导引方法,其特征在于,包括:
通过已发射的惯性导引装置采集实时图像;
通过图像识别模型识别实时图像是否包含目标对象,其中,所述图像识别模型为机器学习模型;
在所述实时图像包含所述目标对象的情况下,通过所述惯性导引装置的姿态位置信息,结合所述实时图像中所述目标对象的成像位置和成像大小,生成导引信息;
通过所述导引信息对导引对象进行导引,其中,所述惯性导引装置安装在所述导引对象上。
2.根据权利要求1所述的方法,其特征在于,通过所述导引信息对导引对象进行导引之后,还包括:
持续采集后续的实时图像;
根据所述惯性导引装置记录的所述导引对象的惯导信息,确定后续的所述实时图像的旋转角度和缩放系数;
根据所述旋转角度和缩放系数,确定所述目标对象在后续的实时图像中的位置和大小;
根据所述位置和大小,识别后续的实时图像中是否存在目标对象,以对所述目标对象进行锁定监测。
3.根据权利要求2所述的方法,其特征在于,根据所述位置和大小,识别后续的实时图像中是否存在目标对象包括:
根据前一帧的实时图像中的目标对象的成像位置和成像大小,以及所述位置和大小,通过所述图像识别模型,确定所述目标对象出现在所述后续的实时图像中的概率;
在所述概率达到预设阈值的情况下,确定所述后续的实时图像中存在所述目标对象;
在所述概率未达到所述预设阈值的情况下,持续采集后续的实时图像,通过所述图像识别模型识别所述目标对象。
4.根据权利要求3所述的方法,其特征在于,在所述概率达到预设阈值的情况下,确定所述后续的实时图像中存在所述目标对象之后,还包括:
根据前一帧的实时图像中的成像位置和成像大小,识别后续的实时图像中的目标对象;
根据后续的所述实时图像中的目标对象,更新所述目标对象的成位置和成像大小。
5.根据权利要求1所述的方法,其特征在于,通过图像识别模型识别实时图像是否包含目标对象之前,还包括:
建立所述图像识别模型;
通过常见的目标对象的图像对所述图像识别模型进行训练。
6.根据权利要求1所述的方法,其特征在于,通过已发射的惯性导引装置采集实时图像之后,还包括:
对采集的所述实时图像进行预处理,其中,所述预处理包括方向修正处理,边缘锐化处理,灰度迁移处理,亮度调整处理。
7.根据权利要求1所述的方法,其特征在于,在所述实时图像包含所述目标对象的情况下,通过所述惯性导引装置的姿态位置信息,结合所述实时图像中所述目标对象的成像位置和成像大小,生成导引信息之后,还包括:
根据所述导引信息和所述实时图像输出视频流。
8.一种图像导引装置,其特征在于,包括:
采集模块,用于通过已发射的惯性导引装置采集实时图像;
识别模块,用于通过图像识别模型识别实时图像是否包含目标对象,其中,所述图像识别模型为机器学习模型;
生成模块,用于在所述实时图像包含所述目标对象的情况下,通过所述惯性导引装置的姿态位置信息,结合所述实时图像中所述目标对象的成像位置和成像大小,生成导引信息;
导引模块,用于通过所述导引信息对导引对象进行导引,其中,所述惯性导引装置安装在所述导引对象上。
9.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至7中任意一项所述的图像导引方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机存储介质所在设备执行权利要求1至7中任意一项所述的图像导引方法。
CN202110264696.9A 2021-03-11 2021-03-11 图像导引方法及装置 Active CN113028897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110264696.9A CN113028897B (zh) 2021-03-11 2021-03-11 图像导引方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110264696.9A CN113028897B (zh) 2021-03-11 2021-03-11 图像导引方法及装置

Publications (2)

Publication Number Publication Date
CN113028897A true CN113028897A (zh) 2021-06-25
CN113028897B CN113028897B (zh) 2023-05-23

Family

ID=76469546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110264696.9A Active CN113028897B (zh) 2021-03-11 2021-03-11 图像导引方法及装置

Country Status (1)

Country Link
CN (1) CN113028897B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114199084A (zh) * 2021-12-31 2022-03-18 陕西北斗东芯科技有限公司 一种图像制导控制系统及微型制导子弹
CN114526635A (zh) * 2022-01-28 2022-05-24 彩虹无人机科技有限公司 一种导引头捕获跟踪目标的方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3689741A (en) * 1969-07-09 1972-09-05 Bengt Sjoberg Bombing instrument for targets having transverse motion relative to aircraft flight path
CN102506867A (zh) * 2011-11-21 2012-06-20 清华大学 基于Harris角点匹配的SINS/SMANS组合导航方法及系统
CN105096354A (zh) * 2014-05-05 2015-11-25 腾讯科技(深圳)有限公司 一种图像处理的方法和装置
WO2018127539A1 (en) * 2017-01-05 2018-07-12 Universite De Toulon Methods and devices for extracting an object from a video sequence
CN109900274A (zh) * 2019-03-25 2019-06-18 哈尔滨工业大学 一种图像匹配方法及系统
CN109949340A (zh) * 2019-03-04 2019-06-28 湖北三江航天万峰科技发展有限公司 基于OpenCV的目标尺度自适应跟踪方法
US20190294182A1 (en) * 2018-03-26 2019-09-26 Simmonds Precision Products, Inc. Imaging seeker for a spin-stabilized projectile
CN110889324A (zh) * 2019-10-12 2020-03-17 南京航空航天大学 一种基于yolo v3面向末端制导的热红外图像目标识别方法
CN111160212A (zh) * 2019-12-24 2020-05-15 浙江大学 一种基于YOLOv3-Tiny改进的跟踪学习检测系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3689741A (en) * 1969-07-09 1972-09-05 Bengt Sjoberg Bombing instrument for targets having transverse motion relative to aircraft flight path
CN102506867A (zh) * 2011-11-21 2012-06-20 清华大学 基于Harris角点匹配的SINS/SMANS组合导航方法及系统
CN105096354A (zh) * 2014-05-05 2015-11-25 腾讯科技(深圳)有限公司 一种图像处理的方法和装置
WO2018127539A1 (en) * 2017-01-05 2018-07-12 Universite De Toulon Methods and devices for extracting an object from a video sequence
US20190294182A1 (en) * 2018-03-26 2019-09-26 Simmonds Precision Products, Inc. Imaging seeker for a spin-stabilized projectile
CN109949340A (zh) * 2019-03-04 2019-06-28 湖北三江航天万峰科技发展有限公司 基于OpenCV的目标尺度自适应跟踪方法
CN109900274A (zh) * 2019-03-25 2019-06-18 哈尔滨工业大学 一种图像匹配方法及系统
CN110889324A (zh) * 2019-10-12 2020-03-17 南京航空航天大学 一种基于yolo v3面向末端制导的热红外图像目标识别方法
CN111160212A (zh) * 2019-12-24 2020-05-15 浙江大学 一种基于YOLOv3-Tiny改进的跟踪学习检测系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114199084A (zh) * 2021-12-31 2022-03-18 陕西北斗东芯科技有限公司 一种图像制导控制系统及微型制导子弹
CN114526635A (zh) * 2022-01-28 2022-05-24 彩虹无人机科技有限公司 一种导引头捕获跟踪目标的方法

Also Published As

Publication number Publication date
CN113028897B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
Li et al. Tracking by natural language specification
EP2339537B1 (en) Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method
CN109034397B (zh) 模型训练方法、装置、计算机设备及存储介质
US11514625B2 (en) Motion trajectory drawing method and apparatus, and device and storage medium
KR101328759B1 (ko) 비디오 스트림 내에서 마커 없는 텍스쳐 기하학적 평면 객체를 실시간으로 자동 추적하는 증강 현실 방법 및 장치
CN109241820B (zh) 基于空间探索的无人机自主拍摄方法
CN109410316B (zh) 物体的三维重建的方法、跟踪方法、相关装置及存储介质
CN113028897B (zh) 图像导引方法及装置
CN107423306B (zh) 一种图像检索方法及装置
CN106054627B (zh) 基于手势识别的控制方法、装置及空调
KR20090114471A (ko) 이미지 내에서 3차원 오브젝트의 포즈를 결정하는 방법 및 장치와 오브젝트 트래킹을 위해 적어도 하나의 키 이미지를 생성하는 방법 및 장치
CN112827168B (zh) 一种目标跟踪的方法、装置及存储介质
CN111726518A (zh) 用于捕获图像的系统和相机设备
CN112381104A (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN111476289B (zh) 一种基于特征库的鱼群识别方法、装置、设备及存储介质
CN112742029B (zh) 一种模拟操作的方法、游戏测试的方法以及相关装置
CN111429476B (zh) 确定目标人物行动轨迹的方法和装置
CN112232258A (zh) 一种信息处理方法、装置及计算机可读存储介质
CN110383228A (zh) 生成装置、生成系统、摄像系统、移动体以及生成方法
CN109598201B (zh) 动作检测方法、装置、电子设备及可读存储介质
KR102215146B1 (ko) 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법, 장치 및 컴퓨터프로그램
CN110543856B (zh) 足球射门时刻识别方法、装置、存储介质及计算机设备
CN113724176A (zh) 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质
US20230258427A1 (en) Head relative weapon orientation via optical process
CN114419737B (zh) 一种弓箭落点预测方法、系统、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant