基于图像识别的飞行指令生成系统及方法
技术领域
本发明属于自动控制技术领域,涉及一种图像识别处理技术以及基于图像识别处理的飞行装置控制技术,以及一种飞行装置的控制方法。
背景技术
控制的复杂性为三维飞行装置的普及增加了技术门槛。以传统纯手动遥控方式控制的飞行器为例,完成飞行器的全部自由度控制至少需要遥控装置具备上升/下降,左旋/右旋,前进/后退,左移/右移等多组自由度控制能力。对操作者而言,需要根据飞行经验以及飞行装置的实时姿态或处境对多个自由度的控制键(摇杆)进行准确控制甚至多控制键联动控制,操作难度大。如果增加摄影摄像控制功能,则需另外增加控制键,甚至需要增加云台手进行配合控制。
为了简化传统三维飞行装置的控制难度,部分厂商推出了全自动飞行控制模式的飞行装置,此类飞行装置通常通过GPS等坐标定位系统或视觉跟随系统对目标对象进行跟踪拍摄,飞行控制指令有软件根据目标物运动状态及位置计算得出。其中通过GPS等坐标定位系统的跟踪由于其跟踪定位精度受限于定位系统本身的精度,所以存在一定弊端。比如用于坐标定位的终端定位精度在2米范围内,则很可能出现通过飞行装置搭载的设备进行航拍时拍摄主体偏离画面位置(中心)的情况,使获取的画面质量不佳。同时,这类定位系统还很容易受信号强度的影响,特别受建筑物等影响较大。而基于视觉识别的跟随系统虽然能通过视觉跟踪及图像处理技术解决坐标定位系统的不足,但是却带来新的问题:比如目标对象形状或颜色变化可能导致系统无法继续跟踪;目标对象经过障碍物后容易跟丢;目标对象其他变化如转身或进入复杂背景时容易更丢。
发明内容
本发明的目的是为了解决背景技术中飞行装置跟随技术的不足,提出了一种基于图像识别的飞行指令生成系统及方法。
本发明的技术方案是这样实现的:基于图像识别的飞行指令生成系统,包括摄像组件和图像处理单元,其特征在于,所述系统还包括第一模型库、第二模型库、算法程序和飞行指令生成单元;第一模型库包含多组模型存储空间,用于存储主体特征模型,所述模型存储空间可即时擦除或写入;第二模型库用于存储主体通用模型;算法程序包括,用于处理摄像组件摄取图像和/或影像以获得主体特征模型和/或通用模型的图像处理程序,用于比对主体特征模型和/或通用模型与第二模型库中主体通用模型的比对程序,用于判断是否将当前主体特征模型写入第一模型库的判断程序,以及用于控制第一模型库写入当前主体特征模型或擦除原有主体实时模型的控制程序;指令生成单元用于根据主体算法程序的一种或多种判断结果生成飞行控制指令。
优选方案,主体通用模型由主体所属分类的个体样本的共性特征组成。
优选方案,主体通用模型包含多组模型存储空间,用于存储多组主体通用模型,所述主体通用模型包括由主体所属分类的个体样本执行同一命令时的共性特征组成的模型。
优选方案,第一模型库包含4-6组模型存储空间。
优选方案,算法程序通过加权比对当前提取的主体特征模型与所述第一模型库中各主体特征模型,并将第一模型库中与当前主体特征模型差距最远的主体特征模型擦除,同时写入当前提取的主体特征模型。
优选方案,所述主体特征模型包括主体的形状特征,和/或颜色特征,和/或纹理特征。
优选方案,所述飞行指令生成单元包括飞行指令和/或指令集,所述飞行指令集由完成特定动作需要连续或同步执行的多个飞行指令的集合。
优选方案,所述飞行指令集包括控制飞行装置起飞的指令集合,和/或控制飞行装置降落的指令集合,和/或控制飞行装置中摄像组件执行拍照动作的指令集合。
基于图像识别的飞行指令生成方法,其特征在于,包括以下步骤:
S1、选定主体所属类别样本,采集样本图样并提取样本特征模型;
S2、设定提取阈值,根据所述阈值提取样本特征模型共有特征,组成主体通用模型并存储于第二模型库存储空间;
S3、根据第二模型库中主体通用模型搜寻所摄取图像和/或影像中的拟跟踪主体并锁定;
S4、根据控制模式以及被锁定主体的运动方式输出飞行指令。
优选方案,所述控制模式包括第二模型库中主体通用模型与飞行指令的对应关系。
优选方案,所述控制模式包括被锁定主体的运动特征与飞行指令的对应关系。
优选方案,执行步骤S3时如果出现多个拟跟踪主体,则发送确认请求信号请求人工确认拟跟踪主体。
优选方案,执行步骤S3后如果被锁定主体消失,则根据第一模型库中存储的主体特征模型搜寻所摄取图像和/或影像中的拟跟踪主体并锁定。
优选方案,所述控制模式包括第二模型库中主体通用模型与飞行指令中的起飞指令集和/或降落指令集的对应关系。
优选方案,所述控制模式包括第二模型库中主体通用模型与飞行指令中的控制摄像组件拍照的控制指令的对应关系。
与现有技术相比,本发明的有益效果
本发明的基于图像识别的飞行指令生成系统,设置了通用模型库和指令生成单元,并将主体通用模型与飞行指令和/或指令集对应形成控制模式。可实现常用动作的纯视觉控制(比如手势控制),在一定程度上可替代传统遥控设备,降低飞行装置操控难度。特别增加的视觉控制拍照功能可实现无人机航拍中主要需求之一的自拍动作,并且拍摄过程无需操作者再操作任何物理遥控设备,有利于创意表达。设置可连续记录多组主体特征模型并可实时更新的特征模型库,可实现对主体变化过程的记录学习,即实现了对持续变化或运动主体的准备锁定跟踪。同时,设置多组特征模型存储空间可实现在对象跟丢后再次被自动识别锁定。比如主体经过障碍物后从新回到画面中时被自动识别锁定。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1所示为本发明优选实施例的基于图像识别的飞行指令生成系统的系统构成图示;
图2所示为本发明优选实施例的基于图像识别的飞行指令生成系统中第一模型库系统构成图示;
图3所示为本发明优选实施例的基于图像识别的飞行指令生成系统中第二模型库系统构成图示;
图4所示为本发明优选实施例的基于图像识别的飞行指令生成方法流程图示。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1、图2及图3所示,本发明的基于图像识别的飞行指令生成系统,包括摄像组件和图像处理单元。其中摄像组件搭载于被所述飞行指令控制的飞行装置上。系统还包括第一模型库、第二模型库、算法程序和飞行指令生成单元;第一模型库包含多组模型存储空间,用于存储主体特征模型,所述模型存储空间可即时擦除或写入。这里的主体是指无人机跟踪飞行技术中被跟踪的主体,可以是人,也可以是其他物体如某种动物,或汽车,或骑自行车的人,或滑雪的人等。主体特征模型是指能够区别该特定主体的特征参数形成的特征集合,特征参数包括,比如人的外观轮廓、衣服颜色,形成的纹理特征或这些特征的组合。第二模型库用于存储主体通用模型。主体通用模型由主体所属分类的个体样本的共性特征组成。这里所指的分类没有严格的分类模式,而是根据定义形成:比如可以将人和汽车划归为不同的类,也可将走路的人和滑雪的人划归为不同的类,只要根据类别划分选取个体样本即可。优选实施例方案,主体通用模型包含多组模型存储空间,用于存储多组主体通用模型,所述主体通用模型包括由主体所属分类的个体样本执行同一命令时的共性特征组成的模型。比如以人为主体,则主体通用模型包括站立的人模型,平举双臂的人模型,单手上举的人模型等。算法程序包括,用于处理摄像组件摄取图像和/或影像以获得主体特征模型和/或通用模型的图像处理程序,用于比对主体特征模型和/或通用模型与第二模型库中主体通用模型的比对程序,用于判断是否将当前主体特征模型写入第一模型库的判断程序,以及用于控制第一模型库写入当前主体特征模型或擦除原有主体实时模型的控制程序;指令生成单元用于根据主体算法程序的一种或多种判断结果生成飞行控制指令。
优选实施例方案,第一模型库包含4-6组模型存储空间。此参数的确定综合考虑了此类飞行装置的使用对象为消费类无人机玩家,以及这些玩家可能发生的正常动作,比如下蹲、转身、脱衣服或穿衣服、跳跃、奔跑及绕过障碍物等。如果模型存储空间不足,则很容易导致跟踪对象在改变状态后无法再次被锁定,如果存储空间过度则增加了设备的运算量及功耗,且在跟踪准确度上并不能带来效果的明显提升,反而降低了设备的综合性能。其进一步的优选方案是,将第一模型库的模型存储空间设置为5组。即存储五个实时的主体特征模型。
优选实施例方案,算法程序通过加权比对当前提取的主体特征模型与所述第一模型库中各主体特征模型,并将第一模型库中与当前主体特征模型差距最远的主体特征模型擦除,同时写入当前提取的主体特征模型。设置此程序的目的是实时跟踪主体的特征变化,以实现对变化主体的持续跟踪。由于加权计算主体特征并判断与既有特征的差距对本领域的技术人员来说属于公知常识,在此不做详述。
优选实施例方案,所述主体特征模型包括主体的形状特征/外观轮廓线及比例,和/或颜色特征,和/或纹理特征。
优选实施例方案,所述飞行指令生成单元包括飞行指令和/或指令集,所述飞行指令集由完成特定动作需要连续或同步执行的多个飞行指令的集合。飞行指令比如控制飞行装置前进/后退、左旋/右旋、上升/下降,左移/右移等单一指令。飞行指令集比如控制飞行装置起飞/降落、环绕飞行等,由于这些动作需要多个指令连续执行或同步执行才能实现,所以称作飞行指令集。
优选实施例方案,所述飞行指令集包括控制飞行装置起飞的指令集合,和/或控制飞行装置降落的指令集合,和/或控制飞行装置中摄像组件执行拍照动作的指令集合。
如图4所示,基于图像识别的飞行指令生成方法,包括以下步骤:
S1、选定主体所属类别样本,采集样本图样并提取样本特征模型;样本数量300-1000为宜,优选500-600份。
S2、设定提取阈值,根据所述阈值提取样本特征模型共有特征,组成主体通用模型并存储于第二模型库存储空间;提取阈值的设定会影响根据模型识别主体的准确度。
S3、根据第二模型库中主体通用模型搜寻所摄取图像和/或影像中的拟跟踪主体并锁定。此处锁定是指将对象与某一特定预存的飞行控制模式进行绑定。控制模式比如环绕飞行、跟随飞行等。
S4、根据控制模式以及被锁定主体的运动方式输出飞行指令。
优选实施例方案,所述控制模式包括第二模型库中主体通用模型与飞行指令的对应关系。比如平举双臂与起飞指令集对应,则可通过平举双臂实现控制飞行装置起飞。
优选实施例方案,所述控制模式包括被锁定主体的运动特征与飞行指令的对应关系。比如根据主体的运动方向和速度进行同步移动。
优选实施例方案,执行步骤S3时如果出现多个拟跟踪主体,则发送确认请求信号请求人工确认拟跟踪主体。比如在手机APP等终端上标记(框选)出可供选择的主体(人),并可通过用户点击对应的主体实现对跟踪主体的锁定。
优选实施例方案,执行步骤S3后如果被锁定主体消失(在接下来的实时画面中没有显示),则根据第一模型库中存储的主体特征模型搜寻所摄取图像和/或影像中的拟跟踪主体并锁定。此功能在于将跟丢的主体再次识别并锁定跟踪,可结合特定飞行指令控制飞行装置,解决传统跟随无人机遇障碍物后无法绕开(通常只能悬停)的不足。
优选实施例方案,所述控制模式包括第二模型库中主体通用模型与飞行指令中的起飞指令集和/或降落指令集的对应关系。
优选实施例方案,所述控制模式包括第二模型库中主体通用模型与飞行指令中的控制摄像组件拍照的控制指令的对应关系。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。