CN110968023A - 一种基于plc与工业相机的无人机视觉引导系统及方法 - Google Patents

Abstract

本发明公开了一种基于PLC与工业相机的无人机视觉引导系统及方法，将无人机与视觉技术相结合，并参考精准农业的相关要求，可代替人力提供农作物日常养护与保障服务。以无人机为飞行基础，通过支架将工业相机、PLC和POE交换机安装于无人机上，通过外接电源为设备供电，视觉部分的识别算法通过工业相机自带软件完成，工业相机输出的像素坐标数据反馈给PLC，PLC对工业相机传入的数据进行判断、处理，生成决策指令后通过电磁阀和单片机传输至妙算计算机，通过无人机的飞控单元控制无人机做出相应的机动，实现了真正意义上的无人机的纯视觉引导。并且，工业相机和PLC凭借各自的优势能够符合精准农业的严苛要求。

Description

一种基于PLC与工业相机的无人机视觉引导系统及方法

技术领域

本发明涉及可编程逻辑控制器及视觉导航技术领域，尤其涉及一种基于PLC与工业相机的无人机视觉引导系统及方法。

背景技术

精准农业是经济发达国家在20世纪80年代末期继LISA(低投入可持续农业)后，为适应信息化社会发展要求对农业发展提出的一个新的课题。精准农业又称精细农业、精确农业、精准农作，是基于信息和知识管理的现代农业生产系统。精准农业采用3S即GPS(Global Positioning System)、GIS(Geographic Information System)和RS(RemoteSensing)高新技术与现代农业技术相结合，对农资、农作实施精确定时、定位、定量控制的现代化农业生产技术，可最大限度地提高农业生产力，是实现优质、高产、低耗和环保的可持续发展农业的有效途径。

目前，无人机在精准农业中已经得到广泛应用，例如，在超低空领域进行喷洒、施肥、灌溉等作业。该类应用一部分依靠手动飞行，这对于飞手的操作技术要求严格，且工作效率不高；另一部分则依靠差分GPS进行轨迹跟随作业，差分GPS是利用地面站与无人机GPS信号做差分，可以保证无人机飞行时的定位精度，可靠性较高，然而，仅仅使用差分GPS会使无人机的飞行丧失自我决策性，单纯地按照预先设定好的固定航路点飞行，不能够满足复杂多变的实际应用场景。

在如今的无人机应用领域，更多需要的是无人机本身发现问题、解决问题的能力，而非机械地完成固定的任务，然而，目前在无人机的纯视觉导航领域尚无有效的解决方法。以早期的大疆无人机为例，采用光流和超声波进行姿态控制和无人机自主避障，并无精确的视觉引导功能，机身定位完全依靠GPS。新推出的大疆无人机，虽然增加了指点飞行功能，该功能利用GPS和一定的视觉技术，允许无人机在一定高度围绕定点进行环绕拍摄，用户需要提前设定环绕速度、环绕半径等参数，但这并非真正意义上的纯视觉引导。

并且，实际应用的农业场景的条件较为严苛，设备在工作期间会遭遇复杂环境因素的冲击，这对于设备的抗尘、抗电磁、防水、耐高温、耐久性等性能要求严格，目前尚未出现能够应用于精准农业领域的无人机视觉引导技术。

发明内容

有鉴于此，本发明提供了一种基于PLC与工业相机的无人机视觉引导系统及方法，用以提供一种能够应用于精准农业领域的无人机视觉引导技术。

因此，本发明提供了一种基于PLC与工业相机的无人机视觉引导系统，包括：POE交换机、工业相机、PLC、电磁阀、单片机、外接电源以及支架；其中，

所述POE交换机分别与所述工业相机和所述PLC连接，用于实现所述工业相机与所述PLC之间的数据传输；

所述工业相机，用于实时采集图像信息，并根据预先标定的拟识别的特征，将实时采集的图像信息中各所述特征的几何中心的像素坐标实时传输给所述PLC；

所述PLC通过所述电磁阀与所述单片机连接，用于根据接收的各所述特征的几何中心的像素坐标，进行计算与决算，并将决策指令传输给所述电磁阀；

所述电磁阀，用于对接收的决策指令进行降压处理后传输给所述单片机；

所述单片机与无人机的妙算计算机连接，用于将接收的决策指令传输给所述妙算计算机；其中，所述妙算计算机通过飞控单元控制无人机执行所述决策指令；

所述外接电源分别与所述POE交换机和所述PLC连接，用于向所述PLC提供电源，并通过所述POE交换机向所述工业相机提供电源；

所述支架，用于将所述工业相机、所述PLC、所述POE交换机、所述外接电源、所述电磁阀和所述单片机安装于无人机上。

在一种可能的实现方式中，在本发明提供的上述无人机视觉引导系统中，所述PLC，用于根据接收的各所述特征的几何中心的像素坐标，进行计算与决算，并将决策指令传输给所述电磁阀，具体包括：

所述PLC，用于计算各所述特征的几何中心的像素坐标与所述工业相机的视野中心的像素坐标的差值，根据差值大小形成决策指令，并将所述决策指令传输给所述电磁阀。

在一种可能的实现方式中，在本发明提供的上述无人机视觉引导系统中，所述PLC，用于根据差值大小形成决策指令，并将所述决策指令传输给所述电磁阀，具体包括：

所述PLC，用于在确定像素坐标中横坐标的差值为正且大于阈值时，形成“左移”的决策指令，并将“左移”的决策指令传输给电磁阀；在确定像素坐标中横坐标的差值为负且绝对值大于阈值时，形成“右移”的决策指令，并将“右移”的决策指令传输给电磁阀；在确定像素坐标中纵坐标的差值为正且大于阈值时，形成“下移”的决策指令，并将“下移”的决策指令传输给电磁阀；在确定像素坐标中纵坐标的差值为负且绝对值大于阈值时，形成“上移”的决策指令，并将“上移”的决策指令传输给电磁阀；在确定像素坐标中横坐标的绝对值小于或等于阈值且纵坐标的绝对值小于或等于阈值时，确定无人机进入机动死区，形成“停止”的决策指令，并将“停止”的决策指令传输给电磁阀。

在一种可能的实现方式中，在本发明提供的上述无人机视觉引导系统中，所述PLC，用于在确定无人机进入机动死区，形成“停止”的决策指令，并将“停止”的决策指令传输给电磁阀之后，判断无人机在所述机动死区停留的时间是否大于预设时间；若是，则形成“前进”的决策指令，并将“前进”的决策指令传输给电磁阀；若否，则重新根据差值大小形成决策指令。

在一种可能的实现方式中，在本发明提供的上述无人机视觉引导系统中，所述PLC为带有嵌入式I/O端的24V直流PLC；

所述外接电源为24V直流干电池。

在一种可能的实现方式中，在本发明提供的上述无人机视觉引导系统中，所述电磁阀的通断控制端接入所述PLC输出的24V决策指令信号，所述电磁阀的输入端接入所述单片机的5V电信号，所述电磁阀的输出端与所述单片机的嵌入式I/O端连接。

本发明还提供了一种基于PLC与工业相机的无人机视觉引导系统的视觉引导方法，包括如下步骤：

S1：工业相机实时采集图像信息，并根据预先标定的拟识别的特征，将实时采集的图像信息中各所述特征的几何中心的像素坐标实时传输给PLC；

S2：PLC根据接收的各所述特征的几何中心的像素坐标，进行计算与决算，并将决策指令传输给电磁阀；

S3：电磁阀对接收的决策指令进行降压处理后传输给单片机；

S4：单片机将接收的决策指令传输给妙算计算机；

S5：妙算计算机通过飞控单元控制无人机执行所述决策指令。

在一种可能的实现方式中，在本发明提供的上述视觉引导方法中，步骤S2，PLC根据接收的各所述特征的几何中心的像素坐标，进行计算与决算，并将决策指令传输给电磁阀，具体包括如下步骤：

S21：PLC计算各所述特征的几何中心的像素坐标与所述工业相机的视野中心的像素坐标的差值；

S22：PLC根据差值大小形成决策指令，并将所述决策指令传输给电磁阀。

在一种可能的实现方式中，在本发明提供的上述视觉引导方法中，步骤S22，PLC根据差值大小形成决策指令，并将所述决策指令传输给电磁阀，具体包括如下步骤：

S221：判断像素坐标中横坐标的差值的绝对值是否大于阈值；若是，则执行步骤S222；若否，则执行步骤S223；

S222：判断横坐标的差值是否为正；若是，则执行步骤S224；若否，则执行步骤S225；

S223：判断像素坐标中纵坐标的差值的绝对值是否大于阈值；若是，则执行步骤S226；若否，则执行步骤S227；

S224：形成“左移”的决策指令，并将“左移”的决策指令传输给电磁阀，之后执行步骤S223；

S225：形成“右移”的决策指令，并将“右移”的决策指令传输给电磁阀，之后执行步骤S223；

S226：判断纵坐标的差值是否为正；若是，则执行步骤S228；若否，则执行步骤S229；

S227：确定无人机进入机动死区，形成“停止”的决策指令，并将“停止”的决策指令传输给电磁阀；

S228：形成“下移”的决策指令，并将“下移”的决策指令传输给电磁阀；

S229：形成“上移”的决策指令，并将“上移”的决策指令传输给电磁阀。

在一种可能的实现方式中，在本发明提供的上述视觉引导方法中，在执行步骤S227，确定无人机进入机动死区，形成“停止”的决策指令，并将“停止”的决策指令传输给电磁阀之后，还包括如下步骤：

S230：判断无人机在所述机动死区停留的时间是否大于预设时间；若是，则执行步骤S231；若否，则重新执行步骤S221；

S231：形成“前进”的决策指令，并将“前进”的决策指令传输给电磁阀。

本发明提供的上述无人机视觉引导系统及方法，将无人机与视觉技术相结合，并参考精准农业的相关要求，可代替人力提供农作物日常养护与保障服务。以无人机为飞行基础，通过支架将工业相机、PLC和POE交换机安装于无人机上，通过外接电源为设备供电，视觉部分的识别算法通过工业相机自带软件完成，工业相机输出的像素坐标数据反馈给PLC，PLC对工业相机传入的数据进行判断、处理，生成决策指令后通过电磁阀和单片机传输至妙算计算机，通过无人机的飞控单元控制无人机做出相应的机动，实现了真正意义上的无人机的纯视觉引导。并且，工业相机凭借性能稳定、可靠，易于安装，结构紧凑、结实，采用金属外壳，不易损坏，防水、防粉尘、防腐蚀、防电磁干扰，连续工作时间长等优势，完全符合精准农业的严苛要求，PLC的可靠性和耐久性也符合精准农业的严苛要求。此外，视觉控制与逻辑控制是分开的，视觉部分的引导控制算法与逻辑控制均可单独进行编程，整体使用较灵活，可开发性强。

附图说明

图1为本发明提供的一种基于PLC与工业相机的无人机视觉引导系统的结构示意图；

图2为本发明提供的一种基于PLC与工业相机的无人机视觉引导方法的流程图之一；

图3为本发明提供的一种基于PLC与工业相机的无人机视觉引导方法的流程图之二；

图4为本发明提供的一种基于PLC与工业相机的无人机视觉引导方法的流程图之三；

图5为本发明提供的一种基于PLC与工业相机的无人机视觉引导方法的流程图之四。

具体实施方式

下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本发明。

本发明提供的一种基于PLC与工业相机的无人机视觉引导系统，如图1所示，包括：POE交换机1、工业相机2、PLC(Programmable Logic Controller)3、电磁阀4、单片机5、外接电源6以及支架；其中，

POE(Power On Ethernet)交换机1分别与工业相机2和PLC3连接，用于实现工业相机2与PLC3之间的数据传输；

工业相机2，用于实时采集图像信息，并根据预先标定的拟识别的特征，将实时采集的图像信息中各特征的几何中心的像素坐标实时传输给PLC3；

PLC3通过电磁阀4与单片机5连接，用于根据接收的各特征的几何中心的像素坐标，进行计算与决算，并将决策指令传输给电磁阀4；

电磁阀4，用于对接收的决策指令进行降压处理后传输给单片机5；

单片机5与无人机的妙算计算机7连接，用于将接收的决策指令传输给妙算计算机7；其中，妙算计算机7通过飞控单元控制无人机执行决策指令；

外接电源6分别与POE交换机1和PLC3连接，用于向PLC3提供电源，并通过POE交换机1向工业相机2提供电源；

支架，用于将工业相机2、PLC3、POE交换机1、外接电源6、电磁阀4和单片机5安装于无人机上。

本发明提供的上述无人机视觉引导系统，将无人机与视觉技术相结合，并参考精准农业的相关要求，可代替人力提供农作物日常养护与保障服务。以无人机为飞行基础，通过支架将工业相机、PLC和POE交换机安装于无人机上，通过外接电源为设备供电，视觉部分的识别算法通过工业相机自带软件完成，工业相机输出的像素坐标数据反馈给PLC，PLC对工业相机传入的数据进行判断、处理，生成决策指令后通过电磁阀和单片机传输至妙算计算机，通过无人机的飞控单元控制无人机做出相应的机动，实现了真正意义上的无人机的纯视觉引导。并且，工业相机凭借性能稳定、可靠，易于安装，结构紧凑、结实，采用金属外壳，不易损坏，防水、防粉尘、防腐蚀、防电磁干扰，连续工作时间长等优势，完全符合精准农业的严苛要求，PLC的可靠性和耐久性也符合精准农业的严苛要求。此外，视觉控制与逻辑控制是分开的，视觉部分的引导控制算法与逻辑控制均可单独进行编程，整体使用较灵活，可开发性强。

本发明根据精准农业提出，旨在利用无人机进行自主起降、农作物灾害识别、自动精准作业、补药续喷和避障等工作，重点解决对于随机自然灾害发生时的准确定位与喷洒处理。对于日常维护的总体策略而言，无人机需要携带相应的药物并按照规定航路点进行巡航检测，工业相机的摄像头实时采集农作物画面，以农作物病变为例，可以通过叶片颜色特性进行区分，摄像头会捕捉颜色信息，与病变状态进行比对，若检测病变成功则进行悬停，瞄准病变部位后进行精准喷洒作业。对于大规模农田而言，灾害的发生具有很强的不确定性，维护人员无法预测灾害的位置并生成准确地位置坐标，因此，使用基于视觉引导的无人机对农作物进行灾害识别、精准喷洒等作业就显得格外重要。

在具体实施时，在本发明提供的上述无人机视觉引导系统中，对于无人机而言，电机的供电依靠无人机自身锂电池，负重越大续航时间越短，因此，为了保证续航，本发明提供的上述无人机视觉引导系统中的各设备在选型时需要考虑重量与供电问题。为了解决供电与配重问题，可以使用大疆六旋翼无人机，旨在增加飞行和悬停稳定性以及提升无人机的承载能力，并且，可以使用SolidWorks进行3D建模，利用3D打印技术制作轻量化的支架，用以将PLC、工业相机、POE交换机、外接电源、电磁阀和单片机安置在无人机上。

在具体实施时，在本发明提供的上述无人机视觉引导系统中，由于本发明提供的上述无人机视觉引导系统搭载于无人机上，无法提供220V交流电源，因此，通过计算无人机视觉引导系统中各设备的用电功率，估算无人机大致的飞行时间，可以选择24V直流干电池作为动力来源。考虑到无人机的实际应用场景，无法提供220V交流电源，因此，需要使用直流24V供电的PLC，并且，为了传输工业相机的控制信号，且尽可能减小PLC的尺寸，可以使用带有嵌入式I/O端的24V直流PLC。基于POE交换机供电的工业相机，可直接从POE交换机上取电并传输数据，因此，只需为POE交换机供电即可，同样也是直流24V。

在具体实施时，在本发明提供的上述无人机视觉引导系统中，PLC可以与工业相机进行无缝对接，但受限于通讯协议，PLC无法与无人机的妙算计算机直接进行数据交换，因此，本发明利用单片机来进行控制信号中转。单片机可以通过USB与妙算计算机进行通讯，同时实现对单片机的供电。然而，由于PLC的输出为24V电信号，远远超过单片机能接受的最大电压，因此，本发明利用电磁阀对PLC输出的24V电信号进行降压处理，之后再传输给单片机。具体地，可以将电磁阀的通断控制端接入PLC输出的24V决策指令信号，将电磁阀的输入端接入单片机的5V电信号，将电磁阀的输出端与单片机的嵌入式I/O端连接，从而实现了将24V电信号降压为5V电信号并进行同步传输的功能。

在具体实施时，在本发明提供的上述无人机视觉引导系统中，在进行视觉引导前需要进行视觉的标定，在工业相机内对拟识别的特征进行预标定，即对工业相机进行模型训练和特征提取，并通过多次实验，对每个特征设置合理的阈值，防止识别失败或者识别混乱的情况发生。根据实际情况进行光圈与焦距的调节，防止过曝，调节时尽可能将光圈调大，保证进光量，在软件内将曝光时间尽可能调小，以减小工业相机资源的利用，提高整体运行速度。需要关闭工业相机的自动曝光功能，这是由于工业相机对于光线的变化十分敏感，而自动曝光的调节过程会让工业相机变得卡顿，有可能错过图像信息。在工业相机内设置合理的模型旋转偏差，尽可能地减少工业相机内存的占用。需要开启工业相机的缩放公差功能，以避免因识别距离变化产生缩放误差而导致识别失败。工业相机利用PLC的通讯协议将所有标定的特征的几何中心的像素坐标按顺序输出。

在具体实施时，在本发明提供的上述无人机视觉引导系统中，PLC根据接收的各特征的几何中心的像素坐标，进行计算与决算，并将决策指令传输给电磁阀，具体地，PLC可以计算各特征的几何中心的像素坐标与工业相机的视野中心的像素坐标的差值，根据差值大小形成决策指令(脉冲电信号)，并将决策指令传输给电磁阀。也就是说，工业相机在采集图像信息后，识别图像信息中的各特征，并实时输出各特征的几何中心的像素坐标至PLC，PLC需要组态并创建标签来读取工业相机传来的数据，该数据是单位为像素的二维坐标，PLC通过使用梯形图编写指令，使用计算语句对各特征的几何中心的像素坐标与工业相机的视野中心的像素坐标进行实时减法操作，计算二者差值，由此判断当前无人机机身与目标位置的差别，结合不同方向(即横向和纵向)的差值形成不同的编码，通过PLC的嵌入式I/O端输出至电磁阀，在实现电压下降处理后传入单片机，进而反馈给无人机的妙算计算机。

在具体实施时，在本发明提供的上述无人机视觉引导系统中，可以在PLC内设定一阈值范围作为机动死区，当差值超出该阈值范围时，PLC会进行相应位数的数据编码并通过嵌入式I/O端传输给电磁阀，继而通过单片机传输给妙算计算机，妙算计算机内部会对单片机传入的信号进行解码，得到无人机当前位置所需的姿态调整方向信号，并输出至无人机的飞控单元控制无人机进行姿态的调节。PLC根据差值大小形成决策指令，并将决策指令传输给电磁阀，具体可以包括如下几种情况：在确定像素坐标中横坐标的差值为正且大于阈值时，即目标位于工业相机视野中心的右侧且位于机动死区外时，形成“左移”的决策指令，并将“左移”的决策指令传输给电磁阀；在确定像素坐标中横坐标的差值为负且绝对值大于阈值时，即目标位于工业相机视野中心的左侧且位于机动死区外时，形成“右移”的决策指令，并将“右移”的决策指令传输给电磁阀；在确定像素坐标中纵坐标的差值为正且大于阈值时，即目标位于工业相机视野中心的上侧且位于机动死区外时，形成“下移”的决策指令，并将“下移”的决策指令传输给电磁阀；在确定像素坐标中纵坐标的差值为负且绝对值大于阈值时，即目标位于工业相机视野中心的下侧且位于机动死区外时，形成“上移”的决策指令，并将“上移”的决策指令传输给电磁阀；在确定像素坐标中横坐标的绝对值小于或等于阈值且纵坐标的绝对值小于或等于阈值时，确定无人机进入机动死区，形成“停止”的决策指令，并将“停止”的决策指令传输给电磁阀。

在具体实施时，在本发明提供的上述无人机视觉引导系统中，PLC在确定无人机进入机动死区，形成“停止”的决策指令，并将“停止”的决策指令传输给电磁阀之后，还可以判断无人机在机动死区停留的时间是否大于预设时间；如果无人机在机动死区停留的时间大于预设时间，说明没有出现超出阈值范围的位置偏差，此时，可以形成“前进”的决策指令，并将“前进”的决策指令传输给电磁阀，继而通过单片机将“前进”的决策指令传输给无人机的妙算计算机，从而可以控制无人机靠近目标，这样，便于瞄准目标后进行精准喷洒作业；如果无人机在机动死区停留的时间小于或等于预设时间，说明出现了超出阈值范围的位置偏差，此时，需要重新根据差值大小形成新的决策指令，以重新对无人机的姿态进行调整。

在具体实施时，在本发明提供的上述无人机视觉引导系统中，为了保证无人机的安全，还可以引入导航单元来进行超声波避障，以确保无人机在进行向前、向后、向左、向右、向上、向下机动时不会撞击障碍物。

基于同一发明构思，本发明还提供了一种基于PLC与工业相机的无人机视觉引导系统的视觉引导方法，如图2所示，包括如下步骤：

S1：工业相机实时采集图像信息，并根据预先标定的拟识别的特征，将实时采集的图像信息中各特征的几何中心的像素坐标实时传输给PLC；

具体地，在进行视觉引导前需要进行视觉的标定，在工业相机内对拟识别的特征进行预标定，即对工业相机进行模型训练和特征提取，并通过多次实验，对每个特征设置合理的阈值，防止识别失败或者识别混乱的情况发生；根据实际情况进行光圈与焦距的调节，防止过曝，调节时尽可能将光圈调大，保证进光量，在软件内将曝光时间尽可能调小，以减小工业相机资源的利用，提高整体运行速度；需要关闭工业相机的自动曝光功能，这是由于工业相机对于光线的变化十分敏感，而自动曝光的调节过程会让工业相机变得卡顿，有可能错过图像信息；在工业相机内设置合理的模型旋转偏差，尽可能地减少工业相机内存的占用；需要开启工业相机的缩放公差功能，以避免因识别距离变化产生缩放误差而导致识别失败；需要将工业相机设为利用PLC的通讯协议进行数据输出；

S2：PLC根据接收的各特征的几何中心的像素坐标，进行计算与决算，并将决策指令传输给电磁阀；

S3：电磁阀对接收的决策指令进行降压处理后传输给单片机；

具体地，PLC选择带有嵌入式I/O端的24V直流PLC，由于PLC的输出为24V电信号，远远超过单片机能接受的最大电压，因此，可以利用电磁阀对PLC输出的24V电信号进行降压处理，之后再传输给单片机；具体地，可以将电磁阀的通断控制端接入PLC输出的24V决策指令信号，将电磁阀的输入端接入单片机的5V电信号，将电磁阀的输出端与单片机的嵌入式I/O端连接，从而实现了将24V电信号降压为5V电信号并进行同步传输的功能；

S4：单片机将接收的决策指令传输给妙算计算机；

具体地，单片机可以通过USB将接收的决策指令传输给妙算计算机；

S5：妙算计算机通过飞控单元控制无人机执行决策指令。

本发明提供的上述视觉引导方法，将无人机与视觉技术相结合，并参考精准农业的相关要求，可代替人力提供农作物日常养护与保障服务。以无人机为飞行基础，通过支架将工业相机、PLC和POE交换机安装于无人机上，通过外接电源为设备供电，视觉部分的识别算法通过工业相机自带软件完成，工业相机输出的像素坐标数据反馈给PLC，PLC对工业相机传入的数据进行判断、处理，生成决策指令后通过电磁阀和单片机传输至妙算计算机，通过无人机的飞控单元控制无人机做出相应的机动，实现了真正意义上的无人机的纯视觉引导。并且，工业相机凭借性能稳定、可靠，易于安装，结构紧凑、结实，采用金属外壳，不易损坏，防水、防粉尘、防腐蚀、防电磁干扰，连续工作时间长等优势，完全符合精准农业的严苛要求，PLC的可靠性和耐久性也符合精准农业的严苛要求。此外，视觉控制与逻辑控制是分开的，视觉部分的引导控制算法与逻辑控制均可单独进行编程，整体使用较灵活，可开发性强。

在具体实施时，在执行本发明提供的上述视觉引导方法中的步骤S2，PLC根据接收的各特征的几何中心的像素坐标，进行计算与决算，并将决策指令传输给电磁阀时，如图3所示，具体可以包括如下步骤：

S21：PLC计算各特征的几何中心的像素坐标与工业相机的视野中心的像素坐标的差值；

具体地，PLC需要组态并创建标签来读取工业相机传来的数据，该数据是单位为像素的二维坐标，PLC通过使用梯形图编写指令，使用计算语句对各特征的几何中心的像素坐标与工业相机的视野中心的像素坐标进行实时减法操作，计算二者差值，由此判断当前无人机机身与目标位置的差别；

S22：PLC根据差值大小形成决策指令，并将决策指令传输给电磁阀；

具体地，PLC结合不同方向(即横向和纵向)的差值形成不同的编码，通过PLC的嵌入式I/O端输出至电磁阀。

在具体实施时，在本发明提供的上述视觉引导方法中，可以在PLC内设定一阈值范围作为机动死区，当差值超出该阈值范围时，PLC会进行相应位数的数据编码并通过嵌入式I/O端传输给电磁阀，继而通过单片机传输给妙算计算机，妙算计算机内部会对单片机传入的信号进行解码，得到无人机当前位置所需的姿态调整方向信号，并输出至无人机的飞控单元控制无人机进行姿态的调节，因此，在执行本发明提供的上述视觉引导方法中的步骤S22，PLC根据差值大小形成决策指令，并将决策指令传输给电磁阀时，如图4所示，具体可以包括如下步骤：

S221：判断像素坐标中横坐标的差值的绝对值是否大于阈值；若是，则执行步骤S222；若否，则执行步骤S223；

S222：判断横坐标的差值是否为正；若是，则执行步骤S224；若否，则执行步骤S225；

S223：判断像素坐标中纵坐标的差值的绝对值是否大于阈值；若是，则执行步骤S226；若否，则执行步骤S227；

S224：形成“左移”的决策指令，并将“左移”的决策指令传输给电磁阀，之后执行步骤S223；

S225：形成“右移”的决策指令，并将“右移”的决策指令传输给电磁阀，之后执行步骤S223；

S226：判断纵坐标的差值是否为正；若是，则执行步骤S228；若否，则执行步骤S229；

S227：确定无人机进入机动死区，形成“停止”的决策指令，并将“停止”的决策指令传输给电磁阀；

S228：形成“下移”的决策指令，并将“下移”的决策指令传输给电磁阀；

S229：形成“上移”的决策指令，并将“上移”的决策指令传输给电磁阀。

在具体实施时，在本发明提供的上述视觉引导方法中，在执行步骤S227，确定无人机进入机动死区，形成“停止”的决策指令，并将“停止”的决策指令传输给电磁阀之后，如图5所示，还可以包括如下步骤：

S230：判断无人机在机动死区停留的时间是否大于预设时间；若是，则执行步骤S231；若否，则重新执行步骤S221，即重新根据差值大小形成新的决策指令，以重新对无人机的姿态进行调整；

S231：形成“前进”的决策指令，并将“前进”的决策指令传输给电磁阀；这样，可以控制无人机靠近目标，便于瞄准目标后进行精准喷洒作业。

本发明提供的上述无人机视觉引导系统及方法，将无人机与视觉技术相结合，并参考精准农业的相关要求，可代替人力提供农作物日常养护与保障服务。以无人机为飞行基础，通过支架将工业相机、PLC和POE交换机安装于无人机上，通过外接电源为设备供电，视觉部分的识别算法通过工业相机自带软件完成，工业相机输出的像素坐标数据反馈给PLC，PLC对工业相机传入的数据进行判断、处理，生成决策指令后通过电磁阀和单片机传输至妙算计算机，通过无人机的飞控单元控制无人机做出相应的机动，实现了真正意义上的无人机的纯视觉引导。并且，工业相机凭借性能稳定、可靠，易于安装，结构紧凑、结实，采用金属外壳，不易损坏，防水、防粉尘、防腐蚀、防电磁干扰，连续工作时间长等优势，完全符合精准农业的严苛要求，PLC的可靠性和耐久性也符合精准农业的严苛要求。此外，视觉控制与逻辑控制是分开的，视觉部分的引导控制算法与逻辑控制均可单独进行编程，整体使用较灵活，可开发性强。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于PLC与工业相机的无人机视觉引导系统，其特征在于，包括：POE交换机、工业相机、PLC、电磁阀、单片机、外接电源以及支架；其中，

所述POE交换机分别与所述工业相机和所述PLC连接，用于实现所述工业相机与所述PLC之间的数据传输；

所述工业相机，用于实时采集图像信息，并根据预先标定的拟识别的特征，将实时采集的图像信息中各所述特征的几何中心的像素坐标实时传输给所述PLC；

所述PLC通过所述电磁阀与所述单片机连接，用于根据接收的各所述特征的几何中心的像素坐标，进行计算与决算，并将决策指令传输给所述电磁阀；

所述电磁阀，用于对接收的决策指令进行降压处理后传输给所述单片机；

所述单片机与无人机的妙算计算机连接，用于将接收的决策指令传输给所述妙算计算机；其中，所述妙算计算机通过飞控单元控制无人机执行所述决策指令；

所述外接电源分别与所述POE交换机和所述PLC连接，用于向所述PLC提供电源，并通过所述POE交换机向所述工业相机提供电源；

所述支架，用于将所述工业相机、所述PLC、所述POE交换机、所述外接电源、所述电磁阀和所述单片机安装于无人机上。

2.如权利要求1所述的无人机视觉引导系统，其特征在于，所述PLC，用于根据接收的各所述特征的几何中心的像素坐标，进行计算与决算，并将决策指令传输给所述电磁阀，具体包括：

所述PLC，用于计算各所述特征的几何中心的像素坐标与所述工业相机的视野中心的像素坐标的差值，根据差值大小形成决策指令，并将所述决策指令传输给所述电磁阀。

3.如权利要求2所述的无人机视觉引导系统，其特征在于，所述PLC，用于根据差值大小形成决策指令，并将所述决策指令传输给所述电磁阀，具体包括：

所述PLC，用于在确定像素坐标中横坐标的差值为正且大于阈值时，形成“左移”的决策指令，并将“左移”的决策指令传输给电磁阀；在确定像素坐标中横坐标的差值为负且绝对值大于阈值时，形成“右移”的决策指令，并将“右移”的决策指令传输给电磁阀；在确定像素坐标中纵坐标的差值为正且大于阈值时，形成“下移”的决策指令，并将“下移”的决策指令传输给电磁阀；在确定像素坐标中纵坐标的差值为负且绝对值大于阈值时，形成“上移”的决策指令，并将“上移”的决策指令传输给电磁阀；在确定像素坐标中横坐标的绝对值小于或等于阈值且纵坐标的绝对值小于或等于阈值时，确定无人机进入机动死区，形成“停止”的决策指令，并将“停止”的决策指令传输给电磁阀。

4.如权利要求3所述的无人机视觉引导系统，其特征在于，所述PLC，用于在确定无人机进入机动死区，形成“停止”的决策指令，并将“停止”的决策指令传输给电磁阀之后，判断无人机在所述机动死区停留的时间是否大于预设时间；若是，则形成“前进”的决策指令，并将“前进”的决策指令传输给电磁阀；若否，则重新根据差值大小形成决策指令。

5.如权利要求1-4任一项所述的无人机视觉引导系统，其特征在于，所述PLC为带有嵌入式I/O端的24V直流PLC；

所述外接电源为24V直流干电池。

6.如权利要求5所述的无人机视觉引导系统，其特征在于，所述电磁阀的通断控制端接入所述PLC输出的24V决策指令信号，所述电磁阀的输入端接入所述单片机的5V电信号，所述电磁阀的输出端与所述单片机的嵌入式I/O端连接。

7.一种基于权利要求1-6任一项所述的无人机视觉引导系统的视觉引导方法，其特征在于，包括如下步骤：

S1：工业相机实时采集图像信息，并根据预先标定的拟识别的特征，将实时采集的图像信息中各所述特征的几何中心的像素坐标实时传输给PLC；

S2：PLC根据接收的各所述特征的几何中心的像素坐标，进行计算与决算，并将决策指令传输给电磁阀；

S3：电磁阀对接收的决策指令进行降压处理后传输给单片机；

S4：单片机将接收的决策指令传输给妙算计算机；

S5：妙算计算机通过飞控单元控制无人机执行所述决策指令。

8.如权利要求7所述的视觉引导方法，其特征在于，步骤S2，PLC根据接收的各所述特征的几何中心的像素坐标，进行计算与决算，并将决策指令传输给电磁阀，具体包括如下步骤：

S21：PLC计算各所述特征的几何中心的像素坐标与所述工业相机的视野中心的像素坐标的差值；

S22：PLC根据差值大小形成决策指令，并将所述决策指令传输给电磁阀。

9.如权利要求8所述的视觉引导方法，其特征在于，步骤S22，PLC根据差值大小形成决策指令，并将所述决策指令传输给电磁阀，具体包括如下步骤：

S221：判断像素坐标中横坐标的差值的绝对值是否大于阈值；若是，则执行步骤S222；若否，则执行步骤S223；

S222：判断横坐标的差值是否为正；若是，则执行步骤S224；若否，则执行步骤S225；

S223：判断像素坐标中纵坐标的差值的绝对值是否大于阈值；若是，则执行步骤S226；若否，则执行步骤S227；

S224：形成“左移”的决策指令，并将“左移”的决策指令传输给电磁阀，之后执行步骤S223；

S225：形成“右移”的决策指令，并将“右移”的决策指令传输给电磁阀，之后执行步骤S223；

S226：判断纵坐标的差值是否为正；若是，则执行步骤S228；若否，则执行步骤S229；

S227：确定无人机进入机动死区，形成“停止”的决策指令，并将“停止”的决策指令传输给电磁阀；

S228：形成“下移”的决策指令，并将“下移”的决策指令传输给电磁阀；

S229：形成“上移”的决策指令，并将“上移”的决策指令传输给电磁阀。

10.如权利要求9所述的视觉引导方法，其特征在于，在执行步骤S227，确定无人机进入机动死区，形成“停止”的决策指令，并将“停止”的决策指令传输给电磁阀之后，还包括如下步骤：

S230：判断无人机在所述机动死区停留的时间是否大于预设时间；若是，则执行步骤S231；若否，则重新执行步骤S221；

S231：形成“前进”的决策指令，并将“前进”的决策指令传输给电磁阀。

Images