CN114740878B - 基于计算机图像识别的无人机飞行障碍物探测方法 - Google Patents
基于计算机图像识别的无人机飞行障碍物探测方法 Download PDFInfo
- Publication number
- CN114740878B CN114740878B CN202210538683.0A CN202210538683A CN114740878B CN 114740878 B CN114740878 B CN 114740878B CN 202210538683 A CN202210538683 A CN 202210538683A CN 114740878 B CN114740878 B CN 114740878B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- obstacle
- image
- flight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000007613 environmental effect Effects 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明的实施例公开基于计算机图像识别的无人机飞行障碍物探测方法，涉及无人机技术领域。所述方法，包括：通过无人机的摄像头实时采集包括无人机飞行前方环境信息的第一图像，并将所述第一图像实时传送给计算机；所述计算机基于图像识别方法对收到的第一图像进行障碍物识别；当识别出所述第一图像中存在障碍物时，根据所述第一图像确定所述无人机正对的当前识别出的障碍物的面积。本发明能够智能、快速、准确的检测无人机前方障碍物的详细信息。
Description
技术领域
本发明属于无人机技术领域，尤其涉及基于计算机图像识别的无人机飞行障碍物探测方法。
背景技术
随着航空技术与信息技术的不断进步，相比于有人驾驶飞机，无人机(Unmannedaerial vehicle，UAV)往往更适合那些太“愚钝，肮脏或危险”的任务，特别是应用于低空障碍物多的场景，因此无人机得到了广泛的应用，包括：军用方面的侦查和打击，民用方面的航拍、植保、微型自拍、快递运输、灾难救援、新闻报道、电力巡检等等方面。随着低空空域改革的推进，综合空域环境更加复杂，不确定性更高，导致无人机飞行过程中遇到障碍物发生碰撞的机率呈几何增加，因此无人机飞行障碍物探测方法显得特别重要，它是无人机规避障碍物的前提条件。
目前，无人机飞行障碍物探测方法主要有两种，一是无人机控制人员根据无人机上的摄像头采集到的前方图像，通过人工查看图像以判断判断是否存在障碍物，不仅耗费人力，同时获取到的障碍物信息比较片面，不够详细和准确，另外因传输图像信息存在时延，人为控制无人机转向也会滞后，有可能出现无人机撞到障碍物的情况；二是通过雷达扫描无人机前方障碍物，由无人机预设程序或控制人员进行分析，此类方式只能获知障碍物的大体信息(如大体大小)。因获得到的障碍物信息不详细和准确，从而导致无人机规避障碍物效果不好，甚至不进行规避。
发明内容
有鉴于此，本发明实施例提供一种基于计算机图像识别的无人机飞行障碍物探测方法，用于解决现有无人机飞行障碍物探测方法，获取障碍物信息不准确、不全面的问题。本发明能够智能、快速、准确的分析获得无人机前方的障碍物的详细信息。
本发明实施例提供基于计算机图像识别的无人机飞行障碍物探测方法，包括以下步骤：
通过无人机的摄像头实时采集包括无人机飞行前方环境信息的第一图像，并将所述第一图像实时传送给计算机；
所述计算机基于图像识别方法对收到的第一图像进行障碍物识别；
当识别出所述第一图像中存在障碍物时，根据所述第一图像确定所述无人机正对的当前识别出的障碍物的面积。
在一可选实施例中，所述计算机基于图像识别方法对收到的第一图像进行障碍物识别，包括：
所述计算机基于图像识别方法对收到的第一图像进行障碍物识别；
若识别出所述第一图像中存在疑似障碍物，则通过设置于所述无人机的摄像头上的红外测距仪检测所述无人机与所述疑似障碍物的正对距离；
判断所述无人机与所述疑似障碍物的正对距离值是否不小于预设阈值，若是，则确定所述无人机飞行前方存在障碍物，否则，确定所述无人机飞行前方不存在障碍物。
在一可选实施例中，所述计算机基于图像识别方法对收到的第一图像进行障碍物识别，包括：
将所述第一图像进行二值化处理，得到对应的第二图像；
将所述第二图像进行霍夫变换，得到对应的第三图像；
根据所述第三图像，得到待识别的各物体的特征向量；
将所述待识别的各物体的特征向量与预设障碍物特征向量库进行匹配，以确定所述第一图像中的疑似障碍物。
在一可选实施例中，所述根据所述第一图像确定所述无人机正对的当前识别出的障碍物的面积，包括：
根据所述无人机与当前识别出的障碍物的正对距离，基于以下第一公式计算所述无人机正对的当前识别出的障碍物的面积：
其中，S表示所述无人机正对的当前识别出的障碍物的面积；D(i,j)表示所述第一图像中第i行第j列的像素点为障碍物像素点的标记值，若该像素点为障碍物像素点则D(i,j)＝1，反之D(i,j)＝0；i＝1,2,…,n；j＝1,2,…,m；n表示所述第一图像中每一列像素点的个数；m表示所述第一图像中每一行像素点的个数；k表示所述第一图像中相邻两个像素点之间的距离值；f表示所述摄像头的焦距值；L表示所述无人机与当前识别出的障碍物的正对距离值。
在一可选实施例中，在所述识别出所述第一图像中存在障碍物后，所述方法还包括步骤：
确定所述无人机与当前识别出的障碍物各个边缘点的距离；
根据当前计算出的所述无人机与当前识别出的障碍物各个边缘点的距离，调整所述无人机的飞行方向及飞行角度，以使所述无人机避障转向到所述障碍物另一侧面，随后返回执行所述采集包括无人机飞行前方环境信息的第一图像的步骤。
在一可选实施例中，所述确定所述无人机与当前识别出的障碍物各个边缘点的距离，包括：
以所述第一图像的左下顶点为坐标原点，以所述第一图像的下边缘水平向右为X轴，以所述第一图像的左边缘竖直向上为Y轴，建立平面直角坐标系；
对所述第一图像中当前识别出的障碍物的各边缘像素点在所述平面直角坐标系中进行坐标定位；
根据以下第二公式计算所述无人机与当前识别出的障碍物各个边缘点的距离：
所述第二公式中，h(a)表示所述无人机距离与所述当前识别出的障碍物的第a个边缘像素点的距离值；a＝1,,2,…,N；N为所述第一图像中当前识别出的障碍物的边缘像素点的总数；[x(a),y(a)]表示所述当前识别出的障碍物的第a个边缘像素点在所述平面直角坐标系中的坐标值；(X0,Y0)表示所述第一图像中心点在所述平面直角坐标系中的坐标值；
所述根据当前计算出的所述无人机与当前识别出的障碍物各个边缘点的距离，调整所述无人机的飞行方向及飞行角度，包括：
选择所述无人机与当前识别出的障碍物各个边缘点的距离中的最小距离；
根据所述最小距离及其对应的边缘像素点在所述平面直角坐标系中的坐标，基于第三公式计算出所述无人机的飞行方向及飞行角度调整值；
根据计算出的飞行方向及飞行角度调整值，控制所述无人机转向飞行；
其中所述第三公式为：
所述第三公式中，θ表示所述无人机的飞行方向值；α表示所述无人机的飞行角度调整值；[x(amin),y(amin)]表示所述最小距离对应的边缘像素点在所述平面直角坐标系中的坐标值；||表示求取绝对值函数；h(amin)表示所述无人机与当前识别出的障碍物各个边缘点的距离中的最小距离值。
在一可选实施例中，所述根据计算出的飞行方向及飞行角度调整值，控制所述无人机转向飞行，包括：
若x(amin)≤X0且y(amin)≤Y0，则控制所述无人机沿着当前飞行方向的下方顺时针旋转θ角度的方向进行调整姿态，并调整α角度的姿态；
若x(amin)>X0且y(amin)≤Y0，则控制所述无人机沿着当前飞行方向的上方逆时针旋转θ角度的方向进行调整姿态，并调整α角度的姿态；
若x(amin)≤X0且y(amin)>Y0，则控制所述无人机沿着当前飞行方向的下方逆时针旋转θ角度的方向进行调整姿态，并调整α角度的姿态；
若x(amin)>X0且y(amin)>Y0，则控制所述无人机沿着当前飞行方向的上方顺时针旋转θ角度的方向进行调整姿态，并调整α角度的姿态。
在一可选实施例中，在控制无人机转向飞行至当前识别出的障碍物的各个侧面对其进行拍照并计算出其各方位的面积后，所述方法还包括：
所述计算机根据当前识别出的障碍物各个侧面的图像及面积，根据预设三维建模算法对所述当前识别出的障碍物进行立体建模，并将立体建模结果提供给用户。
本发明提供的基于计算机图像识别的无人机飞行障碍物探测方法，首先通过无人机的摄像头实时采集包括无人机飞行前方环境信息的图像，然后根据此图像，识别无人机前方是否存在障碍物；最后当识别到无人机前方存在障碍物时，则继续根据此图像确定无人机正对的当前识别出的障碍物的面积。本发明能够根据采集到的障碍物图像信息，智能、快速、准确的分析获得无人机前方障碍物的详细信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的基于计算机图像识别的无人机飞行障碍物探测方法实施例一的流程图；
图2为S102的一种实施方法流程图。
图3为本发明实施例提供的基于计算机图像识别的无人机飞行障碍物探测方法实施例二的流程图；
图4为本发明实施例提供的基于计算机图像识别的无人机飞行障碍物探测方法实施例三的流程图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明实施例提供的基于计算机图像识别的无人机飞行障碍物探测方法实施例一的流程图。参见图1，该方法包括如下步骤S101-S103：
S101：通过无人机的摄像头实时采集包括无人机飞行前方环境信息的第一图像，并将所述第一图像实时传送给计算机。
本实施例中，无人机上的摄像头可进行360°无死角的旋转，在无人机飞行时，此摄像头会向着无人机的飞行方向进行采集图像，从而能不留死角的获得无人机行进前方的图像信息，然后将图像信息通过网络方式实时的传输给计算机进行后续计算与分析。其中，计算机的部署位置可以为无人机及/或远程控制端，无人机上设置计算机，可以减少第一图像传输的时延，从而提高了系统的计算效率；远程控制端设置计算机，可以让无人机操控人员实时了解无人机前方的情况，遇到障碍物等情况时，能快速的采取安全处理措施。
S102：所述计算机基于图像识别方法对收到的第一图像进行障碍物识别。
本实施例中，图像识别方法是人工智能的一个重要领域，随着人工智能的发展，图像识别方法的准确度也越来越高，得到了广泛的应用。其中，图像识别方法是指对图像进行对象识别，以识别各种不同模式的目标和对像的技术，它是以图像的主要特征为基础的，例如在一张照片中，出现了一个山顶，因为山顶有个尖的特征，根据此类特征可以初步判断出现了山的障碍物。对第一图像进行障碍物识别，主要目的就是判断第一图像中是否存在障碍物，只有在存在障碍物时，后续才开展障碍物具体信息获取工作，如面积信息等，有效地节约了系统资源。
S103：当识别出所述第一图像中存在障碍物时，根据所述第一图像确定所述无人机正对的当前识别出的障碍物的面积。
本实施例中，当识别出第一图像中存在障碍物时，则可以通过障碍物在第一图像中的大小，还有无人机到障碍物的距离，然后进行同比例的缩放，就可以获得障碍物的面积，具有实现简单，获得信息准确的优点。
作为一可选实施例，如图2所示，步骤S102，可以包括如下步骤S201-S204：
S201：将所述第一图像进行二值化处理，得到对应的第二图像。
本实施例中，图像二值化(Image Binarization)就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。即将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。图像的二值化有利于图像的进一步处理，使图像变得简单，而且数据量减小，能凸显出感兴趣的目标的轮廓，提高后续系统计算的效率。
S202：将所述第二图像进行霍夫变换，得到对应的第三图像。
本实施例中，霍夫变换是一种特征检测(feature extraction)，被广泛应用在图像分析(image analysis)、计算机视觉(computer vision)以及数位影像处理(digitalimage processing)。霍夫变换是用来辨别找出物件中的特征，例如：线条等。通过特征的提取，便于后面对第一图像中的障碍物进行识别。
S203：根据所述第三图像，得到待识别的各物体的特征向量。
本实施例中，通过霍夫变换得到的第三图像，包括了图像中的各个物体的特征信息，这些特征信息通过特征向量进行描述，便于后续通过匹配计算的方式，就能方便的获得障碍物具体是什么物体。
S204：将所述待识别的各物体的特征向量与预设障碍物特征向量库进行匹配，以确定所述第一图像中的疑似障碍物。
本实施例中，在预设障碍物特征向量库中，可以预先设置障碍物的特征向量，如球体的特征向量，鸟的特征向量等，一旦待识别的各物体的特征向量与预设障碍物特征向量匹配上，则认为出现了对应的障碍物，此方法具有判断快速、准确的优点。
本发明实施例提供的基于计算机图像识别的无人机飞行障碍物探测方法，首先通过无人机的摄像头实时采集包括无人机飞行前方环境信息的图像，然后根据此图像，识别无人机前方是否存在障碍物；最后当识别到无人机前方存在障碍物时，则继续根据图像确定所述无人机正对的当前识别出的障碍物的面积。本发明能够根据采集到的障碍物图像信息，智能、快速、准确的分析获得无人机前方障碍物的详细信息。
图3为本发明实施例提供的基于计算机图像识别的无人机飞行障碍物探测方法实施例二的流程图。参见图3，该方法包括如下步骤S301-S308：
S301：通过无人机的摄像头实时采集包括无人机飞行前方环境信息的第一图像，并将所述第一图像实时传送给计算机。
S302：所述计算机基于图像识别方法对收到的第一图像进行障碍物识别。
S303：判断是否识别出所述第一图像中存在疑似障碍物，是则执行步骤S304。
S304：通过设置于所述无人机的摄像头上的红外测距仪检测所述无人机与所述疑似障碍物的正对距离。
本实施例中，在无人机的摄像头上预先安装红外测距仪，用于在经图像识别出无人机前方存在疑似障碍物时，检测所述无人机与所述疑似障碍物的正对距离，能准确测量5千米以内的距离。由于红外测距仪光源半导体化，电子线路逐步集成化，测距过程自动化，操作简便、测距速度快、精度高，便于后续进行障碍物判定。
S305：判断所述无人机与所述疑似障碍物的正对距离值是否不小于预设阈值，是则执行S306，否则执行S307。
本实施例中，疑似障碍物位置往往是在变化的，就算疑似障碍物位置为静止，可是无人机是在不停的飞行，航线也在不停的变化，与无人机的相对位置也在不断的变化。当第一图像中的t时刻存在一只飞鸟时，t+1时刻这只飞鸟就不存在了，因此此处设置了一个预设阈值，这个预设阈值的取值应超过无人机的应急距离，如2000m，在2000m内的疑似障碍物，无人机才需开始应急避让，超过此值，则无需采取应急避让，从而有效地提升了无人机飞行的稳定性。
S306：确定所述无人机飞行前方存在障碍物，并执行S308。
S307：确定所述无人机飞行前方不存在障碍物。
S308：根据所述无人机与当前识别出的障碍物的正对距离，基于第一公式计算所述无人机正对的当前识别出的障碍物的面积。
本实施例中，计算障碍物的面积值，可以方便远程无人机操作人员/无人机本身控制无人机开展规避动作，避免无人机碰撞上障碍物，导致不必要的经济损失。
优选地，所述第一公式为：
其中，S表示所述无人机正对的当前识别出的障碍物的面积；D(i,j)表示所述第一图像中第i行第j列的像素点为障碍物像素点的标记值，若该像素点为障碍物像素点则D(i,j)＝1，反之D(i,j)＝0；i＝1,2,…,n；j＝1,2,…,m；n表示所述第一图像中每一列像素点的个数；m表示所述第一图像中每一行像素点的个数；k表示所述第一图像中相邻两个像素点之间的距离值；f表示所述摄像头的焦距值；L表示所述无人机与当前识别出的障碍物的正对距离值。
本实施例中，使用第一公式，根据采集到的无人机前方的图像以及红外测距仪检测到的无人机与障碍物距离，得到所述无人机的正对面障碍物的面积值，目的是利用像素点的积累计算面积，保证对正对面障碍物的面积探测的精准测量，一是方便后续控制无人机进行避障探测，二是保证探测的障碍物面积的精准。
本发明实施例提供的基于计算机图像识别的无人机飞行障碍物探测方法，通过无人机的摄像头实时采集包括无人机飞行前方环境信息的图像，然后根据此图像，识别无人机前方是否存在疑似障碍物；接着根据疑似障碍物与无人机之间的相对距离，确定疑似障碍物是否为障碍物；最后，在确定为障碍物时，根据采集到的无人机前方的图像以及红外测距仪检测到的无人机与障碍物距离，得到所述无人机的正对面障碍物的面积值，为无人机后续规避障碍物提供有力的支撑。
图4为本发明实施例提供的基于计算机图像识别的无人机飞行障碍物探测方法实施例三的流程图。参见图4，该方法包括如下步骤S401-S406：
S401：通过无人机的摄像头实时采集包括无人机飞行前方环境信息的第一图像，并将所述第一图像实时传送给计算机。
S402：所述计算机基于图像识别方法对收到的第一图像进行障碍物识别。
S403：判断是否识别出所述第一图像中存在障碍物，是则执行S404和S405。
S404：根据所述第一图像确定所述无人机正对的当前识别出的障碍物的面积。
本实施例中，确定所述无人机正对的当前识别出的障碍物的面积，还将其进行记录，记录时候，除记录该障碍物面积外，还可对应记录当前时间、当前无人机的地理位置以及所述第一图像等等相关信息。
S405：确定所述无人机与当前识别出的障碍物各个边缘点的距离。
S406：根据当前计算出的所述无人机与当前识别出的障碍物各个边缘点的距离，调整所述无人机的飞行方向及飞行角度，以使所述无人机避障转向到所述障碍物另一侧面。
本实施例中，步骤S406执行完后，在无人机避障转向到所述障碍物另一侧面后，返回执行步骤S401，在所述另一侧面重新采集包括所述障碍物的第一图像，继续对该障碍物的另一个侧面进行拍照、识别和计算面积等，直至无人机围绕该障碍物的所有侧面都进行了拍照并获得对应角度的障碍物面积时为止，例如，流程停止的条件可以为所述无人机回到第一次识别出该障碍物的位置时停止。
本实施例中，在控制无人机转向飞行至当前识别出的障碍物的各个侧面，并对其进行拍照及计算出其各方位的面积后，则可以继续利用障碍物各个侧面的图像及面积，根据预设三维建模算法对所述当前识别出的障碍物进行立体建模，并将立体建模结果提供给无人机操作人员，从而达到对障碍物全方位的进行了解，提高无人机避开障碍物的机率。
作为一可选实施例，步骤S405，可以包括如下步骤S4051-S4053：
S4051：以所述第一图像的左下顶点为坐标原点，以所述第一图像的下边缘水平向右为X轴，以所述第一图像的左边缘竖直向上为Y轴，建立平面直角坐标系。
本实施例中，建立二维坐标系，便于后续对障碍物的各边缘像素点进行坐标定位，每个像素点都可以用一个坐标点(x,y)来表示，也便于后续信息的计算。
S4052：对所述第一图像中当前识别出的障碍物的各边缘像素点在所述平面直角坐标系中进行坐标定位。
S4053：根据第二公式计算所述无人机与当前识别出的障碍物各个边缘点的距离：
优选地，所述第二公式为：
所述第二公式中，h(a)表示所述无人机距离与所述当前识别出的障碍物的第a个边缘像素点的距离值；a＝1,,2,…,N；N为所述第一图像中当前识别出的障碍物的边缘像素点的总数；[x(a),y(a)]表示所述当前识别出的障碍物的第a个边缘像素点在所述平面直角坐标系中的坐标值；(X0,Y0)表示所述第一图像中心点在所述平面直角坐标系中的坐标值。
本实施例中，根据定位后的障碍物边缘像素点坐标值以及红外测距仪检测到的无人机距离所述障碍物的距离，得到无人机距离所述障碍物各个边缘像素点的距离值，从而方便后续选取最短避障路径，进一步地，可以以最短的时间和距离让无人机绕到所述障碍物的其它面，达到有效避障的效果。
在一可选实施例中，步骤S406，进一步可以包括以下步骤S4061-S4063：
S4061：选择所述无人机与当前识别出的障碍物各个边缘点的距离中的最小距离。
S4062：根据所述最小距离及其对应的边缘像素点在所述平面直角坐标系中的坐标，基于第三公式计算出所述无人机的飞行方向及飞行角度调整值。
优选地，所述第三公式为：
所述第三公式中，θ表示所述无人机的飞行方向值；α表示所述无人机的飞行角度调整值；[x(amin),y(amin)]表示所述最小距离对应的边缘像素点在所述平面直角坐标系中的坐标值；||表示求取绝对值函数；h(amin)表示所述无人机与当前识别出的障碍物各个边缘点的距离中的最小距离值。
本实施例中，在所述无人机距离所述障碍物各个边缘像素点的距离值中选择最小的距离值计算出所述无人机的飞行方向以及飞行调整角度值，进而自动控制无人机进行自动精准高效避障，并完成对障碍物的立体探测的目的。
S4063：根据计算出的飞行方向及飞行角度调整值，控制所述无人机转向飞行。
本实施例中，若x(amin)≤X0且y(amin)≤Y0，则控制所述无人机沿着当前飞行方向的下方顺时针旋转θ角度的方向进行调整姿态，并调整α角度的姿态；若x(amin)>X0且y(amin)≤Y0，则控制所述无人机沿着当前飞行方向的上方逆时针旋转θ角度的方向进行调整姿态，并调整α角度的姿态；若x(amin)≤X0且y(amin)>Y0，则控制所述无人机沿着当前飞行方向的下方逆时针旋转θ角度的方向进行调整姿态，并调整α角度的姿态；若x(amin)>X0且y(amin)>Y0，则控制所述无人机沿着当前飞行方向的上方顺时针旋转θ角度的方向进行调整姿态，并调整α角度的姿态，通过飞行方向及飞行角度调整，无人机将能有效地的避开障碍物。
本发明实施例提供的基于计算机图像识别的无人机飞行障碍物探测方法，不仅可以通过图像识别的方法，获得障碍物的详细信息，同时可根据定位后的障碍物边缘像素点坐标值以及红外测距仪检测到的无人机距离所述障碍物的距离，得到无人机距离所述障碍物各个边缘像素点的距离值，最后根据此距离值，计算出所述无人机的飞行方向以及飞行调整角度值，进而自动控制无人机进行自动精准高效避障，并完成对障碍物的立体探测的目的。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (4)
1.基于计算机图像识别的无人机飞行障碍物探测方法，其特征在于，包括以下步骤：
通过无人机的摄像头实时采集包括无人机飞行前方环境信息的第一图像，并将所述第一图像实时传送给计算机；
所述计算机基于图像识别方法对收到的第一图像进行障碍物识别；
当识别出所述第一图像中存在障碍物时，根据所述第一图像确定所述无人机正对的当前识别出的障碍物的面积；
所述计算机基于图像识别方法对收到的第一图像进行障碍物识别，包括：
所述计算机基于图像识别方法对收到的第一图像进行障碍物识别；
若识别出所述第一图像中存在疑似障碍物，则通过设置于所述无人机的摄像头上的红外测距仪检测所述无人机与所述疑似障碍物的正对距离；
判断所述无人机与所述疑似障碍物的正对距离值是否不小于预设阈值，若是，则确定所述无人机飞行前方存在障碍物，否则，确定所述无人机飞行前方不存在障碍物；
所述根据所述第一图像确定所述无人机正对的当前识别出的障碍物的面积，包括：
根据所述无人机与当前识别出的障碍物的正对距离，基于以下第一公式计算所述无人机正对的当前识别出的障碍物的面积：
其中，S表示所述无人机正对的当前识别出的障碍物的面积；D(i，j)表示所述第一图像中第i行第j列的像素点为障碍物像素点的标记值，若该像素点为障碍物像素点则D(i，j)＝1，反之D(i，j)＝0；i＝1，2，...，n；j＝1，2，...，m；n表示所述第一图像中每一列像素点的个数；m表示所述第一图像中每一行像素点的个数；k表示所述第一图像中相邻两个像素点之间的距离值；f表示所述摄像头的焦距值；L表示所述无人机与当前识别出的障碍物的正对距离值；
在所述识别出所述第一图像中存在障碍物后，所述方法还包括步骤：
确定所述无人机与当前识别出的障碍物各个边缘点的距离；
根据当前计算出的所述无人机与当前识别出的障碍物各个边缘点的距离，调整所述无人机的飞行方向及飞行角度，以使所述无人机避障转向到所述障碍物另一侧面，随后返回执行所述采集包括无人机飞行前方环境信息的第一图像的步骤；
所述确定所述无人机与当前识别出的障碍物各个边缘点的距离，包括：
以所述第一图像的左下顶点为坐标原点，以所述第一图像的下边缘水平向右为X轴，以所述第一图像的左边缘竖直向上为Y轴，建立平面直角坐标系；
对所述第一图像中当前识别出的障碍物的各边缘像素点在所述平面直角坐标系中进行坐标定位；
根据以下第二公式计算所述无人机与当前识别出的障碍物各个边缘点的距离：
所述第二公式中，h(a)表示所述无人机距离与所述当前识别出的障碍物的第a个边缘像素点的距离值；a＝1，，2，...，N；N为所述第一图像中当前识别出的障碍物的边缘像素点的总数；[x(a)，y(a)]表示所述当前识别出的障碍物的第a个边缘像素点在所述平面直角坐标系中的坐标值；(X0，Y0)表示所述第一图像中心点在所述平面直角坐标系中的坐标值；
所述根据当前计算出的所述无人机与当前识别出的障碍物各个边缘点的距离，调整所述无人机的飞行方向及飞行角度，包括：
选择所述无人机与当前识别出的障碍物各个边缘点的距离中的最小距离；
根据所述最小距离及其对应的边缘像素点在所述平面直角坐标系中的坐标，基于第三公式计算出所述无人机的飞行方向及飞行角度调整值；
根据计算出的飞行方向及飞行角度调整值，控制所述无人机转向飞行；
其中所述第三公式为：
所述第三公式中，θ表示所述无人机的飞行方向值；α表示所述无人机的飞行角度调整值；[x(amin)，y(amin)]表示所述最小距离对应的边缘像素点在所述平面直角坐标系中的坐标值；| |表示求取绝对值函数；h(amin)表示所述无人机与当前识别出的障碍物各个边缘点的距离中的最小距离值。
2.如权利要求1所述的基于计算机图像识别的无人机飞行障碍物探测方法，其特征在于，所述计算机基于图像识别方法对收到的第一图像进行障碍物识别，包括：
将所述第一图像进行二值化处理，得到对应的第二图像；
将所述第二图像进行霍夫变换，得到对应的第三图像；
根据所述第三图像，得到待识别的各物体的特征向量；
将所述待识别的各物体的特征向量与预设障碍物特征向量库进行匹配，以确定所述第一图像中的疑似障碍物。
3.如权利要求1所述的基于计算机图像识别的无人机飞行障碍物探测方法，其特征在于，所述根据计算出的飞行方向及飞行角度调整值，控制所述无人机转向飞行，包括：
若x(amin)≤X0且y(amin)≤Y0，则控制所述无人机沿着当前飞行方向的下方顺时针旋转θ角度的方向进行调整姿态，并调整α角度的姿态；
若x(amin)＞X0且y(amin)≤Y0，则控制所述无人机沿着当前飞行方向的上方逆时针旋转θ角度的方向进行调整姿态，并调整α角度的姿态；
若x(amin)≤X0且y(amin)＞Y0，则控制所述无人机沿着当前飞行方向的下方逆时针旋转θ角度的方向进行调整姿态，并调整α角度的姿态；
若x(amin)＞X0且y(amin)＞Y0，则控制所述无人机沿着当前飞行方向的上方顺时针旋转θ角度的方向进行调整姿态，并调整α角度的姿态。
4.如权利要求1所述的基于计算机图像识别的无人机飞行障碍物探测方法，其特征在于，在控制无人机转向飞行至当前识别出的障碍物的各个侧面对其进行拍照并计算出其各方位的面积后，所述方法还包括：
所述计算机根据当前识别出的障碍物各个侧面的图像及面积，根据预设三维建模算法对所述当前识别出的障碍物进行立体建模，并将立体建模结果提供给用户。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210538683.0A CN114740878B (zh) | 2022-05-17 | 2022-05-17 | 基于计算机图像识别的无人机飞行障碍物探测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210538683.0A CN114740878B (zh) | 2022-05-17 | 2022-05-17 | 基于计算机图像识别的无人机飞行障碍物探测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114740878A CN114740878A (zh) | 2022-07-12 |
| CN114740878B true CN114740878B (zh) | 2023-09-29 |
Family
ID=82286803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210538683.0A Active CN114740878B (zh) | 2022-05-17 | 2022-05-17 | 基于计算机图像识别的无人机飞行障碍物探测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114740878B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107479575A (zh) * | 2017-08-25 | 2017-12-15 | 中国地质大学（武汉） | 一种多旋翼无人机飞行控制方法及系统 |
| WO2019085621A1 (zh) * | 2017-11-06 | 2019-05-09 | 深圳市道通智能航空技术有限公司 | 目标追踪方法、装置及追踪器 |
| CN113359839A (zh) * | 2021-06-27 | 2021-09-07 | 浙江大年科技有限公司 | 一种基于三维视觉的无人机感知系统 |
| KR102324059B1 (ko) * | 2021-04-26 | 2021-11-10 | 주식회사 조인트리 | 드론 조작용 비행 영상 제공 시스템 |
| KR102358337B1 (ko) * | 2020-11-30 | 2022-02-08 | 주식회사 업데이터 | 딥러닝 영상인식을 활용한 지장물 조사 서비스 방법 및 시스템 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022173682A (ja) * | 2021-05-10 | 2022-11-22 | ソニーグループ株式会社 | 移動体、移動制御方法、およびプログラム |
-
2022
- 2022-05-17 CN CN202210538683.0A patent/CN114740878B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107479575A (zh) * | 2017-08-25 | 2017-12-15 | 中国地质大学（武汉） | 一种多旋翼无人机飞行控制方法及系统 |
| WO2019085621A1 (zh) * | 2017-11-06 | 2019-05-09 | 深圳市道通智能航空技术有限公司 | 目标追踪方法、装置及追踪器 |
| KR102358337B1 (ko) * | 2020-11-30 | 2022-02-08 | 주식회사 업데이터 | 딥러닝 영상인식을 활용한 지장물 조사 서비스 방법 및 시스템 |
| KR102324059B1 (ko) * | 2021-04-26 | 2021-11-10 | 주식회사 조인트리 | 드론 조작용 비행 영상 제공 시스템 |
| CN113359839A (zh) * | 2021-06-27 | 2021-09-07 | 浙江大年科技有限公司 | 一种基于三维视觉的无人机感知系统 |
Non-Patent Citations (4)
| Title |
|---|
| M. Anwar Ma’sum等.Simulation of Intelligent Unmanned Aerial Vehicle (UAV) For Military Surveillance.ICACSIS.2013,1-6. * |
| Zhouyu Zhang等.Monocular vision based obstacle avoidance trajectory planning for Unmanned Aerial Vehicle.Aerospace Science and Technology.2020,第106卷1-15. * |
| 方挺.无人机协同编队飞行中的视觉感知关键技术研究.中国博士论文全文数据库 工程科技Ⅱ辑.2011,C031-50. * |
| 苏东.基于双目视觉的小型无人飞行器的导航与避障.中国优秀硕士论文全文数据库 信息科技辑.2016,I138-6491. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114740878A (zh) | 2022-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111326023B (zh) | 一种无人机航线预警方法、装置、设备及存储介质 | |
| CN109144097B (zh) | 障碍物或地面识别及飞行控制方法、装置、设备及介质 | |
| EP4109331A1 (en) | Obstacle detection method and apparatus, computer device, and storage medium | |
| CN108496129B (zh) | 一种基于飞行器的设施检测方法及控制设备 | |
| US9996746B1 (en) | Systems and methods for autonomous perpendicular imaging with a target field of view | |
| CN108919838B (zh) | 一种基于双目视觉的无人机输电线路自动跟踪方法 | |
| CN109931939B (zh) | 车辆的定位方法、装置、设备及计算机可读存储介质 | |
| CN110825101B (zh) | 一种基于深度卷积神经网络的无人机自主降落方法 | |
| US10007836B2 (en) | Bird detection device, bird detection system, bird detection method, and program extracting a difference between the corrected images | |
| US11841434B2 (en) | Annotation cross-labeling for autonomous control systems | |
| CN114020002A (zh) | 无人机巡检风机叶片的方法、装置、设备、无人机及介质 | |
| KR102265980B1 (ko) | 선박 및 항만 모니터링 장치 및 방법 | |
| CN112712129A (zh) | 多传感器融合方法、装置、设备及存储介质 | |
| CN112508865A (zh) | 一种无人机巡检避障方法、装置、计算机设备和存储介质 | |
| WO2022126522A1 (zh) | 物体识别方法、装置、可移动平台以及存储介质 | |
| CN114034296A (zh) | 一种导航信号干扰源检测与识别方法及系统 | |
| CN114967731A (zh) | 一种基于无人机的野外人员自动搜寻方法 | |
| WO2022126540A1 (zh) | 障碍物检测及重识别方法、装置、可移动平台及存储介质 | |
| CN107323677B (zh) | 无人机辅助降落方法、装置、设备及存储介质 | |
| CN114740878B (zh) | 基于计算机图像识别的无人机飞行障碍物探测方法 | |
| KR102479959B1 (ko) | 인공지능 기반 통합 경계 방법 및 객체 모니터링 장치 | |
| CN115932834A (zh) | 一种基于多源异构数据融合的反无人机系统目标检测方法 | |
| CN114915761A (zh) | 一种联动监控方法和监控联动装置 | |
| CN113867389A (zh) | 一种无人机拍摄控制方法、装置、设备及存储介质 | |
| CN114092916B (zh) | 图像处理方法、装置、电子设备、自动驾驶车辆及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |