CN117437563B - 一种基于双目视觉的植保无人机打点方法、装置及设备 - Google Patents
一种基于双目视觉的植保无人机打点方法、装置及设备 Download PDFInfo
- Publication number
- CN117437563B CN117437563B CN202311703831.0A CN202311703831A CN117437563B CN 117437563 B CN117437563 B CN 117437563B CN 202311703831 A CN202311703831 A CN 202311703831A CN 117437563 B CN117437563 B CN 117437563B
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- coordinates
- coordinate system
- longitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 abstract 1
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
- G01C1/02—Theodolites
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Navigation (AREA)
Abstract
一种基于双目视觉的植保无人机打点方法、装置及设备，涉及无人机技术领域，方法包括：基于无人机双目相机采集左图像和右图像，并输入视差网络得到视差图；获取同一时刻下的无人机参数及无人机GPS信息，并与所述左图像以及所述视差图一同以像素图像的形式输出至显示装置；获取边界点像素坐标，并基于所述视差图得到视差值；基于所述视差值、所述无人机参数和所述无人机GPS信息，将所述像素坐标转化为经纬度坐标；该方法采用双目视觉相机采集左右图像并获取打点像素坐标，再通过多次坐标变换转化为经纬度坐标，打点精度更高且成本较低。
Description
技术领域
本发明涉及无人机技术领域。
背景技术
在植保无人机的工作流程中，无人机在作业之前首先要制定好其需要作业的范围，以在该范围能规划作业航线。此外，需要将该范围内的障碍物标记出来，以防止在作业过程中出现飞行事故。目前业界主要的规划作业范围的方法主要有三种：
第一种，使用商业地图软件进行规划，比如使用google地图、天地图等。这种方法的优势是使用简单，但受限于地图的精度，规划出的精度较低；第二种，使用具有RTK定位功能的打点器（或带有RTK定位的遥控器）在开始作业之前人工绕着需要作业的地块儿走一圈。这种方式的主要优点是定位精度高，缺点是效率较低，增加了人力成本；第三种，使用无人机进行飞行打点，在开始作业之前，使用带有RTK定位功能的无人机饶障作业地块儿飞一圈。这种方式的优点是定位精度高，效率较高，缺点是对无人机飞手的要求较高。上述方法均各自存在缺点。
因此，如何提供一种精度更高且成本较低的植保无人机打点方法，成为本领域亟待解决的技术问题。
发明内容
为了解决上述技术问题，本发明提供了一种基于双目视觉的植保无人机打点方法、装置及设备，该方法采用双目视觉相机采集左右图像并获取打点像素坐标，再通过多次坐标变换转化为经纬度坐标，打点精度更高且成本较低。
基于同一发明构思，本发明具有五个独立的技术方案：
1、一种基于双目视觉的植保无人机打点方法，包括：
基于无人机双目相机采集左图像和右图像，并输入视差网络得到视差图；
获取同一时刻下的无人机参数及无人机GPS信息，并与所述左图像以及所述视差图一同以像素图像的形式输出至显示装置；
获取边界点像素坐标，并基于所述视差图得到视差值；
基于所述视差值、所述无人机参数和所述无人机GPS信息，将所述像素坐标转化为经纬度坐标；
将所述像素坐标转化为经纬度坐标包括如下步骤：
根据所述视差值以及双目相机内外参数，将所述像素坐标转化为相机坐标系下的坐标；
根据双目相机相对于无人机的外参，将所述相机坐标系下的坐标转化为无人机坐标系下的三维坐标；
结合无人机姿态将所述无人机坐标系下的三维坐标转化为东北天坐标系下的三维坐标；
将所述东北天坐标系下的三维坐标转化为经纬度坐标。
进一步地，将所述像素坐标转化为相机坐标系下的坐标，公式如下：
；
其中，为双目相机内外参数，/>为边界点的像素坐标，d为边界点像素坐标所对应的视差值，/>为边界点在相机坐标系下的三维坐标，b为双目相机两个相机之间的基线长度。
进一步地，所述无人机坐标系下的三维坐标通过如下公式计算：
；
其中，为双目相机相对于无人机的外参，/>为边界点在相机坐标系下的三维坐标，/>为边界点在无人机坐标系下的三维坐标。
进一步地，所述东北天坐标系下的三维坐标通过如下公式计算：
；
其中，Roll，Yaw，Pitch为无人机姿态角度，为边界点在无人机坐标系下的三维坐标，/>为边界点在以无人机坐标系原点为原点的东北天坐标系下的三维坐标。
进一步地，所述经纬度坐标通过如下公式计算：
；
其中，为最终计算的纬度和经度，/>为无人机原点坐标对应的纬度和经度。
2、一种基于双目视觉的植保无人机持续打点方法，基于上述的无人机打点方法实现，包括：
根据所述无人机打点方法得到边界点经纬度坐标；
基于无人机双目相机采集下一时刻左图像，并将所述边界点经纬度坐标转化为现有边界点像素坐标，判断所述现有边界点像素坐标是否在所述下一时刻的左图像范围内，若是则显示，否则不显示；
重复执行所述无人机打点方法，获取新的边界点经纬度坐标。
3、一种基于双目视觉的植保无人机打点装置，包括：
采集模块，用于基于无人机双目相机采集左图像和右图像，并输入视差网络得到视差图；
显示模块，用于获取同一时刻下的无人机参数及无人机GPS信息，并与所述左图像以及所述视差图一同以像素图像的形式输出至显示装置；
视差值计算模块，用于获取边界点像素坐标，并基于所述视差图得到视差值；
坐标生成模块，用于基于所述视差值、所述无人机参数和所述无人机GPS信息，将所述像素坐标转化为经纬度坐标；
所述坐标生成模块还包括如下子模块：
子模块一：根据所述视差值以及双目相机内外参数，将所述像素坐标转化为相机坐标系下的坐标；
子模块二：根据双目相机相对于无人机的外参，将所述相机坐标系下的坐标转化为无人机坐标系下的三维坐标；
子模块三：结合无人机姿态将所述无人机坐标系下的三维坐标转化为东北天坐标系下的三维坐标；
子模块四：将所述东北天坐标系下的三维坐标转化为经纬度坐标。
4、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
5、一种电子设备，包括处理器和存储装置，所述存储装置中存有多条指令，所述处理器用于读取所述存储装置中的多条指令并执行上述方法。
本发明提供的基于双目视觉的植保无人机打点方法、装置及设备，至少包括如下有益效果：
（1）本发明提出基于双目视觉的植保无人机打点技术，植保无人机带有的双目相机可实时计算出视差，通过视差与双目相机的内外参数可计算出整个图像中地块边界点在相机坐标系下的三维坐标，通过无人机当前的飞行姿态、位置以及双目相机在无人机机体坐标系下的姿态和位置可将边界点换算成经纬度，继而完成视觉打点的功能；
（2）图像中的地块边界点通过人工在显示装置如遥控器端指定，并且通过基于深度学习的方式计算双目视差，以提高准确率和计算效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于双目视觉的植保无人机打点方法一种实施例的流程图；
图2为本发明提供的基于双目视觉的植保无人机持续打点方法一种实施例的流程图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施例的限制。
实施例一：
参见图1，在一些实施例中，提供一种基于双目视觉的植保无人机打点方法，包括：
S1、基于无人机双目相机采集左图像和右图像，并输入视差网络得到视差图；
S2、获取同一时刻下的无人机参数及无人机GPS信息，并与所述左图像以及所述视差图一同以像素图像的形式输出至显示装置；
S3、获取边界点像素坐标，并基于所述视差图得到视差值；
S4、基于所述视差值、所述无人机参数和所述无人机GPS信息，将所述像素坐标转化为经纬度坐标。
具体地，步骤S1中，读取图像，对图像进行去畸变，选择需要计算的区域，输入视差网络计算生成实时视差图。
作为一种较优的实施方式，双目视差计算通过基于深度学习的方式进行，以提高准确率和计算效率。
步骤S2中，将视差图、左图像、双目相机内外参数、双目相机相对于无人机的外参、时间戳、同一时刻下的无人机姿态参数、同一时刻下的GPS信息编码打包并传给遥控器，在遥控器上的显示装置展示左图像。
步骤S3中，遥控器上显示出左图像，供用户进行交互选择需要打点（可以是边界或者障碍物）的位置，获取边界点像素坐标，根据用户在遥控器上选择的点的像素坐标点对应从视差图上得出视差值。
步骤S4中，将所述像素坐标转化为经纬度坐标包括如下步骤：
S41、根据所述视差值以及双目相机内外参数，将所述像素坐标转化为相机坐标系下的坐标；
S42、根据双目相机相对于无人机的外参，将所述相机坐标系下的坐标转化为无人机坐标系下的三维坐标；
S43、结合无人机姿态将所述无人机坐标系下的三维坐标转化为东北天坐标系下的三维坐标；
S44、将所述东北天坐标系下的三维坐标转化为经纬度坐标。
步骤S41中，将所述像素坐标转化为相机坐标系下的坐标，公式如下：
；
其中，为双目相机内外参数，/>为边界点的像素坐标，d为边界点像素坐标所对应的视差值，/>为边界点在相机坐标系下的三维坐标，b为双目相机两个相机之间的基线长度。
步骤S42中，无人机坐标系下的三维坐标通过如下公式计算：
；
其中，为双目相机相对于无人机的外参，/>为边界点在相机坐标系下的三维坐标，/>为边界点在无人机坐标系下的三维坐标。
步骤S43中，根据以上信息结合当时时间戳下无人机位姿转换成经纬度供后续路径规划使用。所述东北天坐标系下的三维坐标通过如下公式计算：
；
其中，Roll，Yaw，Pitch为无人机姿态角度，为边界点在无人机坐标系下的三维坐标，/>为边界点在以无人机坐标系原点为原点的东北天坐标系下的三维坐标。
步骤S44中，所述经纬度坐标通过如下公式计算：
；
其中，为最终计算的纬度和经度，/>为无人机原点坐标对应的纬度和经度。
实施例二：
参见图2，在一些实施例中，提供一种基于双目视觉的植保无人机持续打点方法，基于上述的无人机打点方法实现，包括：
S1、根据所述无人机打点方法得到边界点经纬度坐标；
S2、基于无人机双目相机采集下一时刻左图像，并将所述边界点经纬度坐标转化为现有边界点像素坐标，判断所述现有边界点像素坐标是否在所述下一时刻的左图像范围内，若是则显示，否则不显示；
S3、重复执行所述无人机打点方法，获取新的边界点经纬度坐标。
具体地，步骤S2中，根据无人机当前经纬度、无人机当前姿态、无人机打点时对应姿态、无人机打点时刻经纬度、相机相关参数计算出图像坐标系上的点。
步骤S3中，判断用户是否调整打点位置，若调整，则计算得到新的边界点经纬度坐标，否则不做改变。
实施例三：
在一些实施例中，提供一种基于双目视觉的植保无人机打点装置，包括：
采集模块，用于基于无人机双目相机采集左图像和右图像，并输入视差网络得到视差图；
显示模块，用于获取同一时刻下的无人机参数及无人机GPS信息，并与所述左图像以及所述视差图一同以像素图像的形式输出至显示装置；
视差值计算模块，用于获取边界点像素坐标，并基于所述视差图得到视差值；
坐标生成模块，用于基于所述视差值、所述无人机参数和所述无人机GPS信息，将所述像素坐标转化为经纬度坐标。
作为一种较优的实施方式，所述坐标生成模块还包括如下子模块：
子模块一：根据所述视差值以及双目相机内外参数，将所述像素坐标转化为相机坐标系下的坐标；
子模块二：根据双目相机相对于无人机的外参，将所述相机坐标系下的坐标转化为无人机坐标系下的三维坐标；
子模块三：结合无人机姿态将所述无人机坐标系下的三维坐标转化为东北天坐标系下的三维坐标；
子模块四：将所述东北天坐标系下的三维坐标转化为经纬度坐标。
作为一种较优的实施方式，所述子模块一中，将所述像素坐标转化为相机坐标系下的坐标，公式如下：
；
其中，为双目相机内外参数，/>为边界点的像素坐标，d为边界点像素坐标所对应的视差值，/>为边界点在相机坐标系下的三维坐标。
作为一种较优的实施方式，所述子模块二中，无人机坐标系下的三维坐标通过如下公式计算：
；
其中，为双目相机相对于无人机的外参，/>为边界点在相机坐标系下的三维坐标，/>为边界点在无人机坐标系下的三维坐标，b为双目相机两个相机之间的基线长度。
作为一种较优的实施方式，所述子模块三中，所述东北天坐标系下的三维坐标通过如下公式计算：
；
其中，Roll，Yaw，Pitch为无人机姿态角度，为边界点在无人机坐标系下的三维坐标，/>为边界点在以无人机坐标系原点为原点的东北天坐标系下的三维坐标。
作为一种较优的实施方式，所述子模块四中，所述经纬度坐标通过如下公式计算：
；
其中，为最终计算的纬度和经度，/>为无人机原点坐标对应的纬度和经度。
实施例四：
在一些实施例中，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
实施例五：
在一些实施例中，提供一种电子设备，包括处理器和存储装置，所述存储装置中存有多条指令，所述处理器用于读取所述存储装置中的多条指令并执行上述方法。
上述实施例提供的基于双目视觉的植保无人机打点方法、装置及设备，植保无人机带有的双目相机可实时计算出视差，通过视差与双目相机的内外参数可计算出整个图像中地块边界点在相机坐标系下的三维坐标，通过无人机当前的飞行姿态、位置以及双目相机在无人机机体坐标系下的姿态和位置可将边界点换算成经纬度，继而完成视觉打点的功能；图像中的地块边界点通过人工在显示装置如遥控器端指定，并且通过基于深度学习的方式计算双目视差，以提高准确率和计算效率。
应当理解，在本申请实施例中，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器、快闪存储器和随机存储器，并向处理器提供指令和数据。存储器的一部分或全部还可以包括非易失性随机存取存储器。
应当理解，上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于以计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其他的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (6)
1.一种基于双目视觉的植保无人机打点方法，其特征在于，包括：
基于无人机双目相机采集左图像和右图像，并输入视差网络得到视差图；
获取同一时刻下的无人机参数及无人机GPS信息，并与所述左图像以及所述视差图一同以像素图像的形式输出至显示装置；
获取边界点像素坐标，并基于所述视差图得到视差值；
基于所述视差值、所述无人机参数和所述无人机GPS信息，将所述像素坐标转化为经纬度坐标；
将所述像素坐标转化为经纬度坐标包括如下步骤：
根据所述视差值以及双目相机内外参数，将所述像素坐标转化为相机坐标系下的坐标；
根据双目相机相对于无人机的外参，将所述相机坐标系下的坐标转化为无人机坐标系下的三维坐标；
结合无人机姿态将所述无人机坐标系下的三维坐标转化为东北天坐标系下的三维坐标；
将所述东北天坐标系下的三维坐标转化为经纬度坐标；
将所述像素坐标转化为相机坐标系下的坐标，公式如下：
其中，/>为双目相机内外参数，/>为边界点的像素坐标，d为边界点像素坐标所对应的视差值，/>为边界点在相机坐标系下的三维坐标，b为双目相机两个相机之间的基线长度；所述东北天坐标系下的三维坐标通过如下公式计算：
其中，Roll，Yaw，Pitch为无人机姿态角度，为边界点在无人机坐标系下的三维坐标，/>为边界点在以无人机坐标系原点为原点的东北天坐标系下的三维坐标；所述经纬度坐标通过如下公式计算/>其中，/>为最终计算的纬度和经度，/>为无人机原点坐标对应的纬度和经度。
2.根据权利要求1所述的方法，其特征在于，所述无人机坐标系下的三维坐标通过如下公式计算：
其中，/>为双目相机相对于无人机的外参，/>为边界点在相机坐标系下的三维坐标，/>为边界点在无人机坐标系下的三维坐标。
3.一种基于双目视觉的植保无人机持续打点方法，基于权利要求1-2任一所述的无人机打点方法实现，其特征在于，包括：
根据所述无人机打点方法得到边界点经纬度坐标；
基于无人机双目相机采集下一时刻左图像，并将所述边界点经纬度坐标转化为现有边界点像素坐标，判断所述现有边界点像素坐标是否在所述下一时刻的左图像范围内，若是则显示，否则不显示；
重复执行所述无人机打点方法，获取新的边界点经纬度坐标。
4.一种基于双目视觉的植保无人机打点装置，其特征在于，包括：
采集模块，用于基于无人机双目相机采集左图像和右图像，并输入视差网络得到视差图；
显示模块，用于获取同一时刻下的无人机参数及无人机GPS信息，并与所述左图像以及所述视差图一同以像素图像的形式输出至显示装置；
视差值计算模块，用于获取边界点像素坐标，并基于所述视差图得到视差值；
坐标生成模块，用于基于所述视差值、所述无人机参数和所述无人机GPS信息，将所述像素坐标转化为经纬度坐标；
所述坐标生成模块还包括如下子模块：
子模块一：根据所述视差值以及双目相机内外参数，将所述像素坐标转化为相机坐标系下的坐标；
子模块二：根据双目相机相对于无人机的外参，将所述相机坐标系下的坐标转化为无人机坐标系下的三维坐标；
子模块三：结合无人机姿态将所述无人机坐标系下的三维坐标转化为东北天坐标系下的三维坐标；
子模块四：将所述东北天坐标系下的三维坐标转化为经纬度坐标；
所述子模块一中，将所述像素坐标转化为相机坐标系下的坐标，公式如下：其中，/>为双目相机内外参数，/>为边界点的像素坐标，d为边界点像素坐标所对应的视差值，/>为边界点在相机坐标系下的三维坐标；
所述子模块三中，所述东北天坐标系下的三维坐标通过如下公式计算：
其中，Roll，Yaw，Pitch为无人机姿态角度，/>为边界点在无人机坐标系下的三维坐标，为边界点在以无人机坐标系原点为原点的东北天坐标系下的三维坐标；作为一种较优的实施方式，所述子模块四中，所述经纬度坐标通过如下公式计算：
其中，/>为最终计算的纬度和经度，/>为无人机原点坐标对应的纬度和经度。
5.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-2任一所述的方法。
6.一种电子设备，包括处理器和存储装置，其特征在于，所述存储装置中存有多条指令，所述处理器用于读取所述存储装置中的多条指令并执行如权利要求1-2任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311703831.0A CN117437563B (zh) | 2023-12-13 | 2023-12-13 | 一种基于双目视觉的植保无人机打点方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311703831.0A CN117437563B (zh) | 2023-12-13 | 2023-12-13 | 一种基于双目视觉的植保无人机打点方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117437563A CN117437563A (zh) | 2024-01-23 |
| CN117437563B true CN117437563B (zh) | 2024-03-15 |
Family
ID=89551746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311703831.0A Active CN117437563B (zh) | 2023-12-13 | 2023-12-13 | 一种基于双目视觉的植保无人机打点方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117437563B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| CN108489454A (zh) * | 2018-03-22 | 2018-09-04 | 沈阳上博智像科技有限公司 | 深度距离测量方法、装置、计算机可读存储介质及电子设备 |
| WO2019015158A1 (zh) * | 2017-07-21 | 2019-01-24 | 歌尔科技有限公司 | 无人机避障方法及无人机 |
| CN112287824A (zh) * | 2020-10-28 | 2021-01-29 | 杭州海康威视数字技术股份有限公司 | 基于双目视觉的三维目标检测方法、装置及系统 |
| WO2021139176A1 (zh) * | 2020-07-30 | 2021-07-15 | 平安科技（深圳）有限公司 | 基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质 |
| CN113129280A (zh) * | 2021-04-09 | 2021-07-16 | 中国人民解放军63660部队 | 一种基于建筑物轮廓特征的目标落点测量方法 |
| CN113467500A (zh) * | 2021-07-19 | 2021-10-01 | 天津大学 | 一种基于双目视觉的无人机非合作目标追踪系统 |
| WO2022048541A1 (zh) * | 2020-09-03 | 2022-03-10 | 深圳市道通智能航空技术股份有限公司 | 基于双目视觉的环境感知方法、装置及无人飞行器 |
| CN114170535A (zh) * | 2022-02-11 | 2022-03-11 | 北京卓翼智能科技有限公司 | 目标检测定位方法、装置、控制器及存储介质和无人机 |
| CN115328181A (zh) * | 2022-08-02 | 2022-11-11 | 国网江苏省电力有限公司盐城供电分公司 | 一种无人机输电线路巡检中关键目标空间定位方法 |
| CN115375838A (zh) * | 2022-07-31 | 2022-11-22 | 南京理工大学紫金学院 | 一种基于无人机的双目灰度图像的三维重建方法 |
| CN116029996A (zh) * | 2022-12-27 | 2023-04-28 | 天津云圣智能科技有限责任公司 | 立体匹配的方法、装置和电子设备 |
| WO2023138007A1 (zh) * | 2022-01-21 | 2023-07-27 | 深圳大学 | 无人机gps-denied下高可靠高精度导航定位方法和系统 |
| CN117055618A (zh) * | 2023-09-01 | 2023-11-14 | 黑龙江惠达科技股份有限公司 | 无人机及其控制方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260597B (zh) * | 2020-01-10 | 2021-12-03 | 大连理工大学 | 一种多波段立体相机的视差图像融合方法 |
| CN112116639B (zh) * | 2020-09-08 | 2022-06-07 | 苏州浪潮智能科技有限公司 | 一种图像配准方法、装置及电子设备和存储介质 |
-
2023
- 2023-12-13 CN CN202311703831.0A patent/CN117437563B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| WO2019015158A1 (zh) * | 2017-07-21 | 2019-01-24 | 歌尔科技有限公司 | 无人机避障方法及无人机 |
| CN108489454A (zh) * | 2018-03-22 | 2018-09-04 | 沈阳上博智像科技有限公司 | 深度距离测量方法、装置、计算机可读存储介质及电子设备 |
| WO2021139176A1 (zh) * | 2020-07-30 | 2021-07-15 | 平安科技（深圳）有限公司 | 基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质 |
| WO2022048541A1 (zh) * | 2020-09-03 | 2022-03-10 | 深圳市道通智能航空技术股份有限公司 | 基于双目视觉的环境感知方法、装置及无人飞行器 |
| CN112287824A (zh) * | 2020-10-28 | 2021-01-29 | 杭州海康威视数字技术股份有限公司 | 基于双目视觉的三维目标检测方法、装置及系统 |
| CN113129280A (zh) * | 2021-04-09 | 2021-07-16 | 中国人民解放军63660部队 | 一种基于建筑物轮廓特征的目标落点测量方法 |
| CN113467500A (zh) * | 2021-07-19 | 2021-10-01 | 天津大学 | 一种基于双目视觉的无人机非合作目标追踪系统 |
| WO2023138007A1 (zh) * | 2022-01-21 | 2023-07-27 | 深圳大学 | 无人机gps-denied下高可靠高精度导航定位方法和系统 |
| CN114170535A (zh) * | 2022-02-11 | 2022-03-11 | 北京卓翼智能科技有限公司 | 目标检测定位方法、装置、控制器及存储介质和无人机 |
| CN115375838A (zh) * | 2022-07-31 | 2022-11-22 | 南京理工大学紫金学院 | 一种基于无人机的双目灰度图像的三维重建方法 |
| CN115328181A (zh) * | 2022-08-02 | 2022-11-11 | 国网江苏省电力有限公司盐城供电分公司 | 一种无人机输电线路巡检中关键目标空间定位方法 |
| CN116029996A (zh) * | 2022-12-27 | 2023-04-28 | 天津云圣智能科技有限责任公司 | 立体匹配的方法、装置和电子设备 |
| CN117055618A (zh) * | 2023-09-01 | 2023-11-14 | 黑龙江惠达科技股份有限公司 | 无人机及其控制方法 |
Non-Patent Citations (4)
| Title |
|---|
| 基于双目立体视觉的目标物测距研究;杨晨曦;华云松;;软件;20200115(01);全文 * |
| 基于双目立体视觉的目标空间坐标计算及姿态估计;黄青丹;何彬彬;宋浩永;饶锐;赵宝玉;王国库;;华南师范大学学报(自然科学版);20200415(02);全文 * |
| 基于无人机双目图像的线目标测量的研究;王祖武;丁健;魏文力;韩军;;计算机测量与控制;20200125(第01期);全文 * |
| 电动VTOL飞行器双目立体视觉导航方法;张博翰;蔡志浩;王英勋;;北京航空航天大学学报;20110715(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117437563A (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107505644B (zh) | 基于车载多传感器融合的三维高精度地图生成系统及方法 | |
| CN109685842B (zh) | 一种基于多尺度网络的稀疏深度稠密化方法 | |
| US10509983B2 (en) | Operating device, operating system, operating method, and program therefor | |
| US20230326213A1 (en) | Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program | |
| US10086955B2 (en) | Pattern-based camera pose estimation system | |
| CN108279670B (zh) | 用于调整点云数据采集轨迹的方法、设备以及计算机可读介质 | |
| US10817734B2 (en) | Information processing apparatus, information processing method, and computer program product | |
| KR20200070071A (ko) | 위치 업데이트 방법, 위치 및 내비게이션 노선의 표시 방법, 차량과 시스템 | |
| US11315318B2 (en) | Method for constructing grid map by using binocular stereo camera | |
| US10451403B2 (en) | Structure-based camera pose estimation system | |
| JP6820561B2 (ja) | 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム | |
| US9858669B2 (en) | Optimized camera pose estimation system | |
| CN109299656B (zh) | 一种车载视觉系统场景视深确定方法 | |
| CN112967344B (zh) | 相机外参标定的方法、设备、存储介质及程序产品 | |
| CN114565863B (zh) | 无人机图像的正射影像实时生成方法、装置、介质及设备 | |
| CN111932627B (zh) | 一种标识物绘制方法及系统 | |
| CN112017236B (zh) | 一种基于单目相机计算目标物位置的方法及装置 | |
| US20160169662A1 (en) | Location-based facility management system using mobile device | |
| CN111145262B (zh) | 一种基于车载的单目标定方法 | |
| CN112362054A (zh) | 一种标定方法、装置、电子设备及存储介质 | |
| CN111145260B (zh) | 一种基于车载的双目标定方法 | |
| CN113240813B (zh) | 三维点云信息确定方法及装置 | |
| KR101771657B1 (ko) | 차량 주변 실사 영상과 주행 지리 정보를 합성하여 표시하는 내비게이션 장치 및 그 방법 | |
| US20210156710A1 (en) | Map processing method, device, and computer-readable storage medium | |
| CN117437563B (zh) | 一种基于双目视觉的植保无人机打点方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |