CN113409233A - 无人机集群监测三维机器视觉构图方法、设备和系统 - Google Patents
无人机集群监测三维机器视觉构图方法、设备和系统 Download PDFInfo
- Publication number
- CN113409233A CN113409233A CN202110777193.1A CN202110777193A CN113409233A CN 113409233 A CN113409233 A CN 113409233A CN 202110777193 A CN202110777193 A CN 202110777193A CN 113409233 A CN113409233 A CN 113409233A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- machine vision
- monitoring
- dimensional machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 241001292396 Cirrhitidae Species 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及无人机集群监测三维机器视觉构图方法、设备和系统，包括如下步骤：S1、为多个无人机中的每一个分配检测目标区域；S2、任一无人机获取其检测目标区域的图像信息；S3、无人机将其获取的图像信息通过网络传输到无人机集群三维机器视觉生成模块中；S4、无人机集群三维机器视觉生成模块，选取任一无人机传输的一副图像根据机器视觉算法进行图像拼接。本发明利用多无人机平台，以协同监测的模式，融合多角度的实时拍摄图像，在线生成三维机器视觉构图，解决单无人机平台无法在线生成三维机器视觉图的问题，提高重要场景的多维全局监测能力，为准确研判、精确指挥和证据获取提供三维数据基础。
Description
技术领域
本发明涉及无人化三维机器视觉技术，具体涉及种无人机集群自主协同联合监测三维机器视觉构图方法、设备和系统。
背景技术
当前，基于机器视觉的监测监管等应用，随着无人机平台的快速渗透成为信息化社会构建的重要内容之一。比如，构建三维地图是全社会数字化建设的热点之一。尤其是无人机测绘平台的快速推广应用，基于无人机平台机器视觉的三维地图构建得到各行业的充分认可，其成本低、速度快、构图精准的显著优点，是传统方式无法比拟的。对重要目标的监测、交通场景的监管和重大活动安保等场合，基于无人机平台的机器视觉都发挥重要作用。
然而，基于单个无人机进行机器视觉监测，往往只能得到二维的机器视觉图，只能判断前方有无障碍、有无危险等，而无法得到距离、行为预测等更为精确、深入的信息。这些信息的获得，需要三维机器视觉的分析。但是基于单个无人机机器视觉的三维机器视觉构建，需要利用无人机进行规划的路径测量，并进行线下的构图运算，并不能实时得到监测对象的三维视觉图。这在某些场合是不能满足要求的。比如，在城市交通监管领域，需要的是实时的场景三维视觉，而不是线下的。对于重大活动安保等，更是需要全场景、多目标的实时动态三维视觉，才能确保对全局的准确掌控。
因此，需要研究无人机集群自主协同联合监测三维视觉构图方法、设备和系统，利用多无人机平台，以协同监测的模式，融合多角度的实时拍摄图像，在线生成三维机器视觉构图，解决单无人机平台无法在线生成三维机器视觉图的问题，提高重要场景的多维全局监测能力，为准确研判、精确指挥和证据获取提供三维数据基础。该研究具有较强的实用背景和多场景适用性，在技术上也有较强的创新意义，因此具有较强的理论和实用价值。
发明内容
为解决上述技术问题，本发明的目的是提供本发明的目的在于提出一种无人机集群自主协同联合监测三维视觉构图方法、设备和系统。
本发明的技术方案如下：
无人机集群监测三维机器视觉构图方法，其特征在于，包括如下步骤：
S1、为多个无人机中的每一个分配检测目标区域；
S2、任一无人机获取其检测目标区域的图像信息；
S3、无人机将其获取的图像信息通过网络传输到无人机集群三维机器视觉生成模块中；
S4、无人机集群三维机器视觉生成模块，选取任一无人机传输的一副图像根据机器视觉算法进行图像拼接。
进一步的，所述步骤S1中，分配检测目标根据监测场景和目标的性质、监测需求，以及无人机集群的成员构成、搭载设备的性能等情况进行。
进一步的，还包括设定每一个无人机的拍摄监测图像的角度、分辨率、刷新率参数。
进一步的，步骤S3具体为根据无人机集群三维机器视觉构图的需求，由各架无人机按照数据汇聚的计算节点地址，采用wifi、4G、5G无线传输手段，把各自的监测图像数据按顺序和时延要求进行传输。
进一步的，步骤S4中算法为halcon机器视觉算法包。
无人机集群监测三维机器视觉构图系统，其特征在于，包括：
分配系统，为多个无人机中的每一个分配检测目标区域；
图像获取系统，任一无人机获取其检测目标区域的图像信息；
图像传输系统，无人机将其获取的图像信息通过网络传输到无人机集群三维机器视觉生成模块中；
图像拼接系统，无人机集群三维机器视觉生成模块，选取任一无人机传输的一副图像根据机器视觉算法包halcon进行图像拼接。
进一步的，所述分配系统中，分配检测目标根据监测场景和目标的性质、监测需求，以及无人机集群的成员构成、搭载设备的性能等情况进行。
进一步的，还包括设定每一个无人机的拍摄监测图像的角度、分辨率、刷新率参数。
进一步的，所述图像拼接系统具体为根据无人机集群三维机器视觉构图的需求，由各架无人机按照数据汇聚的计算节点地址，采用wifi、4G、5G无线传输手段，把各自的监测图像数据按顺序和时延要求进行传输。
借由上述方案，本发明至少具有以下优点：
利用多无人机平台，以协同监测的模式，融合多角度的实时拍摄图像，在线生成三维机器视觉构图，解决单无人机平台无法在线生成三维机器视觉图的问题，提高重要场景的多维全局监测能力，为准确研判、精确指挥和证据获取提供三维数据基础。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某个实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明的场景图；
图2是本发明的方法工作框图；
图3是本发明的系统结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
参见图1和图2，本发明一较佳实施例。
本发明的具体方法如下：
无人机集群监测三维机器视觉构图方法，包括如下步骤：
第一步，根据监测场景和目标的性质、监测需求，以及无人机集群的成员构成、搭载设备的性能等情况，为每个无人机进行检测目标的分配，并设定其拍摄监测图像的角度、分辨率、刷新率参数。
由于目标的高度不统一，每一个无人机在分配的时候，均要保持相对地面同样的高度。拍摄图像的角度一般固定在同一角度，分辨率可以为720p、1080p、2180p中的任一种，或是任意两者时间的数据，刷新率为24hz-120hz。
第二步，由各架无人机依据任务分配结果，对各自的监测目标进行图像拍摄，并依据规划进行动态拍摄并进行图像存储。
无人机上一般设置有相机和对应的储存芯片，通过无人机的相机拍摄过，将图像信息存储到存储芯片中。
第三步，根据无人机集群三维机器视觉构图的需求，由各架无人机按照数据汇聚的计算节点地址，采用包括wifi，4G，5G，adhoc模块等无线传输手段，方式，把各自的监测图像数据按顺序和时延要求传输到“无人机集群三维机器视觉生成”模块。
在具体选取照片的时候，一般选择分辨率较高的图片。无人机上一般还包括设置有信息发送模块，信息发送模块采用包括wifi，4G，5G，adhoc模块等无线传输手段，将数据传输到“无人机集群三维机器视觉生成”模块中，在具体传输的时候，为了防止信息堵塞，需要设置每一个无人机传输的时间，实现每一个无人机在传输的时候只有一个无人机在进行数据传输。
第四步，计算节点依据无人机汇聚的多角度拍摄图像，运用三维机器视觉生成算法，根据场景地图、目标先验信息等，定制生成关注目标和整体场景的三维机器视觉构图。
具体在拼接的时候采用halcon机器视觉算法包进行拼接。
本发明一般还可以包括第五步和第六步，具体为：
第五步，根据无人机集群数据汇聚得到的三维机器视觉构图，进行场景内部关注的距离分析，进行实时三维环境感知、三维精准识别等分析与应用，并对关注的监测目标进行行为分析。
第六步，根据“无人机集群场景三维机器视觉构图分析与应用”模块的分析结果，比较监测要求，找准还需要进一步提高精度的目标，以及需要添加的新的监测目标，规划无人机集群内成员监测的任务重新分配，并预判重新分配后的监测效果，符合监测需求，则下达监测任务调度指令到各成员无人机，进行集群监测的协同调整。
本发明方法依赖的硬件如下，一是多个无人机，无人机具有摄像、图像存储、无线传输的功能。
二是分配系统，为多个无人机中的每一个分配检测目标区域；图像获取系统，任一无人机获取其检测目标区域的图像信息；图像汇聚系统，无人机将其获取的图像信息通过网络传输到无人机集群三维机器视觉生成模块中；图像生成系统，无人机集群三维机器视觉生成模块，选取任一无人机传输的一副图像根据机器视觉算法包halcon进行图像拼接。
-所述分配系统中，分配检测目标根据监测场景和目标的性质、监测需求，以及无人机集群的成员构成、搭载设备的性能等情况进行。
-还包括设定每一个无人机的拍摄监测图像的角度、分辨率、刷新率参数。
-所述图像拼接系统具体为根据无人机集群三维机器视觉构图的需求，由各架无人机按照数据汇聚的计算节点地址，采用wifi、4G、5G无线传输手段，把各自的监测图像数据按顺序和时延要求进行传输。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图1个流程或多个流程和/或方框图1个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图1个流程或多个流程和/或方框图1个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图1个流程或多个流程和/或方框图1个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
Claims (9)
1.无人机集群监测三维机器视觉构图方法，其特征在于，包括如下步骤：
S1、为多个无人机中的每一个分配检测目标区域；
S2、任一无人机获取其检测目标区域的图像信息；
S3、无人机将其获取的图像信息通过网络传输到无人机集群三维机器视觉生成模块中；
S4、无人机集群三维机器视觉生成模块，选取任一无人机传输的一副图像根据机器视觉算法进行图像拼接。
2.根据权利要求1所述的无人机集群监测三维机器视觉构图方法，其特征在于：所述步骤S1中，分配检测目标根据监测场景和目标的性质、监测需求，以及无人机集群的成员构成、搭载设备的性能等情况进行。
3.根据权利要求1所述的无人机集群监测三维机器视觉构图方法，其特征在于：还包括设定每一个无人机的拍摄监测图像的角度、分辨率、刷新率参数。
4.根据权利要求1所述的无人机集群监测三维机器视觉构图方法，其特征在于：步骤S3具体为根据无人机集群三维机器视觉构图的需求，由各架无人机按照数据汇聚的计算节点地址，采用wifi、4G、5G无线传输手段，把各自的监测图像数据按顺序和时延要求进行传输。
5.根据权利要求1所述的无人机集群监测三维机器视觉构图方法，其特征在于：步骤S4中算法为halcon机器视觉算法包。
6.无人机集群监测三维机器视觉构图系统，其特征在于，包括：
分配系统，为多个无人机中的每一个分配检测目标区域；
图像获取系统，任一无人机获取其检测目标区域的图像信息；
图像汇聚系统，无人机将其获取的图像信息通过网络传输到无人机集群三维机器视觉生成模块中；
图像生成系统，无人机集群三维机器视觉生成模块，选取任一无人机传输的一副图像根据机器视觉算法包halcon进行图像拼接。
7.根据权利要求6所述的无人机集群监测三维机器视觉构图方法，其特征在于：所述分配系统中，分配检测目标根据监测场景和目标的性质、监测需求，以及无人机集群的成员构成、搭载设备的性能等情况进行。
8.根据权利要求6所述的无人机集群监测三维机器视觉构图系统，其特征在于：还包括设定每一个无人机的拍摄监测图像的角度、分辨率、刷新率参数。
9.根据权利要求6所述的无人机集群监测三维机器视觉构图系统，其特征在于：所述图像拼接系统具体为根据无人机集群三维机器视觉构图的需求，由各架无人机按照数据汇聚的计算节点地址，采用wifi、4G、5G无线传输手段，把各自的监测图像数据按顺序和时延要求进行传输。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110777193.1A CN113409233A (zh) | 2021-07-09 | 2021-07-09 | 无人机集群监测三维机器视觉构图方法、设备和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110777193.1A CN113409233A (zh) | 2021-07-09 | 2021-07-09 | 无人机集群监测三维机器视觉构图方法、设备和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113409233A true CN113409233A (zh) | 2021-09-17 |
Family
ID=77685769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110777193.1A Pending CN113409233A (zh) | 2021-07-09 | 2021-07-09 | 无人机集群监测三维机器视觉构图方法、设备和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113409233A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111191637A (zh) * | 2020-02-26 | 2020-05-22 | 电子科技大学中山学院 | 一种基于无人机视频采集的人群聚集度检测及呈现方法 |
| CN111781951A (zh) * | 2020-07-13 | 2020-10-16 | 江苏中科智能制造研究院有限公司 | 一种基于集群无人机的工业园区监测与数据可视化系统 |
| CN112000130A (zh) * | 2020-09-07 | 2020-11-27 | 哈尔滨工业大学 | 一种无人机的多机协同高精度建图定位系统 |
| CN112817331A (zh) * | 2021-01-05 | 2021-05-18 | 北京林业大学 | 一种基于多机协同的林业信息智能监测系统 |
| WO2021114777A1 (en) * | 2019-12-12 | 2021-06-17 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Target detection method, terminal device, and medium |
-
2021
- 2021-07-09 CN CN202110777193.1A patent/CN113409233A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021114777A1 (en) * | 2019-12-12 | 2021-06-17 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Target detection method, terminal device, and medium |
| CN111191637A (zh) * | 2020-02-26 | 2020-05-22 | 电子科技大学中山学院 | 一种基于无人机视频采集的人群聚集度检测及呈现方法 |
| CN111781951A (zh) * | 2020-07-13 | 2020-10-16 | 江苏中科智能制造研究院有限公司 | 一种基于集群无人机的工业园区监测与数据可视化系统 |
| CN112000130A (zh) * | 2020-09-07 | 2020-11-27 | 哈尔滨工业大学 | 一种无人机的多机协同高精度建图定位系统 |
| CN112817331A (zh) * | 2021-01-05 | 2021-05-18 | 北京林业大学 | 一种基于多机协同的林业信息智能监测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106303442B (zh) | 追踪路径拓扑结构建立方法、目标对象追踪方法及设备 | |
| CN104820431A (zh) | 多无人机集群对地观测系统及其编队控制方法 | |
| US11549817B2 (en) | Distributed device mapping | |
| CN110362083B (zh) | 一种基于多目标跟踪预测的时空地图下自主导航方法 | |
| US20210356963A1 (en) | System and Method for Mission Planning and Flight Automation for Unmanned Aircraft | |
| US10534368B2 (en) | Crowdsource-based virtual sensor generation and virtual sensor application control | |
| CN108801254A (zh) | 一种重定位方法及机器人 | |
| CN108235809B (zh) | 端云结合定位方法、装置及电子设备、计算机程序产品 | |
| CN107289953A (zh) | 一种无人机群的导航控制方法 | |
| US20190147749A1 (en) | System and Method for Mission Planning, Flight Automation, and Capturing of High-Resolution Images by Unmanned Aircraft | |
| CN106603900A (zh) | 云台摄像机控制系统及方法 | |
| US20210221502A1 (en) | Method and a system for real-time data processing, tracking, and monitoring of an asset using uav | |
| CN105678839A (zh) | 基于计算机三维场景模拟技术的安防设备分布设计方法 | |
| CN109782806A (zh) | 一种无人机室内路径跟踪方法及装置 | |
| Fragoso et al. | Dynamically feasible motion planning for micro air vehicles using an egocylinder | |
| WO2020061855A1 (zh) | 特种机器人操控系统、方法、电子设备、介质以及程序 | |
| CN113409233A (zh) | 无人机集群监测三维机器视觉构图方法、设备和系统 | |
| Rabie et al. | Mobile vision-based vehicle tracking and traffic control | |
| Laurito et al. | Airborne localisation of small UAS using visual detection: A field experiment | |
| US11741702B2 (en) | Automatic safe-landing-site selection for unmanned aerial systems | |
| Guo et al. | A new UAV PTZ Controlling System with Target Localization | |
| Ahmed et al. | A Joint Perception Scheme For Connected Vehicles | |
| 佐藤健哉 et al. | Stream LDM: local dynamic map (LDM) with stream processing technology | |
| CN115240430B (zh) | 路侧设备信息分布式级联融合方法、系统及介质 | |
| Deliparaschos et al. | A preliminary investigation of an autonomous vehicle validation infrastructure for smart cities |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |