CN109658500A - 一种基于毫米波雷达的直升机合成视景方法、系统及存储介质 - Google Patents
一种基于毫米波雷达的直升机合成视景方法、系统及存储介质 Download PDFInfo
- Publication number
- CN109658500A CN109658500A CN201811511199.9A CN201811511199A CN109658500A CN 109658500 A CN109658500 A CN 109658500A CN 201811511199 A CN201811511199 A CN 201811511199A CN 109658500 A CN109658500 A CN 109658500A
- Authority
- CN
- China
- Prior art keywords
- data
- millimetre
- wave radar
- word bank
- helicopter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 13
- 230000004888 barrier function Effects 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 8
- 238000009877 rendering Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013334 tissue model Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/21—Collision detection, intersection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Radar, Positioning & Navigation (AREA)
- Software Systems (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于毫米波雷达的直升机合成视景方法、系统及存储介质。该方法：采集毫米波雷达数据；根据预设的毫米波雷达数据库确定所述毫米波雷达数据的类型，所述类型包括：地形数据或障碍物数据；所述预设的毫米波雷达数据库由开发人员预先统计的数据和类型的对应关系；将所述毫米波雷达数据与预存数据库进行融合，得到图像数据；所述预存数据库包括高程影像子库、正射影像子库、障碍物子库和机场模型子库；根据当前直升机位姿，对所述图像数据进行渲染和显示。本发明实施例具有大视场、高亮度、高对比度、高分辨率等特点，对直升机避障飞行具有直接的指导作用。
Description
技术领域：
本发明属于计算机图像处理技术领域，特别是涉及一种基于毫米波雷达的直升机合成视景方法、系统及存储介质。
背景技术：
由电力线所引起的直升机事故频频发生，因而确保直升机飞行安全一个很重要的方面就是对电力线的检测。电力线巡检系统已应用了3D程控飞行技术，但无法紧急避让预期外的障碍物，如果在直升机飞行高度不高的情况下，很可能与前方的交叉电力线相撞。目前，直升机防撞雷达技术已经有了一定的技术积累，自20世纪60年代，国外研制出了各种机载体制的障碍物探测、避障及障碍物预警设备。毫米波避障雷达具有大带宽、体积小、重量轻的特点，比较适合机载，毫米波的波长介于1—10mm。恒虚警检测技术给检测策略提供检测阀值。为了更好地对输电线探测，也可以采用极化检测技术。杂波抑制也有助于电力线的检测。将毫米波避障雷达应用于直升机合成视景系统，可更好地提高直升机工作效率和安全性，具有广阔的应用前景。
发明内容：
本发明的目的是：
提供关于直升机前方及时精确的情景感知，解决直升机过程中及时躲避障碍物的问题。
本发明的技术方案是：
第一方面，提供一种基于毫米波雷达的直升机合成视景方法，包括：
采集毫米波雷达数据；
根据预设的毫米波雷达数据库确定所述毫米波雷达数据的类型，所述类型包括：地形数据或障碍物数据；所述预设的毫米波雷达数据库由开发人员预先统计的数据和类型的对应关系；
将所述毫米波雷达数据与预存数据库进行融合，得到图像数据；所述预存数据库包括高程影像子库、正射影像子库、障碍物子库和机场模型子库；
根据当前直升机位姿，对所述图像数据进行渲染和显示。
可选的，所述将毫米波雷达数据库与预存数据库进行融合，包括：
获取所述毫米波雷达数据的数据特征；
从所述高程影像子库中提取与所述数据特征匹配的高程特征；
从所述正射影像子库、障碍物子库和机场模型子库中分别提取与所述高程特征对应的特征；
对所述数据特征、所述高程特征及其对应的特征进行插值运算，得到所述图像数据。
第二方面，提供一种基于毫米波雷达的直升机合成视景系统，包括：
采集模块，用于采集毫米波雷达数据；
确定模块，用于根据预设的毫米波雷达数据库确定所述毫米波雷达数据的类型，所述类型包括：地形数据或障碍物数据；所述预设的毫米波雷达数据库由开发人员预先统计的数据和类型的对应关系；
融合模块，用于将所述毫米波雷达数据与预存数据库进行融合，得到图像数据；所述预存数据库包括高程影像子库、正射影像子库、障碍物子库和机场模型子库；
显示模块，用于根据当前直升机位姿，对所述图像数据进行渲染和显示。
第三方面，提供一种计算机可读的存储介质，所述存储介质上存储有指令，所述指令被处理器执行时实现所述第一方面提供的所述任一方法的步骤。
本发明具有的优点是：
本发明利用毫米波雷达感知直升机附近地形及障碍物，通过与预存数据库进行融合，提高直升机环境感知能力，尤其适合对电力线的实时检测，在民航和军事领域都有着良好的应用前景。
附图说明：
图1为本发明的原理框图。毫米波雷达采集毫米波雷达数据后，经三维点云分割，形成地形数据和障碍物数据，保存到毫米波雷达数据库中；然后，毫米波雷达数据库与包含高程影像、正射影像、障碍物及机场模型的预存数据库进行融合，确认地形及障碍物信息，融合结果保存到工作数据库；渲染单元从工作数据库中提取需要绘制的数据，经渲染后交由显示单元进行显示。
具体实施方式:
系统借助毫米波雷达探测地面障碍物，将毫米波雷达探测到的数据与预先存储的数据进行融合，通过三维渲染引擎绘制高精度的高程影像、正射影像、机场模型、障碍物和飞行仪表信息，具有大视场、高亮度、高对比度、高分辨率等特点，对直升机避障飞行具有直接的指导作用。合成视景系统方案均提高飞行员对外界和飞机自身的感知程度，但也有一定的不足，如需要携带大量数据库信息。本发明结合直升机的特点，将毫米波雷达数据与预存地图数据有机地结合，提出了一套切实可行的视景显示系统解决方案，满足直升机低空巡航的要求。
本发明实施例提供一种基于毫米波雷达的直升机合成视景系统，如图1所示，该系统可以包括以下几个部分：
毫米波雷达、控制器，该控制器包括：毫米波雷达数据库、预存数据库、融合单元、工作数据库、渲染单元和显示单元；
所述毫米波雷达对地面进行探测，收发电磁波波长介于1—10mm，探测结果保存到毫米波雷达数据库；
所述毫米波雷达数据库，对毫米波探测结果进行三维点云分割，得到新的地面信息和障碍物信息，更新原有的数据；
所述预存数据库，保存高程影像、正射影像、障碍物数据和机场模型；
所述融合单元，根据直升机当前的位姿，将毫米波雷达数据库和预存数据库进行融合，得到一致的地形、障碍物、机场数据；
所述工作数据库，保存融合单元的处理结果；
所述渲染单元，根据直升机当前的位姿计算直升机前方视野，从工作数据库中提取相关数据进行渲染；采用场景图方式组织待绘制的模型，渲染的内容和先后次序为：地形、障碍物、机场模型、飞行仪表；其中，为了提高大地形的调度和渲染效率，用八叉树形式进行地形的组织和存储；
所述显示单元，将渲染单元的结果显示出来，包括下视显示器和平视显示器两种形式。
以巡线飞行的直升机合成视景为例，具体实施步骤如下：
第一步，将巡线路径上的高程影像、正射影像、电力线矢量等数据经过影像分片、矢量离散化处理后存入预存数据库；
第二步，对毫米波雷达采集的数据，检测数据中的三维跳边，运用区域增长法和基于聚类的分割方法对三维点云进行分割，得到地形和电力线两类数据，分别存入毫米波雷达数据库；
第三步，对毫米波雷达数据库和预存数据库进行融合，从两类数据库中查找同名特征点，在同名特征点之间进行插值，将结果存入工作数据库；
第四步，对当前视景进行渲染，以开源三维引擎OpenSceneGraph为基本框架，根据当前直升机位姿状况对地形和电力线进行渲染，并叠加由SCADE Display软件生成的飞行仪表符号；
第五步，通过综合显示器将渲染结果显示给飞行员。
Claims (4)
1.一种基于毫米波雷达的直升机合成视景方法，其特征在于，包括：
采集毫米波雷达数据；
根据预设的毫米波雷达数据库确定所述毫米波雷达数据的类型，所述类型包括：地形数据或障碍物数据；所述预设的毫米波雷达数据库由开发人员预先统计的数据和类型的对应关系；
将所述毫米波雷达数据与预存数据库进行融合，得到图像数据；所述预存数据库包括高程影像子库、正射影像子库、障碍物子库和机场模型子库；
根据当前直升机位姿，对所述图像数据进行渲染和显示。
2.根据权利要求1所述的方法，其特征在于，所述将毫米波雷达数据库与预存数据库进行融合，包括：
获取所述毫米波雷达数据的数据特征；
从所述高程影像子库中提取与所述数据特征匹配的高程特征；
从所述正射影像子库、障碍物子库和机场模型子库中分别提取与所述高程特征对应的特征；
对所述数据特征、所述高程特征及其对应的特征进行插值运算，得到所述图像数据。
3.一种基于毫米波雷达的直升机合成视景系统，其特征在于，包括：
采集模块，用于采集毫米波雷达数据；
确定模块，用于根据预设的毫米波雷达数据库确定所述毫米波雷达数据的类型，所述类型包括：地形数据或障碍物数据；所述预设的毫米波雷达数据库由开发人员预先统计的数据和类型的对应关系；
融合模块，用于将所述毫米波雷达数据与预存数据库进行融合，得到图像数据；所述预存数据库包括高程影像子库、正射影像子库、障碍物子库和机场模型子库；
显示模块，用于根据当前直升机位姿，对所述图像数据进行渲染和显示。
4.一种计算机可读的存储介质，所述存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现所述权利要求1或2所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811511199.9A CN109658500B (zh) | 2018-12-11 | 2018-12-11 | 一种基于毫米波雷达的直升机合成视景方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811511199.9A CN109658500B (zh) | 2018-12-11 | 2018-12-11 | 一种基于毫米波雷达的直升机合成视景方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109658500A true CN109658500A (zh) | 2019-04-19 |
| CN109658500B CN109658500B (zh) | 2023-01-13 |
Family
ID=66114153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811511199.9A Active CN109658500B (zh) | 2018-12-11 | 2018-12-11 | 一种基于毫米波雷达的直升机合成视景方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109658500B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113253274A (zh) * | 2021-04-30 | 2021-08-13 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 直升机防撞地表电力线的融合处理方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100268458A1 (en) * | 2009-04-20 | 2010-10-21 | Honeywell International Inc. | Enhanced vision system for precision navigation in low visibility or global positioning system (gps) denied conditions |
| CN102508246A (zh) * | 2011-10-13 | 2012-06-20 | 吉林大学 | 车辆前方障碍物检测跟踪方法 |
| CN107831777A (zh) * | 2017-09-26 | 2018-03-23 | 中国科学院长春光学精密机械与物理研究所 | 一种飞行器自主避障系统、方法及飞行器 |
-
2018
- 2018-12-11 CN CN201811511199.9A patent/CN109658500B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100268458A1 (en) * | 2009-04-20 | 2010-10-21 | Honeywell International Inc. | Enhanced vision system for precision navigation in low visibility or global positioning system (gps) denied conditions |
| CN102508246A (zh) * | 2011-10-13 | 2012-06-20 | 吉林大学 | 车辆前方障碍物检测跟踪方法 |
| CN107831777A (zh) * | 2017-09-26 | 2018-03-23 | 中国科学院长春光学精密机械与物理研究所 | 一种飞行器自主避障系统、方法及飞行器 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113253274A (zh) * | 2021-04-30 | 2021-08-13 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 直升机防撞地表电力线的融合处理方法 |
| CN113253274B (zh) * | 2021-04-30 | 2024-02-06 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 直升机防撞地表电力线的融合处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109658500B (zh) | 2023-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190206124A1 (en) | Method and apparatus for creating map and positioning moving entity | |
| US7307578B2 (en) | Declutter of graphical TCAS targets to improve situational awareness | |
| CN113496290A (zh) | 使用采用模拟对象增强的图像训练机器学习模型 | |
| EP2647960B1 (en) | Synthetic vision systems and methods for displaying detached objects | |
| CN111192295B (zh) | 目标检测与跟踪方法、设备和计算机可读存储介质 | |
| US8462205B2 (en) | Landing Aid Device and Method | |
| US9389097B2 (en) | Aircraft display systems and methods for enhanced display of flight path information | |
| US20040059473A1 (en) | Situation dependent lateral terrain maps for avionics displays | |
| EP2618322B1 (en) | System and method for detecting and displaying airport approach lights | |
| US9558674B2 (en) | Aircraft systems and methods to display enhanced runway lighting | |
| US8188890B2 (en) | Systems and methods for enhancing obstacles and terrain profile awareness | |
| EP2204639A1 (en) | Systems and methods for enhancing terrain elevation awareness | |
| EP4024369A1 (en) | Flight leg termination visualization systems and methods for flight leg termination visualization | |
| CN113859264A (zh) | 车辆控制方法、装置、电子设备及存储介质 | |
| CN111145248A (zh) | 位姿信息确定方法、确定装置和电子设备 | |
| US9532013B1 (en) | Sensor-based image(s) integrity determination system, device, and method | |
| CN115857169A (zh) | 碰撞预警信息的显示方法、抬头显示装置、载具及介质 | |
| CN114018269B (zh) | 定位方法、装置、电子设备、存储介质以及自动驾驶车辆 | |
| US11276376B2 (en) | System and method for 3D display of dynamic objects on synthetic vision system in cockpit display system | |
| CN114092660A (zh) | 高精地图生成方法、装置及用于生成地图的车辆 | |
| CN109658500A (zh) | 一种基于毫米波雷达的直升机合成视景方法、系统及存储介质 | |
| CN112639822B (zh) | 一种数据处理方法及装置 | |
| CN110838246B (zh) | 一种机载svs障碍物告警显示方法 | |
| US20220406040A1 (en) | Method and device for generating learning data for an artificial intelligence machine for aircraft landing assistance | |
| Eisenkeil et al. | Traffic visualization in helmet-mounted displays in synchronization with navigation displays |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |