CN117368874A - Fod的识别方法、识别系统、识别装置和电子设备 - Google Patents

Fod的识别方法、识别系统、识别装置和电子设备 Download PDF

Info

Publication number
CN117368874A
CN117368874A CN202311298097.4A CN202311298097A CN117368874A CN 117368874 A CN117368874 A CN 117368874A CN 202311298097 A CN202311298097 A CN 202311298097A CN 117368874 A CN117368874 A CN 117368874A
Authority
CN
China
Prior art keywords
image
scene
fod
detected
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311298097.4A
Other languages
English (en)
Inventor
乔灵博
郭大路
徐善跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guangmu Technology Co ltd
Original Assignee
Beijing Guangmu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guangmu Technology Co ltd filed Critical Beijing Guangmu Technology Co ltd
Priority to CN202311298097.4A priority Critical patent/CN117368874A/zh
Publication of CN117368874A publication Critical patent/CN117368874A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种FOD的识别方法、识别系统、识别装置和电子设备。该识别方法包括：获取待测场景的第一图像，其中，所述第一图像表征为通过雷达探测设备获取的鸟瞰图；获取所述待测场景的第二图像，其中，所述第二图像是通过光电探测设备得到的，所述第一图像和所述第二图像位于不同视平面；根据透视变换矩阵将所述第二图像转换为鸟瞰图，得到第三图像，以使所述第三图像与所述第一图像位于同一视平面；将所述第一图像和所述第三图像融合得到融合图像；将所述融合图像输入训练好的神经网络识别模型识别所述待测场景内的FOD。

Description

FOD的识别方法、识别系统、识别装置和电子设备
技术领域
本发明涉及FOD识别技术领域，更具体地，涉及一种FOD的识别方法、识别系统、识别装置和电子设备。
背景技术
机场跑道异物(Foreign Object Debris，FOD)检测指的是对机场外来物进行检测；其中，机场外来物可以理解为：在跑道、滑行道、停机坪地面上可能会损伤航空器、设备或者威胁机场工作人员和乘客生命安全的外来物体。
现有的FOD识别系统主要采用雷达探测技术与视频图像识别技术。但是，无法实现雷达和光学同时扫描探测，光学和雷达信息只能单独进行识别给出疑似目标，容易造成误报和漏报。
发明内容
为了解决上述问题的至少一个方面，本发明实施例提供一种FOD的识别方法、识别系统、识别装置和电子设备。
在一个方面，提供一种FOD的识别方法，识别方法包括：获取待测场景的第一图像，其中，所述第一图像表征为通过雷达探测设备获取的鸟瞰图；获取所述待测场景的第二图像，其中，所述第二图像是通过光电探测设备得到的，所述第一图像和所述第二图像位于不同视平面；根据透视变换矩阵将所述第二图像转换为鸟瞰图，得到第三图像，以使所述第三图像与所述第一图像位于同一视平面；将所述第一图像和所述第三图像融合得到融合图像；以及将所述融合图像输入训练好的神经网络识别模型识别所述待测场景内的FOD。
根据一些示例性的实施例，所述融合图像的数据包括表征所述第三图像的三通道光学数据和表征所述第一图像的反射率数据。
根据一些示例性的实施例，在首次FOD识别时，识别方法还包括：确定透视变换矩阵的参数；以及基于所述参数确定所述透视变换矩阵；其中，所述确定透视变换矩阵的参数包括：在所述第二图像中选取多个像素点；基于所述像素点和单点透视坐标转换公式确定所述逆透视变换矩阵；以及基于所述逆透视变换矩阵确定透视变换矩阵的参数。
根据一些示例性的实施例，所述获取所述待测场景的第二图像包括：获取由所述光电探测设备采集的多张光学图像，其中，每张所述光学图像至少与其余至少一张所述光学图像有重叠区域；基于所述重叠区域将多张所述光学图像拼接，得到光学全景图；以及分割所述光学全景图，得到所述待测场景的全景图，其中，所述全景图表征为所述第二图像。
根据一些示例性的实施例，所述多张光学图像中的至少两张是由所述光电探测设备处于不同采集方向采集得到的，其中，在所述基于所述重叠区域将多张所述光学图像拼接前，所述方法还包括：基于所述重叠区域和变换矩阵旋转所述光学图像。
根据一些示例性的实施例，所述多张光学图像中的至少两张是由所述光电探测设备利用不同焦距采集得到的。
根据一些示例性的实施例，所述获取待测场景的第一图像包括：控制所述雷达探测设备向所述待测场景发射毫米波波束；获取被所述待测场景反射回的毫米波波束；基于反射回的毫米波波束计算所述毫米波波束的反射率数据；以及基于所述反射率数据生成所述第一图像。
在另一方面，提供一种FOD的识别系统，所述识别系统包括：旋转驱动设备；雷达探测设备，设置在所述旋转驱动设备上，所述雷达探测设备在所述旋转驱动设备的带动下转动，所述雷达探测设备被配置为生成第一图像，其中，所述第一图像表征为待测场景的鸟瞰图；光电探测设备，设置在所述旋转驱动设备上，所述光电探测设备被配置为采集多张光学图像；以及处理器，分别与所述雷达探测设备和所述光电探测设备电连接，被配置为基于所述第一图像和多张所述光学图像，执行如上述的识别方法识别FOD。
根据一些示例性的实施例，所述雷达探测设备包括：毫米波发射电路，被配置为向所述待测场景发射毫米波波束；毫米波接收电路，被配置为接收被所述待测场景反射的所述毫米波波束；以及毫米波计算单元，被配置为基于所述发射的毫米波波束和所述接收的毫米波波束生成所述第一图像。
根据一些示例性的实施例，所述雷达探测设备和所述光电探测设备在所述旋转驱动设备带动下转动的角度范围为0°至180°；其中，在所述雷达探测设备跟随所述旋转驱动设备转动的同时，所述毫米波发射电路连续向所述待测场景发射扇形的毫米波波束。
根据一些示例性的实施例，所述识别系统还包括：补光模块，设置在所述旋转驱动设备上，所述补光模块在所述旋转驱动设备的带动下转动，所述补光模块被配置为向所述待测场景发射光束，以提高所述待测场景的亮度。
在另一方面，提供一种FOD的识别装置，所述识别装置包括：第一获取模块，用于获取待测场景的第一图像，其中，所述第一图像表征为通过雷达探测设备获取的鸟瞰图；第二获取模块，用于获取所述待测场景的第二图像，其中，所述第二图像是通过光电探测设备得到的，所述第一图像和所述第二图像位于不同视平面；第一转换模块，用于根据透视变换矩阵将所述第二图像转换为鸟瞰图，得到第三图像，以使所述第三图像与所述第一图像位于同一视平面；第一融合模块，用于将所述第一图像和所述第三图像融合得到融合图像；第一识别模块，用于基于所述融合图像，利用训练好的神经网络识别模型识别所述待测场景内的FOD。
在又一方面，提供一种电子设备，电子设备包括：一个或多个处理器；以及存储器，被配置为存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。
根据本发明实施例，利用透视变换矩阵可以将由光电探测设备得到的所述第二图像转换为鸟瞰图形式的第三图像，以使第三图像和由雷达探测设备获取的第一图像处于相同视平面，便于将第一图像和所述第三图像融合，利用融合后的融合图像识别待测场景内的FOD，即将雷达图像和光学图像融合后再识别FOD，可以避免由于单独利用雷达图像或光学图像均无法识别FOD，而遗漏FOD的情况，进而可以提高识别准确度。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本发明实施例的可以应用在FOD的识别方法的示例性系统架构；
图2示意性示出了根据本发明实施例的FOD的识别方法的流程图；
图3a示意性示出了根据本发明实施例的透视变换前的第二图像；
图3b示意性示出了根据本发明实施例的透视变换后的第三图像；
图4示意性示出了根据本发明实施例的确定透视变换矩阵的参数的流程图；
图5a示意性示出了根据本发明实施例的第一图像；
图5b示意性示出了根据本发明实施例的第三图像；
图6示意性示出了根据本发明实施例的获取待测场景的第二图像的流程图；
图7a1、图7b1和图7c1示意性示出了根据本发明实施例的初始状态下光电探测设备获得的多张光学图像；
图7a2、图7b2和图7c2示意性示出了根据本发明实施例的图7a1、图7b1和图7c1经旋转后得到的光学图像；
图7d示意性示出了根据本发明实施例的图7a2、图7b2和图7c2经拼接后得到的光学全景图；
图8示意性示出了根据本发明实施例的获取待测场景的第一图像的流程图；
图9示意性示出了根据本发明实施例的FOD的识别系统的主视图；
图10示意性示出了根据本发明的实施例的光电探测设备包括多个拍摄装置的主视图；
图11示意性示出了根据本发明的实施例的光电探测设备包括多个拍摄装置的原理图；
图12示意性示出了根据本发明的实施例的FOD的识别装置的框图；以及
图13示意性示出了根据本发明实施例的FOD的识别方法的电子设备的框图。
具体实施方式
以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在实现本发明构思的过程中，发明人发现相关技术中至少存在如下问题：
现有的FOD识别系统主要采用雷达探测技术与视频图像识别技术，识别过程通常是单独使用雷达探测技术进行雷达识别或视频图像识别技术进行光学识别、先使用雷达探测技术进行雷达识别后再使用视频图像识别技术进行光学识别或者先使用视频图像识别技术进行光学识别再使用雷达探测技术进行雷达识别，但是上述过程无法实现雷达和光学同时扫描探测，光学和雷达信息只能单独进行识别给出疑似目标，对于光学识别和雷达识别均不能识别出的物体，容易造成误报和漏报。
为了避免FOD的误报和漏报，可以将雷达图像和光学图像融合后再识别FOD。为此，本发明实施例提出了一种FOD的识别方案。
图1示意性示出了根据本发明实施例的可以应用在FOD的识别方法、识别系统及识别装置的示例性系统架构。
需要注意的是，图1所示仅为可以应用本发明实施例的系统架构的示例，以帮助本领域技术人员理解本发明的技术内容，但并不意味着本发明实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用在FOD的识别方法、识别系统及识别装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本发明实施例提供的FOD的识别方法、识别装置。
如图1所示，根据该实施例的系统架构100可以包括雷达探测设备101、光电探测设备102、终端设备103、网络104和服务器105。网络104用以在雷达探测设备101、光电探测设备102、终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等。
用户可以使用雷达探测设备101、光电探测设备102、终端设备103通过网络104与服务器105交互，以接收或发送消息等。光电探测设备102可以是具有摄像和/或照相功能的数码摄像机、数码照相机、监控装置等(仅为示例)。雷达探测设备101可以是具有雷达扫描、扫描成像功能的雷达设备。终端设备103上可以安装有各种通讯客户端应用，例如，购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于电视、平板电脑、膝上型便携计算机和台式计算机等。
服务器105可以是提供各种服务的各种类型的服务器。例如，服务器105可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(Virtual Private Server，虚拟专用服务器)中，存在的管理难度大，业务扩展性弱的缺陷。服务器105也可以为分布式系统的服务器，或者是结合了区块链的服务器。
需要说明的是，本发明实施例所提供的FOD的识别方法一般可以由终端设备103执行。相应地，本发明实施例所提供的FOD的识别装置也可以设置于终端设备103。
备选地，本发明实施例所提供的FOD的识别方法一般也可以由服务器105执行。相应地，本发明实施例所提供的FOD的识别装置一般可以设置于服务器105中。本发明实施例所提供的FOD的识别方法也可以由不同于服务器105且能够与雷达探测设备101、光电探测设备102、终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地，本发明实施例所提供的FOD的识别装置也可以设置于不同于服务器105且能够与雷达探测设备101、光电探测设备102或终端设备103和/或服务器105通信的服务器或服务器集群中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的图像采集设备、终端设备、网络和服务器。
应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。
图2示意性示出了根据本发明实施例的FOD的识别方法的流程图。
如图2所示，该方法200包括执行操作S210～S250。
在操作S210，获取待测场景的第一图像。
在操作S220，获取待测场景的第二图像。
在操作S230，根据透视变换矩阵将第二图像转换为鸟瞰图，得到第三图像，以使第三图像与第一图像位于同一视平面。
在操作S240，将第一图像和第三图像融合得到融合图像。
在操作S250，将融合图像输入训练好的神经网络识别模型识别待测场景内的FOD。
根据本发明的实施例，第一图像可以表征为通过雷达探测设备获取的鸟瞰图。待测场景可以是用于行驶的场所，例如，飞机场的跑道、车辆运行轨道等。第一图像可以是由雷达探测设备通过雷达扫描待测场景后，获取的鸟瞰图形式的雷达图像。第一图像可以是由雷达探测设备通过多次扫描待测场景后，将获得的多张雷达图片融合后获得的待测场景的雷达图，以降低雷达探测设备对于扁平物体或雷达波反射率低的物体误判的概率。
根据本发明的实施例，第二图像可以是通过光电探测设备得到的，第一图像和第二图像可以位于不同视平面。光电探测设备可以是具有摄像和/或照相功能的数码摄像机、数码照相机、监控装置等。第一图像可以为雷达扫描获取的雷达图像，雷达图像可以具有鸟瞰图形式特点，第二图像是由光电探测设备获取的光学图像，基于光学成像与雷达成像的成像原理，第一图像和第二图像可以看作是位于不同视平面得到的。
图3a示意性示出了根据本发明实施例的透视变换前的第二图像。图3b示意性示出了根据本发明实施例的透视变换后的第三图像。
根据本发明的实施例，可以利用透视变换矩阵通过透视变换将第二图像转换为鸟瞰图，得到与第二图像对应的第三图像，第三图像可以为鸟瞰图，如图3a和图3b所示，进而可以使第三图像与第一图像位于同一视平面，可以具有共同的物理坐标，以便于将第一图像和第三图像融合。由于是对于同一个待测场景获取的第一图像和第三图像，因此，第一图像与第三图像上的像素点可以存在一一对应关系，即第一图像中像素点的坐标可以与第三图像中像素点的坐标相匹配。
根据本发明的实施例，可以利用在待测场景内设置已知的多种样式的FOD，利用雷达探测设备和光电探测设备多次获取第一图像和第三图像，将第一图像和第三图像融合后可以获得多组融合图像，可以利用多组融合图像训练神经网络识别模型，以得到上述的训练好的神经网络识别模型。
根据本发明实施例，利用透视变换矩阵可以将由光电探测设备得到的第二图像转换为鸟瞰图形式的第三图像，以使第三图像和由雷达探测设备获取的第一图像处于相同视平面，便于将第一图像和第三图像融合，利用融合后的融合图像识别待测场景内的FOD，即将雷达图像和光学图像融合后再识别FOD，可以避免由于单独利用雷达图像或光学图像均无法识别FOD，而遗漏FOD的情况，进而可以提高识别准确度。
根据本发明的实施例，融合图像的数据可以包括表征第三图像的三通道光学数据和表征第一图像的反射率数据。
根据本发明的实施例，将第二图像转换为具有鸟瞰特点的第三图像后，第一图像和第三图像可以具有共同的物理坐标，将第一图像和第三图像融合后可以得到4色彩通道数据，4色彩通道数据可以分别表示为：
I1＝Or (1)；
I2＝Og (2)；
I3＝Ob (3)；
I4＝M (4)。
其中Or、Og、Ob可以分别为光学R、G、B通道数据，M可以为雷达图像的反射率数据。
根据本发明的实施例，可以利用上述4通道数据训练神经网络识别模型，神经网络识别模型可以选用具有网络结构YOLO_v4的神经网络模型或具有网络结构faster-RCNN的神经网络模型。通过实验发现采用光学数据和雷达数据融合后的4通道数据进行训练，可以具有更高的识别率和更低的误报率，通过将第一图像和第三图像融合，利用融合的融合图像输入神经网络识别模型，可以提高FOD识别的准确性，可以避免由雷达探测技术与视频图像识别技术单独探测形成的误判。
根据本发明的实施例，在首次FOD识别时，识别方法还可以包括：确定透视变换矩阵的参数；以及基于参数确定透视变换矩阵。
根据本发明的实施例，可以将FOD的雷达扫描轨迹和光学探测轨迹固定，在首次确定透视变换矩阵的参数后，通过标定一次记录变换矩阵参数，可以实现每次扫描的透射变换，无需反复多次确定透视变换矩阵的参数，进而可以提高FOD的识别效率。
图4示意性示出了根据本发明实施例的确定透视变换矩阵的参数的流程图。
如图4所示，确定透视变换矩阵的参数可以包括执行操作S410～S430。
在操作S410，在第二图像中选取多个像素点。
在操作S420，基于像素点和单点透视坐标转换公式确定逆透视变换矩阵。
在操作S430，基于逆透视变换矩阵确定透视变换矩阵的参数。
根据本发明的实施例，透视变换过程可以表示为：
其中，(x′,y′,1)可以为在第二图像中像素点的坐标，(x,y,1)可以为透视变换后，与上述像素点位置对应的第三图像的像素点的坐标。M可以为3×3的透视变换矩阵。
根据本发明的实施例，透视变换矩阵可以表示为：
其中，A×可以是仿射变换参数，T×可以是平移参数，V可以是变换后边缘交点关系，s可以是缩放因子。
根据本发明的实施例，s可以归一化为1。在s归一化后，M包括8个未知数。
根据本发明的实施例，可以根据光电探测设备的内参和光电探测设备的安装参数构建单点透视坐标转换公式。单点透视坐标转换公式可以用于将光学图片即透视图中任一点的坐标由从像平面坐标转换为世界坐标系对应的坐标，以及逆透视图中对应的坐标。
根据本发明的实施例，光电探测设备的内参可以包括光电探测设备横向视场角、光电探测设备纵向视场角、光电探测设备横向分辨率、光电探测设备纵向分辨率等。光电探测设备的安装参数可以包括：光电探测设备安装俯仰角、光电探测设备安装高度等。
根据本发明的实施例，单点透视坐标转换公式可以如下表示：
其中，x可以是世界坐标系下的X轴坐标，y可以是世界坐标系下的Y轴坐标，u可以是透视图片中某一点的X轴坐标，v可以是透视图片中某一点的Y轴坐标，h可以是光电探测设备安装高度，M可以是光电探测设备纵向分辨率，θ可以是光电探测设备安装俯仰角，2α可以是光电探测设备纵向视场角，2β可以是光电探测设备横向视场角，N可以表示光电探测设备横向分辨率。u′表示透视图片中某一点在逆透视图中对应的X轴坐标，v′表示透视图片中某一点在逆透视图中对应的Y轴坐标，C表示重构成像的像素当量。
图5a示意性示出了根据本发明实施例的第一图像。图5b示意性示出了根据本发明实施例的第三图像。
根据本发明的实施例，可以在第二图像中选取4个像素点，获取4个像素点对应的坐标，以求解逆透视变换矩阵M-1，进而可以得到透视变换矩阵M，以实现获得与第一图像对应的带有鸟瞰图效果的第三图像的目的，如图5a和图5b所示。具体求解逆透视变换矩阵M-1过程可以如下所示：
令逆透视变换矩阵M-1可以表示为：
其中，u′i可以是基于单点透视坐标转换公式计算得到的第i个像素点的横坐标，v′i可以是基于单点透视坐标转换公式计算得到的第i个像素点的纵坐标；a11可以是逆透视变换矩阵第1行第1列的元素，a12可以是逆透视变换矩阵第1行第2列的元素，a13可以是逆透视变换矩阵第1行第3列的元素，a21可以是逆透视变换矩阵第2行第1列的元素，a22可以是逆透视变换矩阵第2行第2列的元素，a23可以是逆透视变换矩阵第2行第3列的元素，a31可以是逆透视变换矩阵第3行第1列的元素，a32可以是逆透视变换矩阵第3行第2列的元素。
图6示意性示出了根据本发明实施例的获取待测场景的第二图像的流程图。
如图6所示，获取待测场景的第二图像可以包括执行操作S610～S630。
在操作S610，获取由光电探测设备采集的多张光学图像。
在操作S60，基于重叠区域将多张光学图像拼接，得到光学全景图。
在操作S630，分割光学全景图，得到待测场景的全景图。
根据本发明的实施例，每张光学图像至少与其余至少一张光学图像有重叠区域。得到的待测场景的全景图可以是第二图像。
在光电探测设备获取光学图像的过程中，可以匀速水平旋转光电探测设备，为了获得较为完整的光学全景图，可以间隔固定角度σ获取一次光学图像，使每张光学图像至少与其余至少一张光学图像有重叠区域，固定角度σ可以根据光电探测设备的内参设置。
根据本发明的实施例，多张光学图像中的至少两张是由光电探测设备处于不同采集方向采集得到的，通过不同方向采集光学图像，可以获得更为精准的光学全景图。
图7a1、图7b1和图7c1示意性示出了根据本发明实施例的初始状态下光电探测设备获得的多张光学图像。图7a2、图7b2和图7c2示意性示出了根据本发明实施例的图7a1、图7b1和图7c1经旋转后得到的光学图像。图7d示意性示出了根据本发明实施例的图7a2、图7b2和图7c2经拼接后得到的光学全景图。
根据本发明的实施例，在基于重叠区域将多张光学图像拼接前，方法还包括：基于重叠区域和变换矩阵旋转光学图像，以便于拼接多张光学图像获得完整的光学全景图。如图7a1至图7d所示，图7a1和图7b1、图7b1和图7c1具有重叠区域，并且图7a1、图7b1和图7c1获取的角度不同，图7a1、图7b1和图7c1可以表征为初始状态下光电探测设备获得的多张光学图像，经过变换矩阵旋转后，可以得到图7a2、图7b2和图7c2，经过拼接后可以得到图7d。
根据本发明的实施例，两幅连续光学图像之间的变换矩阵Ti,j可以如下所示：
其中i,j分别标识两幅不同的图像。
Hi可以是光电探测设备的固有矩阵，Hi可以如下所示：
其中，f可以是光电探测设备焦距。
Ri可以是旋转矩阵，Ri可以如下所示：
Φi可以如下所示：
其中，θi1、θi2、θi3可以是旋转角度，可以用于表征任意三维旋转。
根据本发明的实施例，在光电探测设备匀速水平旋转，匀速获取光学图像的情况下，可以令θi1＝θi3＝0，旋转矩阵Ti，j可以如下所示。
通过以固定角度θ获取的光学图像中间的一副作为参考图像(如90度左右位置)，其它光学图像按照上式投影到统一全景坐标系下，即可获得光学全景图。
根据本发明的实施例，在获取光学全景图后，可以通过图像分割的方法去掉非待测场景的部分，可以通过在光学全景图上选取固定行，该行以下设为待测场景部分，以上设为背景部分。也可以采用如区域分割和深度学习分割等进行更精确地分割。
根据本发明的实施例，多张光学图像中的至少两张是由光电探测设备利用不同焦距采集得到的。在光电探测设备匀速水平旋转获取光学图像过程中，光电探测设备可以通过特定焦距获取全景图。可选地，多次获取光学图像过程中，可以通过改变该焦距，获得不同焦距下的光学全景图，以提升对不同距离FOD目标的检测能力。
图8示意性示出了根据本发明实施例的获取待测场景的第一图像的流程图。
如图8所示，获取待测场景的第一图像可以包括执行操作S810～S840。
在操作S810，控制雷达探测设备向待测场景发射毫米波波束。
在操作S820，获取被待测场景反射回的毫米波波束。
在操作S830，基于反射回的毫米波波束计算毫米波波束的反射率数据。
在操作S840，基于反射率数据生成第一图像。
根据本发明的实施例，可以向待测场景发射92-94GHz的扇束FMCW脉冲毫米波波束，毫米波波束经待测场景反射回后可以经过下变频后采集波形并进行数据处理，例如，波形放大、滤波处理等。可以通过计算的毫米波波束的反射率数据生成第一图像。
图9示意性示出了根据本发明实施例的FOD的识别系统的主视图。
如图9所示，根据本发明的实施例，本发明还提供一种FOD的识别系统900，识别系统900可以包括旋转驱动设备910、雷达探测设备920、光电探测设备930和处理器940，识别系统900中还可以设置有电源950。
旋转驱动设备910可以包括支撑结构911和驱动机构912。支撑结构911可以用于安装雷达探测设备920、光电探测设备930和处理器940，并与地面固定相连，以保证识别系统900的稳定性。驱动机构912可以包括旋转电机和传动装置，可以通过旋转电机带动传动装置转动，进而带动雷达探测设备920和光电探测设备930转动。
根据本发明的实施例，雷达探测设备920可以设置在旋转驱动设备910上，雷达探测设备920可以在旋转驱动设备910的带动下转动，雷达探测设备920可以被配置为生成第一图像。第一图像可以表征为待测场景的鸟瞰图。
根据本发明的实施例，光电探测设备930可以设置在旋转驱动设备910上。光电探测设备930可以被配置为采集多张光学图像。光电探测设备930可以具备变焦功能，例如可以实现30倍变焦，进而可以对待测场景实现高清拍摄。
根据本发明的实施例，光电探测设备930可以设置为一个或多个。在光电探测设备930设置为一个的情况下，光电探测设备930可以设置在旋转驱动设备910的转动平台上，通过光电探测设备930跟随转动平台转动，从而采集不同角度的多张光学图像。在光电探测设备930设置为多个的情况下，多个光电探测设备930可以设置在旋转驱动设备910的定平台上，可以实现不用旋转即可采集多张光学图像。例如，多个光电探测设备930可以围绕旋转驱动设备910的中心轴线均匀设置，从而采集不同角度的多张光学图像。根据本发明的实施例，处理器940可以分别与雷达探测设备920和光电探测设备930电连接，处理器940可以被配置为基于第一图像和多张光学图像，执行如上述的识别方法识别FOD。
如图9所示，根据本发明的实施例，雷达探测设备920可以包括毫米波发射电路921、毫米波接收电路922和毫米波计算单元923。毫米波发射电路921可以被配置为向待测场景发射毫米波波束。毫米波接收电路922可以被配置为接收被待测场景反射的毫米波波束。毫米波计算单元923可以被配置为基于发射的毫米波波束和接收的毫米波波束生成第一图像。
根据本发明的实施例，雷达探测设备920和光电探测设备930在旋转驱动设备910带动下匀速转动，转动的角度范围可以为0°至180°。在雷达探测设备920跟随旋转驱动设备910匀速转动的同时，毫米波发射电路921可以连续向待测场景发射扇形的毫米波波束。
根据本发明的实施例，在雷达探测设备920跟随旋转驱动设备910匀速转动的同时，可以控制光电探测设备930通过特定焦距拍摄待测场景的光学图像。
根据本发明的实施例，识别系统900还包括补光模块960。补光模块960可以设置在旋转驱动设备910上，补光模块960在旋转驱动设备910的带动下转动，补光模块960被配置为向待测场景发射光束，以提高待测场景的亮度。例如，在待测场景处于较暗的环境下(如夜晚、阴天、下雾等)，补光模块960可以提供照明，以提高光电探测设备930获取光学图像的清晰度。
根据本发明的实施例，处理器940可以基于外部设备发送的指令控制整个识别系统900，例如控制雷达探测设备920发射和接收毫米波波束、控制光电探测设备930的变焦和拍摄、补光模块960的开启和关闭、旋转电机扫描以及数据采集和传输等。
根据本发明的实施例，FOD的识别结果可以包括FOD的角度信息、距离信息以及光学和雷达特征。优选地，可以控制旋转驱动设备910带动雷达探测设备920和光电探测设备930旋转到指定角度，调节变焦到指定距离抓拍FOD的高清大图。
图10示意性示出了根据本发明的实施例的光电探测设备包括多个拍摄装置的主视图。图11示意性示出了根据本发明的实施例的光电探测设备包括多个拍摄装置的原理图。
如图10和图11所示，根据本发明的实施例，为避免由于转动引起识别系统900抖动，进而产生光学图像模糊的现象，可以使光电探测设备930包括多个定焦或变焦拍摄装置931，通过将拍摄装置931围绕支撑结构911设置，使得多个拍摄装置931可以扫描整个待测场景，进而可以实现不用旋转即可通过图像拼接方法实时生成待测场景的光学全景图，并且雷达扫描速度可以不受光学图像模糊的限制，提高识别效率。
图12示意性示出了根据本发明的实施例的FOD的识别装置的框图。
如图12所示，识别装置包括第一获取模块1210、第二获取模块1220、第一转换模块1230、第一融合模块1240和第一识别模块1250。
第一获取模块1210，用于获取待测场景的第一图像。第一图像表征为通过雷达探测设备获取的鸟瞰图。
第二获取模块1220，用于获取待测场景的第二图像。第二图像是通过光电探测设备得到的，第一图像和第二图像位于不同视平面。
第一转换模块1230，用于根据透视变换矩阵将第二图像转换为鸟瞰图，得到第三图像，以使第三图像与第一图像位于同一视平面。
第一融合模块1240，用于将第一图像和第三图像融合得到融合图像。
第一识别模块1250，用于基于融合图像，利用训练好的神经网络识别模型识别待测场景内的FOD。
图13示意性示出了根据本发明实施例的FOD的识别方法的电子设备的框图。图13示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图13所示，根据本发明实施例的电子设备1300包括处理器1301，其可以根据存储在只读存储器(ROM)1302中的程序或者从存储部分1308加载到随机访问存储器(RAM)1303中的程序而执行各种适当的动作和处理。处理器1301例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1301还可以包括用于缓存用途的板载存储器。处理器1301可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1303中，存储有电子设备1300操作所需的各种程序和数据。处理器1301、ROM 1302以及RAM 1303通过总线1304彼此相连。处理器1301通过执行ROM 1302和/或RAM1303中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，程序也可以存储在除ROM 1302和RAM 1303以外的一个或多个存储器中。处理器1301也可以通过执行存储在一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
根据本发明的实施例，电子设备1300还可以包括输入/输出(I/O)接口1305，输入/输出(I/O)接口1305也连接至总线1304。系统1300还可以包括连接至I/O接口1305的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1307；包括硬盘等的存储部分1308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1310上，以便于从其上读出的计算机程序根据需要被安装入存储部分1308。
根据本发明的实施例，根据本发明实施例的方法流程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1309从网络上被下载和安装，和/或从可拆卸介质1311被安装。在该计算机程序被处理器1301执行时，执行本发明实施例的系统中限定的上述功能。根据本发明的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。
根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的ROM 1302和/或RAM 1303和/或ROM 1302和RAM 1303以外的一个或多个存储器。
本发明的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本发明实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本发明实施例所提供的上述方法。
在该计算机程序被处理器1301执行时，执行本发明实施例的系统/装置中限定的上述功能。根据本发明的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1309被下载和安装，和/或从可拆卸介质1311被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
根据本发明的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码，具体地，可以利用高等级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，Python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。

Claims (13)

1.一种FOD的识别方法，其特征在于，包括：
获取待测场景的第一图像，其中，所述第一图像表征为通过雷达探测设备获取的鸟瞰图；
获取所述待测场景的第二图像，其中，所述第二图像是通过光电探测设备得到的，所述第一图像和所述第二图像位于不同视平面；
根据透视变换矩阵将所述第二图像转换为鸟瞰图，得到第三图像，以使所述第三图像与所述第一图像位于同一视平面；
将所述第一图像和所述第三图像融合得到融合图像；以及
将所述融合图像输入训练好的神经网络识别模型识别所述待测场景内的FOD。
2.根据权利要求1所述的方法，其特征在于，所述融合图像的数据包括表征所述第三图像的三通道光学数据和表征所述第一图像的反射率数据。
3.根据权利要求1或2所述的方法，其特征在于，在首次FOD识别时，还包括：
确定透视变换矩阵的参数；以及
基于所述参数确定所述透视变换矩阵；
其中，所述确定透视变换矩阵的参数包括：
在所述第二图像中选取多个像素点；
基于所述像素点和单点透视坐标转换公式确定所述逆透视变换矩阵；以及
基于所述逆透视变换矩阵确定透视变换矩阵的参数。
4.根据权利要求1或2所述的方法，其特征在于，所述获取所述待测场景的第二图像包括：
获取由所述光电探测设备采集的多张光学图像，其中，每张所述光学图像至少与其余至少一张所述光学图像有重叠区域；
基于所述重叠区域将多张所述光学图像拼接，得到光学全景图；以及
分割所述光学全景图，得到所述待测场景的全景图，其中，所述待测场景的全景图表征为所述第二图像。
5.根据权利要求4所述的方法，其特征在于，所述多张光学图像中的至少两张是由所述光电探测设备处于不同采集方向采集得到的，其中，在所述基于所述重叠区域将多张所述光学图像拼接前，所述方法还包括：
基于所述重叠区域和变换矩阵旋转所述光学图像。
6.根据权利要求4所述的方法，其特征在于，所述多张光学图像中的至少两张是由所述光电探测设备利用不同焦距采集得到的。
7.根据权利要求1、2、5或6所述的方法，其特征在于，所述获取待测场景的第一图像包括：
控制所述雷达探测设备向所述待测场景发射毫米波波束；
获取被所述待测场景反射回的毫米波波束；
基于反射回的毫米波波束计算所述毫米波波束的反射率数据；以及
基于所述反射率数据生成所述第一图像。
8.一种FOD的识别系统，其特征在于，包括：
旋转驱动设备；
雷达探测设备，设置在所述旋转驱动设备上，所述雷达探测设备在所述旋转驱动设备的带动下转动，所述雷达探测设备被配置为生成第一图像，其中，所述第一图像表征为待测场景的鸟瞰图；
光电探测设备，设置在所述旋转驱动设备上，所述光电探测设备被配置为采集多张光学图像；以及
处理器，分别与所述雷达探测设备和所述光电探测设备电连接，被配置为基于所述第一图像和多张所述光学图像，执行如上述权利要求1至7中任一项所述的识别方法识别FOD。
9.根据权利要求8所述的FOD的识别系统，其特征在于，所述雷达探测设备包括：
毫米波发射电路，被配置为向所述待测场景发射毫米波波束；
毫米波接收电路，被配置为接收被所述待测场景反射的所述毫米波波束；以及
毫米波计算单元，被配置为基于所述发射的毫米波波束和所述接收的毫米波波束生成所述第一图像。
10.根据权利要求8所述的FOD的识别系统，其特征在于，所述雷达探测设备和所述光电探测设备在所述旋转驱动设备带动下转动的角度范围为0°至180°；
其中，在所述雷达探测设备跟随所述旋转驱动设备转动的同时，所述毫米波发射电路连续向所述待测场景发射扇形的毫米波波束。
11.根据权利要求9所述的FOD的识别系统，其特征在于，所述识别系统还包括：
补光模块，设置在所述旋转驱动设备上，所述补光模块在所述旋转驱动设备的带动下转动，所述补光模块被配置为向所述待测场景发射光束，以提高所述待测场景的亮度。
12.一种FOD的识别装置，其特征在于，包括：
第一获取模块，用于获取待测场景的第一图像，其中，所述第一图像表征为通过雷达探测设备获取的鸟瞰图；
第二获取模块，用于获取所述待测场景的第二图像，其中，所述第二图像是通过光电探测设备得到的，所述第一图像和所述第二图像位于不同视平面；
第一转换模块，用于根据透视变换矩阵将所述第二图像转换为鸟瞰图，得到第三图像，以使所述第三图像与所述第一图像位于同一视平面；
第一融合模块，用于将所述第一图像和所述第三图像融合得到融合图像；
第一识别模块，用于基于所述融合图像，利用训练好的神经网络识别模型识别所述待测场景内的FOD。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；以及
存储器，被配置为存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1～7中任一项所述的方法。
CN202311298097.4A 2023-10-09 2023-10-09 Fod的识别方法、识别系统、识别装置和电子设备 Pending CN117368874A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311298097.4A CN117368874A (zh) 2023-10-09 2023-10-09 Fod的识别方法、识别系统、识别装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311298097.4A CN117368874A (zh) 2023-10-09 2023-10-09 Fod的识别方法、识别系统、识别装置和电子设备

Publications (1)

Publication Number Publication Date
CN117368874A true CN117368874A (zh) 2024-01-09

Family

ID=89390329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311298097.4A Pending CN117368874A (zh) 2023-10-09 2023-10-09 Fod的识别方法、识别系统、识别装置和电子设备

Country Status (1)

Country Link
CN (1) CN117368874A (zh)

Similar Documents

Publication Publication Date Title
Xiang et al. Mini-unmanned aerial vehicle-based remote sensing: Techniques, applications, and prospects
CN1095282C (zh) 全方向成象装置、全方向图象投影装置和全方向成象方法
CN101268383B (zh) 智能视频监控系统以及与自动跟踪雷达系统通信的方法
US20100111365A1 (en) Passive single camera imaging system for determining motor vehicle speed
CN111444845B (zh) 一种非机动车辆违停识别方法、装置及系统
US20110013016A1 (en) Visual Detection of Clear Air Turbulence
US10873700B2 (en) Scanning with frame averaging
CN110031830B (zh) 一种基于激光线扫描成像的测距方法
US20190243128A1 (en) Imaging systems and methods
US11978222B2 (en) Three-dimensional light field technology-based optical unmanned aerial vehicle monitoring system
Matzner et al. ThermalTracker-3D: A thermal stereo vision system for quantifying bird and bat activity at offshore wind energy sites
CN115442532A (zh) 风机不停机巡检的方法、系统、设备及存储介质
CN116342452A (zh) 图像生成方法和融合成像系统
JP2012008021A (ja) 監視装置、方法及びプログラム並びに監視システム
RU2639321C1 (ru) Оптико-электронная система обнаружения объектов
CN113561905B (zh) 道路病害巡检设备的安装、范围的获取方法、设备及介质
CN116977806A (zh) 一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法及系统
Antonakakis et al. Real-time object detection using an ultra-high-resolution camera on embedded systems
Duan et al. High-Speed rail tunnel panoramic inspection image recognition technology based on improved YOLOv5
Stewart et al. Drone virtual fence using a neuromorphic camera
CN117368874A (zh) Fod的识别方法、识别系统、识别装置和电子设备
CN117351278A (zh) 场景内异物的识别方法、识别系统、识别装置和电子设备
CN115409861A (zh) 基于图像处理的激光雷达地面点云分割方法、装置、设备及介质
Li et al. Power line extraction and obstacle inspection of unmanned aerial vehicle oblique images constrained by the vertical plane
US10964055B2 (en) Methods and systems for silent object positioning with image sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination