CN111818274A - 基于三维光场技术的光学无人机监测方法及系统 - Google Patents

基于三维光场技术的光学无人机监测方法及系统 Download PDF

Info

Publication number
CN111818274A
CN111818274A CN201910280348.3A CN201910280348A CN111818274A CN 111818274 A CN111818274 A CN 111818274A CN 201910280348 A CN201910280348 A CN 201910280348A CN 111818274 A CN111818274 A CN 111818274A
Authority
CN
China
Prior art keywords
image
unmanned aerial
aerial vehicle
light field
drone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910280348.3A
Other languages
English (en)
Inventor
李应樵
李莉华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Visual Sense Power Technology Co ltd
Original Assignee
Shenzhen Visual Sense Power Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Visual Sense Power Technology Co ltd filed Critical Shenzhen Visual Sense Power Technology Co ltd
Priority to CN201910280348.3A priority Critical patent/CN111818274A/zh
Priority to US17/602,491 priority patent/US20220210375A1/en
Priority to PCT/CN2020/078496 priority patent/WO2020207172A1/zh
Publication of CN111818274A publication Critical patent/CN111818274A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于光场技术的无人机监测方法和系统。提供一种基于光场技术的无人机监测方法，包括：开始无人机监测；通过光场相机获得较低分别率的视频图像信息；判断所获得的视频图像信息是否为无人机；对其中的无人机图像进行图形重建；获得重建后的光场图像深度及位置信息监测无人机并发出警示。本发明的监测方法和系统能够获得清晰的立体图像，从而在监测或探测无人机的过程中提高效率和准确性。

Description

基于三维光场技术的光学无人机监测方法及系统
技术领域
本发明属于无人机监测领域，特别涉及一种基于光场技术的无人机监测方法和系统。
背景技术
随着无人机技术的发展，对无人机的监测系统的改进有着广泛的需求，现有技术中多采用雷达和摄像头相结合的监测系统。雷达监测易受隐身技术欺骗且低空监测的效果较差，摄像头一般来说分辨率较低。中国发明专利申请201810128587.2公开了一种无人机监测系统及其监督方法。在该方法中，利用软件方法，扫描区域内的图像，通过第一和第二相机形成立体视觉判断图像中是否存在可疑的目标，通过计算可疑目标的准确位置，对可疑目标进行跟踪拍摄。该技术主要是在软件部分进行改进。中国发明专利申请201810396720.2公开了一种无人机探测方法、装置及电子设备。也主要是从软件的角度，控制探测平台上的相机转动，采取发送转动指令至转台的电机，以使电机带动转台上的多台相机转动预设角度；发送停止指令至该电机，以使该电机控制转台在转动预设角度后停止转动；当确定上述多台相机停止预设时间后，控制多台相机进行一次拍摄以获取多个图像；对该多个图像进行图像识别，确定监控区域内是否存在无人机；如果监控区域内不存在无人机，则重新执行以上步骤。上述两项现有技术的缺陷在于，由于缺乏高分辨率的图像，因此无法准确判定远距离的无人机以及所探测到无人机的空间位置。
现有技术中，存在两种方法可以提高图像的分辨率。其中一个是减小像素尺寸。当像素尺寸减小时，其信噪比(SNR)也会随之降低。因此，减小像素尺寸方面存在一个界限，如果超出这一界限的话，就会出现由于散粒噪声的增加导致图像分辨率下降的情况。而另外一种方法就是将更多的光电检测器装入到芯片之中，进而增加传感器芯片的尺寸。同样，这一方法的代价就是芯片的电容增加，而这反过来又会降低电荷的传输速率，并且需要更长的图像捕捉时间。除此之外，这一方法还会使传感器芯片的大小和成本显著增加。为了获得优化的方案，并考虑成本方面的效益，在拍摄高分辨率照片时，就必须适当的缩短其拍摄时间，并在质量上进行合理的提高。对无人机检测而言，优化后的高分辨率图像可能依旧不足以满足大多数的实际应用环境。
需要一种新的分辨率高，并且稳定的监测方法和系统，获得清晰的立体图像，从而在监测或探测无人机的过程中提高效率和准确性。
发明内容
本发明的目的在于提供一种新的分辨率高，并且稳定的监测方法和系统，获得清晰的立体图像，从而在监测或探测无人机的过程中提高效率和准确性。本发明的一个目的在于提供一种基于光场技术的无人机监测方法，包括：开始无人机监测；通过光场相机获得较低分别率的视频图像信息；判断所获得的视频图像信息是否为无人机；对其中的无人机图像进行图形重建；获得重建后的光场图像深度及位置信息监测无人机并发出警示。其中所述图像重建步骤为基于模型的超分辨率方法或基于多帧的超分辨率方法。其中所述基于多帧的超分辨率方法，从一组分辨率相对较低(LR)的图像中重建一个分辨率较较高 (HR)图像的方法，也可以被称为多帧图像超分辨方法；利用记录得到的分辨率相对较低(LR)的图像之间的相关性进行重建。其中所述无人机图像的重建步骤，包括(a)通过微透镜阵列成像的光场图像；(b) 根据焦平面的距离排列的子孔径图像序列；(c)单个子孔径图像；(d)根据主镜头上的位置排列的多视角子孔径图像；其中所述多视角子孔径图像阵列是在原始复眼图像进行处理后获得的。其中所述无人机图像的重建步骤后，将重建的光场图像结合估计的深度图对光场图像进行再聚焦，并将再聚焦的图像相结合获得所有聚焦的光场图像。其中根据上述合成孔径技术，原始复眼图像中的像素点被重投影到了各个子孔径图像中，形成了对场景不同视角的成像，并将原始复眼图像中的光场信息进一步合成、提取，得到成像空间的多视角视图，并获得数字重聚焦序列和深度图。其中采用下列公式：
Figure RE-GDA0002135481540000031
Figure RE-GDA0002135481540000032
L′(u，v，x′，y′)＝L(u，v，kx′+(1-k)u，ky′+(1-k)v) (5)
I′(x′，y′)＝∫∫L(u，v，kx′+(1-k)u，ky′+(1-k)v)dudv (6)
其中，I，I’表示一次和二次成像面的坐标系；
L和L’表示一次和二次成像面的能量。
当在取得被摄物体在每个微透镜的深度数据后，便可计算出整个影像的深度图，从而拍摄出立体的3D视频图像。其中，在获得所述视频图像信息前不需要进行适当的聚焦；进行一次拍摄就能捕捉到所有的深度图信息。还包括下列步骤：对所述视频图像的图像帧进行分类；将所述图像帧进行语义分割；检测到无人机图像；并且将所述无人机图像进行实例分割，分割聚类出不同物体的像素。还包括：在对光场图像进行处理和解码后，对所述视频图像的超分辨率帧进行分析；对于给定的经过预处理的监控视频，将视频中的帧序列重塑为数据矩阵；并且对数据矩阵进行分析和编码以提取图像的主要特征；并且利用机器学习技术，对无人机图像特征模式进行识别，进而检测出视频图像中的无人机。其中所述的机器学习技术为RCNN,Fast RCNN, YOLO,SSD方法。
本发明提供的三维光场技术的光学无人机监测方法和系统能够对监测过程中的震动进行隔离，从而在监测或探测无人机的过程中提高效率和准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实例，对于本领域普通技术人员来讲，在不付出创新性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的无人机监测方法的流程图100。
图2为本发明的无人机监测方法的图像重建步骤示意图。
图3(a)和3(b)为本发明的光场成像系统的示意图。
图3(c)为处理后的光场图像示例图。
图4(a)为本发明的无人机监测方法的图像重建步骤解码的示例图。
图4(b)为本发明的无人机监测方法的对合成孔径图像进行数字重聚焦的原理图。
图4(c)为本发明的无人机监测方法的移动子孔径图像来计算重新聚焦的图像原理示意图。
图5为本发明的无人机监测方法的目标检测和图像跟踪示例图。
图6(a)为本发明的无人机监测方法的目标监测和图像跟踪步骤流程图。
图6(b)为本发明的无人机监测方法中的Fast RCNN方法网络结构示意图。
图7示意性地示出了用于执行根据本发明的方法的服务器的框图；以及
图8示意性地示出了用于保持或者携带实现根据本发明的方法的程序代码的存储单元。
具体实施方式
现结合相应的附图，对本发明的具体实施例进行描述。然而，本发明可以以多种不同的形式实施，而不应被解释为局限于此处展示的实施例。提供这些实施例只是为了本发明可以详尽和全面，从而可以将本发明的范围完全地描述给本领域的技术人员。附图中说明的实施例的详细描述中使用的措辞不应对本发明造成限制。
图1为本发明的无人机监测方法的流程图100。在步骤101，在启动无人机监测系统开始监测；在步骤102，在较大的范围内获得视频图像信息，所述视频图像信息相对分辨率较低，在步骤103，通过与存储的数据库进行对比，判定所获得的分辨率较低图像是否符合数据库中无人机的形状，一旦目标匹配，则进入步骤104，聚焦在锁定目标上的远摄镜头来跟踪可疑目标，从而通过对无人机图像进行重构的方法获得目标无人机的高分辨率图像和光场信息，并进入步骤105；在不匹配的情况下，回到步骤102，重复在较大的范围内获得相对分辨率较低的视频图像信息；在步骤105，再次使用这些低分辨率视频图像信息进行计算和验证后，计算并获得所述光场图像的深度及位置信息并向用户或控制塔发出警示。也就是说，高分辨率图像一旦与数据库中的无人机形状信息具有高度的相似性，就会将报警信号发送给监控系统，所述无人机的深度及位置信息也将被送回监督中心。
图2为本发明的无人机监测方法的图像重建步骤示意图。为了获得高分频率的图像，方法主要分为两大类：基于模型的超分辨率方法以及基于多帧的超分辨率方法。基于模型的超分辨率方法是通过使用不同的假设噪声模型来实现超分辨率图像。而本发明提供的是一种从一组分辨率相对较低(LR)的图像中重建一个分辨率较较高(HR)图像的方法，也可以被称为多帧图像超分辨方法；利用记录得到的分辨率相对较低(LR)的图像之间的相关性进行重建。这种图像之间的相关性可以通过测量获得，也可以通过假设建模的方式来计算得出。
图4(a)为本发明的无人机监测方法的图像重建步骤解码的示例图。解码过程300的目标在于将获得的光场图像301在步骤305进行图像重建，将重建的光场图像结合估计的深度图302对光场图像进行再聚焦303，并将再聚焦303的图像相结合获得所有聚焦的光场图像 304。其中在步骤305进行的图像重建为光场图像解码的关键步骤，其包括：(a)通过微透镜阵列成像的光场图像；(b)子孔径图像序列(根据焦平面的距离排列)；(c)单个子孔径图像；(d)子孔径图像序列(根据主镜头上的位置排列)；其中，图305(d)为本发明的相机系统获得的多视角子孔径图像阵列，其中所述多视角子孔径图像阵列是在原始复眼图像进行处理后获得的。根据上述合成孔径技术，原始复眼图像中的像素点被重投影到了各个子孔径图像中，形成了对场景不同视角的成像。可以将原始复眼图像中的光场信息进一步合成、提取，得到成像空间的多视角视图，并进一步得到数字重聚焦序列；并且进一步得到深度图。其中，图4(b)为本发明的无人机监测方法的对合成孔径图像进行数字重聚焦的原理图，对合成孔径图像利用图4(b)所示的原理进行数字重聚焦：
Figure RE-GDA0002135481540000072
Figure RE-GDA0002135481540000071
L′(u，v，x′，y′)＝L(u，v，kx′+(1-k)u，ky′+(1-k)v) (5)
I′(x′，y′)＝∫∫L(u，v，kx′+(1-k)u，ky′+(1-k)v)dudv (6)
其中，I，I’表示一次和二次成像面的坐标系；
L和L’表示一次和二次成像面的能量。
当在取得被摄物体在每个微透镜的深度数据后，便可计算出整个影像的深度图，从而拍摄出立体的3D视频图像。
在上述步骤104，采用光场相机获得目标无人机的高分辨率图像和光场信息。与传统相机不同，光场相机不仅捕获二维图像，还捕获入射光线的方向。图3(a)和3(b)显示了在CMOS传感器301前面具有微透镜阵列302的光场成像系统的机制。图3(a)通过像素的所有光线都通过其母微透镜并通过主透镜303上的共轭方形(子光圈)。图3(b)通过子孔径的所有光线通过不同微透镜下的相应像素聚焦。这些像素形成通过该子孔径看到的照片。
光场图像I(x,y)可以由公式表示可以由公式表示：
I(x,y)＝∫∫LF(u,v,x,y)dudv (1)
其中(u,v,x,y)表示沿着与(u,v)处的主透镜相交的光线行进的光和 (x,y)处的微透镜平面，并且使用全光圈。图4(c)为本发明的无人机监测方法的移动子孔径图像来计算重新聚焦的图像原理示意图，可以通过图4(c)所示的方式移动子孔径图像来计算重新聚焦的图像：
移位的光场函数可以表示为：
Figure RE-GDA0002135481540000081
光场成像技术允许重新聚焦图像并估计场景的深度图。通过光场计算出基本的深度范围，并结合图像上的位置来确定无人机的位置。
对于芯片板应用的半导体制造，可以使用复眼来找出铝粘合线的最大环高度，芯片上的第一键合高度和基板上的第二键合高度。图3 (c)为处理后的光场图像示例图。在图3(c)中，正方向上的更大数量(μm)意味着朝向物镜的更近的虚拟焦平面。物镜表面上的焦平面校准为0μm。处理后的光场图像。图3(c)的左上图像是顶部线层，图3(c)的右上图像是中间层，图3(c)的左下图像是底部金属层，图3(c)的右下图像是全焦点图像。将开发自动聚焦软件以捕获所有线图像，而无需命令垂直轴的任何机械运动。将开发实时AOI 软件并与自动对焦软件结合使用。用户界面将显示由相机拍摄的图像和全焦点图像，将标记检测到的任何缺陷。
本发明采用光场成像技术定位所监测到的无人机的空间位置。首先，在进行摄影前不需要进行适当的聚焦。事后聚焦可以在图像被捕获后进行。其次，它只需一次拍摄就能捕捉到所有的深度图信息。而利用深度图信息就可以确定出现在拍摄图像上的任何物体位置的三维信息。
以距离/深度计算功能能够实现对无人机与摄像机之间距离的测量。该测量过程主要利用光场技术以及结构光视觉技术。其中，光场为一个能够对通过空间中的每个点的每一个方面的光辐射传输数量进行描述的函数(即描述光在三维空间中的辐射传输特性)。能够通过利用光场摄影技术对场景中所有有用的信息进行捕捉。光场摄像机 (也别称为全光摄像机)既能捕捉到场景中与光线强度相关的信息，同时也能捕捉到与光学在空间中传播方向相关的信息。光场摄像机的核心部件为微透镜阵列。其中，每个微透镜下均覆盖多个光传感器像素，并且能够将照射向该微透镜的光线分离为下方像素上的一个小图像。在成像中对微透镜阵列的应用是一种受动物视觉启发的技术，因此，其在光场摄像机中也被称为“复眼”。通过将主透镜与复眼相结合的方式，能够实现4D光场信息在光传感器上的记录，进而实现了该光场图像解码过程。该功能模块主要包含以下三个方面，即图像重建、重新定焦以及深度图估计。作为光场解码的基础，图像重建主要涉及到4D光场的光线跟踪；而重新定焦在本质上为合成孔径技术的一个实例；通过对上述两个步骤进行估计得到的深度图总是进入三维世界的门户。在经过光场图像解码之后，就可以计算出目标和摄像机之间的距离。
图5为本发明的无人机监测方法的目标检测和图像跟踪示例图。如图5左上角附图所示，将图像帧进行分类；如图5右上角附图所示，将图像帧进行语义分割；如图5左下角附图所示，检测到所述图像；并且如图5右下角附图所示，进行实例分割，分割聚类出不同物体的像素。
图6(a)为本发明的无人机监测方法的目标监测和图像跟踪步骤流程图600。在步骤601，对光场图像进行处理和解码后，将在步骤 602自动对监控视频中的超分辨率帧进行分析。该分析过程将被建立在机器深入学习以及及其智能理论之上。该模块的主要目的是监测出存在于视频中的无人机，并以智能的方式对目标进行跟踪。该模块具有以下两个功能，即目标检测以及图像跟踪。该系统的目标检测功能能够在特征提取以及视频分析的基础上实现对无人机的检测。在步骤 604，给定一个经过预处理的监控视频，系统会将视频中的帧序列重塑为数据矩阵。然后对该数据矩阵进行分析和编码以提取图像的主要特征，从而将数据矩阵维度降低，进而提高了视频中基本信息的可见性。在步骤605，利用机器学习技术，可以实现对无人机图像特征模式的识别，这时视频中的无人机就会被系统检测出来。
图6(b)为本发明的无人机监测方法中的Fast RCNN方法网络结构示意图。可采用RCNN,Fast RCNN,YOLO,SSD等，深度学习的模型。以Fast RCNN为例，去除了R-CNN中冗余的特征提取，将整张图像输入神经网络进行一次特征提取：用ROI pooling层取代最后一个max pooling层，同时引入bbox回归层，提取相应的建议proposal 特征。Fast RCNN网络末尾采用的是并行的两个连接层，cls score 层和bbox score层，可同时输出分类结果和回归结果，第一次实现了end-to-end的多任务训练。训练步骤包括：输入图像和多个感兴趣区域(RoI)被输入到完全卷积网络中。每个RoI汇集到固定大小的特征映射中，然后通过完全连接的层映射到特征向量。网络每个 RoI有两个输出向量：softmax概率和每类边界框回归偏移。该架构通过多任务丢失进行端到端的训练。通过Fast RCNN模型下载和下列的训练完成监测和跟踪过程：1.准备训练数据：其中label/label.txt 里面为Imageset中对应的图片信息，包括roi的bbox位置以及图片名字和所属类别(bird,UAV,plane)三类，2.selective search为每张训练图片提取建议框，3.然后给出利用label.txt读取图片信息，生成bboxes的代码：4.通过ss的提取，生成了每张图片的建议框信息。
对无人机进行监测及识别之后，摄像机对准无人机进行重调焦距以捕捉其近景照片来获取更多的相关信息。由于无人机会一直在空中移动，摄相机应该向目标方向倾斜，以获得高质量的成像。因此，本系统将利用图像跟踪技术以实现对无人机区域的锁定，并进行智能分析来预测无人机的飞行路径。在对无人机进行检测和跟踪之后，目标场景及飞行路径将被传送到运动控制单元。并且该摄相机将由六足机器人进行驱动，以实现稳定地对准无人机。
该系统的软件将管理所有的功能模块以实现一起工作。监控视频将被系统自动分析，以检测并跟踪无人机。光场技术将被用来计算目标距离和对照片场景进行重调焦距。分辨率重建技术保证了所有过程的成像质量。该算法将涉及数字图像增强、光场解码、模式识别以及机器智能方面。相互协调并相互作用软件和硬件将会实现一个高精度且全自动化的无人机监测系统。
图7示意性地示出了用于执行根据本发明的方法的服务器的框图；以及图8示意性地示出了用于保持或者携带实现根据本发明的方法的程序代码的存储单元。例如系统应用服务器701。该物体识别和定位系统服务器包括处理器710，此处的处理器可以为上文所述通用或专用芯片，和以存储器720形式的计算机程序产品或者计算机可读介质。存储器720可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器720具有用于执行上述方法中的任何方法步骤的程序代码的存储空间730。例如，用于程序代码的存储空间730可以包括分别用于实现上面的方法中的各种步骤的各个程序代码731。这些程序代码可以被读出或者写入到所述处理器710中。这些计算机程序产品包括诸如硬盘，紧致盘 (CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为如参考图8所述的便携式或者固定存储单元。该存储单元可以具有与图7的服务器中的存储器720类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括计算机可读代码731’，即可以由例如诸如710之类的处理器读取的代码，这些代码当由服务器运行时，导致该服务器执行上面所描述的方法中的各个步骤。这些代码当由服务器运行时，导致该服务器执行上面所描述的方法中的各个步骤。
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着，结合实施例描述的特定特征、结构或者特性包括在本发明的至少一个实施例中。此外，请注意，这里“在一个实施例中”的词语例子不一定全指同一个实施例。
以上所述仅用于说明本发明的技术方案，任何本领域普通技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围应视权利要求范围为准。本发明已结合例子在上面进行了阐述。然而，在本发明公开范围以内的上述实施例以外的其它实施例也同样可行。本发明的不同的特点和步骤可以以不同于所描述的其它方法进行组合。本发明的范围仅受限于所附的权利要求书。更一般地，本领域普通技术人员可以轻易地理解此处描述的所有的参数，尺寸，材料和配置是为示范目的而实际的参数，尺寸，材料和/或配置将取决于特定应用或本发明教导所用于的应用。

Claims (23)

1.一种基于光场技术的无人机监测方法，包括：
开始无人机监测；
通过光场相机获得较低分别率的视频图像信息；
判断所获得的视频图像信息是否为无人机；
对其中的无人机图像进行图形重建；
获得重建后的光场图像深度及位置信息监测无人机并发出警示。
2.如权利要求1所述的无人机监测方法，其中所述图像重建步骤为基于模型的超分辨率方法或基于多帧的超分辨率方法。
3.如权利要求2所述的无人机监测方法，其中所述基于多帧的超分辨率方法，从一组分辨率相对较低(LR)的图像中重建一个分辨率较较高(HR)图像的方法，也可以被称为多帧图像超分辨方法；利用记录得到的分辨率相对较低(LR)的图像之间的相关性进行重建。
4.如权利要求1或3所述的无人机监测方法，其中所述无人机图像的重建步骤，包括(a)通过微透镜阵列成像的光场图像；(b)根据焦平面的距离排列的子孔径图像序列；(c)单个子孔径图像；(d)根据主镜头上的位置排列的多视角子孔径图像；其中所述多视角子孔径图像阵列是在原始复眼图像进行处理后获得的。
5.如权利要求1或3所述的无人机监测方法，其中所述无人机图像的重建步骤后，将重建的光场图像结合估计的深度图对光场图像进行再聚焦，并将再聚焦的图像相结合获得所有聚焦的光场图像。
6.如权利要求4所述的无人机监测方法，其中根据上述合成孔径技术，原始复眼图像中的像素点被重投影到了各个子孔径图像中，形成了对场景不同视角的成像，并将原始复眼图像中的光场信息进一步合成、提取，得到成像空间的多视角视图，并获得数字重聚焦序列和深度图。
7.如权利要求6所述的无人机监测方法，其中采用下列公式：
Figure FDA0002021444130000021
Figure FDA0002021444130000022
L′(u，v，x′，y′)＝L(u，v，kx′+(1-k)u，ky′+(1-k)v) (5)
I′(x′，y′)＝∫∫L(u，v，kx′+(1-k)u，ky′+(1-k)v)dudv (6)
其中，I,I’表示一次和二次成像面的坐标系；
L和L’表示一次和二次成像面的能量，
当在取得被摄物体在每个微透镜的深度数据后，便可计算出整个影像的深度图，从而拍摄出立体的3D视频图像。
8.如权利要求1所述的无人机监测方法，其中，在获得所述视频图像信息前不需要进行适当的聚焦；进行一次拍摄就能捕捉到所有的深度图信息。
9.如权利要求1所述的无人机监测方法，还包括下列步骤：
对所述视频图像的图像帧进行分类；
将所述图像帧进行语义分割；
检测到无人机图像；
并且将所述无人机图像进行实例分割，分割聚类出不同物体的像素。
10.如权利要求1所述的无人机监测方法，还包括：
在对光场图像进行处理和解码后，对所述视频图像的超分辨率帧进行分析；
对于给定的经过预处理的监控视频，将视频中的帧序列重塑为数据矩阵；并且
对数据矩阵进行分析和编码以提取图像的主要特征；并且
利用机器学习技术，对无人机图像特征模式进行识别，进而检测出视频图像中的无人机。
11.如权利要求10所述的无人机监测方法，其中所述的机器学习技术为RCNN,FastRCNN,YOLO,SSD方法。
12.一种基于光场技术的无人机监测系统，包括：
启动模块，开始无人机监测；
图像信息获取模块，通过光场相机获得较低分别率的视频图像信息；
判断模块，判断所获得的视频图像信息是否为无人机；
重建模块，对其中的无人机图像进行图形重建；
警示模块，获得重建后的光场图像深度及位置信息监测无人机并发出警示。
13.如权利要求12所述的无人机监测系统，其中所述图像重建步骤为基于模型的超分辨率方法或基于多帧的超分辨率方法。
14.如权利要求13所述的无人机监测系统，其中所述基于多帧的超分辨率方法，从一组分辨率相对较低(LR)的图像中重建一个分辨率较较高(HR)图像的方法，也可以被称为多帧图像超分辨方法；利用记录得到的分辨率相对较低(LR)的图像之间的相关性进行重建。
15.如权利要求12或14所述的无人机监测系统，其中所述无人机图像的重建步骤，包括(a)通过微透镜阵列成像的光场图像；(b)根据焦平面的距离排列的子孔径图像序列；(c)单个子孔径图像；(d)根据主镜头上的位置排列的多视角子孔径图像；其中所述多视角子孔径图像阵列是在原始复眼图像进行处理后获得的。
16.如权利要求12或14所述的无人机监测系统，其中所述无人机图像的重建步骤后，将重建的光场图像结合估计的深度图对光场图像进行再聚焦，并将再聚焦的图像相结合获得所有聚焦的光场图像。
17.如权利要求15所述的无人机监测系统，其中根据上述合成孔径技术，原始复眼图像中的像素点被重投影到了各个子孔径图像中，形成了对场景不同视角的成像，并将原始复眼图像中的光场信息进一步合成、提取，得到成像空间的多视角视图，并获得数字重聚焦序列和深度图。
18.如权利要求17所述的无人机监测系统，其中采用下列公式：
Figure FDA0002021444130000041
Figure FDA0002021444130000042
L′(u，v，x′，y′)＝L(u，v，kx′+(1-k)u，ky′+(1-k)v) (5)
I′(x′，y′)＝∫∫L(u，v，kx′+(1-k)u，ky′+(1-k)v)dudv (6)
其中，I,I’表示一次和二次成像面的坐标系；
L和L’表示一次和二次成像面的能量，
当在取得被摄物体在每个微透镜的深度数据后，便可计算出整个影像的深度图，从而拍摄出立体的3D视频图像。
19.如权利要求12所述的无人机监测系统，其中，在获得所述视频图像信息前不需要进行适当的聚焦；进行一次拍摄就能捕捉到所有的深度图信息。
20.如权利要求12所述的无人机监测系统，还包括下列模块：
分类模块，对所述视频图像的图像帧进行分类；
分割模块，将所述图像帧进行语义分割；
检测模块，检测到无人机图像；
并且将所述无人机图像进行实例分割，分割聚类出不同物体的像素。
21.如权利要求12所述的无人机监测系统，还包括：
分析模块，在对光场图像进行处理和解码后，对所述视频图像的超分辨率帧进行分析；
重塑模块，对于给定的经过预处理的监控视频，将视频中的帧序列重塑为数据矩阵；并且
特征提取模块，对数据矩阵进行分析和编码以提取图像的主要特征；并且
识别模块，利用机器学习技术，对无人机图像特征模式进行识别，进而检测出视频图像中的无人机。
22.如权利要求21所述的无人机监测系统，其中所述的机器学习技术为RCNN,FastRCNN,YOLO,SSD方法。
23.一种存储介质，用于存储实现如权利要求1－11所述方法的代码。
CN201910280348.3A 2019-04-09 2019-04-09 基于三维光场技术的光学无人机监测方法及系统 Pending CN111818274A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910280348.3A CN111818274A (zh) 2019-04-09 2019-04-09 基于三维光场技术的光学无人机监测方法及系统
US17/602,491 US20220210375A1 (en) 2019-04-09 2020-03-10 Method and system for optical monitoring of unmanned aerial vehicles based on three-dimensional light field technology
PCT/CN2020/078496 WO2020207172A1 (zh) 2019-04-09 2020-03-10 基于三维光场技术的光学无人机监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910280348.3A CN111818274A (zh) 2019-04-09 2019-04-09 基于三维光场技术的光学无人机监测方法及系统

Publications (1)

Publication Number Publication Date
CN111818274A true CN111818274A (zh) 2020-10-23

Family

ID=72751524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910280348.3A Pending CN111818274A (zh) 2019-04-09 2019-04-09 基于三维光场技术的光学无人机监测方法及系统

Country Status (3)

Country Link
US (1) US20220210375A1 (zh)
CN (1) CN111818274A (zh)
WO (1) WO2020207172A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113280754A (zh) * 2021-07-22 2021-08-20 清华大学 高精度深度计算装置及方法
CN115661223A (zh) * 2022-12-09 2023-01-31 中国人民解放军国防科技大学 光场深度估计方法、装置、计算机设备和存储介质
WO2023098362A1 (zh) * 2021-12-01 2023-06-08 北京拙河科技有限公司 一种基于亿级像素相机的目标区域安防与监控系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677577B (zh) * 2022-03-23 2022-11-29 北京拙河科技有限公司 一种光场相机的机动车检测方法及系统
CN118097475A (zh) * 2024-04-28 2024-05-28 北京鲲鹏凌昊智能技术有限公司 一种低慢小目标检测方法、电子设备及计算机程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2887642A2 (en) * 2013-12-23 2015-06-24 Nokia Corporation Method, apparatus and computer program product for image refocusing for light-field images
CN105931190A (zh) * 2016-06-14 2016-09-07 西北工业大学 高角度分辨率光场获取装置与图像生成方法
CN107103621A (zh) * 2017-04-22 2017-08-29 许晟明 基于光场单相机的非合作航天器三维位姿测量系统
CN108074218A (zh) * 2017-12-29 2018-05-25 清华大学 基于光场采集装置的图像超分辨率方法及装置
CN108692655A (zh) * 2017-04-06 2018-10-23 上海盟云移软网络科技股份有限公司 基于光场成像的三维测量方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) * 2006-12-01 2019-05-21 Google Llc Video refocusing
GB201519634D0 (en) * 2015-11-06 2015-12-23 Squarehead Technology As UAV detection
CN111480183B (zh) * 2017-11-20 2023-08-08 上海科技大学 用于产生透视效果的光场图像渲染方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2887642A2 (en) * 2013-12-23 2015-06-24 Nokia Corporation Method, apparatus and computer program product for image refocusing for light-field images
CN105931190A (zh) * 2016-06-14 2016-09-07 西北工业大学 高角度分辨率光场获取装置与图像生成方法
CN108692655A (zh) * 2017-04-06 2018-10-23 上海盟云移软网络科技股份有限公司 基于光场成像的三维测量方法
CN107103621A (zh) * 2017-04-22 2017-08-29 许晟明 基于光场单相机的非合作航天器三维位姿测量系统
CN108074218A (zh) * 2017-12-29 2018-05-25 清华大学 基于光场采集装置的图像超分辨率方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113280754A (zh) * 2021-07-22 2021-08-20 清华大学 高精度深度计算装置及方法
WO2023098362A1 (zh) * 2021-12-01 2023-06-08 北京拙河科技有限公司 一种基于亿级像素相机的目标区域安防与监控系统
CN115661223A (zh) * 2022-12-09 2023-01-31 中国人民解放军国防科技大学 光场深度估计方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2020207172A1 (zh) 2020-10-15
US20220210375A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
US20220210375A1 (en) Method and system for optical monitoring of unmanned aerial vehicles based on three-dimensional light field technology
US11205298B2 (en) Method and system for creating a virtual 3D model
Li et al. R $^ 3$-net: A deep network for multi-oriented vehicle detection in aerial images and videos
Premebida et al. Fusing LIDAR, camera and semantic information: A context-based approach for pedestrian detection
EP3499414B1 (en) Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification
CN111967288A (zh) 智能三维物体识别和定位系统和方法
CN107609475B (zh) 基于光场相机的行人检测误检提出方法
CN112365586B (zh) 3d人脸建模与立体判断方法及嵌入式平台的双目3d人脸建模与立体判断方法
CN114399675A (zh) 一种基于机器视觉与激光雷达融合的目标检测方法和装置
CN111814602A (zh) 一种基于视觉的智能车环境动态目标检测的方法
Shi et al. An improved lightweight deep neural network with knowledge distillation for local feature extraction and visual localization using images and LiDAR point clouds
Yang et al. Raindrop removal with light field image using image inpainting
Khalifa et al. Visual path odometry for smart autonomous e-bikes
Ellenfeld et al. Deep fusion of appearance and frame differencing for motion segmentation
CN112002008A (zh) 一种整合光学和视觉智能技术的三维物体检测装置和方法
Makrigiorgis et al. How High can you Detect? Improved accuracy and efficiency at varying altitudes for Aerial Vehicle Detection
CN109492513B (zh) 光场监控的人脸空间去重方法
Deshpande et al. Vehicle classification
Lee et al. SAM-net: LiDAR depth inpainting for 3D static map generation
Kaul et al. Automated vehicle detection and classification methods
US11995869B2 (en) System and method to improve object detection accuracy by focus bracketing
Wu et al. An effective method for human detection using far-infrared images
Ying et al. Fully Convolutional Networks tor Street Furniture Identification in Panorama Images.
Fehlmann et al. Fusion of multiple sensor data to recognise moving objects in wide area motion imagery
Fleck et al. Low-Power Traffic Surveillance using Multiple RGB and Event Cameras: A Survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination