CN110866472A - 一种无人机地面运动目标识别与图像增强系统及方法 - Google Patents

一种无人机地面运动目标识别与图像增强系统及方法 Download PDF

Info

Publication number
CN110866472A
CN110866472A CN201911063982.8A CN201911063982A CN110866472A CN 110866472 A CN110866472 A CN 110866472A CN 201911063982 A CN201911063982 A CN 201911063982A CN 110866472 A CN110866472 A CN 110866472A
Authority
CN
China
Prior art keywords
image
target
ground
training
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911063982.8A
Other languages
English (en)
Inventor
李波
甘志刚
高晓光
杨志鹏
越凯强
梁诗阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201911063982.8A priority Critical patent/CN110866472A/zh
Publication of CN110866472A publication Critical patent/CN110866472A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种无人机地面运动目标识别与图像增强系统及方法，该系统由无人机、地面图像接收采集模块和地面PC三部分组成，无人机通过摄像头采集地面实时视频传送到地面图像接收采集模块，地面图像接收采集模块将接收到的视频数据通过USB端口传送到地面PC，地面PC检测并识别视频中的目标，识别到目标后，对视频图像进行图像分辨率增强处理。该系统及方法可以间接完成在无人机平台上对地面运动目标的实时检测识别；克服了复杂光照变化，摄像机抖动等原因造成识别图像的清晰度较差的现象，为后续的分析和决策提供了很大便利。

Description

一种无人机地面运动目标识别与图像增强系统及方法
技术领域
本发明属于计算机视觉领域，具体涉及一种目标识别与图像增强系统及方法。
背景技术
目标识别任务是计算机视觉领域的重要研究方向之一，对运动目标的实时识别是无人机不断自主化的发展方向，但是由于无人机平台的特殊性，传统的检测识别方法如基于分割、基于分类器、基于特征点等方法，时间复杂度高，检测鲁棒性不高。而基于深度学习的目标检测算法，由于对计算力的要求较高，所以无法直接在无人机平台上完成对地面运动目标的实时检测识别。
同时，在完成对地面运动目标的实时识别后，根据识别结果可以人为进行后续分析和决策。但是，在空中的无人机由于处在高空，虽然高度带来了大的视野，但也带来了诸多不利因素。复杂的光照变化，摄像机的抖动等造成识别图像的清晰度较差的现象，这为识别后的人为分析和决策带了较大困难。
发明内容
为了克服现有技术的不足，本发明提供一种无人机地面运动目标识别与图像增强系统及方法，该系统由无人机、地面图像接收采集模块和地面PC三部分组成，无人机通过摄像头采集地面实时视频传送到地面图像接收采集模块，地面图像接收采集模块将接收到的视频数据通过USB端口传送到地面PC，地面PC检测并识别视频中的目标，识别到目标后，对视频图像进行图像分辨率增强处理。
为达到上述目的，本发明采用以下技术方案：
一种无人机地面运动目标识别与图像增强系统，包括无人机、地面图像接收采集模块和地面PC；无人机和地面图像接收采集模块通过5.8GHz频段无线连接；地面图像接收采集模块和地面PC通过USB端口有线连接；
所述无人机包括摄像头和图传天空端，无人机按照预设的飞行航线飞行，摄像头实时采集地面视频，并通过图传天空端实时将视频数据传输给地面图像接收采集模块；
所述地面图像接收采集模块包括图传地面端和视频采集模块，图传地面端无线接收来自无人机发送的实时视频数据，再将视频数据通过HDMI接口送入视频采集模块；视频采集模块将接收到的视频数据通过USB接口发送到地面PC；
所述地面PC包括目标检测器和图像分辨率增强生成器，目标检测器检测地面PC从地面图像接收采集模块接收的视频数据，判断视频中是否存在目标物体；若视频中存在目标物体，则在视频中实时采用识别框标记目标物体，并给出类别信息，同时图像分辨率增强生成器对包含有目标的视频图像帧进行分辨率增强，使目标更加清晰地显示。
进一步地，所述图像分辨率增强生成器是由生成对抗网络组成；所述生成对抗网络包括生成网络和判别网络；
生成网络用于对图像进行分辨率增强；
判别网络用于判定生成网络对图像的增强效果。
一种无人机地面运动目标识别与图像增强系统的实现方法，包括以下步骤：
步骤1：无人机按照预设的飞行航线飞行，到达目标所在区域后，使用摄像头实时对目标所在区域进行视频拍摄，将采集到的视频数据由图传天空端通过5.8GHz频段无线发送到地面图像接收采集模块的图传地面端；
步骤2：地面图像接收采集模块的图传地面端将接收到的视频数据通过HDMI接口送入视频采集模块；地面PC与视频采集模块的USB接口连接；在地面PC上设定视频读取时间间隔，按照设定的读取时间间隔通过USB接口通道从视频采集模块读取视频数据，存储在地面PC上并显示；
步骤3：采用离线方法训练目标检测器，训练完成后，使用目标检测器检测地面PC接收到的视频，若视频中存在目标物体，则在该目标物体四周标出矩形识别框并对该目标物体进行识别，同时显示识别结果；
步骤4：采用离线方法训练图像分辨率增强生成器，训练完成后，对于含有目标物体的视频图像帧，地面PC采用图像分辨率增强生成器对目标图像进行分辨率增强并显示。
进一步地，上述步骤3中，所述采用离线方法训练目标检测器的步骤如下：
步骤3-1：将地面PC接收到的视频数据按设定好的固定帧间隔截取视频得到多张图像，用作目标检测器的图像数据库；
步骤3-2：人工在图像数据库的图像中框选目标位置，使目标恰好处于矩形框内，再手工将矩形框内的对象标注为预定义的类别；将得到的标注图像不少于百分之八十的部分作为目标检测器训练数据集，用于训练目标识别器参数；标注图像剩余部分作为目标检测器测试数据集，用于测试目标检测器训练识别结果；
步骤3-3：对目标检测器设置若干个卷积层和两层全连接层，各层卷积层采用ReLU激活函数激活，在各卷积层之后加入最大池化层进行池化操作，并将目标检测器的输出类别设置为需识别目标类别；
步骤3-4：设置目标检测器训练策略为正则化训练策略；定义损失函数Loss为：
Figure BDA0002258742370000031
其中，J0(w,b)表示未加入正则化操作卷积神经网络的输出结果，λcoord，λnoobj分别表示位置信息和类别信息定义在损失函数中的权重，i表示第i(i＝0,...,S2)个网格单元，S2表示第S2个网格单元，j表示第j(j＝0,...,B)个边界框，B表示第B个边界框，
Figure BDA0002258742370000032
则表示在网格单元i中的第j个边界框负责该对象的预测，w和b分别表示本发明采用的卷积神经网络的各层权重和偏置，
Figure BDA0002258742370000033
表示预测目标位置中心坐标位置信息,
Figure BDA0002258742370000034
表示预测识别框宽度与高度信息，
Figure BDA0002258742370000035
表示预测目标i的分类类别，
Figure BDA0002258742370000036
表示预测为类别的置信度，(xi,yi)表示训练样本真实目标位置中心坐标位置信息,
Figure BDA0002258742370000037
表示在网格单元i中有对象出现，(wi,hi)表示训练样本真实识别框宽度与高度信息，Ci表示训练样本真实目标i的分类类别，pi(c)表示该类别的置信度，c∈classes表示预测目标属于定义的某种类别之一；
对损失函数进行正则化操作，得到目标函数：
Figure BDA0002258742370000038
其中，m表示训练样本数目，λ表示惩罚因子，W|l|代表卷积网络中第l层的权重，L代表卷积神经网络总层数，l为卷积神经网络层数序号；
再对目标函数J(w,b)进行梯度下降操作，得到：
Figure BDA0002258742370000039
其中，α代表学习率；
步骤3-5：利用Tensorflow深度学习框架构建目标检测器，预设迭代步数、预期识别率、初始超参数，学习率和训练数据大小值；
步骤3-6：使用目标检测器训练数据集对目标检测器进行训练，训练完成后使用目标检测器测试数据集进行测试；
步骤3-7：采用训练完成的目标检测器完成对地面目标的识别；若存在目标，则在实时视频图像中目标物体四周标出矩形识别框，并保存识别框的在图像中的位置和宽高信息。
进一步地，上述步骤4中，采用离线方法训练图像分辨率增强生成器的步骤如下：
步骤4-1：从ImageNet图像数据集中按照符合需增强目标纹理特性和需增强目标种类的要求选取图像作为选择训练数据集；
步骤4-2：生成网络由5层卷积层和5层残差网络组成，卷积层用于提取图像特征，残差网络能够促进训练效果且解决梯度消失和梯度爆炸问题；判别网络由4层卷积层组成，卷积层用于提取输入图像特征；生成网络和判别网络组成生成对抗网络并构成图像分辨率增强生成器；
步骤4-3：利用Tensorflow深度学习框架实现生成对抗网络，构建损失函数：
生成网络的损失函数定义为：
gloss＝gcontentloss+gVGGloss+gadversarial
其中，
Figure BDA0002258742370000041
Figure BDA0002258742370000042
Figure BDA0002258742370000043
判别网络的损失函数定义为：
Figure BDA0002258742370000044
其中，gloss表示生成网络的损失，gcontentloss表示生成图片的内容损失，gVGGloss表示进行特征提取之后信息的损失，gadversarial表示生成网络的训练损失，N表示输入样本数，x，y代表图像像素点横坐标和纵坐标，rW代表图像宽度，rH代表图像高度，IHR表示高分辨率图像，ILR表示低分辨率图像，
Figure BDA0002258742370000045
表示生成网络以低分辨率图像作为输入的生成结果，Wi，j，Hi，j分别表示经神经网络特征提取后图像的宽度和高度，φi，j(IHR)x，y表示高分辨率图像经神经网络特征提取后的输出，
Figure BDA0002258742370000051
表示生成图像经神经网络特征提取后的输出，
Figure BDA0002258742370000052
表示判别网络以生成网络生成结果作为输入的判别结果，
Figure BDA0002258742370000053
表示判别网络以高分辨率图像作为输入的判别结果，E表示损失值，IHR～ptrain表示来自训练数据集的高分辨率图像，ILR～pG表示来自生成网络的生成图像，ptrain表示训练数据集，pG表示生成网络，θG表示生成网络参数，θD表示判别网络参数；
预设生成对抗网络的训练超参数，设定训练次数，输入选择训练数据集进行训练；
步骤4-4：根据步骤4-3完成训练的结果，图像分辨率增强生成器达到增强分辨率的效果。
进一步地，所述目标检测器为YOLOv3目标检测器。
进一步地，所述目标检测器设置有24个卷积层。
本发明的有益效果是：由于采用了本发明的无人机地面运动目标识别与图像增强系统及方法，可以间接完成在无人机平台上对地面运动目标的实时检测识别；克服了复杂光照变化，摄像机抖动等原因造成识别图像的清晰度较差的现象，为后续的分析和决策提供了很大便利。
附图说明
图1是本发明的系统结构图。
图2是本发明中图像分辨率增强生成器的训练流程图。
图3是本发明中生成网络结构示意图。
图4是本发明中判别网络结构示意图。
图5是本发明中图像分辨率增强生成器的图像处理流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示，本发明的技术方案如下：
一种无人机地面运动目标识别与图像增强系统，包括无人机、地面图像接收采集模块和地面PC；无人机和地面图像接收采集模块通过5.8GHz频段无线连接；地面图像接收采集模块和地面PC通过USB端口有线连接；
所述无人机包括摄像头和图传天空端，无人机按照预设的飞行航线飞行，摄像头实时采集地面视频，并通过图传天空端实时将视频数据传输给地面图像接收采集模块；
所述地面图像接收采集模块包括图传地面端和视频采集模块，图传地面端无线接收来自无人机发送的实时视频数据，再将视频数据通过HDMI接口送入视频采集模块；视频采集模块将接收到的视频数据通过USB接口发送到地面PC；
所述地面PC包括目标检测器和图像分辨率增强生成器，目标检测器检测地面PC从地面图像接收采集模块接收的视频数据，判断视频中是否存在目标物体；若视频中存在目标物体，则在视频中实时采用识别框标记目标物体，并给出类别信息，同时图像分辨率增强生成器对包含有目标的视频图像帧进行分辨率增强，使目标更加清晰地显示。
进一步地，所述图像分辨率增强生成器是由生成对抗网络组成；所述生成对抗网络包括生成网络和判别网络；
生成网络用于对图像进行分辨率增强；
判别网络用于判定生成网络对图像的增强效果。
一种无人机地面运动目标识别与图像增强系统的实现方法，包括以下步骤：
步骤1：无人机按照预设的飞行航线飞行，到达目标所在区域后，使用摄像头实时对目标所在区域进行视频拍摄，将采集到的视频数据由图传天空端通过5.8GHz频段无线发送到地面图像接收采集模块的图传地面端；
步骤2：地面图像接收采集模块的图传地面端将接收到的视频数据通过HDMI接口送入视频采集模块；地面PC与视频采集模块的USB接口连接；在地面PC上设定视频读取时间间隔，按照设定的读取时间间隔通过USB接口通道从视频采集模块读取视频数据，存储在地面PC上并显示；
步骤3：采用离线方法训练目标检测器，训练完成后，使用目标检测器检测地面PC接收到的视频，若视频中存在目标物体，则在该目标物体四周标出矩形识别框并对该目标物体进行识别，同时显示识别结果；
步骤4：采用离线方法训练图像分辨率增强生成器，训练完成后，对于含有目标物体的视频图像帧，地面PC采用图像分辨率增强生成器对目标图像进行分辨率增强并显示。
进一步地，上述步骤3中，所述采用离线方法训练目标检测器的步骤如下：
步骤3-1：将地面PC接收到的视频数据按设定好的固定帧间隔截取视频得到多张图像，用作目标检测器的图像数据库；
步骤3-2：人工在图像数据库的图像中框选目标位置，使目标恰好处于矩形框内，再手工将矩形框内的对象标注为预定义的类别；将得到的标注图像不少于百分之八十的部分作为目标检测器训练数据集，用于训练目标识别器参数；标注图像剩余部分作为目标检测器测试数据集，用于测试目标检测器训练识别结果；
步骤3-3：对目标检测器设置若干个卷积层和两层全连接层，各层卷积层采用ReLU激活函数激活，在各卷积层之后加入最大池化层进行池化操作，并将目标检测器的输出类别设置为需识别目标类别；
步骤3-4：设置目标检测器训练策略为正则化训练策略；定义损失函数Loss为：
Figure BDA0002258742370000071
其中，J0(w,b)表示未加入正则化操作卷积神经网络的输出结果，λcoord，λnoobj分别表示位置信息和类别信息定义在损失函数中的权重，i表示第i(i＝0,...,S2)个网格单元，S2表示第S2个网格单元，j表示第j(j＝0,...,B)个边界框，B表示第B个边界框，
Figure BDA0002258742370000072
则表示在网格单元i中的第j个边界框负责该对象的预测，w和b分别表示本发明采用的卷积神经网络的各层权重和偏置，
Figure BDA0002258742370000073
表示预测目标位置中心坐标位置信息,
Figure BDA0002258742370000074
表示预测识别框宽度与高度信息，
Figure BDA0002258742370000075
表示预测目标i的分类类别，
Figure BDA0002258742370000076
表示预测为类别的置信度，(xi,yi)表示训练样本真实目标位置中心坐标位置信息,
Figure BDA0002258742370000077
表示在网格单元i中有对象出现，(wi,hi)表示训练样本真实识别框宽度与高度信息，Ci表示训练样本真实目标i的分类类别，pi(c)表示该类别的置信度，c∈classes表示预测目标属于定义的某种类别之一；
对损失函数进行正则化操作，得到目标函数：
Figure BDA0002258742370000078
其中，m表示训练样本数目，λ表示惩罚因子，W|l|代表卷积网络中第l层的权重，L代表卷积神经网络总层数，l为卷积神经网络层数序号；
再对目标函数J(w,b)进行梯度下降操作，得到：
Figure BDA0002258742370000081
其中，α代表学习率；
步骤3-5：利用Tensorflow深度学习框架构建目标检测器，预设迭代步数、预期识别率、初始超参数，学习率和训练数据大小值；
步骤3-6：使用目标检测器训练数据集对目标检测器进行训练，训练完成后使用目标检测器测试数据集进行测试；
步骤3-7：采用训练完成的目标检测器完成对地面目标的识别；若存在目标，则在实时视频图像中目标物体四周标出矩形识别框，并保存识别框的在图像中的位置和宽高信息。
进一步地，上述步骤4中，采用离线方法训练图像分辨率增强生成器的步骤如下：
步骤4-1：从ImageNet图像数据集中按照符合需增强目标纹理特性和需增强目标种类的要求选取图像作为选择训练数据集；
步骤4-2：生成网络由5层卷积层和5层残差网络组成，卷积层用于提取图像特征，残差网络能够促进训练效果且解决梯度消失和梯度爆炸问题；判别网络由4层卷积层组成，卷积层用于提取输入图像特征；生成网络和判别网络组成生成对抗网络并构成图像分辨率增强生成器；
步骤4-3：利用Tensorflow深度学习框架实现生成对抗网络，构建损失函数：
生成网络的损失函数定义为：
gloss＝gcontentloss+gVGGloss+gadversarial
其中，
Figure BDA0002258742370000082
Figure BDA0002258742370000083
Figure BDA0002258742370000084
判别网络的损失函数定义为：
Figure BDA0002258742370000085
其中，gloss表示生成网络的损失，gcontentloss表示生成图片的内容损失，gVGGloss表示进行特征提取之后信息的损失，gadversarial表示生成网络的训练损失，N表示输入样本数，x，y代表图像像素点横坐标和纵坐标，rW代表图像宽度，rH代表图像高度，IHR表示高分辨率图像，ILR表示低分辨率图像，
Figure BDA0002258742370000091
表示生成网络以低分辨率图像作为输入的生成结果，Wi，j，Hi，j分别表示经神经网络特征提取后图像的宽度和高度，φi，j(IHR)x，y表示高分辨率图像经神经网络特征提取后的输出，
Figure BDA0002258742370000092
表示生成图像经神经网络特征提取后的输出，
Figure BDA0002258742370000093
表示判别网络以生成网络生成结果作为输入的判别结果，
Figure BDA0002258742370000094
表示判别网络以高分辨率图像作为输入的判别结果，E表示损失值，IHR～ptrain表示来自训练数据集的高分辨率图像，ILR～pG表示来自生成网络的生成图像，ptrain表示训练数据集，pG表示生成网络，θG表示生成网络参数，θD表示判别网络参数；
预设生成对抗网络的训练超参数，设定训练次数，输入选择训练数据集进行训练；
步骤4-4：根据步骤4-3完成训练的结果，图像分辨率增强生成器达到增强分辨率的效果。
进一步地，所述目标检测器为YOLOv3目标检测器。
进一步地，所述目标检测器设置有24个卷积层。
实施例：
本实施例中无人机上搭载摄像头和图传天空端，采用低延迟的高清数字摄像头，能够提供高动态范围和105度的广角视角；图传天空端利用5.8Ghz频段传输图像，采用两根天线发送图像数据，兼顾图像的清晰度和传输延迟。
对于YOLOv3目标检测器的离线训练，采取了如下措施：
无人机在空中于不同位置、不同高度和不同姿态对需识别物体采集训练图像数据，无人机通过图传天空端向地面图像接收采集模块传输视频，经过信号转换后，由地面PC在硬盘存储视频数据；
在空中对地面目标各个角度、高度采集图像数据，可以保证目标检测器识别的鲁棒性和泛化能力。
对视频数据按帧截取，以设定好的固定帧间隔截取视频得到2000张图像，人为筛选出目标显示完整的1100张图像用作目标检测器训练数据集图像；
人为对图像数据进行标注操作，框选图像中目标位置，标注目标类别，重复操作。选择840张标注图像作为目标检测器训练数据集，用于训练目标识别器参数。将200张图像作为测试数据集，用于测试目标检测器训练识别结果。将60张图像作为交叉验证集用于选择训练超参数；
设置初始超参数初始学习率learning_rate＝0.03，批处理尺寸batch_size＝64，训练次数epoch＝500，运行神经网络模型，对损失函数Loss进行梯度下降更新网络参数。
不断训练，根据训练结果调整初始设置的目标检测器超参数，使目标检测器达到预期识别结果。
经过多次实验测试，得到能使模型训练快速收敛的超参数，初始学习率设定为learning_rate＝0.01，批处理尺寸设定为batch_size＝128。
如图3、4、5所示，在对图像分辨率增强生成器的训练中，设计的生成网络和判别网络的结构如下：
生成网络中各层的结构如表1：
表1
卷积核维度 卷积步长
Conv_1 64 3x3 1
Res_1 64 3x3 1
Res_2 64 3x3 1
Res_3 64 3x3 1
Res_4 64 3x3 1
Res_5 64 3x3 1
Conv_2 64 3x3 1
Conv_3 256 3x3 1
Conv_4 256 3x3 1
Conv_5 3 3x3 1
判别网络由4层卷积层组成，用于提取输入图像特征，判别网络各层的结构如表2：
表2
卷积核维度 卷积步长
Conv_1 64 3x3 1
Conv_2 128 3x3 1
Conv_3 256 3x3 1
Conv_4 512 3x3 1
如图2所示，在训练图像分辨率增强生成器时，交替训练生成网络G和判别网络D，在一段时间内，固定生成网络G的参数，优化判别网络D；在下一段时间内，固定判别网络D中的参数，优化生成网络G。
步骤如下：
(1)初始化生成网络G和判别网络D；
(2)循环迭代训练判别网络D：
<1>从高分辨率图像中抽样m个图像{x(1),x(2),x(3),...,x(m)}，x(n)表示抽样得到的第n个高分辨率图像；
<2>从低分辨率图像中抽样m个图像{z(1),z(2),z(3),...,z(m)}，z(n)表示抽样得到的第n个低分辨率图像；
<3>利用生成网络G生成m个生成结果，
Figure BDA0002258742370000111
表示以低分辨率图像zi输入生成网络G的生成结果；
<4>最大化损失函数V，更新判别网络参数θD，通过梯度上升使得目标函数达到最大值：
Figure BDA0002258742370000112
Figure BDA0002258742370000113
其中，D(xi)表示以高分辨率图像xi输入判别网络D的输出，
Figure BDA0002258742370000114
表示以生成网络G的生成结果输入判别网络D的输出，η为学习率；
(3)训练生成网络G，循环1次：
<1>从低分辨率图像中抽样m个图像{z(1),z(2),z(3),...,z(m)}，z(n)表示抽样得到的第n个低分辨率图像。
<2>最大化损失函数V，更新生成网络参数θG，通过梯度下降使得目标函数gloss达到最小值，其中学习率为η：
Figure BDA0002258742370000115
按照训练结果，调整生成对抗网络训练超参数，多次训练使图像分辨率增强生成器达到预设效果。

Claims (7)

1.一种无人机地面运动目标识别与图像增强系统，其特征在于，包括无人机、地面图像接收采集模块和地面PC；无人机和地面图像接收采集模块通过5.8GHz频段无线连接；地面图像接收采集模块和地面PC通过USB端口有线连接；
所述无人机包括摄像头和图传天空端，无人机按照预设的飞行航线飞行，摄像头实时采集地面视频，并通过图传天空端实时将视频数据传输给地面图像接收采集模块；
所述地面图像接收采集模块包括图传地面端和视频采集模块，图传地面端无线接收来自无人机发送的实时视频数据，再将视频数据通过HDMI接口送入视频采集模块；视频采集模块将接收到的视频数据通过USB接口发送到地面PC；
所述地面PC包括目标检测器和图像分辨率增强生成器，目标检测器检测地面PC从地面图像接收采集模块接收的视频数据，判断视频中是否存在目标物体；若视频中存在目标物体，则在视频中实时采用识别框标记目标物体，并给出类别信息，同时图像分辨率增强生成器对包含有目标的视频图像帧进行分辨率增强，使目标更加清晰地显示。
2.根据权利要求1所述的一种无人机地面运动目标识别与图像增强系统，其特征在于，所述图像分辨率增强生成器是由生成对抗网络组成；所述生成对抗网络包括生成网络和判别网络；
生成网络用于对图像进行分辨率增强；
判别网络用于判定生成网络对图像的增强效果。
3.一种无人机地面运动目标识别与图像增强系统的实现方法，其特征在于，包括以下步骤：
步骤1：无人机按照预设的飞行航线飞行，到达目标所在区域后，使用摄像头实时对目标所在区域进行视频拍摄，将采集到的视频数据由图传天空端通过5.8GHz频段无线发送到地面图像接收采集模块的图传地面端；
步骤2：地面图像接收采集模块的图传地面端将接收到的视频数据通过HDMI接口送入视频采集模块；地面PC与视频采集模块的USB接口连接；在地面PC上设定视频读取时间间隔，按照设定的读取时间间隔通过USB接口通道从视频采集模块读取视频数据，存储在地面PC上并显示；
步骤3：采用离线方法训练目标检测器，训练完成后，使用目标检测器检测地面PC接收到的视频，若视频中存在目标物体，则在该目标物体四周标出矩形识别框并对该目标物体进行识别，同时显示识别结果；
步骤4：采用离线方法训练图像分辨率增强生成器，训练完成后，对于含有目标物体的视频图像帧，地面PC采用图像分辨率增强生成器对目标图像进行分辨率增强并显示。
4.根据权利要求3所述的一种无人机地面运动目标识别与图像增强系统的实现方法，其特征在于，步骤3中采用离线方法训练目标检测器的步骤如下：
步骤3-1：将地面PC接收到的视频数据按设定好的固定帧间隔截取视频得到多张图像，用作目标检测器的图像数据库；
步骤3-2：人工在图像数据库的图像中框选目标位置，使目标恰好处于矩形框内，再手工将矩形框内的对象标注为预定义的类别；将得到的标注图像不少于百分之八十的部分作为目标检测器训练数据集，用于训练目标识别器参数；标注图像剩余部分作为目标检测器测试数据集，用于测试目标检测器训练识别结果；
步骤3-3：对目标检测器设置若干个卷积层和两层全连接层，各层卷积层采用ReLU激活函数激活，在各卷积层之后加入最大池化层进行池化操作，并将目标检测器的输出类别设置为需识别目标类别；
步骤3-4：设置目标检测器训练策略为正则化训练策略；定义损失函数Loss为：
Figure FDA0002258742360000021
其中，J0(w,b)表示未加入正则化操作卷积神经网络的输出结果，λcoord，λnoobj分别表示位置信息和类别信息定义在损失函数中的权重，i表示第i(i＝0,...,S2)个网格单元，S2表示第S2个网格单元，j表示第j(j＝0,...,B)个边界框，B表示第B个边界框，
Figure FDA0002258742360000022
则表示在网格单元i中的第j个边界框负责该对象的预测，w和b分别表示本发明采用的卷积神经网络的各层权重和偏置，
Figure FDA0002258742360000023
表示预测目标位置中心坐标位置信息,
Figure FDA0002258742360000024
表示预测识别框宽度与高度信息，
Figure FDA0002258742360000025
表示预测目标i的分类类别，
Figure FDA0002258742360000026
表示预测为类别的置信度，(xi,yi)表示训练样本真实目标位置中心坐标位置信息,
Figure FDA0002258742360000027
表示在网格单元i中有对象出现，(wi,hi)表示训练样本真实识别框宽度与高度信息，Ci表示训练样本真实目标i的分类类别，pi(c)表示该类别的置信度，c∈classes表示预测目标属于定义的某种类别之一；
对损失函数进行正则化操作，得到目标函数：
Figure FDA0002258742360000031
其中，m表示训练样本数目，λ表示惩罚因子，W|l|代表卷积网络中第l层的权重，L代表卷积神经网络总层数，l为卷积神经网络层数序号；
再对目标函数J(w,b)进行梯度下降操作，得到：
Figure FDA0002258742360000032
其中，α代表学习率；
步骤3-5：利用Tensorflow深度学习框架构建目标检测器，预设迭代步数、预期识别率、初始超参数，学习率和训练数据大小值；
步骤3-6：使用目标检测器训练数据集对目标检测器进行训练，训练完成后使用目标检测器测试数据集进行测试；
步骤3-7：采用训练完成的目标检测器完成对地面目标的识别；若存在目标，则在实时视频图像中目标物体四周标出矩形识别框，并保存识别框的在图像中的位置和宽高信息。
5.根据权利要求3所述的一种无人机地面运动目标识别与图像增强系统的实现方法，其特征在于，步骤4中采用离线方法训练图像分辨率增强生成器的步骤如下：
步骤4-1：从ImageNet图像数据集中按照符合需增强目标纹理特性和需增强目标种类的要求选取图像作为选择训练数据集；
步骤4-2：生成网络由5层卷积层和5层残差网络组成，卷积层用于提取图像特征，残差网络能够促进训练效果且解决梯度消失和梯度爆炸问题；判别网络由4层卷积层组成，卷积层用于提取输入图像特征；生成网络和判别网络组成生成对抗网络并构成图像分辨率增强生成器；
步骤4-3：利用Tensorflow深度学习框架实现生成对抗网络，构建损失函数：
生成网络的损失函数定义为：
gloss＝gcontentloss+gVGGloss+gadversarial
其中，
Figure FDA0002258742360000041
Figure FDA0002258742360000042
Figure FDA0002258742360000043
判别网络的损失函数定义为：
Figure FDA0002258742360000044
其中，gloss表示生成网络的损失，gcontentloss表示生成图片的内容损失，gVGGloss表示进行特征提取之后信息的损失，gadversarial表示生成网络的训练损失，N表示输入样本数，x,y代表图像像素点横坐标和纵坐标，rW代表图像宽度，rH代表图像高度，IHR表示高分辨率图像，ILR表示低分辨率图像，
Figure FDA0002258742360000045
表示生成网络以低分辨率图像作为输入的生成结果，Wi,j，Hi,j分别表示经神经网络特征提取后图像的宽度和高度，φi,j(IHR)x,y表示高分辨率图像经神经网络特征提取后的输出，
Figure FDA0002258742360000046
表示生成图像经神经网络特征提取后的输出，
Figure FDA0002258742360000047
表示判别网络以生成网络生成结果作为输入的判别结果，
Figure FDA0002258742360000048
表示判别网络以高分辨率图像作为输入的判别结果，E表示损失值，IHR～ptrain表示来自训练数据集的高分辨率图像，ILR～pG表示来自生成网络的生成图像，ptrain表示训练数据集，pG表示生成网络，θG表示生成网络参数，θD表示判别网络参数；
预设生成对抗网络的训练超参数，设定训练次数，输入选择训练数据集进行训练；
步骤4-4：根据步骤4-3完成训练的结果，图像分辨率增强生成器达到增强分辨率的效果。
6.根据权利要求1所述的一种无人机地面运动目标识别与图像增强系统，其特征在于，所述目标检测器为YOLOv3目标检测器。
7.根据权利要求4所述的一种无人机地面运动目标识别与图像增强系统的实现方法，其特征在于，在步骤3-3中目标检测器设置有24个卷积层。
CN201911063982.8A 2019-11-04 2019-11-04 一种无人机地面运动目标识别与图像增强系统及方法 Pending CN110866472A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911063982.8A CN110866472A (zh) 2019-11-04 2019-11-04 一种无人机地面运动目标识别与图像增强系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911063982.8A CN110866472A (zh) 2019-11-04 2019-11-04 一种无人机地面运动目标识别与图像增强系统及方法

Publications (1)

Publication Number Publication Date
CN110866472A true CN110866472A (zh) 2020-03-06

Family

ID=69654309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911063982.8A Pending CN110866472A (zh) 2019-11-04 2019-11-04 一种无人机地面运动目标识别与图像增强系统及方法

Country Status (1)

Country Link
CN (1) CN110866472A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111669501A (zh) * 2020-06-18 2020-09-15 南方电网数字电网研究院有限公司 基于无人机的拍摄方法、装置、计算机设备和介质
CN111881831A (zh) * 2020-07-28 2020-11-03 南京拟态智能技术研究院有限公司 一种基于深度学习的多尺度特征融合目标检测系统
CN113534837A (zh) * 2021-07-06 2021-10-22 深圳市科卫泰实业发展有限公司 基于生成对抗网络的无人机飞行状态融合控制系统及控制方法
CN117809138A (zh) * 2024-02-23 2024-04-02 中国电子科技集团公司第二十九研究所 一种多余物检测图像数据集增强方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794468A (zh) * 2015-05-20 2015-07-22 成都通甲优博科技有限责任公司 一种基于无人机动平台的人脸检测与跟踪方法
CN106056624A (zh) * 2016-05-24 2016-10-26 西北工业大学 无人机高清图像小目标检测与跟踪系统及其检测跟踪方法
CN108805070A (zh) * 2018-06-05 2018-11-13 合肥湛达智能科技有限公司 一种基于嵌入式终端的深度学习行人检测方法
CN109086792A (zh) * 2018-06-26 2018-12-25 上海理工大学 基于检测和识别网络架构的细粒度图像分类方法
CN109145958A (zh) * 2018-07-27 2019-01-04 哈尔滨工业大学 一种基于多任务生成对抗网络的真实场景小物体检测方法
CN109871902A (zh) * 2019-03-08 2019-06-11 哈尔滨工程大学 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
CN109919058A (zh) * 2019-02-26 2019-06-21 武汉大学 一种基于Yolo V3的多源视频影像重点目标快速检测方法
CN109977817A (zh) * 2019-03-14 2019-07-05 南京邮电大学 基于深度学习的动车组车底板螺栓故障检测方法
CN110059558A (zh) * 2019-03-15 2019-07-26 江苏大学 一种基于改进ssd网络的果园障碍物实时检测方法
CN110119780A (zh) * 2019-05-10 2019-08-13 西北工业大学 基于生成对抗网络的高光谱图像超分辨重建方法
CN110135366A (zh) * 2019-05-20 2019-08-16 厦门大学 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794468A (zh) * 2015-05-20 2015-07-22 成都通甲优博科技有限责任公司 一种基于无人机动平台的人脸检测与跟踪方法
CN106056624A (zh) * 2016-05-24 2016-10-26 西北工业大学 无人机高清图像小目标检测与跟踪系统及其检测跟踪方法
CN108805070A (zh) * 2018-06-05 2018-11-13 合肥湛达智能科技有限公司 一种基于嵌入式终端的深度学习行人检测方法
CN109086792A (zh) * 2018-06-26 2018-12-25 上海理工大学 基于检测和识别网络架构的细粒度图像分类方法
CN109145958A (zh) * 2018-07-27 2019-01-04 哈尔滨工业大学 一种基于多任务生成对抗网络的真实场景小物体检测方法
CN109919058A (zh) * 2019-02-26 2019-06-21 武汉大学 一种基于Yolo V3的多源视频影像重点目标快速检测方法
CN109871902A (zh) * 2019-03-08 2019-06-11 哈尔滨工程大学 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
CN109977817A (zh) * 2019-03-14 2019-07-05 南京邮电大学 基于深度学习的动车组车底板螺栓故障检测方法
CN110059558A (zh) * 2019-03-15 2019-07-26 江苏大学 一种基于改进ssd网络的果园障碍物实时检测方法
CN110119780A (zh) * 2019-05-10 2019-08-13 西北工业大学 基于生成对抗网络的高光谱图像超分辨重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110135366A (zh) * 2019-05-20 2019-08-16 厦门大学 基于多尺度生成对抗网络的遮挡行人重识别方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111669501A (zh) * 2020-06-18 2020-09-15 南方电网数字电网研究院有限公司 基于无人机的拍摄方法、装置、计算机设备和介质
CN111669501B (zh) * 2020-06-18 2021-10-22 南方电网数字电网研究院有限公司 基于无人机的拍摄方法、装置、计算机设备和介质
CN111881831A (zh) * 2020-07-28 2020-11-03 南京拟态智能技术研究院有限公司 一种基于深度学习的多尺度特征融合目标检测系统
CN113534837A (zh) * 2021-07-06 2021-10-22 深圳市科卫泰实业发展有限公司 基于生成对抗网络的无人机飞行状态融合控制系统及控制方法
CN113534837B (zh) * 2021-07-06 2024-03-22 深圳市科卫泰实业发展有限公司 基于生成对抗网络的无人机飞行状态融合控制系统及控制方法
CN117809138A (zh) * 2024-02-23 2024-04-02 中国电子科技集团公司第二十九研究所 一种多余物检测图像数据集增强方法及系统
CN117809138B (zh) * 2024-02-23 2024-05-14 中国电子科技集团公司第二十九研究所 一种多余物检测图像数据集增强方法及系统

Similar Documents

Publication Publication Date Title
US11783569B2 (en) Method for classifying hyperspectral images on basis of adaptive multi-scale feature extraction model
CN112380952B (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN110866472A (zh) 一种无人机地面运动目标识别与图像增强系统及方法
CN109165623B (zh) 基于深度学习的水稻病斑检测方法及系统
CN113435282B (zh) 基于深度学习的无人机影像麦穗识别方法
CN111428625A (zh) 一种基于深度学习的交通场景目标检测方法及系统
CN113255589B (zh) 一种基于多卷积融合网络的目标检测方法及系统
CN109117838B (zh) 应用于无人船感知系统的目标检测方法及装置
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN111144418B (zh) 一种铁路轨道区域分割提取的方法
CN114820655B (zh) 可靠区域作为注意力机制监督的弱监督建筑物分割方法
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN111291684A (zh) 一种自然场景下的船牌检测方法
CN111008994A (zh) 基于MPSoC的运动目标实时检测跟踪系统及方法
CN116824335A (zh) 一种基于YOLOv5改进算法的火灾预警方法及系统
CN117197676A (zh) 一种基于特征融合的目标检测识别方法
CN115409789A (zh) 基于图像语义分割的输电线路工程缺陷检测方法
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
CN112884795A (zh) 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法
CN109409285B (zh) 基于重叠切片的遥感视频目标检测方法
CN115019201A (zh) 一种基于特征精细化深度网络的弱小目标检测方法
CN114283326A (zh) 一种结合局部感知和高阶特征重构的水下目标重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200306