CN110008833B - 基于光学遥感图像的目标船只检测方法 - Google Patents

基于光学遥感图像的目标船只检测方法 Download PDF

Info

Publication number
CN110008833B
CN110008833B CN201910149622.3A CN201910149622A CN110008833B CN 110008833 B CN110008833 B CN 110008833B CN 201910149622 A CN201910149622 A CN 201910149622A CN 110008833 B CN110008833 B CN 110008833B
Authority
CN
China
Prior art keywords
image
local
features
target ship
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910149622.3A
Other languages
English (en)
Other versions
CN110008833A (zh
Inventor
张忠星
张广乾
朱文平
刘力源
刘剑
吴南健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Semiconductors of CAS
Original Assignee
Institute of Semiconductors of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Semiconductors of CAS filed Critical Institute of Semiconductors of CAS
Priority to CN201910149622.3A priority Critical patent/CN110008833B/zh
Publication of CN110008833A publication Critical patent/CN110008833A/zh
Application granted granted Critical
Publication of CN110008833B publication Critical patent/CN110008833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于光学遥感图像的目标船只检测方法，包括：对光学遥感图像构建图像金字塔，对每层金字塔的图像进行切块处理，得到多个图像块；针对每个图像块，求解该图像块的梯度，二值化并求和，若求和结果不小于预设阈值，则根据图像块中所有像素点的灰度值对该图像块进行局部特征描述，将图像块划分为多个局部区域，并判定局部区域是否包含局部特征，若存在，计算包含的局部特征的属性信息，并根据属性信息得到目标船只感兴趣区域并将计算感兴趣区域中心位置坐标；将感兴趣区域采样为预设分辨率大小的图像，判断图像的类别，若类别为船只，则根据图像对应的感兴趣区域中心位置坐标得到目标船只的位置坐标。该方法能够快速精确检测目标船只的位置。

Description

基于光学遥感图像的目标船只检测方法
技术领域
本发明涉及图像处理领域，尤其涉及一种基于光学遥感图像的目标船只检测方法。
背景技术
随着光学遥感图像传感器技术的提高，遥感图像分辨率逐步提升。实现船只目标的实时检测对于实现海上交通管理、海洋救援、违法捕鱼监管等实时性要求较高的任务有重大意义。
目前对于光学图像下的船只目标检测主要基于两种方式，基于传统计算机视觉、机器学习的方式和基于深度学习的方式。前者利用人工方式手动提取特征，之后采用分类模型对目标区域进行分类，从而实现船只目标检测。该种方式检测速度较快但检测精度较低。深度学习方式采用深度学习模型自发提取图像有效特征，从而实现分类或检测的目的。该种方式检测精度较高但检测速度较慢。
发明内容
(一)要解决的技术问题
针对于上述技术问题，本发明提出一种基于光学遥感图像的目标船只检测方法，用于至少部分解决上述技术问题。
(二)技术方案
本发明提出一种基于光学遥感图像的目标船只检测方法，包括：S1，对光学遥感图像构建图像金字塔，并依次对每层金字塔的图像进行图像切块处理，得到多个分辨率大小固定的图像块；S2，针对每个图像块，求解该图像块的图像梯度，对图像梯度进行二值化并求和，若求和结果不小于预设阈值，则执步骤S3，否则结束对该图像块的处理；S3，根据图像块中所有像素点的灰度值对该图像块进行局部特征描述，将图像块划分为多个局部区域，根据预设判断标准判定多个局部区域是否包含局部特征，若存在，执行步骤S4，否则结束对该图像块的处理；S4，计算多个局部区域包含的局部特征的属性信息，并根据属性信息得到目标船只感兴趣区域并将计算感兴趣区域中心位置坐标；S5，将目标船只感兴趣区域采样为预设分辨率大小的图像，判断图像的类别，若图像的类别为船只，则根据图像对应的感兴趣区域中心位置坐标得到目标船只的位置坐标。
可选地，根据图像块中所有像素点的灰度值对该图像块进行局部特征描述包括：选取图像块中一像素点为圆心，以不同半径R作不同圆周，以选定一局部区域，分别以不同圆周上与X轴正方向交点处像素点为起始位置，依次对不同圆周上的像素点进行编号；依次对每个圆周上编号后的像素点作三值化处理，公式如下：
Figure GDA0002878717560000021
其中，
Figure GDA0002878717560000022
表示半径为R的圆周上编号为i处的像素点的灰度值，IC为圆心处像素点的灰度值，thresD根据不同局部特征类型分别设定；按照以上方法对图像块中所有像素点进行特征描述。
可选地，根据预设判断标准判定多个局部区域是否包含局部特征中，局部特征包括点、斑、线、边界及角点。
可选地，根据预设判断标准判定多个局部区域是否包含局部特征包括：对于点特征，以不同半径a、b、c作不同圆周，以选定一局部区域，其中a＜b＜c，若所有圆周上像素点
Figure GDA0002878717560000023
值为0，则局部区域包含的局部特征为亮点，若所有圆周上像素点
Figure GDA0002878717560000024
值为1，则局部区域包含的局部特征为暗点。
可选地，根据预设判断标准判定多个局部区域是否包含局部特征包括：对于斑特征，以不同半径a、b、c作不同圆周，以选定一局部区域，其中a＜b＜c；若半径为a的圆周上所有像素点
Figure GDA0002878717560000025
值为0且半径为b、c圆周上所有
Figure GDA0002878717560000026
值均为-1或半径为a、b圆周上所有
Figure GDA0002878717560000027
值为0且半径为c圆周上所有
Figure GDA0002878717560000028
值均为-1，则局部区域包含的局部特征为亮斑；若半径为a的圆周上所有像素点
Figure GDA0002878717560000029
值为0且半径为b、c圆周上所有
Figure GDA00028787175600000210
值均为1或半径为a、b圆周上所有
Figure GDA0002878717560000031
值为0且半径为c圆周上所有
Figure GDA0002878717560000032
值均为1，则局部区域包含的局部特征为暗斑。
可选地，根据预设判断标准判定多个局部区域是否包含局部特征包括：对于线特征，以不同半径a、b、c作不同圆周，以选定一局部区域，其中a＜b＜c，若所有圆周上像素点的灰度值满足条件：
Figure GDA0002878717560000033
Figure GDA0002878717560000034
others DR＝0
其中，i、j、k分别表示半径为a、b、c圆周上图像局部特征描述三值化为0的编号，l、m、n分别表示半径为a、b、c圆周上像素点个数；则局部区域包含的局部特征为线特征。
可选地，根据预设判断标准判定多个局部区域是否包含局部特征包括：对于角点及边界特征，以不同半径a、b、c作不同圆周，以选定一局部区域，其中a＜b＜c，若满足
Figure GDA0002878717560000035
Figure GDA0002878717560000036
及
Figure GDA0002878717560000037
Figure GDA0002878717560000038
则局部区域包含夹角为角点或边界特征；其中，
Figure GDA0002878717560000039
Figure GDA00028787175600000310
x为a或b或c，
Figure GDA00028787175600000311
分别表示不同圆周上
Figure GDA00028787175600000312
的值连续为1和-1对应的像素点数目，
Figure GDA00028787175600000313
分别表示不同圆周上
Figure GDA00028787175600000314
的值连续为1和-1的像素点对应的中间位置坐标，
Figure GDA00028787175600000315
表示半径为a或b或c的圆周上像素点数目；thresA表示预设的对半径不同的圆周上夹角差异的容忍阈值，thresO表示预设的对半径不同圆周上方向差异的容忍阈值。
可选地，计算多个局部区域包含的局部特征的属性信息中，角点和边界特征的属性信息包括夹角为A1方向为O1或夹角为A-1方向为O-1，通过下式得到：
Figure GDA0002878717560000041
或：
Figure GDA0002878717560000042
若计算得到的夹角为π，则局部区域包含的局部特征为边界特征，否则为角点特征。
可选地，根据属性信息得到目标船只感兴趣区域并将计算感兴趣区域中心位置坐标公式如下：
Figure GDA0002878717560000043
Figure GDA0002878717560000044
CLi＝Ci+0.25(Coeffx，Coeffy)×(Ls，Ls)
其中，CLi为感兴趣区域中心位置坐标，Ls为感兴趣区域的边长，Ci表示圆心的坐标，O表示多个局部区域包含的局部特征的属性信息；
将上述公式计算得到的每层金字塔的图像中所有感兴趣区域中心位置坐标按如下公式进行融合：
Figure GDA0002878717560000045
其中，CLxy表示融合后的感兴趣区域中心位置坐标，K表示IOU大于0.5的感兴趣区域的数目，此时CLi选取IOU大于0.5的感兴趣区域的中心位置坐标。
可选地，将采样的目标船只感兴趣区域的图像输入卷积神经网络判断图像的类别，图像的类别包括船只、海洋、云、陆地。
(三)有益效果
本发明提出一种基于光学遥感图像的目标船只检测方法，具有以下有益效果：
1、采用图像梯度信息快速排除遥感图像中占比例较高的无关背景图像区域，大幅度加快船只目标检测过程。
2、通过对每个图像块进行局部特征描述，然后根据局部特征描述的结果对进步特征的判定及计算，能够快速精确地实现船只目标的位置确定。
3、本发明所涉及的计算过程含有像素级并行度，能够通过SIMD模式处理器实现算法的并行化加速实现。
附图说明
图1是本发明实施例基于光学遥感图像的目标船只检测方法流程图。
图2是本发明实施例对图像块进行局部特征描述、判定与方向生成示意图。
图3是本发明实施例实现图像的类别判断及坐标计算的卷积神经网络示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明提出一种基于光学遥感图像的目标船只检测方法，该方法分为两个阶段，第一阶段基于光学遥感图像的局部特征，采用局部特征描述方式Local Structure-AngleFeature(LSAF)实现目标船只的感兴趣区域(ROI)的快速提取，第二阶段采用卷积神经网络对ROI区域进行分类，判断ROI区域是否为船只目标，并输出船只坐标位置。下面详细介绍。
图1是本发明实施例基于光学遥感图像的目标船只检测方法流程图。如图1所示，该方法包括：
S1，对光学遥感图像构建图像金字塔，并依次对每层金字塔的图像进行图像切块处理，得到多个分辨率大小固定的图像块。
在本发明的一实施例中，首先对输入的对输入原始光学遥感图像构建5级图像金字塔，并依次对图像金字塔每层图像进行大小为256×256且上下左右均重叠16像素的图像切块处理，然后，对得到的分辨率为256×256的图像块进行预处理(图像灰度拉伸)，提升弱对比度图像质量。具体实现方式如下：
Figure GDA0002878717560000061
其中，Imax、Imin、Ix，y分别表示256×256图像灰度值的最大值、最小值以及图像第x行第y列像素点的灰度值。
S2，针对每个图像块，求解该图像块的图像梯度，对图像梯度进行二值化并求和，若求和结果不小于预设阈值，则执步骤S3，否则结束对该图像块的处理。
在本发明一实施例中，利用sobel算子求取每个图像块梯度，设定梯度二值化阈值thresB，求取图像梯度的二值化后的和sumG，并与阈值thresG比较，若sumG大于等于thresG则进行步骤S3处理，否则结束对该图像块的处理。
S3，根据图像块中所有像素点的灰度值对该图像块进行局部特征描述，将图像块划分为多个局部区域，根据预设判断标准判定多个局部区域是否包含局部特征，若存在，执行步骤S4，否则结束对该图像块的处理。
对步骤S3中满足梯度阈值thresG的图像块利用LSAF局部特征描述方式进行处理，LSAF局部特征描述方式能够实现对于图像局部特征(如点、斑、线、边界、角点等)进行描述和检测，并能够给出特定局部结构的属性信息，如角点的夹角大小和方向信息等。
图像的局部结构一般主要有以下几种表现形式：点、斑、线、边界、角点等。点在局部图像中表现形式为单个中心像素值低于或者高于周围圆环的全部像素值。斑表示为像素值相差不多的多个中心像素比周围圆环上像素有明显的差别。线在局部图像中表现出来的形式为在某个方向上的图像像素和其他位置的像素有明显的差别。角点可以理解为边界的一种特殊情况，指的是当以局部图像中心像素为顶点，只有一个夹角内的像素值与其他地方有明显差异。基于上述认知，通过LSAF局部特征描述方式具体实现图像局部特征检测过程包含两个步骤：一、对图像局部特征进行局部特征描述；二、通过具体的检测标准对图像局部特征属性(点、斑、线、边界、角点等)进行判定，同时对于角点特征生成其夹角大小和角点方向信息。下面详细介绍。
首先对图像进行局部特征描述。为了LSAF对图像亮度变化具有较强的鲁棒性，通过图像局部特征的亮度相对情况(像素点灰度值相对明暗程度而非像素点绝对灰度值)对局部图像进行描述，具体描述示意图如图2所示，包括：
(a)、选取所述图像块中一像素点为圆心，以不同半径R作不同圆周，以选定一局部区域，分别以不同圆周上与X轴正方向交点处像素点为起始位置，依次对不同圆周上的像素点进行编号(图2局部结构描述中斜体数字)。其中半径的选取根据实际需求而定。一般半径的选取为a、b、c，但不仅限于a、b、c，也可以为a、b、c、d、e…，只是半径选取的越多，计算的复杂程度越高，通过本发明的研究，选取半径a、b、c已可以精确的识别出目标船只。
(b)、依次对各个圆周上像素点对应灰度值与圆心位置IC像素灰度值进行比较得到圆周的三值化描述并作为局部图像结构的描述。对于半径为R的圆周上编号为i对应的三值化描述
Figure GDA0002878717560000071
可通过以下方式描述：
Figure GDA0002878717560000072
其中，
Figure GDA0002878717560000073
表示半径为R的圆周上编号为i处的像素点的灰度值，IC为圆心处像素点的灰度值，thresD根据不同局部特征类型分别设定，对于斑特征其阈值需要根据待检测斑点中亮像素点与暗像素点差值确定，对于线特征，其值需要根据待检测线上的像素点的亮度变化情况进行确定，对于其余图像局部特征thresD为0。对于图像块中的每一个像素点，按照步骤a、b进行描述，从而将图像块划分为了多个局部区域，后期对每个局部区域进行判定及属性形成，最后综合所有局部区域判定及属性形成的结果，识别目标船只。
其次，根据局部特征描述后的结果，结合预设的具体判断标准判定个局部区域是否包含局部特征。由于图像不同局部特征(点、斑、线、边界、角点)具有明显差异，需要对不同特征进行分别判断：
对于点特征，其判定过程即为简单，以不同半径a、b、c作不同圆周，以选定一局部区域，其中a＜b＜c，若圆心处的像素点灰度值高于周围所有像素点，即所有圆周上像素点
Figure GDA0002878717560000081
值为0，则该局部区域包含的局部特征为亮点，若所有圆周上像素点
Figure GDA0002878717560000082
值为1，则该局部区域包含的局部特征为暗点。在本发明一实施例中，半径选取为1、3、5。
对于斑特征，以不同半径a、b、c作不同圆周，以选定一局部区域，其中a＜b＜c；若半径为a的圆周上所有像素点
Figure GDA0002878717560000083
值为0且半径为b、c圆周上所有
Figure GDA0002878717560000084
值均为-1或半径为a、b圆周上所有
Figure GDA0002878717560000085
值为0且半径为c圆周上所有
Figure GDA0002878717560000086
值均为-1，则该局部区域包含的局部特征为亮斑；若半径为a的圆周上所有像素点
Figure GDA0002878717560000087
值为0且半径为b、c圆周上所有
Figure GDA0002878717560000088
值均为1或半径为a、b圆周上所有
Figure GDA0002878717560000089
值为0且半径为c圆周上所有
Figure GDA00028787175600000810
值均为1，则该局部区域包含的局部特征为暗斑。在本发明一实施例中，半径选取为1、3、5。
对于线特征，以不同半径a、b、c作不同圆周，以选定一局部区域，其中a＜b＜c，若所有圆周上像素点的灰度值满足条件：
Figure GDA00028787175600000811
Figure GDA00028787175600000812
others DR＝0
则该局部区域包含的局部特征为线特征。其中，i、j、k分别表示半径为a、b、c圆周上图像局部特征描述三值化为0的编号，l、m、n分别表示半径为a、b、c圆周上像素点个数；在本发明一实施例中，半径选取为1、3、5，此时，半径为1的圆周上像素点的数目l＝8，半径为3的圆周上像素点的数目m＝16，半径为1的圆周上像素点的数目为n＝28。
对于角点和边界特征，二者具有相似性，以不同半径a、b、c作不同圆周，以选定一局部区域，其中a＜b＜c，通过以下子步骤实现：
(a)、依次统计三个不同半径的圆周上
Figure GDA0002878717560000091
连续值为1和-1的对应的像素点数目
Figure GDA0002878717560000092
以及其对应的中间位置对应的坐标
Figure GDA0002878717560000093
例如，若半径为c的圆周上
Figure GDA0002878717560000094
连续值为1对应的像素点数目有五个，则坐标
Figure GDA0002878717560000095
表示第一个像素点的坐标与第五个像素点的坐标之和的一半。
Figure GDA0002878717560000096
分别用于计算亮度高于图像块的背景图像的局部特征和亮度低于图像块的背景图像的局部特征。因此局部图像区域每个圆周上的局部特征的夹角为：
Figure GDA0002878717560000097
局部特征的方向信息可通过以下方式计算：
Figure GDA0002878717560000098
其中，
Figure GDA0002878717560000099
分别表示高于背景图像的局部特征和亮度低于背景图像的夹角大小，
Figure GDA00028787175600000910
分别表示高于背景图像的局部特征和亮度低于背景图像的夹角的方向信息，x为a或b或c，分别对应半径为a或b或c圆周上的局部特征的夹角及方向，
Figure GDA00028787175600000911
表示半径为a或b或c的圆周上像素点数目。
(b)、判断三个圆周上是否存在夹角相同的局部特征。对于三个圆周上局部特征的夹角是否相同通过以下方式判断：
Figure GDA00028787175600000912
Figure GDA00028787175600000913
其中，abs表示绝对值，thresA表示预设的对半径不同的圆周上夹角差异的容忍阈值。若满足上式，则三个圆周上存在夹角相同的局部特征。
(c)、对于满足步骤(b)条件的图像局部区域，判断其不同圆周上夹角所对应的夹角的方向信息是否相同：
Figure GDA00028787175600000914
Figure GDA00028787175600000915
其中，thresO表示预设的对半径不同圆周上方向差异的容忍阈值。
(d)、若某图像局部区域同时满足步骤(b)和步骤(c)的条件，说明该图像局部区域存在夹角为A1方向为O1或夹角为A-1方向为O-1的局部特征。
夹角A1或A-1由下式计算：
Figure GDA0002878717560000101
方向O1或O-1由下式计算：
Figure GDA0002878717560000102
若上式计算得到的夹角为π，则该局部区域包含的局部特征为边界特征，否则为角点特征。在本发明一实施例中，半径选取为1、3、5。
S4，计算多个局部区域包含的局部特征的属性信息，并根据属性信息得到目标船只感兴趣区域并将计算所述感兴趣区域中心位置坐标。
通过步骤S3，可以清楚的判断划分的局部区域中包含何种局部特征，但不是所有的局部区域都包含局部特征，对于包含局部特征的局部区域，计算其中局部特征的属性信息，对于点、斑、线，由于其本身特征简单们不需要通过复杂计算即直观可得到其属性信息，对于边界及角点特征，其属性信息为夹角及夹角对应的方向信息，通过步骤S3计算可得到。再根据属性信息即可得到目标船只ROI区域。
计算ROI区域中心位置坐标包括以下步骤：
(a)、通过如下公式计算每个感兴趣区域中心位置坐标：
Figure GDA0002878717560000103
Figure GDA0002878717560000104
CLi＝Ci+0.25(Coeffx，Coeffy)×(Ls，Ls)
其中，Ls为ROI区域的边长，Ci表示所述圆心的坐标，O表示多个局部区域包含的局部特征的属性信息，对于边界及角点特征，O表示夹角对应的方向信息。在本发明一实施例中，ROI区域的边长选取为64。
(b)、将上述公式计算得到的每层金字塔的图像中所有ROI区域中心位置坐标进行融合，该融合仅对图像金字塔中每层提取的ROI区域进行融合，不涉及层间ROI区域的融合。具体地，对于每层金字塔的图像中IOU大于0.5的ROI区域进行位置均值方式进行融合，公式如下：
Figure GDA0002878717560000111
其中，CLxy表示融合后的ROI区域中心位置坐标，K表示IOU大于0.5的ROI区域的数目，此时CLi选取IOU大于0.5的ROI区域的中心位置坐标。
S5，将目标船只感兴趣区域采样为预设分辨率大小的图像，判断图像的类别，若图像的类别为船只，则根据图像对应的感兴趣区域中心位置坐标得到目标船只的位置坐标。
该步骤采用卷积神经网络对ROI区域进行分类，用于判断ROI区域是否为船只目标。该卷积神经网络输入为分辨率大小固定的RGB彩色图像，输出为输入图像所对应的图像类别(船只、海洋、云、陆地)。具体步骤为：
(a)、将步骤S4中得到的ROI区域对应的图像采样为分辨率大小固定RGB彩色图像。在本发明一实施中，分辨率大小为32×32。
(b)、将RGB彩色图像入卷积神经网络进行处理，得到每个图像块所对应的类别信息和置信度。
(c)、对于步骤(b)得到的类别为船只的图像区域，根据步骤S4中融合后的ROI区域坐标，结合置信度情况对IOU不小于0.25的ROI进行图像金字塔层间非极大值抑制(Non-Maximum Suppression，NMS)处理。并将处理后得到的ROI坐标作为最终船只目标位置坐标。
在本发明一实施中，卷积神经网络模型如图3所示，该卷积神经网络模型主要包含3层卷积层、3层最大值池化层、1层均值池化层、1层全连接层以及softmax层。其中conv k/s-m表示为卷积层，k、s和m分别对应该卷积操作对应的卷积核大小k×k，步长以及卷积核数目。maxpool 3/2为最大值池化，池化尺寸为3×3，池化步长为2。avgpool 4/4为均值池化，池化尺寸为4×4，池化步长为4.Fc-4为4个神经元的全连接层。每层卷积层和全连接层后均采用ReLu函数进行对数据非线性处理。此外，卷积层和池化层均采用“same”边界补零方式。
另外，在上述步骤中所涉及的计算过程含有像素级并行度，能够通过SIMD模式处理器实现算法的并行化加速实现。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于光学遥感图像的目标船只检测方法，其特征在于，包括：
S1，对所述光学遥感图像构建图像金字塔，并依次对每层金字塔的图像进行图像切块处理，得到多个分辨率大小固定的图像块；
S2，针对每个图像块，求解该图像块的图像梯度，对所述图像梯度进行二值化并求和，若求和结果不小于预设阈值，则执步骤S3，否则结束对该图像块的处理；
S3，根据图像块中所有像素点的灰度值对该图像块进行局部特征描述，将所述图像块划分为多个局部区域，根据预设判断标准判定所述多个局部区域是否包含局部特征，若存在，执行步骤S4，否则结束对该图像块的处理；
S4，计算所述多个局部区域包含的局部特征的属性信息，并根据所述属性信息得到所述目标船只感兴趣区域并将计算所述感兴趣区域中心位置坐标；
S5，将所述目标船只感兴趣区域采样为预设分辨率大小的图像，判断所述图像的类别，若所述图像的类别为船只，则根据所述图像对应的感兴趣区域中心位置坐标得到所述目标船只的位置坐标。
2.根据权利要求1所述的基于光学遥感图像的目标船只检测方法，其特征在于，根据图像块中所有像素点的灰度值对该图像块进行局部特征描述包括：
选取所述图像块中一像素点为圆心，以不同半径R作不同圆周，以选定一局部区域，分别以所述不同圆周上与X轴正方向交点处像素点为起始位置，依次对不同圆周上的像素点进行编号；
依次对每个圆周上编号后的像素点作三值化处理，公式如下：
Figure FDA0002878717550000011
其中，
Figure FDA0002878717550000012
表示半径为R的圆周上编号为i处的像素点的灰度值，IC为圆心处像素点的灰度值，thresD根据不同局部特征类型分别设定；
按照以上方法对图像块中所有像素点进行特征描述。
3.根据权利要求1所述的基于光学遥感图像的目标船只检测方法，其特征在于，根据预设判断标准判定所述多个局部区域是否包含局部特征中，所述局部特征包括点、斑、线、边界及角点。
4.根据权利要求2或3所述的基于光学遥感图像的目标船只检测方法，其特征在于，根据预设判断标准判定所述多个局部区域是否包含局部特征包括：
对于点特征，以不同半径a、b、c作不同圆周，以选定一局部区域，其中a＜b＜c；
若所有圆周上像素点
Figure FDA0002878717550000021
值为0，则所述局部区域包含的局部特征为亮点，若所有圆周上像素点
Figure FDA0002878717550000022
值为1，则所述局部区域包含的局部特征为暗点。
5.根据权利要求2或3所述的基于光学遥感图像的目标船只检测方法，其特征在于，根据预设判断标准判定所述多个局部区域是否包含局部特征包括：
对于斑特征，以不同半径a、b、c作不同圆周，以选定一局部区域，其中a＜b＜c；
若半径为a的圆周上所有像素点
Figure FDA0002878717550000023
值为0且半径为b、c圆周上所有
Figure FDA0002878717550000024
值均为-1或半径为a、b圆周上所有
Figure FDA0002878717550000025
值为0且半径为c圆周上所有
Figure FDA0002878717550000026
值均为-1，则所述局部区域包含的局部特征为亮斑；
若半径为a的圆周上所有像素点
Figure FDA0002878717550000027
值为0且半径为b、c圆周上所有
Figure FDA0002878717550000028
值均为1或半径为a、b圆周上所有
Figure FDA0002878717550000029
值为0且半径为c圆周上所有
Figure FDA00028787175500000210
值均为1，则所述局部区域包含的局部特征为暗斑。
6.根据权利要求2或3所述的基于光学遥感图像的目标船只检测方法，其特征在于，根据预设判断标准判定所述多个局部区域是否包含局部特征包括：
对于线特征，以不同半径a、b、c作不同圆周，以选定一局部区域，其中a＜b＜c，若所有圆周上像素点的灰度值满足条件：
Figure FDA0002878717550000031
Figure FDA0002878717550000032
others DR＝0
其中，i、j、k分别表示半径为a、b、c圆周上图像局部特征描述三值化为0的编号，l、m、n分别表示半径为a、b、c圆周上像素点个数；
则所述局部区域包含的局部特征为线特征。
7.根据权利要求2或3所述的基于光学遥感图像的目标船只检测方法，其特征在于，根据预设判断标准判定所述多个局部区域是否包含局部特征包括：
对于角点及边界特征，以不同半径a、b、c作不同圆周，以选定一局部区域，其中a＜b＜c，若满足
Figure FDA0002878717550000033
Figure FDA0002878717550000034
及
Figure FDA0002878717550000035
Figure FDA0002878717550000036
则所述局部区域包含夹角为角点或边界特征；
其中，
Figure FDA0002878717550000037
Figure FDA0002878717550000038
x为a或b或c，
Figure FDA0002878717550000039
分别表示不同圆周上
Figure FDA00028787175500000310
的值连续为1和-1对应的像素点数目，
Figure FDA00028787175500000311
分别表示不同圆周上
Figure FDA00028787175500000312
的值连续为1和-1的像素点对应的中间位置坐标，
Figure FDA00028787175500000313
表示半径为a或b或c的圆周上像素点数目；thresA表示预设的对半径不同的圆周上夹角差异的容忍阈值，thresO表示预设的对半径不同圆周上方向差异的容忍阈值。
8.根据权利要求7所述的基于光学遥感图像的目标船只检测方法，其特征在于，所述计算所述多个局部区域包含的局部特征的属性信息中，角点和边界特征的属性信息包括夹角为A1方向为O1或夹角为A-1方向为O-1，通过下式得到：
Figure FDA0002878717550000041
或：
Figure FDA0002878717550000042
若计算得到的夹角为π，则所述局部区域包含的局部特征为边界特征，否则为角点特征。
9.根据权利要求2所述的基于光学遥感图像的目标船只检测方法，其特征在于，根据所述属性信息得到所述目标船只感兴趣区域并将计算所述感兴趣区域中心位置坐标公式如下：
Figure FDA0002878717550000043
Figure FDA0002878717550000044
CLi＝Ci+0.25(Coeffx，Coeffy)×(Ls，Ls)
其中，CLi为所述感兴趣区域中心位置坐标，Ls为所述感兴趣区域的边长，Ci表示所述圆心的坐标，O表示所述多个局部区域包含的局部特征的属性信息；
将上述公式计算得到的每层金字塔的图像中所有感兴趣区域中心位置坐标按如下公式进行融合：
Figure FDA0002878717550000045
其中，CLxy表示融合后的感兴趣区域中心位置坐标，K表示IOU大于0.5的所述感兴趣区域的数目，此时CLi选取IOU大于0.5的所述感兴趣区域的中心位置坐标。
10.根据权利要求1所述的基于光学遥感图像的目标船只检测方法，其特征在于，将采样的所述目标船只感兴趣区域的图像输入卷积神经网络判断所述图像的类别，所述图像的类别包括船只、海洋、云、陆地。
CN201910149622.3A 2019-02-27 2019-02-27 基于光学遥感图像的目标船只检测方法 Active CN110008833B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910149622.3A CN110008833B (zh) 2019-02-27 2019-02-27 基于光学遥感图像的目标船只检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910149622.3A CN110008833B (zh) 2019-02-27 2019-02-27 基于光学遥感图像的目标船只检测方法

Publications (2)

Publication Number Publication Date
CN110008833A CN110008833A (zh) 2019-07-12
CN110008833B true CN110008833B (zh) 2021-03-26

Family

ID=67166120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910149622.3A Active CN110008833B (zh) 2019-02-27 2019-02-27 基于光学遥感图像的目标船只检测方法

Country Status (1)

Country Link
CN (1) CN110008833B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784650B (zh) * 2019-11-11 2024-08-02 北京君正集成电路股份有限公司 一种提升目标检测效率的方法
CN111199227A (zh) * 2019-12-20 2020-05-26 广西柳州联耕科技有限公司 一种高精度图像识别方法
CN111327833B (zh) * 2020-03-31 2021-06-01 厦门美图之家科技有限公司 辅助拍摄方法、装置、电子设备和可读存储介质
CN112150544B (zh) * 2020-09-24 2024-03-19 西门子（中国）有限公司 吊钩到位检测方法、装置和计算机可读介质
CN116309415A (zh) * 2023-03-01 2023-06-23 北京鉴智科技有限公司 一种基于芯片的图像处理方法、装置、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867196A (zh) * 2012-09-13 2013-01-09 武汉大学 基于Gist特征学习的复杂海面遥感影像舰船检测方法
CN103544502A (zh) * 2013-10-29 2014-01-29 上海市城市建设设计研究总院 基于svm的高分辨率遥感影像船只提取方法
CN104376326A (zh) * 2014-11-02 2015-02-25 吉林大学 一种用于图像场景识别的特征提取方法
US9196044B2 (en) * 2014-02-26 2015-11-24 Raytheon Company False alarm rejection for boat detection candidates
US9256619B2 (en) * 2014-01-29 2016-02-09 Raytheon Company Method for detecting and recognizing boats
CN105809092A (zh) * 2014-12-30 2016-07-27 深圳中兴力维技术有限公司 人群目标检测方法及其装置
CN106709927A (zh) * 2016-12-27 2017-05-24 浙江大学 一种复杂背景下声学图像中的目标提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867196A (zh) * 2012-09-13 2013-01-09 武汉大学 基于Gist特征学习的复杂海面遥感影像舰船检测方法
CN103544502A (zh) * 2013-10-29 2014-01-29 上海市城市建设设计研究总院 基于svm的高分辨率遥感影像船只提取方法
US9256619B2 (en) * 2014-01-29 2016-02-09 Raytheon Company Method for detecting and recognizing boats
US9196044B2 (en) * 2014-02-26 2015-11-24 Raytheon Company False alarm rejection for boat detection candidates
CN104376326A (zh) * 2014-11-02 2015-02-25 吉林大学 一种用于图像场景识别的特征提取方法
CN105809092A (zh) * 2014-12-30 2016-07-27 深圳中兴力维技术有限公司 人群目标检测方法及其装置
CN106709927A (zh) * 2016-12-27 2017-05-24 浙江大学 一种复杂背景下声学图像中的目标提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"A Novel Method for Ship Detection and Classification on Remote Sensing Images";Ying Liu，Hongyuan Cui，Guoqing Li;《ICANN 2017》;20171231;第556-563页 *
"动态视频监控中海上舰船目标检测";李庆忠，臧风妮，张洋;《中国激光》;20140831;第41卷(第8期);第1-7页 *

Also Published As

Publication number Publication date
CN110008833A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN110008833B (zh) 基于光学遥感图像的目标船只检测方法
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
CN110246168A (zh) 一种移动巡检机器人双目图像拼接的特征匹配方法
CN104809731B (zh) 一种基于梯度二值化的旋转尺度不变场景匹配方法
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN109829423B (zh) 一种结冰湖泊红外成像检测方法
CN102567979A (zh) 车载红外夜视系统及其多源图像融合方法
CN111079596A (zh) 高分辨率遥感影像的海上典型人造目标识别系统及方法
CN114627052A (zh) 一种基于深度学习的红外图像漏气漏液检测方法及系统
CN106651880B (zh) 基于多特征融合的热红外遥感影像的海上动目标检测方法
CN111382658B (zh) 一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法
CN113744142B (zh) 图像修复方法、电子设备及存储介质
CN109766823A (zh) 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法
CN113111878B (zh) 一种复杂背景下的红外弱小目标检测方法
CN114863492B (zh) 一种低质量指纹图像的修复方法及修复装置
CN108038486A (zh) 一种文字检测方法
CN115731257A (zh) 基于图像的叶片形态信息提取方法
CN112215861A (zh) 一种足球检测方法、装置、计算机可读存储介质及机器人
CN115082888B (zh) 一种车道线检测方法和装置
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN113706523A (zh) 基于人工智能技术的皮带跑偏及异常运行状态的监测方法
CN110348307B (zh) 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统
CN116994135A (zh) 一种基于视觉与雷达融合的船舶目标检测方法
CN117557784B (zh) 目标检测方法、装置、电子设备及存储介质
CN111667465A (zh) 一种基于远红外图像的金属洗手盆缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant