CN108305265A - 微弱小目标图像实时处理方法及系统 - Google Patents

微弱小目标图像实时处理方法及系统 Download PDF

Info

Publication number
CN108305265A
CN108305265A CN201810037139.1A CN201810037139A CN108305265A CN 108305265 A CN108305265 A CN 108305265A CN 201810037139 A CN201810037139 A CN 201810037139A CN 108305265 A CN108305265 A CN 108305265A
Authority
CN
China
Prior art keywords
image
pixel
small object
line
faint small
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810037139.1A
Other languages
English (en)
Other versions
CN108305265B (zh
Inventor
卫旻嵩
邢飞
尤政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810037139.1A priority Critical patent/CN108305265B/zh
Publication of CN108305265A publication Critical patent/CN108305265A/zh
Application granted granted Critical
Publication of CN108305265B publication Critical patent/CN108305265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种微弱小目标图像实时处理方法及系统，其中方法包括：通过CMOS图像探测器电子卷帘模式的图像逐行读取像素；在逐行读取像素的过程中，通过一维结构元素的形态学图像处理方法对逐行读取的像素进行处理，选择性地获取微弱小目标图像的组成像素；通过图像行方向连通域的目标提取方法处理微弱小目标图像的组成像素，以确定微弱小目标图像的完整区域；并通过FPGA实现微弱小目标图像的实时处理。该方法与基于CMOS图像探测器电子卷帘模式相结合，实现了图像逐行读取及处理的流水线体系，进一步通过FPGA纯硬件结构实现了图像实时处理，具有实时性、精度高、可靠性高的优势。

Description

微弱小目标图像实时处理方法及系统
技术领域
本发明涉及图像处理技术领域，特别涉及一种微弱小目标图像实时处理方法及系统。
背景技术
图像处理在医学图像领域、红外监测和成像系统以及动态目标的测量和跟踪系统中起着重要的作用，其目的是从复杂的背景中获取目标信息，包括目标的位置、形状、数量、大小等等信息，在医学上可以用于疾病诊治、细胞分析，在红外监测和成像系统中可以用于红外预警，在风洞实验中可以进行流场分析，在太空探测中可以实现光学目标的跟踪和姿态确定。以上种种的应用，均涉及到复杂背景下的微弱小目标探测。
目前，随着图像探测器技术的发展，能够获得更为精细的成像结果，这一方面对微弱小目标的探测起到了促进作用，另一方面，由于更多的像素数量(百万级)和更高的更新率，以及不同应用中的复杂的背景干扰，对于图像处理方法提出了更高的要求。
相关技术中，用于微小目标探测和识别的图像处理方法包括小波变换法、帧间差分法以及滤波等方法，这些方法虽然能够保证一定的处理速度和目标识别准确度，但是需要大量的软件和硬件资源，不利于便携式系统的实现；而且随着算法复杂度的增加，虽然目标识别的准确度和可靠性得到了改善，但是目标识别所需要的时间也从几十毫秒增大到几秒，无法满足红外目标实时监测系统、遥感卫星成像等应用对象对实时性的要求。此外，由于特征目标的小尺寸特性，一幅图像99％的像素都属于背景范畴，将图像存储之后再处理的传统模式不仅影响了实时性，也是对硬件存储设备的极大浪费。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种微弱小目标图像实时处理方法该方法，有效提高了微弱小目标图像处理的可靠性和实时性，且精度高。
本发明的另一个目的在于提出一种微弱小目标图像实时处理系统。
为达到上述目的，本发明一方面实施例提出了一种微弱小目标图像实时处理方法，包括：通过CMOS图像探测器电子卷帘模式的图像逐行读取像素；在逐行读取所述像素的过程中，通过一维结构元素的形态学图像处理方法对逐行读取的像素进行处理，选择性地获取微弱小目标图像的组成像素；通过图像行方向连通域的目标提取方法处理所述微弱小目标图像的组成像素，以确定所述微弱小目标图像的完整区域；通过FPGA实现微弱小目标图像的实时处理。
本发明实施例的微弱小目标图像实时处理方法，采用流水线的工作模式，实现图像读取和图像处理的并行进行，大大节约了所需的储存空间，并且完全采用硬件实现，从而有效提高了微弱小目标图像处理的可靠性和实时性，且精度高。
另外，根据本发明上述实施例的微弱小目标图像实时处理方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述在逐行读取所述像素的过程中，通过一维结构元素的形态学图像处理方法对逐行读取的像素进行处理，选择性地获取微弱小目标图像的组成像素，进一步包括：通过大于目标特征尺寸的水平线性结构元素对原始图像进行腐蚀运算，以去除待提取的微弱小目标，并获取第一图像背景；对所述第一图像背景进行膨胀运算，以去除图像坏点，并获取第二图像背景；将所述原始图像减去所述第二图像背景，以根据相减结果得到增强图像；通过自适应阈值对所述增强图像进行图像分割，以获取提取目标点的二值化图像；分别通过水平方向和竖直方向的两点结构元素对所述二值化图像进行腐蚀运算，以去除图像中的单点噪声和虚警目标，并获取第一图像和第二图像；分别通过水平方向和竖直方向的两点结构元素对所述第一图像和所述第二图像进行膨胀运算，获取第三图像和第四图像；对所述第三图像和所述第四图像进行或运算，以实现目标恢复。
进一步地，在本发明的一个实施例中，所述通过图像行方向连通域的目标提取方法处理所述微弱小目标图像，以确定所述微弱小目标图像的区域，进一步包括：根据当前行和上一行像素编码通过判断公式决定所述当前目标像素的连通域编码，其中，所述判断公式如下：
L(P(i,j))＝L(Q(i,[-m,-1]∪Q(i-1,[-m,n]))，
Q(i,[-p,q])＝{P(i,k):j-p≤k≤j+q}，
其中，Q(i,[-p,q])表示第i行中从(j-p)列到(j+q)列的像素集合，L(P(i,j))表示像素P(i,j))的连通域编码，所述编码通过集合Q中像素编码判断得到。
进一步地，在本发明的一个实施例中，所述通过CMOS图像探测器电子卷帘模式的图像逐行读取像素，进一步包括：在每一行图像完成曝光后，像素逐个读取输出，以逐行进行图像的曝光和读取。
进一步地，在本发明的一个实施例中，在所述通过FPGA(Field－ProgrammableGate Array，现场可编程逻辑门阵列)实现微弱小目标图像的实时处理时，图像逐行读取进入FPGA，且目标的质心信息的输出与图像全部像素读取结束的延时2～3微秒，以实现图像的实时处理。
为达到上述目的，本发明另一方面实施例提出了一种微弱小目标图像实时处理系统，包括：读取模块，用于通过CMOS图像探测器电子卷帘模式的图像逐行读取像素；获取模块，用于在逐行读取所述像素的过程中，通过一维结构元素的形态学图像处理方法对逐行读取的像素进行处理，选择性地获取微弱小目标图像的组成像素；确定模块，用于通过图像行方向连通域的目标提取方法处理所述微弱小目标图像的组成像素，以确定所述微弱小目标图像的完整区域；处理模块，用于通过FPGA实现微弱小目标图像的实时处理。
本发明实施例的微弱小目标图像实时处理系统，采用流水线的工作模式，实现图像读取和图像处理的并行进行，大大节约了所需的储存空间，并且完全采用硬件实现，从而有效提高了微弱小目标图像处理的可靠性和实时性，且精度高。
另外，根据本发明上述实施例的微弱小目标图像实时处理系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述获取模块还用于通过大于目标特征尺寸的水平线性结构元素对原始图像进行腐蚀运算，以去除待提取的微弱小目标，并获取第一图像背景，并对所述第一图像背景进行膨胀运算，以去除图像坏点，并获取第二图像背景，将所述原始图像减去所述第二图像背景，以根据相减结果得到增强图像，通过自适应阈值对所述增强图像进行图像分割，以获取提取目标点的二值化图像，且分别通过水平方向和竖直方向的两点结构元素对所述二值化图像进行腐蚀运算，以去除图像中的单点噪声和虚警目标，并获取第一图像和第二图像，并分别通过水平方向和竖直方向的两点结构元素对所述第一图像和所述第二图像进行膨胀运算，获取第三图像和第四图像，以及对所述第三图像和所述第四图像进行或运算，以实现目标恢复。
进一步地，在本发明的一个实施例中，所述确定模块还用于根据当前行和上一行像素编码通过判断公式决定所述当前目标像素的连通域编码，其中，所述判断公式如下：
L(P(i,j))＝L(Q(i,[-m,-1]∪Q(i-1,[-m,n]))，
Q(i,[-p,q])＝{P(i,k):j-p≤k≤j+q}，
其中，Q(i,[-p,q])表示第i行中从(j-p)列到(j+q)列的像素集合，L(P(i,j))表示像素P(i,j))的连通域编码，所述编码通过集合Q中像素编码判断得到。
进一步地，在本发明的一个实施例中，在所述通过FPGA实现微弱小目标图像的实时处理时，所述读取模块还用于在每一行图像完成曝光后，像素逐个读取输出，以逐行进行图像的曝光和读取。
进一步地，在本发明的一个实施例中，图像逐行读取进入FPGA，且目标的质心信息的输出与图像全部像素读取结束的延时2～3微秒，以实现图像的实时处理。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的微弱小目标图像实时处理方法的流程图；
图2为根据本发明一个实施例的基于一维结构元素的形态学图像处理方法流程；
图3为根据本发明一个实施例的基于CMOS图像探测器电子卷帘模式的图像逐行读取及处理示意图；
图4为根据本发明一个实施例的分布在复杂背景下的微弱小目标原始图像及进行目标探测和识别之后的结果的示意图；
图5为根据本发明一个实施例的背景去除方法对不同干扰要素和噪声的处理结果的示意图；
图6为根据本发明一个实施例的目标恢复方法原理示意图；
图7为根据本发明一个实施例的采用目标恢复方法和不采用目标恢复方法的目标提取精度比较的示意图；
图8为根据本发明一个实施例的FPGA基本实现模块的结构示意图；
图9为根据本发明一个实施例的微弱小目标图像实时处理系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的微弱小目标图像实时处理方法及系统，首先将参照附图描述根据本发明实施例提出的微弱小目标图像实时处理方法。
图1是本发明一个实施例的微弱小目标图像实时处理方法的流程图。
如图1所示，该微弱小目标图像实时处理方法包括以下步骤：
在步骤S101中，通过CMOS图像探测器电子卷帘模式的图像逐行读取像素。
在本发明的一个实施例中，进一步包括：在每一行图像完成曝光后，像素逐个读取输出，以逐行进行图像的曝光和读取。
具体而言，本发明实施例的基于CMOS图像探测器电子卷帘模式的图像逐行读取及处理体系，具体包括：
图像的曝光和读取逐行进行，每一行图像完成曝光后，像素逐个读取输出，在读取的过程中，各个像素按照步骤S101和S102中的方法进行处理，实现图像处理与读取并行进行，所需的存储空间从整幅图像缩减为一行图像，大大节约了硬件资源，而且当处理结束后，去噪之后的图像按照连通域判定结果输出目标信息，如图2中步骤11所示。
举例而言，如图3所示，在初始时刻，只有图像的第一行像素开始曝光，间隔指定时间后第二行像素开始曝光，以此类推。而当第一行中的像素完成曝光之后，无论其他行中的像素是否完成曝光，图像探测器即开始第一行图像的输出，第一行像素输出结束之后，再进行第二行像素的输出，以此类推。同时，当第一帧的像素输出结束后，图像探测器便开始进行下一帧图像的采集，仍然以行为单位重复上述曝光和读出的过程。
图像的曝光和读取逐行进行，每一行图像完成曝光后，在像素逐个读取输出的过程中，各个像素按照本发明提出的图像处理方法进行实时处理，实现图像处理与图像读取并行进行，在图像进行读取的同时已经完成了背景分析与目标识别。因此不需要对整幅图像进行储存，所需的存储空间从整幅图像缩减为一行图像，大大节约了硬件资源，并且由于图像处理与图像读取并行开展，包含探测目标的图像读取完成也即意味着目标探测的完成，大大节约了处理时间，有利于目标实时提取的实现。
在步骤S102中，在逐行读取像素的过程中，通过一维结构元素的形态学图像处理方法对逐行读取的像素进行处理，选择性地获取微弱小目标图像的组成像素。
可以理解的是，本发明实施例基于一维结构元素的形态学图像处理方法用于微弱小目标选择性探测和识别，其中，基于一维结构元素的形态学图像处理方法用于包括微弱小目标的图像增强和目标识别。也就是说，本发明实施例是对一个一个的像素点进行处理，并提取出来符合特征尺寸的目标像素点。
在本发明的一个实施例中，进一步包括：通过大于目标特征尺寸的水平线性结构元素对原始图像进行腐蚀运算，以去除待提取的微弱小目标，并获取第一图像背景；对第一图像背景进行膨胀运算，以去除图像坏点，并获取第二图像背景；将原始图像减去第二图像背景，以根据相减结果得到增强图像；通过自适应阈值对增强图像进行图像分割，以获取提取目标点的二值化图像；分别通过水平方向和竖直方向的两点结构元素对二值化图像进行腐蚀运算，以去除图像中的单点噪声和虚警目标，并获取第一图像和第二图像；分别通过水平方向和竖直方向的两点结构元素对第一图像和第二图像进行膨胀运算，获取第三图像和第四图像；对第三图像和第四图像进行或运算，以实现目标恢复。
具体而言，如图2所示，包括：
(1)使用大于目标特征尺寸的水平线性(line)结构元素对原始图像A进行腐蚀运算，用于去除待提取的微弱小目标，获取图像背景A1；
(2)使用大于目标结构尺寸的水平线性结构元素对(1)的结果A1进行膨胀运算，用于去除图像坏点，得到进一步平滑的图像背景A2；
(3)将原始图像A减去(2)的结果A2得到包括待提取目标点的增强图像A3；
(4)使用自适应阈值对(3)的结果A3进行图像分割，得到包括待提取目标点的二值化图像A4；
(5)分别使用水平方向和竖直方向(图像列方向)的两点(pair)结构元素分别对二值化图像A4进行腐蚀运算，去除图像中的单点噪声和虚警目标，得到图像A5和A6；
(6)分别使用水平方向和竖直方向的两点结构元素分别对图像A5和A6进行膨胀运算，得到图像A7和A8；
(7)对(6)的结果A7和A8进行或运算，实现目标恢复。
举例而言，如图4所示，其中，(a)为淹没在背景噪声(图像噪声与云层)中的微弱小目标(星点)原始图像，(b)为微弱小目标的局部放大图，该目标位于图像的第i到i+2行中，(c)为应用本发明提出的方法进行处理之后的目标提取结果。
图4中目标提取结果通过基于一维结构元素的形态学图像处理方法实现图像背景和噪声去除以增强图像信噪比，其采用的形态学运算包括腐蚀运算和膨胀运算，计算公式分别为：
其中，h(x，y)为图像中某一点(x，y)像素运算后得到的结果，而f(x，y)为图像中某一点(x，y)像素运算前的灰度值。b是结构元素(SE)，Db表示该结构元素的定义域，Df为图像f的定义域。传统的结构元素多为方形、菱形等二维形状，在使用中需要多行图像共同参与运算，占用大量的存储空间，并且带来更多的延时。因此本发明实施例使用线性(line)和两点(pair)两种一维(1D)的结构元素进行图像处理，具体的处理流程如图2中步骤1至步骤9所示：
(1)使用长度为41的水平线性SE对原始图像A进行腐蚀运算，由于该尺寸大于目标特征尺寸，因此可以有效去除待提取的微弱小目标，且该尺寸小于强背景尺寸或者大尺度的干扰目标尺寸，因此强背景和大尺度的干扰目标得到了保留，通过这一步腐蚀运算得到结果A1。
(2)使用长度为41的水平线性SE对A1进行膨胀运算，在平滑图像背景的同时可以有效去除图像坏点，得到的结果A2作为提取的图像背景。
(3)用原始图像A减去A2，由于A2中并无待提取的目标，这一步相减只去除了图像的背景，大大增强了目标点的信噪比，得到包括待提取目标点在内的图像A3。
需要说明的是，微弱小目标由于特征尺寸小、能量低，在成像中特别容易受到外界环境的干扰和混淆，步骤(1)到(3)为本发明的背景去除方法，可以有效去除背景噪声和大尺度的干扰目标，包括图5(a)的图像坏点噪声(暗噪声)、图5(b)中的高亮度非目标干扰以及图4(c)中的强背景噪声(亮噪声)。其中图5(a)和图5(b)中高亮的一行图像只包含噪声和干扰，无待提取目标，使用本发明的背景去除方法处理后的结果如图5(d)和他图5(e)所示，可以看出，坏点噪声和非目标干扰均被有效去除。图5(c)中高亮的一行图像包含背景噪声和待提取目标，使用本发明实施例的背景去除方法处理后的结果如图5(f)所示，强烈渐变的背景噪声被有效去除，待提取目标得到了增强。
(4)使用自适应阈值T(x，y)对(3)的结果A3进行图像分割，像素灰度值高于该阈值的像素重新赋值为1，像素灰度值不高于该阈值的像素重新赋值为0，这样待提取目标点将由值为1的像素组成，背景像素将全被归零，得到二值化图像A4。
上述自适应阈值T(x，y)可以是全局阈值，即全部像素使用共同的一个阈值，也可以是局部阈值，即不同的像素对应不同的阈值。
(5)使用水平方向(图像行方向)的两点(pair)SE对二值化图像A4进行腐蚀运算，得到图像A5。
(6)使用竖直方向(图像列方向)的两点(pair)SE对二值化图像A4进行腐蚀运算，得到图像A6。
步骤(5)和步骤(6)用于去除图像中的单点噪声和虚警目标，可以增加本方法的目标识别准确性。
(7)使用水平方向的两点SE对图像A5进行膨胀运算，得到图像A7，两点SE与步骤(5)中的两点SE相同；
(8)使用竖直方向的两点SE对图像A6进行膨胀运算，得到图像A8，两点SE与步骤(6)中的两点SE相同；
(9)将A7和A8进行或运算，得到无噪声和干扰的目标二值化图像A9。
步骤(7)到步骤(9)用于恢复步骤(5)和步骤(6)对有效目标造成的腐蚀，如图6所示，用于实现目标恢复。图6所示的初始目标(像素值为1的区域)覆盖三个像素点，包括(1，2)、(2，2)和(2，3)，当通过步骤(5)和步骤(6)的腐蚀运算后可以发现，目标区域由于腐蚀运算造成了损失，分别去掉了两个像素点；通过步骤(7)和步骤(8)的膨胀运算后，部分目标区域得到恢复，最终经过步骤(9)，初始目标得到了完整恢复。如图7仿真结果所示，如果不使用步骤(7)和步骤(8)的目标恢复，目标质心提取误差为0.07像素(1σ)，如果使用步骤(7)和步骤(8)的目标恢复，目标质心提取误差将减小到0.02像素(1σ)，可以有效将误差减小三倍以上。
在步骤S103中，通过图像行方向连通域的目标提取方法处理微弱小目标图像的组成像素，以确定微弱小目标图像的完整区域。
可以理解的是，本发明实施例主要是判断当前像素是否和之前提取的有效像素同属于一个微弱小目标图像(即目标连通域的概念)；只有完整确定一个微弱小目标图像之后才可以在进行后续的目标信息提取。也就是说，本发明实施例可以将同属于一个目标的像素点作为一个连通域重新编码，这样组成同一个目标的像素就有相同的编码，并通过编码就清楚地知道一个完整目标的所有像素点了。
进一步地，在本发明的一个实施例中，通过图像行方向连通域的目标提取方法得到微弱小目标的当前目标像素，进一步包括：根据当前行和上一行像素编码通过判断公式决定当前目标像素的连通域编码，其中，判断公式如下：
L(P(i，j))＝L(Q(i，[-m，-1]∪Q(i-1，[-m，n]))，
Q(i，[-p，q])＝{P(i，k)：j-p≤k≤j+q}，
其中，Q(i，[-p，q])表示第i行中从(j-p)列到(j+q)列的像素集合，L(P(i，j))表示像素P(i，j))的连通域编码，编码通过集合Q中像素编码判断得到。
也就是说，当前目标像素的连通域编只由当前行和上一行像素编码决定，判断公式如下：
L(P(i，j))＝L(Q(i，[-m，-1]∪Q(i-1，[-m，n]))，
Q(i，[-p，q])＝{P(i，k)：j-p≤k≤j+q}，
其中，Q(i，[-p，q])表示第i行中从(j-p)列到(j+q)列的像素集合，L(P(i，j))表示像素P(i，j))的连通域编码，编码通过集合Q中像素编码判断得到。
举例而言，图4中目标提取结果还通过基于一维连通域目标提取方法来实现完整目标区域确定，如图2中步骤10所示。当得到二值化图像A9后，其中的有效区域(待提取目标)的像素值均为1。在实际应用中，令上述判断公式中m＝1，n＝1，则某一有效点(像素值为1)P(i，j)所属连通域的编号由以下公式决定：
LP(i，j)＝LP(i，j-1)||LP(i-1，j-1)||LP(i-1，j)||LP(i-1，j+1)，
公式中LP(i，j)表示某一点P(i，j)的连通域编号.判断方法每一点的判断只与当前行和上一行有关，具体来说，当P(i，j)＝1时，如果P(i，j-1)＝1成立，则P(i，j)与P(i，j-1)点属于同一连通域的，即Lp(i，j)＝LP(i，j-1)；如果P(i，j-1)＝0，再依次判断P(i-1，j-1)＝1、P(i-1，j)＝1、P(i-1，j+1)＝1是否成为，如果其中有一个条件成立，则将该点所属连通域的值赋予P(i，j)点；如果以上条件均不成立，则可判定P(i，j)点属于一个新的待提取目标，赋予其一个新的连通域编号。
完成连通域的判定之后，去噪之后的图像按照连通域判定结果输出目标信息的相关信息，包括位置、能量等等，如图2中步骤11所示。
在步骤S104中，通过FPGA实现微弱小目标图像的实时处理。
进一步地，在本发明的一个实施例中，在通过FPGA实现微弱小目标图像的实时处理时，图像逐行读取进入FPGA，且目标的质心信息的输出与图像全部像素读取结束的延时2～3微秒，以实现图像的实时处理。
具体而言，本发明实施例的基于FPGA纯硬件结构的图像实时处理实现方法，基于一维结构元素的形态学图像处理方法以及连通域编码判断均使用FPGA的FIFO(FirstInput First Output，先进先出队列)缓存器及FPGA的硬件逻辑完成，图像逐行读取进入FPGA，所有处理均在FPGA中完成，目标的质心信息的输出与图像全部像素读取结束的延时仅2～3微秒，实现图像的实时处理。
举例而言，本发明的图像处理方法均采用FPGA的先进先出(FIFO)缓存器或/及FPGA的硬件逻辑实现，硬件逻辑的基本功能模块如图8所示，包括四种输入端口，分别为时钟端口、复位端口、数据输入端口和数据输入有效标志位端口，以及一种数据输出端口。其中时钟端口用于全局时钟信号的同步和逻辑计数，复位端口用于系统复位信号的输入，数据输入端口用于待处理图像数据的输入，数据输入有效标志位端口用于输入数据有效标志位，比如帧有效信号和行有效信号，输出端口用于结果输出。
本发明实施例的基于一维结构元素的形态学图像处理方法以及连通域编码判断均由该功能模块实现，具体实现方法如下：
腐蚀运算的具体实现方法：有效数据按照SE的要求依次输入FIFO缓存器，当满足判断公式的数据全部输入后，输出对应SE定义域中数据的最小值；
膨胀运算的具体实现方法：有效数据按照SE的要求依次输入FIFO缓存器，当满足公式(1)的数据全部输入后，输出对应SE定义域中数据的最大值；
图像分割的具体实现方法：无需FIFO缓存器，有效数据与对应阈值相比较，大于阈值输出1，小于或等于阈值输出0；
连通域判断的具体实现方法：有效数据依次输入深度等于图像行像素数的FIFO缓存器，当一个值为1的数据出现时，按照公式(2)对已经缓存的四个相关像素的编码进行判断，输出确定的编码值；
或运算和减运算的具体实现方法：无需FIFO缓存器，需要两个数据输入端口，对输入数据进行减法运算或逻辑或运算，输出运算结果。
从一幅完整的图像处理流程看，图像逐行读取进入FPGA，所有处理均在FPGA中完成，目标的质心信息的输出与图像全部像素读取结束的延时仅2～3微秒，与其他微弱小目标的图像处理方法相比，采用本发明实施例的方法能够将延时缩小3个数量级以上，在一幅图像结束读取后实现结果的即时输出，真正实现图像的实时处理。
另外，本发明实施例在保证高可靠性的同时，目标点位置精度可以达到优于0.03像素(1σ)，满足高精度目标测量和跟踪系统的需求。且本发明实施例的方法基于CMOS图像探测器电子卷帘模式相结合，实现了图像逐行读取及处理的流水线体系，进一步通过FPGA纯硬件结构实现了图像实时处理，具有实时性、精度高、可靠性高的优势，可以广泛应用于医疗图像处理、红外图像监测系统以及小目标动态测量与跟踪系统。
综上，从CMOS逐行读取像素到FPGA中，像素在读取过程中，通过形态学方法进行处理、提取目标，并且在确定是有效目标的同时，采用的连通域判断方法进行连通域判断，例如，一个目标可能包括m*n个像素，通过连通域判断方法之后，可以将逐个处理、提取出来的目标像素还原成一个包括m*n个像素的目标点，可以用于计算目标点的质心信息等等后处理，而形态学方法以及连通域判断方法的实现，是通过FPGA的硬件结构完成的，所以整个架构不是一个顺序的过程，而是CMOS逐行读取像素到FPGA，而目标提取的方法通过形态学方法以及连通域判断方法实现。
根据本发明实施例提出的微弱小目标图像实时处理方法，采用流水线的工作模式，实现图像读取和图像处理的并行进行，大大节约了所需的储存空间，并且完全采用硬件实现，从而有效提高了微弱小目标图像处理的可靠性和实时性，且精度高。
其次参照附图描述根据本发明实施例提出的微弱小目标图像实时处理系统。
图9是本发明一个实施例的微弱小目标图像实时处理系统的结构示意图。
如图9所示，该微弱小目标图像实时处理系统10包括：读取模块100、获取模块200、确定模块300和处理模块400。
其中，读取模块100用于通过CMOS图像探测器电子卷帘模式的图像逐行读取像素。获取模块200用于在逐行读取像素的过程中，通过一维结构元素的形态学图像处理方法对逐行读取的像素进行处理，选择性地获取微弱小目标图像的组成像素。确定模块300用于通过图像行方向连通域的目标提取方法处理微弱小目标图像的组成像素，以确定微弱小目标图像的完整区域。处理模块400用于通过FPGA实现微弱小目标图像的实时处理。本发明实施例的系统10与基于CMOS图像探测器电子卷帘模式相结合，实现了图像逐行读取及处理的流水线体系，进一步通过FPGA纯硬件结构实现了图像实时处理，具有实时性、精度高、可靠性高的优势。
进一步地，在本发明的一个实施例中，获取模块200还用于通过大于目标特征尺寸的水平线性结构元素对原始图像进行腐蚀运算，以去除待提取的微弱小目标，并获取第一图像背景，并对第一图像背景进行膨胀运算，以去除图像坏点，并获取第二图像背景，将原始图像减去第二图像背景，以根据相减结果得到增强图像，通过自适应阈值对增强图像进行图像分割，以获取提取目标点的二值化图像，且分别通过水平方向和竖直方向的两点结构元素对二值化图像进行腐蚀运算，以去除图像中的单点噪声和虚警目标，并获取第一图像和第二图像，并分别通过水平方向和竖直方向的两点结构元素对第一图像和第二图像进行膨胀运算，获取第三图像和第四图像，以及对第三图像和第四图像进行或运算，以实现目标恢复。
进一步地，在本发明的一个实施例中，确定模块300还用于根据当前行和上一行像素编码通过判断公式决定当前目标像素的连通域编码，其中，判断公式如下：
L(P(i,j))＝L(Q(i,[-m,-1]∪Q(i-1,[-m,n]))，
Q(i,[-p,q])＝{P(i,k):j-p≤k≤j+q}，
其中，Q(i,[-p,q])表示第i行中从(j-p)列到(j+q)列的像素集合，L(P(i,j))表示像素P(i,j))的连通域编码，编码通过集合Q中像素编码判断得到。
进一步地，在本发明的一个实施例中，读取模块100还用于在每一行图像完成曝光后，像素逐个读取输出，以逐行进行图像的曝光和读取。
进一步地，在本发明的一个实施例中，在通过FPGA实现微弱小目标图像的实时处理时，图像逐行读取进入FPGA，且目标的质心信息的输出与图像全部像素读取结束的延时2～3微秒，以实现图像的实时处理。
需要说明的是，前述对微弱小目标图像实时处理方法实施例的解释说明也适用于该实施例的微弱小目标图像实时处理系统，此处不再赘述。
根据本发明实施例提出的微弱小目标图像实时处理系统，采用流水线的工作模式，实现图像读取和图像处理的并行进行，大大节约了所需的储存空间，并且完全采用硬件实现，从而有效提高了微弱小目标图像处理的可靠性和实时性，且精度高。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种微弱小目标图像实时处理方法，其特征在于，包括以下步骤：
通过CMOS图像探测器电子卷帘模式的图像逐行读取像素；
在逐行读取所述像素的过程中，通过一维结构元素的形态学图像处理方法对逐行读取的像素进行处理，选择性地获取微弱小目标图像的组成像素；
通过图像行方向连通域的目标提取方法处理所述微弱小目标图像的组成像素，以确定所述微弱小目标图像的完整区域；
通过FPGA实现微弱小目标图像的实时处理。
2.根据权利要求1所述的微弱小目标图像实时处理方法，其特征在于，所述在逐行读取所述像素的过程中，通过一维结构元素的形态学图像处理方法对逐行读取的像素进行处理，选择性地获取微弱小目标图像的组成像素，进一步包括：
通过大于目标特征尺寸的水平线性结构元素对原始图像进行腐蚀运算，以去除待提取的微弱小目标，并获取第一图像背景；
对所述第一图像背景进行膨胀运算，以去除图像坏点，并获取第二图像背景；
将所述原始图像减去所述第二图像背景，以根据相减结果得到增强图像；
通过自适应阈值对所述增强图像进行图像分割，以获取提取目标点的二值化图像；
分别通过水平方向和竖直方向的两点结构元素对所述二值化图像进行腐蚀运算，以去除图像中的单点噪声和虚警目标，并获取第一图像和第二图像；
分别通过水平方向和竖直方向的两点结构元素对所述第一图像和所述第二图像进行膨胀运算，获取第三图像和第四图像；
对所述第三图像和所述第四图像进行或运算，以实现目标恢复。
3.根据权利要求1所述的微弱小目标图像实时处理方法，其特征在于，所述通过图像行方向连通域的目标提取方法处理所述微弱小目标图像的组成像素，以确定所述微弱小目标图像的完整区域，进一步包括：
根据当前行和上一行像素编码通过判断公式决定当前目标像素的连通域编码，其中，所述判断公式如下：
L(P(i,j))＝L(Q(i,[-m,-1]∪Q(i-1,[-m,n]))，
Q(i,[-p,q])＝{P(i,k):j-p≤k≤j+q}，
其中，Q(i,[-p,q])表示第i行中从(j-p)列到(j+q)列的像素集合，L(P(i,j))表示像素P(i,j))的连通域编码，所述编码通过集合Q中像素编码判断得到。
4.根据权利要求3所述的微弱小目标图像实时处理方法，其特征在于，所述通过CMOS图像探测器电子卷帘模式的图像逐行读取像素，进一步包括：
在每一行图像完成曝光后，像素逐个读取输出，以逐行进行图像的曝光和读取。
5.根据权利要求1-4任一项所述的微弱小目标图像实时处理方法，其特征在于，在所述通过FPGA实现微弱小目标图像的实时处理时，图像逐行读取进入FPGA，且目标的质心信息的输出与图像全部像素读取结束的延时2～3微秒，以实现图像的实时处理。
6.一种微弱小目标图像实时处理系统，其特征在于，包括：
读取模块，用于通过CMOS图像探测器电子卷帘模式的图像逐行读取像素；
获取模块，用于在逐行读取所述像素的过程中，通过一维结构元素的形态学图像处理方法对逐行读取的像素进行处理，选择性地获取微弱小目标图像的组成像素；
确定模块，用于通过图像行方向连通域的目标提取方法处理所述微弱小目标图像的组成像素，以确定所述微弱小目标图像的完整区域；
处理模块，用于通过FPGA实现微弱小目标图像的实时处理。
7.根据权利要求6所述的微弱小目标图像实时处理系统，其特征在于，所述获取模块还用于通过大于目标特征尺寸的水平线性结构元素对原始图像进行腐蚀运算，以去除待提取的微弱小目标，并获取第一图像背景，并对所述第一图像背景进行膨胀运算，以去除图像坏点，并获取第二图像背景，将所述原始图像减去所述第二图像背景，以根据相减结果得到增强图像，通过自适应阈值对所述增强图像进行图像分割，以获取提取目标点的二值化图像，且分别通过水平方向和竖直方向的两点结构元素对所述二值化图像进行腐蚀运算，以去除图像中的单点噪声和虚警目标，并获取第一图像和第二图像，并分别通过水平方向和竖直方向的两点结构元素对所述第一图像和所述第二图像进行膨胀运算，获取第三图像和第四图像，以及对所述第三图像和所述第四图像进行或运算，以实现目标恢复。
8.根据权利要求6所述的微弱小目标图像实时处理系统，其特征在于，所述确定模块还用于根据当前行和上一行像素编码通过判断公式决定所述当前目标像素的连通域编码，其中，所述判断公式如下：
L(P(i,j))＝L(Q(i,[-m,-1]∪Q(i-1,[-m,n]))，
Q(i,[-p,q])＝{P(i,k):j-p≤k≤j+q}，
其中，Q(i,[-p,q])表示第i行中从(j-p)列到(j+q)列的像素集合，L(P(i,j))表示像素P(i,j))的连通域编码，所述编码通过集合Q中像素编码判断得到。
9.根据权利要求8所述的微弱小目标图像实时处理系统，其特征在于，所述读取模块还用于在每一行图像完成曝光后，像素逐个读取输出，以逐行进行图像的曝光和读取。
10.根据权利要求6-9任一项所述的微弱小目标图像实时处理系统，其特征在于，在所述通过FPGA实现微弱小目标图像的实时处理时，图像逐行读取进入FPGA，且目标的质心信息的输出与图像全部像素读取结束的延时2～3微秒，以实现图像的实时处理。
CN201810037139.1A 2018-01-15 2018-01-15 微弱小目标图像实时处理方法及系统 Active CN108305265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810037139.1A CN108305265B (zh) 2018-01-15 2018-01-15 微弱小目标图像实时处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810037139.1A CN108305265B (zh) 2018-01-15 2018-01-15 微弱小目标图像实时处理方法及系统

Publications (2)

Publication Number Publication Date
CN108305265A true CN108305265A (zh) 2018-07-20
CN108305265B CN108305265B (zh) 2020-06-30

Family

ID=62869139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810037139.1A Active CN108305265B (zh) 2018-01-15 2018-01-15 微弱小目标图像实时处理方法及系统

Country Status (1)

Country Link
CN (1) CN108305265B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246139A (zh) * 2019-04-26 2019-09-17 清华大学深圳研究生院 基于双阈值的浮游生物原位图像roi快速提取方法
CN110545388A (zh) * 2019-08-28 2019-12-06 上海集成电路研发中心有限公司 一种去除图像暗电流的装置和方法
CN111414800A (zh) * 2020-02-17 2020-07-14 妙微(杭州)科技有限公司 图像中小目标识别监控方法及其训练集的获取方法
CN114390197A (zh) * 2021-12-27 2022-04-22 维沃移动通信有限公司 拍摄方法和装置、电子设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020127563A1 (en) * 2001-01-08 2002-09-12 Salafsky Joshua S. Method and apparatus using a surface-selective nonlinear optical technique for detection of probe-target interactions without labels
US20110188728A1 (en) * 2009-12-17 2011-08-04 The Charles Stark Draper Laboratory, Inc. Methods of generating trophectoderm and neurectoderm from human embryonic stem cells
CN103065314A (zh) * 2012-12-28 2013-04-24 中国电子科技集团公司第五十四研究所 一种基于线描述子的图像连通域快速标记方法
CN103530629A (zh) * 2013-11-01 2014-01-22 四川九洲电器集团有限责任公司 红外小信号目标增程检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020127563A1 (en) * 2001-01-08 2002-09-12 Salafsky Joshua S. Method and apparatus using a surface-selective nonlinear optical technique for detection of probe-target interactions without labels
US20110188728A1 (en) * 2009-12-17 2011-08-04 The Charles Stark Draper Laboratory, Inc. Methods of generating trophectoderm and neurectoderm from human embryonic stem cells
CN103065314A (zh) * 2012-12-28 2013-04-24 中国电子科技集团公司第五十四研究所 一种基于线描述子的图像连通域快速标记方法
CN103530629A (zh) * 2013-11-01 2014-01-22 四川九洲电器集团有限责任公司 红外小信号目标增程检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GENG WANG ET AL.: "Optimization method for star tracker orientation in the sun-pointing mode", 《CHINESE OPTICS LETTERS》 *
倪华平: "外小目标检测的FPGA实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246139A (zh) * 2019-04-26 2019-09-17 清华大学深圳研究生院 基于双阈值的浮游生物原位图像roi快速提取方法
CN110246139B (zh) * 2019-04-26 2021-01-01 清华大学深圳研究生院 基于双阈值的浮游生物原位图像roi快速提取方法
CN110545388A (zh) * 2019-08-28 2019-12-06 上海集成电路研发中心有限公司 一种去除图像暗电流的装置和方法
CN110545388B (zh) * 2019-08-28 2022-04-01 上海集成电路研发中心有限公司 一种去除图像暗电流的装置和方法
CN111414800A (zh) * 2020-02-17 2020-07-14 妙微(杭州)科技有限公司 图像中小目标识别监控方法及其训练集的获取方法
CN114390197A (zh) * 2021-12-27 2022-04-22 维沃移动通信有限公司 拍摄方法和装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN108305265B (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN108305265A (zh) 微弱小目标图像实时处理方法及系统
CN111476159B (zh) 一种基于双角回归的检测模型训练、检测方法及装置
CN106846359B (zh) 基于视频序列的运动目标快速检测方法
Chen et al. A Siamese network based U-Net for change detection in high resolution remote sensing images
CN106204660B (zh) 一种基于特征匹配的地面目标跟踪装置
Wang et al. A real-time bridge crack detection method based on an improved inception-resnet-v2 structure
Ying et al. Multi-attention object detection model in remote sensing images based on multi-scale
CN108564109A (zh) 一种基于深度学习的遥感图像目标检测方法
CN109919961A (zh) 一种用于颅内cta图像中动脉瘤区域的处理方法及装置
Gao et al. On combining morphological component analysis and concentric morphology model for mammographic mass detection
CN104599280B (zh) 一种道路裂缝交叉点提取方法及系统
CN105809715B (zh) 一种基于帧间累计变化矩阵的视觉运动目标检测方法
CN112017192B (zh) 基于改进U-Net网络的腺体细胞图像分割方法及系统
CN112132119A (zh) 客流统计方法、装置、电子设备和存储介质
CN109829400A (zh) 一种快速车辆检测方法
CN109559324A (zh) 一种线阵图像中的目标轮廓检测方法
CN110598613B (zh) 一种高速公路团雾监测方法
CN106128121A (zh) 基于局部特征分析的车辆排队长度快速检测算法
CN108416801A (zh) 一种面向立体视觉三维重建的Har-SURF-RAN特征点匹配方法
CN101425140A (zh) 基于骨架特征的脑血管瘤图像识别检测方法
Liu et al. A multi-scale feature pyramid SAR ship detection network with robust background interference
CN107230210A (zh) 一种遥感图像港口水面目标的快速分割方法
Sobania et al. Morphological corner detector using paired triangular structuring elements
Zhang et al. CA-U2-Net: Contour Detection and Attention in U2-Net for Infrared Dim and Small Target Detection
CN109800683A (zh) 一种基于fpga的红外行人检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant