CN114037724A - 一种阈值法图像分割的异构并行计算系统、方法及电子设备 - Google Patents
一种阈值法图像分割的异构并行计算系统、方法及电子设备 Download PDFInfo
- Publication number
- CN114037724A CN114037724A CN202111212342.6A CN202111212342A CN114037724A CN 114037724 A CN114037724 A CN 114037724A CN 202111212342 A CN202111212342 A CN 202111212342A CN 114037724 A CN114037724 A CN 114037724A
- Authority
- CN
- China
- Prior art keywords
- image
- subgraph
- local
- segmentation
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003709 image segmentation Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 52
- 238000013461 design Methods 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims description 50
- 238000004364 calculation method Methods 0.000 claims description 37
- 238000000605 extraction Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000008707 rearrangement Effects 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种阈值法图像分割的异构并行计算系统、方法及电子设备，所述系统包括图像切片功能单元、基于局部特征的子图分类粗分割计算单元、基于OTSU阈值的目标与背景交界子图细分割计算单元以及子图分割结果拼接功能单元。在对阈值法图像分割的各功能单元处理特性分析的基础上，利用异构片上系统提供的微处理器与FPGA实现控制密集型与计算密集型任务的异构计算系统设计；利用异构片上系统兼具微处理器灵活控制能力与FPGA高计算能力的特点，设计阈值法图像分割异构并行计算系统，对阈值法中计算耗时较长的处理步骤进行加速计算的同时，保持了对图像像素位置重排的控制灵活性，提高了图像分割方法整体的执行效率。
Description
技术领域
本发明属于图像处理技术领域，特别是涉及一种阈值法图像分割的异构并行计算系统、方法及电子设备。
背景技术
图像分割是计算机视觉任务中基本图像处理环节之一，旨在将一幅完整图像分成多个子区域，不同子区域间具有较大的差异，而同一个子区域中像素具有相似的特征，从而实现目标所在区域与背景区域的分离。在目标检测、目标跟踪等时效性强、精度要求高的图像处理任务中，图像分割常用作预选目标所在区域，减少数据量，提升目标检测效率与检测精度的重要预处理步骤。当前，目标检测等方法常部署于嵌入式边缘端以实现实时处理，而利用边缘端有限的计算资源实现高速的图像分割成为实时图像处理的关键。随着图像分辨率的提升，图像数据量急剧增加，开发计算过程简单、计算资源需求低的图像分割方法成为具有挑战性的问题。
基于阈值法的图像分割是一种典型的具备计算过程简单、计算资源需求低等特点的图像分割方法，主要包括迭代阈值、最大熵阈值与OTSU自适应阈值的方法。此类方法大多采用对图像中每一个像素在不同灰度值上出现的概率进行统计，再利用一定的规则求取分割阈值进行图像分割。然而，当图像分辨率较大，包含像素点较多时采用遍历整幅图像获得分割阈值的方式会严重降低处理速度。同时，利用边缘端常用的RISC架构微处理器进行图像分割时，微处理器只能提供串行处理方式，无法有效利用算法中计算步骤的并行性，进一步限制了处理效率。因此，需要利用高性能计算平台，在保证图像分割算法控制灵活性的前提下，提升计算效率。
基于FPGA的异构片上系统是一种典型的高性能计算平台。其内部既集成有具有控制灵活性的微处理器，又集成有高计算性能的FPGA。FPGA包含大量的并行可配置逻辑资源，具备不依赖指令集操作、电路功能可重构的特点，可针对图像分割算法中耗时较长的关键步骤提供并行计算的功能，实现低功耗、高性能的处理，因此在图像处理领域的到广泛应用。
综上所述，阈值法图像分割由于计算过程简单，广泛用于目标区域预选等预处理过程，但其逐像素点遍历图像的处理方式在边缘端微处理器提供的串行处理能力下处理效率低，目前缺乏针对此类方法的高性能并行计算系统设计。因此，针对以上问题，本发明利用兼具微处理器的控制灵活性与FPGA的高计算性能的异构片上系统，设计一种阈值法图像分割的异构并行计算系统，提高阈值法图像分割的处理效率。
发明内容
本发明目的是为了解决现有技术的问题，提出了一种阈值法图像分割的异构并行计算系统、方法及电子设备。本发明所述系统和方法适用于利用阈值法进行快速的图像分割，通过基于FPGA的异构片上系统提供高并行计算性能，对阈值法进行并行计算加速处理，提高处理效率。
本发明是通过以下技术方案实现的，本发明提出一种阈值法图像分割的异构并行计算系统，所述计算系统基于FPGA的异构片上系统进行各功能单元的设计，所述计算系统包括：
图像切片功能单元，用于将完整的高分辨率图像按顺序切片成多个子图；
基于局部特征的子图分类粗分割计算单元，用于对输入的子图判断所属的类别，并判断子图是否需要进入细分割计算单元的处理；
基于OTSU阈值的目标与背景交界子图细分割计算单元，用于利用FPGA设计多图像块并行灰度概率直方图统计，得到子图分割结果；
子图分割结果拼接功能单元，用于接收已标记的子图，根据子图标记结果对应的子图原图在整幅图像中的位置，将子图标记结果拼接为整幅图像的分割结果。
进一步地，在图像切片功能单元中，
设原始图像的尺寸为M×N，切片子图的尺寸为M1×N1，M为M1的整数倍，N为N1的整数倍，切图按照先行的方向再列的方向顺序切割子图，子图间不重叠像素，保证遍历全部图像且不产生冗余的数据，切割后的子图将进入下一级子图分类粗分割计算单元进行处理。
进一步地，在基于局部特征的子图分类粗分割计算单元中，
将子图划分成p个大小相等的局部窗口，利用FPGA设计并行局部窗口特征提取单元，对所有局部窗口同步提取局部特征，综合所有局部窗口判断子图类型；根据目标区域与背景区域在灰度值与灰度分布离散情况的不同，采用熵、灰度均值和灰度标准差三种局部特征进行判断；
在提取完上述三种局部特征后，与局部熵阈值tH、灰度均值阈值tM与灰度标准差阈值tσ分别进行比较，当全部满足阈值判断条件时，该局部窗口为目标区域窗口，否则为背景区域窗口；判断完所有局部窗口类型后，通过局部窗口所属类型的数量判断子图的类型。
进一步地，所述通过局部窗口所属类型的数量判断子图的类型具体为：设置数量阈值ttarget与tback，当局部窗口所属类型为目标区域窗口时的数量大于ttarget时，判断子图类型为单一目标区域；当局部窗口所属类型为背景区域窗口时的数量大于tback时，则判断子图类型为单一背景区域；否则为目标与背景交界类型子图。
进一步地，
熵的计算公式如下：
式中，Pk表示灰度值为k的像素点在该局部窗口中出现的概率，L表示图像的灰度级，当图像的像素位宽为width时，图像灰度级L＝2width；
灰度均值表示图像灰度的平均水平，灰度标准差则反映了图像中像素值离散程度；局部窗口的灰度均值Mean和标准差σ的定义如下两个公式所示：
式中，d表示局部窗口的大小，f(x,y)表示局部窗口内每一点的灰度值。
进一步地，当子图判别类型为目标与背景交界类型时，进入基于OTSU阈值的目标与背景交界子图细分割计算单元进行处理，其他类型则直接输出固定阈值；
该细分割计算单元采用OTSU阈值对目标区域和背景区域进行分离；OTSU法通过阈值t将图像中的像素分为A类与B类，其中，像素灰度值小于t为A类，否则为B类；遍历图像进行不同灰度级下像素出现概率直方图统计，求得灰度值为i的像素出现的概率P(i)，则A类和B类发生的概率PA(t)和PB(t)分别为：
其中，L表示图像的灰度级；
A类和B类的平均灰度μA和μB分别为：
整幅图像的平均灰度μ为：
类间方差
的计算公式为：
遍历图像包含的全部灰度值，找到使得类间方差
达到最大的阈值t，即为目标与背景分割阈值，根据分割阈值将图像中的目标区域与背景区域以不同值进行标记，得到子图分割结果。
进一步地，所述灰度值为i的像素出现的概率P(i)的具体计算方式为：
将子图划分为多个图像块，同步的对多个图像块内的像素进行直方图统计，最后将每个图像块统计的结果加和求平均后，即可得到最终子图的像素灰度出现概率直方图统计结果；设切片子图可划分为R个图像块分组，每个分组内包含S个图像块，则第r个分组中第s个图像块内灰度值为i的像素出现的概率P′rs(i)与第r个分组中全部图像块统计得到的灰度值为i的像素出现的概率Pr″(i)的关系如下式所示：
统计完全部R组内像素灰度直方图，对R组图像块统计结果加和求平均后，即可得到整幅子图内像素在灰度值i出现概率P(i)，如下式表示：
当进行像素灰度直方统计时，采用“组内并行，组间串行”的处理方式，即同一组内多个图像块并行同步进行直方图统计处理，而不同组间重复使用数据缓存，按顺序依次进行处理。
进一步地，所述图像切片功能单元与子图分割结果拼接功能单元主要执行像素位置的重排序工作，属于控制密集型任务，利用微处理器执行；所述基于局部特征的子图分类粗分割计算单元与基于OTSU阈值的目标与背景交界子图细分割计算单元主要执行对局部特征与OTSU阈值求解的计算过程，属于计算密集型任务，利用FPGA的并行计算能力实现计算加速。
本发明还提出一种阈值法图像分割的异构并行计算方法，所述计算方法基于FPGA的异构片上系统进行各功能单元的设计，所述计算方法包括：
将完整的高分辨率图像按顺序切片成多个子图；
对输入的子图判断所属的类别，并判断子图是否需要进入细分割计算单元的处理；
利用FPGA设计多图像块并行灰度概率直方图统计，得到子图分割结果；
接收已标记的子图，根据子图标记结果对应的子图原图在整幅图像中的位置，将子图标记结果拼接为整幅图像的分割结果。
本发明还提出一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的阈值法图像分割的异构并行计算方法。
本发明的有益效果为：
(1)利用异构片上系统兼具微处理器灵活控制能力与FPGA高计算能力的特点，设计阈值法图像分割异构并行计算系统，对阈值法中计算耗时较长的处理步骤进行加速计算的同时，保持了对图像像素位置重排的控制灵活性，提高了图像分割方法整体的执行效率。
(2)利用子图分类粗分割与目标和背景交界细分割两级图像分割策略，通过图像局部区域进行图像分割处理，避免了复杂全局信息的干扰，同时对单一目标或背景区域采用更简单的处理方式，减少OTSU方法处理的数据量，提高处理效率。
(3)利用FPGA并行计算特点，对子图分类粗分割过程中局部特征提取操作设计并行计算结构，通过多个局部窗口内同步提取特征再进行综合判断，加快了子图分类处理过程。
(4)利用FPGA并行计算特点，对基于OTSU阈值的目标与背景交界类型子图细分割过程中，整幅子图按顺序逐像素进行不同灰度级下出现概率的直方图统计进行并行化加速处理。利用子图分割的多个图像块组实现计算加速，组内图像块同步统计直方图，组间图像块按顺序统计直方图，在提高处理速度的同时减少了FPGA内缓存的需求量。
附图说明
图1为本发明所述阈值法图像分割的异构并行计算系统结构图；
图2为基于并行局部特征提取的子图分类流程图；
图3为基于分组图像块并行灰度直方图统计的目标与背景交界OTSU阈值求解流程图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明利用兼具高并行计算性能与高灵活控制性能的基于FPGA的异构片上系统，进行阈值法图像分割异构并行计算系统各功能单元的设计，包括：图像切片功能单元、基于局部特征的子图分类粗分割计算单元、基于OTSU阈值的目标与背景交界子图细分割计算单元以及子图分割结果拼接功能单元。在对阈值法图像分割的各功能单元处理特性分析的基础上，利用异构片上系统提供的微处理器与FPGA实现控制密集型与计算密集型任务的异构计算系统设计；设计子图分类粗分割功能单元，减少后续OTSU方法处理的数据量，同时利用FPGA设计并行的子图局部特征提取单元，实现快速的局部特征统计与子图类型判断；针对目标与背景交界子图，设计OTSU阈值细分割功能单元，利用FPGA设计多图像块并行灰度概率直方图统计，代替在整幅子图内顺序统计像素灰度概率直方图，以提升OTSU阈值求解速度，加速图像分割过程。
结合图1-3，本发明提出一种阈值法图像分割的异构并行计算系统，所述计算系统基于FPGA的异构片上系统进行各功能单元的设计，所述计算系统包括：
图像切片功能单元，用于将完整的高分辨率图像按顺序切片成多个子图；
基于局部特征的子图分类粗分割计算单元，用于对输入的子图判断所属的类别，并判断子图是否需要进入细分割计算单元的处理；
基于OTSU阈值的目标与背景交界子图细分割计算单元，用于利用FPGA设计多图像块并行灰度概率直方图统计，得到子图分割结果；
子图分割结果拼接功能单元，用于接收已标记的子图，根据子图标记结果对应的子图原图在整幅图像中的位置，将子图标记结果拼接为整幅图像的分割结果。
在图像切片功能单元中，
设原始图像的尺寸为M×N，切片子图的尺寸为M1×N1，M为M1的整数倍，N为N1的整数倍，切图按照先行的方向再列的方向顺序切割子图，子图间不重叠像素，保证遍历全部图像且不产生冗余的数据，通过执行图像切片功能，对整幅图像的分析转换为对图像局部区域的分析，避免了全局图像信息的干扰，且对不同类型的局部区域采用不同处理方式，提升处理效率，切割后的子图将进入下一级子图分类粗分割计算单元进行处理。
由于目标区域在图像中只占部分像素，大多数像素为背景区域，且目标区域内与背景区域内像素灰度分布相似，因此只在目标与背景交界处进行OTSU阈值判断，而判断为单一目标区域和单一背景区域则直接输出阈值。在基于局部特征的子图分类粗分割计算单元中，将子图划分成p个大小相等的局部窗口，利用FPGA设计并行局部窗口特征提取单元，对所有局部窗口同步提取局部特征，综合所有局部窗口判断子图类型；根据目标区域与背景区域在灰度值与灰度分布离散情况的不同，采用熵、灰度均值和灰度标准差三种局部特征进行判断；
熵是图像纹理的一种基础表达特征，其大小可反映图像灰度的离散程度，熵值越大意味着图像含有的信息量更丰富或是信息分布越不均匀，熵的计算公式如下：
式中，Pk表示灰度值为k的像素点在该局部窗口中出现的概率，L表示图像的灰度级，当图像的像素位宽为width时，图像灰度级L＝2width；
灰度均值表示图像灰度的平均水平，灰度标准差则反映了图像中像素值离散程度；局部窗口的灰度均值Mean和标准差σ的定义如下两个公式所示：
式中，d表示局部窗口的大小，f(x,y)表示局部窗口内每一点的灰度值。
在提取完上述三种局部特征后，与局部熵阈值tH、灰度均值阈值tM与灰度标准差阈值tσ分别进行比较，当全部满足阈值判断条件时，该局部窗口为目标区域窗口，否则为背景区域窗口；判断完所有局部窗口类型后，通过局部窗口所属类型的数量判断子图的类型。
所述通过局部窗口所属类型的数量判断子图的类型具体为：设置数量阈值ttarget与tback，当局部窗口所属类型为目标区域窗口时的数量大于ttarget时，判断子图类型为单一目标区域；当局部窗口所属类型为背景区域窗口时的数量大于tback时，则判断子图类型为单一背景区域；否则为目标与背景交界类型子图。
对基于局部特征的子图分类粗分割计算单元中局部特征提取过程进行并行计算处理，提高处理速度。由于子图的局部特征提取依赖划分的p个局部窗口，每个局部窗口间需要提取的特征相同，提取过程互不相关，因此本发明中设计并行的局部窗口特征提取单元实现多个局部窗口特征的同步提取，加快处理速度。在每个局部窗口内提取局部熵、灰度均值以及灰度标准差的过程中，利用高层次综合工具(Vivado HLS)的指令对各个循环进行流水线设计，提高在局部窗口特征提取单元内处理速度。
当子图判别类型为目标与背景交界类型时，进入基于OTSU阈值的目标与背景交界子图细分割计算单元进行处理，其他类型则直接输出固定阈值；
该细分割计算单元采用OTSU阈值对目标区域和背景区域进行分离；OTSU法通过阈值t将图像中的像素分为A类与B类，其中，像素灰度值小于t为A类，否则为B类；遍历图像进行不同灰度级下像素出现概率直方图统计，求得灰度值为i的像素出现的概率P(i)，则A类和B类发生的概率PA(t)和PB(t)分别为：
其中，L表示图像的灰度级；
A类和B类的平均灰度μA和μB分别为：
整幅图像的平均灰度μ为：
类间方差
的计算公式为：
遍历图像包含的全部灰度值，找到使得类间方差
达到最大的阈值t，即为目标与背景分割阈值，根据分割阈值将图像中的目标区域与背景区域以不同值进行标记，得到子图分割结果。
所述灰度值为i的像素出现的概率P(i)的具体计算方式为：
将子图划分为多个图像块，同步的对多个图像块内的像素进行直方图统计，最后将每个图像块统计的结果加和求平均后，即可得到最终子图的像素灰度出现概率直方图统计结果；设切片子图可划分为R个图像块分组，每个分组内包含S个图像块，则第r个分组中第s个图像块内灰度值为i的像素出现的概率Pr′s(i)与第r个分组中全部图像块统计得到的灰度值为i的像素出现的概率Pr″(i)的关系如下式所示：
统计完全部R组内像素灰度直方图，对R组图像块统计结果加和求平均后，即可得到整幅子图内像素在灰度值i出现概率P(i)，如下式表示：
当进行像素灰度直方统计时，采用“组内并行，组间串行”的处理方式，即同一组内多个图像块并行同步进行直方图统计处理，而不同组间重复使用数据缓存，按顺序依次进行处理。通过上述处理方式，在提高处理速度的同时降低了对FPGA内部缓存资源的要求。
本发明利用异构片上系统中微处理器的控制灵活性与FPGA的高并行计算性能，设计异构计算系统实现阈值法图像分割中控制密集型任务与计算密集型任务的高效处理。其中，所述图像切片功能单元与子图分割结果拼接功能单元主要执行像素位置的重排序工作，属于控制密集型任务，利用微处理器执行；所述基于局部特征的子图分类粗分割计算单元与基于OTSU阈值的目标与背景交界子图细分割计算单元主要执行对局部特征与OTSU阈值求解的计算过程，属于计算密集型任务，利用FPGA的并行计算能力实现计算加速。
本发明还提出一种阈值法图像分割的异构并行计算方法，所述计算方法基于FPGA的异构片上系统进行各功能单元的设计，所述计算方法包括：
将完整的高分辨率图像按顺序切片成多个子图；
对输入的子图判断所属的类别，并判断子图是否需要进入细分割计算单元的处理；
利用FPGA设计多图像块并行灰度概率直方图统计，得到子图分割结果；
接收已标记的子图，根据子图标记结果对应的子图原图在整幅图像中的位置，将子图标记结果拼接为整幅图像的分割结果。
本发明还提出一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的阈值法图像分割的异构并行计算方法。
实施例
本发明采用高分辨率遥感图像作为输入进行海陆分割处理，输入图像尺寸为8192×2048像素。进入微处理器中图像切片功能单元后，原始图像将按照先行后列的方向，顺序切分为512×512像素大小的子图，并将子图通过异构处理器间互联总线传输到FPGA上，进行后续图像分割处理。
切片后的子图首先进入FPGA中基于局部特征的子图分类粗分割计算单元进行处理。本发明设计基于并行局部特征提取的子图分类流程来加速计算子图分类过程，如图2所示。将子图划分成64个局部窗口，每个局部窗口包含64×64像素。同时，设计64个并行的局部窗口特征提取单元，实现同步的对64个局部窗口进行熵、灰度均值以及灰度标准差的提取，提取完成后与设定的阈值比较以判断局部窗口类型。本发明针对遥感图像中海陆的特点，以海面区域为目标区域，选取熵的阈值tH为4.2，灰度均值的阈值tM为50，灰度标准差阈值tσ为20，同时满足小于这三个阈值条件的局部窗口判断为海洋类型，否则为陆地类型。综合完全部局部窗口的类型，当局部窗口被判断为海面的数量不小于62时，则判定切片子图为单一海洋类型；当局部窗口被判断为陆地的数量不小于62时，则判定切片子图为单一陆地类型；否则为海陆交界类型。
当子图类型被判断为海陆交界类型时，进入基于OTSU阈值的目标与背景交界子图细分割计算单元。本发明为此单元设计基于分组图像块并行灰度直方图统计的目标与背景交界OTSU阈值求解流程如图3所示。设置分组数为4，组内图像块数量为16，即计算结构一次可以对16个图像块进行同步的像素灰度直方统计。统计直方图结果将进一步用于OTSU阈值求解，并利用求出的阈值，对子图中的海陆进行标记。
标记后的子图进入子图分割结果拼接功能单元，将子图按照原图像中的位置进行组合，完成对完整图像的海陆分割标记。
以上对本发明所提出的一种阈值法图像分割的异构并行计算系统、方法及电子设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种阈值法图像分割的异构并行计算系统，所述计算系统基于FPGA的异构片上系统进行各功能单元的设计，其特征在于：所述计算系统包括：
图像切片功能单元，用于将完整的高分辨率图像按顺序切片成多个子图；
基于局部特征的子图分类粗分割计算单元，用于对输入的子图判断所属的类别，并判断子图是否需要进入细分割计算单元的处理；
基于OTSU阈值的目标与背景交界子图细分割计算单元，用于利用FPGA设计多图像块并行灰度概率直方图统计，得到子图分割结果；
子图分割结果拼接功能单元，用于接收已标记的子图，根据子图标记结果对应的子图原图在整幅图像中的位置，将子图标记结果拼接为整幅图像的分割结果。
2.根据权利要求1所述的系统，其特征在于：在图像切片功能单元中，
设原始图像的尺寸为M×N，切片子图的尺寸为M1×N1，M为M1的整数倍，N为N1的整数倍，切图按照先行的方向再列的方向顺序切割子图，子图间不重叠像素，保证遍历全部图像且不产生冗余的数据，切割后的子图将进入下一级子图分类粗分割计算单元进行处理。
3.根据权利要求1所述的系统，其特征在于：在基于局部特征的子图分类粗分割计算单元中，
将子图划分成p个大小相等的局部窗口，利用FPGA设计并行局部窗口特征提取单元，对所有局部窗口同步提取局部特征，综合所有局部窗口判断子图类型；根据目标区域与背景区域在灰度值与灰度分布离散情况的不同，采用熵、灰度均值和灰度标准差三种局部特征进行判断；
在提取完上述三种局部特征后，与局部熵阈值tH、灰度均值阈值tM与灰度标准差阈值tσ分别进行比较，当全部满足阈值判断条件时，该局部窗口为目标区域窗口，否则为背景区域窗口；判断完所有局部窗口类型后，通过局部窗口所属类型的数量判断子图的类型。
4.根据权利要求3所述的系统，其特征在于：所述通过局部窗口所属类型的数量判断子图的类型具体为：设置数量阈值ttarget与tback，当局部窗口所属类型为目标区域窗口时的数量大于ttarget时，判断子图类型为单一目标区域；当局部窗口所属类型为背景区域窗口时的数量大于tback时，则判断子图类型为单一背景区域；否则为目标与背景交界类型子图。
5.根据权利要求3所述的系统，其特征在于：
熵的计算公式如下：
式中，Pk表示灰度值为k的像素点在该局部窗口中出现的概率，L表示图像的灰度级，当图像的像素位宽为width时，图像灰度级L＝2width；
灰度均值表示图像灰度的平均水平，灰度标准差则反映了图像中像素值离散程度；局部窗口的灰度均值Mean和标准差σ的定义如下两个公式所示：
式中，d表示局部窗口的大小，f(x,y)表示局部窗口内每一点的灰度值。
6.根据权利要求4所述的系统，其特征在于：当子图判别类型为目标与背景交界类型时，进入基于OTSU阈值的目标与背景交界子图细分割计算单元进行处理，其他类型则直接输出固定阈值；
该细分割计算单元采用OTSU阈值对目标区域和背景区域进行分离；OTSU法通过阈值t将图像中的像素分为A类与B类，其中，像素灰度值小于t为A类，否则为B类；遍历图像进行不同灰度级下像素出现概率直方图统计，求得灰度值为i的像素出现的概率P(i)，则A类和B类发生的概率PA(t)和PB(t)分别为：
其中，L表示图像的灰度级；
A类和B类的平均灰度μA和μB分别为：
整幅图像的平均灰度μ为：
类间方差
的计算公式为：
遍历图像包含的全部灰度值，找到使得类间方差
达到最大的阈值t，即为目标与背景分割阈值，根据分割阈值将图像中的目标区域与背景区域以不同值进行标记，得到子图分割结果。
7.根据权利要求6所述的系统，其特征在于：所述灰度值为i的像素出现的概率P(i)的具体计算方式为：
将子图划分为多个图像块，同步的对多个图像块内的像素进行直方图统计，最后将每个图像块统计的结果加和求平均后，即可得到最终子图的像素灰度出现概率直方图统计结果；设切片子图可划分为R个图像块分组，每个分组内包含S个图像块，则第r个分组中第s个图像块内灰度值为i的像素出现的概率P′rs(i)与第r个分组中全部图像块统计得到的灰度值为i的像素出现的概率Pr″(i)的关系如下式所示：
统计完全部R组内像素灰度直方图，对R组图像块统计结果加和求平均后，即可得到整幅子图内像素在灰度值i出现概率P(i)，如下式表示：
当进行像素灰度直方统计时，采用“组内并行，组间串行”的处理方式，即同一组内多个图像块并行同步进行直方图统计处理，而不同组间重复使用数据缓存，按顺序依次进行处理。
8.根据权利要求1所述的系统，其特征在于：所述图像切片功能单元与子图分割结果拼接功能单元主要执行像素位置的重排序工作，属于控制密集型任务，利用微处理器执行；所述基于局部特征的子图分类粗分割计算单元与基于OTSU阈值的目标与背景交界子图细分割计算单元主要执行对局部特征与OTSU阈值求解的计算过程，属于计算密集型任务，利用FPGA的并行计算能力实现计算加速。
9.一种阈值法图像分割的异构并行计算方法，所述计算方法基于FPGA的异构片上系统进行各功能单元的设计，其特征在于：所述计算方法包括：
将完整的高分辨率图像按顺序切片成多个子图；
对输入的子图判断所属的类别，并判断子图是否需要进入细分割计算单元的处理；
利用FPGA设计多图像块并行灰度概率直方图统计，得到子图分割结果；
接收已标记的子图，根据子图标记结果对应的子图原图在整幅图像中的位置，将子图标记结果拼接为整幅图像的分割结果。
10.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求9所述的阈值法图像分割的异构并行计算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111212342.6A CN114037724B (zh) | 2021-10-18 | 2021-10-18 | 一种阈值法图像分割的异构并行计算系统、方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111212342.6A CN114037724B (zh) | 2021-10-18 | 2021-10-18 | 一种阈值法图像分割的异构并行计算系统、方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114037724A true CN114037724A (zh) | 2022-02-11 |
| CN114037724B CN114037724B (zh) | 2024-04-09 |
Family
ID=80135310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111212342.6A Active CN114037724B (zh) | 2021-10-18 | 2021-10-18 | 一种阈值法图像分割的异构并行计算系统、方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114037724B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114298713A (zh) * | 2022-03-03 | 2022-04-08 | 浙商银行股份有限公司 | 一种联盟链分片方法、装置及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012016242A2 (en) * | 2010-07-30 | 2012-02-02 | Aureon Biosciences, Inc. | Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions |
| CN109785285A (zh) * | 2018-12-11 | 2019-05-21 | 西安工程大学 | 一种基于椭圆特征拟合的绝缘子破损检测方法 |
| CN112102350A (zh) * | 2020-08-28 | 2020-12-18 | 西安工程大学 | 一种基于Otsu和Tsallis熵的二次图像分割方法 |
-
2021
- 2021-10-18 CN CN202111212342.6A patent/CN114037724B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012016242A2 (en) * | 2010-07-30 | 2012-02-02 | Aureon Biosciences, Inc. | Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions |
| CN109785285A (zh) * | 2018-12-11 | 2019-05-21 | 西安工程大学 | 一种基于椭圆特征拟合的绝缘子破损检测方法 |
| CN112102350A (zh) * | 2020-08-28 | 2020-12-18 | 西安工程大学 | 一种基于Otsu和Tsallis熵的二次图像分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| 刘通;乔立岩;罗天男;刘旺;彭喜元;: "基于点集配准的立方体卫星非合作姿态估计", 仪器仪表学报, no. 10, 15 October 2016 (2016-10-15) * |
| 尹奎英;刘宏伟;金林;王英华;: "一种基于多模分布的SAR图像分割算法", 宇航学报, no. 04, 30 April 2011 (2011-04-30) * |
| 张雄美;李钊;易昭湘;石虎林;: "基于局部模糊熵与Otsu的图像阈值分割", 无线电通信技术, no. 05, 18 October 2007 (2007-10-18) * |
| 李伟;张硕;: "一种改进的球栅阵列封装焊点射线图像阈值分割算法", 光子学报, no. 07, 15 July 2011 (2011-07-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114298713A (zh) * | 2022-03-03 | 2022-04-08 | 浙商银行股份有限公司 | 一种联盟链分片方法、装置及存储介质 |
| CN114298713B (zh) * | 2022-03-03 | 2022-07-08 | 浙商银行股份有限公司 | 一种联盟链分片方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114037724B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111210443B (zh) | 基于嵌入平衡的可变形卷积混合任务级联语义分割方法 | |
| CN109840521B (zh) | 一种基于深度学习的一体化车牌识别方法 | |
| CN105261017B (zh) | 基于路面约束的图像分割法提取行人感兴趣区域的方法 | |
| JP2008148298A (ja) | 画像における異なった内容の領域を識別する方法、画像における異なった内容の領域を識別する装置、および画像における異なった内容の領域を識別するコンピュータ・プログラムを具現するコンピュータ読み取り可能な媒体 | |
| CN103413307A (zh) | 一种基于超图的图像共分割方法 | |
| CN111753682A (zh) | 一种基于目标检测算法的吊装区域动态监控方法 | |
| Pietron et al. | Comparison of GPU and FPGA implementation of SVM algorithm for fast image segmentation | |
| CN111967545A (zh) | 文本检测方法、装置、电子设备及计算机存储介质 | |
| CN114037724B (zh) | 一种阈值法图像分割的异构并行计算系统、方法及电子设备 | |
| Claus et al. | Optimizing the SUSAN corner detection algorithm for a high speed FPGA implementation | |
| CN110795955A (zh) | 一种快速识别多条码的系统及其方法 | |
| CN102509308A (zh) | 基于混合动态纹理空时显著性检测的运动分割方法 | |
| CN113537017A (zh) | 基于级联型回归修正的光学遥感图像飞机检测方法和装置 | |
| Pohl et al. | An efficient FPGA-based hardware framework for natural feature extraction and related computer vision tasks | |
| Li et al. | A hardware-efficient parallel architecture for real-time blob analysis based on run-length code | |
| US7587088B2 (en) | Method and apparatus for image processing | |
| CN110751150A (zh) | 一种基于fpga的二值神经网络车牌识别方法及系统 | |
| CN111160372A (zh) | 一种基于高速卷积神经网络的大目标识别方法 | |
| Cheng et al. | Power pole detection based on graph cut | |
| CN115909072A (zh) | 一种基于改进YOLOv4算法的弹着点水柱检测方法 | |
| Ibarra-Manzano et al. | An fpga implementation for texture analysis considering the real-time requirements of vision-based systems | |
| Jinmei et al. | A refined quadtree-based automatic classification method for remote sensing image | |
| Das et al. | Object Detection on Scene Images: A Novel Approach | |
| CN112784832A (zh) | 一种物体标记点识别方法及装置 | |
| Rybalkin et al. | idocchip: A configurable hardware architecture for historical document image processing: Percentile based binarization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |