CN117292331A - 基于深度学习的复杂异物检测系统及方法 - Google Patents
基于深度学习的复杂异物检测系统及方法 Download PDFInfo
- Publication number
- CN117292331A CN117292331A CN202311592002.XA CN202311592002A CN117292331A CN 117292331 A CN117292331 A CN 117292331A CN 202311592002 A CN202311592002 A CN 202311592002A CN 117292331 A CN117292331 A CN 117292331A
- Authority
- CN
- China
- Prior art keywords
- water body
- vector
- morphological
- morphology
- vector coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000013135 deep learning Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 29
- 239000013598 vector Substances 0.000 claims abstract description 446
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 306
- 230000000877 morphologic effect Effects 0.000 claims abstract description 226
- 238000012549 training Methods 0.000 claims abstract description 176
- 238000011156 evaluation Methods 0.000 claims description 45
- 230000000903 blocking effect Effects 0.000 claims description 30
- 238000013507 mapping Methods 0.000 claims description 19
- 238000002372 labelling Methods 0.000 claims description 16
- 210000000746 body region Anatomy 0.000 claims description 9
- 210000005036 nerve Anatomy 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 7
- 239000003344 environmental pollutant Substances 0.000 claims description 6
- 231100000719 pollutant Toxicity 0.000 claims description 6
- 230000001788 irregular Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000003911 water pollution Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000003403 water pollutant Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供一种基于深度学习的复杂异物检测系统及方法,基于训练完成的形态学矢量编码模型,对前景图像分块后生成的各个水体图像分块数据进行区域形态学矢量编码,生成区域形态学矢量,并基于区域形态学矢量和预置复杂异物模板特征库中的各个预置复杂异物的模板区域形态学矢量,对各个水体图像分块数据进行复杂异物预测,生成分块复杂异物预测数据,通过具有粗粒度形态学矢量编码单元和细粒度形态学矢量编码单元构成的形态学矢量编码模型对各个水体图像分块数据进行区域形态学矢量编码,由此可以提取到准确的水体图像分块数据的区域形态学矢量,进而依据区域形态学矢量能够对目标水体采集图像数据进行精准复杂异物预测。
Description
技术领域
本申请实施例涉及图像分析技术领域,具体而言,涉及一种基于深度学习的复杂异物检测系统及方法。
背景技术
水体污染是由有害污染物造成水的使用价值降低或丧失,污染环境的水。例如,人类环境中产生的各种异物均可以构成水体污染物,因此,需要对水体区域中所存在的各种复杂异物构成的污染物进行汇总分析,从而针对性地根据污染物类别进行后续的水体改善工厂。然而,目前针对复杂异物污染物的检测方式仍旧依赖于人工对采集图像进行分析,或者简单异物的机器特征比对,难以实现对水体区域进行精准复杂异物检测。
发明内容
为了至少克服现有技术中的上述不足,本申请实施例的目的在于提供一种基于深度学习的复杂异物检测系统及方法。
依据本申请实施例的一个方面,提供了一种基于深度学习的复杂异物检测方法,包括:
对目标水体采集图像数据进行前景图像分块,生成多个水体图像分块数据;
基于训练完成的形态学矢量编码模型,对各个水体图像分块数据进行区域形态学矢量编码,生成区域形态学矢量,所述形态学矢量编码模型包括粗粒度形态学矢量编码单元和细粒度形态学矢量编码单元;所述粗粒度形态学矢量编码单元用于对所述水体图像分块数据进行粗粒度形态学矢量编码;所述细粒度形态学矢量编码单元用于依据所述粗粒度形态学矢量编码时生成的粗粒度区域形态学矢量,对所述水体图像分块数据进行细粒度形态学矢量编码,所述细粒度形态学矢量编码的编码深度小于所述粗粒度形态学矢量编码的编码深度;
获取预置复杂异物模板特征库中的各个预置复杂异物的模板区域形态学矢量;
基于所述区域形态学矢量和所述各个预置复杂异物的模板区域形态学矢量,对各个所述水体图像分块数据进行复杂异物预测,生成分块复杂异物预测数据;
基于所述多个水体图像分块数据的分块复杂异物预测数据,确定所述目标水体采集图像数据对应的复杂异物预测数据,其中,所述复杂异物用于表示水体区域中形状不规则的污染物。
在第一方面的一种可能的实施方式中,所述对目标水体采集图像数据进行前景图像分块,生成多个水体图像分块数据,包括:
基于设定检测区间的前景图像检测框,对所述目标水体采集图像数据进行图像分块,生成多个水体图像分块数据,所述多个水体图像分块数据对应相同的分块检测框参数。
在第一方面的一种可能的实施方式中,所述方法还包括:
获取局部自适应二值化算法;
基于所述局部自适应二值化算法对各个所述水体图像分块数据进行局部自适应二值化处理,获得多个局部自适应二值化处理后的水体图像分块数据;
所述对各个水体图像分块数据进行区域形态学矢量编码,生成区域形态学矢量,包括:
对各个局部自适应二值化处理后的水体图像分块数据进行区域形态学矢量编码,生成所述区域形态学矢量。
在第一方面的一种可能的实施方式中,所述基于训练完成的形态学矢量编码模型,对各个水体图像分块数据进行区域形态学矢量编码,生成区域形态学矢量,包括:
将各个所述水体图像分块数据加载到所述粗粒度形态学矢量编码单元中,依据所述粗粒度形态学矢量编码单元,对所述水体图像分块数据进行粗粒度形态学矢量编码,生成具有第一编码深度的模板区域形态学矢量;
将所述具有第一编码深度的模板区域形态学矢量,加载到所述细粒度形态学矢量编码单元中,依据所述细粒度形态学矢量编码单元,对所述水体图像分块数据进行细粒度形态学矢量编码,生成具有第二编码深度的模板区域形态学矢量;所述第一编码深度小于所述第二编码深度。
在第一方面的一种可能的实施方式中,所述基于所述区域形态学矢量和所述各个预置复杂异物的模板区域形态学矢量,对各个所述水体图像分块数据进行复杂异物预测,生成分块复杂异物预测数据,包括:
确定所述区域形态学矢量与所述各个预置复杂异物的模板区域形态学矢量之间的特征距离;
当所述区域形态学矢量与任一预置复杂异物的模板区域形态学矢量之间的特征距离小于门限特征距离时,确定所述水体图像分块数据的分块复杂异物预测数据为复杂异物存在结果;所述复杂异物存在结果用于表示所述水体图像分块数据对应的水体区域中含有与所述预置复杂异物模板特征库中的预置复杂异物具有相同类型的复杂异物;
所述基于所述多个水体图像分块数据的分块复杂异物预测数据,确定所述目标水体采集图像数据对应的复杂异物预测数据,包括:当任一水体图像分块数据的分块复杂异物预测数据为所述复杂异物存在结果时,确定所述目标水体采集图像数据对应的复杂异物预测数据为所述复杂异物存在结果。
在第一方面的一种可能的实施方式中,所述预置复杂异物模板特征库中包括各个所述预置复杂异物的异物图像数据;所述获取预置复杂异物模板特征库中的各个预置复杂异物的模板区域形态学矢量,包括:
依据所述训练完成的形态学矢量编码模型,对各个所述预置复杂异物的异物图像数据进行区域形态学矢量编码,生成各个所述预置复杂异物的模板区域形态学矢量。
在第一方面的一种可能的实施方式中,所述形态学矢量编码模型的训练步骤,包括:
将样本水体采集图像数据序列中的第一样本水体采集图像数据加载到所述粗粒度形态学矢量编码单元中,通过无监督区分训练策略对所述粗粒度形态学矢量编码单元进行权重参数更新,生成更新后的粗粒度形态学矢量编码单元;
将单异物元素的样本水体图像数据序列中的第二样本水体采集图像数据加载到所述更新后的粗粒度形态学矢量编码单元中,依据所述更新后的粗粒度形态学矢量编码单元对所述第二样本水体采集图像数据进行粗粒度形态学矢量编码,生成具有第三编码深度的预测模板区域形态学矢量;
将所述具有第三编码深度的预测模板区域形态学矢量加载到所述细粒度形态学矢量编码单元中,依据所述细粒度形态学矢量编码单元对所述第二样本水体采集图像数据进行细粒度形态学矢量编码,生成具有第四编码深度的预测模板区域形态学矢量;所述第三编码深度小于所述第四编码深度;
基于初始化神经网络模型依据所述具有第四编码深度的预测模板区域形态学矢量,对所述第二样本水体采集图像数据进行复杂异物预测,生成复杂异物预测学习数据;
将所述复杂异物预测学习数据与所述第二样本水体采集图像数据的复杂异物标注数据加载到模型训练误差参数层中,依据所述模型训练误差参数层输出模型训练误差值;
依据所述模型训练误差值对所述细粒度形态学矢量编码单元中的网络权重信息进行更新,生成更新后的形态学矢量编码模型;
所述粗粒度形态学矢量编码单元包括自编码神经子单元和连通域搜索子单元;所述将样本水体采集图像数据序列中的第一样本水体采集图像数据加载到所述粗粒度形态学矢量编码单元中,通过无监督区分训练策略对所述粗粒度形态学矢量编码单元进行权重参数更新,生成更新后的粗粒度形态学矢量编码单元,包括:
将样本水体采集图像数据序列中的第一样本水体采集图像数据加载到所述粗粒度形态学矢量编码单元中;
依据所述自编码神经子单元对所述第一样本水体采集图像数据进行第一图像语义特征提取,生成图像轮廓语义特征;
依据所述连通域搜索子单元对所述图像轮廓语义特征进行第二图像语义特征提取,生成具有设定形态映射边界的模板区域形态学矢量;
将所述具有设定形态映射边界的模板区域形态学矢量加载到第一训练误差评估网络中,依据所述第一训练误差评估网络中的第一训练误差参数层,确定所述具有设定形态映射边界的模板区域形态学矢量对应的第一模型训练误差值;
依据所述第一模型训练误差值对所述自编码神经子单元和所述连通域搜索子单元中的权重信息进行更新,生成所述更新后的粗粒度形态学矢量编码单元。
在第一方面的一种可能的实施方式中,所述细粒度形态学矢量编码单元包括:深度优先遍历搜索子单元和显著性映射子单元;
所述将所述具有第三编码深度的预测模板区域形态学矢量加载到所述细粒度形态学矢量编码单元中,依据所述细粒度形态学矢量编码单元对所述第二样本水体采集图像数据进行细粒度形态学矢量编码,生成具有第四编码深度的预测模板区域形态学矢量,包括:
将所述具有第三编码深度的预测模板区域形态学矢量,加载到所述细粒度形态学矢量编码单元中;
依据所述深度优先遍历搜索子单元,提取所述预测模板区域形态学矢量在不同遍历链路下的深度优先遍历搜索矢量;
依据所述显著性映射子单元对所述不同遍历链路下的深度优先遍历搜索矢量,在轮廓边界区内上依次进行显著性矢量分配,生成所述具有第四编码深度的预测模板区域形态学矢量;
所述细粒度形态学矢量编码单元包括训练误差定义网络层,所述训练误差定义网络层包括第二训练误差参数层;所述方法还包括:
将所述具有第四编码深度的预测模板区域形态学矢量和所述第二样本水体采集图像数据的标注区域形态学矢量,加载到所述训练误差定义网络层;
依据所述训练误差定义网络层的第二训练误差参数层,确定所述具有第四编码深度的预测模板区域形态学矢量对应的第二模型训练误差值;
依据所述第二模型训练误差值对所述深度优先遍历搜索子单元和所述显著性映射子单元中的权重信息进行更新,生成更新后的细粒度形态学矢量编码单元。
依据本申请实施例的一个方面,提供了一种基于深度学习的复杂异物检测系统,所述基于深度学习的复杂异物检测系统包括处理器和机器可读存储介质,所述机器可读存储介质中存储有机器可执行指令,所述机器可执行指令由所述处理器加载并执行以实现前述任意一种可能的实施方式中的基于深度学习的复杂异物检测方法。
依据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方面的各种可选实现方式中提供的方法。
基于以上方面,本申请实施例的有效效果为:
基于训练完成的形态学矢量编码模型,对前景图像分块后生成的各个水体图像分块数据进行区域形态学矢量编码,生成区域形态学矢量;并基于区域形态学矢量和预置复杂异物模板特征库中的各个预置复杂异物的模板区域形态学矢量,对各个水体图像分块数据进行复杂异物预测,生成分块复杂异物预测数据;从而基于多个水体图像分块数据的分块复杂异物预测数据,确定目标水体采集图像数据对应的复杂异物预测数据。如此,通过具有粗粒度形态学矢量编码单元和细粒度形态学矢量编码单元构成的形态学矢量编码模型对各个水体图像分块数据进行区域形态学矢量编码,由此可以提取到准确的水体图像分块数据的区域形态学矢量,进而依据区域形态学矢量能够对目标水体采集图像数据进行精准复杂异物预测。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要启用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的基础上,还可以结合这些附图提取其它相关的附图。
图1为本申请实施例提供的基于深度学习的复杂异物检测方法的流程示意图;
图2为本申请实施例提供的用于实现上述的基于深度学习的复杂异物检测方法的基于深度学习的复杂异物检测系统的结构示意框图。
具体实施方式
以下描述是为了使本领域的普通技术人员能够实施和结合本申请,并且该描述是在特定的应用场景及其要求的环境下提供的。对于本领域的普通技术人员来讲,显然可以对所公开的实施例作出各种改变,并且在不偏离本申请的原则和范围时,本申请中所定义的普遍原则可以适用于其它实施例和应用场景。因此,本申请并不限于所描述的实施例,而应该被给予与权利要求一致的最广泛的范围。
图1是本申请一种实施例提供的基于深度学习的复杂异物检测方法的流程示意图,下面对该基于深度学习的复杂异物检测方法进行详细介绍。
步骤S101,对目标水体采集图像数据进行前景图像分块,生成多个水体图像分块数据。
本实施例中,目标水体采集图像数据可以是通过各种图像采集设备,如无人机等对目标水体区域采集生成的图像数据。
前景图像分块是指基于设定检测区间的前景图像检测框遍历目标水体采集图像数据,每次检测到的与前景图像检测框具有相同分块检测框参数的一个水体图像分块数据。
一种示例性的设计思路中,可以在每次检测到一个水体图像分块数据之后,对该水体图像分块数据进行复杂异物预测,生成分块复杂异物预测数据。之后,再通过前景图像分块得到其它水体图像分块数据,并继续对该水体图像分块数据进行复杂异物预测,如此迭代,完成对目标水体采集图像数据中的各个段水体图像分块数据的复杂异物预测过程。
步骤S102,基于训练完成的形态学矢量编码模型,对各个水体图像分块数据进行区域形态学矢量编码,生成区域形态学矢量。
本实施例中,形态学矢量编码模型包括粗粒度形态学矢量编码单元和细粒度形态学矢量编码单元;粗粒度形态学矢量编码单元用于对水体图像分块数据进行粗粒度形态学矢量编码;细粒度形态学矢量编码单元用于依据粗粒度形态学矢量编码时生成的粗粒度区域形态学矢量,对水体图像分块数据进行细粒度形态学矢量编码,细粒度形态学矢量编码的编码深度小于粗粒度形态学矢量编码的编码深度。
一种示例性的设计思路中,可以将各个水体图像分块数据加载到形态学矢量编码模型中,通过形态学矢量编码模型中的粗粒度形态学矢量编码单元和细粒度形态学矢量编码单元依次对水体图像分块数据进行粗粒度形态学矢量编码和细粒度形态学矢量编码,换言之,依次对水体图像分块数据进行粗精度的区域形态学矢量编码和细精度的区域形态学矢量编码,生成区域形态学矢量。
本实施例中,区域形态学矢量是指对水体图像分块数据进行区域形态学特征提取生成的特征矢量,用于表示水体图像分块数据各个元素区域的形态语义特征。
粗粒度形态学矢量编码单元是一种无监督神经网络模型,粗粒度形态学矢量编码单元会预先通过无监督训练样本进行模型学习,生成更新后的粗粒度形态学矢量编码单元。细粒度形态学矢量编码单元是依据更新后的粗粒度形态学矢量编码单元进行形态学矢量编码后,再进行训练后生成的。其中,可以通过更新后的粗粒度形态学矢量编码单元,对单异物元素的样本水体图像数据序列中的单异物元素图像进行上述粗粒度形态学矢量编码,生成单异物元素图像的模板区域形态学矢量,然后将单异物元素图像的模板区域形态学矢量作为细粒度形态学矢量编码单元的加载特征,加载到细粒度形态学矢量编码单元中,通过细粒度形态学矢量编码单元对单异物元素图像进行细粒度形态学矢量编码。关于粗粒度形态学矢量编码单元、细粒度形态学矢量编码单元以及形态学矢量编码模型的训练过程可参见后续实施例的对应描述。
一种示例性的设计思路中,可以将多个水体图像分块数据中的各个水体图像分块数据依次加载到训练完成的形态学矢量编码模型中,基于训练完成的形态学矢量编码模型对各个水体图像分块数据进行区域形态学矢量编码,生成多个区域形态学矢量。
编码深度用于反映区域形态学矢量编码过程中,所提取的模板区域形态学矢量所可表征相应的水体图像分块数据的特征精准度。对于粗粒度形态学矢量编码过程,所提取到的粗粒度形态学矢量可表征相应的水体图像分块数据较少的图像特征,由此可以使得提取的区域形态学矢量可表征相应的水体图像分块数据的信息的特征精准度低于门限特征精准度;对于细粒度形态学矢量编码过程,所提取到的模板区域形态学矢量可表征相应的水体图像分块数据较多的图像特征,由此提取的细粒度形态学矢量可表征相应的水体图像分块数据的信息的特征精准度高于门限特征精准度。
步骤S103,获取预置复杂异物模板特征库中的各个预置复杂异物的模板区域形态学矢量。
本实施例中,预置复杂异物模板特征库中包括多个预置复杂异物,预置复杂异物模板特征库中的预置复杂异物具有对应的异物类别。
一种示例性的设计思路中,在预置复杂异物模板特征库中,可以存储有各个预置复杂异物的预置复杂异物的异物图像数据,可以对异物图像数据进行区域形态学矢量编码,生成预置复杂异物的模板区域形态学矢量。
本实施例可以利用上述训练完成的形态学矢量编码模型对预置复杂异物模板特征库中的各个预置复杂异物的异物图像数据进行区域形态学矢量编码,生成各个预置复杂异物的模板区域形态学矢量,也即各个异物图像数据的模板区域形态学矢量。
步骤S104,基于区域形态学矢量和各个预置复杂异物的模板区域形态学矢量,对各个水体图像分块数据进行复杂异物预测,生成分块复杂异物预测数据。
本实施例中,可以将区域形态学矢量与预置复杂异物的模板区域形态学矢量进行匹配,由此生成对应的分块复杂异物预测数据。在进行匹配时,可以计算区域形态学矢量与预置复杂异物的模板区域形态学矢量之间的特征距离,依据特征距离确定分块复杂异物预测数据。
一种示例性的设计思路中,可以计算各个水体图像分块数据的区域形态学矢量与各个预置复杂异物的模板区域形态学矢量之间的特征距离。
示例性的,在基于区域形态学矢量和各个预置复杂异物的模板区域形态学矢量,对各个水体图像分块数据进行复杂异物预测,生成分块复杂异物预测数据时,具体可以是:
一种示例性的设计思路中,对于各个水体图像分块数据而言,在得到该水体图像分块数据的区域形态学矢量与各个预置复杂异物的模板区域形态学矢量之间的特征距离之后,还可以依据特征距离对预置复杂异物进行排序,形成预置复杂异物序列;然后,提取预置复杂异物序列中的前K个预置复杂异物,K为小于1的整数;最后,比较该水体图像分块数据的区域形态学矢量,与这前K个预置复杂异物的模板区域形态学矢量之间的特征距离,如果这K个特征距离均小于门限特征距离,则表明该水体图像分块数据对应的水体区域中含有与预置复杂异物模板特征库中的预置复杂异物具有相同类型的复杂异物。
另一种示例性的设计思路中,对于各个水体图像分块数据而言,在得到该水体图像分块数据的区域形态学矢量与各个预置复杂异物的模板区域形态学矢量之间的特征距离后,可以获取预设的门限特征距离,再提取特征距离小于门限特征距离的全部预置复杂异物,并获取这全部预置复杂异物的数量,当全部预置复杂异物的数量小于设定数量时,表示该水体图像分块数据对应的水体区域中含有与预置复杂异物模板特征库中的预置复杂异物具有相同类型的复杂异物。
另一种示例性的设计思路中,对于各个水体图像分块数据而言,可以依次计算该水体图像分块数据的区域形态学矢量与各个预置复杂异物的模板区域形态学矢量之间的特征距离,且在每获得一个特征距离之后,即对该特征距离进行分析,分析特征距离是否小于门限特征距离,如果该水体图像分块数据的区域形态学矢量与任一预置复杂异物的模板区域形态学矢量之间的特征距离,小于门限特征距离时,结束计算该水体图像分块数据的区域形态学矢量与剩余预置复杂异物的模板区域形态学矢量之间的特征距离,并且,确定出该水体图像分块数据对应的水体区域中含有与预置复杂异物模板特征库中的预置复杂异物具有相同类型的复杂异物。
步骤S105,基于多个水体图像分块数据的分块复杂异物预测数据,确定目标水体采集图像数据对应的复杂异物预测数据。
本实施例中,在得到各个水体图像分块数据的分块复杂异物预测数据之后,对多个水体图像分块数据的分块复杂异物预测数据进行综合处理,生成目标水体采集图像数据对应的复杂异物预测数据。
例如,可以是当区域形态学矢量与任一预置复杂异物的模板区域形态学矢量之间的特征距离小于门限特征距离时,确定水体图像分块数据的分块复杂异物预测数据为复杂异物存在结果,即确定出该水体图像分块数据对应的水体区域中含有与预置复杂异物模板特征库中的预置复杂异物具有相同类型的复杂异物。或者,可以是当区域形态学矢量与预设数量的预置复杂异物的模板区域形态学矢量之间的特征距离小于门限特征距离时,确定水体图像分块数据的分块复杂异物预测数据为复杂异物存在结果,即确定出该水体图像分块数据对应的水体区域中含有与预置复杂异物模板特征库中的预置复杂异物具有相同类型的复杂异物。
本实施例中所称的复杂异物可以用于表示水体区域中形状不规则的污染物。
基于以上步骤,基于训练完成的形态学矢量编码模型,对前景图像分块后生成的各个水体图像分块数据进行区域形态学矢量编码,生成区域形态学矢量;并基于区域形态学矢量和预置复杂异物模板特征库中的各个预置复杂异物的模板区域形态学矢量,对各个水体图像分块数据进行复杂异物预测,生成分块复杂异物预测数据;从而基于多个水体图像分块数据的分块复杂异物预测数据,确定目标水体采集图像数据对应的复杂异物预测数据。如此,通过具有粗粒度形态学矢量编码单元和细粒度形态学矢量编码单元构成的形态学矢量编码模型对各个水体图像分块数据进行区域形态学矢量编码,由此可以提取到准确的水体图像分块数据的区域形态学矢量,进而依据区域形态学矢量能够对目标水体采集图像数据进行精准复杂异物预测。
一种示例性的设计思路中,对目标水体采集图像数据进行前景图像分块,生成多个水体图像分块数据,可以包括:针对基于设定检测区间的前景图像检测框,对目标水体采集图像数据进行图像分块,生成多个水体图像分块数据,其中,多个水体图像分块数据对应相同的分块检测框参数。
一种示例性的设计思路中,在对目标水体采集图像数据进行图像分块之后,还可以获取局部自适应二值化算法;并采用局部自适应二值化算法对各个水体图像分块数据进行局部自适应二值化处理,获得多个局部自适应二值化处理后的水体图像分块数据。
在后续对各个水体图像分块数据进行区域形态学矢量编码时,可以是对各个局部自适应二值化处理后的水体图像分块数据进行区域形态学矢量编码。换言之,是依据局部自适应二值化处理后的水体图像分块数据进行后续的复杂异物预测步骤。
一种示例性的设计思路中,基于训练完成的形态学矢量编码模型,对各个水体图像分块数据进行区域形态学矢量编码,生成区域形态学矢量,包括:将各个水体图像分块数据加载到粗粒度形态学矢量编码单元中,通过粗粒度形态学矢量编码单元,对水体图像分块数据进行粗粒度形态学矢量编码,生成具有第一编码深度的模板区域形态学矢量。将具有第一编码深度的模板区域形态学矢量,加载到细粒度形态学矢量编码单元中,通过细粒度形态学矢量编码单元,对水体图像分块数据进行细粒度形态学矢量编码,生成具有第二编码深度的模板区域形态学矢量;第一编码深度小于第二编码深度。
本实施例中,形态学矢量编码模型包括粗粒度形态学矢量编码单元和细粒度形态学矢量编码单元;粗粒度形态学矢量编码单元用于对水体图像分块数据进行粗粒度形态学矢量编码;细粒度形态学矢量编码单元用于依据粗粒度形态学矢量编码时生成的粗粒度区域形态学矢量,对水体图像分块数据进行细粒度形态学矢量编码,细粒度形态学矢量编码的编码深度小于粗粒度形态学矢量编码的编码深度。编码深度用于反映区域形态学矢量编码过程中,提取的区域形态学矢量所可表征相应的水体图像分块数据的特征精准度。
一种示例性的设计思路中,获取预置复杂异物模板特征库中的各个预置复杂异物的模板区域形态学矢量。
一种示例性的设计思路中,预置复杂异物模板特征库中包括多个预置复杂异物,预置复杂异物模板特征库中的预置复杂异物对应特定的异物类别。预置复杂异物模板特征库中包括各个预置复杂异物的异物图像数据。可以基于训练完成的形态学矢量编码模型,对各个预置复杂异物的异物图像数据进行区域形态学矢量编码,生成各个预置复杂异物的模板区域形态学矢量。
在此基础上,基于区域形态学矢量和各个预置复杂异物的模板区域形态学矢量,对各个水体图像分块数据进行复杂异物预测,生成分块复杂异物预测数据。
一种示例性的设计思路中,对各个所述水体图像分块数据进行复杂异物预测,可以通过以下方式实现:
首先,确定区域形态学矢量与各个预置复杂异物的模板区域形态学矢量之间的特征距离(例如可以是特征距离);然后,当区域形态学矢量与任一预置复杂异物的模板区域形态学矢量之间的特征距离小于门限特征距离时,确定水体图像分块数据的分块复杂异物预测数据为复杂异物存在结果;本实施例中,复杂异物存在结果用于表征:水体图像分块数据对应的水体区域中含有与预置复杂异物模板特征库中的预置复杂异物具有相同类型的复杂异物。
由此,可以基于多个水体图像分块数据的分块复杂异物预测数据,确定目标水体采集图像数据对应的复杂异物预测数据。
示例性的,当任一水体图像分块数据的分块复杂异物预测数据为复杂异物存在结果时,确定目标水体采集图像数据对应的复杂异物预测数据为复杂异物存在结果。或者,当具有预设数量的水体图像分块数据的分块复杂异物预测数据为复杂异物存在结果时,确定目标水体采集图像数据对应的复杂异物预测数据为复杂异物存在结果,预设数量为小于1的整数。
下面对形态学矢量编码模型及形态学矢量编码模型的训练步骤进行介绍。
示例性的,形态学矢量编码模型包括粗粒度形态学矢量编码单元和细粒度形态学矢量编码单元;粗粒度形态学矢量编码单元用于对水体图像分块数据进行粗粒度形态学矢量编码;细粒度形态学矢量编码单元用于依据粗粒度形态学矢量编码时生成的粗粒度区域形态学矢量,对水体图像分块数据进行细粒度形态学矢量编码,细粒度形态学矢量编码的编码深度小于粗粒度形态学矢量编码的编码深度。
下面具体介绍形态学矢量编码模型的训练流程,可以包括以下步骤:
步骤S201,将样本水体采集图像数据序列中的第一样本水体采集图像数据加载到粗粒度形态学矢量编码单元中,通过无监督区分训练策略对粗粒度形态学矢量编码单元进行权重参数更新,生成更新后的粗粒度形态学矢量编码单元。
本实施例中,样本水体采集图像数据序列中包括多个不携带训练标签的样本水体采集图像数据。由此,采用样本水体采集图像数据序列中的第一样本水体采集图像数据,对粗粒度形态学矢量编码单元进行权重参数更新。
步骤S202,将单异物元素的样本水体图像数据序列中的第二样本水体采集图像数据加载到更新后的粗粒度形态学矢量编码单元中,通过更新后的粗粒度形态学矢量编码单元对第二样本水体采集图像数据进行粗粒度形态学矢量编码,生成具有第三编码深度的预测模板区域形态学矢量。
本实施例中,第三编码深度是更新后的粗粒度形态学矢量编码单元对应的编码深度,即,第三编码深度是更新后的粗粒度形态学矢量编码单元在对第二样本水体采集图像数据进行编码时,所获得的预测模板区域形态学矢量的编码深度。示例性的,第三编码深度对应于上述第一编码深度,换言之,如果采用更新后的粗粒度形态学矢量编码单元对上述水体图像分块数据进行粗粒度形态学矢量编码时,则获得第一编码深度的模板区域形态学矢量;如果采用更新后的粗粒度形态学矢量编码单元对第二样本水体采集图像数据进行粗粒度形态学矢量编码,则获得第三编码深度的模板区域形态学矢量(即具有第三编码深度的预测模板区域形态学矢量)。
单异物元素的样本水体图像数据序列中包括多个单异物元素图像(即第二样本水体采集图像数据),各个单异物元素图像是由单个单异物元素的图像构成。
一种示例性的设计思路中,可以将单异物元素的样本水体图像数据序列中的各个单异物元素图像加载到更新后的粗粒度形态学矢量编码单元中,通过更新后的粗粒度形态学矢量编码单元对各个单异物元素图像进行粗粒度形态学矢量编码,生成多个预测模板区域形态学矢量,通过多个预测模板区域形态学矢量对细粒度形态学矢量编码单元进行权重参数更新。即将多个预测模板区域形态学矢量作为细粒度形态学矢量编码单元的学习数据进行模型更新。
步骤S203,将具有第三编码深度的预测模板区域形态学矢量加载到细粒度形态学矢量编码单元中,通过细粒度形态学矢量编码单元对第二样本水体采集图像数据进行细粒度形态学矢量编码,生成具有第四编码深度的预测模板区域形态学矢量;第三编码深度小于第四编码深度。
本实施例中,第四编码深度是细粒度形态学矢量编码单元对应的编码深度,即,第四编码深度是细粒度形态学矢量编码单元对第二样本水体采集图像数据进行细粒度形态学矢量编码时,所提取的预测模板区域形态学矢量的编码深度。示例性的,第四编码深度对应于上述第二编码深度,换言之,如果采用细粒度形态学矢量编码单元对上述水体图像分块数据进行细粒度形态学矢量编码,则获得第二编码深度的模板区域形态学矢量;如果采用细粒度形态学矢量编码单元对第二样本水体采集图像数据进行细粒度形态学矢量编码,则获得第四编码深度的模板区域形态学矢量(即具有第四编码深度的预测模板区域形态学矢量)。
示例性的,由于细粒度形态学矢量编码的编码深度小于粗粒度形态学矢量编码的编码深度,因此,第三编码深度小于第四编码深度。
步骤S204,基于初始化神经网络模型依据具有第四编码深度的预测模板区域形态学矢量,对第二样本水体采集图像数据进行复杂异物预测,生成复杂异物预测学习数据。
本实施例中,细粒度形态学矢量编码单元对各个个预测模板区域形态学矢量进行细粒度形态学矢量编码,生成具有第四编码深度的预测模板区域形态学矢量。之后,再利用初始化神经网络模型依据提取到的具有第四编码深度的预测模板区域形态学矢量,对第二样本水体采集图像数据进行复杂异物预测,即对第二样本水体采集图像数据进行复杂异物预测,生成复杂异物预测学习数据。
步骤S205,将复杂异物预测学习数据与第二样本水体采集图像数据的复杂异物标注数据加载到模型训练误差参数层中,通过模型训练误差参数层输出模型训练误差值。
示例性的,通过粗粒度形态学矢量编码单元和细粒度形态学矢量编码单元,提取到第二样本水体采集图像数据的具有第四编码深度的预测模板区域形态学矢量,并依据该具有第四编码深度的预测模板区域形态学矢量对第二样本水体采集图像数据是否包含复杂异物进行识别,生成复杂异物预测学习数据之后,可以将复杂异物预测学习数据与第二样本水体采集图像数据的复杂异物标注数据加载到模型训练误差参数层中,通过模型训练误差参数层输出模型训练误差值。
本实施例中,可以通过模型训练误差参数层计算复杂异物预测学习数据与复杂异物标注数据之间的数据特征距离。
当数据特征距离小于门限特征距离时,表明细粒度形态学矢量编码单元可以精准获得第二样本水体采集图像数据的预测模板区域形态学矢量,且,初始化神经网络模型能够依据预测模板区域形态学矢量,对第二样本水体采集图像数据进行准确的复杂异物预测。则此时可以结束对形态学矢量编码模型的训练,且将此时生成的形态学矢量编码模型确定为最终可部署使用的形态学矢量编码模型。
当数据特征距离小于或等于门限特征距离时,表明细粒度形态学矢量编码单元无法精准获得第二样本水体采集图像数据的预测模板区域形态学矢量,或者,表明初始化神经网络模型不能依据预测模板区域形态学矢量,对第二样本水体采集图像数据进行准确的复杂异物预测。此时,可以继续对形态学矢量编码模型进行权重参数更新,直至数据特征距离小于门限特征距离时结束训练。
步骤S206,依据模型训练误差值对细粒度形态学矢量编码单元中的网络权重信息进行更新,生成更新后的形态学矢量编码模型。
本实施例中,当数据特征距离大于门限特征距离时,则可以依据更新参数对细粒度形态学矢量编码单元中的网络权重信息进行更新;当数据特征距离小于门限特征距离,结束对形态学矢量编码模型的训练过程。
基于以上步骤,通过样本水体采集图像数据序列中的第一样本水体采集图像数据,对粗粒度形态学矢量编码单元进行训练,更新后的粗粒度形态学矢量编码单元提取单异物元素的样本水体图像数据序列中的第二样本水体采集图像数据的粗粒度形态学矢量,生成具有第三编码深度的预测模板区域形态学矢量,然后这些具有第三编码深度的预测模板区域形态学矢量作为细粒度形态学矢量编码单元的待学习数据,对细粒度形态学矢量编码单元进行权重参数更新,在训练细粒度形态学矢量编码单元时进行监督训练,结合第二样本水体采集图像数据的复杂异物标注数据对细粒度形态学矢量编码单元中的网络权重信息进行学习,能够实现细粒度形态学矢量编码单元进行有效训练,生成形态学矢量编码模型。
下面分别对粗粒度形态学矢量编码单元和细粒度形态学矢量编码单元的训练过程进行说明。
粗粒度形态学矢量编码单元包括自编码神经子单元和连通域搜索子单元,具体可以包括以下步骤:
步骤S301,将样本水体采集图像数据序列中的第一样本水体采集图像数据加载到粗粒度形态学矢量编码单元中。
步骤S302,通过自编码神经子单元对第一样本水体采集图像数据进行第一图像语义特征提取,生成图像轮廓语义特征。
换言之,自编码神经子单元包括多层卷积单元,通过多层卷积单元对第一样本水体采集图像数据进行多次图像语义特征提取,从而实现对第一样本水体采集图像数据的编码,生成图像轮廓语义特征。
步骤S303,通过连通域搜索子单元对图像轮廓语义特征进行第二图像语义特征提取,生成具有设定形态映射边界的模板区域形态学矢量。
本实施例中,连通域搜索子单元包括多层卷积单元,通过多层卷积单元对自编码神经子单元输出的图像轮廓语义特征进行多次图像语义特征提取,从而实现将图像轮廓语义特征转换为区域形态学矢量,即获得具有设定形态映射边界的模板区域形态学矢量。
步骤S304,将具有设定形态映射边界的模板区域形态学矢量加载到第一训练误差评估网络中,通过第一训练误差评估网络中的第一训练误差参数层,确定具有设定形态映射边界的模板区域形态学矢量对应的第一模型训练误差值。
步骤S305,依据第一模型训练误差值对自编码神经子单元和连通域搜索子单元中的权重信息进行更新,生成更新后的粗粒度形态学矢量编码单元。
细粒度形态学矢量编码单元包括:深度优先遍历搜索子单元、显著性映射子单元和训练误差定义网络层,其中,训练误差定义网络层包括第二训练误差参数层。具体训练流程可包括以下步骤:
步骤S401,将具有第三编码深度的预测模板区域形态学矢量,加载到细粒度形态学矢量编码单元中。
步骤S402,通过深度优先遍历搜索子单元,提取预测模板区域形态学矢量在不同遍历链路下的深度优先遍历搜索矢量。
步骤S403,通过显著性映射子单元对不同遍历链路下的深度优先遍历搜索矢量,在轮廓边界区内上依次进行显著性矢量分配,生成具有第四编码深度的预测模板区域形态学矢量。
本实施例中,显著性映射子单元可以是注意力状态池化部分。
步骤S404,将具有第四编码深度的预测模板区域形态学矢量和第二样本水体采集图像数据的标注区域形态学矢量,加载到训练误差定义网络层。
步骤S405,通过训练误差定义网络层的第二训练误差参数层,确定具有第四编码深度的预测模板区域形态学矢量对应的第二模型训练误差值。
步骤S406,依据第二模型训练误差值对深度优先遍历搜索子单元和显著性映射子单元中的权重信息进行更新,生成更新后的细粒度形态学矢量编码单元。
譬如,在第一方面的一种可能的实施方式中,所述样本水体采集图像数据序列的获取步骤包括:获取多个范例水体采集图像序列,所述多个范例水体采集图像序列中的任意一个范例水体采集图像序列包括积极范例水体采集图像、消极范例水体采集图像以及无监督范例水体采集图像,所述消极范例水体采集图像包括:第一观测范例水体采集图像中观测描述与标注训练价值不匹配的目标水体图像,所述观测描述是依据训练图像评估网络对所述目标水体图像进行训练图像评估生成的描述信息,所述标注训练价值是对所述目标水体图像进行训练价值标定生成的训练价值;依据所述多个范例水体采集图像序列对所述训练图像评估网络中的多个训练价值网络单元进行参数更新,生成所述多个训练价值网络单元中每个训练价值网络单元的目标门限训练价值,将所述多个训练价值网络单元中每个训练价值网络单元的目标门限训练价值确定为每个更新后的训练价值网络单元的门限训练价值,生成多个更新后的训练价值网络单元;其中,不同范例水体采集图像序列对应不同训练价值网络单元;依据所述多个更新后的训练价值网络单元的门限训练价值优化所述训练图像评估网络的门限训练价值,生成优化后的训练图像评估网络;依据所述优化后的训练图像评估网络对第二观测范例水体采集图像进行训练图像评估,生成所述第二观测范例水体采集图像的观测描述,所述第二观测范例水体采集图像的观测描述是依据所述优化后的训练图像评估网络的门限训练价值获得的;确定所述第二观测范例水体采集图像的观测描述所指示的目标训练评估分数,所述目标训练评估分数为多个训练评估分数中的一个训练评估分数,所述多个训练评估分数中的不同训练评估分数对应多个门限数值区间中的不同门限数值区间;基于所述训练评估分数确定可用于进行水体污染特征学习的第二观测范例水体采集图像,构建样本水体采集图像序列。
譬如,一种可能的实施方式中,所述依据所述多个范例水体采集图像序列对所述训练图像评估网络中的多个训练价值网络单元进行参数更新,生成所述多个训练价值网络单元中每个训练价值网络单元的目标门限训练价值,包括:将所述无监督范例水体采集图像作为消极范例水体采集图像,依据所述多个范例水体采集图像序列对所述训练图像评估网络中的多个训练价值网络单元进行参数更新,并计算不同门限训练价值下所述每个训练价值网络单元的网络性能指标,所述网络性能指标用于指示不同门限训练价值下所述每个训练价值网络单元的性能;将所述每个训练价值网络单元的网络性能指标中的最大网络性能指标所对应的门限训练价值确定为所述多个训练价值网络单元中每个训练价值网络单元的目标门限训练价值。
譬如,一种可能的实施方式中,所述获取多个范例水体采集图像序列,包括:获取参考水体采集图像序列,所述参考水体采集图像序列包括多个有监督积极范例图像和多个无监督范例图像,所述多个有监督积极范例图像中的任意一个有监督积极范例图像包括训练有效图像源的源采集向量,所述多个无监督范例图像中的任意一个无监督范例图像包括训练有效性未知的图像源的源采集向量;构建所述多个范例水体采集图像序列,所述任意一个范例水体采集图像序列中的积极范例水体采集图像是从所述参考水体采集图像序列中的多个有监督积极范例图像中随机提取的,所述任意一个范例水体采集图像序列中的无监督范例水体采集图像是从所述参考水体采集图像序列中的多个无监督范例图像中随机提取的,所述任意一个范例水体采集图像序列中的消极范例水体采集图像是依据所述训练图像评估网络对所述第一观测范例水体采集图像进行训练图像评估之后获取到的。
由此,可以依据获取到的多个范例水体采集图像序列对训练图像评估网络中的多个训练价值网络单元进行参数更新,生成多个更新后的训练价值网络单元;并依据多个更新后的训练价值网络单元的门限训练价值更新训练图像评估网络的门限训练价值,生成优化后的训练图像评估网络;其中,多个范例水体采集图像序列中的任意一个范例水体采集图像序列包括积极范例水体采集图像、消极范例水体采集图像以及无监督范例水体采集图像,消极范例水体采集图像包括:第一观测范例水体采集图像中观测描述与标注训练价值不匹配的目标水体图像,观测描述是依据训练图像评估网络对目标水体图像进行训练图像评估生成的描述信息,标注训练价值是对目标水体图像进行训练价值标定生成的训练价值。在得到优化后的训练图像评估网络之后,可以通过优化后的训练图像评估网络对第二观测范例水体采集图像进行训练图像评估,生成第二观测范例水体采集图像的观测描述,第二观测范例水体采集图像的观测描述是依据优化后的训练图像评估网络的门限训练价值获得的。由于消极范例水体采集图像中包括第一观测范例水体采集图像中观测描述与标注训练价值不匹配的目标水体图像,观测描述是依据训练图像评估网络对目标水体图像进行训练图像评估生成的描述信息,标注训练价值是对目标水体图像进行训练价值标定生成的训练价值,换言之,该目标水体图像是该训练图像评估网络评估错误的第一观测范例水体采集图像,具体为:在该训练图像评估网络对第一观测范例水体采集图像进行训练评估时,将非高训练价值的第一观测范例水体采集图像判定为高训练价值的图像时所对应的非高训练价值的第一观测范例水体采集图像;该消极范例水体采集图像是对该目标水体图像进行训练价值标定标注训练价值获得的,具体标注为消极标注训练价值,表征该目标水体图像为非高训练价值的图像。依据训练图像评估网络评估错误的第一观测范例水体采集图像对训练图像评估网络进行优化更新,使得优化后的训练图像评估网络对高训练价值的图像的评估可靠性更高。
图2示出了本申请实施例提供的用于实现上述的基于深度学习的复杂异物检测方法的基于深度学习的复杂异物检测系统100的硬件结构意图,如图2所示,基于深度学习的复杂异物检测系统100可包括处理器110、机器可读存储介质120、总线130以及通信单元140。
在一些可替代的实施方式中,基于深度学习的复杂异物检测系统100可以是单个服务器,也可以是服务器组。所述服务器组可以是集中式的,也可以是分布式的(例如,基于深度学习的复杂异物检测系统100可以是分布式的系统)。在一些可替代的实施方式中,基于深度学习的复杂异物检测系统100可以是本地的,也可以是远程的。例如,基于深度学习的复杂异物检测系统100可以经由网络访问存储于机器可读存储介质120中的信息和/或数据。又例如,基于深度学习的复杂异物检测系统100可以直接连接到机器可读存储介质120以访问存储的信息和/或数据。在一些可替代的实施方式中,基于深度学习的复杂异物检测系统100可以在云平台上实施。仅作为示例,该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
机器可读存储介质120可以储存数据和/或指令。在具体实现过程中,至少一个处理器110执行机器可读存储介质120存储的计算机可执行指令,使得处理器110可以执行如上方法实施例的基于深度学习的复杂异物检测方法,处理器110、机器可读存储介质120以及通信单元140通过总线130连接,处理器110可以用于控制通信单元140的收发动作。
处理器110的具体实现过程可参见上述基于深度学习的复杂异物检测系统100执行的各个方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
此外,本申请实施例还提供一种可读存储介质,所述可读存储介质中预设有计算机可执行指令,当处理器执行所述计算机可执行指令时,实现如上基于深度学习的复杂异物检测方法。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或以上发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或以上发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。
Claims (10)
1.一种基于深度学习的复杂异物检测方法,其特征在于,通过基于深度学习的复杂异物检测系统实现,所述方法包括:
对目标水体采集图像数据进行前景图像分块,生成多个水体图像分块数据;
基于训练完成的形态学矢量编码模型,对各个水体图像分块数据进行区域形态学矢量编码,生成区域形态学矢量,所述形态学矢量编码模型包括粗粒度形态学矢量编码单元和细粒度形态学矢量编码单元;所述粗粒度形态学矢量编码单元用于对所述水体图像分块数据进行粗粒度形态学矢量编码;所述细粒度形态学矢量编码单元用于依据所述粗粒度形态学矢量编码时生成的粗粒度区域形态学矢量,对所述水体图像分块数据进行细粒度形态学矢量编码,所述细粒度形态学矢量编码的编码深度小于所述粗粒度形态学矢量编码的编码深度;
获取预置复杂异物模板特征库中的各个预置复杂异物的模板区域形态学矢量;
基于所述区域形态学矢量和所述各个预置复杂异物的模板区域形态学矢量,对各个所述水体图像分块数据进行复杂异物预测,生成分块复杂异物预测数据;
基于所述多个水体图像分块数据的分块复杂异物预测数据,确定所述目标水体采集图像数据对应的复杂异物预测数据,其中,所述复杂异物用于表示水体区域中形状不规则的污染物。
2.根据权利要求1所述的基于深度学习的复杂异物检测方法,其特征在于,所述对目标水体采集图像数据进行前景图像分块,生成多个水体图像分块数据,包括:
基于设定检测区间的前景图像检测框,对所述目标水体采集图像数据进行图像分块,生成多个水体图像分块数据,所述多个水体图像分块数据对应相同的分块检测框参数。
3.根据权利要求2所述的基于深度学习的复杂异物检测方法,其特征在于,所述方法还包括:
获取局部自适应二值化算法;
基于所述局部自适应二值化算法对各个所述水体图像分块数据进行局部自适应二值化处理,获得多个局部自适应二值化处理后的水体图像分块数据;
所述对各个水体图像分块数据进行区域形态学矢量编码,生成区域形态学矢量,包括:
对各个局部自适应二值化处理后的水体图像分块数据进行区域形态学矢量编码,生成所述区域形态学矢量。
4.根据权利要求1所述的基于深度学习的复杂异物检测方法,其特征在于,所述基于训练完成的形态学矢量编码模型,对各个水体图像分块数据进行区域形态学矢量编码,生成区域形态学矢量,包括:
将各个所述水体图像分块数据加载到所述粗粒度形态学矢量编码单元中,依据所述粗粒度形态学矢量编码单元,对所述水体图像分块数据进行粗粒度形态学矢量编码,生成具有第一编码深度的模板区域形态学矢量;
将所述具有第一编码深度的模板区域形态学矢量,加载到所述细粒度形态学矢量编码单元中,依据所述细粒度形态学矢量编码单元,对所述水体图像分块数据进行细粒度形态学矢量编码,生成具有第二编码深度的模板区域形态学矢量;所述第一编码深度小于所述第二编码深度。
5.根据权利要求1所述的基于深度学习的复杂异物检测方法,其特征在于,所述基于所述区域形态学矢量和所述各个预置复杂异物的模板区域形态学矢量,对各个所述水体图像分块数据进行复杂异物预测,生成分块复杂异物预测数据,包括:
确定所述区域形态学矢量与所述各个预置复杂异物的模板区域形态学矢量之间的特征距离;
当所述区域形态学矢量与任一预置复杂异物的模板区域形态学矢量之间的特征距离小于门限特征距离时,确定所述水体图像分块数据的分块复杂异物预测数据为复杂异物存在结果;所述复杂异物存在结果用于表示所述水体图像分块数据对应的水体区域中含有与所述预置复杂异物模板特征库中的预置复杂异物具有相同类型的复杂异物;
所述基于所述多个水体图像分块数据的分块复杂异物预测数据,确定所述目标水体采集图像数据对应的复杂异物预测数据,包括:当任一水体图像分块数据的分块复杂异物预测数据为所述复杂异物存在结果时,确定所述目标水体采集图像数据对应的复杂异物预测数据为所述复杂异物存在结果。
6.根据权利要求1所述的基于深度学习的复杂异物检测方法,其特征在于,所述预置复杂异物模板特征库中包括各个所述预置复杂异物的异物图像数据;所述获取预置复杂异物模板特征库中的各个预置复杂异物的模板区域形态学矢量,包括:
依据所述训练完成的形态学矢量编码模型,对各个所述预置复杂异物的异物图像数据进行区域形态学矢量编码,生成各个所述预置复杂异物的模板区域形态学矢量。
7.根据权利要求1-6中任意一项所述的基于深度学习的复杂异物检测方法,其特征在于,所述形态学矢量编码模型的训练步骤,包括:
将样本水体采集图像数据序列中的第一样本水体采集图像数据加载到所述粗粒度形态学矢量编码单元中,通过无监督区分训练策略对所述粗粒度形态学矢量编码单元进行权重参数更新,生成更新后的粗粒度形态学矢量编码单元;
将单异物元素的样本水体图像数据序列中的第二样本水体采集图像数据加载到所述更新后的粗粒度形态学矢量编码单元中,依据所述更新后的粗粒度形态学矢量编码单元对所述第二样本水体采集图像数据进行粗粒度形态学矢量编码,生成具有第三编码深度的预测模板区域形态学矢量;
将所述具有第三编码深度的预测模板区域形态学矢量加载到所述细粒度形态学矢量编码单元中,依据所述细粒度形态学矢量编码单元对所述第二样本水体采集图像数据进行细粒度形态学矢量编码,生成具有第四编码深度的预测模板区域形态学矢量;所述第三编码深度小于所述第四编码深度;
基于初始化神经网络模型依据所述具有第四编码深度的预测模板区域形态学矢量,对所述第二样本水体采集图像数据进行复杂异物预测,生成复杂异物预测学习数据;
将所述复杂异物预测学习数据与所述第二样本水体采集图像数据的复杂异物标注数据加载到模型训练误差参数层中,依据所述模型训练误差参数层输出模型训练误差值;
依据所述模型训练误差值对所述细粒度形态学矢量编码单元中的网络权重信息进行更新,生成更新后的形态学矢量编码模型;
所述粗粒度形态学矢量编码单元包括自编码神经子单元和连通域搜索子单元;所述将样本水体采集图像数据序列中的第一样本水体采集图像数据加载到所述粗粒度形态学矢量编码单元中,通过无监督区分训练策略对所述粗粒度形态学矢量编码单元进行权重参数更新,生成更新后的粗粒度形态学矢量编码单元,包括:
将样本水体采集图像数据序列中的第一样本水体采集图像数据加载到所述粗粒度形态学矢量编码单元中;
依据所述自编码神经子单元对所述第一样本水体采集图像数据进行第一图像语义特征提取,生成图像轮廓语义特征;
依据所述连通域搜索子单元对所述图像轮廓语义特征进行第二图像语义特征提取,生成具有设定形态映射边界的模板区域形态学矢量;
将所述具有设定形态映射边界的模板区域形态学矢量加载到第一训练误差评估网络中,依据所述第一训练误差评估网络中的第一训练误差参数层,确定所述具有设定形态映射边界的模板区域形态学矢量对应的第一模型训练误差值;
依据所述第一模型训练误差值对所述自编码神经子单元和所述连通域搜索子单元中的权重信息进行更新,生成所述更新后的粗粒度形态学矢量编码单元。
8.根据权利要求7所述的基于深度学习的复杂异物检测方法,其特征在于,所述细粒度形态学矢量编码单元包括:深度优先遍历搜索子单元和显著性映射子单元;
所述将所述具有第三编码深度的预测模板区域形态学矢量加载到所述细粒度形态学矢量编码单元中,依据所述细粒度形态学矢量编码单元对所述第二样本水体采集图像数据进行细粒度形态学矢量编码,生成具有第四编码深度的预测模板区域形态学矢量,包括:
将所述具有第三编码深度的预测模板区域形态学矢量,加载到所述细粒度形态学矢量编码单元中;
依据所述深度优先遍历搜索子单元,提取所述预测模板区域形态学矢量在不同遍历链路下的深度优先遍历搜索矢量;
依据所述显著性映射子单元对所述不同遍历链路下的深度优先遍历搜索矢量,在轮廓边界区内上依次进行显著性矢量分配,生成所述具有第四编码深度的预测模板区域形态学矢量;
所述细粒度形态学矢量编码单元包括训练误差定义网络层,所述训练误差定义网络层包括第二训练误差参数层;所述方法还包括:
将所述具有第四编码深度的预测模板区域形态学矢量和所述第二样本水体采集图像数据的标注区域形态学矢量,加载到所述训练误差定义网络层;
依据所述训练误差定义网络层的第二训练误差参数层,确定所述具有第四编码深度的预测模板区域形态学矢量对应的第二模型训练误差值;
依据所述第二模型训练误差值对所述深度优先遍历搜索子单元和所述显著性映射子单元中的权重信息进行更新,生成更新后的细粒度形态学矢量编码单元。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有机器可执行指令,该机器可执行指令由处理器加载并执行以实现权利要求1-8中任意一项所述的基于深度学习的复杂异物检测方法。
10.一种基于深度学习的复杂异物检测系统,其特征在于,所述基于深度学习的复杂异物检测系统包括处理器和机器可读存储介质,该机器可读存储介质中存储有机器可执行指令,该机器可执行指令由该处理器加载并执行以实现权利要求1-8中任意一项所述的基于深度学习的复杂异物检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311592002.XA CN117292331B (zh) | 2023-11-27 | 2023-11-27 | 基于深度学习的复杂异物检测系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311592002.XA CN117292331B (zh) | 2023-11-27 | 2023-11-27 | 基于深度学习的复杂异物检测系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117292331A true CN117292331A (zh) | 2023-12-26 |
CN117292331B CN117292331B (zh) | 2024-02-02 |
Family
ID=89248501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311592002.XA Active CN117292331B (zh) | 2023-11-27 | 2023-11-27 | 基于深度学习的复杂异物检测系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117292331B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108257130A (zh) * | 2018-02-08 | 2018-07-06 | 重庆市地理信息中心 | 一种航空正射影像全景图拉花区域快速检测方法 |
WO2018137103A1 (zh) * | 2017-01-24 | 2018-08-02 | 深圳企管加企业服务有限公司 | 一种基于多源遥感数据的流域污染检测方法及系统 |
US20200020097A1 (en) * | 2016-09-21 | 2020-01-16 | The General Hospital Corporation | Systems, methods and media for automatically generating a bone age assessment from a radiograph |
CN113065551A (zh) * | 2021-03-19 | 2021-07-02 | 杭州迪英加科技有限公司 | 利用深度神经网络模型执行图像分割的方法 |
CN113256662A (zh) * | 2021-06-28 | 2021-08-13 | 杭州迪英加科技有限公司 | 病理切片图像分割方法、装置、计算机设备和存储介质 |
CN114926660A (zh) * | 2022-05-31 | 2022-08-19 | 济南大学 | 用于医学视觉问答的图像编码方法、问答方法及系统 |
CN115078281A (zh) * | 2022-08-23 | 2022-09-20 | 北京英视睿达科技股份有限公司 | 一种基于图片光谱相似度的水体物质组分检测计算方法 |
WO2022225995A1 (en) * | 2021-04-19 | 2022-10-27 | F. Hoffmann-La Roche Ag | Methods and systems for gene alteration prediction from pathology slide images |
WO2023109208A1 (zh) * | 2021-12-15 | 2023-06-22 | 北京邮电大学 | 小样本目标检测方法及装置 |
CN116303638A (zh) * | 2023-01-03 | 2023-06-23 | 中铁第四勘察设计院集团有限公司 | 一种基于gis系统的桥梁工程数量估算方法 |
CN116503395A (zh) * | 2023-06-26 | 2023-07-28 | 杭州脉流科技有限公司 | 针对宽颈动脉瘤的形态学参数自动得到方法、装置和设备 |
CN116630812A (zh) * | 2023-07-21 | 2023-08-22 | 四川发展环境科学技术研究院有限公司 | 基于可见光图像分析的水体特征检测方法及系统 |
-
2023
- 2023-11-27 CN CN202311592002.XA patent/CN117292331B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200020097A1 (en) * | 2016-09-21 | 2020-01-16 | The General Hospital Corporation | Systems, methods and media for automatically generating a bone age assessment from a radiograph |
WO2018137103A1 (zh) * | 2017-01-24 | 2018-08-02 | 深圳企管加企业服务有限公司 | 一种基于多源遥感数据的流域污染检测方法及系统 |
CN108257130A (zh) * | 2018-02-08 | 2018-07-06 | 重庆市地理信息中心 | 一种航空正射影像全景图拉花区域快速检测方法 |
CN113065551A (zh) * | 2021-03-19 | 2021-07-02 | 杭州迪英加科技有限公司 | 利用深度神经网络模型执行图像分割的方法 |
WO2022225995A1 (en) * | 2021-04-19 | 2022-10-27 | F. Hoffmann-La Roche Ag | Methods and systems for gene alteration prediction from pathology slide images |
CN113256662A (zh) * | 2021-06-28 | 2021-08-13 | 杭州迪英加科技有限公司 | 病理切片图像分割方法、装置、计算机设备和存储介质 |
WO2023109208A1 (zh) * | 2021-12-15 | 2023-06-22 | 北京邮电大学 | 小样本目标检测方法及装置 |
CN114926660A (zh) * | 2022-05-31 | 2022-08-19 | 济南大学 | 用于医学视觉问答的图像编码方法、问答方法及系统 |
CN115078281A (zh) * | 2022-08-23 | 2022-09-20 | 北京英视睿达科技股份有限公司 | 一种基于图片光谱相似度的水体物质组分检测计算方法 |
CN116303638A (zh) * | 2023-01-03 | 2023-06-23 | 中铁第四勘察设计院集团有限公司 | 一种基于gis系统的桥梁工程数量估算方法 |
CN116503395A (zh) * | 2023-06-26 | 2023-07-28 | 杭州脉流科技有限公司 | 针对宽颈动脉瘤的形态学参数自动得到方法、装置和设备 |
CN116630812A (zh) * | 2023-07-21 | 2023-08-22 | 四川发展环境科学技术研究院有限公司 | 基于可见光图像分析的水体特征检测方法及系统 |
Non-Patent Citations (6)
Title |
---|
SHIRAN SONG等: "Intelligent Object Recognition of Urban Water Bodies Based on Deep Learning for Multi-Source and Multi-Temporal High Spatial Resolution Remote Sensing Imagery", 《SENSORS》, vol. 20, no. 2, pages 1 - 25 * |
WENBIN AN等: "Fine-grained Category Discovery under Coarse-grained supervision with Hierarchical Weighted Self-contrastive Learning", 《ARXIV:2210.07733V1》, pages 1 - 10 * |
廖文志: "超光谱遥感图像特征提取和分类研究", 《中国博士学位论文全文数据库_信息科技辑》, pages 140 - 34 * |
林友鑫: "基于机器视觉的城市河道表观异物检测方法研究", 《中国优秀硕士学位论文全文数据库_工程科技Ⅰ辑》, pages 027 - 1124 * |
黄琛: "基于形态学的矢量形态表达模型的研究", 《中国优秀硕士学位论文全文数据库_基础科学辑》, pages 008 - 5 * |
龚靖渝等: "三维场景点云理解与重建技术", 《中国图象图形学报》, vol. 28, no. 06, pages 1741 - 1766 * |
Also Published As
Publication number | Publication date |
---|---|
CN117292331B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111753985B (zh) | 基于神经元覆盖率的图像深度学习模型测试方法与装置 | |
CN111738351B (zh) | 模型训练方法、装置、存储介质及电子设备 | |
CN108197326B (zh) | 一种车辆检索方法及装置、电子设备、存储介质 | |
KR102503559B1 (ko) | 차량 이미지 비교 방법 및 그 시스템 | |
CN108805016B (zh) | 一种头肩区域检测方法及装置 | |
CN108229522B (zh) | 神经网络的训练方法、属性检测方法、装置及电子设备 | |
CN109214422B (zh) | 基于dcgan的停车数据修补方法、装置、设备及存储介质 | |
CN108171119B (zh) | 基于残差网络的sar图像变化检测方法 | |
US20200410709A1 (en) | Location determination apparatus, location determination method and computer program | |
CN115984537A (zh) | 图像处理方法、装置及相关设备 | |
CN115439685A (zh) | 一种小样本图像数据集划分方法及计算机可读存储介质 | |
CN117292338B (zh) | 基于视频流解析的车辆事故识别和分析方法 | |
CN117292331B (zh) | 基于深度学习的复杂异物检测系统及方法 | |
CN117150402A (zh) | 基于生成式对抗网络的电力数据异常检测方法及模型 | |
CN116665174A (zh) | 面向视觉感知算法的危险测试用例生成方法及相关设备 | |
CN116403090A (zh) | 一种基于动态锚框和Transformer的小尺寸目标检测方法 | |
US11995150B2 (en) | Information processing method and information processing system | |
CN115965631A (zh) | 基于分割模型的图像分割方法、系统、电子设备及介质 | |
CN117036843A (zh) | 目标检测模型训练方法、目标检测方法和装置 | |
CN112396126A (zh) | 一种基于检测主干与局部特征优化的目标检测方法及系统 | |
CN111581640A (zh) | 一种恶意软件检测方法、装置及设备、存储介质 | |
CN111209567A (zh) | 提高检测模型鲁棒性的可知性判断方法及装置 | |
CN116665113B (zh) | 基于不确定性量化的遥感场景识别方法、系统及介质 | |
CN117152622B (zh) | 边界优化模型训练、边界优化方法、装置、设备及介质 | |
CN116229399B (zh) | 一种用于自动驾驶图像处理的点云数据的特征提取方法、系统及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |