CN115546736B - 基于图像采集的河道采砂监控处理方法及系统 - Google Patents

基于图像采集的河道采砂监控处理方法及系统 Download PDF

Info

Publication number
CN115546736B
CN115546736B CN202211525329.0A CN202211525329A CN115546736B CN 115546736 B CN115546736 B CN 115546736B CN 202211525329 A CN202211525329 A CN 202211525329A CN 115546736 B CN115546736 B CN 115546736B
Authority
CN
China
Prior art keywords
sand
image
vector
pixel point
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211525329.0A
Other languages
English (en)
Other versions
CN115546736A (zh
Inventor
杨翰翔
杨德润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lianhe Intelligent Technology Co ltd
Original Assignee
Shenzhen Lianhe Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lianhe Intelligent Technology Co ltd filed Critical Shenzhen Lianhe Intelligent Technology Co ltd
Priority to CN202211525329.0A priority Critical patent/CN115546736B/zh
Publication of CN115546736A publication Critical patent/CN115546736A/zh
Application granted granted Critical
Publication of CN115546736B publication Critical patent/CN115546736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Mining & Mineral Resources (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像采集的河道采砂监控处理方法及系统，包括：首先提取待处理采砂区域图像和参考采砂区域图像中每一像素点的特征化参量，并基于二者得到初始关联性；接着根据初始关联性将参考采砂区域图像和待处理采砂区域图像执行比对分析操作，得到关键采砂区域图像；再提取待处理采砂区域图像和关键采砂区域图像中每一像素点的特征化参量，并基于二者得到目标关联性；最终根据目标关联性和待处理采砂区域图像中像素点的监控时间戳，进行采砂合法性评估得到目标采砂评估结果，如此设计，利用了初始关联性确定出采砂关键区域图像，降低了干扰，再利用目标关联性对待处理河道图像中的采砂合法性进行更为准确地评估。

Description

基于图像采集的河道采砂监控处理方法及系统
技术领域
本发明涉及采砂安全监控领域，具体而言，涉及一种基于图像采集的河道采砂监控处理方法及系统。
背景技术
目前，为了综合考虑环境治理以及资源开发，河道采砂相关项目需要被严密的监控，在传统的监控方式中，一般根据具体采砂的产量进行监管，但随着采砂设备的更替，采砂效率的提高，在相同的工作时间内，已经能够完成庞大的采砂工作，这导致了还利用采砂工作结束后基于产出确定的采砂状态存在滞后性，可能会造成采砂过量的情况发生，而一旦发生这种情况，造成的后果是严重的。
发明内容
本发明的目的在于提供一种基于图像采集的河道采砂监控处理方法及系统。
第一方面，本发明实施例提供基于图像采集的河道采砂监控处理方法，包括：
获取待处理河道采砂监控时间范围的待处理采砂区域图像；
分别提取待处理采砂区域图像和参考采砂区域图像中每一像素点的特征化参量，得到多个初始待处理采砂图像向量和多个参考采砂图像向量，获取每一初始待处理采砂图像向量与每一对应参考采砂图像向量之间的第一向量距离，得到初始关联性，其中，参考采砂区域图像根据预置参考时间范围的采砂监控视频数据获取；
根据初始关联性将参考采砂区域图像和待处理采砂区域图像执行比对分析操作，得到关键采砂区域图像；
分别提取待处理采砂区域图像和关键采砂区域图像中每一像素点的特征化参量，得到多个比对待处理采砂图像向量和多个关键采砂图像向量，获取每一比对待处理采砂图像向量与每一对应关键采砂图像向量之间的第二向量距离，得到目标关联性；
根据目标关联性和待处理采砂区域图像中像素点的监控时间戳，对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果。
在一种可能的实施方式中，根据初始关联性将参考采砂区域图像和待处理采砂区域图像执行比对分析操作，得到关键采砂区域图像，包括：
从参考采砂区域图像中获取符合待处理采砂区域图像监控角度的待定像素点，得到第一待定像素点数组；
根据初始关联性和第一待定像素点数组对待处理采砂区域图像进行处理，得到关键采砂区域图像。
在一种可能的实施方式中，根据初始关联性和第一待定像素点数组对待处理采砂区域图像进行处理，包括：
根据初始关联性从第一待定像素点数组中获取第一关键像素点，并根据第一关键像素点对待处理采砂区域图像的像素点进行对比分析。
在一种可能的实施方式中，待处理采砂区域图像的采砂图像向量包括：待处理采砂区域图像中每一当前像素点的绝对坐标参数、及在待处理采砂区域图像中的RGB值；参考采砂区域图像的采砂图像向量包括：参考采砂区域图像中每一像素点的绝对坐标参数、及在参考采砂区域图像中的RGB值；
根据初始关联性从第一待定像素点数组中获取第一关键像素点，并根据第一关键像素点对待处理采砂区域图像的像素点进行对比分析，包括：
根据第一向量距离，获取待处理采砂区域图像中每一像素点关于参考采砂区域图像中每一像素点的第一差异系数，其中，第一差异系数用于反映待处理采砂区域图像中每一像素点对参考采砂区域图像中每一像素点的差异程度；
按照第一差异系数从大至小的顺序从第一待定像素点数组中获取相应的待定像素点，作为第一关键像素点；
根据第一关键像素点在参考采砂区域图像中的RGB值、及第一关键像素点对应的绝对坐标参数，在待处理采砂区域图像中的相应位置确定出评估像素点。
在一种可能的实施方式中，待处理采砂区域图像的采砂图像向量包括：待处理采砂区域图像中每一当前像素点的绝对坐标参数、及在待处理采砂区域图像中的RGB值；关键采砂区域图像的采砂图像向量包括：关键采砂区域图像中每一像素点的绝对坐标参数、及在关键采砂区域图像中的RGB值，根据目标关联性和待处理采砂区域图像中像素点的监控时间戳，对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果，包括：
根据第二向量距离，获取待处理采砂区域图像中每一像素点关于关键采砂区域图像中每一像素点的第二差异系数，其中，第二差异系数用于反映待处理采砂区域图像中每一像素点对关键采砂区域图像中每一像素点的差异程度；
根据第二差异系数和关键采砂区域图像中像素点的RGB值，从关键采砂区域图像中获取待定像素点，得到第二待定像素点数组；
根据待处理采砂区域图像中的当前像素点和监控时间戳，从第二待定像素点数组中获取第二关键像素点；
根据监控时间戳和第二关键像素点对应的绝对坐标参数，在待处理采砂区域图像中的相应位置确定出评估像素点，以对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果。
在一种可能的实施方式中，对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果，包括;
根据采砂合法性评估命令，获取与待处理采砂区域图像对应的评估像素点向量，评估像素点向量包括评估像素点的绝对坐标参数和RGB值； 确定与待处理采砂区域图像对应的评估像素点向量所分别对应的不同河道采砂地区； 基于不同河道采砂地区，确定与不同河道采砂地区对应的评估调整系数； 基于评估调整系数，对待处理采砂区域图像对应的评估像素点向量进行优化，以形成与对应的河道采砂地区对应的评估向量集合；通过预先训练的采砂合法性评估模型对评估向量集合进行采砂合法性评估，得到待处理采砂区域图像的目标采砂评估结果，其中，采砂合法性评估模型包括向量抽取架构、向量分类架构以及时间戳提取架构； 输出待处理采砂区域图像的目标采砂评估结果。
在一种可能的实施方式中，方法还包括：
获取多个样本采砂区域图像的评估像素点向量和河道采砂地区的地区信息；
根据多个样本采砂区域图像的评估像素点向量和河道采砂地区的地区信息，得到与采砂合法性评估模型对应的样本评估向量集合，其中样本评估向量集合中包括不同监控时间戳的样本评估像素点向量；
确定不同的时间戳位置，并根据相应的时间戳位置对样本评估向量集合进行处理，确定与采砂合法性评估模型对应的不同监控时间戳的训练评估向量集合，其中，训练评估向量集合包括至少一组样本训练评估像素点向量；
通过采砂合法性评估模型中向量抽取架构，对训练评估向量集合进行处理，以确定向量抽取架构的原始网络参量；
根据向量抽取架构的原始网络参量，通过向量抽取架构对训练评估向量集合进行处理，确定向量抽取架构的优化网络参量；
确定向量抽取架构对应的代价函数；
根据向量抽取架构的优化网络参量，对向量抽取架构的参数进行优化；直到向量抽取架构的代价函数达到预置损失结果，并且基于向量抽取架构中的参数，能够提取训练评估向量集合中每个训练评估像素点向量的采砂评估元素；
通过采砂合法性评估模型中向量分类架构，对训练评估向量集合进行处理，以确定向量分类架构的原始网络参量；
将训练评估向量集合中不同样本训练评估像素点向量，参与计算向量分类架构所对应的代价函数；
确定代价函数满足预置损失结果时向量分类架构对应优化网络参量；
根据向量分类架构的优化网络参量，通过训练评估向量集合对向量分类架构的参数进行优化，以达到基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果；
根据时间戳提取架构的原始网络参量，通过时间戳提取架构对训练评估向量集合进行处理，确定时间戳提取架构的优化网络参量；
根据时间戳提取架构的优化网络参量，通过训练评估向量集合对时间戳提取架构的参数进行优化，判定训练评估向量集合中各个训练评估像素点向量所分别对应的监控时间戳，以达到通过采砂合法性评估模型对河道采砂地区中的待处理采砂区域图像的合法性进行评估。
在一种可能的实施方式中，根据向量分类架构的优化网络参量，通过训练评估向量集合对向量分类架构的参数进行优化，以达到基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果，包括：
确定向量分类架构对应的代价函数；
根据向量分类架构的优化网络参量，对向量分类架构的参数进行优化；直到向量分类架构的代价函数达到预置损失结果，并且基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果。
在一种可能的实施方式中，方法还包括：
将训练评估向量集合中不同样本训练评估像素点向量，参与计算时间戳提取架构所对应的代价函数；
确定代价函数满足预置损失结果时时间戳提取架构对应优化网络参量；
确定时间戳提取架构对应的代价函数；
根据时间戳提取架构的优化网络参量，对时间戳提取架构的参数进行优化；
直到时间戳提取架构的代价函数达到预置损失结果，并且基于时间戳提取架构中的参数，能够确定训练评估向量集合中各个训练评估像素点向量所分别对应的监控时间戳。
第二方面，本发明实施例提供基于图像采集的河道采砂监控处理系统，包括：
获取模块，用于获取待处理河道采砂监控时间范围的待处理采砂区域图像；
提取模块，用于分别提取待处理采砂区域图像和参考采砂区域图像中每一像素点的特征化参量，得到多个初始待处理采砂图像向量和多个参考采砂图像向量，获取每一初始待处理采砂图像向量与每一对应参考采砂图像向量之间的第一向量距离，得到初始关联性，其中，参考采砂区域图像根据预置参考时间范围的采砂监控视频数据获取；根据初始关联性将参考采砂区域图像和待处理采砂区域图像执行比对分析操作，得到关键采砂区域图像；分别提取待处理采砂区域图像和关键采砂区域图像中每一像素点的特征化参量，得到多个比对待处理采砂图像向量和多个关键采砂图像向量，获取每一比对待处理采砂图像向量与每一对应关键采砂图像向量之间的第二向量距离，得到目标关联性；
评估模块，用于根据目标关联性和待处理采砂区域图像中像素点的监控时间戳，对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果。
相比现有技术，本发明提供的有益效果包括：采用本发明公开的一种基于图像采集的河道采砂监控处理方法及系统，通过提取待处理采砂区域图像和参考采砂区域图像中每一像素点的特征化参量，并基于二者得到初始关联性；接着根据初始关联性将参考采砂区域图像和待处理采砂区域图像执行比对分析操作，得到关键采砂区域图像；再提取待处理采砂区域图像和关键采砂区域图像中每一像素点的特征化参量，并基于二者得到目标关联性；最终根据目标关联性和待处理采砂区域图像中像素点的监控时间戳，进行采砂合法性评估得到目标采砂评估结果，如此设计，利用了初始关联性确定出采砂关键区域图像，降低了干扰，再利用目标关联性对待处理河道图像中的采砂合法性进行更为准确地评估。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的基于图像采集的河道采砂监控处理方法的步骤流程示意图；
图2为本发明实施例提供的基于图像采集的河道采砂监控处理系统的结构示意框图；
图3为本发明实施例提供的计算机设备的结构示意框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。根据本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为根据附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图，对本发明的具体实施方式进行详细说明。
请参阅图1，图1为本申请实施例提供的方法的流程示意图。该基于图像采集的河道采砂监控处理方法的具体流程可以如下：
步骤S101、获取待处理河道采砂监控时间范围的待处理采砂区域图像。
其中，待处理河道采砂监控时间范围可以为需要对河道采砂区域进行监控的时段，如一天、一小时等。该待处理采砂区域图像则为需要进行当前河道采砂是否合法合格的图像。参考采砂区域图像根据预置参考时间范围的采砂监控视频数据获取，采砂监控视频数据可以是通过无人机在预设固定位置拍摄得到的，也可以是预先架设的摄像机采集得到的，在此不做限制。
在本实施例中，参考采砂区域图像与待处理采砂区域图像对应的河道采砂地点相同。待处理采砂区域图像的采砂图像向量可以包括：待处理采砂区域图像中每一当前像素点的绝对坐标参数、及在待处理采砂区域图像中的RGB（RGB color mode，RGB色彩模式）值。参考采砂区域图像的采砂图像向量包括：参考采砂区域图像中每一像素点的绝对坐标参数、及在参考采砂区域图像中的RGB值。其中，绝对坐标参数可以指相对于预设参照对象的坐标值。RGB值则可以表征像素点在图像中的颜色表征，在本申请实施例中，可以通过不同像素点的颜色表征确定该像素点在图像中代指对象，例如砂土、河流、天空、机器设备等，在此不做限制，利用RGB值便能够分辨各个像素点的表征事物，具体对应表征关系可以预先存储在对应的服务器中，可以由神经网络训练得到。
步骤S102、分别提取待处理采砂区域图像和参考采砂区域图像中每一像素点的特征化参量，得到多个初始待处理采砂图像向量和多个参考采砂图像向量，获取每一初始待处理采砂图像向量与每一对应参考采砂图像向量之间的第一向量距离，得到初始关联性。
步骤S103、根据初始关联性将参考采砂区域图像和待处理采砂区域图像执行比对分析操作，得到关键采砂区域图像。
实际应用中，在根据初始关联性将参考采砂区域图像和待处理采砂区域图像执行比对分析操作时，可以从参考采砂区域图像中获取符合待处理采砂区域图像监控角度的待定像素点，得到第一待定像素点数组，然后根据初始关联性和第一待定像素点数组对待处理采砂区域图像进行处理，从而得到关键采砂区域图像。
进一步的，在根据初始关联性和第一待定像素点数组对待处理采砂区域图像进行处理时，具体可以根据初始关联性从第一待定像素点数组中获取第一关键像素点，并根据第一关键像素点对待处理采砂区域图像的像素点进行对比分析，以得到关键采砂区域图像。在一实施方式中，在根据第一关键像素点对待处理采砂区域图像的像素点进行对比分析时，具体可以包括以下流程：
根据第一向量距离，获取待处理采砂区域图像中每一像素点关于参考采砂区域图像中每一像素点的第一差异系数，其中，第一差异系数用于反映待处理采砂区域图像中每一像素点对参考采砂区域图像中每一像素点的差异程度；
按照第一差异系数从大至小的顺序从第一待定像素点数组中获取相应的待定像素点，作为第一关键像素点；
根据第一关键像素点在参考采砂区域图像中的RGB值、及第一关键像素点对应的绝对坐标参数，在待处理采砂区域图像中的相应位置确定出评估像素点。
具体的，根据待处理采砂区域图像中每一像素点关于参考采砂区域图像中每一像素点的差异系数的大小，从第一待定像素点数组中获取出待处理采砂区域图像重点关注的像素点，并根据所筛选出像素点在参考采砂区域图像中的特征，在待处理采砂区域图像中确定出的相应位置确定出用户需求的与砂土、砂石采集有关的像素点，并将这些像素点确定的图像区域作为关键采砂区域图像。还可以区分出与砂土、砂石本身不存在直接关联的例如其他固定环境、工作人员、工作设备等无关像素点。
步骤S104、分别提取待处理采砂区域图像和关键采砂区域图像中每一像素点的特征化参量，得到多个比对待处理采砂图像向量和多个关键采砂图像向量，获取每一比对待处理采砂图像向量与每一对应关键采砂图像向量之间的第二向量距离，得到目标关联性。
在本实施例中，待处理采砂区域图像的采砂图像向量包括：待处理采砂区域图像中每一当前像素点的绝对坐标参数、及在待处理采砂区域图像中的RGB值；关键采砂区域图像的采砂图像向量包括：关键采砂区域图像中每一像素点的绝对坐标参数、及在关键采砂区域图像中的RGB值。
在获取关键采砂区域图像的采砂图像向量与待处理采砂区域图像的采砂图像向量之间的目标关联性时，具体可以分别提取待处理采砂区域图像和关键采砂区域图像中每一像素点的特征化参量，得到多个比对待处理采砂图像向量和多个关键采砂图像向量，然后获取每一比对待处理采砂图像向量与每一对应关键采砂图像向量之间的第二向量距离，并根据该第二向量距离获取关键采砂区域图像的采砂图像向量与待处理采砂区域图像的采砂图像向量之间目标关联性。
步骤S105、根据目标关联性和待处理采砂区域图像中像素点的监控时间戳，对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果。
具体的，可通过预先训练的神经网络模型作为评估工作，以输出目标采砂评估结果。在一些实施例中，在根据目标关联性和待处理采砂区域图像中像素点的监控时间戳，对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果时，具体可以包括：
根据目标关联性和关键采砂区域图像中像素点的RGB值，从关键采砂区域图像中获取待定像素点，得到第二待定像素点数组；
根据该监控时间戳和第二待定像素点数组，对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果。
具体的，在根据目标关联性和关键采砂区域图像中像素点的RGB值，从关键采砂区域图像中获取待定像素点，得到第二待定像素点数组时，可根据第二向量距离获取待处理采砂区域图像中每一像素点关于关键采砂区域图像中每一像素点的第二差异系数，其中，第二差异系数用于反映待处理采砂区域图像中每一像素点对关键采砂区域图像中每一像素点的差异程度。然后，根据第二差异系数和关键采砂区域图像中像素点的RGB值，从关键采砂区域图像中获取待定像素点，得到第二待定像素点数组。
在根据监控时间戳和第二待定像素点数组，对待处理采砂区域图像进行采砂合法性评估时，可根据待处理采砂区域图像中的当前像素点和监控时间戳，从第二待定像素点数组中获取第二关键像素点，然后根据监控时间戳和第二关键像素点对应的绝对坐标参数，在待处理采砂区域图像中的相应位置确定出评估像素点，以对待处理采砂区域图像进行采砂合法性评估。
本申请实施例提供的方法，通过获取待处理河道采砂监控时间范围的待处理采砂区域图像，并根据待处理采砂区域图像的采砂图像向量与参考采砂区域图像的采砂图像向量之间的初始关联性，将参考采砂区域图像和待处理采砂区域图像执行比对分析操作，得到关键采砂区域图像，至此，便能够将无关的图像区域排除，降低后续对评估结果的干扰；根据关键采砂区域图像的采砂图像向量与待处理采砂区域图像的采砂图像向量之间的目标关联性、及待处理采砂区域图像中像素点的监控时间戳，结合预先训练的神经网络模型对待处理采砂区域图像进行采砂合法性评估，以得到目标采砂评估结果，提高了针对采砂结果的实时性和准确性。
为了能够更加清楚的描述本申请实施例提供的方案，下面对如何确定目标采砂评估结果进行详细的描述。
通过根据采砂合法性评估命令，获取与待处理采砂区域图像对应的评估像素点向量；通过预先训练的采砂合法性评估模型对评估向量集合进行采砂合法性评估，得到待处理采砂区域图像的目标采砂评估结果；输出待处理采砂区域图像的目标采砂评估结果。
当然在通过采砂合法性评估模型对采砂区域图像进行处理以生成相应的预测结果之前，还需要对采砂合法性评估模型进行训练，具体包括：
获取多个样本采砂区域图像的评估像素点向量和河道采砂地区的地区信息；根据多个样本采砂区域图像的评估像素点向量和河道采砂地区的地区信息，得到与采砂合法性评估模型对应的样本评估向量集合，其中样本评估向量集合中包括不同监控时间戳的样本评估像素点向量；基于不同的时间戳位置，对样本评估向量集合进行处理，确定与采砂合法性评估模型对应的不同监控时间戳的训练评估向量集合，其中，训练评估向量集合包括至少一组样本训练评估像素点向量；根据与采砂合法性评估模型对应的不同监控时间戳的训练评估向量集合对采砂合法性评估模型进行训练，确定与采砂合法性评估模型匹配的神经网络参量，以达到通过采砂合法性评估模型对河道采砂地区中的待处理采砂区域图像的合法性进行评估。
在本发明实施例中，还提供如下示例。
步骤S301：基于监控时间戳信息的采砂合法性评估装置基于多个样本采砂区域图像的评估像素点向量和河道采砂地区的地区信息，获取与采砂合法性评估模型对应的样本评估向量集合。
其中，样本评估向量集合中包括不同监控时间戳的样本评估像素点向量。
在本发明的一些实施例中，由于所获取的包括不同监控时间戳的样本评估像素点向量可能含有噪声信息，因此需要进行除噪处理，可以通过以下方式实现：
确定与所采砂合法性评估模型相对应的固定噪声阈值，并根据固定噪声阈值对样本评估向量集合进行去噪处理，以形成与固定噪声阈值对应的样本评估向量集合。
步骤S302：基于监控时间戳信息的采砂合法性评估装置确定不同的时间戳位置，并根据相应的时间戳位置，对样本评估向量集合进行处理，确定与采砂合法性评估模型对应的不同监控时间戳的训练评估向量集合。
其中，训练评估向量集合包括至少一组样本训练评估像素点向量。
可选地，采砂合法性评估模型中的神经网络结构可以为卷积神经网络、深度神经网络或生成对抗网络等，本发明实施例对采砂合法性评估模型中的神经网络结构的类型不作限定；预置优化算法可以是随机梯度下降算法、小批量梯度下降算法等，在此不做限制。采砂合法性评估模型中的神经网络结构可以为适用于不同的目标对象预测任务的神经网络，例如：待处理采砂区域图像风险预判任务、产品风险评估任务、待处理采砂区域图像状态分析任务等。采砂合法性评估模型中的神经网络结构也可以为适用于不同的应用场景的神经网络，本发明实施例对采砂合法性评估模型中的神经网络结构的适用范围不作限定。可选地，采砂合法性评估模型中的神经网络结构的网络结构可以根据计算机视觉任务设计，或者，采砂合法性评估模型中的神经网络结构的网络结构可以采用现有的网络结构的至少一部分，例如：深度残差网络等，本发明实施例对采砂合法性评估模型中的神经网络结构的网络结构不作限定。
步骤S303：基于监控时间戳信息的采砂合法性评估装置根据与采砂合法性评估模型对应的不同监控时间戳的训练评估向量集合对采砂合法性评估模型进行训练，确定与采砂合法性评估模型匹配的神经网络参量。
由此，可以达到通过采砂合法性评估模型对河道采砂地区中的待处理采砂区域图像的合法性进行评估。
在本发明的一些实施例中，根据训练评估向量集合对采砂合法性评估模型进行训练，确定与采砂合法性评估模型匹配的神经网络参量，可以通过以下方式实现：
根据训练评估向量集合对采砂合法性评估模型进行训练，确定采砂合法性评估模型中向量抽取架构的神经网络参量；根据训练评估向量集合对采砂合法性评估模型进行训练，确定采砂合法性评估模型中向量分类架构的神经网络参量；根据训练评估向量集合对采砂合法性评估模型进行训练，确定采砂合法性评估模型中时间戳提取架构的神经网络参量。其中，本申请中的采砂合法性评估模型训练阶段包括：1）向量抽取架构训练阶段2）向量分类架构和时间戳提取架构的训练阶段。假设利用预先设定好的时间戳将数据划分为了多个监控时间戳数据集，每个监控时间戳数据集上有不同的作为样本训练评估像素点向量的有标记数据。当然，在本发明的另一些实施例中，样本训练评估像素点向量的数据采集阶段还存在一些无标签数据也可以加入样本训练评估像素点向量中，但仅用做时间戳提取架构的训练评估向量集合，不用于向量分类架构的样本训练评估像素点向量。
在本发明的一些实施例中，根据训练评估向量集合对采砂合法性评估模型进行训练，确定采砂合法性评估模型中向量抽取架构的神经网络参量，可以通过以下方式实现：
通过采砂合法性评估模型中向量抽取架构，对训练评估向量集合进行处理，以确定向量抽取架构的原始网络参量；根据向量抽取架构的原始网络参量，通过向量抽取架构对训练评估向量集合进行处理，确定向量抽取架构的优化网络参量；根据向量抽取架构的优化网络参量，通过训练评估向量集合对向量抽取架构的参数进行优化，以提取训练评估向量集合中每个训练评估像素点向量的采砂评估元素。其中采砂合法性评估模型包括由一个向量抽取架构和一个向量分类架构以及时间戳提取架构组成，其中，向量抽取架构负责提取后续不通分类网络所需要的采砂评估元素，所有不同监控时间戳的数据共享同一个无关特征提取器。该特征提取器将各个监控时间戳样本评估像素点向量映射到同一个空间中。其结构为一个全连接网络，它的输入为每个训练评估像素点向量的原始特征，输出为每个训练评估像素点向量的采砂评估元素，具体来说，特征提取网络的主要目的为基于训练评估向量集合的少量样本将其映射到不同的特征向量表示空间，在该空间中相似的任务距离越近。参数生成网络则以特征向量为输入自适应地生成后续向量分类架构参数以及分类器网络的神经网络参量。
在本发明的一些实施例中，根据向量抽取架构的原始网络参量，通过向量抽取架构对训练评估向量集合进行处理，确定向量抽取架构的优化网络参量，可以通过以下方式实现：将训练评估向量集合中不同样本训练评估像素点向量，参与计算向量抽取架构所对应的代价函数；确定代价函数满足预置损失结果时向量抽取架构对应优化网络参量。其中，
在本发明的一些实施例中，根据向量抽取架构的优化网络参量，通过训练评估向量集合对向量抽取架构的参数进行优化，以提取训练评估向量集合中每个训练评估像素点向量的采砂评估元素，可以通过以下方式实现：
确定向量抽取架构对应的代价函数；根据向量抽取架构的优化网络参量，对向量抽取架构的参数进行优化；直到向量抽取架构的代价函数达到预置损失结果，并且基于向量抽取架构中的参数，能够提取训练评估向量集合中每个训练评估像素点向量的采砂评估元素。其中，向量抽取架构所处理的训练评估向量集合包括不同河道采砂地区中的不同用户所分别对应的个人信息特征、风控模式特征、信用风险类别特征、以及对应的训练任务标签。所提取的每个训练评估像素点向量的采砂评估元素可以用于采砂合法性评估模型中的分类器网络型形成相应的预测结果，以及时间戳提取架构确定各个训练评估像素点向量所分别对应的监控时间戳。
在本发明的一些实施例中，根据训练评估向量集合对采砂合法性评估模型进行训练，确定采砂合法性评估模型中向量分类架构的神经网络参量，包括：
通过采砂合法性评估模型中向量分类架构，对训练评估向量集合进行处理，以确定向量分类架构的原始网络参量；根据向量分类架构的原始网络参量，通过向量分类架构对训练评估向量集合进行处理，确定向量分类架构的优化网络参量；根据向量分类架构的优化网络参量，通过训练评估向量集合对向量分类架构的参数进行优化，以达到基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果。
在本发明的一些实施例中，根据向量分类架构的原始网络参量，通过向量分类架构对训练评估向量集合进行处理，确定向量分类架构的优化网络参量，可以通过以下方式实现：
将训练评估向量集合中不同样本训练评估像素点向量，参与计算向量分类架构所对应的代价函数；确定代价函数满足预置损失结果时向量分类架构对应优化网络参量。
在本发明的一些实施例中，根据向量分类架构的优化网络参量，通过训练评估向量集合对向量分类架构的参数进行优化，以达到基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果，可以通过以下方式实现：
确定向量分类架构应的代价函数；根据向量分类架构的优化网络参量，对向量分类架构的参数进行优化；直到向量分类架构的代价函数达到预置损失结果，并且基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果。其中，采砂合法性评估模型中的向量分类架构可以通过对所有域中有标记样本进行识别分类预测，可选的，向量分类架构的结构为一个全连接网络。通过的每个有标记样本的采砂评估元素，输出样本的预测类别，以提示当前的用户是否有违背采砂合法性的风险，例如，采砂过量、禁区采砂等。
在本发明的一些实施例中，根据训练评估向量集合对采砂合法性评估模型进行训练，确定采砂合法性评估模型中时间戳提取架构的神经网络参量，可以通过以下方式实现：
根据时间戳提取架构的原始网络参量，通过时间戳提取架构对训练评估向量集合进行处理，确定时间戳提取架构的优化网络参量；根据时间戳提取架构的优化网络参量，通过训练评估向量集合对时间戳提取架构的参数进行优化，以确定训练评估向量集合中各个训练评估像素点向量所分别对应的监控时间戳。其中，时间戳提取架构可以对所有样本进行时间戳判别预测，确定当前样本来自哪一个监控时间戳。时间戳提取架构的结构为一个全连接网络，时间戳提取架构的输入为每个有标记样本的采砂评估元素，输出为域判别的预测结果。
在本发明的一些实施例中，根据时间戳提取架构的原始网络参量，通过时间戳提取架构对训练评估向量集合进行处理，确定时间戳提取架构的优化网络参量，可以通过以下方式实现：
将训练评估向量集合中不同样本训练评估像素点向量，参与计算时间戳提取架构所对应的代价函数；确定代价函数满足预置损失结果时时间戳提取架构对应优化网络参量。
在本发明的一些实施例中，根据时间戳提取架构的优化网络参量，通过训练评估向量集合对时间戳提取架构的参数进行优化，以提取训练评估向量集合中每个训练评估像素点向量的采砂评估元素，可以通过以下方式实现：
确定时间戳提取架构对应的代价函数；根据时间戳提取架构的优化网络参量，对时间戳提取架构的参数进行优化；直到时间戳提取架构的代价函数达到预置损失结果，并且基于时间戳提取架构中的参数，能够确定训练评向量集合中各个训练评估像素点向量所分别对应的监控时间戳。其中，前向传播中向量抽取架构提取的信息传入时间戳提取架构，时间戳提取架构通过确定传入的信息来哪一个监控时间戳，并计算时间戳损失。时间戳提取架构的目标是尽可能区分出输入的特征来哪一个监控时间戳。应当理解是，之所以要结合监控时间戳，是因为不同时间段对于相关图像像素的影响较大，需要确认后方可调用对应的参数，得到准确地评估结果。
请结合参阅图2，本发明实施例提供一种基于图像采集的河道采砂监控处理系统110，包括：
获取模块1101，用于获取待处理河道采砂监控时间范围的待处理采砂区域图像。
提取模块1102，用于分别提取待处理采砂区域图像和参考采砂区域图像中每一像素点的特征化参量，得到多个初始待处理采砂图像向量和多个参考采砂图像向量，获取每一初始待处理采砂图像向量与每一对应参考采砂图像向量之间的第一向量距离，得到初始关联性，其中，参考采砂区域图像根据预置参考时间范围的采砂监控视频数据获取；根据初始关联性将参考采砂区域图像和待处理采砂区域图像执行比对分析操作，得到关键采砂区域图像；分别提取待处理采砂区域图像和关键采砂区域图像中每一像素点的特征化参量，得到多个比对待处理采砂图像向量和多个关键采砂图像向量，获取每一比对待处理采砂图像向量与每一对应关键采砂图像向量之间的第二向量距离，得到目标关联性；
评估模块1103，用于根据目标关联性和待处理采砂区域图像中像素点的监控时间戳，对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果。
在一种可能的实施方式中，提取模块1102具体用于：
从参考采砂区域图像中获取符合待处理采砂区域图像监控角度的待定像素点，得到第一待定像素点数组；根据初始关联性和第一待定像素点数组对待处理采砂区域图像进行处理，得到关键采砂区域图像。
在一种可能的实施方式中，提取模块1102进一步具体用于：
根据初始关联性从第一待定像素点数组中获取第一关键像素点，并根据第一关键像素点对待处理采砂区域图像的像素点进行对比分析。
在一种可能的实施方式中，待处理采砂区域图像的采砂图像向量包括：待处理采砂区域图像中每一当前像素点的绝对坐标参数、及在待处理采砂区域图像中的RGB值；参考采砂区域图像的采砂图像向量包括：参考采砂区域图像中每一像素点的绝对坐标参数、及在参考采砂区域图像中的RGB值；
提取模块1102进一步具体用于：
根据第一向量距离，获取待处理采砂区域图像中每一像素点关于参考采砂区域图像中每一像素点的第一差异系数，其中，第一差异系数用于反映待处理采砂区域图像中每一像素点对参考采砂区域图像中每一像素点的差异程度；按照第一差异系数从大至小的顺序从第一待定像素点数组中获取相应的待定像素点，作为第一关键像素点；根据第一关键像素点在参考采砂区域图像中的RGB值、及第一关键像素点对应的绝对坐标参数，在待处理采砂区域图像中的相应位置确定出评估像素点。
在一种可能的实施方式中，待处理采砂区域图像的采砂图像向量包括：待处理采砂区域图像中每一当前像素点的绝对坐标参数、及在待处理采砂区域图像中的RGB值；关键采砂区域图像的采砂图像向量包括：关键采砂区域图像中每一像素点的绝对坐标参数、及在关键采砂区域图像中的RGB值，评估模块1103具体用于：
根据第二向量距离，获取待处理采砂区域图像中每一像素点关于关键采砂区域图像中每一像素点的第二差异系数，其中，第二差异系数用于反映待处理采砂区域图像中每一像素点对关键采砂区域图像中每一像素点的差异程度；根据第二差异系数和关键采砂区域图像中像素点的RGB值，从关键采砂区域图像中获取待定像素点，得到第二待定像素点数组；根据待处理采砂区域图像中的当前像素点和监控时间戳，从第二待定像素点数组中获取第二关键像素点；根据监控时间戳和第二关键像素点对应的绝对坐标参数，在待处理采砂区域图像中的相应位置确定出评估像素点，以对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果。
在一种可能的实施方式中，评估模块1103进一步具体用于：
根据采砂合法性评估命令，获取与待处理采砂区域图像对应的评估像素点向量，评估像素点向量包括评估像素点的绝对坐标参数和RGB值； 确定与待处理采砂区域图像对应的评估像素点向量所分别对应的不同河道采砂地区； 基于不同河道采砂地区，确定与不同河道采砂地区对应的评估调整系数； 基于评估调整系数，对待处理采砂区域图像对应的评估像素点向量进行优化，以形成与对应的河道采砂地区对应的评估向量集合；通过预先训练的采砂合法性评估模型对评估向量集合进行采砂合法性评估，得到待处理采砂区域图像的目标采砂评估结果，其中，采砂合法性评估模型包括向量抽取架构、向量分类架构以及时间戳提取架构； 输出待处理采砂区域图像的目标采砂评估结果。
在一种可能的实施方式中，评估模块1103进一步具体用于：
获取多个样本采砂区域图像的评估像素点向量和河道采砂地区的地区信息；根据多个样本采砂区域图像的评估像素点向量和河道采砂地区的地区信息，得到与采砂合法性评估模型对应的样本评估向量集合，其中样本评估向量集合中包括不同监控时间戳的样本评估像素点向量；确定不同的时间戳位置，并根据相应的时间戳位置对样本评估向量集合进行处理，确定与采砂合法性评估模型对应的不同监控时间戳的训练评估向量集合，其中，训练评估向量集合包括至少一组样本训练评估像素点向量；通过采砂合法性评估模型中向量抽取架构，对训练评估向量集合进行处理，以确定向量抽取架构的原始网络参量；根据向量抽取架构的原始网络参量，通过向量抽取架构对训练评估向量集合进行处理，确定向量抽取架构的优化网络参量；确定向量抽取架构对应的代价函数；根据向量抽取架构的优化网络参量，对向量抽取架构的参数进行优化；直到向量抽取架构的代价函数达到预置损失结果，并且基于向量抽取架构中的参数，能够提取训练评估向量集合中每个训练评估像素点向量的采砂评估元素；通过采砂合法性评估模型中向量分类架构，对训练评估向量集合进行处理，以确定向量分类架构的原始网络参量；将训练评估向量集合中不同样本训练评估像素点向量，参与计算向量分类架构所对应的代价函数；确定代价函数满足预置损失结果时向量分类架构对应优化网络参量；根据向量分类架构的优化网络参量，通过训练评估向量集合对向量分类架构的参数进行优化，以达到基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果；根据时间戳提取架构的原始网络参量，通过时间戳提取架构对训练评估向量集合进行处理，确定时间戳提取架构的优化网络参量；根据时间戳提取架构的优化网络参量，通过训练评估向量集合对时间戳提取架构的参数进行优化，判定训练评估向量集合中各个训练评估像素点向量所分别对应的监控时间戳，以达到通过采砂合法性评估模型对河道采砂地区中的待处理采砂区域图像的合法性进行评估。
在一种可能的实施方式中，评估模块1103进一步具体用于：
确定向量分类架构对应的代价函数；根据向量分类架构的优化网络参量，对向量分类架构的参数进行优化；直到向量分类架构的代价函数达到预置损失结果，并且基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果。
在一种可能的实施方式中，评估模块1103进一步具体用于：
将训练评估向量集合中不同样本训练评估像素点向量，参与计算时间戳提取架构所对应的代价函数；确定代价函数满足预置损失结果时时间戳提取架构对应优化网络参量；确定时间戳提取架构对应的代价函数；根据时间戳提取架构的优化网络参量，对时间戳提取架构的参数进行优化；直到时间戳提取架构的代价函数达到预置损失结果，并且基于时间戳提取架构中的参数，能够确定训练评估向量集合中各个训练评估像素点向量所分别对应的监控时间戳。
需要说明的是，前述基于图像采集的河道采砂监控处理系统110的实现原理可以参考前述基于图像采集的河道采砂监控处理方法的实现原理，在此不再赘述。应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，获取模块1101可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上获取模块1101的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。
本发明实施例提供一种计算机设备100，计算机设备100包括处理器及存储有计算机指令的非易失性存储器，计算机指令被处理器执行时，计算机设备100执行前述的基于图像采集的河道采砂监控处理系统110。如图3所示，图3为本发明实施例提供的计算机设备100的结构框图。计算机设备100包括基于图像采集的河道采砂监控处理系统110、存储器111、处理器112及通信单元113。
为实现数据的传输或交互，存储器111、处理器112以及通信单元113各元件相互之间直接或间接地电性连接。例如，可通过一条或多条通讯总线或信号线实现这些元件相互之间电性连接。基于图像采集的河道采砂监控处理系统110包括至少一个可以软件或固件（firmware）的形式存储于存储器111中或固化在计算机设备100的操作系统（operatingsystem，OS）中的软件功能模块。处理器112用于执行存储器111中存储的基于图像采集的河道采砂监控处理系统110，例如基于图像采集的河道采砂监控处理系统110所包括的软件功能模块及计算机程序等。
本发明实施例提供一种可读存储介质，可读存储介质包括计算机程序，计算机程序运行时控制可读存储介质所在计算机设备执行前述的基于图像采集的河道采砂监控处理方法。
出于说明目的，前面的描述是参考具体实施例而进行的。但是，上述说明性论述并不打算穷举或将本公开局限于所公开的精确形式。根据上述教导，众多修改和变化都是可行的。选择并描述这些实施例是为了最佳地说明本公开的原理及其实际应用，从而使本领域技术人员最佳地利用本公开，并利用具有不同修改的各种实施例以适于预期的特定应用。出于说明目的，前面的描述是参考具体实施例而进行的。但是，上述说明性论述并不打算穷举或将本公开局限于所公开的精确形式。根据上述教导，众多修改和变化都是可行的。选择并描述这些实施例是为了最佳地说明本公开的原理及其实际应用，从而使本领域技术人员最佳地利用本公开，并利用具有不同修改的各种实施例以适于预期的特定应用。

Claims (7)

1.基于图像采集的河道采砂监控处理方法，其特征在于，包括：
获取待处理河道采砂监控时间范围的待处理采砂区域图像；
分别提取所述待处理采砂区域图像和参考采砂区域图像中每一像素点的特征化参量，得到多个初始待处理采砂图像向量和多个参考采砂图像向量，获取每一初始待处理采砂图像向量与每一对应参考采砂图像向量之间的第一向量距离，得到初始关联性，其中，所述参考采砂区域图像根据预置参考时间范围的采砂监控视频数据获取；
根据所述初始关联性将所述参考采砂区域图像和所述待处理采砂区域图像执行比对分析操作，得到关键采砂区域图像；
分别提取所述待处理采砂区域图像和关键采砂区域图像中每一像素点的特征化参量，得到多个比对待处理采砂图像向量和多个关键采砂图像向量，获取每一比对待处理采砂图像向量与每一对应关键采砂图像向量之间的第二向量距离，得到目标关联性；
根据所述目标关联性和所述待处理采砂区域图像中像素点的监控时间戳，对所述待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果；
所述根据所述初始关联性将所述参考采砂区域图像和所述待处理采砂区域图像执行比对分析操作，得到关键采砂区域图像，包括：
从所述参考采砂区域图像中获取符合所述待处理采砂区域图像监控角度的待定像素点，得到第一待定像素点数组；
根据所述初始关联性和所述第一待定像素点数组对所述待处理采砂区域图像进行处理，得到关键采砂区域图像；
所述根据所述初始关联性和所述第一待定像素点数组对所述待处理采砂区域图像进行处理，包括：
根据所述初始关联性从所述第一待定像素点数组中获取第一关键像素点，并根据所述第一关键像素点对所述待处理采砂区域图像的像素点进行对比分析；
所述待处理采砂区域图像的采砂图像向量包括：待处理采砂区域图像中每一当前像素点的绝对坐标参数、及在待处理采砂区域图像中的RGB值；所述参考采砂区域图像的采砂图像向量包括：参考采砂区域图像中每一像素点的绝对坐标参数、及在参考采砂区域图像中的RGB值；
所述根据所述初始关联性从所述第一待定像素点数组中获取第一关键像素点，并根据所述第一关键像素点对所述待处理采砂区域图像的像素点进行对比分析，包括：
根据所述第一向量距离，获取所述待处理采砂区域图像中每一像素点关于所述参考采砂区域图像中每一像素点的第一差异系数，其中，第一差异系数用于反映所述待处理采砂区域图像中每一像素点对所述参考采砂区域图像中每一像素点的差异程度；
按照第一差异系数从大至小的顺序从所述第一待定像素点数组中获取相应的待定像素点，作为第一关键像素点；
根据所述第一关键像素点在所述参考采砂区域图像中的RGB值、及第一关键像素点对应的绝对坐标参数，在所述待处理采砂区域图像中的相应位置确定出评估像素点，以将所述评估像素点确定的图像区域作为关键采砂区域图像。
2.根据权利要求1所述的方法，其特征在于，所述待处理采砂区域图像的采砂图像向量包括：待处理采砂区域图像中每一当前像素点的绝对坐标参数、及在待处理采砂区域图像中的RGB值；所述关键采砂区域图像的采砂图像向量包括：关键采砂区域图像中每一像素点的绝对坐标参数、及在关键采砂区域图像中的RGB值，所述根据所述目标关联性和所述待处理采砂区域图像中像素点的监控时间戳，对所述待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果，包括：
根据所述第二向量距离，获取所述待处理采砂区域图像中每一像素点关于所述关键采砂区域图像中每一像素点的第二差异系数，其中，第二差异系数用于反映所述待处理采砂区域图像中每一像素点对所述关键采砂区域图像中每一像素点的差异程度；
根据所述第二差异系数和所述关键采砂区域图像中像素点的RGB值，从所述关键采砂区域图像中获取待定像素点，得到第二待定像素点数组；
根据所述待处理采砂区域图像中的当前像素点和所述监控时间戳，从所述第二待定像素点数组中获取第二关键像素点；
根据所述监控时间戳和第二关键像素点对应的绝对坐标参数，在所述待处理采砂区域图像中的相应位置确定出评估像素点，以对所述待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果。
3.根据权利要求2所述的方法，其特征在于，所述对所述待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果，包括;
根据采砂合法性评估命令，获取与待处理采砂区域图像对应的评估像素点向量，所述评估像素点向量包括所述评估像素点的绝对坐标参数和RGB值； 确定与所述待处理采砂区域图像对应的评估像素点向量所分别对应的不同河道采砂地区；基于所述不同河道采砂地区，确定与所述不同河道采砂地区对应的评估调整系数； 基于所述评估调整系数，对所述待处理采砂区域图像对应的评估像素点向量进行优化，以形成与对应的河道采砂地区对应的评估向量集合；通过预先训练的采砂合法性评估模型对所述评估向量集合进行采砂合法性评估，得到所述待处理采砂区域图像的目标采砂评估结果，其中，所述采砂合法性评估模型包括向量抽取架构、向量分类架构以及时间戳提取架构；输出所述待处理采砂区域图像的目标采砂评估结果。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取多个样本采砂区域图像的评估像素点向量和河道采砂地区的地区信息；
根据所述多个样本采砂区域图像的评估像素点向量和河道采砂地区的地区信息，得到与所述采砂合法性评估模型对应的样本评估向量集合，其中所述样本评估向量集合中包括不同监控时间戳的样本评估像素点向量；
确定不同的时间戳位置，并根据相应的时间戳位置对所述样本评估向量集合进行处理，确定与所述采砂合法性评估模型对应的不同监控时间戳的训练评估向量集合，其中，所述训练评估向量集合包括至少一组样本训练评估像素点向量；
通过所述采砂合法性评估模型中向量抽取架构，对所述训练评估向量集合进行处理，以确定所述向量抽取架构的原始网络参量；
根据所述向量抽取架构的原始网络参量，通过所述向量抽取架构对所述训练评估向量集合进行处理，确定所述向量抽取架构的优化网络参量；
确定所述向量抽取架构对应的代价函数；
根据所述向量抽取架构的优化网络参量，对所述向量抽取架构的参数进行优化；直到所述向量抽取架构的代价函数达到预置损失结果，并且基于所述向量抽取架构中的参数，能够提取所述训练评估向量集合中每个训练评估像素点向量的采砂评估元素；
通过所述采砂合法性评估模型中向量分类架构，对所述训练评估向量集合进行处理，以确定所述向量分类架构的原始网络参量；
将所述训练评估向量集合中不同样本训练评估像素点向量，参与计算所述向量分类架构所对应的代价函数；
确定所述代价函数满足预置损失结果时所述向量分类架构对应所述优化网络参量；
根据所述向量分类架构的优化网络参量，通过所述训练评估向量集合对所述向量分类架构的参数进行优化，以达到基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果；
根据所述时间戳提取架构的原始网络参量，通过所述时间戳提取架构对所述训练评估向量集合进行处理，确定所述时间戳提取架构的优化网络参量；
根据所述时间戳提取架构的优化网络参量，通过所述训练评估向量集合对所述时间戳提取架构的参数进行优化，判定所述训练评估向量集合中各个训练评估像素点向量所分别对应的监控时间戳，以达到通过所述采砂合法性评估模型对所述河道采砂地区中的待处理采砂区域图像的合法性进行评估。
5.根据权利要求4所述的方法，其特征在于，所述根据所述向量分类架构的优化网络参量，通过所述训练评估向量集合对所述向量分类架构的参数进行优化，以达到基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果，包括：
确定所述向量分类架构对应的代价函数；
根据所述向量分类架构的优化网络参量，对所述向量分类架构的参数进行优化；直到所述向量分类架构的代价函数达到预置损失结果，并且基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
将所述训练评估向量集合中不同样本训练评估像素点向量，参与计算所述时间戳提取架构所对应的代价函数；
确定所述代价函数满足预置损失结果时所述时间戳提取架构对应所述优化网络参量；
确定所述时间戳提取架构对应的代价函数；
根据所述时间戳提取架构的优化网络参量，对所述时间戳提取架构的参数进行优化；
直到所述时间戳提取架构的代价函数达到预置损失结果，并且基于所述时间戳提取架构中的参数，能够确定所述训练评估向量集合中各个训练评估像素点向量所分别对应的监控时间戳。
7.基于图像采集的河道采砂监控处理系统，其特征在于，包括：
获取模块，用于获取待处理河道采砂监控时间范围的待处理采砂区域图像；
提取模块，用于分别提取所述待处理采砂区域图像和参考采砂区域图像中每一像素点的特征化参量，得到多个初始待处理采砂图像向量和多个参考采砂图像向量，获取每一初始待处理采砂图像向量与每一对应参考采砂图像向量之间的第一向量距离，得到初始关联性，其中，所述参考采砂区域图像根据预置参考时间范围的采砂监控视频数据获取；根据所述初始关联性将所述参考采砂区域图像和所述待处理采砂区域图像执行比对分析操作，得到关键采砂区域图像；分别提取所述待处理采砂区域图像和关键采砂区域图像中每一像素点的特征化参量，得到多个比对待处理采砂图像向量和多个关键采砂图像向量，获取每一比对待处理采砂图像向量与每一对应关键采砂图像向量之间的第二向量距离，得到目标关联性；
评估模块，用于根据所述目标关联性和所述待处理采砂区域图像中像素点的监控时间戳，对所述待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果；
所述提取模块具体用于：
从所述参考采砂区域图像中获取符合所述待处理采砂区域图像监控角度的待定像素点，得到第一待定像素点数组；根据所述初始关联性和所述第一待定像素点数组对所述待处理采砂区域图像进行处理，得到关键采砂区域图像；所述根据所述初始关联性和所述第一待定像素点数组对所述待处理采砂区域图像进行处理，包括：根据所述初始关联性从所述第一待定像素点数组中获取第一关键像素点，并根据所述第一关键像素点对所述待处理采砂区域图像的像素点进行对比分析；所述待处理采砂区域图像的采砂图像向量包括：待处理采砂区域图像中每一当前像素点的绝对坐标参数、及在待处理采砂区域图像中的RGB值；所述参考采砂区域图像的采砂图像向量包括：参考采砂区域图像中每一像素点的绝对坐标参数、及在参考采砂区域图像中的RGB值；所述根据所述初始关联性从所述第一待定像素点数组中获取第一关键像素点，并根据所述第一关键像素点对所述待处理采砂区域图像的像素点进行对比分析，包括：根据所述第一向量距离，获取所述待处理采砂区域图像中每一像素点关于所述参考采砂区域图像中每一像素点的第一差异系数，其中，第一差异系数用于反映所述待处理采砂区域图像中每一像素点对所述参考采砂区域图像中每一像素点的差异程度；按照第一差异系数从大至小的顺序从所述第一待定像素点数组中获取相应的待定像素点，作为第一关键像素点；根据所述第一关键像素点在所述参考采砂区域图像中的RGB值、及第一关键像素点对应的绝对坐标参数，在所述待处理采砂区域图像中的相应位置确定出评估像素点，以将所述评估像素点确定的图像区域作为关键采砂区域图像。
CN202211525329.0A 2022-12-01 2022-12-01 基于图像采集的河道采砂监控处理方法及系统 Active CN115546736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211525329.0A CN115546736B (zh) 2022-12-01 2022-12-01 基于图像采集的河道采砂监控处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211525329.0A CN115546736B (zh) 2022-12-01 2022-12-01 基于图像采集的河道采砂监控处理方法及系统

Publications (2)

Publication Number Publication Date
CN115546736A CN115546736A (zh) 2022-12-30
CN115546736B true CN115546736B (zh) 2023-05-05

Family

ID=84722768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211525329.0A Active CN115546736B (zh) 2022-12-01 2022-12-01 基于图像采集的河道采砂监控处理方法及系统

Country Status (1)

Country Link
CN (1) CN115546736B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116384950A (zh) * 2023-06-06 2023-07-04 江西省水投江河信息技术有限公司 一种采砂船的采砂量估算方法、系统、计算机及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062361B (zh) * 2019-12-27 2023-06-20 中水北方勘测设计研究有限责任公司 一种河湖岸线采砂监测分析的方法及装置
CN112684750B (zh) * 2020-12-04 2022-02-18 江苏科技大学 一种采砂船水下智能监测的设备及方法
CN113869778B (zh) * 2021-10-13 2023-06-27 深圳联和智慧科技有限公司 一种基于城市管理的无人机河道巡检方法及系统

Also Published As

Publication number Publication date
CN115546736A (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
CN110658807A (zh) 一种车辆故障诊断方法、装置及系统
CN102915545A (zh) 一种基于OpenCV的视频目标跟踪算法
CN111476863B (zh) 一种黑白漫画上色的方法、装置、电子设备及存储介质
US11709254B2 (en) SAR image analysis system, image processing apparatus, image processing method, and image processing program
CN115546736B (zh) 基于图像采集的河道采砂监控处理方法及系统
CN112686317A (zh) 神经网络训练方法、装置、电子设备及存储介质
CN113253269B (zh) 一种基于图像分类的sar自聚焦方法
US11922680B2 (en) Image determination device, image determination method, and non-transitory computer readable medium storing program
CN112613425A (zh) 一种面向小样本水下图像的目标识别方法及系统
CN116935203A (zh) 一种基于声光融合的潜水员智能监控方法和系统
CN114842287B (zh) 深度引导变形器的单目三维目标检测模型训练方法及装置
CN110675427A (zh) 智能振动检测方法及相关产品
CN111971951A (zh) 运算装置、运算方法、程序和鉴别系统
CN111983247B (zh) 一种用于封样送检的取样方法及系统
CN114241253A (zh) 违规内容识别的模型训练方法、系统、服务器及存储介质
CN114973173A (zh) 驾驶场景数据的分类方法、装置、电子设备及存储介质
US11475255B2 (en) Method for adaptive context length control for on-line edge learning
CN109829389B (zh) 机器移位判断方法、装置以及计算机存储介质
CN113190429A (zh) 服务器性能预测方法、装置及终端设备
KR20220061541A (ko) 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템 및 이를 위한 로컬 데이터베이스 생성 방법
CN117058498B (zh) 分割图评估模型的训练方法、分割图的评估方法及装置
CN117648451B (zh) 用于图像处理的数据管理方法、系统、设备及介质
CN117329928B (zh) 一种基于多元情报融合的无人机综合探测方法和系统
CN117975205A (zh) 模型性能评估方法及检测模型性能评估方法
CN118075801A (zh) 一种干扰识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant