CN113469920B - 用于智能化设备管理的图像处理方法及系统 - Google Patents
用于智能化设备管理的图像处理方法及系统 Download PDFInfo
- Publication number
- CN113469920B CN113469920B CN202111023778.0A CN202111023778A CN113469920B CN 113469920 B CN113469920 B CN 113469920B CN 202111023778 A CN202111023778 A CN 202111023778A CN 113469920 B CN113469920 B CN 113469920B
- Authority
- CN
- China
- Prior art keywords
- image
- confidence
- grained
- equipment
- coarse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000001914 filtration Methods 0.000 claims abstract description 46
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 238000013507 mapping Methods 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 25
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 238000007670 refining Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 7
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000007726 management method Methods 0.000 description 72
- 238000007689 inspection Methods 0.000 description 23
- 238000012549 training Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种用于智能化设备管理的图像处理方法及系统。方法包括：获取智能化设备管理平台的用户端在设备管理过程中产生的设备图像；将设备图像、可靠滤波去噪图像和神经网络去噪残差映射图像输入粗粒度置信度分析模型，得到粗粒度置信度图；对粗粒度置信度图进行细化得到细粒度置信度图；细粒度置信度图为神经网络去噪图像的权重掩膜，根据细粒度置信度图生成可靠滤波去噪图像的权重掩膜，根据权重掩膜对设备图像的可靠滤波去噪图像和神经网络去噪图像进行加权融合，得到设备图像最终的去噪图像。相较于现有技术，本发明通过融合置信度预测来评估残差图的可信程度，提高了图像的去噪效果。
Description
技术领域
本发明涉及图像处理、设备管理技术领域，具体涉及一种用于智能化设备管理的图像处理方法及系统。
背景技术
随着企业经营规模的持续增长，大型机械设备数量剧增，传统的管理手段已经无法满足大型机械设备安全管理的需要，亟待运用现代化信息技术改变设备安全监管方式。目前设备管理仅进行账务管理，实物及现场管理还是依靠传统的手工台账模式进行管控；对于设备计划、资源匹配、验收、维保、检查等业务环节没有行之有效的监控手段，更多依靠公司管理人员；这种管理方式的时效性、可操作性较差，给设备的管理带来巨大的工作量，并且存在诸多的隐患及潜在的风险。现场管理需求为实现项目对自有资产、租赁设备的需求计划、进出场、验收、安拆作业、维护保养、设备检查、特种作业人员等进行线上管理，排查项目现场设备安全隐患，降低项目风险。
在设备管理过程中，设备检查是必不可少的步骤，一般通过摄像机拍摄记录检查部位及过程。然而现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，尤其是在一些工业环境中，环境噪声巨大，使得相机拍摄的图像往往存在较大的噪声，进而影响图像的质量，从而影响设备管理。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种用于智能化设备管理的图像处理方法及系统，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种用于智能化设备管理的图像处理方法：
获取智能化设备管理平台的用户端在设备管理过程中产生的设备图像；
获取设备图像的可靠滤波去噪图像和神经网络去噪残差映射图像；
将设备图像、可靠滤波去噪图像和神经网络去噪残差映射图像输入粗粒度置信度分析模型，得到粗粒度置信度图；
根据归一化互相关系数对粗粒度置信度图进行细化，得到细粒度置信度图；
细粒度置信度图为神经网络去噪图像的权重掩膜，根据细粒度置信度图生成可靠滤波去噪图像的权重掩膜，根据权重掩膜对设备图像的可靠滤波去噪图像和神经网络去噪图像进行加权融合，得到设备图像最终的去噪图像。
优选的，所述智能化设备管理平台的用户端角色包括：公司端、供应商端、设备现场管理端。
优选的，所述粗粒度置信度分析模型包括置信度预测网络：将设备图像、可靠滤波去噪图像和神经网络去噪残差映射图像输入至置信度预测网络，得到粗粒度置信度图。
优选的，所述置信度预测网络的标签粗粒度置信度具体为：设置粗粒度尺寸，按粗粒度尺寸获取干净图像与神经网络去噪图像的差异；根据所得差异与用户端的最大噪声的比值，得到标签粗粒度置信度图。
优选的，所述方法还包括：若置信度预测网络输出的粗粒度置信度图像素值大于标签粗粒度置信度图的对应像素值，则利用权重调整系数增大该像素的损失。
优选的，所述根据归一化互相关系数对粗粒度置信度图进行细化，得到细粒度置信度图包括：获取可靠滤波去噪图像与神经网络去噪图像的归一化互相关系数；根据归一化互相关系数和值域控制系数得到细粒度置信度系数，由细粒度置信度系数对粗粒度置信度进行调节，得到细粒度置信度图。
优选的，所述根据权重掩膜对设备图像的可靠滤波去噪图像和神经网络去噪图像进行加权融合，得到设备图像最终的去噪图像包括：分别对可靠滤波去噪图像和神经网络去噪图像进行三级离散小波变换得到对应的小波系数矩阵，使用权重掩膜对相应的小波系数矩阵进行加权，获得加权融合小波系数矩阵；对加权融合小波系数矩阵进行逆变换，得到最终的去噪图像。
第二方面，本发明一个实施例提供了一种用于智能化设备管理的图像处理系统：
一种用于智能化设备管理的图像处理系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被处理器执行时实现用于智能化设备管理的图像处理方法的步骤。
本发明具有如下有益效果：
(1)本发明通过融合置信度预测来评估残差图的可信程度。原始噪声图像和可靠的滤波去噪图像提供了额外的信息和结构特征，提高了收敛速度和精度。并且本发明采用区域置信度预测的方式，可以产生精确的预测。在置信度预测网络的损失函数中添加惩罚系数，避免网络预测的置信度过度自信。在置信度预测网络中，结合用户端的环境，结合用户端最大环境噪声设置标签，提高了置信度预测精度，进一步提高了设备管理的效率。
(2)本发明基于多级DWT、互相关分析来实现图像融合，可以平滑地结合两幅图像的结构。融合采用基于置信度引导的方式，使得图像可以在错误风险较低时保留细节，从而尽最大可能提高设备图像的去噪效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种用于智能化设备管理的图像处理方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用于智能化设备管理的图像处理方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
为解决智能化设备管理平台的用户端在设备管理过程中产生的设备图像的噪声问题，实现对设备的智能化管理，本发明提供一种用于智能化设备管理的图像处理方法及系统。
下面结合附图具体的说明本发明所提供的一种用于智能化设备管理的图像处理方法及系统的具体方案。
具体实施例1：
本实施例提供一种用于智能化设备管理的图像处理方法。
本发明所针对的具体场景为：公司、供应商、项目现场在设备管理过程中在对设备的信息和设备相关证件照片上传、设备的验收及检查等过程中产生相关图像，现实中的数字图像在数字化和传输过程中经常受到成像设备与外部环境噪声干扰等影响，尤其是在一些工业环境中，环境噪声巨大，使得相机拍摄的图像往往存在较大的噪声，进而影响图像的质量。噪声是图像干扰的重要原因。一幅图像在实际应用中可能存在各种各样的噪声,这些噪声可能在传输中产生,也可能在量化等处理中产生；本发明对这些图像进行去噪，得到较为清晰的设备去噪图像。
请参阅图1，其示出了本发明一个实施例提供的一种用于智能化设备管理的图像处理方法流程图。一种用于智能化设备管理的图像处理方法包括：
获取智能化设备管理平台的用户端在设备管理过程中产生的设备图像；获取设备图像的可靠滤波去噪图像和神经网络去噪残差映射图像；
将设备图像、可靠滤波去噪图像和神经网络去噪残差映射图像输入粗粒度置信度分析模型，得到粗粒度置信度图；
根据归一化互相关系数对粗粒度置信度图进行细化，得到细粒度置信度图；
细粒度置信度图为神经网络去噪图像的权重掩膜，根据细粒度置信度图生成可靠滤波去噪图像的权重掩膜，根据权重掩膜对设备图像的可靠滤波去噪图像和神经网络去噪图像进行加权融合，得到设备图像最终的去噪图像。
本发明中智能化设备管理平台包括：公司级设备管理模块、租赁房设备资源管理模块、项目设备现场管理模块、图像采集与处理模块。为了进一步服务于项目管理要求，还可基于综合项目管理系统、轻量化互联网平台，开发设备全流程管理APP，以责任落实为主线，强化过程管理，固定管理流程，传教工作方法，实现信息共享，创新使用监测设施（360摄像头、执法记录仪），记录管理痕迹，分析大型设备运行状况（使用率与违章报警），致力于将设备管理工作推向信息化共享、同质化、标准化。
具体地，公司级设备管理模块，主要包括项目库、设备库、特种人员库、制度库。在公司级设备管理模块支持查询供应商的在场设备以及设备资源。项目库的业务场景：项目立项后自动生成项目库，项目库中包括项目名称、建筑面积、形象进度、当月产值、累计产值、管理人员数目、租赁单位、现阶段危大工程、设备，根据状态变化有项目相关管理人员进行维护。设备库的业务场景：设备进场后，项目设备管理员登记设备在场台账，设备异动时，及时更新台账。定期上报公司汇总，形成公司在场设备台站。特种人员库：维护、查看项目的相关管理人员。员工可以维护自己的履历信息。制度库：在系统内可以维护、审批相关制度、法律法规、发文、优秀案例等相关文件。在系统内支持对文件进行搜索、查看、下载。
租赁方设备资源管理模块，主要包括设备资源库、计划匹配。供应商（租赁方）可以在系统内维护设备资源库，填写设备信息，上传设备相关证照，可以维护设备状态。项目提出设备计划后，会自动推荐匹配各供应商设备资源。
项目设备现场管理模块，主要包括设备需求计划、超前验收、基础验收、进场验收、设备检查、维修保养、设备安拆作业进行管理。设备需求计划功能包括：在系统内编制设备需求计划，系统会自动根据设备供应商资源库中的资源进行计划匹配，然后在线上发起计划评审。验收及设备检查要求对项目完成情况及设备检查过程通过摄像机进行记录，然后上传到系统中，按照验收表格要求，评审会给出验收通过或不通过的验收意见。该模块主要确保项目完成情况及设备正常使用情况，降低项目及设备使用风险。
图像采集与处理模块，实现对项目验收、设备检查时的实时记录，并对图像进行去噪处理，提高图像的可见度。在设备管理过程中，设备检查是必不可少的步骤，需要通过摄像机拍摄记录检查部位及过程。
设备检查过程包括：基础、附墙强制要求生产经理参与检查，附墙以上不做要求。设备管理人员和安装公司月检人员必须上塔吊检查。塔吊检查周期为一月一次，将每次检查的隐患拍照上传，指定整改的租赁单位，系统内应设定整改时间，一般不超过3天，超过3天时系统自动提醒。施工电梯的检查周期为一月一次，将每次检查的隐患拍照上传，指定整改的租赁单位，系统内应设定整改时间，一般不超过3天，超过3天时系统自动提醒。龙门架及物料提升机每月不少于2次，将每次检查的隐患拍照上传，指定整改的租赁单位，系统内应设定整改时间，一般不超过3天，超过3天时系统自动提醒。吊篮每月不少于2次，将每次检查的隐患拍照上传，指定整改的租赁单位，系统内应设定整改时间，一般不超过3天，超过3天时系统自动提醒。
然而一幅图像在实际应用中可能存在各种各样的噪声,这些噪声可能在传输中产生,也可能在量化等处理中产生。设备检查可以通过手机对在场的设备进行检查。选择检查设备后，设备相关信息自动带入，并根据设备的类别，自动加载相对应的检查标准。设备主管根据检查标准逐项检查。并拍摄记录检查部位及过程。完成检查系统自动生成检查台账。
具体实施步骤如下：
首先，获取智能化设备管理平台的用户端在设备管理过程中产生的设备图像；随后获取设备图像的可靠滤波去噪图像、神经网络去噪残差映射图像和神经网络去噪图像。
特别地，所述智能化设备管理平台的用户端角色包括：公司端、供应商端、设备现场管理端。
具体地，获取设备图像、去噪图像及神经网络去噪残差映射图像的过程为：
(1)对公司端、供应商端、设备现场管理端在项目验收、设备检查时进行实时记录，获取产生的设备图像。在设备管理过程中，设备检查是必不可少的步骤，需要通过摄像机拍摄记录检查部位及过程，也可以通过手机对在场的设备进行检查。
(2)对获取的设备图像进行可靠去噪，得到可靠滤波去噪图像。可靠去噪定义为一种图像初步去噪方法，该方法通过很少的先验假设来提供高度可预测的输出，从而提高去噪效果。对这些方法的一些假设使它们对不同的噪声设置具有很高的鲁棒性。优选的，本发明采用高斯滤波器，作为低通滤波器。使用高斯滤波器，因为它输出一致的结果，并且不需要调整除核大小以外的参数。高斯滤波器通过高斯加权平均来减轻噪声。高斯去噪的副作用是，图像由于模糊而失去了一些清晰度。
(3)对获取的设备图像进行神经网络去噪，获得神经网络去噪残差映射图像和神经网络去噪图像。优选的，所述神经网络选用DNN。一般地，DL去噪方法比传统方法和可靠的滤波器表现出更好的性能，其主要优点是能够产生高度可信的结果，但是原始噪声图像中的信息可能会失真。获得设备图像的神经网络去噪残差映射图像和神经网络去噪图像的具体过程为：
对图像噪声提取神经网络进行训练：
首先，获取用于训练的图像数据集。在不同环境下采集图像数据集：在日常工作中进行采集得到掺杂噪声的设备图像，在非工作情况下采集得到设备干净的图像。采集应保证光照条件尽可能的一致。对于网络的输入需要进行图像增强，可基于设备干净的图像进行人为添噪，然后送入图像噪声提取网络进行训练，可以为网络提供更多的样本进行噪声的学习，经过标准的数据增强过程，更有效地防止过度拟合。对于每个图像，从[0，100]上的均匀分布中采样一个值σp，用于产生噪声，可以确保每个噪波级别在数据集中出现的频率相同；这样就得到了图像噪声提取网络训练的图像数据集。
其次，获取神经网络去噪残差映射图像。深度神经网络DNN由编码器-解码器组成，编码器用于对图像数据集的噪声图像y进行特征提取与下采样，得到大量特征图，解码器用于从大量特征图中进行上采样与特征拟合，得到神经网络去噪残差映射图像n。
最后，根据噪声图像和神经网络去噪残差映射图像得到神经网络去噪图像。神经网络去噪图像x由x=y−n得到。
优选的，目标函数采用最小化均方差损失。网络优化方法采用Adam、LookAhead等优化器进行优化。
训练完毕后，向该DNN网络中输入设备图像，输出得到神经网络去噪残差映射图像和神经网络去噪图像。
至此，得到设备图像的可靠滤波去噪图像、神经网络去噪残差映射图像和神经网络去噪图像。
其次，将设备图像、可靠滤波去噪图像和神经网络去噪残差映射图像输入粗粒度置信度分析模型，得到粗粒度置信度图。
优选的，所述置信度预测网络的标签粗粒度置信度具体为：设置粗粒度尺寸，按粗粒度尺寸获取干净图像与神经网络去噪图像的差异；根据所得差异与用户端的最大噪声的比值，得到标签粗粒度置信度图。
优选的，所述粗粒度置信度分析模型包括置信度预测网络：将设备图像、可靠滤波去噪图像和神经网络去噪残差映射图像输入至置信度预测网络，得到粗粒度置信度图。
具体地，对设备图像、可靠滤波去噪图像和神经网络去噪残差映射图像进行融合置信度预测，融合置信度预测通过神经网络实现。它以设备图像、可靠滤波去噪图像和神经网络去噪残差映射图像作为输入，输出粗粒度置信度图。其目的是评估残差图的可信度。设备图像和可靠的滤波去噪图像提供了额外的信息和结构特征，提高了收敛速度和精度。基于像素级预测置信度，残差图波动太大，因为像素值的组合过多，导致拟合空间过大，因此，这一预测远远不够准确，无法使用。根据置信度预测网络得到粗粒度置信图的过程为：
(1)对粗粒度置信度预测网络进行训练：
首先，构建置信度预测网络的训练集，输入训练集中的原始噪声图像、可靠滤波去噪图像和神经网络去噪残差映射图像，输出是一个粗粒度置信图，宽度和高度是输入图像的N倍。优选的，N的经验值为1/8，即每次预测一个8×8区域的粗粒度置信度，最终输出整幅图像的粗粒度置信度图。该网络结构由多层卷积和池化层组成。粗粒度置信度图在宽度和高度上都为原始图像的1/8。8×8区域是可定位性和精度之间的折衷。基于区域预测的方法可以产生相当精确的预测，并提供有用的置信度信息，以识别可能包含错误的区域。小尺寸的置信度图是通过多个池化层来实现的。精度依赖于卷积层来提取有用的特征。输入将是原始噪声图像、可靠滤波去噪图像和残差图的叠加阵列，即通过Concatenate(联合)操作进行叠加。由于为彩色图像去噪，因此产生了一个九通道输入张量。其目的是评估DNN的可信度，即评估该DNN网络会产生多少错误。网络的粗粒度置信度计算如下：
其中，
为训练数据集中的干净图像ya和DNN去噪图像yd之间差值在粒度尺寸GL（本实施例的粒度尺寸为8×8）的L1范数（即以粒度尺寸8×8为单位，计算该8×8区域内两张图像像素差值绝对值之和），avgpool为平均池化，通过平均降采样得到DNN在8×8区域的误差。RImage包括三个通道。对于智能化设备管理主要包含三个方面，一是公司级设备管理，二是供应商设备管理，三是项目级设备管理；由于每种设备管理方式所处环境不同，因此其噪声水平也不同，对于不同场景下的图像进行分析：获取公司、供应商、项目下的设备图像，然后对每一类图像进行噪声估计，实施者可任意采取，最终得到噪声水平；本发明方案采用基于滤波的高斯噪声方差估计方法，最终得到σ，以高斯噪声来粗略的代表图像的噪声水平，然后获取每个端设备图像的最大噪声水平σmax，最终通过上述方法获取公司设备图像的最大噪声水平、供应商设备图像的最大噪声水平、项目设备图像的最大噪声水平。然后对于不同端口的图像采用不同的σmax，取值为相应训练采集图像的最大噪声水平；对于噪声我们只考虑0和100之间的噪声范围，因为噪声水平超过100的图像几乎是不可识别的。因此，σmax最大上限为100。yc中元素最小值最小为0。RImage为根据粗粒度尺寸获取的干净图像与神经网络去噪图像差异；根据所得差异与用户端的最大噪声的比值，得到标签粗粒度置信度图，yc即为标签粗粒度置信度图。
(2)置信度预测器旨在向用户显示DNN出错的区域。因此，与较高的预测值相比，具有较低的预测值是可以接受的。极端情况是所有区域都有一个高的置信度1。若置信度预测网络输出的粗粒度置信度图像素值大于标签粗粒度置信度图的对应像素值，则利用权重调整系数增大该像素的损失。具体地，为了抑制过度自信的置信预测，我们调整了损失函数，即均方误差MSE，通过下式，即损失函数为：
其中，w1是权重调整系数，在本实施例中主要针对过度自信进行惩罚，也可称为惩罚系数。通过给予更高的分数，可以在一定程度上防止了它在评价上的过度自信。target为目标值，即标签粗粒度置信度图中对应的粗粒度置信度。output为置信度预测神经网络每次预测输出的粗粒度置信度。target和output对应输入图像尺寸的同一个8×8区域，w1经验公式为：
进一步地，结合后续融合方法，为提高粗粒度置信度的预测精度，引入归一化相关指数调节置信度预测网络的损失：
其中，NCC为粗粒度置信度尺寸的神经网络去噪图像分块与可靠滤波去噪图像分块的归一化互相关系数。
此外，本发明还提供一种实施方式：
其中，Inf为差值图像的粗粒度信息熵，差值图像为神经网络去噪图像与可靠滤波去噪图像相减得到的差值图像。
(3)训练完毕后，输入设备图像、可靠滤波去噪图像和神经网络去噪残差映射图像，输出粗粒度的置信度图，该粗粒度置信度图中的每个粗粒度置信度对应输入设备图像相应的8×8区域，该粗粒度置信图尺寸为输入设备图像的1/8。
至此，由粗粒度分析模型得到该DNN去噪图像的粗粒度置信度图。
再次，根据归一化互相关系数对粗粒度置信度图进行细化，得到细粒度置信度图。
优选的，所述根据归一化互相关系数对粗粒度置信度图进行细化，得到细粒度置信度图包括：获取可靠滤波去噪图像与神经网络去噪图像的归一化互相关系数；根据归一化互相关系数和值域控制系数得到细粒度置信度系数，由细粒度置信度系数对粗粒度置信度进行调节，得到细粒度置信度图。
具体地，本发明对可靠滤波去噪图像与神经网络去噪图像进行图像融合得到设备图像最终的去噪图像。目的是使用两幅去噪图像进行互补信息融合，得到一张具有更高质量和重要特征的去噪图像。空间域上的图像融合可以提供像素距离方面的精确融合，但会在图像的细节上引入一些不理想的失真，使得结果图像几乎不可信。这里采用了频域融合技术来平滑地结合两幅图像的结构。
对于频域转换，采用DWT，为了在两幅输入图像之间产生平滑的组合，使用多级DWT。级别越高表示频率分辨率越高。优选的，本发明选择三级DWT。
对于DWT，引入了分块融合。分块融合是指对每个8×8的小区域进行三级离散小波变换，因为置信度预测网络预测每个8×8区域包含一个粗粒度置信度，因此我们可以利用每个区域上的置信度来分别指导融合。置信度图包含空间可靠性信息，允许我们执行细粒度置信度融合。这样做的目的是在错误风险较低时保留细节，否则将其平均化以减轻错误的后果。
最终对可靠滤波去噪图像与神经网络去噪图像分别进行三级离散小波变换后，得到每个图像每个级别的水平细节、垂直细节和对角细节系数矩阵和图像的近似系数矩阵，统一简称为小波系数矩阵。
如果可靠滤波去噪图像和神经网络去噪图像具有相似的系数，代表两种图像去噪方式产生的去噪效果非常相近，因此就没有理由对可能的错误估计赋予过多的权重。
利用归一化互相关，获取可靠滤波去噪图像与神经网络去噪图像的归一化互相关系数，简称NCC。取值范围为[-1,1]，其中，1表示完美匹配，-1表示最差匹配。两幅去噪图像的每个8×8区域对应一个NCC。
具体地，每个8×8区域的细粒度置信度Wf为：
其中，w是值域控制系数，经验值为1，c是该区域的粗粒度置信度，t是阈值。如果粗粒度置信度高于阈值，我们会给神经网络去噪图像赋予更多的权重，以获得更好的去噪效果。优选的，阈值经验值设置为0.75，Wf最大值为1，1/(NCC+w)为细粒度置信度系数，其最大值为0.8，若1/(NCC+w)大于0.8，仍取0.8。
对每个8×8区域的粗粒度置值调整得到细粒度置信度，最终完成对粗粒度置信图的细化，得到细粒度置信图。
至此，得到细粒度置信度图。
最后，细粒度置信度图为神经网络去噪图像的权重掩膜，根据细粒度置信度图生成可靠滤波去噪图像的权重掩膜，根据权重掩膜对设备图像的可靠滤波去噪图像和神经网络去噪图像进行加权融合，得到设备图像最终的去噪图像。
优选的，所述根据权重掩膜对设备图像的可靠滤波去噪图像和神经网络去噪图像进行加权融合，得到设备图像最终的去噪图像包括：分别对可靠滤波去噪图像和神经网络去噪图像进行三级离散小波变换得到对应的小波系数矩阵，使用权重掩膜对相应的小波系数矩阵进行加权，获得加权融合小波系数矩阵；对加权融合小波系数矩阵进行逆变换，得到最终的去噪图像。
具体地，将细粒度置信度图中每个8×8区域的细粒度置信度Wf作为图像融合中神经网络去噪图像对应区域的权重，根据每个8×8区域的细粒度置信度得到可靠滤波去噪图像对应区域的权重1-Wf。
使用所述权重掩膜分别对可靠滤波去噪图像和神经网络去噪图像相同的每个8×8区域进行加权融合，得到上述两幅图像每个8×8区域的加权融合小波系数矩阵，即为分块小波系数矩阵：
其中，Ad、Ag分别为分块神经网络去噪图像、分块高斯去噪图像进行三级离散小波变换后得到的分块小波系数矩阵，尺寸均为8×8。所述分块小波系数矩阵包含每个级别的水平细节、垂直细节和对角细节系数矩阵和图像的近似系数矩阵，本发明优选的方案是对每个可靠滤波去噪图像、神经网络去噪图像进行互相关分析，然后进行加权融合，最终得到加权融合的分块小波系数矩阵。
最终对基于置信度引导每个8×8区域的分块小波系数矩阵进行三级二维逆离散小波变换，最终完成对所有分块图像的变换，得到设备图像最终的去噪图像。
至此，即可对图像进行准确去噪。消除了环境噪声，使得相机拍摄的图像质量增加，更方便管理者对设备进行查看，同时也方便对设备检测记录、设备验收记录进行查看。
具体实施例2：
一种用于智能化设备管理的图像处理系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被处理器执行时实现用于智能化设备管理的图像处理方法的步骤。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种用于智能化设备管理的图像处理方法，其特征在于，该方法包括：
获取智能化设备管理平台的用户端在设备管理过程中产生的设备图像；
获取设备图像的可靠滤波去噪图像和神经网络去噪残差映射图像；
将设备图像、可靠滤波去噪图像和神经网络去噪残差映射图像输入粗粒度置信度分析模型，得到粗粒度置信度图；
根据归一化互相关系数对粗粒度置信度图进行细化，得到细粒度置信度图；
细粒度置信度图为神经网络去噪图像的权重掩膜，根据细粒度置信度图生成可靠滤波去噪图像的权重掩膜，根据权重掩膜对设备图像的可靠滤波去噪图像和神经网络去噪图像进行加权融合，得到设备图像最终的去噪图像；其中，神经网络去噪图像由设备图像减去神经网络去噪残差映射图像得到。
2.根据权利要求1所述的方法，其特征在于，所述智能化设备管理平台的用户端角色包括：公司端、供应商端、设备现场管理端。
3.根据权利要求1所述的方法，其特征在于，所述粗粒度置信度分析模型包括置信度预测网络：
将设备图像、可靠滤波去噪图像和神经网络去噪残差映射图像输入至置信度预测网络，得到粗粒度置信度图。
4.根据权利要求3所述的方法，其特征在于，所述置信度预测网络的标签粗粒度置信度图具体为：
设置粗粒度尺寸，按粗粒度尺寸获取干净图像与神经网络去噪图像的差异；根据所得差异与用户端的最大噪声的比值，得到标签粗粒度置信度图，其中，干净图像为在非工作情况下采集得到的设备图像。
5.根据权利要求1所述的方法，其特征在于，所述根据归一化互相关系数对粗粒度置信度图进行细化，得到细粒度置信度图包括：
根据粗粒度尺寸获取可靠滤波去噪图像与神经网络去噪图像的归一化互相关系数；
根据归一化互相关系数和值域控制系数得到细粒度置信度系数，由细粒度置信度系数对粗粒度置信度进行调节，得到细粒度置信度图。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：若置信度预测网络输出的粗粒度置信度图像素值大于标签粗粒度置信度图的对应像素值，则利用权重调整系数增大该像素的损失。
7.根据权利要求1所述的方法，其特征在于，所述根据权重掩膜对设备图像的可靠滤波去噪图像和神经网络去噪图像进行加权融合，得到设备图像最终的去噪图像包括：
分别对可靠滤波去噪图像和神经网络去噪图像进行小波变换得到对应的小波系数矩阵，使用权重掩膜对相应的小波系数矩阵进行加权，获得加权融合小波系数矩阵；对加权融合小波系数矩阵进行逆变换，得到最终的去噪图像。
8.一种用于智能化设备管理的图像处理系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111023778.0A CN113469920B (zh) | 2021-09-02 | 2021-09-02 | 用于智能化设备管理的图像处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111023778.0A CN113469920B (zh) | 2021-09-02 | 2021-09-02 | 用于智能化设备管理的图像处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113469920A CN113469920A (zh) | 2021-10-01 |
| CN113469920B true CN113469920B (zh) | 2021-11-19 |
Family
ID=77867350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111023778.0A Active CN113469920B (zh) | 2021-09-02 | 2021-09-02 | 用于智能化设备管理的图像处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113469920B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113689361B (zh) * | 2021-10-27 | 2022-02-22 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN115690693B (zh) * | 2022-12-13 | 2023-03-21 | 山东鲁旺机械设备有限公司 | 一种建筑吊篮的智能监控系统及监控方法 |
| CN116681628B (zh) * | 2023-08-03 | 2023-10-24 | 湖南华菱电子商务有限公司 | 一种基于深度学习的营业执照数据处理方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1595425A (zh) * | 2004-07-13 | 2005-03-16 | 清华大学 | 指纹多特征识别方法 |
| CN109035160A (zh) * | 2018-06-29 | 2018-12-18 | 哈尔滨商业大学 | 医学影像的融合方法及基于融合医学影像学习的图像检测方法 |
| CN109359636A (zh) * | 2018-12-14 | 2019-02-19 | 腾讯科技（深圳）有限公司 | 视频分类方法、装置及服务器 |
| CN110807384A (zh) * | 2019-10-24 | 2020-02-18 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 低能见度下的小目标检测方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2924254B1 (fr) * | 2007-11-23 | 2010-01-01 | Gen Electric | Procede de traitement d'images en radioscopie interventionnelle |
-
2021
- 2021-09-02 CN CN202111023778.0A patent/CN113469920B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1595425A (zh) * | 2004-07-13 | 2005-03-16 | 清华大学 | 指纹多特征识别方法 |
| CN109035160A (zh) * | 2018-06-29 | 2018-12-18 | 哈尔滨商业大学 | 医学影像的融合方法及基于融合医学影像学习的图像检测方法 |
| CN109359636A (zh) * | 2018-12-14 | 2019-02-19 | 腾讯科技（深圳）有限公司 | 视频分类方法、装置及服务器 |
| CN110807384A (zh) * | 2019-10-24 | 2020-02-18 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 低能见度下的小目标检测方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113469920A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113469920B (zh) | 用于智能化设备管理的图像处理方法及系统 | |
| Shen et al. | An iterative image dehazing method with polarization | |
| Ma et al. | Perceptual quality assessment for multi-exposure image fusion | |
| CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| KR101952122B1 (ko) | 미세 먼지 분석 방법 및 이를 수행하기 위한 장치 | |
| Xiao et al. | Scene‐aware image dehazing based on sky‐segmented dark channel prior | |
| CN112396635B (zh) | 一种基于多设备的复杂环境下多目标检测方法 | |
| Hardie et al. | Fast super-resolution using an adaptive Wiener filter with robustness to local motion | |
| Al‐Naji et al. | Quality index evaluation of videos based on fuzzy interface system | |
| CN109389569A (zh) | 基于改进DehazeNet的监控视频实时去雾方法 | |
| Yuan et al. | Single image dehazing via NIN-DehazeNet | |
| Deeba et al. | A novel image dehazing framework for robust vision‐based intelligent systems | |
| CN115326809A (zh) | 一种隧道衬砌表观裂纹检测方法及检测装置 | |
| CN114445663A (zh) | 检测对抗样本的方法、装置及计算机程序产品 | |
| Kumar et al. | Dynamic stochastic resonance and image fusion based model for quality enhancement of dark and hazy images | |
| US20230048649A1 (en) | Method of processing image, electronic device, and medium | |
| CN115358952B (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| CN116310993A (zh) | 目标检测方法、装置、设备及存储介质 | |
| Beknazarova et al. | Media resources in video information systems | |
| CN111798356A (zh) | 一种基于大数据的轨道交通客流异常模式识别方法 | |
| CN111753574A (zh) | 抛扔区域定位方法、装置、设备及存储介质 | |
| CN110580694A (zh) | 二次直方图均衡动态图像方法 | |
| Choi et al. | Federated-cloud based deep neural networks with privacy preserving image filtering techniques | |
| CN117975315B (zh) | 一种基于无人机影像的库区地质灾害差分识别方法 | |
| CN113469057B (zh) | 火眼视频自适应检测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |