CN117405570A - 一种油液颗粒度计数器自动检测方法与系统 - Google Patents

一种油液颗粒度计数器自动检测方法与系统 Download PDF

Info

Publication number
CN117405570A
CN117405570A CN202311705030.8A CN202311705030A CN117405570A CN 117405570 A CN117405570 A CN 117405570A CN 202311705030 A CN202311705030 A CN 202311705030A CN 117405570 A CN117405570 A CN 117405570A
Authority
CN
China
Prior art keywords
oil
scale
fusion
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311705030.8A
Other languages
English (en)
Other versions
CN117405570B (zh
Inventor
邓小兵
邓世阳
雷超
雷玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Sichen Instrument Technology Co ltd
Original Assignee
Changsha Sichen Instrument Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Sichen Instrument Technology Co ltd filed Critical Changsha Sichen Instrument Technology Co ltd
Priority to CN202311705030.8A priority Critical patent/CN117405570B/zh
Publication of CN117405570A publication Critical patent/CN117405570A/zh
Application granted granted Critical
Publication of CN117405570B publication Critical patent/CN117405570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02—Investigating particle size or size distribution
    • G01N15/0205—Investigating particle size or size distribution by optical means
    • G01N15/0227—Investigating particle size or size distribution by optical means using imaging; using holography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06—Investigating concentration of particle suspensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Artificial Intelligence (AREA)
  • Immunology (AREA)
  • Software Systems (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Dispersion Chemistry (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及油液颗粒度检测的技术领域，公开了一种油液颗粒度计数器自动检测方法与系统，所述方法包括：对单位体积油液进行摊平并采集油液图像，对油液图像依次进行预处理以及特征提取处理；构造多尺度特征融合模型对油液特征图进行多尺度融合处理；对多尺度融合特征图进行解码处理；对解码得到的油液密度图逐像素进行回归计数，得到单位体积油液的颗粒度总数。本发明采用混合空洞卷积的方式对多尺度融合特征图进行处理，补充特征图中的特征信息，采用结合亮度梯度以及亮度融合特征的方式生成表征油液颗粒位置分布的油液密度图，结合油液颗粒位置分布的密度函数进行回归计数，实现基于油液图像的单位体积油液的油液颗粒度自动检测计数。

Description

一种油液颗粒度计数器自动检测方法与系统
技术领域
本发明涉及油液颗粒度检测领域，尤其涉及一种油液颗粒度计数器自动检测方法与系统。
背景技术
随着技术的进步，制造业日益发达，导致用油设备系统故障的频率不断增加。目前，这些故障占污染相关故障总数的 60%~70%，因此油液监测技术显得越来越重要，这项技术是将采集到的设备用油或工作介质，使用光学、电学、磁学等分析技术分析其物理和化学性质，目的是检测油液的磨损情况和污染程度。油液监测技术中的物理化学性质分析主要是测量油液的颗粒大小，即单位体积油液中固体颗粒污染物的含量。不同粒径的颗粒造成的设备损坏类型是不同的，而且油液中的固体颗粒污染物存在遮挡现象，导致油液颗粒度计数存在更大难度，针对该问题，本发明提出一种油液颗粒度计数器自动检测方法与系统，通过多尺度特征融合有效改善了由颗粒尺寸变化等因素造成的计数精度低的问题。
发明内容
有鉴于此，本发明提供一种油液颗粒度计数器自动检测方法，目的在于：1）根据油液图像中油液颗粒的亮度特性，提取油液图像中像素的亮度分量，并采用指数映射的方式将亮度分量映射到0~255区间，并采用拉伸变换的方式，对过曝光或曝光不足的油液图像进行亮度修正，实现能够更为准确表征油液颗粒亮度变换的油液特征图提取，进而提取在不同尺度下油液颗粒的特征，实现不同尺度油液颗粒的特征融合，得到多尺度融合油液特征图；2）采用混合空洞卷积的方式对多尺度融合特征图进行处理，补充特征图中的特征信息，并采用结合亮度梯度以及亮度融合特征的方式生成表征油液颗粒位置分布的油液密度图，结合油液颗粒位置分布的密度函数进行回归计数，实现基于油液图像的单位体积油液的油液颗粒度自动检测计数。
为实现上述目的，本发明提供的一种油液颗粒度计数器自动检测方法，包括以下步骤：
S1：对单位体积油液进行摊平并采集油液图像，对油液图像依次进行预处理以及特征提取处理，得到油液特征图；
S2：构造多尺度特征融合模型对油液特征图进行多尺度融合处理，生成多尺度融合油液特征图，所述多尺度特征融合模型以油液特征图为输入，以多尺度融合油液特征图为输出；
S3：对多尺度融合特征图进行解码处理，得到油液密度图，其中混合空洞卷积为所述解码操作的主要实施方法；
S4：对解码得到的油液密度图逐像素进行回归计数，得到单位体积油液的颗粒度总数。
作为本发明的进一步改进方法：
可选地，所述S1步骤中对单位体积油液进行摊平并采集油液图像，包括：
获取单位体积的油液，并将单位体积油液摊平均匀放置于油液颗粒度计数器表面，利用油液颗粒度计数器的摄像设备采集油液图像。
可选地，所述S1步骤中对油液图像依次进行预处理以及特征提取得到油液特征图，包括：
对油液图像进行特征提取得到油液特征图，其中油液图像的油液特征图的提取流程为：
S11：提取油液图像中任意像素/>的亮度分量/>；
；
；
其中：
表示油液图像/>中第x行第y列的像素，/>，N表示油液图像/>的像素行数，M表示油液图像/>的像素列数；
分别表示像素/>在RGB颜色空间的颜色值；
表示像素/>的色度；
S12：对像素的亮度分量/>进行映射处理，得到亮度分量/>的映射结果：
；
其中：
表示亮度分量/>的映射结果；在本发明实施例中，亮度分量的映射结果均进行四舍五入取整处理；
表示以自然常数为底的指数函数；
表示油液图像/>中所有像素的亮度分量均值；
表示油液图像/>中最大的像素亮度分量，/>表示油液图像/>中最小的像素亮度分量；
S13：对映射后的亮度分量进行拉伸处理：
；
；
其中：
表示亮度分量/>的拉伸处理结果；
表示亮度拉伸系数；
表示油液图像/>中映射后的亮度分量为i的像素数目；
S14：将像素拉伸处理后的亮度分量构成预处理后的油液图像像素矩阵：
；
其中：
表示油液图像/>的油液图像像素矩阵；
S15：对油液图像像素矩阵进行特征提取，得到油液图像/>的油液特征图F。
可选地，所述S15步骤中对油液图像像素矩阵进行特征提取，包括：
S151：使用连续3个像素大小的卷积核对油液图像像素矩阵/>进行连续卷积处理，利用ReLU函数对连续卷积处理结果进行激活函数处理，得到油液图像像素矩阵/>的卷积特征图/>；
S152：对卷积特征图进行最大池化处理，得到最大池化处理结果/>；
S153：使用连续3个像素大小的卷积核对最大池化处理结果/>进行连续卷积处理，利用ReLU函数对连续卷积处理结果进行激活函数处理，得到油液图像/>的油液特征图F。
可选地，所述S2步骤中构造多尺度特征融合模型对油液特征图进行多尺度融合处理，生成多尺度融合油液特征图，包括：
构造多尺度特征融合模型对油液特征图F进行多尺度融合处理，生成多尺度融合油液特征图，所述多尺度特征融合模型以油液特征图为输入，以多尺度融合油液特征图为输出，其中多尺度特征融合模型包括输入层、多尺度特征提取层以及融合层，输入层用于接收油液特征图，多尺度特征提取层用于对油液特征图进行多尺度采样提取，得到多尺度油液特征图，融合层用于对多尺度油液特征图进行融合处理，得到多尺度融合油液特征图；
利用多尺度特征融合模型对油液特征图F进行多尺度融合处理的流程为：
S21：输入层接收油液特征图F，并将油液特征图F发送到多尺度特征提取层；
S22：多尺度特征提取层将油液特征图F分别进行步长的池化操作，其中四个步长的池化结果依次为/>；
利用像素大小的卷积核对四个步长的池化结果进行卷积操作，并使用双线性插值算法对卷积后的池化结果进行不同采样尺度的上采样处理，使得采样后的池化结果尺寸与油液特征图F的尺寸一致，得到四个步长的多尺度油液特征图/>；
S23：融合层对多尺度油液特征图进行融合处理，其中融合处理公式为：
；
；
其中：
表示步长为u的多尺度油液特征图的权重；
表示多尺度融合油液特征图。
可选地，所述S3步骤中对多尺度融合特征图进行解码处理，包括：
对多尺度融合特征图进行解码处理，得到油液密度图，其中多尺度融合特征图/>的解码流程为：
S31：对多尺度融合特征图中的每个特征点进行双尺度的多层空洞卷积处理，使得空洞卷积处理后多尺度融合特征图/>的尺寸与油液图像像素矩阵/>的尺寸相同，其中多尺度融合特征图/>中任意第p行第q列特征点/>的空洞卷积处理公式为：
；
其中：
r表示空洞率；
分别表示两种尺度下空洞卷积处理的总层数；
表示特征点/>经第d层空洞卷积以及第e层空洞卷积处理后的结果；
表示第d层空洞卷积以及第e层空洞卷积处理的权重参数；
表示特征点/>的空洞卷积处理结果；
S32：对以及/>进行乘积处理，得到乘积结果K：
；
其中：
；
S33：计算中任意元素的梯度，其中/>的梯度计算公式为：
；
其中：
表示/>的梯度；/>表示/>中第x行第y列的元素；
S34：若大于预设的阈值，则将K中的位置/>标记为1，作为油液颗粒点，并将以/>为中心的/>元素区域中非中心元素位置标记为0，作为非油液颗粒点，得到油液密度图H，其中油液密度图H中标记为1的元素即为油液颗粒。
可选地，所述S4步骤中对解码得到的油液密度图逐像素进行回归计数，得到单位体积油液的颗粒度总数，包括：
对解码得到的油液密度图H逐像素进行回归计数，得到单位体积油液的颗粒度总数，其中油液密度图的逐像素回归计数流程为：
S41：对于油液密度图H中标记为1的元素，其中/>表示元素/>在油液密度图H中的位置，得到k个距离该元素最近且同样标记为1的元素位置集合，并计算得到该元素位置与元素位置集合的位置距离均值dis；
S42：对元素的位置/>进行回归：
；
其中：
表示距离元素/>最近且同样标记为1的元素位置；
表示位置/>回归结果；
表示L1范数；
S43：重复步骤S41至S42，若回归后的元素位置在油液密度图H的元素位置范围外，则将对应的元素从油液密度图H中删除；在本发明实施例中，油液密度图H的元素位置范围为；
S44：对油液密度图H中标记为1的元素进行计数，计数结果即为单位体积油液的油液颗粒度自动检测计数结果。
为了解决上述问题，本发明提供一种油液颗粒度计数器自动检测系统，所述系统包括：
油液图像采集模块，用于获取单位体积的油液，并将单位体积油液摊平均匀放置于油液颗粒度计数器表面，利用油液颗粒度计数器的摄像设备采集油液图像；
特征提取模块，用于对油液图像依次进行预处理以及特征提取处理，得到油液特征图，利用多尺度特征融合模型对油液特征图进行多尺度融合处理，生成多尺度融合油液特征图；
油液颗粒度计数装置，用于对多尺度融合特征图进行解码处理，得到油液密度图，对解码得到的油液密度图逐像素进行回归计数，得到单位体积油液的颗粒度总数。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；
通信接口，实现电子设备通信；及处理器，执行所述存储器中存储的指令以实现上述所述的油液颗粒度计数器自动检测方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的油液颗粒度计数器自动检测方法。
相对于现有技术，本发明提出一种油液颗粒度计数器自动检测方法，该技术具有以下优势：
首先，本方案提出一种油液图像处理方式，对油液图像进行特征提取得到油液特征图，其中油液图像的油液特征图的提取流程为：提取油液图像/>中任意像素/>的亮度分量/>：
；
；
其中：表示油液图像/>中第x行第y列的像素，/>，N表示油液图像/>的像素行数，M表示油液图像/>的像素列数；/>分别表示像素/>在RGB颜色空间的颜色值；/>表示像素/>的色度；对像素/>的亮度分量/>进行映射处理，得到亮度分量/>的映射结果：
；
其中：表示亮度分量/>的映射结果；/>表示以自然常数为底的指数函数；/>表示油液图像/>中所有像素的亮度分量均值；/>表示油液图像/>中最大的像素亮度分量，/>表示油液图像/>中最小的像素亮度分量；对映射后的亮度分量/>进行拉伸处理：
；
；
其中：表示亮度分量/>的拉伸处理结果；/>表示亮度拉伸系数；/>表示油液图像/>：中映射后的亮度分量为i的像素数目；将像素拉伸处理后的亮度分量构成预处理后的油液图像像素矩阵：
；
其中：表示油液图像/>的油液图像像素矩阵；对油液图像像素矩阵/>进行特征提取，得到油液图像/>的油液特征图F。本方案根据油液图像中油液颗粒的亮度特性，提取油液图像中像素的亮度分量，并采用指数映射的方式将亮度分量映射到0~255区间，并采用拉伸变换的方式，对过曝光或曝光不足的油液图像进行亮度修正，实现能够更为准确表征油液颗粒亮度变换的油液特征图提取，进而提取在不同尺度下油液颗粒的特征，实现不同尺度油液颗粒的特征融合，得到多尺度融合油液特征图。
同时，本方案提出一种油液颗粒度计数方法，对多尺度融合特征图中的每个特征点进行双尺度的多层空洞卷积处理，使得空洞卷积处理后多尺度融合特征图/>的尺寸与油液图像像素矩阵/>的尺寸相同，其中多尺度融合特征图/>中任意第p行第q列特征点/>的空洞卷积处理公式为：
；
其中：r表示空洞率；分别表示两种尺度下空洞卷积处理的总层数；表示特征点/>经第d层空洞卷积以及第e层空洞卷积处理后的结果；表示第d层空洞卷积以及第e层空洞卷积处理的权重参数；/>表示特征点/>的空洞卷积处理结果；对/>以及/>进行乘积处理，得到乘积结果K：
；
其中：；计算K中任意元素的梯度，其中/>的梯度计算公式为：
；
其中：表示/>的梯度；/>表示K中第x行第y列的元素；若大于预设的阈值，则将K中的位置/>标记为1，作为油液颗粒点，并将以/>为中心的/>元素区域中非中心元素位置标记为0，作为非油液颗粒点，得到油液密度图H，其中油液密度图H中标记为1的元素即为油液颗粒。本方案采用混合空洞卷积的方式对多尺度融合特征图进行处理，补充特征图中的特征信息，并采用结合亮度梯度以及亮度融合特征的方式生成表征油液颗粒位置分布的油液密度图，结合油液颗粒位置分布的密度函数进行回归计数，实现基于油液图像的单位体积油液的油液颗粒度自动检测计数。
附图说明
图1为本发明一实施例提供的一种油液颗粒度计数器自动检测方法的流程示意图；
图2为本发明一实施例提供的油液颗粒度计数器自动检测系统的功能模块图；
图2中：100油液颗粒度计数器自动检测系统，101油液图像采集模块，102特征提取模块，103油液颗粒度计数装置；
图3为本发明一实施例提供的实现油液颗粒度计数器自动检测方法的电子设备的结构示意图。
图3中：1电子设备，10处理器，11存储器，12程序，13通信接口；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种油液颗粒度计数器自动检测方法。所述油液颗粒度计数器自动检测方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述油液颗粒度计数器自动检测方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
实施例1
S1：对单位体积油液进行摊平并采集油液图像，对油液图像依次进行预处理以及特征提取处理，得到油液特征图。
所述S1步骤中对单位体积油液进行摊平并采集油液图像，包括：
获取单位体积的油液，并将单位体积油液摊平均匀放置于油液颗粒度计数器表面，利用油液颗粒度计数器的摄像设备采集油液图像。
所述S1步骤中对油液图像依次进行预处理以及特征提取得到油液特征图，包括：
对油液图像进行特征提取得到油液特征图，其中油液图像的油液特征图的提取流程为：
S11：提取油液图像中任意像素/>的亮度分量/>；
；
；
其中：
表示油液图像/>中第x行第y列的像素，/>，N表示油液图像的像素行数，M表示油液图像/>的像素列数；
分别表示像素/>在RGB颜色空间的颜色值；
表示像素/>的色度；
S12：对像素的亮度分量/>进行映射处理，得到亮度分量/>的映射结果：
；
其中：
表示亮度分量/>的映射结果；在本发明实施例中，亮度分量的映射结果均进行四舍五入取整处理；
表示以自然常数为底的指数函数；
表示油液图像/>中所有像素的亮度分量均值；
表示油液图像/>中最大的像素亮度分量，/>表示油液图像/>中最小的像素亮度分量；
S13：对映射后的亮度分量进行拉伸处理：
；
；
其中：
表示亮度分量/>的拉伸处理结果；
表示亮度拉伸系数；
表示油液图像/>中映射后的亮度分量为i的像素数目；
S14：将像素拉伸处理后的亮度分量构成预处理后的油液图像像素矩阵：
；
其中：
表示油液图像/>的油液图像像素矩阵；
S15：对油液图像像素矩阵进行特征提取，得到油液图像/>的油液特征图F。
所述S15步骤中对油液图像像素矩阵进行特征提取，包括：
S151：使用连续3个像素大小的卷积核对油液图像像素矩阵/>进行连续卷积处理，利用ReLU函数对连续卷积处理结果进行激活函数处理，得到油液图像像素矩阵/>的卷积特征图/>；
S152：对卷积特征图进行最大池化处理，得到最大池化处理结果/>；
S153：使用连续3个像素大小的卷积核对最大池化处理结果/>进行连续卷积处理，利用ReLU函数对连续卷积处理结果进行激活函数处理，得到油液图像/>的油液特征图F。
S2：构造多尺度特征融合模型对油液特征图进行多尺度融合处理，生成多尺度融合油液特征图，所述多尺度特征融合模型以油液特征图为输入，以多尺度融合油液特征图为输出。
所述S2步骤中构造多尺度特征融合模型对油液特征图进行多尺度融合处理，生成多尺度融合油液特征图，包括：
构造多尺度特征融合模型对油液特征图F进行多尺度融合处理，生成多尺度融合油液特征图，所述多尺度特征融合模型以油液特征图为输入，以多尺度融合油液特征图为输出，其中多尺度特征融合模型包括输入层、多尺度特征提取层以及融合层，输入层用于接收油液特征图，多尺度特征提取层用于对油液特征图进行多尺度采样提取，得到多尺度油液特征图，融合层用于对多尺度油液特征图进行融合处理，得到多尺度融合油液特征图；
利用多尺度特征融合模型对油液特征图F进行多尺度融合处理的流程为：
S21：输入层接收油液特征图F，并将油液特征图F发送到多尺度特征提取层；
S22：多尺度特征提取层将油液特征图F分别进行步长的池化操作，其中四个步长的池化结果依次为/>；
利用像素大小的卷积核对四个步长的池化结果进行卷积操作，并使用双线性插值算法对卷积后的池化结果进行不同采样尺度的上采样处理，使得采样后的池化结果尺寸与油液特征图F的尺寸一致，得到四个步长的多尺度油液特征图/>；
S23：融合层对多尺度油液特征图进行融合处理，其中融合处理公式为：
；
；
其中：
表示步长为u的多尺度油液特征图的权重；
表示多尺度融合油液特征图。
S3：对多尺度融合特征图进行解码处理，得到油液密度图。
所述S3步骤中对多尺度融合特征图进行解码处理，包括：
对多尺度融合特征图进行解码处理，得到油液密度图，其中多尺度融合特征图/>的解码流程为：
S31：对多尺度融合特征图中的每个特征点进行双尺度的多层空洞卷积处理，使得空洞卷积处理后多尺度融合特征图/>的尺寸与油液图像像素矩阵/>的尺寸相同，其中多尺度融合特征图/>中任意第p行第q列特征点/>的空洞卷积处理公式为：
；
其中：
r表示空洞率；
分别表示两种尺度下空洞卷积处理的总层数；
表示特征点/>经第d层空洞卷积以及第e层空洞卷积处理后的结果；
表示第d层空洞卷积以及第e层空洞卷积处理的权重参数；
表示特征点/>的空洞卷积处理结果；
S32：对以及/>进行乘积处理，得到乘积结果K：
；
其中：
；
S33：计算中任意元素的梯度，其中/>的梯度计算公式为：
；
其中：
表示/>的梯度；/>表示/>中第x行第y列的元素；
S34：若大于预设的阈值，则将K中的位置/>标记为1，作为油液颗粒点，并将以/>为中心的/>元素区域中非中心元素位置标记为0，作为非油液颗粒点，得到油液密度图H，其中油液密度图H中标记为1的元素即为油液颗粒。
S4：对解码得到的油液密度图逐像素进行回归计数，得到单位体积油液的颗粒度总数。
所述S4步骤中对解码得到的油液密度图逐像素进行回归计数，得到单位体积油液的颗粒度总数，包括：
对解码得到的油液密度图H逐像素进行回归计数，得到单位体积油液的颗粒度总数，其中油液密度图的逐像素回归计数流程为：
S41：对于油液密度图H中标记为1的元素，其中/>表示元素/>在油液密度图H中的位置，得到k个距离该元素最近且同样标记为1的元素位置集合，并计算得到该元素位置与元素位置集合的位置距离均值dis；
S42：对元素的位置/>进行回归：
；
其中：
表示距离元素/>最近且同样标记为1的元素位置；
表示位置/>回归结果；
表示L1范数；
S43：重复步骤S41至S42，若回归后的元素位置在油液密度图H的元素位置范围外，则将对应的元素从油液密度图H中删除；在本发明实施例中，油液密度图H的元素位置范围为；
S44：对油液密度图H中标记为1的元素进行计数，计数结果即为单位体积油液的油液颗粒度自动检测计数结果。
实施例2
如图2所示，是本发明一实施例提供的油液颗粒度计数器自动检测系统的功能模块图，其可以实现实施例1中的油液颗粒度计数器自动检测方法。
本发明所述油液颗粒度计数器自动检测系统100可以安装于电子设备中。根据实现的功能，所述油液颗粒度计数器自动检测系统可以包括油液图像采集模块101、特征提取模块102及油液颗粒度计数装置103。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
油液图像采集模块101，用于获取单位体积的油液，并将单位体积油液摊平均匀放置于油液颗粒度计数器表面，利用油液颗粒度计数器的摄像设备采集油液图像；
特征提取模块102，用于对油液图像依次进行预处理以及特征提取处理，得到油液特征图，利用多尺度特征融合模型对油液特征图进行多尺度融合处理，生成多尺度融合油液特征图；
油液颗粒度计数装置103，用于对多尺度融合特征图进行解码处理，得到油液密度图，对解码得到的油液密度图逐像素进行回归计数，得到单位体积油液的颗粒度总数。
详细地，本发明实施例中所述油液颗粒度计数器自动检测系统100中的所述各模块在使用时采用与上述的图1中所述的油液颗粒度计数器自动检测方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
实施例3
如图3所示，是本发明一实施例提供的实现油液颗粒度计数器自动检测方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信接口13和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如程序12。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡（Smart Media Card， SMC）、安全数字（SecureDigital， SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如程序12的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（用于实现油液颗粒度计数器自动检测的程序12等），以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述通信接口13可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备1与其他电子设备之间建立通信连接，并实现电子设备内部组件之间的连接通信。
所述总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种油液颗粒度计数器自动检测方法，其特征在于，所述方法包括：
S1：对单位体积油液进行摊平并采集油液图像，对油液图像依次进行预处理以及特征提取处理，得到油液特征图；
S2：构造多尺度特征融合模型对油液特征图进行多尺度融合处理，生成多尺度融合油液特征图，所述多尺度特征融合模型以油液特征图为输入，以多尺度融合油液特征图为输出;
构造多尺度特征融合模型对油液特征图进行多尺度融合处理，生成多尺度融合油液特征图，包括：
构造多尺度特征融合模型对油液特征图F进行多尺度融合处理，生成多尺度融合油液特征图，所述多尺度特征融合模型以油液特征图为输入，以多尺度融合油液特征图为输出，其中多尺度特征融合模型包括输入层、多尺度特征提取层以及融合层，输入层用于接收油液特征图，多尺度特征提取层用于对油液特征图进行多尺度采样提取，得到多尺度油液特征图，融合层用于对多尺度油液特征图进行融合处理，得到多尺度融合油液特征图；
利用多尺度特征融合模型对油液特征图F进行多尺度融合处理的流程为：
S21：输入层接收油液特征图F，并将油液特征图F发送到多尺度特征提取层；
S22：多尺度特征提取层将油液特征图F分别进行步长的池化操作，其中四个步长的池化结果依次为/>；
利用像素大小的卷积核对四个步长的池化结果进行卷积操作，并使用双线性插值算法对卷积后的池化结果进行不同采样尺度的上采样处理，使得采样后的池化结果尺寸与油液特征图F的尺寸一致，得到四个步长的多尺度油液特征图/>；
S23：融合层对多尺度油液特征图进行融合处理，其中融合处理公式为：
；
；
其中：
表示步长为u的多尺度油液特征图的权重；
表示多尺度融合油液特征图；
S3：对多尺度融合特征图进行解码处理，得到油液密度图；
S4：对解码得到的油液密度图逐像素进行回归计数，得到单位体积油液的颗粒度总数。
2.如权利要求1所述的一种油液颗粒度计数器自动检测方法，其特征在于，所述S1步骤中对单位体积油液进行摊平并采集油液图像，包括：
获取单位体积的油液，并将单位体积油液摊平均匀放置于油液颗粒度计数器表面，利用油液颗粒度计数器的摄像设备采集油液图像。
3.如权利要求2所述的一种油液颗粒度计数器自动检测方法，其特征在于，所述S1步骤中对油液图像依次进行预处理以及特征提取得到油液特征图，包括：
对油液图像进行特征提取得到油液特征图，其中油液图像的油液特征图的提取流程为：
S11：提取油液图像中任意像素/>的亮度分量/>：
；
；
其中：
表示油液图像/>中第x行第y列的像素，/>，N表示油液图像/>的像素行数，M表示油液图像/>的像素列数；
别表示像素/>在RGB颜色空间的颜色值；
表示像素/>的色度；
S12：对像素的亮度分量/>进行映射处理，得到亮度分量/>的映射结果：
；
其中：
表示亮度分量/>的映射结果；
表示以自然常数为底的指数函数；
表示油液图像/>中所有像素的亮度分量均值；
表示油液图像/>中最大的像素亮度分量，/>表示油液图像/>中最小的像素亮度分量；
S13：对映射后的亮度分量进行拉伸处理：
；
；
其中：
表示亮度分量/>的拉伸处理结果；
表示亮度拉伸系数；
表示油液图像/>中映射后的亮度分量为i的像素数目；
S14：将像素拉伸处理后的亮度分量构成预处理后的油液图像像素矩阵：
；
其中：
表示油液图像/>的油液图像像素矩阵；
S15：对油液图像像素矩阵进行特征提取，得到油液图像/>的油液特征图F。
4.如权利要求3所述的一种油液颗粒度计数器自动检测方法，其特征在于，所述S15步骤中对油液图像像素矩阵进行特征提取，包括：
S151：使用连续3个像素大小的卷积核对油液图像像素矩阵/>进行连续卷积处理，利用ReLU函数对连续卷积处理结果进行激活函数处理，得到油液图像像素矩阵/>的卷积特征图/>；
S152：对卷积特征图进行最大池化处理，得到最大池化处理结果/>；
S153：使用连续3个像素大小的卷积核对最大池化处理结果/>进行连续卷积处理，利用ReLU函数对连续卷积处理结果进行激活函数处理，得到油液图像/>的油液特征图F。
5.如权利要求4所述的一种油液颗粒度计数器自动检测方法，其特征在于，所述S3步骤中对多尺度融合特征图进行解码处理，包括：
对多尺度融合特征图进行解码处理，得到油液密度图，其中多尺度融合特征图/>的解码流程为：
S31：对多尺度融合特征图中的每个特征点进行双尺度的多层空洞卷积处理，使得空洞卷积处理后多尺度融合特征图/>的尺寸与油液图像像素矩阵/>的尺寸相同，其中多尺度融合特征图/>中任意第p行第q列特征点/>的空洞卷积处理公式为：
；
其中：
r表示空洞率；
分别表示两种尺度下空洞卷积处理的总层数；
表示特征点/>经第d层空洞卷积以及第e层空洞卷积处理后的结果；
表示第d层空洞卷积以及第e层空洞卷积处理的权重参数；
表示特征点/>的空洞卷积处理结果；
S32：对以及/>进行乘积处理，得到乘积结果K：
；
其中：
；
S33：计算中任意元素的梯度，其中/>的梯度计算公式为：
；
其中：
表示/>的梯度；/>表示/>中第x行第y列的元素；
S34：若大于预设的阈值，则将/>中的位置/>标记为1，作为油液颗粒点，并将以/>为中心的/>元素区域中非中心元素位置标记为0，作为非油液颗粒点，得到油液密度图H，其中油液密度图H中标记为1的元素即为油液颗粒。
6.如权利要求1所述的一种油液颗粒度计数器自动检测方法，其特征在于，所述S4步骤中对解码得到的油液密度图逐像素进行回归计数，得到单位体积油液的颗粒度总数，包括：
对解码得到的油液密度图H逐像素进行回归计数，得到单位体积油液的颗粒度总数，其中油液密度图的逐像素回归计数流程为：
S41：对于油液密度图H中标记为1的元素，其中/>表示元素/>在油液密度图H中的位置，得到k个距离该元素最近且同样标记为1的元素位置集合，并计算得到该元素位置与元素位置集合的位置距离均值dis；
S42：对元素的位置/>进行回归：
；
其中：
表示距离元素/>最近且同样标记为1的元素位置；
表示位置/>的回归结果；
表示L1范数；
S43：重复步骤S41至S42，若回归后的元素位置在油液密度图H的元素位置范围外，则将对应的元素从油液密度图H中删除；
S44：对油液密度图H中标记为1的元素进行计数，计数结果即为单位体积油液的油液颗粒度自动检测计数结果。
7.一种油液颗粒度计数器自动检测系统，其特征在于，所述系统包括：
油液图像采集模块，用于获取单位体积的油液，并将单位体积油液摊平均匀放置于油液颗粒度计数器表面，利用油液颗粒度计数器的摄像设备采集油液图像；
特征提取模块，用于对油液图像依次进行预处理以及特征提取处理，得到油液特征图，利用多尺度特征融合模型对油液特征图进行多尺度融合处理，生成多尺度融合油液特征图；
油液颗粒度计数装置，用于对多尺度融合特征图进行解码处理，得到油液密度图，对解码得到的油液密度图逐像素进行回归计数，得到单位体积油液的颗粒度总数，以实现一种如权利要求1-6任一项所述的油液颗粒度计数器自动检测方法。
CN202311705030.8A 2023-12-13 2023-12-13 一种油液颗粒度计数器自动检测方法与系统 Active CN117405570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311705030.8A CN117405570B (zh) 2023-12-13 2023-12-13 一种油液颗粒度计数器自动检测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311705030.8A CN117405570B (zh) 2023-12-13 2023-12-13 一种油液颗粒度计数器自动检测方法与系统

Publications (2)

Publication Number Publication Date
CN117405570A true CN117405570A (zh) 2024-01-16
CN117405570B CN117405570B (zh) 2024-03-08

Family

ID=89487389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311705030.8A Active CN117405570B (zh) 2023-12-13 2023-12-13 一种油液颗粒度计数器自动检测方法与系统

Country Status (1)

Country Link
CN (1) CN117405570B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004069431A (ja) * 2002-08-05 2004-03-04 Plant Technos:Kk 液中粒子の画像解析装置
CN106940281A (zh) * 2016-12-09 2017-07-11 中国航空工业集团公司上海航空测控技术研究所 一种基于信息融合技术智能模型的航空油液分析方法
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法
CN111060442A (zh) * 2019-04-30 2020-04-24 威海戥同测试设备有限公司 一种基于图像处理的油液颗粒检测方法
CN111429466A (zh) * 2020-03-19 2020-07-17 北京航空航天大学 一种基于多尺度信息融合网络的空基人群计数与密度估计方法
WO2020169043A1 (zh) * 2019-02-21 2020-08-27 苏州大学 一种密集人群计数的方法、装置、设备以及存储介质
CN112597985A (zh) * 2021-03-04 2021-04-02 成都西交智汇大数据科技有限公司 一种基于多尺度特征融合的人群计数方法
CN112991274A (zh) * 2021-02-19 2021-06-18 平安科技（深圳）有限公司 一种人群计数方法、装置、计算机设备及存储介质
CN115965905A (zh) * 2022-12-06 2023-04-14 中国船舶集团有限公司第七〇九研究所 一种基于多尺度融合卷积网络的人群计数方法及系统
CN116311052A (zh) * 2023-03-01 2023-06-23 北京龙智数科科技服务有限公司 一种人群计数方法、装置、电子设备及存储介质
CN116524434A (zh) * 2023-04-23 2023-08-01 重庆长安汽车股份有限公司 一种多尺度的计数方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004069431A (ja) * 2002-08-05 2004-03-04 Plant Technos:Kk 液中粒子の画像解析装置
CN106940281A (zh) * 2016-12-09 2017-07-11 中国航空工业集团公司上海航空测控技术研究所 一种基于信息融合技术智能模型的航空油液分析方法
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法
WO2020169043A1 (zh) * 2019-02-21 2020-08-27 苏州大学 一种密集人群计数的方法、装置、设备以及存储介质
CN111060442A (zh) * 2019-04-30 2020-04-24 威海戥同测试设备有限公司 一种基于图像处理的油液颗粒检测方法
CN111429466A (zh) * 2020-03-19 2020-07-17 北京航空航天大学 一种基于多尺度信息融合网络的空基人群计数与密度估计方法
CN112991274A (zh) * 2021-02-19 2021-06-18 平安科技（深圳）有限公司 一种人群计数方法、装置、计算机设备及存储介质
CN112597985A (zh) * 2021-03-04 2021-04-02 成都西交智汇大数据科技有限公司 一种基于多尺度特征融合的人群计数方法
CN115965905A (zh) * 2022-12-06 2023-04-14 中国船舶集团有限公司第七〇九研究所 一种基于多尺度融合卷积网络的人群计数方法及系统
CN116311052A (zh) * 2023-03-01 2023-06-23 北京龙智数科科技服务有限公司 一种人群计数方法、装置、电子设备及存储介质
CN116524434A (zh) * 2023-04-23 2023-08-01 重庆长安汽车股份有限公司 一种多尺度的计数方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姜鸣燕: ""基于图像处理的油液污染度检测技术的研究"", 《中国优秀硕士学位论文电子期刊信息科技辑》, 15 May 2012 (2012-05-15), pages 138 - 1264 *
邹敏 等: ""基于特征融合编解码的人群计数和密度估计"", 《计算机工程与设计》, vol. 44, no. 7, 14 July 2023 (2023-07-14), pages 2110 - 2117 *

Also Published As

Publication number Publication date
CN117405570B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN112446839B (zh) 图像增强方法、装置、电子设备及计算机可读存储介质
CN111932482B (zh) 图像中目标物的检测方法、装置、电子设备及存储介质
CN112465060A (zh) 图像中目标物检测方法、装置、电子设备及可读存储介质
CN113283446B (zh) 图像中目标物识别方法、装置、电子设备及存储介质
CN113554008B (zh) 静态物体区域内检测方法、装置、电子设备及存储介质
CN111476760B (zh) 医学图像的生成方法、装置、电子设备及介质
CN115937182A (zh) 一种多视角机械缺陷视觉检测方法
CN114494800B (zh) 预测模型训练方法、装置、电子设备及存储介质
CN113657385B (zh) 一种电子计量装置的数据检测方法、装置及电子设备
CN112862703B (zh) 基于移动拍照的图像校正方法、装置、电子设备及介质
CN117152182B (zh) 一种超低照度网络相机图像处理方法、装置及电子设备
CN116823674B (zh) 一种跨模态融合的水下图像增强方法
CN117405570B (zh) 一种油液颗粒度计数器自动检测方法与系统
CN113610934B (zh) 图像亮度调整方法、装置、设备及存储介质
CN115908175A (zh) 低照度图像多级增强方法、装置、电子设备以及存储介质
CN113705686B (zh) 图像分类方法、装置、电子设备及可读存储介质
CN115972198A (zh) 一种非完全信息条件下的机械臂视觉抓取方法与装置
CN112580505A (zh) 网点开关门状态识别方法、装置、电子设备及存储介质
CN112507903A (zh) 假脸检测方法、装置、电子设备及计算机可读存储介质
CN114612437B (zh) 一种基于amoled的显示画质提升方法
CN111915615A (zh) 图像分割方法、装置、电子设备及计算机可读存储介质
CN112464946A (zh) 一种基于大数据的垃圾图像收集方法及系统
CN116822205B (zh) 一种多维环网柜故障快速预警方法
CN115937145B (zh) 基于大数据分析的肌肤健康可视化方法、装置及设备
CN113658302B (zh) 一种三维动画数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant