CN116823864B - 基于平衡损失函数的数据处理方法、装置、设备及介质 - Google Patents

基于平衡损失函数的数据处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN116823864B
CN116823864B CN202311075147.2A CN202311075147A CN116823864B CN 116823864 B CN116823864 B CN 116823864B CN 202311075147 A CN202311075147 A CN 202311075147A CN 116823864 B CN116823864 B CN 116823864B
Authority
CN
China
Prior art keywords
pixel point
edge
target
balance loss
edge pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311075147.2A
Other languages
English (en)
Other versions
CN116823864A (zh
Inventor
何良雨
崔健
刘彤
张文刚
王戬鑫
梅能华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fengrui Lingchuang Zhuhai Technology Co ltd
Original Assignee
Fengrui Lingchuang Zhuhai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fengrui Lingchuang Zhuhai Technology Co ltd filed Critical Fengrui Lingchuang Zhuhai Technology Co ltd
Priority to CN202311075147.2A priority Critical patent/CN116823864B/zh
Publication of CN116823864A publication Critical patent/CN116823864A/zh
Application granted granted Critical
Publication of CN116823864B publication Critical patent/CN116823864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，尤其涉及基于平衡损失函数的数据处理方法、装置、设备及介质。本申请中，通过计算图像中目标主体像素点的平衡损失，对目标主体像素点的平衡损失设置加权因子，实现目标像素点与背景像素点之间的样本平衡，计算目标边缘像素点的平衡损失，实现目标主体像素点与目标边缘像素点之间的样本平衡，根据目标主体像素点的平衡损失与目标边缘像素点的平衡损失，计算总的平衡损失，使用总的平衡损失对数据处理模型进行训练，提高了模型的稳定性，使用训练好的数据处理模型进行目标检测，实现了更好的对微小目标的检测效果和对目标边缘轮廓的识别能力。

Description

基于平衡损失函数的数据处理方法、装置、设备及介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于平衡损失函数的数据处理方法、装置、设备及介质。
背景技术
深度学习作为一种智能处理算法成为计算机视觉领域的一个重要研究方法，在智能监控和安全防护、自动驾驶和智能交通、工业产品目标检测等领域有着十分重要的应用价值。卷积神经网络通过卷积操作和池化操作提取输入样本数据的非线性特征信息，样本数量越多，网络可以提取到越丰富的特征信息。因此样本的平衡对于目标检测至关重要。通过平衡样本分布，可以避免过拟合、提高模型鲁棒性、丰富特征表达以及优化模型训练。然而，在实际应用场景下，往往存在数据集的样本不平衡现象，如在进行工业目标检测时，目标形态复杂、尺寸微小，在整幅输入图像中，大部分像素点表示正常样本，只有少数像素点表示目标部分，这使得不同类别的目标与背景之间存在严重的样本不平衡问题。此外，就目标本身而言，目标的边缘轮廓部分的像素点远少于目标主体部分的像素点，这使得同一目标的边缘与主体之间存在严重的样本不平衡问题。这些样本不平衡问题造成模型训练的不稳定，影响对目标的检测效果。因此，在数据集的样本不平衡情况下，如何提高模型训练的稳定性成为亟需解决的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种基于平衡损失函数的数据处理方法、装置、设备及介质，以解决在样本数据中目标分布不平衡情况下，模型训练不稳定的问题。
本申请实施例的第一方面提供了一种基于平衡损失函数的数据处理方法，所述数据处理方法包括：
针对M个待检测产品，采集每个待检测产品对应的表面图像，得到M张原始图像，获取每张原始图像中针对每个像素点是否为目标的标注结果，M为大于1的整数；
使用预设的数据处理模型对所述M张原始图像分别进行目标检测，得到对应原始图像的每个像素点的检测结果；
针对任一原始图像，根据所述原始图像的每个像素点的标注结果，计算所述原始图像中像素点为目标的目标概率值；
针对任一像素点，根据所述目标概率值计算得到所述像素点的加权因子；
遍历所有原始图像，根据每个像素点的加权因子和检测结果，计算得到第一平衡损失；
对所述检测结果进行边缘检测，得到所述检测结果中的预测边缘像素点与所述预测边缘像素点的梯度信息，根据所述标注结果，对所述标注结果进行边缘检测，得到真实边缘像素点；
根据所述预测边缘像素点与所述梯度信息，以及所述真实边缘像素点，计算得到第二平衡损失；
根据所述第一平衡损失与所述第二平衡损失计算总的平衡损失，所述总的平衡损失用于指导所述数据处理模型的训练，以得到用于识别待检测产品的目标的训练好的数据处理模型。
本申请实施例的第二方面提供了一种基于平衡损失函数的数据处理装置，所述数据处理装置包括：
采集模块，用于针对M个待检测产品，采集每个待检测产品对应的表面图像，得到M张原始图像，获取每张原始图像中针对每个像素点是否为目标的标注结果，M为大于1的整数；
目标检测模块，用于使用预设的数据处理模型对所述M张原始图像分别进行目标检测，得到对应原始图像的每个像素点的检测结果；
概率计算模块，用于针对任一原始图像，根据所述原始图像的每个像素点的标注结果，计算所述原始图像中像素点为目标的目标概率值；
加权因子计算模块，用于针对任一像素点，根据所述目标概率值计算得到所述像素点的加权因子；
第一计算模块，用于遍历所有原始图像，根据每个像素点的加权因子和检测结果，计算得到第一平衡损失；
边缘检测模块，用于对所述检测结果进行边缘检测，得到所述检测结果中的预测边缘像素点与所述预测边缘像素点的梯度信息，根据所述标注结果，对所述标注结果进行边缘检测，得到真实边缘像素点；
第二计算模块，用于根据所述预测边缘像素点与所述梯度信息，以及所述真实边缘像素点，计算得到第二平衡损失；
训练模块，用于根据所述第一平衡损失与所述第二平衡损失计算总的平衡损失，所述总的平衡损失用于指导所述数据处理模型的训练，以得到用于识别待检测产品的目标的训练好的数据处理模型。
第三方面，本发明实施例提供一种终端设备，所述终端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的数据处理方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的数据处理方法。
本发明与现有技术相比存在的有益效果是：
针对M个待检测产品，采集每个待检测产品对应的表面图像，得到M张原始图像，获取每张原始图像中针对每个像素点是否为目标的标注结果，M为大于1的整数，使用预设的数据处理模型对所述M张原始图像分别进行目标检测，得到对应原始图像的每个像素点的检测结果，针对任一原始图像，根据所述原始图像的每个像素点的标注结果，计算所述原始图像中像素点为目标的目标概率值，针对任一像素点，根据所述目标概率值计算得到所述像素点的加权因子。遍历所有原始图像，根据每个像素点的加权因子和检测结果，计算得到第一平衡损失，对所述检测结果进行边缘检测，得到所述检测结果中的预测边缘像素点与所述预测边缘像素点的梯度信息，根据所述标注结果，对所述标注结果进行边缘检测，得到真实边缘像素点，根据所述预测边缘像素点与所述梯度信息，以及所述真实边缘像素点，计算得到第二平衡损失，根据所述第一平衡损失与所述第二平衡损失计算总的平衡损失，所述总的平衡损失用于指导所述数据处理模型的训练，以得到用于识别待检测产品的目标的训练好的数据处理模型。本申请中，通过计算图像中目标主体像素点的平衡损失，对目标主体像素点的平衡损失设置加权因子，实现目标像素点与背景像素点之间的样本平衡，计算目标边缘像素点的平衡损失，实现目标主体像素点与目标边缘像素点之间的样本平衡，根据目标主体像素点的平衡损失与目标边缘像素点的平衡损失，计算总的平衡损失，使用总的平衡损失对数据处理模型进行训练，提高了模型的稳定性，使用训练好的数据处理模型进行目标检测，实现了更好的对微小目标的检测效果和对目标边缘轮廓的识别能力。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的基于平衡损失函数的数据处理方法的一应用环境示意图；
图2是本申请实施例一提供的基于平衡损失函数的数据处理方法的流程示意图；
图3是本申请实施例二提供的基于平衡损失函数的数据处理方法的流程示意图；
图4是本申请实施例三提供的一种使用本发明方法与其他目标检测模型在针对一高清工业相机获取的石英玻璃的表面图像的检测结果对比图；
图5是本申请实施例四提供的基于平衡损失函数的数据处理装置的结构框图；
图6是本申请实施例五提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本发明说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本发明说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本发明说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
为了说明本发明的技术方案，下面通过具体实施例来进行说明。
本发明实施例一提供的基于平衡损失函数的数据处理方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本、个人数字助理（personal digital assistant，PDA）等终端设备。服务端可以用独立的服务器或者是多个服务器生成的服务器集群来实现。
参见图2，是本发明实施例一提供的基于平衡损失函数的数据处理方法的流程示意图，上述基于平衡损失函数的数据处理方法可以应用于图1中的服务端，上述服务端连接相应的客户端，如图2所示，该基于平衡损失函数的数据处理方法可以包括以下步骤。
S201：针对M个待检测产品，采集每个待检测产品对应的表面图像，得到M张原始图像，获取每张原始图像中针对每个像素点是否为目标的标注结果，M为大于1的整数。
在步骤S201中，采集M个待检测产品对应的表面图像，得到M张原始图像，使用M张原始图像进行同批次训练，并对M张原始图像进行标注，得到每张原始图像中每个像素的标注结果。
本实施例中，待检测产品为石英玻璃，使用高清工业相机采集石英玻璃图像作为原始图像，包括不同规格、不同目标类别的多种类型的石英玻璃图像。其中，原始图像的分辨率大小为512×512，原始图像中可以包含划痕、色斑、麻点、气泡、污染等各类目标，对于每张图像，手动标注了目标的位置信息。需要说明的是，原始图像还可以是采集的其他物体的表面图像。
S202：使用预设的数据处理模型对M张原始图像分别进行目标检测，得到对应原始图像的每个像素点的检测结果。
在步骤S202中，使用预设的数据处理模型对M张原始图像分别进行目标检测，得到对应原始图像的每个像素点的检测结果，其中每个像素点的检测结果为每个像素点的为目标的概率值。
本实施例中，使用预设的数据处理模型对M张原始图像分别进行目标检测，其中预设的数据处理模型中的特征提取网络可以采用U-net网络，U-net网络是一种Ｕ型网络，其网络结构包含了前端的编码器路径，后端的解码器路径两个主要部分，编码器路径中主要是5个连续的由1×1卷积层、3×3卷积层、1×1卷积层、ReLu激活层及池化层组成的特征提取块组成，在每两个特征提取块之间进行一次2倍下采样操作，实现不同尺度的特征提取。解码器路径中同样主要是5个连续的由卷积层、ReLu激活层及池化层组成的特征提取块组成，在每两个特征提取块之间使用2×2卷积进行一次2倍上采样操作，实现特征图的还原，可以获得更多细节信息，同时使用跳跃链接的方式将高级语义特征与浅层特征相融合，保留了更多的信息。在解码器路径最后一层特征提取块所输出的特征图中使用Softmax归一化函数作为分类层，利用一个1×1卷积将每个分量特征向量映射到所需检测的类别数，实现逐像素目标检测结果。
需要说明的是，特征提取网络还可以是其他可以提取原始图像特征的网络，本实施例不做限制。
S203：针对任一原始图像，根据所述原始图像的每个像素点的标注结果，计算所述原始图像中像素点为目标的目标概率值。
在步骤S203中，为了减弱目标像素点与背景像素点之间的不平衡，计算目标像素点在原始图像中所占的概率值，根据概率值调节目标像素点与背景像素点的不平衡。
本实施例中，为了减弱目标像素点与背景像素点之间的不平衡，对每个像素点设置对应的权重因子，权重因子与目标像素点在原始图像中出现的频率相关，当目标像素点出现的频率较低时，应增加像素点的权重进行平衡，当目标像素点出现的频率较高时，应减小像素点的权重进行平衡。因此，对应的权重因子设置为像素点的目标概率值的倒数，用于减弱目标像素点与背景像素点之间的不平衡。
可选地，根据所述原始图像的每个像素点的标注结果，计算所述原始图像中像素点为目标的目标概率值，包括：
确定所述原始图像中所有像素点的个数；
根据所述原始图像的每个像素点的标注结果，确定所述像素点的标注结果为目标的像素点个数；
根据所述原始图像中所有像素点的个数与所述目标的像素点个数，计算得到对应像素点为目标的目标概率值。
本实施例中，计算目标像素点目标概率值时，首先确定原始图像中所有像素点的个数，例如，若原始图像的分辨率大小为512×512，则原始图像中所有像素点的个数为512×512个，根据所述原始图像的每个像素点的标注结果，确定所述像素点的标注结果为目标的像素点个数，根据所述原始图像中所有像素点的个数与所述目标的像素点个数进行计算，得到对应像素点为目标的目标概率值，即将目标像素点在原始图像中的个数确定为目标像素点在原始图像中出现的频率，例如，石英玻璃的表面的划痕、色斑、麻点、气泡、污染等目标，根据标注结果中的目标像素点的个数，计算得到表面的划痕、色斑、麻点、气泡、污染在原始图像中所占的目标概率值。
S204：针对任一像素点，根据所述目标概率值计算得到所述像素点的加权因子。
在步骤S204中，在得到原始图像中的目标像素点在原始图像中的概率值后，根据概率值确定每个像素点的对应的加权因子，以便于根据加权因子进行调节，像素点的加权因子根据像素点是否为目标进行设置。
本实施例中，对每个像素点设置对应的加权因子时，首先判断对应像素点是否为目标像素点，当为目标像素点时，根据概率值计算得到像素点的加权因子，计算公式如下：
其中，为原始图像中像素点为非目标像素点时对应像素点的加权因子，/>为原始图像中对应像素点为目标的目标概率值。
当像素点不为目标像素点时，根据目标概率值计算得到该像素点的加权因子，计算公式如下：
其中，为原始图像中像素点为非目标像素点时对应像素点的加权因子，/>为原始图像中对应像素点为目标的目标概率值。
因此原始图像中每个像素点对应的加权因子如下：
其中，为对应像素点的加权因子，/>，/>为原始图像中的第i行，第j列的像素点，当/>时，第i行，第j列的像素点为目标像素点，当/>时，第i行，第j列的像素点为非目标像素点。
需要说明的是，本实施例中为了避免的值过高或者过低导致训练不稳定，对设置取值范围，/>的最小值为0.1，最大值为1.5。
S205：遍历所有原始图像，根据每个像素点的加权因子和检测结果，计算得到第一平衡损失。
在步骤S205中，根据像素点的加权因子，将加权因子带入至平衡损失函数中，得到第一平衡损失。
本实施例中，在根据像素点的标注结果与检测结果计算对应像素点的损失时，根据对应像素点的加权因子平衡对应像素点的损失，得到平衡后的第一平衡损失。
可选地，遍历所有原始图像，根据每个像素点的加权因子和检测结果，计算得到第一平衡损失，包括：
根据加权因子与检测结果，计算每个像素点的平衡损失；
根据每个像素点的平衡损失，计算所有原始图像中所有像素点的平衡损失的均值，得到第一平衡损失。
本实施例中，根据加权因子与检测结果，计算每个像素点的平衡损失，计算公式如下：
其中，为像素点（i，j）的平衡损失，/>为像素点（i，j）的加权因子，/>是一个可调的聚焦参数，/>为像素点（i，j）的检测结果，/>的取值为像素点（i，j）检测结果为目标的概率预测值，/>为小于1的数。
根据每个像素点的平衡损失，计算所有原始图像中所有像素点的平衡损失的均值，得到第一平衡损失：
其中，为第一平衡损失，M为原始图像的个数，/>为原始图像的高，/>为原始图像的宽，/>为像素点（i，j）的加权因子，/>是一个可调的聚焦参数，/>为像素点（i，j）的检测结果，/>的取值为像素点（i，j）检测结果为目标的概率预测值，/>为小于1的数。
本实施例中，利用加权因子平衡目标与背景的学习效率，同时，调制因子用于减轻容易识别的像素点对总损失的影响，例如，当/>=2时，分类得分值为/>=0.9的像素点对整体损失值的贡献将降低100倍，而分类得分值为/>=0.5的像素点，其对整体损失值的贡献将降低4倍。因此，第一平衡损失可以防止大量容易识别像素点在训练过程中主导了检测网络。
S206：对检测结果进行边缘检测，得到检测结果中的预测边缘像素点与预测边缘像素点的梯度信息，根据标注结果，对标注结果进行边缘检测，得到真实边缘像素点。
在步骤S206中，使用边缘检测算子对检测结果进行边缘检测，得到检测结果中像素点为目标的目标区域的预测边缘像素点，以及每个预测边缘像素点的梯度信息，根据原始图像对应的标注结果，得到标注结果中像素点为目标的目标区域的真实边缘像素点。
本实施例中，对于任一检测目标的目标区域，其中，目标区域中的边缘像素点的数量远小于目标区域中主体像素点的数量，边缘像素点与主体像素点存在目标不平衡的问题，因此，基于边缘像素点计算第二损失，增强对目标的边缘检测能力。 本实施例中，在进行边缘检测时，使用拉普拉斯算子，提取每个目标的边缘像素点，得到预测边缘像素点以及每个预测边缘像素点的梯度信息。使用拉普拉斯算子对标注结果中目标区域进行边缘检测，提取标注结果中真实目标区域中边缘像素点，得到真实边缘像素点。需要说明的是，还可以使用其他的边缘检测算法提取边缘像素点，本实施例不做限制。
S207：根据预测边缘像素点与梯度信息，以及真实边缘像素点，计算得到第二平衡损失。
在步骤S207中，根据预测边缘像素点与梯度信息，以及真实边缘像素点，计算预测边缘像素点的平衡损失，将预测边缘像素点的平衡损失确定为第二平衡损失，以便于基于第二平衡损失实现对轮廓的准确提取。
本实施例中，计算第二平衡损失时，使用预测边缘像素点对应的调制因子平衡预测边缘像素点的损失，本实施例中的调制因子可以是根据预测边缘像素点的梯度信息得到，根据梯度信息计算预测边缘像素点的概率值，根据概率值获取预测边缘像素点的调制因子，计算第二平衡损失，根据第二平衡损失平衡预测边缘像素点的损失。
可选地，根据预测边缘像素点与梯度信息，以及真实边缘像素点，计算得到第二平衡损失，包括：
针对任一预测边缘像素点，根据梯度信息，计算预测边缘像素点的边缘预测概率；
根据预测边缘像素点与真实边缘像素点，以及边缘预测概率，计算得到预测边缘像素点的平衡损失；
遍历所有预测边缘像素点，得到每个预测边缘像素点的平衡损失，根据每个预测边缘像素点的平衡损失与对应预测边缘像素点的边缘预测概率，计算得到第二平衡损失。
本实施例中，使用调制因子对预测边缘像素点进行平衡调制时，需要确定预测边缘像素点的概率值，计算预测边缘像素点的概率值时，判断像素点是否为边缘像素点，一般根据像素点的梯度信息进行判断，像素点的梯度信息可通过对图像进行拉普拉斯算子计算得到。像素点的梯度信息决定边缘像素点的移动方向，将像素点的梯度信息转换为对应的概率值，得到平衡像素点的边缘损失。根据预测边缘像素点与真实边缘像素点，以及边缘预测概率，计算得到预测边缘像素点的平衡损失。遍历所有预测边缘像素点，得到每个预测边缘像素点的平衡损失，根据每个预测边缘像素点的平衡损失与对应预测边缘像素点的边缘预测概率，计算得到第二平衡损失。
可选地，根据梯度信息，计算预测边缘像素点的边缘预测概率，包括：
使用预设激活函数对梯度信息进行激活，得到激活结果，将激活结果确定为预测边缘像素点的边缘预测概率。
本实施例中，使用激活函数sigmoid函数对梯度信息激活，得到对应的边缘预测概率值，边缘预测概率计算公式如下：
其中，为预测边缘像素点（i，j）的边缘预测概率，/>为预测边缘像素点（i，j）的梯度信息。
可选地，根据预测边缘像素点与真实边缘像素点，以及边缘预测概率，计算得到预测边缘像素点的平衡损失，包括：
判断预测边缘像素点是否为真实边缘像素点，得到判断结果；
根据判断结果与边缘预测概率，计算得到预测边缘像素点的平衡损失。
本实施例中，预测边缘像素点中正确的边缘像素点与错误的边缘像素点造成的边缘像素点损失不同，因此，首先判断预测边缘像素点是否为正确的边缘像素点，即判断预测边缘像素点是否为真实边缘像素点，得到判断结果，根据判断结果与边缘预测概率，计算得到预测边缘像素点的平衡损失，预测边缘像素点的平衡损失计算公式如下：
其中，为预测边缘像素点（i，j）的平衡损失，/>表示像素点（i，j）是否为真实边缘像素点，当像素点（i，j）是真实边缘像素点时，/>=1，当像素点（i，j）不是真实边缘像素点时，/>=0，/>为预测边缘像素点（i，j）的边缘预测概率，/>为常数，本实施例中取值为0.00001，为了防止分母为0，/>也可以为其他常数值。
可选地，判断预测边缘像素点是否为真实边缘像素点，得到判断结果，包括：
若预测边缘像素点为真实边缘像素点，得到第一判断结果；
若预测边缘像素点不是真实边缘像素点，得到第二判断结果。
本实施例中，判断预测边缘像素点是否为真实边缘像素点，若预测边缘像素点为真实边缘像素点，得到第一判断结果，若预测边缘像素点不是真实边缘像素点，得到第二判断结果，不同的判断结果在计算边缘损失时，对应不同的计算方式。
可选地，根据每个预测边缘像素点的平衡损失与对应预测边缘像素点的边缘预测概率，计算得到第二平衡损失，包括：
针对任一预测边缘像素点，根据预测边缘像素点的边缘预测概率，计算预测边缘像素点的权重值；
根据权重值与预测边缘像素点的平衡损失，计算预测边缘像素点的加权损失；
遍历所有预测边缘像素点，计算所有预测边缘像素点的加权损失的和，得到第二平衡损失。
本实施例中，计算得到每个预测边缘像素点的平衡损失后，为每个预测边缘像素点设置对应的权重值，权重值根据预测边缘像素点的边缘预测概率进行计算，当预测边缘像素点的边缘预测概率较大时，对应的预测边缘像素点的权重值较小，当预测边缘像素点的边缘预测概率较小时，对应的预测边缘像素点的权重值较大，根据权重值与预测边缘像素点的平衡损失，计算预测边缘像素点的加权损失，遍历所有预测边缘像素点，计算所有预测边缘像素点的加权损失的和，得到第二平衡损失，计算公式如下：
其中，为第二平衡损失，/>为预测边缘像素点（i，j）的边缘预测概率，/>为预测边缘像素点（i，j）的平衡损失。
为了平衡不同目标的边缘分割难度，为每个预测边缘像素点添加平衡权重系数，添加平衡权重系数后的第二平衡损失，计算公式如下：
其中，为权重平衡系数，本实施例中，/>取值为1，其中/>还可以为其他值。
S208：根据所述第一平衡损失与所述第二平衡损失计算总的平衡损失，所述总的平衡损失用于指导所述数据处理模型的训练，以得到用于识别待检测产品的目标的训练好的数据处理模型。
在步骤S208中，总的平衡损失包括第一平衡损失与第二平衡损失，使用总的平衡损失指导数据处理模型的训练，以得到用于识别待检测产品目标的训练好的数据处理模型。
本实施例中，将第一平衡损失与第二平衡损失相加，得到第一平衡损失与第二平衡损失的和，将第一平衡损失与第二平衡损失的和作为总的平衡损失。使用总的平衡损失指导数据处理模型的训练，以得到用于识别待检测产品目标的训练好的数据处理模型。
需要说明的是，本实施例中，在对数据处理模型进行训练时，使用的待检测产品为石英玻璃，检测目标为石英玻璃上的缺陷，石英玻璃被誉为“玻璃王”，是以二氧化硅单一组分构成的特种玻璃材料，其物理、化学性质稳定，具有耐高温、耐腐蚀、透光性强、膨胀系数低、绝缘性好和真空性好等多项优点，广泛应用于半导体、光伏、光学、光通信、航空航天等高新技术领域。在石英玻璃制造过程中，通常需要严格控制石英玻璃表面及内部的工艺缺陷以保证其品质，尤其是光刻掩模石英玻璃基板、拉晶石英玻璃坩埚等半导体高端应用场景中，石英玻璃纯度和性能要求极高，石英玻璃工艺缺陷的指标也更为严苛。然而，石英玻璃缺陷具有多种形态，划痕、气泡、结石等等，每种形态的大小、形状和分布都不同，且许多缺陷尺寸微小，不易察觉，这使得精准全面检测石英玻璃缺陷的难度极大。
由于在石英玻璃制品的检测中，缺陷目标形态复杂、尺寸微小，在整幅输入图像中，大部分像素点表示正常石英玻璃，只有少数像素点表示缺陷部分，这使得不同类别的缺陷目标与背景之间存在严重的样本不平衡问题，使用现有技术对检测模型进行训练时，容易造成模型训练的不稳定，影响对于缺陷目标的检测效果。此外，相较于缺陷的主体部分，缺陷的边缘部分同样占据较少量的像素点，因此，缺陷的边缘与主体部分之间同样存在样本不平衡问题，造成模型对缺陷轮廓的识别不准确。
本实施例中，利用高清工业相机采集石英玻璃图像，其中，石英玻璃图像包括不同规格、不同目标类别的多种类型的石英玻璃图像。对于每张图像，手动标注了目标的位置信息，以便后续的目标检测和质量评估。数据集构建了包括3000张石英玻璃图像，包含划痕、色斑、麻点、气泡、污染等各类目标，图像分辨率为512×512，随机选取2000张图像作为训练集，1000张图像作为测试集。本发明在Pytorch框架下使用Adam优化器对模型进行训练。使用Windows 10操作系统，两个NVIDIA Quadro M5000图形处理单元(GPU)。数据处理模型的初始训练参数如表1所示。
表1
需要说明的是，目标检测时，使用U-net网络进行目标检测。U-net网络是一种Ｕ型网络，其网络结构包含了前端的编码器路径和后端的解码器路径两个主要部分，编码器部分由5个卷积层组成，包括1×1卷积层、3×3卷积层、1×1卷积层、ReLu激活层及池化层，在每两个特征提取块之间使用2×2卷积进行一次2倍上采样操作，实现不同尺度的特征提取。解码器路径中同样主要是5个连续的由卷积层、ReLu激活层及池化层组成的特征提取块组成，在每两个特征提取块之间使用2×2卷积进行一次2倍上采样操作，实现特征图的还原，可以获得更多细节信息，同时使用跳跃链接的方式将高级语义特征与浅层特征相融合，保留了更多的信息。在解码器路径最后一层特征提取块所输出的特征图中使用Softmax作为分类层，利用一个1×1卷积将每个分量特征向量映射到所需检测的类别数，实现逐像素分类。
需要说明的是，本发明采用整体准确率（OA）、平均交并比 (MIoU) 和平均F1得分(AF)作为评价指标，在石英玻璃数据集上进行训练与测试，检测准确率如表2所示，与目前先进的语义分割模型对比。本发明所提出的方法显著提升了对石英玻璃目标的检测准确度，对石英玻璃目标检测效果对比如表2所示。
表2
根据表2中各个目标检测模型中的目标检测准确率对比，可知，本发明方法中的模型的检测精度，整体准确率、平均交并比与平均F1得分比现有技术中的检测方法的检测精度都高，所以本申请使用本发明方法进行训练后的数据处理模型具有显著的有益效果。
参见图3，是本申请实施例二提供的基于平衡损失函数的数据处理方法的流程示意图。获取待检测产品对应的表面图像与对应表面图像的标签图，将表面图像作为输入图像，使用数据处理模型对输入图像进行目标检测，进行目标检测时，使用平衡样本损失函数计算第一平衡损失，得到输入图像的预测分割结果，其中，平衡样本损失函数为预设的数据处理模型中计算第一平衡损失的损失函数。通过边缘检测算子分别对预测分割结果与标签图进行边缘提取，得到预测分割结果的边缘预测值图与标签图的边缘真值图，通过边缘平衡函数计算边缘预测值图与边缘真值图的第二平衡损失，基于第二平衡损失，对边缘预测值图进行优化，得到边缘优化结果，其中，边缘平衡函数为预设的数据处理模型中计算第二平衡损失的损失函数。在使用数据处理模型进行目标检测时，实现了更好的对微小目标的检测效果和对目标边缘轮廓的识别能力。
参见图4，是本申请实施例三提供的一种使用本发明方法与其他目标检测模型在针对一高清工业相机获取的石英玻璃的表面图像的检测结果对比图。原图为石英玻璃对应的表面图像，标签图为石英玻璃对应的表面图像的标注结果图，由图4可知，标签图中包括3个标注结果，使用DeeplabV3-Plus模型对原图进行检测时，得到1个检测结果，使用UNetFormer模型对原图进行检测时，得到2个检测结果，使用HRNet 模型对原图进行检测时，得到2个检测结果，使用本发明方法训练得到的模型对原图进行检测时，得到3检测结果，根据对比结果图可知，本发明方法具有显著的有益效果。
针对M个待检测产品，采集每个待检测产品对应的表面图像，得到M张原始图像，获取每张原始图像中针对每个像素点是否为目标的标注结果，M为大于1的整数，使用预设的数据处理模型对M张原始图像分别进行目标检测，得到对应原始图像的每个像素点的检测结果，针对任一原始图像，根据原始图像的每个像素点的标注结果，计算原始图像中像素点为目标的目标概率值，针对任一像素点，根据目标概率值计算得到像素点的加权因子。遍历所有原始图像，根据每个像素点的加权因子和检测结果，计算得到第一平衡损失，对检测结果进行边缘检测，得到检测结果中的预测边缘像素点与预测边缘像素点的梯度信息，根据标注结果，对标注结果进行边缘检测，得到真实边缘像素点，根据预测边缘像素点与梯度信息，以及真实边缘像素点，计算得到第二平衡损失，根据第一平衡损失与第二平衡损失计算总的平衡损失，总的平衡损失用于指导数据处理模型的训练，以得到用于识别待检测产品的目标的训练好的数据处理模型。本申请中，通过计算图像中目标主体像素点的平衡损失，对目标主体像素点的平衡损失设置加权因子，实现目标像素点与背景像素点之间的样本平衡，计算目标边缘像素点的平衡损失，实现目标主体像素点与目标边缘像素点之间的样本平衡，根据目标主体像素点的平衡损失与目标边缘像素点的平衡损失，计算总的平衡损失，使用总的平衡损失对数据处理模型进行训练，提高了模型的稳定性，使用训练好的数据处理模型进行目标检测，实现了更好的对微小目标的检测效果和对目标边缘轮廓的识别能力。
对应于上文实施例的基于平衡损失函数的数据处理方法，图5出了本申请实施例四提供的基于平衡损失函数的数据处理装置的结构框图，上述数据处理装置应用于上述服务端。为了便于说明，仅示出了与本申请实施例相关的部分。参见图5，该数据处理装置50包括：采集模块51，目标检测模块52，概率计算模块53，加权因子计算模块54，第一计算模块55，边缘检测模块56，第二计算模块57，训练模块58。
采集模块51，用于针对M个待检测产品，采集每个待检测产品对应的表面图像，得到M张原始图像，获取每张原始图像中针对每个像素点是否为目标的标注结果，M为大于1的整数。
目标检测模块52，用于使用预设的数据处理模型对M张原始图像分别进行目标检测，得到对应原始图像的每个像素点的检测结果。
概率计算模块53，用于针对任一原始图像，根据原始图像的每个像素点的标注结果，计算原始图像中像素点为目标的目标概率值。
加权因子计算模块54，用于针对任一像素点，根据目标概率值计算得到像素点的加权因子。
第一计算模块55，用于遍历所有原始图像，根据每个像素点的加权因子和检测结果，计算得到第一平衡损失。
边缘检测模块56，用于对检测结果进行边缘检测，得到检测结果中的预测边缘像素点与预测边缘像素点的梯度信息，根据标注结果，对标注结果进行边缘检测，得到真实边缘像素点。
第二计算模块57，用于根据预测边缘像素点与梯度信息，以及真实边缘像素点，计算得到第二平衡损失。
训练模块58，用于根据第一平衡损失与第二平衡损失计算总的平衡损失，总的平衡损失用于指导数据处理模型的训练，以得到用于识别待检测产品的目标的训练好的数据处理模型。
可选地，上述概率计算模块53包括：
第一确定单元，用于确定所述原始图像中所有像素点的个数。
第二确定单元，用于根据原始图像的每个像素点的标注结果，确定像素点的标注结果为目标的像素点个数。
计算单元，用于根据所述原始图像中所有像素点的个数与目标的像素点个数，计算得到对应像素点为目标的目标概率值。
可选地，上述第一计算模块55包括：
第一计算单元，用于根据加权因子与检测结果，计算每个像素点的平衡损失。
第二计算单元，用于根据每个像素点的平衡损失，计算所有原始图像中所有像素点的平衡损失的均值，得到第一平衡损失。
可选地，上述第二计算模块57包括：
第三计算单元，用于针对任一预测边缘像素点，根据梯度信息，计算预测边缘像素点的边缘预测概率。
第四计算单元，用于根据预测边缘像素点与真实边缘像素点，以及边缘预测概率，计算得到预测边缘像素点的平衡损失。
第五计算单元，用于遍历所有预测边缘像素点，得到每个预测边缘像素点的平衡损失，根据每个预测边缘像素点的平衡损失与对应预测边缘像素点的边缘预测概率，计算得到第二平衡损失。
可选地，上述第三计算单元包括：
激活子单元，用于使用预设激活函数对梯度信息进行激活，得到激活结果，将激活结果确定为预测边缘像素点的边缘预测概率。
可选地，上述第四计算单元包括：
判断子单元，用于判断预测边缘像素点是否为真实边缘像素点，得到判断结果。
计算子单元，用于根据判断结果与边缘预测概率，计算得到预测边缘像素点的平衡损。
可选地，上述第五计算单元包括：
权重计算子单元，用于针对任一预测边缘像素点，根据预测边缘像素点的边缘预测概率，计算预测边缘像素点的权重值。
加权损失计算子单元，用于根据权重值与预测边缘像素点的平衡损失，计算预测边缘像素点的加权损失。
求和子单元，用于遍历所有预测边缘像素点，计算所有预测边缘像素点的加权损失的和，得到第二平衡损失。
需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图6为本申请实施例五提供的一种终端设备的结构示意图。如图6所示，该实施例的终端设备包括：至少一个处理器（图6中仅示出一个）、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意各个基于平衡损失函数的数据处理方法实施例中的步骤。
该终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图6仅仅是终端设备的举例，并不构成对终端设备的限定，终 端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括网络接口、显示屏和输入装置等。
所称处理器可以是CPU，该处理器还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific IntegratedCircuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器包括可读存储介质、内存储器等，其中，内存储器可以是终端设备的内存，内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是终端设备的硬盘，在另一些实施例中也可以是终端设备的外部存储设备，例如，终端设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（SecureDigital，SD）卡、闪存卡（Flash Card）等。进一步地，存储器还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序（BootLoader）、数据以及其他程序等，该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
本申请实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述方法实施例中的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种基于平衡损失函数的数据处理方法，其特征在于，所述数据处理方法包括：
针对M个待检测产品，采集每个待检测产品对应的表面图像，得到M张原始图像，获取每张原始图像中针对每个像素点是否为目标的标注结果，M为大于1的整数；
使用预设的数据处理模型对所述M张原始图像分别进行目标检测，得到对应原始图像的每个像素点的检测结果；
针对任一原始图像，根据所述原始图像的每个像素点的标注结果，计算所述原始图像中像素点为目标的目标概率值；
针对任一像素点，根据所述目标概率值计算得到所述像素点的加权因子；
根据所述加权因子与所述检测结果，计算每个像素点的平衡损失，计算公式如下：
其中，FLP(e)为像素点(i，j)的平衡损失，为像素点(i，j)的加权因子，β是一个可调的聚焦参数，/>为像素点(i，j)的检测结果，/>的取值为像素点(i，j)检测结果为目标的概率预测值，/>为小于1的数；
根据每个像素点的平衡损失，计算所有原始图像中所有像素点的平衡损失的均值，得到第一平衡损失；
对所述检测结果进行边缘检测，得到所述检测结果中的预测边缘像素点与所述预测边缘像素点的梯度信息，根据所述标注结果，对所述标注结果进行边缘检测，得到真实边缘像素点；
针对任一预测边缘像素点，根据所述梯度信息，计算所述预测边缘像素点的边缘预测概率；
根据所述预测边缘像素点与所述真实边缘像素点，以及所述边缘预测概率，计算得到所述预测边缘像素点的平衡损失，计算公式如下：
其中，为预测边缘像素点(i，j)的平衡损失，ui,j表示像素点(i，j)是否为真实边缘像素点，当像素点(i，j)是真实边缘像素点时，ui,j＝1，当像素点(i，j)不是真实边缘像素点时，ui,j＝0，/>为预测边缘像素点(i，j)的边缘预测概率，/>为常数；
遍历所有预测边缘像素点，得到每个预测边缘像素点的平衡损失，根据每个预测边缘像素点的平衡损失与对应预测边缘像素点的边缘预测概率，计算得到第二平衡损失；
根据所述第一平衡损失与所述第二平衡损失计算总的平衡损失，所述总的平衡损失用于指导所述数据处理模型的训练，以得到用于识别待检测产品的目标的训练好的数据处理模型。
2.如权利要求1所述的数据处理方法，其特征在于，所述根据所述原始图像的每个像素点的标注结果，计算所述原始图像中像素点为目标的目标概率值，包括：
确定所述原始图像中所有像素点的个数；
根据所述原始图像的每个像素点的标注结果，确定所述像素点的标注结果为目标的像素点个数；
根据所述原始图像中所有像素点的个数与所述目标的像素点个数，计算得到对应像素点为目标的目标概率值。
3.如权利要求1所述的数据处理方法，其特征在于，所述根据所述梯度信息，计算所述预测边缘像素点的边缘预测概率，包括：
使用预设激活函数对所述梯度信息进行激活，得到激活结果，将所述激活结果确定为所述预测边缘像素点的边缘预测概率。
4.如权利要求1所述的数据处理方法，其特征在于，所述根据所述预测边缘像素点与所述真实边缘像素点，以及所述边缘预测概率，计算得到所述预测边缘像素点的平衡损失，包括：
判断所述预测边缘像素点是否为所述真实边缘像素点，得到判断结果；
根据所述判断结果与所述边缘预测概率，计算得到所述预测边缘像素点的平衡损失。
5.如权利要求1所述的数据处理方法，其特征在于，所述根据每个预测边缘像素点的平衡损失与对应预测边缘像素点的边缘预测概率，计算得到第二平衡损失，包括：
针对任一预测边缘像素点，根据所述预测边缘像素点的边缘预测概率，计算所述预测边缘像素点的权重值；
根据所述权重值与所述预测边缘像素点的平衡损失，计算所述预测边缘像素点的加权损失；
遍历所有预测边缘像素点，计算所有预测边缘像素点的加权损失的和，得到第二平衡损失。
6.一种基于平衡损失函数的数据处理装置，其特征在于，所述数据处理装置包括：
采集模块，用于针对M个待检测产品，采集每个待检测产品对应的表面图像，得到M张原始图像，获取每张原始图像中针对每个像素点是否为目标的标注结果，M为大于1的整数；
目标检测模块，用于使用预设的数据处理模型对所述M张原始图像分别进行目标检测，得到对应原始图像的每个像素点的检测结果；
概率计算模块，用于针对任一原始图像，根据所述原始图像的每个像素点的标注结果，计算所述原始图像中像素点为目标的目标概率值；
加权因子计算模块，用于针对任一像素点，根据所述目标概率值计算得到所述像素点的加权因子；
第一计算模块，用于根据所述加权因子与所述检测结果，计算每个像素点的平衡损失，计算公式如下：
其中，FLP(e)为像素点(i，j)的平衡损失，为像素点(i，j)的加权因子，β是一个可调的聚焦参数，/>为像素点(i，j)的检测结果，/>的取值为像素点(i，j)检测结果为目标的概率预测值，/>为小于1的数；
根据每个像素点的平衡损失，计算所有原始图像中所有像素点的平衡损失的均值，得到第一平衡损失；
边缘检测模块，用于对所述检测结果进行边缘检测，得到所述检测结果中的预测边缘像素点与所述预测边缘像素点的梯度信息，根据所述标注结果，对所述标注结果进行边缘检测，得到真实边缘像素点；
第二计算模块，用于针对任一预测边缘像素点，根据所述梯度信息，计算所述预测边缘像素点的边缘预测概率；
根据所述预测边缘像素点与所述真实边缘像素点，以及所述边缘预测概率，计算得到所述预测边缘像素点的平衡损失，计算公式如下：
其中，为预测边缘像素点(i，j)的平衡损失，ui,j表示像素点(i，j)是否为真实边缘像素点，当像素点(i，j)是真实边缘像素点时，ui,j＝1，当像素点(i，j)不是真实边缘像素点时，ui,j＝0，/>为预测边缘像素点(i，j)的边缘预测概率，/>为常数；
遍历所有预测边缘像素点，得到每个预测边缘像素点的平衡损失，根据每个预测边缘像素点的平衡损失与对应预测边缘像素点的边缘预测概率，计算得到第二平衡损失；
训练模块，用于根据所述第一平衡损失与所述第二平衡损失计算总的平衡损失，所述总的平衡损失用于指导所述数据处理模型的训练，以得到用于识别待检测产品的目标的训练好的数据处理模型。
7.一种终端设备，其特征在于，所述终端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的数据处理方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的数据处理方法。
CN202311075147.2A 2023-08-25 2023-08-25 基于平衡损失函数的数据处理方法、装置、设备及介质 Active CN116823864B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311075147.2A CN116823864B (zh) 2023-08-25 2023-08-25 基于平衡损失函数的数据处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311075147.2A CN116823864B (zh) 2023-08-25 2023-08-25 基于平衡损失函数的数据处理方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116823864A CN116823864A (zh) 2023-09-29
CN116823864B true CN116823864B (zh) 2024-01-05

Family

ID=88120520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311075147.2A Active CN116823864B (zh) 2023-08-25 2023-08-25 基于平衡损失函数的数据处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116823864B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148148A (zh) * 2019-03-01 2019-08-20 北京纵目安驰智能科技有限公司 一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质
CN112465847A (zh) * 2020-11-27 2021-03-09 深圳点猫科技有限公司 一种基于预测清晰边界的边缘检测方法、装置及设备
WO2021057848A1 (zh) * 2019-09-29 2021-04-01 Oppo广东移动通信有限公司 网络的训练方法、图像处理方法、网络、终端设备及介质
CN113240014A (zh) * 2021-05-18 2021-08-10 长春理工大学 一种二类分割损失函数及其构建方法和应用
CN113343789A (zh) * 2021-05-20 2021-09-03 武汉大学 一种基于局部细节增强与边缘约束的高分辨率遥感影像土地覆盖分类方法
CN114387268A (zh) * 2022-03-22 2022-04-22 中国长江三峡集团有限公司 一种螺栓松动检测方法及装置
WO2023077816A1 (zh) * 2021-11-03 2023-05-11 中国华能集团清洁能源技术研究院有限公司 边界优化的遥感图像语义分割方法、装置、设备及介质
CN116612378A (zh) * 2023-05-22 2023-08-18 河南大学 一种基于ssd改进的不平衡数据及复杂背景下水下小目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114118124B (zh) * 2021-09-29 2023-09-12 北京百度网讯科技有限公司 图像检测方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148148A (zh) * 2019-03-01 2019-08-20 北京纵目安驰智能科技有限公司 一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质
WO2021057848A1 (zh) * 2019-09-29 2021-04-01 Oppo广东移动通信有限公司 网络的训练方法、图像处理方法、网络、终端设备及介质
CN112465847A (zh) * 2020-11-27 2021-03-09 深圳点猫科技有限公司 一种基于预测清晰边界的边缘检测方法、装置及设备
CN113240014A (zh) * 2021-05-18 2021-08-10 长春理工大学 一种二类分割损失函数及其构建方法和应用
CN113343789A (zh) * 2021-05-20 2021-09-03 武汉大学 一种基于局部细节增强与边缘约束的高分辨率遥感影像土地覆盖分类方法
WO2023077816A1 (zh) * 2021-11-03 2023-05-11 中国华能集团清洁能源技术研究院有限公司 边界优化的遥感图像语义分割方法、装置、设备及介质
CN114387268A (zh) * 2022-03-22 2022-04-22 中国长江三峡集团有限公司 一种螺栓松动检测方法及装置
CN116612378A (zh) * 2023-05-22 2023-08-18 河南大学 一种基于ssd改进的不平衡数据及复杂背景下水下小目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Object Contour and Edge Detection with RefineContourNet;André Peter Kelm et al;《CAIP 2019: Computer Analysis of Images and Patterns》;第246–258页 *
基于多阶段平衡和移动端的缺陷检测算法研究;兰上炜;《中国优秀硕士学位论文全文数据库》(第10期);第1-72页 *

Also Published As

Publication number Publication date
CN116823864A (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN110084292B (zh) 基于DenseNet和多尺度特征融合的目标检测方法
CN110533084B (zh) 一种基于自注意力机制的多尺度目标检测方法
CN115272330B (zh) 基于电池表面图像的缺陷检测方法、系统及相关设备
CN112200143A (zh) 一种基于候选区域网络和机器视觉的道路病害检测方法
CN114612937B (zh) 基于单模态增强的红外与可见光融合行人检测方法
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统
CN112613505B (zh) 一种基于深度学习的细胞微核识别、定位和计数方法
CN114663389A (zh) 光伏组件热斑检测方法、设备及存储介质
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN114897802A (zh) 一种基于改进Faster RCNN算法的金属表面缺陷检测方法
CN116645365B (zh) 基于频谱的石英玻璃检测方法、装置、设备及介质
CN113780287A (zh) 一种多深度学习模型的最优选取方法及系统
CN116823864B (zh) 基于平衡损失函数的数据处理方法、装置、设备及介质
CN116363136B (zh) 一种机动车部件自动化生产在线筛选方法及系统
CN112085702A (zh) 一种基于关键区域稀疏深度的单目深度估计方法
CN116740572A (zh) 一种基于改进yolox的海上船舰目标检测方法和系统
CN111612803A (zh) 一种基于图像清晰度的车辆图像语义分割方法
Deng et al. Automatic estimation of rice grain number based on a convolutional neural network
CN115908409A (zh) 光伏片缺陷的检测方法、检测装置、计算机设备和介质
CN116205918A (zh) 基于图卷积的多模态融合半导体检测方法、装置及介质
CN115761606A (zh) 基于图像处理的箱体电能表识别方法及装置
CN115330705A (zh) 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法
CN112800952B (zh) 一种基于改进ssd算法的海洋生物识别方法及系统
CN112464705A (zh) 一种基于YOLOv3-CIoU的松材线虫病树检测方法及系统
CN116630310B (zh) 一种石英玻璃的检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant