CN117893937A - 数据生成方法、模型训练方法、图像差异检测方法及设备 - Google Patents

数据生成方法、模型训练方法、图像差异检测方法及设备 Download PDF

Info

Publication number
CN117893937A
CN117893937A CN202311641147.4A CN202311641147A CN117893937A CN 117893937 A CN117893937 A CN 117893937A CN 202311641147 A CN202311641147 A CN 202311641147A CN 117893937 A CN117893937 A CN 117893937A
Authority
CN
China
Prior art keywords
image
difference
background
sample
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311641147.4A
Other languages
English (en)
Inventor
潘柄存
潘国雄
郑佳
潘华东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202311641147.4A priority Critical patent/CN117893937A/zh
Publication of CN117893937A publication Critical patent/CN117893937A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种数据生成方法、模型训练方法、图像差异检测方法以及终端设备。所述数据生成方法包括：获取背景图像，以及标注图像；从所述标注图像中分割标注物体图像；将所述标注物体图像融合到所述背景图像中，得到正样本数据；和/或，从所述标注图像中分割光线变化素材；将所述光线变化素材融合到所述背景图像中，得到负样本数据。通过上述数据生成方法，可以生成变化样本与模拟光照负样本，在无额外人工标注的前提下生成差异检测训练数据。

Description

数据生成方法、模型训练方法、图像差异检测方法及设备
技术领域
本申请涉及视频分析与处理技术领域，特别是涉及一种数据生成方法、模型训练方法、图像差异检测方法以及终端设备。
背景技术
近年来，随着基于深度学习的图像目标检测技术的成熟，基于目标检测框架的图像差异性检测技术在视频监控，卫星图像分析，制造质量控制等众多领域大放异彩。通过图像差异性分析可以判别不同时刻同一场景所发生的变化，然后根据不同任务发生图像变化的结果不同下沉到具体的实际应用中。
然而，目前基于深度学习技术的差异性有监督检测算法需要大量人力进行标注，特别是分割标注，需要精细的标注两张图像的变化情况，耗时耗力，使得大多数模型难以达到期望的检测效果。
发明内容
为解决上述技术问题，本申请提出了一种数据生成方法、模型训练方法、图像差异检测方法以及终端设备。
为解决上述技术问题，本申请提出了一种数据生成方法，所述数据生成方法包括：
获取背景图像，以及标注图像；
从所述标注图像中分割标注物体图像；
将所述标注物体图像融合到所述背景图像中，得到正样本数据；
和/或，从所述标注图像中分割光线变化素材；
将所述光线变化素材融合到所述背景图像中，得到负样本数据。
其中，所述将所述标注物体图像融合到所述背景图像中，得到正样本数据，包括：
将所述背景图像划分为若干背景网格；
获取每一背景网格的信息描述量；
循环执行：将所述标注物体图像融合到所述信息描述量最低的背景网格，直至融合次数达到预设阈值，得到所述正样本数据。
为解决上述技术问题，本申请还提出一种模型训练方法，所述模型训练方法包括：
从样本数据获取背景图像、样本图像以及基于所述背景图像和所述样本图像获取真实变化区域；
提取所述背景图像的背景特征，以及提取所述样本图像的样本特征；
获取所述背景特征和所述样本特征的融合差异特征；
基于所述融合差异特征生成预测变化区域；
利用所述真实变化区域和所述预测变化区域的差异信息，训练图像差异检测模型；
其中，所述样本数据通过上述的数据生成方法生成。
其中，所述提取所述背景图像的背景特征，以及提取所述样本图像的样本特征，包括：
利用若干个基本特征提取模块串联的基本特征提取网络提取所述背景图像不同尺寸的背景特征；
利用若干个基本特征提取模块串联的基本特征提取网络提取所述样本图像不同尺寸的样本特征；
所述获取所述背景特征和所述样本特征的融合差异特征，包括：
获取高维背景特征和高维样本特征的融合差异特征。
其中，所述获取所述背景特征和所述样本特征的融合差异特征，包括：
利用差异特征融合模块提取所述背景特征和所述样本特征的差异特征，其中，所述差异特征包括出现差异特征、消失差异特征、距离差异特征、原始背景特征，和/或原始前景特征；
将所述差异特征进行拼接融合，得到所述融合差异特征。
其中，所述基于所述融合差异特征生成预测变化区域，包括：
将不同尺寸的融合差异特征输入差异检测预测模块，获取不同尺寸的预测变化特征；
将不同尺寸的预测变化特征上采样至相同尺寸的预测变化特征；
将所述相同尺寸的预测变化特征进行融合，得到预测变化融合特征；
利用所述预测变化融合特征生成所述预测变化区域。
其中，所述利用所述真实变化区域和所述预测变化区域的差异信息，训练图像差异检测模型，包括：
将所述真实变化区域对应的像素点设置真实标签值，其余像素值设置非变化标签值；
将所述预测变化区域对应的像素点设置预测标签值，其余像素值设置非变化标签值；
利用所有像素点的真实标签值、预测标签值以及非变化标签值计算损失值；
利用所述损失值训练所述图像差异检测模型。
其中，所述利用所述损失值训练所述图像差异检测模型，包括：
获取所述背景图像或所述样本图像的所有像素点数量；
基于所述预测变化区域获取变化区域像素数量；
利用所述所有像素点数量和所述变化区域像素数量计算平衡权重；
利用所述平衡权重和所述损失值训练所述图像差异检测模型。
为解决上述技术问题，本申请还提出一种图像差异检测方法，所述图像差异检测方法包括：
将背景图像与前景图像输入图像差异检测模型，获取所述图像差异检测模型输出的掩码图像；
将所述掩码图像中预测像素值的像素点聚类出连通区域；
按照所述连通区域输出图像差异预测框；
其中，所述图像差异检测模型通过上述的模型训练方法训练所得。
为解决上述技术问题，本申请还提出一种终端设备，所述终端设备包括存储器以及与所述存储器耦接的处理器；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的数据生成方法、模型训练方法和/或图像差异检测方法。
与现有技术相比，本申请的有益效果是：终端设备获取背景图像，以及标注图像；从所述标注图像中分割标注物体图像；将所述标注物体图像融合到所述背景图像中，得到正样本数据；和/或，从所述标注图像中分割光线变化素材；将所述光线变化素材融合到所述背景图像中，得到负样本数据。通过上述数据生成方法，可以生成变化样本与模拟光照负样本，在无额外人工标注的前提下生成差异检测训练数据。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1是本申请提供的整体检测网络一实施例的框架示意图；
图2是本申请提供的数据生成方法一实施例的流程示意图；
图3是本申请提供的正样本数据的生成过程示意图；
图4是本申请提供的负样本数据的生成过程示意图；
图5是本申请提供的模型训练方法一实施例的流程示意图；
图6是本申请提供的特征提取网络架构与基本特征提取模块结构示意图；
图7是本申请提供的差异特征融合模块的结构示意图；
图8是本申请提供的差异特征预测模块的结构示意图；
图9是本申请提供的图像差异检测方法一实施例的流程示意图；
图10是本申请提供的终端设备的一实施例的结构示意图；
图11是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图像差异检测对象可以是任何可以被定义的、颜色、状态可能发生变化的实体，例如在制造行业应用场景下，精密器件的颜色差异是许多产品质量评定的重要因素。在遥感影像分析场景下，差异性变化已经在农田规划，自然灾害检测，地理勘察，军事侦察等领域广泛使用。在视频监控场景下，可以确定监视区域是否存在物品遗失，物品盗窃，物品位置改变等。
目前基于深度学习技术的差异性检测主要分为无监督检测算法与有监督检测算法，无监督检测通常是利用人为设计的特征对整张图片进行聚类分析，或是采用对数或均值方法计算出图像的差异图，将差异图作为伪标签指导神经网络的学习。有监督检测算法通常是指将需要预测变化的前景图片与背景图片输入到卷积神经网络当中，然后将网络输出的特征值编码与标签计算得到损失值，通过优化损失值来指导网络训练，在网络训练完成后可以通过训练好的网络获取到图像的差异性信息。然而上述无监督算法通过人工设计差异特征导致模型应对自然场景表现力差，有监督算法需要大量人力进行标注，特别是分割标注，需要精细的标注两张图像的变化情况，耗时耗力，使得大多数模型难以达到期望的检测效果。
本申请提出了一种新的框架去解决差异检测问题，具体请参阅图1，图1是本申请提供的整体检测网络一实施例的框架示意图，将检测任务转化为分割任务，同时为了解决分割任务标注耗时耗力的问题，提出了一种新型差异检测数据生成方法在不增加任何标注成本的情况下生成满足差异检测要求的图像对，而后使用孪生网络对所提图像对进行特征提取，得到待检测特征图A与待检测特征图B；使用所提MTF模块对提取出来的特征图进行差异信息提取与融合，得到差异信息特征图Z，并且为了使算法满足语义信息，采用差异特征金字塔模块融合特整体的底层尺寸特征与高层语义特征，得到待预测特征图K，将K送入模型的检测部分对差异信息进行预测，得到预测掩码图，而后通过聚类方法，将掩码图转化为差异检测框，最终输出差异检测框，确认该图片是否存在差异区域。
如图1所示，本申请提出的整体检测网络包括三个模块：数据生成模块、特征提取模块以及预测模块，下面通过具体的方法分别介绍整体检测网络中三个模块的具体工作流程：
具体请继续参阅图2，图2是本申请提供的数据生成方法一实施例的流程示意图。
本申请的数据生成方法应用于终端设备，其中，本申请的终端设备可以为服务器，也可以为本地终端，还可以为由服务器和本地终端相互配合的系统。相应地，终端设备包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以全部设置于本地终端中，还可以分别设置于服务器和本地终端中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。
如图2所示，其具体步骤如下：
步骤S11：获取背景图像，以及标注图像。
在本申请实施例中，由于语义分割标注图像耗时耗力，并且标注质量难以保证，终端设备采用图1所示的数据生成模块基于现有公开的数据标注，不需要任何额外的标注训练数据。终端设备一方面获取没有任何标注的背景图像，一方面获取现有公开的已标注的图像。其中，本申请的标注图像可以为已标注的原图，也可以为根据标注裁剪后的部分图像。
在本申请实施例中，终端设备从标注图像中提取标注数据，具体方包括但不限于：裁剪、缩放、分割等。
在本申请实施例中，终端设备通过将标注数据融合到没有任何标注的背景图像中，生成样本数据。通过将不同来源的背景图像与标注图像融合生成样本数据，能够自动生成大量标注图像，一方面节省人力，另一方面能够生成更丰富多样的样本数据，有助于后续的模型训练快速收敛。
具体地，本申请的样本数据包括正样本数据生成和负样本数据生成，终端设备可以通过以下步骤S12和步骤S13生成正样本数据，通过以下步骤S14和步骤S15生成负样本数据。
步骤S12：从标注图像中分割标注物体图像。
请继续参阅图3，图3是本申请提供的正样本数据的生成过程示意图。
如图3所示，数据生成模块的输入包含两个部分，其一是差异检测底图BG，可以是任意一帧视频图像；其二是利用公开数据集中的分割标注获取只含标注物体的分割标注图像E。其中，差异检测底图BG的长宽为W，H，分割标注图像E的长宽为w，h。
步骤S13：将标注物体图像融合到背景图像中，得到正样本数据。
在本申请实施例中，终端设备将差异检测底图BG按照w，h划分为若干n个背景网格，并按照下式计算每个背景网格的信息描述量：
其中，xi,k为图像在R,G,B对应通道上的像素值，P(xi,k)为该像素值在每个网格中出现的概率，最终H(x)为一个数值，代表网格中的信息量。
终端设备在差异检测底图BG寻找信息量最低的网格，将分割标注图像E粘贴到对应网格中生成正样本。每一张差异检测底图BG寻找随机循环N次寻找不同的分割标注图像E进行粘贴，生成对应的前景图FG，同时记录对应粘贴网格，生成掩码label。
步骤S14：从标注图像中分割光线变化素材。
步骤S15：将光线变化素材融合到背景图像中，得到负样本数据。
请继续参阅图4，图4是本申请提供的负样本数据的生成过程示意图。
如图4所示，终端设备寻找差异检测底图BG，与光线变化素材LE，采用泊松融合的方式对光线变化素材LE与差异检测底图BG进行融合，同时生成全黑的Label掩码图。
在本申请实施例中，终端设备获取背景图像，以及标注图像；从所述标注图像中分割标注物体图像；将所述标注物体图像融合到所述背景图像中，得到正样本数据；和/或，从所述标注图像中分割光线变化素材；将所述光线变化素材融合到所述背景图像中，得到负样本数据通过上述数据生成方法，可以生成变化样本与模拟光照负样本，在无额外人工标注的前提下生成差异检测训练数据。
基于图2至图4所示的数据生成方法，本申请还提出了一种模型训练方法，将数据生成方法生成的样本数据作为训练集训练图像差异检测模型。
具体请参阅图5，图5是本申请提供的模型训练方法一实施例的流程示意图。
如图5所示，其具体步骤如下：
步骤S21：从样本数据获取背景图像、样本图像以及基于背景图像和样本图像获取真实变化区域。
在本申请实施例中，终端设备从样本数据获取背景图像BG以及样本图像FG，其中，样本图像FG可以根据基于图2至图4所示的数据生成方法生成，具体过程在此不再赘述。
另外，终端设备还可以生成测试数据集，用于测试图像差异检测模型的训练效果。具体地，终端设备选取不同时间下图像中含有变化区域的两帧视频画面，转化成图片保存并对变化区域进行图像标注，将标注好的数据作为测试样本用以衡量模型效果。
步骤S22：提取背景图像的背景特征，以及提取样本图像的样本特征。
在本申请实施例中，终端设备采用权重共享的孪生卷积网络对背景图像BG和样本图像FG进行特征提取，得到背景特征和样本特征。
具体地，图1中的特征提取模块中的特征提取网络架构请参阅图6，图6是本申请提供的特征提取网络架构与基本特征提取模块结构示意图。特征提取网络的输入是由变化尺寸的背景图像BG和样本图像FG组成，具体形式为416*416*3的图像。
如图6所示，特征提取网络首先采用一层7*7的卷积得到初步的图像特征信息，然后将特征信息送入一个由基本特征提取模块串联的网络。其中，基本特征提取网络是由最大池化层，卷积层组成的网络，其卷积层包括但不限于以下三种操作：卷积、池化、标准化。其中，最大池化层步长为2，在提取关键特征信息的同时将特征图的长宽缩减一半，减少计算量。拼接操作为按维度拼接，拼接后输出特征图维度为输入各特征图维度之和，因此特征图经过每个基本特征提取模块之后其长宽缩减为原来的一半，维度扩充为原来的2倍。
在图6所示的具体实施方式中，整个特征提取网络有5个基本特征提取模块，根据计算结果，基本特征提取模块输出尺寸分别为208*208*64，104*104*128，52*52*256,26*26*512,13*13*1024，其中后三尺寸较小的高维特征图作为特征提取网络的输出，参与后续预测计算。
步骤S23：获取背景特征和样本特征的融合差异特征。
在本申请实施例中，终端设备将步骤S22的特征提取网络的三个输出依次送入差异特征融合模块(MTF)，具体请参阅图7，图7是本申请提供的差异特征融合模块的结构示意图。
如图7所示，背景特征图记为fBG，前景特征图记为fFG，该差异特征融合模块融合了特征提取后的五种差异特征：分别代表出现差异，消失差异，距离差异，原始背景信息，原始前景信息。
差异特征融合模块将五种差异特征经过一层卷积，提取特征图的高阶语义信息，而后通过拼接与卷积操作将其融合，得到差异特征图。其中原始背景信息与原始前景信息代表图像中物体的语义性，若单使用出现，消失，距离差异会导致网络预测过程中失去语义性，诱使网络只关注像素差异。
需要说明的是，差异特征融合模块也可以选择性将上述五种差异特征中的任意多种特征进行融合，也可以增加其他类型的差异特征。
步骤S24：基于融合差异特征生成预测变化区域。
在本申请实施例中，融合差异特征后输出的差异信息大小为分别52*52*256，26*26*512，13*13*1024。终端设备将上述融合差异特征经过差异检测预测模块，获得预测图像掩码。为了保证预测出的图像掩码既包含高阶语义信息又包含低阶位置信息，采用MSF结构对低阶信息与高阶信息进行融合，具体请参阅图8，图8是本申请提供的差异特征预测模块的结构示意图。
如图8所示，终端设备将三个差异特征融合后的特征图输入到MSF模块中每个特征图首先经过1*1*256的卷积层，将其输出通道缩减为256。如图中13*13*1024的特征图经过卷积后其维度变为13*13*256，然后对其进行2倍上采样，扩大尺寸特征图以便融合低阶特征信息，经过上采样后特征图维度变为26*26*256，这个维度与图6中红色特征图经过1*1*256卷积的特征大小维度一致，对两者进行拼接操作输出结果为26*26*512的特征图。然后经过一层3*3*64的卷积层进一步提取特征信息，为了使输出结果与预测掩码图像大小一致，对其进行16倍上采样，输出结果变为416*416*64，而后融合其他层级的输出结果，并使用1*1的卷积层将特征降维，作为生成最终的预测掩码图。
步骤S25：利用真实变化区域和预测变化区域的差异信息，训练图像差异检测模型。
在本申请实施例中，本申请的检测任务使用模型预测掩摸图像标识图像的变化区域，因此在预测阶段可以将其看做为语义分割任务采用softmax cross-entropy函数作为训练网络模型的损失函数。
在正常的图像当中，图像的背景与变化区域通常会出现极不平衡的现象，因此本申请对损失函数进行加权，具体如下：
其中，这里的N代表输出类别，本任务仅需检测变化则N为固定值1，代表真实标签值，也就是在数据生成模块中生成的标签Label，存在变化时为1无变化为0，pi为网络预测结果也就是输出的预测掩码图，wi为平衡背景像素与变化像素的权重。
其中，wi权重的计算公式如下：
其中，nj为预测掩码图中所有像素数量，ni为变化区域像素数量。
终端设备运用权重计算公式可以在训练过程中动态地对每一个训练样本加权，至此训练部分正向传播过程结束。
终端设备还可以使用优化函数进行反向传播更新网络参数，具体优化公式如下：
xi+1＝xi-ηtgt
其中，xi+1代表网络迭代一轮次后的参数，xi代表网络迭代前参数，ηt代表优化学习率，gt是根据loss计算模拟的随机梯度，满足等式gt的期望为损失函数计算梯度。更新参数后网络一轮训练过程结束，反复进行正向传播与反向传播步骤，完成网络训练。
基于图5至图8所示的模型训练方法，本申请还提出了一种图像差异检测方法。具体请参阅图9，图9是本申请提供的图像差异检测方法一实施例的流程示意图。
如图9所示，其具体步骤如下：
步骤S31：将背景图像与前景图像输入图像差异检测模型，获取图像差异检测模型输出的掩码图像。
步骤S32：将掩码图像中预测像素值的像素点聚类出连通区域。
步骤S33：按照连通区域输出图像差异预测框。
在本申请实施例中，终端设备采用图5至图8所示的模型训练方法训练好的网络对未知图像对进行预测，如上述可知，网络输入部分为一张底图与一张前景图像，网络的输出结果为416*416*1的掩码图像。最终预测结果为掩码图像大于0部分，通过连通域聚类，将连在一起的区域作为一个预测框输出结果。
本申请提出了一种新型差异检测样本生成方式，可以生成变化样本与模拟光照负样本，在无额外人工标注的前提下生成差异检测训练数据；生成的正负样本可以解决差异检测任务分割标注困难的问题。
本申请提出了一个新型端到端的差异检测网络，将差异检测问题转化为语义分割问题，并采用全新的特征提取网络，完成对差异信息的高效提取；提出了一个全新的孪生网络对图片对进行差异检测，优化特征提取部分，使特征融合更加充分。
本申请提出了一种针对图片差异检测的特征融合方式MTF，更加合理的利用提取出的特征信息进行差异预测；深度融合各种各样的差异信息，在预测像素差异的基础上，保持网络对语义信息的理解。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
为实现上述数据生成方法、模型训练方法和/或图像差异检测方法，本申请还提出了一种终端设备，具体请参阅图10，图6是本申请提供的终端设备一实施例的结构示意图。
本实施例的终端设备400包括处理器41、存储器42、输入输出设备43以及总线44。
该处理器41、存储器42、输入输出设备43分别与总线44相连，该存储器42中存储有程序数据，处理器41用于执行程序数据以实现上述实施例所述的数据生成方法、模型训练方法和/或图像差异检测方法。
在本申请实施例中，处理器41还可以称为CPU(Central Processing Unit，中央处理单元)。处理器41可能是一种集成电路芯片，具有信号的处理能力。处理器41还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现场可编程门阵列(FPGA，FieldProgrammable Gate Array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器41也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，请继续参阅图11，图11是本申请提供的计算机存储介质一实施例的结构示意图，该计算机存储介质600中存储有计算机程序61，该计算机程序61在被处理器执行时，用以实现上述实施例的数据生成方法、模型训练方法和/或图像差异检测方法。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种数据生成方法，其特征在于，所述数据生成方法包括：
获取背景图像，以及标注图像；
从所述标注图像中分割标注物体图像；
将所述标注物体图像融合到所述背景图像中，得到正样本数据；
和/或，从所述标注图像中分割光线变化素材；
将所述光线变化素材融合到所述背景图像中，得到负样本数据。
2.根据权利要求1所述的数据生成方法，其特征在于，
所述将所述标注物体图像融合到所述背景图像中，得到正样本数据，包括：
将所述背景图像划分为若干背景网格；
获取每一背景网格的信息描述量；
循环执行：将所述标注物体图像融合到所述信息描述量最低的背景网格，直至融合次数达到预设阈值，得到所述正样本数据。
3.一种模型训练方法，其特征在于，所述模型训练方法包括：
从样本数据获取背景图像、样本图像以及基于所述背景图像和所述样本图像获取真实变化区域；
提取所述背景图像的背景特征，以及提取所述样本图像的样本特征；
获取所述背景特征和所述样本特征的融合差异特征；
基于所述融合差异特征生成预测变化区域；
利用所述真实变化区域和所述预测变化区域的差异信息，训练图像差异检测模型；
其中，所述样本数据通过权利要求1-2任一项所述的数据生成方法生成。
4.根据权利要求3所述的模型训练方法，其特征在于，
所述提取所述背景图像的背景特征，以及提取所述样本图像的样本特征，包括：
利用若干个基本特征提取模块串联的基本特征提取网络提取所述背景图像不同尺寸的背景特征；
利用若干个基本特征提取模块串联的基本特征提取网络提取所述样本图像不同尺寸的样本特征；
所述获取所述背景特征和所述样本特征的融合差异特征，包括：
获取高维背景特征和高维样本特征的融合差异特征。
5.根据权利要求3或4所述的模型训练方法，其特征在于，
所述获取所述背景特征和所述样本特征的融合差异特征，包括：
利用差异特征融合模块提取所述背景特征和所述样本特征的差异特征，其中，所述差异特征包括出现差异特征、消失差异特征、距离差异特征、原始背景特征，和/或原始前景特征；
将所述差异特征进行拼接融合，得到所述融合差异特征。
6.根据权利要求3所述的模型训练方法，其特征在于，
所述基于所述融合差异特征生成预测变化区域，包括：
将不同尺寸的融合差异特征输入差异检测预测模块，获取不同尺寸的预测变化特征；
将不同尺寸的预测变化特征上采样至相同尺寸的预测变化特征；
将所述相同尺寸的预测变化特征进行融合，得到预测变化融合特征；
利用所述预测变化融合特征生成所述预测变化区域。
7.根据权利要求3或6所述的模型训练方法，其特征在于，
所述利用所述真实变化区域和所述预测变化区域的差异信息，训练图像差异检测模型，包括：
将所述真实变化区域对应的像素点设置真实标签值，其余像素值设置非变化标签值；
将所述预测变化区域对应的像素点设置预测标签值，其余像素值设置非变化标签值；
利用所有像素点的真实标签值、预测标签值以及非变化标签值计算损失值；
利用所述损失值训练所述图像差异检测模型。
8.根据权利要求7所述的模型训练方法，其特征在于，
所述利用所述损失值训练所述图像差异检测模型，包括：
获取所述背景图像或所述样本图像的所有像素点数量；
基于所述预测变化区域获取变化区域像素数量；
利用所述所有像素点数量和所述变化区域像素数量计算平衡权重；
利用所述平衡权重和所述损失值训练所述图像差异检测模型。
9.一种图像差异检测方法，其特征在于，所述图像差异检测方法包括：
将背景图像与前景图像输入图像差异检测模型，获取所述图像差异检测模型输出的掩码图像；
将所述掩码图像中预测像素值的像素点聚类出连通区域；
按照所述连通区域输出图像差异预测框；
其中，所述图像差异检测模型通过权利要求3-8任一项所述的模型训练方法训练所得。
10.一种终端设备，其特征在于，所述终端设备包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-2任一项所述的数据生成方法、权利要求3-8任一项所述的模型训练方法，和/或权利要求9所述的图像差异检测方法。
CN202311641147.4A 2023-11-30 2023-11-30 数据生成方法、模型训练方法、图像差异检测方法及设备 Pending CN117893937A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311641147.4A CN117893937A (zh) 2023-11-30 2023-11-30 数据生成方法、模型训练方法、图像差异检测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311641147.4A CN117893937A (zh) 2023-11-30 2023-11-30 数据生成方法、模型训练方法、图像差异检测方法及设备

Publications (1)

Publication Number Publication Date
CN117893937A true CN117893937A (zh) 2024-04-16

Family

ID=90646115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311641147.4A Pending CN117893937A (zh) 2023-11-30 2023-11-30 数据生成方法、模型训练方法、图像差异检测方法及设备

Country Status (1)

Country Link
CN (1) CN117893937A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118230099A (zh) * 2024-05-24 2024-06-21 杭州海康威视数字技术股份有限公司 黑光图像融合模型训练方法、及黑光图像融合方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118230099A (zh) * 2024-05-24 2024-06-21 杭州海康威视数字技术股份有限公司 黑光图像融合模型训练方法、及黑光图像融合方法

Similar Documents

Publication Publication Date Title
CN112101165B (zh) 兴趣点识别方法、装置、计算机设备和存储介质
CN110443969B (zh) 一种火点检测方法、装置、电子设备及存储介质
CN111738908B (zh) 结合实例分割和循环生成对抗网络的场景转换方法及系统
CN109816032B (zh) 基于生成式对抗网络的无偏映射零样本分类方法和装置
CN109886066A (zh) 基于多尺度和多层特征融合的快速目标检测方法
CN111310518B (zh) 图片特征提取方法、目标重识别方法、装置及电子设备
CN109033107A (zh) 图像检索方法和装置、计算机设备和存储介质
CN111008337B (zh) 一种基于三元特征的深度注意力谣言鉴别方法及装置
CN107506792B (zh) 一种半监督的显著对象检测方法
CN111274981B (zh) 目标检测网络构建方法及装置、目标检测方法
CN116071709B (zh) 一种基于改进型vgg16网络的人群计数方法、系统及存储介质
CN117893937A (zh) 数据生成方法、模型训练方法、图像差异检测方法及设备
CN111783712A (zh) 一种视频处理方法、装置、设备及介质
CN110490205A (zh) 基于全残差空洞卷积神经网络的道路场景语义分割方法
CN109145763B (zh) 基于自然语言描述的视频监控行人搜索图像文本融合方法
CN114067119B (zh) 全景分割模型的训练方法、全景分割方法及装置
CN112528058B (zh) 基于图像属性主动学习的细粒度图像分类方法
CN115527210A (zh) 基于YOLOv7算法的OCR字符检测方法及装置
CN118172935B (zh) 基于数字孪生的智慧高速管理系统及方法
CN107948586A (zh) 基于视频拼接的跨区域运动目标检测方法和装置
CN115797349A (zh) 一种缺陷检测方法、装置和设备
CN115908344A (zh) 一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法
CN112668675B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN111488887B (zh) 基于人工智能的图像处理方法、装置
CN113570509A (zh) 数据处理方法以及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination