CN117496174A - 图像分解模型的训练方法、装置以及图像分解方法 - Google Patents

图像分解模型的训练方法、装置以及图像分解方法 Download PDF

Info

Publication number
CN117496174A
CN117496174A CN202210874253.6A CN202210874253A CN117496174A CN 117496174 A CN117496174 A CN 117496174A CN 202210874253 A CN202210874253 A CN 202210874253A CN 117496174 A CN117496174 A CN 117496174A
Authority
CN
China
Prior art keywords
image
loss function
training
neural network
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210874253.6A
Other languages
English (en)
Inventor
张丽
孙运达
胡峥
傅罡
李强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuctech Co Ltd
Original Assignee
Nuctech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuctech Co Ltd filed Critical Nuctech Co Ltd
Priority to CN202210874253.6A priority Critical patent/CN117496174A/zh
Priority to EP23187083.3A priority patent/EP4322063A1/en
Priority to US18/225,060 priority patent/US20240037816A1/en
Publication of CN117496174A publication Critical patent/CN117496174A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
    • G01V5/20—Detecting prohibited goods, e.g. weapons, explosives, hazardous substances, contraband or smuggled objects
    • G01V5/22—Active interrogation, i.e. by irradiating objects or goods using external radiation sources, e.g. using gamma rays or cosmic rays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像分解模型的训练方法、装置以及图像分解方法，可以应用于图像处理技术领域。该图像分解模型的训练方法包括：获取训练集，将第一训练图像输入第一对抗神经网络，将第二训练图像输入第二对抗神经网络，确定第一损失函数值；将第三训练图像分别输入第一对抗神经网络和第二对抗神经网络，确定第二损失函数值；针对获取的融合图像与第三训练图像的比较结果，确定第三损失函数值，融合图像是根据第一对抗神经网络和第二对抗神经网络的生成图像进行融合生成的；根据第一损失函数值、第二损失函数值以及第三损失函数值调整图像分解模型的参数，直至满足训练终止条件，第一损失函数、第二损失函数以及第三损失函数满足预设权重关系。

Description

图像分解模型的训练方法、装置以及图像分解方法
技术领域
本公开涉及图像处理技术领域，更具体地涉及一种图像分解模型的训练方法、训练装置以及图像分解方法、电子设备、可读存储介质。
背景技术
随着全球经济的发展，货物流通等变得越来越多，需要在海关、陆路口岸等关卡位置对对流通的货物进行检查，从而防止非法货物或者产品进入管控的地区内。在海关、陆路口岸中，货物流通量大，货物种类繁多，需要通过特殊的检测装置，例如X射线扫描系统对运输货物的车辆以及货物进行同时检查，以提高安检的效率。
目前国际上常见的针对货车车辆的安检方法是基于X射线扫描系统完成的，其首先通过X射线扫描设备对待测车辆进行扫描后形成一张X射线扫描图像，然后经过人工判图分析或机器智能识别得出该车辆中是否存在嫌疑物的结论。
在传统的人工判图中，由于车辆本身结构复杂，货物堆放参差不齐，人工判断图像中的货物的难度很大，效率较低，难以满足大量的通关车辆安检需要。因此，近些年机器智能识别系统发展的较为快速，逐渐取代了一部分人工的工作。机器智能识别有着速度快、效率高的优势，但由于目前智能识图算法的局限性，在图像较为复杂的情况中，其识别准确率还有待提高。例如X射线的穿透特性导致图像货物信息与车体结构信息重叠严重，在图像中的表现为货物和车体互相重叠，互相干扰，货物特征难以区分，机器无法准确识别货物，极大的降低了机器识别的准确性，无法实现准确的判断，增加了漏检的风险，降低了安检的效率。
此外，机器智能识别的过程中，需要进行训练，训练过程中需要大量的具有真实标签的数据，实际的X射线图像以及车辆的图像难以采集，工作量巨大，并且耗时很长，难以采集到足够真值的数据，导致难以获取到足够的真实标签进行监督学习。此外，由于X射线图像的叠加特性，标注人员难以在同一张图中将混淆在一起的车和货区分出来。以及，车辆图像过于复杂，同类车型类内差异较大。这种复杂性包括在两个层面，一方面，车辆存在年款、型号、高低配等不种情况造成的细节差异。另一方面，配置完全相同的车辆，也会存在由于其可变形部分如轮胎、发动机、气缸、车窗后视镜等无法控制的动态因素在扫描过程中的状态不同而导致的图像差异。以上限制了机器智能识别的精度。
发明内容
鉴于上述问题，本公开提供了一种图像分解模型的训练方法、训练装置以及图像分解方法、电子设备、可读存储介质。可以有效提高对复杂的图像进行分解的能力，从而获取更加准确的货物的图像，进一步提高机器判断的准确性。
根据本公开的第一个方面，提供了一种图像分解模型的训练方法，所述图像分解模型包括：第一对抗神经网络、第二对抗神经网络，所述第一对抗神经网络包括第一生成网络和第一判别网络，所述第二对抗神经网络包括第二生成网络和第二判别网络；所述的图像分解模型的训练方法包括但不限于：获取训练集，所述训练集包括第一训练图像、第二训练图像和第三训练图像，所述第三训练图像是根据所述第一训练图像和所述第二训练图像融合生成的；将所述第一训练图像输入所述第一对抗神经网络，将所述第二训练图像输入所述第二对抗神经网络，分别确定所述第一对抗神经网络和所述第二对抗神经网络的第一损失函数值；将所述第三训练图像分别输入所述第一对抗神经网络和第二对抗神经网络，分别确定所述第一对抗神经网络和第二对抗神经网络的第二损失函数值；针对获取的融合图像与第三训练图像的比较结果，确定第三损失函数值，所述融合图像是根据所述第一对抗神经网络和所述第二对抗神经网络的生成图像进行融合生成的；以及根据所述第一损失函数值、第二损失函数值以及第三损失函数值中的至少一者，以反向传播方式调整所述图像分解模型的参数，直至满足预设训练终止条件，其中，所述第一损失函数值是基于第一损失函数计算得到的，所述第二损失函数值是基于第二损失函数计算的得到的，所述第三损失函数值是基于第三损失函数计算的得到的，所述第一损失函数、第二损失函数以及第三损失函数满足预设权重关系。
在本公开的一些示例性实施例中，将所述第一训练图像输入所述第一对抗神经网络，确定所述第一对抗神经网络的第一损失函数值包括：将所述第一训练图像输入所述第一对抗神经网络的第一生成网络，得到第一生成图像；将所述第一训练图像和所述第一生成图像输入所述第一对抗神经网络的第一判别网络，得到第一图像识别结果；根据所述第一图像识别结果确定所述第一对抗神经网络的第一损失函数值。
在本公开的一些示例性实施例中，将所述第二训练图像输入所述第二对抗神经网络，确定所述第二对抗神经网络的第一损失函数值包括：将所述第二训练图像输入所述第二对抗神经网络的第二生成网络，得到第二生成图像；将所述第二训练图像和所述第二生成图像输入所述第二对抗神经网络的第二判别网络，得到第二图像识别结果；根据所述第二图像识别结果确定所述第二对抗神经网络的第一损失函数值。
在本公开的一些示例性实施例中，所述将所述第三训练图像分别输入所述第一对抗神经网络和第二对抗神经网络，分别确定所述第一对抗神经网络和第二对抗神经网络的第二损失函数值包括：将所述第三训练图像输入所述第一对抗神经网络的第一生成网络，得到第三生成图像；将所述第三生成图像和与所述第三训练图像相关联的第一训练图像输入所述第一对抗神经网络的第一判别网络，得到第三图像识别结果；根据所述第三图像识别结果确定所述第一对抗神经网络的第二损失函数值；将所述第三训练图像输入所述第二对抗神经网络的第二生成网络，得到第四生成图像；将所述第四生成图像和与所述第三训练图像相关联的第二训练图像输入所述第二对抗神经网络的第二判别网络，得到第四图像识别结果；根据所述第四图像识别结果确定所述第二对抗神经网络的第二损失函数值。
在本公开的一些示例性实施例中，所述针对获取的融合图像与第三训练图像的比较结果，确定第三损失函数值，包括：根据图像融合算法将所述第三生成图像和所述第四生成图像融合，生成融合图像；将所述融合图像与所述第三训练图像进行比较，生成比较结果；根据所述比较结果，确定第三损失函数值。
在本公开的一些示例性实施例中，所述第二损失函数包括生成器损失函数和判别器损失函数，所述第二损失函数值包括生成器损失函数值和判别器损失函数值。
在本公开的一些示例性实施例中，所述第二损失函数中的生成器损失函数的预设权重大于其他损失函数的预设权重。
在本公开的一些示例性实施例中，所述训练集中的训练图像是经过负对数处理后的X射线图像。
在本公开的一些示例性实施例中，根据所述第二损失函数值，以反向传播方式调整所述图像分解模型的参数包括：根据所述第二损失函数值中的生成器损失函数值，调整所述第一对抗神经网络的第一生成网络的参数以及调整所述第二对抗神经网络的第二生成网络的参数；以及根据所述第二损失函数值中的判别器损失函数值，调整所述第一对抗神经网络的第一判别网络的参数以及调整所述第二对抗神经网络的第二判别网络的参数。
本公开的第二方面，提供了一种图像分解方法，应用于X射线图像分解，所述包括：针对获取的X射线图像，进行负对数变换，生成待分解图像；通过图像分解模型中的第一生成网络对所述待分解图像进行处理，生成第一分解图像；通过图像分解模型中的第二生成网络对所述待分解图像进行处理，生成第二分解图像；以及对所述第一分解图像和所述第二分解图像进行负对数逆运算变换，生成图像分解结果；所述图像分解模型包括：第一对抗神经网络、第二对抗神经网络，所述第一对抗神经网络包括第一生成网络和第一判别网络，所述第二对抗神经网络包括第二生成网络和第二判别网络；其中，所述图像分解模型是根据上文所述的训练方法得到的。
本公开的第三方面提供了一种图像分解模型的训练装置，其中，所述图像分解模型包括：第一对抗神经网络、第二对抗神经网络，所述第一对抗神经网络包括第一生成网络和第一判别网络，所述第二对抗神经网络包括第二生成网络和第二判别网络；
所述训练装置包括但不限于：第一获取模块，配置为获取训练集，所述训练集包括第一训练图像、第二训练图像和第三训练图像，所述第三训练图像是根据所述第一训练图像和所述第二训练图像融合生成的；第一损失函数值确定模块，配置为将所述第一训练图像输入所述第一对抗神经网络，将所述第二训练图像输入所述第二对抗神经网络，分别确定所述第一对抗神经网络和所述第二对抗神经网络的第一损失函数值；第二损失函数值确定模块，配置为将所述第三训练图像分别输入所述第一对抗神经网络和第二对抗神经网络，分别确定所述第一对抗神经网络和第二对抗神经网络的第二损失函数值；第三损失函数值确定模块，配置为针对获取的融合图像与第三训练图像的比较结果，确定第三损失函数值，所述融合图像是根据所述第一对抗神经网络和所述第二对抗神经网络的生成图像进行融合生成的；调整模块，配置为根据所述第一损失函数值、第二损失函数值以及第三损失函数值中的至少一者，以反向传播方式调整所述图像分解模型的参数，直至满足预设训练终止条件，其中，所述第一损失函数值是基于第一损失函数计算得到的，所述第二损失函数值是基于第二损失函数计算的得到的，所述第三损失函数值是基于第三损失函数计算的得到的，所述第一损失函数、第二损失函数以及第三损失函数满足预设权重关系。
在本公开的一些示例性实施例中，所述第一损失函数值确定模块还包括第一子单元，所述第一子单元配置为：将所述第一训练图像输入所述第一对抗神经网络的第一生成网络，得到第一生成图像；将所述第一训练图像和所述第一生成图像输入所述第一对抗神经网络的第一判别网络，得到第一图像识别结果；根据所述第一图像识别结果确定所述第一对抗神经网络的第一损失函数值。
在本公开的一些示例性实施例中，所述第一损失函数值确定模块还包括第二子单元，所述第二子单元配置为：将所述第二训练图像输入所述第二对抗神经网络的第二生成网络，得到第二生成图像；将所述第二训练图像和所述第二生成图像输入所述第二对抗神经网络的第二判别网络，得到第二图像识别结果；根据所述第二图像识别结果确定所述第二对抗神经网络的第一损失函数值。
在本公开的一些示例性实施例中，所述第二损失函数值确定模块包括第三子单元，所述第三子单元配置为：将所述第三训练图像输入所述第一对抗神经网络的第一生成网络，得到第三生成图像；将所述第三生成图像和与所述第三训练图像相关联的第一训练图像输入所述第一对抗神经网络的第一判别网络，得到第三图像识别结果；根据所述第三图像识别结果确定所述第一对抗神经网络的第二损失函数值；将所述第三训练图像输入所述第二对抗神经网络的第二生成网络，得到第四生成图像；将所述第四生成图像和与所述第三训练图像相关联的第二训练图像输入所述第二对抗神经网络的第二判别网络，得到第四图像识别结果；根据所述第四图像识别结果确定所述第二对抗神经网络的第二损失函数值。
在本公开的一些示例性实施例中，所述第三损失函数值确定模块包括第四子单元，所述第四子单元配置为：根据图像融合算法将所述第三生成图像和所述第四生成图像融合，生成融合图像；将所述融合图像与所述第三训练图像进行比较，生成比较结果；根据所述比较结果，确定第三损失函数值。
在本公开的一些示例性实施例中，所述第二损失函数包括生成器损失函数和判别器损失函数，所述第二损失函数值包括生成器损失函数值和判别器损失函数值。
在本公开的一些示例性实施例中，所述调整模块包括第五子单元，所述第五子单元配置为：根据所述第二损失函数值中的生成器损失函数值，调整所述第一对抗神经网络的第一生成网络的参数以及调整所述第二对抗神经网络的第二生成网络的参数；以及根据所述第二损失函数值中的判别器损失函数值，调整所述第一对抗神经网络的第一判别网络的参数以及调整所述第二对抗神经网络的第二判别网络的参数。
在本公开的第四方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储可执行指令，所述可执行指令在被所述处理器执行时，实现根据上文第一方面所述的训练方法，或者上文第二方面所述的图像分解方法。
在本公开的第五方面，提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时，实现根据上文第一方面所述的训练方法，或者上文第二方面所述的图像分解方法。
在本公开的第六方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现根据上文第一方面所述的训练方法，或者上文第二方面所述的图像分解方法。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了可以应用本公开实施例的图像分解模型训练方法或图像分解方法的系统架构的示意图；
图2A示意性示出了根据本公开实施例的图像分解模型的结构示意图；
图2B示意性示出了根据本公开实施例的图像分解模型的训练方法的流程图；
图3示意性示出了根据本公开一个实施例的图像分解模型的训练方法在操作S220的流程图；
图4示意性示出了根据本公开又一实施例的图像分解模型的训练方法在操作S220的流程图；
图5示意性示出了根据本公开实施例的图像分解模型的训练方法在操作S230的流程图；
图6示意性示出了根据本公开实施例的图像分解模型的训练方法在操作S240的流程图；
图7示意性示出了根据本公开实施例的图像分解模型的训练方法在操作S250的流程图；
图8A示意性示出了根据本公开实施例的图像分解模型的训练方法对图像进行负对数处理的示意图；
图8B示意性示出了根据第一训练图像和第二训练图像生成第三训练图像的示意图；
图8C示意性示出了根据第三生成图像和第四生成图像生成融合图像的示意图；
图9示意性示出了根据本公开实施例的图像分解方法的流程图；
图10示意性示出了根据本公开实施例的图像分解方法对图像进行分解的示例图；
图11示意性示出了根据本公开实施例的图像分解模型的训练装置的结构框图；以及
图12示意性示出了根据本公开实施例的适于实现图像分解模型的训练方法或图像分解方法的电子设备的方框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在本公开的技术方案中，所涉及的用户个人信息的获取、存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
在本公开的技术方案中，所涉及的用户个人信息的获取、存储和应用等操作，均获得了用户的授权。
在本公开的实施例中，为了解决相关技术中无法对货物和车体重叠图像的特征进行准确区分判断的问题，本公开的实施例提供了一种图像分解模型的训练方法、训练装置以及图像分解方法、电子设备、可读存储介质及计算机程序产品。可以有效实现对车辆和货物的重叠的X射线图像进行准确分解，有效提高图像安检的效率。该图像分解模型包括但不限于：第一对抗神经网络、第二对抗神经网络，第一对抗神经网络包括第一生成网络和第一判别网络，第二对抗神经网络包括第二生成网络和第二判别网络。该图像分解模型的训练方法包括但不限于：获取训练集，训练集包括第一训练图像、第二训练图像和第三训练图像，第三训练图像是根据第一训练图像和第二训练图像融合生成的；将第一训练图像输入第一对抗神经网络，将第二训练图像输入第二对抗神经网络，分别确定第一对抗神经网络和第二对抗神经网络的第一损失函数值；将第三训练图像分别输入第一对抗神经网络和第二对抗神经网络，分别确定第一对抗神经网络和第二对抗神经网络的第二损失函数值；针对获取的融合图像与第三训练图像的比较结果，确定第三损失函数值，融合图像是根据第一对抗神经网络和第二对抗神经网络的生成图像进行融合生成的；以及根据第一损失函数值、第二损失函数值以及第三损失函数值中的至少一者，以反向传播方式调整图像分解模型的参数，直至满足预设训练终止条件，其中，第一损失函数值是基于第一损失函数计算得到的，第二损失函数值是基于第二损失函数计算的得到的，第三损失函数值是基于第三损失函数计算的得到的，第一损失函数、第二损失函数以及第三损失函数满足预设权重关系。
根据本公开的实施例，通过在训练集中设置多种训练图像(例如第一训练图像、第二训练图像以及第三训练图像)，并根据输入的不同的训练图像得到的训练结果确定不同损失函数的损失函数值(例如第一损失函数值、第二损失函数值以及第三损失函数值)，来调整第一图像分解模型中的参数，使得训练出的图像分解模型针对X射线图像能够有效地对货物与车体重叠的X射线图像进行准确的分解，分别生成车体和货物的X射线图像，便于安检设备以及安检人员对货物图像进行进一步检测分析，提高安检的效率。
图1示意性示出了可以应用本公开实施例的图像分解模型训练方法或图像分解方法的系统架构的示意图。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他架构、设备、系统、环境或场景。需要说明的是，本公开实施例提供的图像分解模型的训练方法、图像分解方法、装置、电子设备以及计算机可读存储介质可用于人工智能技术领域、图像处理技术领域，也可用于其他领域，本公开实施例提供的图像分解模型的训练方法、图像分解方法、装置、电子设备以及计算机可读存储介质对应用领域不作限定。
如图1所示，根据本公开示例性的实施例的系统架构100可以包括X射线图像采集设备101、终端设备102、服务器103以及网络104。
网络104用以在X射线图像采集设备101、终端设备102以及服务器103之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用X射线图像采集设备101针对目标车辆进行X射线图像采集，并通过网络102发送至终端设备102以及服务器103上进行存储或者处理。
终端设备102可以是具有显示屏并且支持数据处理的各种电子设备，例如平板电脑、膝上型便携计算机、台式计算机等。
服务器103可以是提供各种服务的服务器，例如对用户利用X射线图像采集设备采集的图像数据提供支持(例如存储或者处理)的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户数据进行分析等处理，并将处理结果反馈给终端设备。
需要说明的是，本公开实施例所提供的图像分解模型训练方法或图像分解方法一般可以由服务器103执行。相应地，本公开实施例所提供的图像分解模型训练装置一般可以设置于服务器103中。本公开实施例所提供的图像分解模型训练方法或图像分解方法也可以由不同于服务器103且能够与X射线图像采集设备101、终端设备102和/或服务器103通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像分解模型训练装置也可以设置于不同于服务器103且能够与X射线图像采集设备101、终端设备102和/或服务器103通信的服务器或服务器集群中。
应该理解，图1中的X射线图像采集设备、终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的X射线图像采集设备、终端设备和服务器。
图2A示意性示出了根据本公开实施例的图像分解模型的结构示意图。图2B示意性示出了根据本公开实施例的图像分解模型的训练方法的流程图。图3示意性示出了根据本公开一个实施例的图像分解模型的训练方法在操作S220的流程图。图4示意性示出了根据本公开又一实施例的图像分解模型的训练方法在操作S220的流程图。图5示意性示出了根据本公开实施例的图像分解模型的训练方法在操作S230的流程图。图6示意性示出了根据本公开实施例的图像分解模型的训练方法在操作S240的流程图。图7示意性示出了根据本公开实施例的图像分解模型的训练方法在操作S250的流程图。图8A示意性示出了根据本公开实施例的图像分解模型的训练方法对图像进行负对数处理的示意图。图8B示意性示出了根据第一训练图像和第二训练图像生成第三训练图像的示意图。图8C示意性示出了根据第三生成图像和第四生成图像生成融合图像的示意图。
以下将通过图2A至图8C对公开实施例的图像分解模型的训练方法进行详细描述。
如图2A所示，本公开实施例的图像分解模型20包括第一对抗神经网络21、第二对抗神经网络22。第一对抗神经网络21包括第一生成网络211以及第一判别网络212。第二对抗神经网络22包括第二生成网络221以及第二判别网络222。用于输入至图像分解模型20中的训练集23包括第一训练图像231、第二训练图像232以及第三训练图像233。
如图2B所示，本公开实施例的图像分解模型的训练方法包括操作S210至操作S250。
在操作S210中，获取训练集，训练集包括第一训练图像、第二训练图像和第三训练图像，第三训练图像是根据第一训练图像和第二训练图像融合生成的。
在本公开的实施例中，通过用第一训练图像和第二训练图像融合生成第三训练图像，解决无法获取足够真值的数据的问题，便于对图像分解模型进行有效训练。
在本公开的实施例中，X射线扫描图像是基于X射线透视成像原理，使用X射线扫描设备扫描物体后生成的图像。由于辐射成像的透视特性，载货车辆在扫描形成图像后，其货物信息与车体结构信息会互相重叠，混淆后的图像难以通过人工标注的方式区分开车体结构和货物信息，因此，需要通过相应的数据合成手段来合成训练图像及测试图像。另外，与可见光成像不同，X射线图像的乘性叠加原理导致其在图像重组中需要使用相应的预处理方法以确保图像融合的准确性。
在X射线图像作为训练集中的训练图像之前，由于X射线图像是信号穿透被扫描物体后所产生的图像。由于不同物质的衰减特性不同，可以揭示出物体的不同结构。X射线图像的灰度，即在物理学中所说的透明度，被定义为X射线穿过被扫描物体后的透射强度与X射线源入射强度的比值。可以表示为(公式1)：
式中u(l)的为线性质量衰减系数。由于不同材料叠加的线性衰减沿射线路径呈指数特性，因此，首先对X射线图像进行预处理，包括对图像进行负对数处理如图8A所示，其中图8A中的图像a为负对数处理之前的图像，图像b为负对数处理之后的图像。使用负对数后的图像作为图像分解模型的输入，使其在生成融合图像时符合叠加原理。
在本公开的实施例中，将X射线图像进行负对数处理后，作为训练图像，其中，第一训练图像例如可以是由X射线装置照射形成且的空车图像。第二训练图像例如可以是由X射线装置照射形成的货物图像。第三训练图像是根据第一训练图像和第二训练图像融合生成的，例如是由空车图像和货物图像经过乘性相加算法融合生成的载货车辆图像，如图8B所示，图像a是第一训练图像，图像b是第二训练图像，图像c是第三训练图像。其中，每一张第三训练图像具有关联的第一训练图像和第二训练图像。
在本公开的实施例中，第一训练图像和第二训练图像融合生成第三训练图像遵循乘性相加原则，图像融合公式如下：
-log(Tc)＝-log(Ta)-log(Tb) (公式2)
其中，Tc标识图像c的特征，Ta表示图像a的特征，Tb表示图像b的特征。
在本公开的实施例中，在生成第三训练图像之前，还可以对第一训练图像和第二训练图像进行处理，例如，对第一训练图像和第二训练图像进行去噪、裁车处理，在合成第三训练图像之后，对第三训练图像进行随机灰度变换、透视变换等处理操作，模拟不同厚度、不同质量衰减系数的物质，或者，采用随机的X、Y、Z三个坐标系正负设定角度的随机变换透视变换函数对第一训练图像、第二训练图像以及第三训练图像进行处理(增广)，形成多种扫描角度，多个方向的训练图像数据。从而提高训练集中训练样本的数量，使训练得到的图像分解模型具有更好的准确度。
在操作S220中，将第一训练图像输入第一对抗神经网络，将第二训练图像输入第二对抗神经网络，分别确定第一对抗神经网络和第二对抗神经网络的第一损失函数值。
在本公开的实施例中，如图2A所示，第一对抗神经网络21与第二对抗神经网络22是两个框架和结构相同的对抗神经网络。每个对抗神经网络中具有一个生成器和一个判别器。生成器用于根据输入的训练图像生成一张新的图像。判别器用于对生成器生成的图像进行判断。
示例性地，输入第一生成网络和第二生成网络的训练图像的尺寸可以是1024*1024，通道数为3。第一生成网络211和第二生成网络221例如可以使用pix2pix框架，生成器使用U-net结构，下层采样层数为4，采用bn层和dropout层。第一判别网络212和第二判别网络222例如可以使用PatchGAN结构，下采样层数为4，采用bn层。
结合Cycle GAN思想的identity loss，在在第一对抗神经网络21和第二对抗神经网络22中设置第一损失函数(id loss)，例如，如图2A所示，第一对抗神经网络21的第一损失函数214，第二对抗神经网络22的第一损失函数224。根据输入的第一训练图像231和第二训练图像232，分别确定第一对抗神经网络21和第二对抗神经网络22的第一损失函数值。
图3示意性示出了根据本公开一个实施例的图像分解模型的训练方法在操作S220的流程图。图4示意性示出了根据本公开又一实施例的图像分解模型的训练方法在操作S220的流程图。
下面结合图2A、图3和图4对本公开实施例的操作S220进行详细的说明。如图3所示，操作S220包括操作S221至操作S223。
在操作S221中，将第一训练图像231输入第一对抗神经网络21的第一生成网络211，得到第一生成图像213。
在本公开的实施例中，第一训练图像可以是真实图像，例如，空车图像，作为第一对抗神经网络的输入图像。第一生成图像是根据第一训练图像生成的虚假图像。
在操作S222中，将第一训练图像231和第一生成图像213输入第一对抗神经网络21的第一判别网络212，得到第一图像识别结果。
将第一训练图像和第一生成图像输入第一判别网络后，第一判别网络对输入的图像进行判别，从而来判断第一生成器生成的第一生成图像的真假。
在操作S223中，根据第一图像识别结果确定第一对抗神经网络21的第一损失函数值。
在本公开的实施例中，第一损失函数例如可以选用L1损失函数，即最小绝对值偏差(LAD)，最小绝对值误差(LAE)。
示例性地，根据确定第一对抗神经网络的第一损失函数值，可以通过反向传播算法调整第一对抗神经网络21的参数。
如图4所示，操作S220包括操作S224至操作S226。
如图2A和图4所示，在操作S224中，将第二训练图像232输入第二对抗神经网络22的第二生成网络221，得到第二生成图像223。
在本公开的实施例中，第二训练图像可以是真实图像，例如，货物图像，作为第一对抗神经网络的输入图像。第二生成图像是根据第二训练图像生成的虚假图像。
示例性地，货物图像可以是空气，即空白图像，从而用于使第一对抗神经网络和第二对抗神经网络对于没有货物的图像也具有较好的分解效果。
在操作S225中，将第二训练图像232和第二生成图像223输入第二对抗神经网络22的第二判别网络222，得到第二图像识别结果。
将第二训练图像和第二生成图像输入第二判别网络后，第二判别网络对输入的图像进行判别，从而来判断第二生成器生成的第二生成图像的真假。
在操作S226中，根据第二图像识别结果确定第二对抗神经网络22的第一损失函数值。
在本公开的实施例中，第一损失函数例如可以选用L1损失函数，即最小绝对值偏差(LAD)，最小绝对值误差(LAE)。第一损失函数例如可以包括生成器损失函数。例如可以是第一生成网络的生成器损失函数，和/或，第二生成网络的生成器损失函数。
示例性地，根据确定第二对抗神经网络的第一损失函数值，可以通过反向传播算法调整第二对抗神经网络22的参数。
在本公开的实施例中，通过操作S220，输入第一对抗神经网络的分别是第一训练图像231和第二训练图像232。具体地，第一训练图像231是空车图像，第二训练图像232可以是空图像即没有货物的空图像，从而基于第一损失函数确定第一损失函数值，解决没有货物的车辆分解的问题。通过设置第一损失函数，并基于确定的第一损失函数值来调整第一对抗神经网络和第二对抗神经网络的参数，从而使训练得到的图像分解模型具有更高的识别精度，能很好的识别出没有货物的车辆，从而提高基于图像分解模型进行图像分解的效果。
在操作S230中，将第三训练图像分别输入第一对抗神经网络和第二对抗神经网络，分别确定第一对抗神经网络和第二对抗神经网络的第二损失函数值。
图5示意性示出了根据本公开实施例的图像分解模型的训练方法在操作S230的流程图。
下面结合图2A和图5对操作S230进行详细说明。其中，操作S230包括操作S231至操作S236。
在操作S231中，将第三训练图像233输入第一对抗神经网络21的第一生成网络211，得到第三生成图像213。
在本公开的实施例中，每张第三训练图像233有关联的第一训练图像231和第二训练图像232。即，每张第三训练图像233是将第一训练图像231和第二训练图像232进行融合生成的，在获取到第三训练图像233时，可以根据关联关系确定与第三训练图像关联的第一训练图像231和第二训练图像232。
在操作S232中，将第三生成图像213和与第三训练图像233相关联的第一训练图像231输入第一对抗神经网络21的第一判别网络212，得到第三图像识别结果。
在本公开的实施例中，第三生成图像213是第一生成网络根据输入的第三训练图像生成的虚假图像，通过将第三生成图像213以及与第三训练图像233相关联的第一训练图像231输入第一判别网络，来判断第一生成网络生成的第三生成图像213的真实程度。
示例性地，将融合生成的载货车辆图像输入第一生成网络211，生成车辆图像。
在操作S233中，根据第三图像识别结果确定第一对抗神经网络21的第二损失函数值。
在本公开的实施例中，第一对抗神经网络具有第二损失函数215，根据第二损失函数215以及第三图像识别结果确定第一对抗神经网络21的第二损失函数值。根据确定的第二损失函数值通过反向传播方式调整第一对抗神经网络的参数。
在操作S234中，将第三训练图像233输入第二对抗神经网络22的第二生成网络221，得到第四生成图像223。
在本公开的实施例中，第四生成图像223是第二生成网络221根据输入的第三训练图像生成的虚假图像。
示例性地，将融合生成的载货车辆图像输入第二生成网络221，生成货物图像。
在操作S235中，将第四生成图像223和与第三训练图像233相关联的第二训练图像232输入第二对抗神经网络的第二判别网络222，得到第四图像识别结果。
在本公开的实施例中，通过将第三生成图像213以及与第三训练图像233相关联的第二训练图像232输入第二判别网络222，来判断第二生成网络221生成的第四生成图像223的真实程度。
在操作S236中，根据第四图像识别结果确定第二对抗神经网络22的第二损失函数值。
在本公开的实施例中，第二对抗神经网络具有第二损失函数225，根据第二损失函数225以及第四图像识别结果确定第二对抗神经网络22的第二损失函数值。根据确定的第二损失函数值通过反向传播方式调整第二对抗神经网络的参数。
在本公开的实施例中，第二损失函数包括生成器损失函数和判别器损失函数，第二损失函数值包括生成器损失函数值和判别器损失函数值。
示例性地，生成器损失函数例如可以是L1损失函数，判别器损失函数例如可以采用PatchGAN结构，使用BCE(Binary Cross Entropy)损失函数。
例如，第一对抗生成网络通过获取第二损失函数中的生成器损失函数值，通过反向传播方式调整第一生成网络的参数，第一对抗生成网络通过获取第二损失函数中的判别损失函数值，通过反向传播方式调整第一判别网络的参数。
又例如，第二对抗生成网络通过获取第二损失函数中的生成器损失函数值，通过反向传播方式调整第二生成网络的参数，第二对抗生成网络通过获取第二损失函数中的判别损失函数值，通过反向传播方式调整第二判别网络的参数。
在操作S240中，针对获取的融合图像与第三训练图像的比较结果，确定第三损失函数值，融合图像是根据第一对抗神经网络和第二对抗神经网络的生成图像进行融合生成的。
图6示意性示出了根据本公开实施例的图像分解模型的训练方法在操作S240的流程图。
下面结合图2A和图6对操作S240进行详细说明。其中，操作S240包括操作S241至操作S243。
在本公开的实施例中，第三生成图像和第四生成图像分别是第一生成网络和第二生成网络根据输入的第三训练图像生成的虚假图像。
在操作S241中，根据图像融合算法将第三生成图像213和第四生成图像223融合，生成融合图像24。
在本公开的实施例中，图像融合算法例如可以通过前文所述的公式2将第三生成图像和第四生成图像进行融合，从而生成融合图像。当第一生成网络和第二生成网络经过训练后达到比较精准的效果，则生成的融合图像与第三训练图像的相似度较高。若生成的融合图像与第三训练图像的相似度较低，则说明第一生成网络和第二生成网络还未训练好，需要进一步进行训练。
如图8C所示，例如，图像a1是第一生成网络生成的空车图像，图像b1第二生成网络生成的货物图像，图像c1是通过融合算法将第一生成网络生成的空车图像和第二生成网络生成的货物图像进行融合的融合图像。
又例如，图像a2是第一生成网络生成的另一空车图像，图像b2第二生成网络生成的另一货物图像，图像c2是通过融合算法将第一生成网络生成的另一空车图像和第二生成网络生成的另一货物图像进行融合的融合图像。
在操作S242中，将融合图像与第三训练图像进行比较，生成比较结果。
示例性地，将融合图像24与第三训练图像233在比较器25中进行比较，生成比较结果26。例如，可以是比较融合图像24余第三训练图像的相似度等。
在操作S243中，根据比较结果，确定第三损失函数值。
示例性地，根据生成的比较结果26以及第三损失函数27，确定第三损失函数值的大小。第三损失函数值可以通过反向传播方式调整第一对抗神经网络21和第二对抗神经网络22的参数，从而使第一对抗神经网络和第二对抗神经网络的图像更加接近真实值。
示例性地，第三损失函数例如可以选用L1损失函数。第三损失函数例如可以包括生成器损失函数。例如可以是第一生成网络的生成器损失函数，和/或，第二生成网络的生成器损失函数。
在操作S250中，根据第一损失函数值、第二损失函数值以及第三损失函数值中的至少一者，以反向传播方式调整图像分解模型的参数，直至满足预设训练终止条件，第一损失函数值是基于第一损失函数计算得到的，第二损失函数值是基于第二损失函数计算的得到的，第三损失函数值是基于第三损失函数计算的得到的，第一损失函数、第二损失函数以及第三损失函数满足预设权重关系。
在本公开的实施例中，根据第一损失函数值、第二损失函数值以及第三损失函数值中的至少一者，以反向传播方式调整图像分解模型的参数，直至满足预设训练终止条件。
示例性地，可以是根据第一损失函数值以反向传播方式调整图像分解模型的参数。例如，根据第一损失函数值以反向传播的方式调整图像分解模型中的第一对抗神经网络中的第一生成网络的参数，和/或，第二对抗神经网络中的第二生成网络的参数。
示例性地，可以是根据第二损失函数值以反向传播方式调整图像分解模型的参数。例如，根据第二损失函数值以反向传播的方式调整图像分解模型中的第一对抗神经网络中的第一生成网络的参数及第一判别网络的参数，和/或，第二对抗神经网络中的第二生成网络的参数及第二判别网络的参数。
示例性地，可以根据第三损失函数值以反向传播方式调整图像分解模型的参数。例如，根据第三损失函数值以反向传播的方式调整图像分解模型中的第一对抗神经网络中的第一生成网络的参数，和/或，第二对抗神经网络中的第二生成网络的参数。
示例性地，根据第一损失函数值、第二损失函数值以及第三损失函数值中多个，以反向传播方式调整图像分解模型的参数，具体地，根据不同损失函数的权重，调整第一生成网络和第二生成网络的参数。
在本公开的实施例中，第一损失函数、第二损失函数以及第三损失函数满足预设权重关系，例如预设权重关系可以通过如下公式进行描述：
Totalloss＝Gloss×100.0+Dloss×1.0+idloss×1.0+Reconloss×1.0 (公式3)
其中，idloss表示第一损失函数，Gloss表示第二损失函数中的生成器损失函数，Dloss表示第二损失函数中的判别器损失函数，Reconloss表示第三损失函数。
在本公开的实施例中，第二损失函数中的生成器损失函数Gloss的预设权重大于其他损失函数(例如，第一损失函数、判别器损失函数和第三损失函数)的预设权重，从而可以使生成的图像更加接近真实值。
在对图像分解模型进行训练的过程中，通过确定第一损失函数值、第二损失函数值以及第三损失函数值中的至少一者，以反向传播方式调整图像分解模型的参数，直至满足预设训练终止条件。在调整图像分解模型的参数时，可以根据其中一个损失函数值来进行调整，也可以根据预设权重关系来进行调整，从而实现更快的训练图像分解模型，并且使训练得到的图像分解模型针对X射线图像具有更准确的分解效果。
在本公开的实施例中，通过反向传播方式调整图像分解模型的参数，直至满足预设训练终止条件，例如，当第一判别网络和第二判别网络无法判定第一生成网络生成的第三生成图像和第二生成网络生成的第四生成图像的真假，并且根据第三生成图像和第四生成图像融合生成的融合图像与第三训练图像相似度超过设定阈值，则可以图像分解模型训练完成。
在进行反向传播方式调整图像分解模型的参数时，可以通过梯度优化的方法，例如，可以包括批量梯度下降(BGD)、随机梯度下降(SGD)、小批量梯度下降(MBSGD)、带动量的梯度下降(Momentum)、自适应优化(AdaGrad)等方法。优选的，本实施例采用自适应动量估计算法(Adam)。
示例性地，使用自适应动量估计算法(Adam)，学习率参数2e-4，betas参数0.5～0.999。
图7示意性示出了根据本公开实施例的图像分解模型的训练方法在操作S250的流程图。
操作S250包括操作S251至操作S252。
在操作S251中，根据第二损失函数值中的生成器损失函数值，调整第一对抗神经网络的第一生成网络的参数以及调整第二对抗神经网络的第二生成网络的参数。
在操作S252中，根据第二损失函数值中的判别器损失函数值，调整第一对抗神经网络的第一判别网络的参数以及调整第二对抗神经网络的第二判别网络的参数。
在本公开的实施例中，在图像分解模型训练完成后，向图像分解模型输入测试图像，以获取测试结果。
在本公开的实施例中，通过获取对空车照射X射线，生成车辆图像，同时获取对货物照射X射线，生成货物图像，将车辆图像、货物图像以及经由车辆图像和货物图像融合生成的融合图像，得到训练集，例如包括75000张图像，用于训练图像分解模型。训练后的图像分解模型在5000张载货车辆真实数据库上进行测试，在k80服务器上训练，收敛速度约8小时，迭代次数50000次。Batch size设置为4。
图9示意性示出了根据本公开实施例的图像分解方法的流程图。
在本公开的示例性实施例中，还提供了一种图像分解方法，应用于X射线图像分解。如图9所示，图像分解方法300包括操作S310至操作S340。
在操作S310中，针对获取的X射线图像，进行负对数变换，生成待分解图像。
在本公开的实施例中，通过对X射线图像进行负对数变换，从而便于待分解图像在图像分解模型中的精准分解。
在操作S320中，通过图像分解模型中的第一生成网络对待分解图像进行处理，生成第一分解图像。
在操作S330中，通过图像分解模型中的第二生成网络对待分解图像进行处理，生成第二分解图像。
在本公开的实施例中，第一生成网络和第二生成网络都是经过训练后得到的，针对X射线图像具有较好的分解效果，能够准确获得X射线图像中的车辆图像和货物图像。
在操作S340中，对第一分解图像和第二分解图像进行负对数逆运算变换，生成图像分解结果。
在本公开的实施例中，通过再次得到第一分解图像和第二分解图像进行负对数逆运算变换，从而生成图像分解结果，便于针对该图像分解结果进行人工观察，或者机器处理等操作。
在本公开的实施例中，图像分解模型包括：第一对抗神经网络、第二对抗神经网络，第一对抗神经网络包括第一生成网络和第一判别网络，第二对抗神经网络包括第二生成网络和第二判别网络；其中，图像分解方法中所应用到的图像分解模型是根据上文所述图像分解模型训练方法得到的。
图10示意性示出了根据本公开实施例的图像分解方法对图像进行分解的示意图。
如图10所示，图像a、图像b、图像c和图像d可以是货物和车辆的图像，在获取到货物和车辆的图像后，对图像进行分解以分别获取车辆图像和货物图像。具体地，通过上文所述的图像分解方法分别对图像a、图像b、图像c和图像d进行分解，从而得到分解的车辆图像和货物图像。
根据本公开的实施例，通过在训练集中设置多种训练图像(例如第一训练图像、第二训练图像以及第三训练图像)，并根据输入的不同的训练图像得到的训练结果确定不同损失函数的损失函数值(例如第一损失函数值、第二损失函数值以及第三损失函数值)，来调整第一图像分解模型中的参数，使得训练出的图像分解模型针对X射线图像能够有效地对货物与车体重叠的X射线图像进行准确的分解，分别生成车体和货物的X射线图像，便于安检设备以及安检人员对货物图像进行进一步检测分析，提高安检的效率。
图11示意性示出了根据本公开实施例的图像分解模型的训练装置的结构框图。
如图11所示，本公开实施例的图像分解模型的训练装置400包括第一获取模块410、第一损失函数值确定模块420、第二损失函数值确定模块430、第三损失函数值确定模块440以及调整模块450。
第一获取模块410配置为获取训练集，训练集包括第一训练图像、第二训练图像和第三训练图像，第三训练图像是根据第一训练图像和第二训练图像融合生成的。在一实施例中，第一获取模块410可以用于执行前文描述的操作S210，在此不再赘述。
第一损失函数值确定模块420配置为将第一训练图像输入第一对抗神经网络，将第二训练图像输入第二对抗神经网络，分别确定第一对抗神经网络和第二对抗神经网络的第一损失函数值。在一实施例中，第一损失函数值确定模块420可以用于执行前文描述的操作S220，在此不再赘述。
第二损失函数值确定模块430配置为将第三训练图像分别输入第一对抗神经网络和第二对抗神经网络，分别确定第一对抗神经网络和第二对抗神经网络的第二损失函数值。第二损失函数值确定模块430可以用于执行前文描述的操作S230，在此不再赘述。
第三损失函数值确定模块440配置为针对获取的融合图像与第三训练图像的比较结果，确定第三损失函数值，融合图像是根据第一对抗神经网络和第二对抗神经网络的生成图像进行融合生成的。第三损失函数值确定模块440可以用于执行前文描述的操作S240，在此不再赘述。
调整模块450配置为根据第一损失函数值、第二损失函数值以及第三损失函数值中的至少一者，以反向传播方式调整图像分解模型的参数，直至满足预设训练终止条件，第一损失函数值是基于第一损失函数计算得到的，第二损失函数值是基于第二损失函数计算的得到的，第三损失函数值是基于第三损失函数计算的得到的，第一损失函数、第二损失函数以及第三损失函数满足预设权重关系。调整模块450可以用于执行前文描述的操作S250，在此不再赘述。
在本公开的一些示例性实施例中，第一损失函数值确定模块还包括第一子单元，第一子单元配置为：将第一训练图像输入第一对抗神经网络的第一生成网络，得到第一生成图像；将第一训练图像和第一生成图像输入第一对抗神经网络的第一判别网络，得到第一图像识别结果；根据第一图像识别结果确定第一对抗神经网络的第一损失函数值。
在本公开的一些示例性实施例中，第一损失函数值确定模块还包括第二子单元，第二子单元配置为：将第二训练图像输入第二对抗神经网络的第二生成网络，得到第二生成图像；将第二训练图像和第二生成图像输入第二对抗神经网络的第二判别网络，得到第二图像识别结果；根据第二图像识别结果确定第二对抗神经网络的第一损失函数值。
在本公开的一些示例性实施例中，第二损失函数值确定模块包括第三子单元，第三子单元配置为：将第三训练图像输入第一对抗神经网络的第一生成网络，得到第三生成图像；将第三生成图像和与第三训练图像相关联的第一训练图像输入第一对抗神经网络的第一判别网络，得到第三图像识别结果；根据第三图像识别结果确定第一对抗神经网络的第二损失函数值；将第三训练图像输入第二对抗神经网络的第二生成网络，得到第四生成图像；将第四生成图像和与第三训练图像相关联的第二训练图像输入第二对抗神经网络的第二判别网络，得到第四图像识别结果；根据第四图像识别结果确定第二对抗神经网络的第二损失函数值。
在本公开的一些示例性实施例中，第三损失函数值确定模块包括第四子单元，第四子单元配置为：根据图像融合算法将第三生成图像和第四生成图像融合，生成融合图像；将融合图像与第三训练图像进行比较，生成比较结果；根据比较结果，确定第三损失函数值。
在本公开的一些示例性实施例中，第二损失函数包括生成器损失函数和判别器损失函数，第二损失函数值包括生成器损失函数值和判别器损失函数值。
在本公开的一些示例性实施例中，调整模块包括第五子单元，第五子单元配置为：根据第二损失函数值中的生成器损失函数值，调整第一对抗神经网络的第一生成网络的参数以及调整第二对抗神经网络的第二生成网络的参数；以及根据第二损失函数值中的判别器损失函数值，调整第一对抗神经网络的第一判别网络的参数以及调整第二对抗神经网络的第二判别网络的参数。
根据本公开的实施例，第一获取模块410、第一损失函数值确定模块420、第二损失函数值确定模块430、第三损失函数值确定模块440以及调整模块450中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一获取模块410、第一损失函数值确定模块420、第二损失函数值确定模块430、第三损失函数值确定模块440以及调整模块450中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获取模块410、第一损失函数值确定模块420、第二损失函数值确定模块430、第三损失函数值确定模块440以及调整模块450中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图12示意性示出了根据本公开实施例的适于实现图像分解模型的训练方法或图像分解方法的电子设备的方框图。图12示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图12所示，根据本公开实施例的电子设备500包括处理器501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。处理器501例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器501还可以包括用于缓存用途的板载存储器。处理器501可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 503中，存储有电子设备500操作所需的各种程序和数据。处理器501、ROM502以及RAM 503通过总线504彼此相连。处理器501通过执行ROM 502和/或RAM 503中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 502和RAM 503以外的一个或多个存储器中。处理器501也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，电子设备500还可以包括输入/输出(I/O)接口505，输入/输出(I/O)接口505也连接至总线504。电子设备500还可以包括连接至I/O接口505的以下部件中的一项或多项：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的图像分解模型的训练方法或图像分解方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 502和/或RAM 503和/或ROM 502和RAM 503以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的图像分解模型的训练方法或图像分解方法。
在该计算机程序被处理器501执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分509被下载和安装，和/或从可拆卸介质511被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被处理器501执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (20)

1.一种图像分解模型的训练方法，其中，所述图像分解模型包括：
第一对抗神经网络、第二对抗神经网络，所述第一对抗神经网络包括第一生成网络和第一判别网络，所述第二对抗神经网络包括第二生成网络和第二判别网络；
所述训练方法包括：
获取训练集，所述训练集包括第一训练图像、第二训练图像和第三训练图像，所述第三训练图像是根据所述第一训练图像和所述第二训练图像融合生成的；
将所述第一训练图像输入所述第一对抗神经网络，将所述第二训练图像输入所述第二对抗神经网络，分别确定所述第一对抗神经网络和所述第二对抗神经网络的第一损失函数值；
将所述第三训练图像分别输入所述第一对抗神经网络和第二对抗神经网络，分别确定所述第一对抗神经网络和第二对抗神经网络的第二损失函数值；
针对获取的融合图像与第三训练图像的比较结果，确定第三损失函数值，所述融合图像是根据所述第一对抗神经网络和所述第二对抗神经网络的生成图像进行融合生成的；以及
根据所述第一损失函数值、第二损失函数值以及第三损失函数值中的至少一者，以反向传播方式调整所述图像分解模型的参数，直至满足预设训练终止条件，
其中，所述第一损失函数值是基于第一损失函数计算得到的，所述第二损失函数值是基于第二损失函数计算的得到的，所述第三损失函数值是基于第三损失函数计算的得到的，
所述第一损失函数、第二损失函数以及第三损失函数满足预设权重关系。
2.根据权利要求1所述的训练方法，其中，
将所述第一训练图像输入所述第一对抗神经网络，确定所述第一对抗神经网络的第一损失函数值包括：
将所述第一训练图像输入所述第一对抗神经网络的第一生成网络，得到第一生成图像；
将所述第一训练图像和所述第一生成图像输入所述第一对抗神经网络的第一判别网络，得到第一图像识别结果；
根据所述第一图像识别结果确定所述第一对抗神经网络的第一损失函数值。
3.根据权利要求1所述的训练方法，其中，
将所述第二训练图像输入所述第二对抗神经网络，确定所述第二对抗神经网络的第一损失函数值包括：
将所述第二训练图像输入所述第二对抗神经网络的第二生成网络，得到第二生成图像；
将所述第二训练图像和所述第二生成图像输入所述第二对抗神经网络的第二判别网络，得到第二图像识别结果；
根据所述第二图像识别结果确定所述第二对抗神经网络的第一损失函数值。
4.根据权利要求1所述的训练方法，其中，
所述将所述第三训练图像分别输入所述第一对抗神经网络和第二对抗神经网络，分别确定所述第一对抗神经网络和第二对抗神经网络的第二损失函数值包括：
将所述第三训练图像输入所述第一对抗神经网络的第一生成网络，得到第三生成图像；
将所述第三生成图像和与所述第三训练图像相关联的第一训练图像输入所述第一对抗神经网络的第一判别网络，得到第三图像识别结果；
根据所述第三图像识别结果确定所述第一对抗神经网络的第二损失函数值；
将所述第三训练图像输入所述第二对抗神经网络的第二生成网络，得到第四生成图像；
将所述第四生成图像和与所述第三训练图像相关联的第二训练图像输入所述第二对抗神经网络的第二判别网络，得到第四图像识别结果；
根据所述第四图像识别结果确定所述第二对抗神经网络的第二损失函数值。
5.根据权利要求4所述的训练方法，其中，
所述针对获取的融合图像与第三训练图像的比较结果，确定第三损失函数值，包括：
根据图像融合算法将所述第三生成图像和所述第四生成图像融合，生成融合图像；
将所述融合图像与所述第三训练图像进行比较，生成比较结果；
根据所述比较结果，确定第三损失函数值。
6.根据权利要求1至5中任一项所述的训练方法，其中，
所述第二损失函数包括生成器损失函数和判别器损失函数，
所述第二损失函数值包括生成器损失函数值和判别器损失函数值。
7.根据权利要求6所述的训练方法，其中，
所述第二损失函数中的生成器损失函数的预设权重大于其他损失函数的预设权重。
8.根据权利要求1所述的训练方法，其中，
所述训练集中的训练图像是经过负对数处理后的X射线图像。
9.根据权利要求6所述的训练方法，其中，
根据所述第二损失函数值，以反向传播方式调整所述图像分解模型的参数包括：
根据所述第二损失函数值中的生成器损失函数值，调整所述第一对抗神经网络的第一生成网络的参数以及调整所述第二对抗神经网络的第二生成网络的参数；以及
根据所述第二损失函数值中的判别器损失函数值，调整所述第一对抗神经网络的第一判别网络的参数以及调整所述第二对抗神经网络的第二判别网络的参数。
10.一种图像分解方法，应用于X射线图像分解，所述包括：
针对获取的X射线图像，进行负对数变换，生成待分解图像；
通过图像分解模型中的第一生成网络对所述待分解图像进行处理，生成第一分解图像；
通过图像分解模型中的第二生成网络对所述待分解图像进行处理，生成第二分解图像；以及
对所述第一分解图像和所述第二分解图像进行负对数逆运算变换，生成图像分解结果；
所述图像分解模型包括：
第一对抗神经网络、第二对抗神经网络，所述第一对抗神经网络包括第一生成网络和第一判别网络，所述第二对抗神经网络包括第二生成网络和第二判别网络；
其中，所述图像分解模型是根据权利要求1至9的训练方法得到的。
11.一种图像分解模型的训练装置，其中，所述图像分解模型包括：
第一对抗神经网络、第二对抗神经网络，所述第一对抗神经网络包括第一生成网络和第一判别网络，所述第二对抗神经网络包括第二生成网络和第二判别网络；
所述训练装置包括：
第一获取模块，配置为获取训练集，所述训练集包括第一训练图像、第二训练图像和第三训练图像，所述第三训练图像是根据所述第一训练图像和所述第二训练图像融合生成的；
第一损失函数值确定模块，配置为将所述第一训练图像输入所述第一对抗神经网络，将所述第二训练图像输入所述第二对抗神经网络，分别确定所述第一对抗神经网络和所述第二对抗神经网络的第一损失函数值；
第二损失函数值确定模块，配置为将所述第三训练图像分别输入所述第一对抗神经网络和第二对抗神经网络，分别确定所述第一对抗神经网络和第二对抗神经网络的第二损失函数值；
第三损失函数值确定模块，配置为针对获取的融合图像与第三训练图像的比较结果，确定第三损失函数值，所述融合图像是根据所述第一对抗神经网络和所述第二对抗神经网络的生成图像进行融合生成的；
调整模块，配置为根据所述第一损失函数值、第二损失函数值以及第三损失函数值中的至少一者，以反向传播方式调整所述图像分解模型的参数，直至满足预设训练终止条件，
其中，所述第一损失函数值是基于第一损失函数计算得到的，所述第二损失函数值是基于第二损失函数计算的得到的，所述第三损失函数值是基于第三损失函数计算的得到的，
所述第一损失函数、第二损失函数以及第三损失函数满足预设权重关系。
12.根据权利要求11所述的训练装置，其中，
所述第一损失函数值确定模块还包括第一子单元，所述第一子单元配置为：
将所述第一训练图像输入所述第一对抗神经网络的第一生成网络，得到第一生成图像；
将所述第一训练图像和所述第一生成图像输入所述第一对抗神经网络的第一判别网络，得到第一图像识别结果；
根据所述第一图像识别结果确定所述第一对抗神经网络的第一损失函数值。
13.根据权利要求11所述的训练装置，其中，
所述第一损失函数值确定模块还包括第二子单元，所述第二子单元配置为：
将所述第二训练图像输入所述第二对抗神经网络的第二生成网络，得到第二生成图像；
将所述第二训练图像和所述第二生成图像输入所述第二对抗神经网络的第二判别网络，得到第二图像识别结果；
根据所述第二图像识别结果确定所述第二对抗神经网络的第一损失函数值。
14.根据权利要求11所述的训练装置，其中，
所述第二损失函数值确定模块包括第三子单元，所述第三子单元配置为：
将所述第三训练图像输入所述第一对抗神经网络的第一生成网络，得到第三生成图像；
将所述第三生成图像和与所述第三训练图像相关联的第一训练图像输入所述第一对抗神经网络的第一判别网络，得到第三图像识别结果；
根据所述第三图像识别结果确定所述第一对抗神经网络的第二损失函数值；
将所述第三训练图像输入所述第二对抗神经网络的第二生成网络，得到第四生成图像；
将所述第四生成图像和与所述第三训练图像相关联的第二训练图像输入所述第二对抗神经网络的第二判别网络，得到第四图像识别结果；
根据所述第四图像识别结果确定所述第二对抗神经网络的第二损失函数值。
15.根据权利要求14所述的训练装置，其中，
所述第三损失函数值确定模块包括第四子单元，所述第四子单元配置为：
根据图像融合算法将所述第三生成图像和所述第四生成图像融合，生成融合图像；
将所述融合图像与所述第三训练图像进行比较，生成比较结果；
根据所述比较结果，确定第三损失函数值。
16.根据权利要求11至15中任一项所述的训练装置，其中，
所述第二损失函数包括生成器损失函数和判别器损失函数，
所述第二损失函数值包括生成器损失函数值和判别器损失函数值。
17.根据权利要求16所述的训练装置，其中，
所述调整模块包括第五子单元，所述第五子单元配置为：
根据所述第二损失函数值中的生成器损失函数值，调整所述第一对抗神经网络的第一生成网络的参数以及调整所述第二对抗神经网络的第二生成网络的参数；以及
根据所述第二损失函数值中的判别器损失函数值，调整所述第一对抗神经网络的第一判别网络的参数以及调整所述第二对抗神经网络的第二判别网络的参数。
18.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储可执行指令，所述可执行指令在被所述处理器执行时，实现根据权利要求1至9中任一项所述的训练方法，或者权利要求10所述的图像分解方法。
19.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时，实现根据权利要求1至9中任一项所述的训练方法，或者权利要求10所述的图像分解方法。
20.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至9中任一项所述的训练方法，或者权利要求10所述的图像分解方法。
CN202210874253.6A 2022-07-22 2022-07-22 图像分解模型的训练方法、装置以及图像分解方法 Pending CN117496174A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210874253.6A CN117496174A (zh) 2022-07-22 2022-07-22 图像分解模型的训练方法、装置以及图像分解方法
EP23187083.3A EP4322063A1 (en) 2022-07-22 2023-07-21 Method of training image decomposition model, method of decomposing image, electronic device, and storage medium
US18/225,060 US20240037816A1 (en) 2022-07-22 2023-07-21 Method of training image decomposition model, method of decomposing image, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210874253.6A CN117496174A (zh) 2022-07-22 2022-07-22 图像分解模型的训练方法、装置以及图像分解方法

Publications (1)

Publication Number Publication Date
CN117496174A true CN117496174A (zh) 2024-02-02

Family

ID=87429709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210874253.6A Pending CN117496174A (zh) 2022-07-22 2022-07-22 图像分解模型的训练方法、装置以及图像分解方法

Country Status (3)

Country Link
US (1) US20240037816A1 (zh)
EP (1) EP4322063A1 (zh)
CN (1) CN117496174A (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10719742B2 (en) * 2018-02-15 2020-07-21 Adobe Inc. Image composites using a generative adversarial neural network

Also Published As

Publication number Publication date
US20240037816A1 (en) 2024-02-01
EP4322063A1 (en) 2024-02-14

Similar Documents

Publication Publication Date Title
JP7476194B2 (ja) 画像処理のためのシステムおよび方法
EP3349048B1 (en) Inspection devices and methods for detecting a firearm in a luggage
US10268924B2 (en) Systems and methods for integrated cargo inspection
CN108303747B (zh) 检查设备和检测枪支的方法
EP3696725A1 (en) Tool detection method and device
US10497144B2 (en) Vehicle inspection system, and method and system for identifying part of vehicle
CN111382762A (zh) 空箱识别方法及系统
Borg et al. Test automation with grad-CAM Heatmaps-A future pipe segment in MLOps for Vision AI?
CN114821154A (zh) 一种基于深度学习的粮库通风窗状态检测算法
CN117496174A (zh) 图像分解模型的训练方法、装置以及图像分解方法
CN115331162A (zh) 一种跨尺度红外行人检测方法、系统、介质、设备及终端
Andersen et al. Domain adapted probabilistic inspection using deep probabilistic segmentation
CN116229195B (zh) 用于在线训练辐射图像识别模型的方法、辐射图像识别方法和装置
Chen et al. Foreign body intrusion monitoring and recognition approach in a power distribution room based on the improved YOLOv4 deep learning network
Lee et al. A study on defect detection in X-ray image castings based on unsupervised learning
CN117333844A (zh) 雾天车辆检测模型约束方法及装置、雾天车辆检测方法及装置
CN117788791A (zh) 一种基于多尺度融合的野外小目标检测方法
CN117726798A (zh) 图像目标检测模型的训练方法
CN118115976A (zh) 驾驶员监测方法、装置、电子设备及存储介质
CN116433891A (zh) 目标检测模型的训练方法和装置、目标检测方法
CN116416538A (zh) 用于在安检中判别图像的方法、装置、设备及介质
CN118072287A (zh) 障碍物检测方法、训练方法及装置
CN116704290A (zh) 一种生成训练样本的方法、装置、设备及介质
CN116958840A (zh) 基于深度学习的安全帽佩戴检测方法、装置及设备
CN117079067A (zh) 一种模型对抗攻击方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination