CN113920208A - 图像处理方法及装置、计算机可读存储介质和电子设备 - Google Patents

Abstract

本公开实施例提供了一种图像处理方法及装置、计算机可读存储介质和电子设备。该方法包括：获取待测原始图像；编码所述待测原始图像，生成所述待测原始图像的目标特征图；根据正样本原始图像获得与所述目标特征图匹配的第一目标解码向量，所述正样本原始图像为无异常区域的图像；解码所述第一目标解码向量，获得所述待测原始图像的待测生成图像。通过本公开实施例提供的技术方案，通过无异常区域的正样本原始图像来获得待测原始图像的待解码的解码向量，可以更加准确地重构待测原始图像，避免重构待测原始图像的异常区域。

Description

图像处理方法及装置、计算机可读存储介质和电子设备

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种图像处理方法、图像处理装置、计算机可读存储介质及电子设备。

背景技术

在医疗、安检等领域，数字化X射线成像技术(简称DR(digital radiography，数字X线摄影)成像)有着非常广泛的应用。在陆运和海运口岸车辆通关检查中，DR成像可以清晰呈现车辆内部结构，从而成为主要的辅助检查技术之一。检验人员可以通过观察DR图像识别车辆内的异常夹带，但是通过此种人工查验的方式，会造成低效和资源浪费等问题。

检测车辆中的异常夹带可以通过传统的减影技术来实现，减影方法利用相同型号的空车配准图作为参考，从待测图像中减去空车图像，从而凸现出异常的区域。但由于在实际安检过程中，车辆的型号多样，且扫描角度存在偏差，难以获得完全对应的空车配准图，配准图方法实施的效果受到很大限制。

另外，随着深度学习技术的全面发展，对图像中异常夹带的识别已经可以通过训练好的神经网络模型来完成。但是，相关技术中训练好的神经网络模型，有时候也会较好的重建原始输入图像的异常区域，这样，当该训练好的神经网络模型应用于异常区域检测的应用场景(例如上述识别车辆DR图像内的异常夹带)时，可能会导致原始输入图像中的异常区域漏检的问题出现。

因此，需要一种新的图像处理方法、图像处理装置、计算机可读存储介质及电子设备。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开实施例的目的在于提供一种图像处理方法、装置、计算机可读存储介质及电子设备，进而至少在一定程度上克服相关技术中存在的可能重建待测原始图像的异常区域的技术问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

本公开实施例提供了一种图像处理方法，所述方法包括：获取待测原始图像；编码所述待测原始图像，生成所述待测原始图像的目标特征图；根据正样本原始图像获得与所述目标特征图匹配的第一目标解码向量，所述正样本原始图像为无异常区域的图像；解码所述第一目标解码向量，获得所述待测原始图像的待测生成图像。

本公开实施例提供了一种图像处理装置，所述装置包括：待测原始图像获取单元，用于获取待测原始图像；目标特征图生成单元，用于编码所述待测原始图像，生成所述待测原始图像的目标特征图；第一目标解码向量获得单元，用于根据正样本原始图像获得与所述目标特征图匹配的第一目标解码向量，所述正样本原始图像为无异常区域的图像；待测生成图像获得单元，用于解码所述第一目标解码向量，获得所述待测原始图像的待测生成图像。

本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中所述的图像处理方法。

本公开实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的图像处理方法。

在本公开的一些实施例所提供的技术方案中，通过正样本原始图像，来获得与待测原始图像的目标特征图匹配的第一目标解码向量，由于该待测原始图像的第一目标解码向量是从正样本原始图像中获得的，不再包含待测原始图像中的异常区域，因此，对该第一目标解码向量进行解码后生成的待测生成图像可以避免对待测原始图像中的异常区域的重建。当将本公开实施例提供的技术方案应用于需要进行异常区域检测的应用场景时，可以提高待测原始图像中的异常区域的检测准确率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构的示意图；

图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图；

图3示意性示出了根据本公开的一实施例的图像处理方法的流程图；

图4示意性示出了根据本公开的一实施例的图像处理方法的流程图；

图5示意性示出了根据本公开的一实施例的图像处理方法应用于异常检测的示意图；

图6示意性示出了根据本公开的一实施例的图像处理方法的流程图；

图7示意性示出了根据本公开的一实施例的自编码器的模型结构示意图；

图8示意性示出了根据本公开的一实施例的局部特征编码的网络示意图；

图9示意性示出了根据本公开的一实施例的存储空间搜索的示意图；

图10示意性示出了根据本公开的一个实施例的图像处理装置的框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构100的示意图。

如图1所示，系统架构100可以包括终端设备101、102、103中的一种或多种，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群、云端服务器等。服务器105可以是提供各种服务的服务器。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机、可穿戴智能设备、智能家居设备和台式计算机等等。

图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。

以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本公开所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3或图4或图6所示的各个步骤。

在本公开的一个实施例中提出了一种图像处理方法，以对上述相关技术中存在的技术问题进行优化处理。具体参照图3所示，该图像处理方法适用于前述实施例中所述的电子设备，可以由图1中的终端设备101(也可以是终端设备102、103)或者服务器105中的任意一者执行，或者由终端设备101和服务器105之间交互执行，本公开对此不作限定。图3实施例提供的方法可以包括以下步骤S310至步骤S340：

在步骤S310中，获取待测原始图像。

本公开实施例中，均以待测原始图像为当前待测车辆的DR图像为例进行举例说明，当前待测车辆假设是当前待识别其是否有异常夹带的车辆，具体何种情况算是异常夹带，可以根据医疗、安检等不同场景而定。但本公开并不限定于此，当本公开实施例提供的技术方案应用于不同场景时，待测原始图像可以是当前待测对象的任意一种或者多种类型的图像。

本公开实施例中，也可以对获取的待测原始图像进行数据增强(例如直方图规定化)，并可以调整待测原始图像的尺寸例如宽和高至统一尺寸例如W×H，其中，W为统一宽度，H为统一高度，W和H均为大于0的实数。

在步骤S320中，编码所述待测原始图像，生成所述待测原始图像的目标特征图。

本公开实施例中，可以利用任意的有监督或者半监督或者无监督的神经网络模型来编码所述待测原始图像。考虑目标检测、分割等有监督神经网络模型需要依赖于海量的人工图像标注，并且存在异物种类复杂、无固定形态，对于训练过程中未出现过的异物更是难以识别的问题，在下面的实施例中，均以训练好的自编码器(Autoencoder)中的编码器对所述待测原始图像进行编码为例进行举例说明，但本公开并不限定于此，本公开实施例所提供的技术方案可以采用任意类型、任意结构的合适的编码器和解码器。

其中，自编码器是一种无监督神经网络模型，可以用于无监督异常检测领域。在无监督的情况下，通常缺少异常样本(具有异常区域的样本图像，也可以称之为负样本原始图像)来学习，算法的基本假设是正常样本(不具有异常区域的样本图像，也可以称之为正样本原始图像)和异常样本服从不同的分布，根据正样本原始图像训练的自编码器，能够将待测原始图像中的正常区域较好地重建还原，但是却无法将待测原始图像中的异常区域较好地重建还原，若待测原始图像中存在异常区域，则经过训练好的自编码器重建的待测生成图像与待测原始图像之间的重建误差较大，从而根据该较大的重建误差可以自动识别出该待测原始图像中的异常区域。

在示例性实施例中，编码所述待测原始图像，生成所述待测原始图像的目标特征图，可以包括：通过自编码器的编码器对所述待测原始图像进行处理，获得所述待测原始图像的融合特征图；对所述待测原始图像的融合特征图进行下采样，获得所述目标特征图。

在示例性实施例中，所述编码器可以包括卷积编码网络，所述卷积编码网络可以包括第一卷积单元、第二卷积单元和第三卷积单元。

本公开实施例中，卷积编码网络是自编码器的一种延伸，其利用卷积网络对图像特征提取和表示的优异性能，来替代传统自编码器的全连接网络。本公开实施例中，以卷积编码网络包括三个卷积单元(分别称之为第一卷积单元、第二卷积单元和第三卷积单元)为例进行举例说明，但本公开并不限定于此，可以根据实际需求设置相应深度的卷积单元。

在示例性实施例中，通过自编码器的编码器对所述待测原始图像进行处理，获得所述待测原始图像的融合特征图，可以包括：通过所述第一卷积单元对所述待测原始图像进行处理，获得所述待测原始图像的第一特征图；通过所述第二卷积单元对所述第一特征图进行处理，获得所述待测原始图像的第二特征图；通过所述第三卷积单元对所述第二特征图进行处理，获得所述待测原始图像的第三特征图；聚合所述待测原始图像的第一特征图、第二特征图和第三特征图，获得所述待测原始图像的融合特征图。本公开实施例可以将自编码器的编码器中的三个卷积单元输出的特征图(分别称之为第一特征图、第二特征图和第三特征图)进行信息的融合，获得输入的待测原始图像的融合特征图。具体可以参照下图7所示的编码器结构示意图。

在示例性实施例中，所述第一卷积单元、所述第二卷积单元和所述第三卷积单元之间可以呈残差连接。

在一定程度上，神经网络模型的深度越深，表达能力越强，性能越好。但是随着网络的加深，在反向传播的过程中，梯度连乘容易带来梯度消失的问题，使得网络得不到有效地训练。因此，本公开实施例中在编码器中引入残差连接，即对普通的卷积单元中的卷积层叠加跳跃连接(shortcut)，那么该对应的卷积层在求偏导的时候增加一个常数项，在反向传播的过程中，梯度连乘也不会造成梯度消失。

在示例性实施例中，对所述待测原始图像的融合特征图进行下采样，获得所述待测原始图像的目标特征图，可以包括：利用第一子像素卷积层对所述待测原始图像的融合特征图进行下采样，获得所述待测原始图像的目标特征图。

编码过程需要下采样，传统方法利用卷积或Pooling(池化)操作进行下采样，常伴随一定的信息丢失。为提升网络效果，本公开实施例在编码器后引入第一子像素卷积层进行下采样，利用周期采样将空间维度采样至通道维度，得到下采样之后的目标特征图。

在步骤S330中，根据正样本原始图像获得与所述目标特征图匹配的第一目标解码向量，所述正样本原始图像为无异常区域的图像。

本公开实施例中，还是以识别DR图像中的异常区域为例进行举例说明，此时异常区域可以是指当前待测车辆的DR图像中存在异常夹带的区域，也可以称之为异物区域，而不存在异常夹带的区域称之为正常区域。但本公开并不限定于此，图像中的正常区域和异常区域的划分是根据实际应用场景设定的。

本公开实施例中，可以预先划分一块存储空间(在下面的实施例中均以内存空间(memory space)为例进行举例说明，但本公开并不限定于此，其可以是任意的存储空间，可以是本地存储空间，也可以是非本地存储空间)用于存储解码向量，称之为解码向量存储空间。在训练自编码器的过程中，将所述正样本原始图像通过自编码器的编码器进行处理后，可以获得正样本原始图像的样本特征向量，在训练完成后，可以自动学习到各个正样本原始图像的所有样本特征向量的聚类中心。当通过自编码器的编码器获得待测原始图像的目标特征图后，可以根据待测原始图像的目标特征图，从上述解码向量存储空间中搜索与之匹配(例如相似度最高或者相似度超过设定阈值，向量之间的相似度的计算可以采用欧式距离、汉明距离等任意一种或者多种方式的组合，本公开对此不做限定)的正样本原始图像的样本特征向量的聚类中心作为目标聚类中心，以生成第一目标解码向量。

在示例性实施例中，根据正样本原始图像获得与所述目标特征图匹配的第一目标解码向量，可以包括：从解码向量存储空间中确定所述待测原始图像的目标解码向量存储子空间，所述目标解码向量存储子空间包括解码向量存储模块，其中所述解码向量存储模块用于存储所述正样本原始图像对应空间的样本特征向量的聚类中心；对所述目标特征图进行空间划分，获得所述目标特征图的目标子区域；编码各个目标子区域，获得各个目标子区域的目标特征向量；根据各个目标子区域的目标特征向量分别检索对应空间的解码向量存储模块，获得各个目标子区域的目标聚类中心；聚合各个目标子区域的目标聚类中心，生成所述第一目标解码向量。

考虑到相关技术中的自编码器对低分辨率的图像处理效果较好，但是对高分辨率的图像处理能力有限。而车辆的DR图像采集分辨率往往达到上千像素级别，若采用相关技术中的自编码器对整个图像进行重建，则效果达不到标准，而图像降采样后重建又会丢失图像细节。因此，本公开实施例中，对相关技术中的自编码器做了一定地改进，对输入的高分辨率的待测原始图像的目标特征图进行了空间划分，划分为多个目标子区域，对应的，在训练过程中，对高分辨率的正样本原始图像的样本特征向量可以进行类似的空间划分，将各个正样本原始图像对应空间的样本特征向量的聚类中心存储至对应空间的解码向量存储模块。这样，在检索待测原始图像对应空间的目标子区域的目标聚类中心时，可以在对应空间的解码向量存储模块中去搜索。即在输入的高分辨率的原始图像(可以包括待测原始图像，也可以包括正样本原始图像)的基础上，再基于局部特征进行编码，引入局部特征编码丰富编码空间信息，保证了高分辨率的待测原始图像和正样本原始图像的重建质量。具体可以参见下图8的描述。

在示例性实施例中，从解码向量存储空间中确定所述待测原始图像的目标解码向量存储子空间，可以包括：确定所述待测原始图像对应的目标车型；从所述解码向量存储空间中确定与所述目标车型对应的目标解码向量存储子空间，所述目标解码向量存储子空间中存储与所述目标车型对应的正样本原始图像的样本特征向量的聚类中心。

考虑到实际情况中，顶视车辆DR图像车型众多，不同车型图像差异大，共用同一个解码向量存储空间会彼此产生干扰。本公开实施例中，在训练过程中，可以对正样本原始图像进行车型分类，确定其车型信息，基于不同的车型信息将解码向量存储空间进行隔离，例如，所有正样本原始图像一共包括多少种(假设为N+1种，N为大于或等于0的整数)车型，则将解码向量存储空间划分为N+1个解码向量存储子空间，例如如图9所示，假设cls0表示第一种车型对应的解码向量存储子空间，用于存储第一种车型对应的正样本原始图像的样本特征向量的聚类中心；cls1表示第二种车型对应的解码向量存储子空间，用于存储第二种车型对应的正样本原始图像的样本特征向量的聚类中心；…，clsN表示第N+1种车型对应的解码向量存储子空间，用于存储第N+1种车型对应的正样本原始图像的样本特征向量的聚类中心。各类别的车型的正样本原始图像独享各自的存储空间例如内存空间。

当要从解码向量存储空间中检索待测原始图像的目标聚类中心时，可以首先确定待测原始图像的目标车型，然后根据目标车型确定目标解码向量存储子空间，图9实施例中，以目标解码向量存储子空间为cls1为例进行举例说明，即假设待测原始图像对应的目标车型为第二种车型。

在步骤S340中，解码所述第一目标解码向量，获得所述待测原始图像的待测生成图像。

在示例性实施例中，解码所述第一目标解码向量，获得所述待测原始图像的待测生成图像，可以包括：对所述第一目标解码向量进行上采样，获得所述待测原始图像的上采样特征图；通过自编码器的解码器对所述待测原始图像的上采样特征图进行处理，获得所述待测原始图像的待测生成图像。

在示例性实施例中，对所述第一目标解码向量进行上采样，获得所述待测原始图像的上采样特征图，可以包括：利用第二子像素卷积层对所述第一目标解码向量进行上采样，获得所述待测原始图像的上采样特征图。

在示例性实施例中，所述解码器(Decoder)可以包括卷积解码网络。

在示例性实施例中，所述卷积解码网络中的卷积单元之间可以呈残差连接。

本公开实施例中，卷积解码网络进行卷积解码的过程，是上述卷积编码网络的卷积编码的反过程，卷积解码网络中的卷积单元也可以采用残差连接，例如如图7所示，以卷积解码网络也包括三个卷积单元为例进行举例说明，但本公开并不限定于此。

于卷积编码网络不同的是，卷积解码网络需要进行上采样，相关技术中利用反卷积进行上采样，首先需要提升特征图的分辨率，加大了计算量，其次，由低分辨率空间转化为高分辨率空间需要进行插值，由于每一层信息都来自于前一层，将不会带来有利于重建的额外信息。本公开实施例中，为提升网络效果，引入第二子像素卷积层。

本公开实施例中，设上采样因子为c，c为大于0的实数，首先需要进行普通卷积得到c²个通道方向的特征图，然后利用周期采样将通道维度采样至空间维度得到高分辨率图像，这样只要定义目标损失函数，即可进行端到端学习。

本公开实施方式提供的图像处理方法，通过正样本原始图像，来获得与待测原始图像的目标特征图匹配的第一目标解码向量，由于该待测原始图像的第一目标解码向量是从正样本原始图像中获得的，不再包含待测原始图像中的异常区域，因此，对该第一目标解码向量进行解码后生成的待测生成图像可以避免对待测原始图像中的异常区域的重建。当将本公开实施例提供的技术方案应用于需要进行异常区域检测的应用场景时，可以提高待测原始图像中的异常区域的检测准确率。

图4实施例将上述图3实施例提出的技术方案应用至待测原始图像中的异常区域的检测。如图4所示，步骤S310-340的执行可以参照上述图3实施例，与上述图3实施例相比，其不同之处在于，还可以进一步包括以下步骤。

在步骤S410中，根据所述待测原始图像和所述待测生成图像生成差异图像。

例如，如图5所示，将待测原始图像经过编码器和解码器的处理后，重构待测生成图像，将待测原始图像与待测生成图像做差，获得差异图像。

在步骤S420中，根据所述差异图像识别所述待测原始图像中的异常区域。

例如，如图5，基于上述获得的差异图像可以定位待测原始图像和待测生成图像之间的重建或者重构误差，若待测原始图像中存在异常夹带的异常区域，由于第一目标解码向量是根据正样本原始图像获得的，剔除了待测原始图像中的异常区域，待测生成图像是由待测原始图像中的正常区域较好地重建而成的，因此待测原始图像和待测生成图像之间的重建误差较大，由此可以基于重建误差来判定待测原始图像中的异常区域。

图6示意性示出了根据本公开的一实施例的图像处理方法的流程图。如图6所示，与上述图3实施例相比，其不同之处在于，还可以进一步包括以下步骤。

在步骤S610中，获取所述正样本原始图像。

在示例性实施例中，获取所述正样本原始图像，可以包括：获取各种车型处于空车状态的数字X线摄影图像(DR图像)；从所述数字X线摄影图像中确定规定化参考图像；利用所述规定化参考图像，对所述数字X线摄影图像进行直方图规定化处理，获得所述正样本原始图像。

本公开实施例中，还是以车辆的DR图像为例进行举例说明，采集不同车型在空车状态下的DR图像，为了使得训练好的自编码器能够识别各种车型，采集时囊括尽可能多的车型。并对每种车型采集若干次，以尽可能的规避采集设备不稳定性带来的影响。或者，也可以从车辆DR成像数据库直接获取正常无夹带的DR图像作为所述正样本原始图像。

本公开实施例中，还可以调整所有正样本原始图像的尺寸至统一尺寸例如W×H。

本公开实施例中，还可以对上述采集的DR图像进行数据增强。由于实际情况下，各现场采集设备采集的DR图像的灰度级变化范围不一，有的现场采集的DR图像总体很暗，难以识别细节，可以采用直方图规定化使采集的DR图像的像素分布大概保持一致。

例如，可以从宽高尺寸为W×H的所有正样本原始图像中，统计选取一张成像像素值处于范围合理的图像作为规定化参考图像，应用直方图规定化对所有正样本原始图像进行标准化。

在步骤S620中，确定自编码器的目标损失函数。

在示例性实施例中，所述目标损失函数可以包括感知损失。其中，确定自编码器的目标损失函数，可以包括：通过训练完成的预训练模型对所述正样本原始图像进行处理，从所述预训练模型的第j层提取所述正样本原始图像的输出特征，j为大于或等于1的正整数；通过所述自编码器对所述正样本原始图像进行处理，获得所述正样本原始图像的正样本生成图像；通过训练完成的所述预训练模型对所述正样本生成图像进行处理，从所述预训练模型的第j层提取所述正样本生成图像的输出特征；根据所述正样本原始图像的输出特征和所述正样本生成图像的输出特征，确定所述感知损失。

在示例性实施例中，所述目标损失函数包括编码损失。其中，确定自编码器的目标损失函数，可以包括：通过所述自编码器的编码器对所述正样本原始图像进行处理，获得所述正样本原始图像的编码向量；从所述解码向量存储空间中确定与所述正样本原始图像的编码向量匹配的第二目标解码向量；获得所述第二目标解码向量的第一终止误差反向传播参数；根据所述正样本原始图像的编码向量和所述第一终止误差反向传播参数，确定所述编码损失。

在示例性实施例中，所述目标损失函数包括解码向量损失。其中，确定自编码器的目标损失函数，可以包括：通过所述自编码器的编码器对所述正样本原始图像进行处理，获得所述正样本原始图像的编码向量；获得所述正样本原始图像的编码向量的第二终止误差反向传播参数；从所述解码向量存储空间中确定与所述正样本原始图像的编码向量匹配的第二目标解码向量；根据所述第二终止误差反向传播参数和所述第二目标解码向量，确定所述解码向量损失。

本公开实施例中，网络可训练的参数可以包括3部分：Encoder(编码器)、Decoder(解码器)和解码向量模块(可以表示为Embedding Module)，对应的，目标损失函数Loss_all可以包括以下3部分：

Loss_all＝Loss_PCT+Loss_Encoder+Loss_embedding (1)

其中，上述公式(1)中，Loss_PCT表示解码器的重建误差，这里用感知损失来表示，Loss_Encoder表示编码器的编码损失，Loss_embedding表示解码向量损失。下面分别对其进行说明。

1)感知损失(Loss_PCT)：

在图像重建领域，相关技术中大多使用平均平方误差(Mean Squared Error，MSE)，但是由于MSE本身设计的问题，导致正样本生成图像细节上的模糊。本公开实施例中，采用感知损失(Perceptual Losses，PCT-Loss)来表示图像重建误差，感知损失不依赖于图像逐像素之间的差异，而是依赖图像高层特征之间的差异，能够不错的重建正样本原始图像的细节。

本公开实施例中，在自编码器的训练过程中，引入预训练模型，固定或冻结预训练模型的参数，不参与自编码器的训练。假设预训练模型用函数

表示，则预训练模型的第j层表示为

j为大于或等于1的正整数，则预训练模型的第j层的感知损失

如下公式(2)所示：

上述公式(2)中，y和

分别表示正样本原始图像和自编码器对正样本原始图像进行处理后输出的正样本生成图像；C_j、W_j、H_j分别表示预训练模型的第j层输出的特征图的通道数、宽、高。

例如，如图7所示，假设使用一个预先训练好的VGG(Visual Geometry GroupNetwork，视觉几何组网络)模型作为本公开实施例的预训练模型，例如可以选择标准VGG19模型，但本公开并不限定于此。

在训练自编码器的过程中，固定该预先训练好的VGG模型的参数，将正样本原始图像y输入至该预先训练好的VGG模型，取该预先训练好的VGG模型的Conv3层(第3层卷积层或者卷积层3，即假设j＝3，但本公开并不限定于此)作为输出，获得正样本原始图像y的输出特征；再将解码器输出的正样本生成图像

输入至该预先训练好的VGG模型，取该预先训练好的VGG模型的Conv3层作为输出，获得正样本生成图像

的输出特征，然后根据上述公式(2)计算感知损失，即选取VGG模型作为感知损失特征提取器，固定该VGG模型的卷积层3输出，分别提取正样本原始图像和正样本生成图像的输出特征，并以这两个输出特征之间的L2范数作为感知损失，结合下面描述的编码损失和解码向量损失训练自编码器。

2)编码损失(Loss_Encoder)：

本公开实施例中，可以根据以下公式计算编码损失：

上述公式(3)中，z(y)为正样本原始图像经过自编码器的编码器处理后生成的编码向量；e为从解码向量存储空间中搜索到的与所述正样本原始图像的编码向量匹配的第二目标解码向量；β为预设参数，例如可以设为0.25，但本公开并不限定于此；SG(e)表示第一终止误差反向传播参数。根据上述编码损失可以训练Encoder部分的参数。

3)解码向量损失(Loss_embedding)：

本公开实施例中，可以根据以下公式计算解码向量损失：

上述公式(4)中，SG(z(y))表示正样本原始图像的编码向量的第二终止误差反向传播参数，可以根据解码向量损失训练解码向量存储空间的参数，确定其中存储的正样本原始图像的样本特征向量的聚类中心。

在步骤S630中，根据所述正样本原始图像和所述目标损失函数训练所述自编码器，确定所述自编码器中的解码向量存储空间中存储的所述正样本原始图像的样本特征向量的聚类中心。

本公开实施例中，可以利用正常无夹带车辆的DR图像数据生成正样本原始图像，并引入预训练模型，定义目标损失函数，端到端训练自编码器。参数优化方法可以包括随机梯度下降方法、动量方法、Adam方法(一种可以替代随机梯度下降过程的一阶优化算法)等多种方式中的任意一种。

对于相关技术中的自编码器，如果异常样本和正常样本有相同的组成模式，例如局部的某些边缘；或者训练的解码器对异常样本的解码能力过强，则异常样本中的异常区域也能很好的重建。为了克服这个缺点，本公开实施例中提出了解码向量存储空间来增强自编码器的能力，根据目标损失函数训练之后的解码向量存储空间倾向于得到所有正样本原始图像的样本特征向量的聚类中心，对于给定的输入，不直接将编码器得到的编码向量输入到解码器，而是对其在解码向量存储空间中进行检索，找到最相关的目标聚类中心，然后将这些目标聚类中心进行聚合后输入到解码器进行解码。

在示例性实施例中，根据所述正样本原始图像和所述目标损失函数训练所述自编码器，确定所述自编码器中的解码向量存储空间中存储的所述正样本原始图像的样本特征向量的聚类中心，可以包括：确定所述正样本原始图像的车型信息；将所述正样本原始图像及其车型信息输入至所述自编码器，根据所述目标损失函数训练所述自编码器，其中根据所述正样本原始图像的车型信息将所述解码向量存储空间划分为与各个车型信息对应的独立的解码向量存储子空间，所述解码向量存储子空间中存储与各个车型信息对应的正样本原始图像的样本特征向量的聚类中心。

本公开实施例中，可以利用训练好的车型分类模型(例如，也可以选择一个VGG模型，但本公开并不限定于此，其可以是能够实现车型分类的任意模型)确定各个正样本原始图像的车型信息，进而在自编码器训练时，将正样本原始图像及其车型信息输入至自编码器，进行端到端训练，根据车型信息对解码向量存储空间进行划分和隔离成多个解码向量存储子空间。

本公开实施例中，可以获取车型分类模型的训练数据集，该训练数据集包括训练图像及其车型标签信息，将各个训练图像分别输入至该车型分类模型，该车型分类模型预测输出对应训练图像的预测车型信息，根据训练图像的车型标签信息及其预测车型信息，获得车型分类模型的损失函数，优化车型分类模型的模型参数，以最小化该车型分类模型的损失函数，获得训练完成的车型分类模型。该训练好的车型分类模型也可以用于待测原始图像的目标车型的预测。

在示例性实施例中，所述解码向量存储空间可以包括解码向量存储模块，其中所述解码向量存储模块用于存储所述正样本原始图像对应空间的样本特征向量的聚类中心。

在解码向量存储空间，若所有正样本原始图像的样本特征向量共享同一个解码向量存储空间，即共享聚类中心，则不同车型类别的正样本原始图像、同一正样本原始图像上的不同空间位置的样本特征向量之间均会产生干扰。因此，本公开实施例在解码向量存储空间建模时，可以根据车型信息和空间位置对解码向量存储空间进行隔离，例如根据车型信息将解码向量存储空间划分为至少一个解码向量存储子空间，每个解码向量存储子空间可以进一步根据空间位置的划分，划分为至少一个解码向量存储模块。在训练、测试自编码器过程中，各解码向量存储子空间之间相互独立。

例如，若假设解码向量存储空间大小为100×64，预先定义了10种车型，则将100×64的解码向量存储空间划分为10个10×64大小的解码向量存储子空间，第一个10×64大小的解码向量存储子空间对应第一种车型，…，第十个10×64大小的解码向量存储子空间对应第十种车型。假设训练了1000张正样本原始图像，得到100个64×1的聚类中心，则将100个64×1的聚类中心分别存储至对应车型的存储向量存储子空间中。若待测原始图像的目标车型为为第一种车型，则在第一个10×64大小的解码向量存储子空间中搜索目标聚类中心。

步骤S310-340的执行可以参照上述图3实施例。

本公开实施例中，自编码器训练完成后，自编码器的网络参数将固定，用于计算感知损失的预训练模型被移除，保留Encoder、Decoder和Embedding Module。将待测原始图像输入训练完成的自编码器，得到待测生成图像。比较待测生成图像和待测原始图像之间的差异图像，根据重建差异的大小判断待测原始图像中的异常区域的位置。

本公开实施方式提出的图像处理方法，可以是一种基于自编码器的车辆DR图像无监督异常检测方式，在训练阶段，利用获取的正常无夹带的正样本原始图像训练自编码器；在测试阶段或者在线使用阶段，对于待测原始图像中的正常区域可以较好的由自编码器恢复，待测原始图像中的异常区域则无法较好的恢复，从而可以基于待测原始图像和待测生成图像之间的重建误差的大小来定位待测原始图像中的异常区域。本公开实施例提供的方法无需大量的人工标注，并且理论上可以识别所有种类的夹带类型。

图8示意性示出了根据本公开的一实施例的局部特征编码的网络示意图。

如图8所示，本公开实施例中以将目标特征图划分为9个目标子区域为例进行举例说明，对应的，每个解码向量存储子空间包括9个解码向量存储模块。可以理解的是，这里的9个目标子区域仅是用于举例说明的，本公开并不限定于此，可以根据实际需求进行设置。

编码器是多次下采样的过程，各个卷积单元输出的特征图(例如第一特征图至第三特征图)的分辨率逐步下降，最终编码成目标特征图。本公开实施例中处理的待测原始图像和正样本原始图像的尺寸较大且纹理复杂，下采样次数过多不易于恢复输入的图像的细节信息，下采样次数过少则会造成最终形成的目标特征图或者编码向量的全连接层参数量过大。因此，本公开实施例中，不同于标准的自编码器，提出一种基于局部特征编码的自编码器。输入的待测原始图像经过卷积编码网络后形成降采样1/8倍率的目标特征图(如前文所述，也可以再进一步采用第一子像素卷积层进行下采样)，将该目标特征图均匀划分成9个8×8大小的目标子区域，每个目标子区域对应一个解码向量存储空间的解码向量存储模块，实现了解码向量存储空间与各个目标子区域的空间位置之间的关联性。然后可以对各目标子区域并行进行编码，分别获得9个目标子区域的特征图。再分别将9个8×8目标子区域的特征图扁平化处理，生成固定长度的目标特征向量，例如9个64×1的目标特征向量，然后将这9个64×1的目标特征向量输入至解码向量存储空间，在对应空间的解码向量存储模块中搜索对应空间的目标子区域的目标聚类中心。

下面以将上述实施例提出的图像处理方法应用于当前待测车辆的DR图像作为待测原始图像，进行异常检测为例进行举例说明：

首先，获取自编码器的训练数据集。这里假设从车辆DR成像数据库获取正常无夹带图像8133张作为正样本原始图像，并调整每张图像的宽高尺寸为512×256(即假设W＝512，H＝256)，从中统计选取一张成像像素值处于范围合理的图像作为规定化参考图像，应用直方图规定化对所有图像进行标准化。

训练一个VGG模型用作车型分类模型，对8133张正样本原始图像进行车型分类，这里假设对统计得到一共368种车型，将正样本原始图像及其车型信息输入到自编码器进行端到端训练。

2.网络结构:

具体的，输入512×256大小的正样本原始图像到卷积编码网络，利用卷积编码网络的卷积单元和残差连接进行特征提取，并由第一子像素卷积层进行3次下采样最终得到32×64×64大小的目标特征图。在卷积编码网络的每个卷积单元后可以跟随批量归一化操作，以加速网络收敛和提高网络的稳定性。

对32×64×64大小的目标特征图进行空间划分，假设基于8×8大小的窗口对卷积编码网络得到的32×64×64大小的目标特征图在空间位置上进行划分，得到32个尺寸为8×8×64的目标子区域。

假设定义解码向量存储模块大小为100×64，聚类中心个数为100，聚类中心长度为64，基于空间信息(32个空间位置)和车型信息(368种车型)，对解码向量存储空间建模得到368×32×100×64大小的解码向量存储空间。

在训练和测试过程中，各解码向量存储子空间内的参数更新互不影响。对32个目标子区域在目标车型的目标解码向量存储子空间中搜索最相关的目标聚类中心，进而进行聚合得到32×64×64的目标解码向量(训练过程中的第二目标解码向量或者测试过程中的第一目标解码向量)输入到卷积解码网络。

由于卷积解码网络和卷积编码网络互为镜像操作，最终可以得到512×256的待测生成图像或者正样本生成图像。

这里假设选取标准VGG19模型作为预训练模型，用作感知损失特征提取器，固定标准VGG19模型的Conv3层输出分别提取原始图像的输出特征和生成图像的输出特征，并以原始图像的输出特征和生成图像的输出特征之间的L2范数作为感知损失，结合编码损失和解码向量损失训练自编码器。

这里设置训练采用RMS优化器(一种有效且使用的深度神经网络优化算法)，学习率设置为0.003，batch size(批大小)设置为3，最多训练100个epoch(时期，训练数据集中的全部正样本原始图像训练完为一epoch)，在TensorBoard(是Tensorflow自带的一个强大的可视化工具，也是一个web应用程序套件)中同步观察目标损失函数曲线和正样本生成图像效果，在曲线下降至平稳变化阶段即可提前终止，防止网络过拟合。

在测试阶段，移除感知损失的分支即预训练模型，固定自编码器的模型参数，对392张待测原始图像进行测试，将待测生成图像和待测原始图像做差生成差异图像，设置合理阈值，计算差异图像超出阈值的区域并进行一定的后处理识别嫌疑的异常区域。

本公开实施方式提供了一种图像处理方法，可以应用于车辆DR图像无监督异常检测，至少具有如下技术效果：

第一方面，提出了一种车辆DR图像异常检测方式，便于安检人员快速定位车辆DR图像中的异常区域，提升安检效率，节约人力成本。

第二方面，基于自编码器的无监督异常检测方法不需要异常区域的标注信息，减少了收集数据集的难度，节约了标注成本。

第三方面，与相关技术中的自编码器相比，本公开实施例提出的基于局部特征编码的方法生成图像的尺寸更大，细节更丰富。

第四方面，基于解码向量存储空间的自编码器可以较好的抑制异常区域的重建。此外，基于车型信息和空间位置信息对解码向量存储空间进行隔离，有益于重建出更准确的图像。

第五方面，与基于MSE损失函数的自编码器的生成效果相比，本公开实施例提出的基于感知损失的训练方法生成图像质量更高。

以下介绍本公开的装置实施例，可以用于执行本公开上述的图像处理方法。对于本公开装置实施例中未披露的细节，请参照本公开上述的图像处理方法的实施例。

图10示意性示出了根据本公开的一个实施例的图像处理装置的框图。参照图10所示，根据本公开的一个实施例的图像处理装置1000可以包括：待测原始图像获取单元1010、目标特征图生成单元1020、第一目标解码向量获得单元1030以及待测生成图像获得单元1040。

其中，待测原始图像获取单元1010可以用于获取待测原始图像。目标特征图生成单元1020可以用于编码所述待测原始图像，生成所述待测原始图像的目标特征图。第一目标解码向量获得单元1030可以用于根据正样本原始图像获得与所述目标特征图匹配的第一目标解码向量，所述正样本原始图像为无异常区域的图像。待测生成图像获得单元1040可以用于解码所述第一目标解码向量，获得所述待测原始图像的待测生成图像。

在示例性实施例中，图像处理装置1000还可以包括：差异图像生成单元，可以用于根据所述待测原始图像和所述待测生成图像生成差异图像；异常区域识别单元，可以用于根据所述差异图像识别所述待测原始图像中的异常区域。

在示例性实施例中，目标特征图生成单元1020可以包括：融合特征图获得单元，可以用于通过自编码器的编码器对所述待测原始图像进行处理，获得所述待测原始图像的融合特征图；下采样单元，可以用于对所述待测原始图像的融合特征图进行下采样，获得所述目标特征图。

在示例性实施例中，所述编码器可以包括卷积编码网络，所述卷积编码网络可以包括第一卷积单元、第二卷积单元和第三卷积单元。其中，融合特征图获得单元可以包括：第一特征图获得单元，可以用于通过所述第一卷积单元对所述待测原始图像进行处理，获得所述待测原始图像的第一特征图；第二特征图获得单元，可以用于通过所述第二卷积单元对所述第一特征图进行处理，获得所述待测原始图像的第二特征图；第三特征图获得单元，可以用于通过所述第三卷积单元对所述第二特征图进行处理，获得所述待测原始图像的第三特征图；融合特征图生成单元，可以用于聚合所述待测原始图像的第一特征图、第二特征图和第三特征图，获得所述待测原始图像的融合特征图。

在示例性实施例中，所述第一卷积单元、所述第二卷积单元和所述第三卷积单元之间可以呈残差连接。

在示例性实施例中，下采样单元可以包括：子像素卷积层下采样单元，可以用于利用第一子像素卷积层对所述待测原始图像的融合特征图进行下采样，获得所述待测原始图像的目标特征图。

在示例性实施例中，第一目标解码向量获得单元1030可以包括：目标解码向量存储子空间确定单元，可以用于从解码向量存储空间中确定所述待测原始图像的目标解码向量存储子空间，所述目标解码向量存储子空间包括解码向量存储模块，其中所述解码向量存储模块用于存储所述正样本原始图像对应空间的样本特征向量的聚类中心；目标子区域划分单元，可以用于对所述目标特征图进行空间划分，获得所述目标特征图的目标子区域；目标特征向量获得单元，可以用于编码各个目标子区域，获得各个目标子区域的目标特征向量；目标聚类中心获得单元，可以用于根据各个目标子区域的目标特征向量分别检索对应空间的解码向量存储模块，获得各个目标子区域的目标聚类中心；第一目标解码向量生成单元，可以用于聚合各个目标子区域的目标聚类中心，生成所述第一目标解码向量。

在示例性实施例中，目标解码向量存储子空间确定单元可以包括：目标车型确定单元，可以用于确定所述待测原始图像对应的目标车型；目标解码向量存储子空间判定单元，可以用于从所述解码向量存储空间中确定与所述目标车型对应的目标解码向量存储子空间，所述目标解码向量存储子空间中存储与所述目标车型对应的正样本原始图像的样本特征向量的聚类中心。

在示例性实施例中，待测生成图像获得单元1040可以包括：上采样单元，可以用于对所述第一目标解码向量进行上采样，获得所述待测原始图像的上采样特征图；待测生成图像解码单元，可以用于通过自编码器的解码器对所述待测原始图像的上采样特征图进行处理，获得所述待测原始图像的待测生成图像。

在示例性实施例中，上采样单元可以包括：子像素卷积层上采样单元，可以用于利用第二子像素卷积层对所述第一目标解码向量进行上采样，获得所述待测原始图像的上采样特征图。

在示例性实施例中，所述解码器可以包括卷积解码网络。

在示例性实施例中，所述卷积解码网络中的卷积单元之间可以呈残差连接。

在示例性实施例中，图像处理装置1000还可以包括：正样本原始图像获取单元，可以用于获取所述正样本原始图像；目标损失函数确定单元，可以用于确定自编码器的目标损失函数；自编码器训练单元，可以用于根据所述正样本原始图像和所述目标损失函数训练所述自编码器，确定所述自编码器中的解码向量存储空间中存储的所述正样本原始图像的样本特征向量的聚类中心。

在示例性实施例中，正样本原始图像获取单元可以包括：正常车辆图像获取单元，可以用于获取各种车型处于空车状态的数字X线摄影图像；规定化参考图像确定单元，可以用于从所述数字X线摄影图像中确定规定化参考图像；数据增强单元，可以用于利用所述规定化参考图像，对所述数字X线摄影图像进行直方图规定化处理，获得所述正样本原始图像。

在示例性实施例中，所述目标损失函数可以包括感知损失。其中，目标损失函数确定单元可以包括：正样本原始图像输出特征提取单元，可以用于通过训练完成的预训练模型对所述正样本原始图像进行处理，从所述预训练模型的第j层提取所述正样本原始图像的输出特征，j为大于或等于1的正整数；正样本生成图像获得单元，可以用于通过所述自编码器对所述正样本原始图像进行处理，获得所述正样本原始图像的正样本生成图像；正样本生成图像输出特征提取单元，可以用于通过训练完成的所述预训练模型对所述正样本生成图像进行处理，从所述预训练模型的第j层提取所述正样本生成图像的输出特征；感知损失确定单元，可以用于根据所述正样本原始图像的输出特征和所述正样本生成图像的输出特征，确定所述感知损失。

在示例性实施例中，所述目标损失函数可以包括编码损失。其中，目标损失函数确定单元可以包括：正样本原始图像编码向量获得单元，可以用于通过所述自编码器的编码器对所述正样本原始图像进行处理，获得所述正样本原始图像的编码向量；第二目标解码向量确定单元，可以用于从所述解码向量存储空间中确定与所述正样本原始图像的编码向量匹配的第二目标解码向量；第一终止误差反向传播参数获得单元，可以用于获得所述第二目标解码向量的第一终止误差反向传播参数；编码损失确定单元，可以用于根据所述正样本原始图像的编码向量和所述第一终止误差反向传播参数，确定所述编码损失。

在示例性实施例中，所述目标损失函数可以包括解码向量损失。其中，目标损失函数确定单元可以包括：正样本原始图像编码向量获取单元，可以用于通过所述自编码器的编码器对所述正样本原始图像进行处理，获得所述正样本原始图像的编码向量；第二终止误差反向传播参数获得单元，可以用于获得所述正样本原始图像的编码向量的第二终止误差反向传播参数；第二目标解码向量获取单元，可以用于从所述解码向量存储空间中确定与所述正样本原始图像的编码向量匹配的第二目标解码向量；解码向量损失确定单元，可以用于根据所述第二终止误差反向传播参数和所述第二目标解码向量，确定所述解码向量损失。

在示例性实施例中，自编码器训练单元可以包括：车型信息确定单元，可以用于确定所述正样本原始图像的车型信息；模型训练单元，可以用于将所述正样本原始图像及其车型信息输入至所述自编码器，根据所述目标损失函数训练所述自编码器，其中根据所述正样本原始图像的车型信息将所述解码向量存储空间划分为与各个车型信息对应的独立的解码向量存储子空间，所述解码向量存储子空间中存储与各个车型信息对应的正样本原始图像的样本特征向量的聚类中心。

在示例性实施例中，所述解码向量存储空间可以包括解码向量存储模块，其中所述解码向量存储模块用于存储所述正样本原始图像对应空间的样本特征向量的聚类中心。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (22)

1.一种图像处理方法，其特征在于，包括：

获取待测原始图像；

编码所述待测原始图像，生成所述待测原始图像的目标特征图；

根据正样本原始图像获得与所述目标特征图匹配的第一目标解码向量，所述正样本原始图像为无异常区域的图像；

解码所述第一目标解码向量，获得所述待测原始图像的待测生成图像。

2.根据权利要求1所述的图像处理方法，其特征在于，还包括：

根据所述待测原始图像和所述待测生成图像生成差异图像；

根据所述差异图像识别所述待测原始图像中的异常区域。

3.根据权利要求1所述的图像处理方法，其特征在于，编码所述待测原始图像，生成所述待测原始图像的目标特征图，包括：

通过自编码器的编码器对所述待测原始图像进行处理，获得所述待测原始图像的融合特征图；

对所述待测原始图像的融合特征图进行下采样，获得所述目标特征图。

4.根据权利要求3所述的图像处理方法，其特征在于，所述编码器包括卷积编码网络，所述卷积编码网络包括第一卷积单元、第二卷积单元和第三卷积单元；其中，通过自编码器的编码器对所述待测原始图像进行处理，获得所述待测原始图像的融合特征图，包括：

通过所述第一卷积单元对所述待测原始图像进行处理，获得所述待测原始图像的第一特征图；

通过所述第二卷积单元对所述第一特征图进行处理，获得所述待测原始图像的第二特征图；

通过所述第三卷积单元对所述第二特征图进行处理，获得所述待测原始图像的第三特征图；

聚合所述待测原始图像的第一特征图、第二特征图和第三特征图，获得所述待测原始图像的融合特征图。

5.根据权利要求4所述的图像处理方法，其特征在于，所述第一卷积单元、所述第二卷积单元和所述第三卷积单元之间呈残差连接。

6.根据权利要求3所述的图像处理方法，其特征在于，对所述待测原始图像的融合特征图进行下采样，获得所述待测原始图像的目标特征图，包括：

利用第一子像素卷积层对所述待测原始图像的融合特征图进行下采样，获得所述待测原始图像的目标特征图。

7.根据权利要求1所述的图像处理方法，其特征在于，根据正样本原始图像获得与所述目标特征图匹配的第一目标解码向量，包括：

从解码向量存储空间中确定所述待测原始图像的目标解码向量存储子空间，所述目标解码向量存储子空间包括解码向量存储模块，其中所述解码向量存储模块用于存储所述正样本原始图像对应空间的样本特征向量的聚类中心；

对所述目标特征图进行空间划分，获得所述目标特征图的目标子区域；

编码各个目标子区域，获得各个目标子区域的目标特征向量；

根据各个目标子区域的目标特征向量分别检索对应空间的解码向量存储模块，获得各个目标子区域的目标聚类中心；

聚合各个目标子区域的目标聚类中心，生成所述第一目标解码向量。

8.根据权利要求7所述的图像处理方法，其特征在于，从解码向量存储空间中确定所述待测原始图像的目标解码向量存储子空间，包括：

确定所述待测原始图像对应的目标车型；

从所述解码向量存储空间中确定与所述目标车型对应的目标解码向量存储子空间，所述目标解码向量存储子空间中存储与所述目标车型对应的正样本原始图像的样本特征向量的聚类中心。

9.根据权利要求1所述的图像处理方法，其特征在于，解码所述第一目标解码向量，获得所述待测原始图像的待测生成图像，包括：

对所述第一目标解码向量进行上采样，获得所述待测原始图像的上采样特征图；

通过自编码器的解码器对所述待测原始图像的上采样特征图进行处理，获得所述待测原始图像的待测生成图像。

10.根据权利要求9所述的图像处理方法，其特征在于，对所述第一目标解码向量进行上采样，获得所述待测原始图像的上采样特征图，包括：

利用第二子像素卷积层对所述第一目标解码向量进行上采样，获得所述待测原始图像的上采样特征图。

11.根据权利要求9所述的图像处理方法，其特征在于，所述解码器包括卷积解码网络。

12.根据权利要求11所述的图像处理方法，其特征在于，所述卷积解码网络中的卷积单元之间呈残差连接。

13.根据权利要求1所述的图像处理方法，其特征在于，还包括：

获取所述正样本原始图像；

确定自编码器的目标损失函数；

根据所述正样本原始图像和所述目标损失函数训练所述自编码器，确定所述自编码器中的解码向量存储空间中存储的所述正样本原始图像的样本特征向量的聚类中心。

14.根据权利要求13所述的图像处理方法，其特征在于，获取所述正样本原始图像，包括：

获取各种车型处于空车状态的数字X线摄影图像；

从所述数字X线摄影图像中确定规定化参考图像；

利用所述规定化参考图像，对所述数字X线摄影图像进行直方图规定化处理，获得所述正样本原始图像。

15.根据权利要求13所述的图像处理方法，其特征在于，所述目标损失函数包括感知损失；其中，确定自编码器的目标损失函数，包括：

通过训练完成的预训练模型对所述正样本原始图像进行处理，从所述预训练模型的第j层提取所述正样本原始图像的输出特征，j为大于或等于1的正整数；

通过所述自编码器对所述正样本原始图像进行处理，获得所述正样本原始图像的正样本生成图像；

通过训练完成的所述预训练模型对所述正样本生成图像进行处理，从所述预训练模型的第j层提取所述正样本生成图像的输出特征；

根据所述正样本原始图像的输出特征和所述正样本生成图像的输出特征，确定所述感知损失。

16.根据权利要求13所述的图像处理方法，其特征在于，所述目标损失函数包括编码损失；其中，确定自编码器的目标损失函数，包括：

通过所述自编码器的编码器对所述正样本原始图像进行处理，获得所述正样本原始图像的编码向量；

从所述解码向量存储空间中确定与所述正样本原始图像的编码向量匹配的第二目标解码向量；

获得所述第二目标解码向量的第一终止误差反向传播参数；

根据所述正样本原始图像的编码向量和所述第一终止误差反向传播参数，确定所述编码损失。

17.根据权利要求13所述的图像处理方法，其特征在于，所述目标损失函数包括解码向量损失；其中，确定自编码器的目标损失函数，包括：

通过所述自编码器的编码器对所述正样本原始图像进行处理，获得所述正样本原始图像的编码向量；

获得所述正样本原始图像的编码向量的第二终止误差反向传播参数；

从所述解码向量存储空间中确定与所述正样本原始图像的编码向量匹配的第二目标解码向量；

根据所述第二终止误差反向传播参数和所述第二目标解码向量，确定所述解码向量损失。

18.根据权利要求13所述的图像处理方法，其特征在于，根据所述正样本原始图像和所述目标损失函数训练所述自编码器，确定所述自编码器中的解码向量存储空间中存储的所述正样本原始图像的样本特征向量的聚类中心，包括：

确定所述正样本原始图像的车型信息；

将所述正样本原始图像及其车型信息输入至所述自编码器，根据所述目标损失函数训练所述自编码器，其中根据所述正样本原始图像的车型信息将所述解码向量存储空间划分为与各个车型信息对应的独立的解码向量存储子空间，所述解码向量存储子空间中存储与各个车型信息对应的正样本原始图像的样本特征向量的聚类中心。

19.根据权利要求13至18任一项所述的图像处理方法，其特征在于，所述解码向量存储空间包括解码向量存储模块，其中所述解码向量存储模块用于存储所述正样本原始图像对应空间的样本特征向量的聚类中心。

20.一种图像处理装置，其特征在于，包括：

待测原始图像获取单元，用于获取待测原始图像；

目标特征图生成单元，用于编码所述待测原始图像，生成所述待测原始图像的目标特征图；

第一目标解码向量获得单元，用于根据正样本原始图像获得与所述目标特征图匹配的第一目标解码向量，所述正样本原始图像为无异常区域的图像；

待测生成图像获得单元，用于解码所述第一目标解码向量，获得所述待测原始图像的待测生成图像。

21.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至19中任一项所述的图像处理方法。

22.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至19中任一项所述的图像处理方法。

Images