CN112395635A - 图像处理、密钥生成、训练方法及装置、计算机可读介质 - Google Patents

Abstract

本公开提供了一种图像处理方法，包括：根据神经网络密钥和第一图像生成第二图像，其中，所述神经网络密钥携带用户的需求信息；所述需求信息表征用户通过识别神经网络进行图像处理的需求；将所述第二图像输入所述识别神经网络进行处理；在所述神经网络密钥正确的情况下，得到正确结果，所述正确结果为与所述需求信息对应的处理结果；在所述神经网络密钥错误的情况下，得到错误结果。本公开还提供一种密钥生成方法、一种训练方法、一种图像处理装置、一种密钥生成装置、一种计算机可读介质。

Description

图像处理、密钥生成、训练方法及装置、计算机可读介质

技术领域

本公开涉及计算机图像处理技术领域，特别涉及一种图像处理方法、一种密钥生成方法、一种训练方法、一种图像处理装置、一种密钥生成装置、一种计算机可读介质。

背景技术

随着人工智能的发展，神经网络被广泛应用到医学诊断、人脸识别、自动驾驶、工时统计、安防等生活中的各个方面。神经网络服务的离线分发方式是保障神经网络应用过程大量的数据传递、快速的服务响应的常用技术手段。通过离线分发，用户能够得到完整的神经网络模型，且所有能够接触到部署神经网络的设备的个体理论上都可以使用神经网络服务。

为了提高神经网络服务的安全性，在一些相关技术中提供了对神经网络进行加密的解决方案。但是，神经网络服务的安全性仍有待进一步提高。

发明内容

本公开提供一种图像处理方法、一种密钥生成方法、一种训练方法、一种图像处理装置、一种密钥生成装置、一种计算机可读介质。

第一方面，本公开实施例提供一种图像处理方法，包括：

根据神经网络密钥和第一图像生成第二图像，其中，所述神经网络密钥携带用户的需求信息；所述需求信息表征用户通过识别神经网络进行图像处理的需求；

将所述第二图像输入所述识别神经网络进行处理；

在所述神经网络密钥正确的情况下，得到正确结果，所述正确结果为与所述需求信息对应的处理结果；

在所述神经网络密钥错误的情况下，得到错误结果。

第二方面，本公开实施例提供一种密钥生成方法，包括：

根据用户的用户信息生成神经网络密钥，所述神经网络密钥携带有所述用户的需求信息；

其中，所述需求信息表征用户通过识别神经网络进行图像处理的需求；所述神经网络密钥用于对第一图像加密生成第二图像。

第三方面，本公开实施例提供一种训练方法，包括：

训练步骤：将随机数和需求向量输入初始密钥生成网络，生成样本密钥；

根据第一样本图像和所述样本密钥，生成第二样本图像；

根据所述第一样本图像和所述第二样本图像对初始识别神经网络进行训练；

根据所述样本密钥和所述初始识别神经网络的输出更新所述初始密钥生成网络的参数；

不满足训练结束条件时，返回训练步骤；满足训练结束条件时，以所述初始密钥生成网络为密钥生成网络，以所述初始识别神经网络为识别神经网络。

第四方面，本公开实施例提供一种图像处理装置，包括：

一个或多个处理器；

存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本公开实施例第一方面所述的图像处理方法；

一个或多个I/O接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。

第五方面，本公开实施例提供一种密钥生成装置，包括：

一个或多个处理器；

存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本公开实施例第二方面所述的密钥生成方法；

一个或多个I/O接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。

第六方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理核执行时实现本公开实施例第一方面所述的图像处理方法；

或本公开实施例第二方面所述的密钥生成方法；

或本公开实施例第三方面所述的训练方法。

在本公开实施例中，能够离线生成携带需求信息的神经网络密钥并离线分发给用户，避免了在线生成、传输密钥可能产生的信息泄露；当用户使用神经网络服务时，能够在离线场景下，用用户的神经网络密钥对待处理图像进行加密，而无需通过在线的方式获取加密的图像；识别神经网络能够对用神经网络密钥进行加密的图像进行处理，并且只在加密图像携带的神经网络密钥正确的情况下，输出正确的处理结果，从而在对神经网络进行加密的同时实现了神经网络服务的全离线场景，提升了神经网络服务的安全性；此外，本公开实施例中的识别神经网络能够根据神经网络密钥中携带的需求信息，向用户提供个性化的服务，并为根据用户的不同需求差异化收费提供了实现途径。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见。

图1是本公开实施例中一种图像处理方法的流程图。

图2是本公开实施例中图像处理的示意图。

图3是本公开实施例中对图像进行加密的示意图。

图4是本公开实施例中另一种图像处理方法中部分步骤的流程图。

图5是本公开实施例中又一种图像处理方法中部分步骤的流程图。

图6是本公开实施例中再一种图像处理方法中部分步骤的流程图。

图7是本公开实施例中对识别神经网络进行反训练的示意图。

图8是是本公开实施例中一种密钥生成方法的流程图。

图9是本公开实施例中一种训练方法的流程图。

图10是本公开实施例中联合训练的示意图。

图11是本公开实施例中对初始密钥生成网络进行预训练的示意图。

图12是本公开实施例中对初始识别神经网络进行预训练的示意图。

图13是本公开实施例中一种图像处理装置的组成框图。

图14是本公开实施例中一种密钥生成装置的组成框图。

具体实施方式

为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。

如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

第一方面，本公开实施例提供一种图像处理方法，参照图1，所述图像处理方法包括：

在步骤S110中，根据神经网络密钥和第一图像生成第二图像，其中，所述神经网络密钥携带用户的需求信息；所述需求信息表征用户通过识别神经网络进行图像处理的需求；

在步骤S120中，将所述第二图像输入所述识别神经网络进行处理；

在所述神经网络密钥正确的情况下，得到正确结果，所述正确结果为与所述需求信息对应的处理结果；

在所述神经网络密钥错误的情况下，得到错误结果。

在本公开实施例中，通过步骤S110生成的第二图像为加密图像，携带有神经网络密钥。神经网络密钥是根据用户信息通过加密算法生成的，识别神经网络具有与加密算法对应的解密算法，识别神经网络能够对携带神经网络密钥的加密图像进行处理。而盗取者由于无法通过加密算法产生正确的神经网络密钥，故即使盗取识别神经网络也无法正常使用。

在本公开实施例中，神经网络密钥正确是指第二图像携带的神经网络是通过正确的加密算法生成的，且携带需求信息；神经网络密钥错误包括第二图像不携带神经网络密钥或第二图像携带的密钥并不是通过正确的加密算法生成且携带需求信息的神经网络密钥。

图2为本公开实施例中通过识别神经网络对加密图像进行处理的示意图。如图2所示，将神经网络密钥和待处理图像（第一图像）叠加生成携带神经网络密钥的加密图像（第二图像）。将携带正确的神经网络密钥的第二图像输入识别神经网络中，识别神经网络能够根据密钥中携带的需求信息进行处理，并输出与需求信息对应的处理结果（正确结果）；若将没有携带神经网络密钥的第一图像输入识别神经网络，识别神经网络输出混乱的处理结果（错误结果）。此外，若输入识别神经网络中的图像携带错误的密钥，识别神经网络同样输出混乱的处理结果（错误结果）。

本公开实施例对需求信息不做特殊限定。例如，需求信息可以包括精度分级信息，识别神经网络能够根据精度分级信息确定处理精度；需求信息也可以包括功能区分信息，识别神经网络能够根据功能区分信息执行相应功能的处理；需求信息还可以包括权限等级信息。

在本公开实施例中，用户可以根据需求定制携带需求信息的神经网络密钥，从而在使用本公开实施例提供的识别神经网络时能够获得对应于需求信息的神经网络服务。

在本公开实施例中，神经网络密钥可以是用户在购买神经网络产品时获得的固定的密钥。用户在使用神经网络服务时，仅需输入其神经网络密钥，步骤S110能够在离线情况下根据第一图像和神经网络密钥生成加密的第二图像。

在本公开实施例提供的图像处理方法中，能够在离线场景下，用用户的神经网络密钥对待处理图像进行加密，而无需通过在线的方式获取加密的图像；识别神经网络能够对用神经网络密钥进行加密的图像进行处理，并且只在加密图像携带的神经网络密钥正确的情况下，输出正确的处理结果，从而在对神经网络进行加密的同时实现了神经网络服务的全离线场景，提升了神经网络服务的安全性；此外，本公开实施例中的识别神经网络能够根据神经网络密钥中携带的需求信息，向用户提供个性化的服务，并为根据用户的不同需求差异化收费提供了实现途径。

在本公开实施例中，对神经网络密钥的形式不做特殊限定。例如，神经网络密钥可以是二维码等图案（pattern），也可以是数字序列。

本公开实施例对如何执行步骤S110生成第二图像也不做特殊限定。作为一种可选的实施方式，在步骤S110中，将第一图像和神经网络密钥输入叠加器生成第二图像。如图3中（a）所示，神经网络密钥可以以图像块（Patch）的形式叠加到第一图像生成第二图像。

相应地，在一些实施例中，参照图4，步骤S110包括：

在步骤S111中，根据所述神经网络密钥生成图像块，所述图像块的尺寸小于所述第一图像的尺寸；

在步骤S112中，将所述图像块叠加到所述第一图像中的目标区域，生成所述第二图像。

本公开实施例对步骤S111中生成的图像块的尺寸不做特殊限定。作为一种可选的实施方式，图像块的尺寸满足叠加到第一图像以后，第二图像具有与第一图像相似的视觉效果，从而有利于根据第二图像对识别神经网络的处理结果进行验证。

在本公开实施例中对第一图像中的目标区域也不做特殊限定。例如，目标区域可以是第一图像中的任一区域，识别神经网络能够从第二图像中识别神经网络密钥；目标区域也可以是第一图像中的预定区域，识别神经网络能够从第二图像中对应于预定区域的区域识别神经网络密钥。

如图3中（b）所示，神经网络密钥可以以扰动的形式叠加到第一图像生成第二图像。

相应地，在一些实施例中，参照图5，步骤S110包括：

在步骤S113中，根据所述神经网络密钥生成扰动；

在步骤S114中，将所述扰动叠加到所述第一图像中，生成所述第二图像。

需要说明的是，在本公开实施例中，将扰动叠加到第一图像生成的第二图像具有与第一图像相似的视角效果，从而有利于根据第二图像对识别神经网络的处理结果进行验证。

本公开实施例还提供密钥消除机制。密钥消除机制是指使特定的神经网络密钥对识别神经网络无效。神经网络密钥失效后，将用该神经网络密钥加密的图像输入识别神经网络得到混乱的处理结果。

密钥消除机制能够用于限定神经网络密钥的有效期限或使用次数，并提供根据有效期限或使用次数差异化收费的实现途径，从而能够更好地满足用户的个性化需求。

相应地，在一些实施例中，参照图6，在步骤S110之前，所述图像处理方法还包括：

在步骤S130中，判断所述神经网络密钥是否满足失效条件；

当所述神经网络密钥满足所述失效条件时，在步骤S140中，根据所述第二图像生成多个反训练样本图像；所述反训练样本图像携带所述神经网络密钥；

在步骤S150中，根据多个所述反训练样本图像对所述识别神经网络进行反训练，以使所述神经网络密钥对所述识别神经网络失效；

当所述神经网络密钥不满足所述失效条件时，执行步骤S110。

需要说明的是，通过步骤S140生成的多个反训练样本图像均为携带神经网络密钥的加密图像，反训练样本图像携带的神经网络密钥与第二图像携带的神经网络密钥相同。本公开实施例对如何执行步骤S140生成多个反训练样本图像不做特殊限定。例如，根据第二图像执行行数据增强（Data Augmentation），生成多个反训练样本图像。

本公开实施例对数据增强的具体方法不做特殊限定。例如，可以包括以下数据增强方法中的至少一种：随机旋转，将第二图像随机旋转一个角度；随机裁剪，即随机切割掉第二图像的一部分；色彩抖动，即在颜色空间（如RGB）中，每个通道随机抖动一定的程度；高斯噪声，即在第二图像中随机加入少量噪声；水平翻转；竖直翻转。

图7为本公开实施例中对识别神经网络进行反训练的示意图。如图7所示，将携带神经网络密钥的加密图像（第二图像）输入识别神经网络之前，通过密钥失效判定器判断神经网络密钥是否失效。若神经网络密钥未失效，则将第二图像输入识别神经网络，并更新密钥失效判定器中该神经网络密钥的使用次数。若神经网络密钥失效，则通过数据增强生成多个携带该神经网络密钥的加密图像（反训练样本图像），将反训练样本图像输入识别神经网络，根据识别神经网络根据反训练样本得到的处理结果（反训练输出）和识别神经网络根据携带错误的神经网络密钥的图像或不携带神经网络密钥的图像得到的混乱的处理结果（错误结果）确定第一损失函数值（Loss），根据第一损失函数值进行反向传播，更新识别神经网络的参数，以使神经网络密钥对识别神经网络失效。图7中虚线箭头表示反向传播的梯度。

相应地，在一些实施例中，根据多个所述反训练样本图像对所述识别神经网络进行反训练的步骤包括：将所述反训练样本图像输入所述识别神经网络，得到反训练输出；根据所述反训练输出和所述识别神经网络的错误结果确定第一损失函数值；根据所述第一损失函数值进行反向传播，更新所述识别神经网络的参数。

本公开实施例对神经网络密钥的失效条件不做特殊限定。例如，在神经网络密钥具有有效期限的情况下，当超过有效期时则满足失效条件；在神经网络密钥具有有限使用次数的情况下，当神经网络密钥的使用次数超过该有限使用次数时则满足失效条件。

在本公开实施例中，在根据神经网络密钥的使用次数判断神经网络密钥是否失效的情况下，使用完识别神经网络之后，还需要更新神经网络密钥的已使用次数。

相应地，在一些实施例中，判断所述神经网络密钥是否满足失效条件的步骤包括：判断所述神经网络密钥的使用次数是否等于预定次数；当所述神经网络密钥的使用次数等于所述预定次数时，判定所述神经网络密钥失效。

相应地，在一些实施例中，当所述神经网络密钥不满足所述失效条件时，执行将所述第二图像输入识别神经网络进行处理的步骤之后，所述图像处理方法还包括：更新所述神经网络密钥的使用次数。

第二方面，本公开实施例提供一种密钥生成方法，参照图8，所述密钥生成方法包括：

在步骤S200中，根据用户的用户信息生成神经网络密钥，所述神经网络密钥携带有所述用户的需求信息；

其中，所述需求信息表征用户通过识别神经网络进行图像处理的需求；所述神经网络密钥用于对第一图像加密生成第二图像。

在本公开实施例中，密钥生成器执行步骤S200生成神经网络密钥。

在本公开实施例中，神经网络密钥用于对待处理图像进行加密，本公开实施例提供的识别神经网络能够对使用通过步骤S200生成的神经网络密钥加密的图像进行处理。

本公开实施例对用户信息不做特殊限定。例如，用户信息可以是用户画像数据，也可以是对描述用户需求的需求描述数据。

本公开实施例对需求信息也不做特殊限定。例如，需求信息可以包括精度分级信息，识别神经网络能够根据精度分级信息确定处理精度；需求信息也可以包括功能区分信息，识别神经网络能够根据功能区分信息执行相应功能的处理；需求信息还可以包括权限等级信息，能够对用户的权限进行区分。

在本公开实施例中，用户可以根据需求定制携带需求信息的神经网络密钥，从而在使用本公开实施例提供的识别神经网络时能够获得对应于需求信息的神经网络服务。

在本公开实施例中，步骤S200为全离线场景，通过步骤S200生成的携带需求信息的神经网络密钥通过离线方式分发给用户。

在本公开实施例提供的密钥生成方法中，能够离线生成携带需求信息的神经网络密钥并离线分发给用户，避免了在线生成、传输密钥可能产生的信息泄露；在神经网络密钥中嵌入需求信息，能够使本公开实施例中的识别神经网络根据神经网络密钥中携带的需求信息向用户提供个性化的服务，并为根据用户的不同需求差异化收费提供了实现途径。

在本公开实施例中，根据用户信息生成需求向量，需求向量携带用户的需求信息，并将需求向量作为密钥生成器的一个输入。

在本公开实施例中，密钥生成器可以是一个神经网络，即密钥生成网络。在本公开实施例中，密钥生成网络能够生成多种神经网络密钥，且在用户需求相同的情况下，密钥生成网络也能够生成多个不同的密钥，即达到密钥的多样性。作为一种可选的实施方式，密钥生成网络的输入除了需求向量以外，还包括随机数。针对同一需求向量，输入的随机数不同，生成的神经网络密钥也不同。

相应地，在一些实施例中，根据用户的用户信息生成神经网络密钥的步骤包括：根据所述用户信息生成需求向量，所述需求向量携带有所述需求信息；将随机数和所述需求向量输入密钥生成网络，生成所述神经网络密钥。

在本公开实施例中，随机数可以是人工输入的，也可以是系统自动生成的。本公开实施例对此不做特殊限定。

本公开实施例对如何根据用户信息生成需求向量不做特殊限定。作为一种可选的实施方式，采用嵌入网络实现需求嵌入，生成需求向量。

相应地，根据所述用户信息生成需求向量的步骤包括：将所述用户信息输入嵌入网络，生成所述需求向量。

在本公开实施例中，在嵌入网络中利用嵌入（Embedding）算法实现需求嵌入。

本公开实施例对用户信息不做特殊限定。例如，用户信息可以是用户画像数据，也可以是对描述用户需求的需求描述数据。

在本公开实施例中，需求信息包括精度分级信息、功能区分信息、权限等级信息中的至少一者。

需要说明的是，在本公开实施例中，精度分级信息描述用户定制的精度等级，例如，处理全精度的80%、60%、50%等；功能区分信息描述用户定制的功能，例如，对图像处理包括面部识别、体态姿势识别等；权限等级信息描述用户定制的权限。

第三方面，本公开实施例提供一种训练方法，参照图9，所述训练方法包括：

步骤S310至步骤330的训练步骤：在步骤S310中，根据第一样本随机数和第一样本需求向量对初始密钥生成网络进行训练，生成第一样本密钥；所述第一样本密钥携带用户的需求信息；

在步骤S320中，根据第一样本图像和所述第一样本密钥，生成第二样本图像；

在步骤S330中，根据所述第一样本图像和所述第二样本图像对初始识别神经网络进行训练；

不满足训练结束条件时，返回训练步骤；满足训练结束条件时，以所述初始密钥生成网络为密钥生成网络，以所述初始识别神经网络为识别神经网络。

在本公开实施例中，迭代执行步骤S310至步骤S330，直至初始密钥生成网络和初始识别神经网络满足训练结束条件。其中，训练结束条件可以是初始密钥生成网络和初始识别神经网络收敛；也可以设置迭代次数，当迭代执行步骤S310至步骤S330满足设置的迭代次数时，结束迭代，得到训练好的密钥生成网络和识别神经网络。本公开实施例对此不做特殊限定。

需要说明的是，在本公开实施例中，通过步骤S310至步骤S330对初始密钥生成网络和初始识别神经网络同时进行训练，得到的训练好的密钥生成网络具有能够生成携带需求信息的神经网络密钥的加密算法，得到的训练好的识别神经网络具有能够处理用该密钥生成网络生成的神经网络密钥加密的图像的解密算法。

还需要说明的是，在本公开实施例中，第一样本随机数仅用于区分对初始密钥生成网络和初始识别神经网络进行联合训练的随机数样本集、对初始密钥生成网络进行单独训练的随机数样本集、对初始识别神经网络进行单独训练的随机数样本集，而不特指某一个具体的随机数；多个训练步骤中第一样本随机数可以不同、也可以相同。

在本公开实施例中，第一样本需求向量仅用于区分对初始密钥生成网络和初始识别神经网络进行联合训练的需求向量样本集、对初始密钥生成网络进行单独训练的需求向量样本集、对初始识别神经网络进行单独训练的需求向量样本集，不用于特指某一个具体的需求向量；多个训练步骤中第一样本需求向量可以相同、也可以不同。

在本公开实施例中，第一样本图像、第二样本图像仅用于区分对初始密钥生成网络和初始识别神经网络进行联合训练的图像样本集、对初始密钥生成网络进行单独训练的图像样本集、对初始识别神经网络进行单独训练的图像样本集，不用于特指某一个具体的图像；多个训练步骤中第一样本图像可以相同、也可以不同。

图10是本公开实施例中对初始密钥生成网络和初始识别神经网络进行联合训练的示意图。如图10所示，训练步骤包括：将第一样本随机数和第一样本需求向量输入初始密钥生成网络，生成第一样本密钥；通过叠加器将第一样本图像和第一样本密钥叠加生成携带第一样本密钥的第二样本图像；将第一样本图像输入初始识别神经网络，得到第一处理结果，第一处理结果为混乱的处理结果；将第二样本图像输入初始识别神经网络，得到第二处理结果，第二处理结果为对应于第一样本密钥携带的需求信息的处理结果；根据第一处理结果确定第二损失函数值；根据第二处理结果确定第三损失函数值；根据第二损失函数值和第三损失函数值进行反向传播，更新初始识别神经网络的参数；通过多样性判别器对第一样本密钥的多样性进行判别，并根据多样性判别结果确定第四损失函数值，然后根据第二损失函数值、第三损失函数值和第四损失函数值进行反向传播，更新初始密钥生成网络的参数。图10中的虚线箭头表示对应的反向传播的梯度。在初始密钥生成网络和初始识别神经网络满足训练结束条件的情况下，得到训练好的密钥生成网络和训练好的识别神经网络；在不满足训练结束条件的情况下，迭代执行训练步骤。

在本公开实施例中，在对初始密钥生成网络和初始识别神经网络进行联合训练之前，先对初始密钥生成网络单独进行训练，从而使密钥生成网络生成的神经网络密钥能够携带需求信息，且针对同一需求向量能够生成多种神经网络密钥，即达到神经网络密钥的多样性。

相应地，在一些实施例中，根据第一样本随机数和第一样本需求向量对初始密钥生成网络进行训练的步骤之前，所述训练方法还包括：对所述初始密钥生成网络进行预训练。

图11是本公开实施例中对初始密钥生成网络进行预训练的示意图。如图11所示，训练步骤包括：将第二样本随机数和第二样本需求向量输入初始密钥生成网络，生成第二样本密钥；用解码网络对第二样本密钥进行解码，得到第三样本需求向量；根据第三样本需求向量与第二样本需求向量确定第五损失函数值；根据第五损失函数值进行反向传播，更新解码网络的参数；通过多样性判别器对第二样本密钥的多样性进行判别，并根据多样性判别结果确定第六损失函数值，然后根据第五损失函数值、第六损失函数值进行反向传播，更新初始密钥生成网络的参数。图11中的虚线箭头表示对应的反向传播的梯度。在初始密钥生成网络和解码网络满足训练结束条件的情况下，对初始密钥生成网络的预训练结束；在不满足训练结束条件的情况下，迭代执行训练步骤。

在本公开实施例中，在对初始密钥生成网络和初始识别神经网络进行联合训练之前，还可以对初始识别神经网络进行单独训练。

相应地，在一些实施例中，根据第一样本随机数和第一样本需求向量对初始密钥生成网络进行训练的步骤之前，所述训练方法还包括：对所述初始识别神经网络进行预训练。

图12是本公开实施例中对初始识别神经网络进行预训练的示意图。如图12所示，训练步骤包括：通过叠加器将第三样本图像和第三样本密钥叠加生成携带第三样本密钥的第四样本图像；将第三样本图像输入初始识别神经网络，得到第三处理结果，第三处理结果为混乱的处理结果；将第四样本图像输入初始识别神经网络，得到第四处理结果，第四处理结果为对应于第三样本密钥携带的需求信息的处理结果；根据第三处理结果确定第七损失函数值；根据第四处理结果确定第八损失函数值；根据第七损失函数值和第八损失函数值进行反向传播，更新初始识别神经网络的参数。图12中的虚线箭头表示对应的反向传播的梯度。在初始识别神经网络满足训练结束条件的情况下，对初始识别神经网络的预训练结束；在不满足训练结束条件的情况下，迭代执行训练步骤。

在本公开实施例中，在对初始密钥生成网络和初始识别神经网络进行联合训练时，可以用初始嵌入网络根据用户信息生成第一样本需求向量，并在对初始密钥生成网络和初始识别神经网络进行联合训练的同时对初始嵌入网络进行训练，最终得到与密钥生成网络、识别神经网络配套的嵌入网络。

相应地，在一些实施例中，根据第一样本随机数和第一样本需求向量对初始密钥生成网络进行训练的步骤之前，所述训练方法还包括：将用户信息输入初始嵌入网络，生成所述第一样本需求向量。

如图10所示，训练初始嵌入网络的步骤包括：将用户画像数据或需求描述数据输入初始嵌入网络，生成需求向量；根据更新参数后的初始密钥生成网络进行反向传播，更新初始嵌入网络。最终得到与密钥生成网络、识别神经网络配套的嵌入网络。

相应地，在一些实施例中，所述训练方法还包括：根据所述初始密钥生成网络更新所述初始嵌入网络；在所述初始嵌入网络收敛的情况下，以所述初始嵌入网络为嵌入网络。

第四方面，参照图13，本公开实施例提供一种图像处理装置，包括：

一个或多个处理器101；

存储器102，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任意一项的图像处理方法；

一个或多个I/O接口103，连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。

其中，处理器101为具有数据处理能力的器件，其包括但不限于中央处理器（CPU）等；存储器102为具有数据存储能力的器件，其包括但不限于随机存取存储器（RAM，更具体如SDRAM、DDR等）、只读存储器（ROM）、带电可擦可编程只读存储器（EEPROM）、闪存（FLASH）；I/O接口（读写接口）103连接在处理器101与存储器102间，能实现处理器101与存储器102的信息交互，其包括但不限于数据总线（Bus）等。

在一些实施例中，处理器101、存储器102和I/O接口103通过总线104相互连接，进而与计算设备的其它组件连接。

第五方面，参照图14，本公开实施例提供一种密钥生成装置，包括：

一个或多个处理器201；

存储器202，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任意一项的密钥生成方法；

一个或多个I/O接口203，连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。

其中，处理器201为具有数据处理能力的器件，其包括但不限于中央处理器（CPU）等；存储器202为具有数据存储能力的器件，其包括但不限于随机存取存储器（RAM，更具体如SDRAM、DDR等）、只读存储器（ROM）、带电可擦可编程只读存储器（EEPROM）、闪存（FLASH）；I/O接口（读写接口）203连接在处理器201与存储器202间，能实现处理器201与存储器202的信息交互，其包括但不限于数据总线（Bus）等。

在一些实施例中，处理器201、存储器202和I/O接口203通过总线204相互连接，进而与计算设备的其它组件连接。

第六方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理核执行时实现本公开实施例第一方面所述的图像处理方法；或本公开实施例第二方面所述的密钥生成方法；或本公开实施例第三方面所述的训练方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (24)

1.一种图像处理方法，包括：

根据神经网络密钥和第一图像生成第二图像，其中，所述神经网络密钥携带用户的需求信息；所述需求信息表征用户通过识别神经网络进行图像处理的需求；

将所述第二图像输入所述识别神经网络进行处理；

在所述神经网络密钥正确的情况下，得到正确结果，所述正确结果为与所述需求信息对应的处理结果；

在所述神经网络密钥错误的情况下，得到错误结果。

2.根据权利要求1所述的图像处理方法，其中，将所述第二图像输入所述识别神经网络进行处理的步骤之前，所述图像处理方法还包括：

判断所述神经网络密钥是否满足失效条件；

当所述神经网络密钥满足所述失效条件时，根据所述第二图像生成多个反训练样本图像；所述反训练样本图像携带所述神经网络密钥；

根据多个所述反训练样本图像对所述识别神经网络进行反训练，以使所述神经网络密钥对所述识别神经网络失效；

当所述神经网络密钥不满足所述失效条件时，执行将所述第二图像输入识别神经网络进行处理的步骤。

3.根据权利要求2所述的图像处理方法，其中，根据多个所述反训练样本图像对所述识别神经网络进行反训练的步骤包括：

将所述反训练样本图像输入所述识别神经网络，得到反训练输出；

根据所述反训练输出和所述识别神经网络的错误结果确定第一损失函数值；

根据所述第一损失函数值进行反向传播，更新所述识别神经网络的参数。

4.根据权利要求2或3所述的图像处理方法，其中，判断所述神经网络密钥是否满足失效条件的步骤包括：

判断所述神经网络密钥的使用次数是否等于预定次数；

当所述神经网络密钥的使用次数等于所述预定次数时，判定所述神经网络密钥失效。

5.根据权利要求4所述的图像处理方法，其中，当所述神经网络密钥不满足所述失效条件时，执行将所述第二图像输入识别神经网络进行处理的步骤之后，所述图像处理方法还包括：

更新所述神经网络密钥的使用次数。

6.根据权利要求1至3中任意一项所述的图像处理方法，其中，根据神经网络密钥和第一图像生成第二图像的步骤包括：

根据所述神经网络密钥生成图像块，所述图像块的尺寸小于所述第一图像的尺寸；

将所述图像块叠加到所述第一图像中的目标区域，生成所述第二图像。

7.根据权利要求1至3中任意一项所述的图像处理方法，其中，根据神经网络密钥和第一图像生成第二图像的步骤包括：

根据所述神经网络密钥生成扰动；

将所述扰动叠加到所述第一图像中，生成所述第二图像。

8.一种密钥生成方法，包括：

根据用户的用户信息生成神经网络密钥，所述神经网络密钥携带有所述用户的需求信息；

其中，所述需求信息表征用户通过识别神经网络进行图像处理的需求；所述神经网络密钥用于对第一图像加密生成第二图像。

9.根据权利要求8所述的密钥生成方法，其中，根据用户的用户信息生成神经网络密钥的步骤包括：

根据所述用户信息生成需求向量，所述需求向量携带有所述需求信息；

将随机数和所述需求向量输入密钥生成网络，生成所述神经网络密钥。

10.根据权利要求9所述的密钥生成方法，其中，根据所述用户信息生成需求向量的步骤包括：

将所述用户信息输入嵌入网络，生成所述需求向量。

11.根据权利要求8至10中任意一项所述的密钥生成方法，其中，所述用户信息包括用户画像数据和/或需求描述数据。

12.根据权利要求8至10中任意一项所述的密钥生成方法，其中，所述需求信息包括精度分级信息、功能区分信息、权限等级信息中的至少一者。

13.一种训练方法，包括：

训练步骤：根据第一样本随机数和第一样本需求向量对初始密钥生成网络进行训练，生成第一样本密钥，所述第一样本密钥携带用户的需求信息；根据第一样本图像和所述第一样本密钥，生成第二样本图像；根据所述第一样本图像和所述第二样本图像对初始识别神经网络进行训练；

不满足训练结束条件时，返回训练步骤；满足训练结束条件时，以所述初始密钥生成网络为密钥生成网络，以所述初始识别神经网络为识别神经网络。

14.根据权利要求13所述的训练方法，其中，根据所述第一样本图像和所述第二样本图像对初始识别神经网络进行训练的步骤包括：

将所述第一样本图像输入所述初始识别神经网络，得到第一处理结果；

将所述第二样本图像输入所述初始识别神经网络，得到第二处理结果；

根据所述第一处理结果确定第二损失函数值；

根据所述第二处理结果确定第三损失函数值；

根据所述第二损失函数值和所述第三损失函数值进行反向传播，更新所述初始识别神经网络的参数。

15.根据权利要求14所述的训练方法，其中，根据第一样本随机数和第一样本需求向量对初始密钥生成网络进行训练的步骤包括：

根据所述第一样本密钥的多样性判别结果确定第四损失函数值；

根据所述第二损失函数值、所述第三损失函数值和所述第四损失函数值进行反向传播，更新所述初始密钥生成网络的参数。

16.根据权利要求13所述的训练方法，其中，根据第一样本随机数和第一样本需求向量对初始密钥生成网络进行训练的步骤之前，所述训练方法还包括：

对所述初始密钥生成网络进行预训练。

17.根据权利要求16所述的训练方法，其中，对所述初始密钥生成网络进行预训练的步骤包括：

将第二样本随机数和第二样本需求向量输入所述初始密钥生成网络，生成第二样本密钥，所述第二样本密钥携带所述需求信息；

通过解码网络对所述第二样本密钥进行解码，得到第三样本需求向量；

根据所述第三样本需求向量和所述第二样本需求向量确定第五损失函数值；

根据所述第五损失函数值进行反向传播，更新所述解码网络的参数；

根据所述第二样本密钥的多样性判别结果确定第六损失函数值；

根据所述第五损失函数值和所述第六损失函数值进行反向传播，更新所述初始密钥生成网络的参数。

18.根据权利要求13所述的训练方法，其中，根据第一样本随机数和第一样本需求向量对初始密钥生成网络进行训练的步骤之前，所述训练方法还包括：

对所述初始识别神经网络进行预训练。

19.根据权利要求18所述的训练方法，其中，对所述初始识别神经网络进行预训练的步骤包括：

根据第三样本图像和第三样本密钥生成第四样本图像；

将所述第三样本图像输入所述初始识别神经网络，得到第三处理结果；

将所述第四样本图像输入所述初始识别神经网络，得到第四处理结果；

根据所述第三处理结果确定第七损失函数值；

根据所述第四处理结果确定第八损失函数值；

根据所述第七损失函数值和所述第八损失函数值进行反向传播，更新所述初始识别神经网络的参数。

20.根据权利要求13所述的训练方法，其中，根据第一样本随机数和第一样本需求向量对初始密钥生成网络进行训练的步骤之前，所述训练方法还包括：

将用户信息输入初始嵌入网络，生成所述第一样本需求向量。

21.根据权利要求20所述的训练方法，其中，所述训练方法还包括：

根据所述初始密钥生成网络更新所述初始嵌入网络的参数；

在所述初始嵌入网络收敛的情况下，以所述初始嵌入网络为嵌入网络。

22.一种图像处理装置，包括：

一个或多个处理器；

存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至7中任意一项所述的图像处理方法；

一个或多个I/O接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。

23.一种密钥生成装置，包括：

一个或多个处理器；

存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求8至12中任意一项所述的密钥生成方法；

一个或多个I/O接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。

24.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理核执行时实现如权利要求1至7中任意一项所述的图像处理方法；

或权利要求8至12中任意一项所述的密钥生成方法；

或权利要求13至21中任意一项所述的训练方法。

Images