CN110163250A - 基于分布式调度的图像脱敏处理系统、方法以及装置 - Google Patents
基于分布式调度的图像脱敏处理系统、方法以及装置 Download PDFInfo
- Publication number
- CN110163250A CN110163250A CN201910286625.1A CN201910286625A CN110163250A CN 110163250 A CN110163250 A CN 110163250A CN 201910286625 A CN201910286625 A CN 201910286625A CN 110163250 A CN110163250 A CN 110163250A
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- dimension
- feature
- desensitization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供基于分布式调度的图像脱敏处理系统、方法以及装置，其中，所述基于分布式调度的图像脱敏处理系统包括：分布式调度平台，被配置为提取项目成员提交的项目案件的案件材料中包含的待处理图像，对所述待处理图像进行聚类，将聚类获得的至少一个图像分类包含的待处理图像路由至对应图像识别模型所部署的计算节点；包含多个计算节点的分布式集群，所述计算节点包括图像特征提取模块、特征降维模块、敏感特征识别模块和图像脱敏处理模块。所述基于分布式调度的图像脱敏处理系统，能够极大的提升图像脱敏处理效率，同时提升了图像敏感特征识别的准确度，在此基础上进行的图像脱敏处理的准确度也得以提升。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种基于分布式调度的图像脱敏处理系统。本申请同时涉及一种基于分布式调度的图像脱敏处理方法以及装置，一种图像脱敏处理的分布式调度方法以及装置，两种计算设备，以及两种计算机可读存储介质。
背景技术
随着大数据时代的到来，数据中蕴藏的商业价值得到充分挖掘，并在数据挖掘的基础上实现用户的精准定位，从而能够向用户提供更有针对性的营销推荐策略和服务策略，但随之也带来了巨大的挑战--用户隐私的保护，如何在进行数据挖掘的同时更好的保护用户的隐私，将成为数据脱敏面对的最大的难题。数据脱敏，是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护，在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集。
目前对文本信息的脱敏处理，主要是通过自然语言处理识别文本内容，在识别文本内容的基础上，对文本内容当中包含的用户隐私信息，比如对用户的姓名、身份证号、手机号、银行卡号等进行脱敏处理。但目前的数据脱敏方法在对图像进行脱敏时，只能从文字的角度进行脱敏处理，首先需要识别图像当中的文字信息，然后识别文字信息中包含的敏感信息，最后对图像中包含的敏感信息进行脱敏处理，但对于大批量图像进行脱敏处理时，受限于单台机器的资源，尤其是图像识别依赖机器的GPU(Graphics Processing Unit)资源，导致针对图像脱敏处理的处理效率较低，存在较大缺陷。
发明内容
有鉴于此，本申请实施例提供了一种基于分布式调度的图像脱敏处理系统，以解决现有技术中存在的技术缺陷。本申请实施例同时提供了一种基于分布式调度的图像脱敏处理方法以及装置，一种图像脱敏处理的分布式调度方法以及装置，两种计算设备，以及两种计算机可读存储介质。
本申请提供一种基于分布式调度的图像脱敏处理系统，包括：
分布式调度平台以及包含多个计算节点的分布式集群；
所述分布式调度平台，被配置为提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像，对所述待处理图像进行聚类，根据图像分类与所述计算节点上部署的图像识别模型的对应关系，将聚类获得的至少一个图像分类包含的待处理图像路由至对应图像识别模型所部署的计算节点；
所述计算节点，包括图像特征提取模块、特征降维模块、敏感特征识别模块和图像脱敏处理模块；
其中，所述图像特征提取模块，被配置为接收所述分布式调度平台路由的待处理图像，提取所述待处理图像在多个特征维度的初始图像特征；
所述特征降维模块，被配置为对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征；
所述敏感特征识别模块，被配置为通过将所述待处理图像和所述特征降维模型输出的至少一个图像脱敏维度的图像特征输入所述计算节点部署的图像识别模型进行敏感特征识别；
所述图像脱敏处理模块，被配置为对所述待处理图像中的敏感特征进行脱敏处理。
可选的，所述分布式调度平台采用如下方式对所述待处理图像进行聚类：
通过将所述待处理图像输入图像聚类模型进行聚类，聚类后输出至少一个图像分类，每个图像分类包含至少一张待处理图像。
可选的，还包括分布式数据库，所述分布式数据库，被配置为存储所述项目成员在参与项目过程中提交的项目案件；
相应的，所述分布式调度平台在提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像之前，从所述分布式数据库中读取所述项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像。
可选的，所述图像特征提取模块，具体被配置为提取所述待处理图像在多个特征维度的初始图像特征对应的特征向量；所述特征向量的向量维度数值与所述特征维度数值相等；
相应的，所述特征降维模块，具体被配置为对所述特征向量进行降维计算，将降维计算后获得所述待处理图像在所述图像脱敏维度的特征向量作为所述待处理图像在至少一个图像脱敏维度的图像特征。
可选的，所述计算节点还包括：
图像预处理模块，被配置为基于所述多个特征维度的初始图像特征对所述待处理图像进行预处理。
可选的，若所述特征维度包含图像特征位置维度，相应的，所述图像预处理模块，具体被配置为：
根据所述图像特征位置维度的初始图像特征，确定所述待处理图像中包含的图像特征的位置信息；
基于所述待处理图像中包含的图像特征的位置信息，对所述待处理图像进行裁剪。
可选的，所述特征降维模块基于训练获得的特征降维模型实现，并且，通过将所述待处理图像在多个特征维度的初始图像特征输入训练后的特征降维模型进行特征降维处理，输出所述待处理图像在所述脱敏特征维度的图像特征。
可选的，所述特征降维模型，采用如下方式进行训练：
获取已完成脱敏处理的已脱敏图像对应的初始图像的初始图像集合；
提取所述初始图像集合中初始图像在多个特征维度的初始图像特征；
对所述多个特征维度的初始图像特征进行降维处理，获得所述初始图像在至少一个图像脱敏维度的真实图像特征；
将所述多个特征维度的初始图像特征和所述图像脱敏维度的真实图像特征作为第一训练样本，对预先构建的初始特征降维模型进行训练，获得所述特征降维模型。
可选的，所述图像识别模型，采用如下方式进行训练：
将携带所述图像脱敏维度的真实图像特征的初始图像和携带真实敏感特征的初始图像作为第二训练样本，对预先构建的初始图像识别模型进行训练，获得所述图像识别模型。
可选的，所述图像脱敏维度，包括下述至少一项：
图像色彩维度、图像特征位置维度以及图像特征标识维度。
本申请还提供一种图像脱敏处理的分布式调度方法，包括：
提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像；
对所述待处理图像进行聚类，获得至少一个图像分类；
根据所述图像分类与分布式集群中计算节点上部署的图像识别模型的对应关系，将所述图像分类包含的待处理图像路由至对应图像识别模型所部署的计算节点，所述分布式集群包含多个计算节点。
可选的，所述对所述待处理图像进行聚类，获得至少一个图像分类，包括：
通过将所述待处理图像输入图像聚类模型进行聚类，聚类后输出至少一个图像分类，每个图像分类包含至少一张待处理图像。
可选的，所述提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像步骤执行之前，包括：
从分布式数据库中读取所述项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像。
本申请还提供一种图像脱敏处理的分布式调度装置，包括：
待处理图像提取单元，被配置为提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像；
图像聚类单元，被配置为对所述待处理图像进行聚类，获得至少一个图像分类；
待处理图像路由单元，被配置为根据所述图像分类与分布式集群中计算节点上部署的图像识别模型的对应关系，将所述图像分类包含的待处理图像路由至对应图像识别模型所部署的计算节点，所述分布式集群包含多个计算节点。
本申请还提供一种基于分布式调度的图像脱敏处理方法，包括：
接收分布式调度平台路由的待处理图像；
提取所述待处理图像在多个特征维度的初始图像特征；
对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征；
通过将所述待处理图像和所述特征降维模型输出的至少一个图像脱敏维度的图像特征输入图像识别模型进行敏感特征识别；所述图像识别模型与所述待处理图像所属的图像分类具有对应关系；
对所述待处理图像中的敏感特征进行脱敏处理。
可选的，所述提取所述待处理图像在多个特征维度的初始图像特征，包括：
提取所述待处理图像在多个特征维度的初始图像特征对应的特征向量；所述特征向量的向量维度数值与所述特征维度数值相等；
相应的，所述对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征，包括：
为对所述特征向量进行降维计算，将降维计算后获得所述待处理图像在所述图像脱敏维度的特征向量作为所述待处理图像在至少一个图像脱敏维度的图像特征。
可选的，所述提取所述待处理图像在多个特征维度的初始图像特征步骤执行之后，且所述对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征步骤执行之前，包括：
基于所述多个特征维度的初始图像特征对所述待处理图像进行预处理。
可选的，所述基于所述多个特征维度的初始图像特征对所述待处理图像进行预处理，包括：
根据所述图像特征位置维度的初始图像特征，确定所述待处理图像中包含的图像特征的位置信息；
基于所述待处理图像中包含的图像特征的位置信息，对所述待处理图像进行裁剪。
可选的，所述对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征步骤基于训练获得的特征降维模型实现，并且，通过将所述待处理图像在多个特征维度的初始图像特征输入训练后的特征降维模型进行特征降维处理，输出所述待处理图像在所述脱敏特征维度的图像特征。
可选的，所述特征降维模型，采用如下方式进行训练：
获取已完成脱敏处理的已脱敏图像对应的初始图像的初始图像集合；
提取所述初始图像集合中初始图像在多个特征维度的初始图像特征；
对所述多个特征维度的初始图像特征进行降维处理，获得所述初始图像在至少一个图像脱敏维度的真实图像特征；
将所述多个特征维度的初始图像特征和所述图像脱敏维度的真实图像特征作为第一训练样本，对预先构建的初始特征降维模型进行训练，获得所述特征降维模型。
可选的，所述图像识别模型，采用如下方式进行训练：
将携带所述图像脱敏维度的真实图像特征的初始图像和携带真实敏感特征的初始图像作为第二训练样本，对预先构建的初始图像识别模型进行训练，获得所述图像识别模型。
可选的，所述图像脱敏维度，包括下述至少一项：
图像色彩维度、图像特征位置维度以及图像特征标识维度。
本申请还提供一种基于分布式调度的图像脱敏处理装置，包括：
待处理图像接收单元，被配置为接收分布式调度平台路由的待处理图像；
初始图像特征提取单元，被配置为提取所述待处理图像在多个特征维度的初始图像特征；
图像特征降维处理单元，被配置为对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征；
敏感特征识别单元，被配置为通过将所述待处理图像和所述特征降维模型输出的至少一个图像脱敏维度的图像特征输入图像识别模型进行敏感特征识别；所述图像识别模型与所述待处理图像所属的图像分类具有对应关系；
脱敏处理单元，被配置为对所述待处理图像中的敏感特征进行脱敏处理。
本申请还提供一种计算设备，包括：
存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像；
对所述待处理图像进行聚类，获得至少一个图像分类；
根据所述图像分类与分布式集群中计算节点上部署的图像识别模型的对应关系，将所述图像分类包含的待处理图像路由至对应图像识别模型所部署的计算节点，所述分布式集群包含多个计算节点。
本申请还提供一种计算设备，包括：
存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
接收分布式调度平台路由的待处理图像；
提取所述待处理图像在多个特征维度的初始图像特征；
对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征；
通过将所述待处理图像和所述特征降维模型输出的至少一个图像脱敏维度的图像特征输入图像识别模型进行敏感特征识别；所述图像识别模型与所述待处理图像所属的图像分类具有对应关系；
对所述待处理图像中的敏感特征进行脱敏处理。
本申请还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述图像脱敏处理的分布式调度方法的步骤。
本申请还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述基于分布式调度的图像脱敏处理方法的步骤。
与现有技术相比，本申请具有如下优点：
本申请提供一种基于分布式调度的图像脱敏处理系统，包括：分布式调度平台以及包含多个计算节点的分布式集群；所述分布式调度平台，被配置为提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像，对所述待处理图像进行聚类，根据图像分类与所述计算节点上部署的图像识别模型的对应关系，将聚类获得的至少一个图像分类包含的待处理图像路由至对应图像识别模型所部署的计算节点；所述计算节点，包括图像特征提取模块、特征降维模块、敏感特征识别模块和图像脱敏处理模块；其中，所述图像特征提取模块，被配置为接收所述分布式调度平台路由的待处理图像，提取所述待处理图像在多个特征维度的初始图像特征；所述特征降维模块，被配置为对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征；所述敏感特征识别模块，被配置为通过将所述待处理图像和所述特征降维模型输出的至少一个图像脱敏维度的图像特征输入所述计算节点部署的图像识别模型进行敏感特征识别；所述图像脱敏处理模块，被配置为对所述待处理图像中的敏感特征进行脱敏处理。
本申请提供的基于分布式调度的图像脱敏处理系统，通过分布式调度平台和分布式集群中的计算节点之间的相互配合，利用所述分布式调度平台将针对待处理图像的脱敏处理任务调度到所述计算节点上，通过分布式调度来充分利用所述分布式集群中计算节点的计算资源，能够极大的提升图像脱敏处理效率，同时，所述分布式调度平台在调度过程中，将不同图像分类包含的待处理图像调度至对应的图像识别模型所部署的计算节点，利用不同的图像识别模型有针对性的对图像分类的待处理图像进行敏感特征识别，提升了图像敏感特征识别的准确度，在此基础上进行的图像脱敏处理的准确度也得以提升。
附图说明
图1是本申请实施例提供的一种基于分布式调度的图像脱敏处理系统的结构框图；
图2是本申请实施例提供的一种图像脱敏处理的分布式调度方法处理流程图；
图3是本申请实施例提供的一种图像脱敏处理的分布式调度装置的示意图；
图4是本申请实施例提供的一种基于分布式调度的图像脱敏处理方法处理流程图；
图5是本申请实施例提供的一种基于分布式调度的图像脱敏处理装置的示意图；
图6是本申请实施例提供的一种计算设备的结构框图；
图7是本申请实施例提供的另一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请提供一种基于分布式调度的图像脱敏处理系统，本申请还提供一种基于分布式调度的图像脱敏处理方法以及装置，一种图像脱敏处理的分布式调度方法以及装置，两种计算设备，以及两种计算机可读存储介质。以下分别结合本申请提供的实施例的附图逐一进行详细说明。
本申请提供的一种基于分布式调度的图像脱敏处理系统实施例如下：
参照附图1，其示出了本实施例提供的一种基于分布式调度的图像脱敏处理系统的结构框图。
所述基于分布式调度的图像脱敏处理系统，包括：
分布式调度平台100以及包含多个计算节点210的分布式集群200；所述分布式调度平台100，被配置为提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像，对所述待处理图像进行聚类，根据图像分类与所述计算节点210上部署的图像识别模型的对应关系，将聚类获得的至少一个图像分类包含的待处理图像路由至对应图像识别模型所部署的计算节点210；
所述计算节点210，包括图像特征提取模块212、特征降维模块214、敏感特征识别模块216和图像脱敏处理模块218；
其中，所述图像特征提取模块212，被配置为接收所述分布式调度平台100路由的待处理图像，提取所述待处理图像在多个特征维度的初始图像特征；
所述特征降维模块214，被配置为对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征；
所述敏感特征识别模块216，被配置为通过将所述待处理图像和所述特征降维模型输出的至少一个图像脱敏维度的图像特征输入所述计算节点部署的图像识别模型进行敏感特征识别；
所述图像脱敏处理模块218，被配置为对所述待处理图像中的敏感特征进行脱敏处理。
所述项目可以是保险项目、众筹项目或者投资项目等，参与到项目中的用户被称之为项目成员；相应的，项目成员在项目参与过程中提交的项目案件，可以是项目成员参与到保险项目之后提出的理赔案件，理赔案件的案件材料中必然会包含项目成员自身的隐私相关信息的图像，比如项目成员的身份证正面照图像、身份证背面照图像、项目成员的照片图像、包含项目成员银行卡账号和手机账号的图像，这些包含项目成员隐私相关信息的图像，均需进行脱敏处理。
在图像脱敏处理的过程中，需在待处理图像中识别出敏感特征的基础上进行脱敏处理，而图像识别和图像的脱敏处理对计算资源的要求都比较高，尤其是对机器的GPU资源要求比较高，本申请提供的基于分布式调度的图像脱敏处理系统，通过所述分布式调度平台100将针对待处理图像的脱敏处理任务调度到所述分布式集群200中的计算节点210上，从而利用所述分布式集群200中的多个计算节点210来进行图像脱敏处理，提升图像脱敏处理的效率，尤其是在面对海量案件材料中包含的大批量需要进行脱敏处理的待处理图像，不会受限于单个计算节点210有限计算资源，通过分布式调度来充分利用所述分布式集群200中计算节点210上计算资源，从而能够极大的提升图像脱敏处理效率。
进一步，在所述基于分布式调度的图像脱敏处理系统中进行图像脱敏处理的过程中，为了进一步提升图像脱敏处理的效率，同时，也为了提升图像脱敏的准确度，通过在所述分布式集群200中的多个计算节点210上部署多个进行敏感特征识别的图像识别模型，并且不同的图像识别模型有针对性的对不同类型的待处理图像进行敏感特征识别，从而来提升敏感特征识别的准确度，在此基础上进行的脱敏处理的准确度也越高；因此，所述分布式调度平台100在将所述待处理图像调度至所述分布式集群200中的计算节点210的过程中，需要对所述项目案件的案件材料中包含的待处理图像进行分类，确保将分类获得的不同图像分类的待处理图像调度至该图像分类对应的图像识别模型所部署的计算节点210。
可选的，所述基于分布式调度的图像脱敏处理系统，还包括分布式数据库，所述分布式数据库，被配置为存储所述项目成员在参与项目过程中提交的项目案件；相应的，所述分布式调度平台100在进行调度之前，首先从所述分布式数据库中读取所述项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像。
例如，对于参与保险项目的项目成员M1，项目成员M1在参与保险项目之后发起理赔之后会生成相应的理赔案件，理赔案件的案件材料为图像形式的材料，其中包含有：项目成员M1的身份证正面照图像、身份证背面照图像、项目成员M1的照片图像、包含项目成员M1银行卡账号和手机账号的图像；上述理赔材料的图像中包含项目成员M1的隐私信息(比如，身份证号、姓名、身份证图像中项目成员M1的头像、银行卡号等)，因此需对这些图像进行脱敏处理，而项目成员M1的发起理赔之后会生成的理赔案件的案件材料存储在分布式数据库中，因此需要从分布式数据库中读取项目成员M1的理赔案件的案件材料；
类似的，分布式数据库中还存储有其他999个项目成员(项目成员M2至项目成员M1000)参与保险项目之后发起理赔之后会生成相应的理赔案件的案件材料，因此还需从分布式数据库中读取其他999个项目成员(项目成员M2至项目成员M1000)的理赔案件的案件材料。
具体实施时，所述分布式调度平台100读取到所述案件材料中包含的待处理图像之后，采用聚类的方式对读取到的待处理图像进行分类，从而将聚类后获得的各个图像分类包含的待处理图像调度至所述分布式集群200中的计算节点210，为提升所述分布式调度平台100针对待处理图像进行聚类的效率，通过引入机器学习方法来提升降维处理过程的处理效率，可选的，本申请实施例采用无监督的图像聚类模型进行待处理图像的聚类，具体通过将所述待处理图像输入图像聚类模型进行聚类，聚类后输出至少一个图像分类，每个图像分类包含至少一张待处理图像。
基于此，所述分布式调度平台100在将聚类后获得的各个图像分类包含的待处理图像调度至所述分布式集群200中的计算节点210的过程中，按照所述图像分类与所述图像识别模型的对应关系，通过将聚类获得的至少一个图像分类包含的待处理图像路由至对应图像识别模型所部署的计算节点的方式进行调度。
例如，提取到项目成员M1至项目成员M1000这1000个项目成员发起的理赔案件的案件材料中包含的图像，其中，每个项目成员的案件材料中包含50张图像，其中包含有该项目成员的身份证正面照图像、身份证背面照图像、该项目成员的照片图像、包含该项目成员银行卡账号图像和手机账号的图像等，则在提取到项目成员M1至项目成员M1000这1000个项目成员的案件材料中包含的50000张需要进行脱敏处理的图像之后，将这50000张图像输入预先训练好的基于神经网络的图像聚类模型进行聚类，输出4个图像分类：图像分类c1、图像分类c2和图像分类c3和图像分类c4；
其中，图像分类c1包含的图像为与项目成员自身图像相关的图像，比如身份证正面照图像、身份证背面照图像、该项目成员的照片图像等；图像分类c2包含的图像为与项目成员的资金和账户相关的图像，比如包含项目成员银行卡账号的图像、包含项目成员手机账号的图像等；图像分类c3包含的图像为与项目成员的疾病健康信息相关的图像，比如项目成员的疾病超声诊断图像等；图像分类c4包含的图像为与项目成员参与的保险项目相关的图像，比如包含项目成员参与保险项目的参保期限的图像等；
针对这4个图像分类，分布式集群200中的计算节点210上部署有与这4个图像分类对应的图像识别模型，其中，分布式集群200中的第1个计算节点Node1上部署有与图像分类c1对应的图像识别模型Model 1，图像识别模型Model 1用于识别与项目成员自身图像相关的图像中的敏感特征，比如在身份证正面照图像、身份证背面照图像、该项目成员的照片图像中识别出其中包含的敏感特征(即用户图像)，则分布式调度平台100需要将图像分类c1包含的图像路由至计算节点Node1；
分布式集群200中的第2个计算节点Node2上部署有与图像分类c2对应的图像识别模型Model 2，图像识别模型Model 2用于识别与项目成员的资金和账户相关的图像中的敏感特征，比如在包含项目成员银行卡账号的图像、包含项目成员手机账号的图像中识别出其中包含的敏感特征(即与项目成员的资金和账户相关的特征信息)，则分布式调度平台100需要将图像分类c2包含的图像路由至计算节点Node2；
分布式集群200中的第3个计算节点Node3上部署有与图像分类c3对应的图像识别模型Model 3，图像识别模型Model 3用于识别与项目成员的疾病健康信息相关的图像中的敏感特征，比如在项目成员的疾病超声诊断图像中识别出其中包含的敏感特征(即与疾病相关的特征信息)，则分布式调度平台100需要将图像分类c3包含的图像路由至计算节点Node3；
分布式集群200中的第4个计算节点Node4上部署有与图像分类c4对应的图像识别模型Model 4，图像识别模型Model 4用于识别与项目成员参与的保险项目相关的图像中的敏感特征，比如在包含项目成员参与保险项目的参保期限的图像中识别出其中包含的敏感特征(即与项目成员参与保险项目的参保期限相关的特征信息)，则分布式调度平台100需要将图像分类c4包含的图像路由至计算节点Node4。
此外，在参与保险项目的项目成员数目较大的情况下，或者对项目成员发起理赔后生成的理赔案件的案件材料中包含的图像进行脱敏处理的实时性要求较高的情况下，还可以在分布式集群200中的多个计算节点上部署图像识别模型Model 1，类似的，同样可以在多个计算节点上部署图像识别模型Model 2、图像识别模型Model 3和图像识别模型Model 4，本实施例对此不做限定。
本申请提供的基于分布式调度的图像脱敏处理系统中，由所述分布式调度平台100将需要进行脱敏处理的待处理图像调度至所述分布式集群200中的计算节点210上，利用计算节点210上部署的图像识别模型识别所述图像分类包含的待处理图像的敏感特征并对识别出的敏感特征进行脱敏处理，具体在计算节点210上对待处理图像进行脱敏处理的过程中，首先，利用所述图像特征提取模块212提取所述分布式调度平台100路由到的待处理图像在多个特征维度的初始图像特征，然后，利用所述特征降维模块214对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征；其次，利用所述敏感特征识别模块216将所述待处理图像和所述特征降维模型输出的至少一个图像脱敏维度的图像特征输入所述计算节点部署的图像识别模型进行敏感特征识别；最后，利用所述图像脱敏处理模块218对所述待处理图像中的敏感特征进行脱敏处理。
下述以所述分布式集群200中的任意一个计算节点210为例，按照所述计算节点210包含的各个模块在进行图像脱敏处理过程中的运行顺序，依次对计算节点210包含的所述图像特征提取模块212、所述特征降维模块214、所述敏感特征识别模块216和所述图像脱敏处理模块218进行详细说明。
1、所述图像特征提取模块212。
实际应用中，对图像进行描述和衡量的维度有多种多样，比如，在图像色彩维度对待处理图像进行围绕色彩的特征描述和衡量，也可以在图像包含的文字维度或者图像特征标识维度对待处理图像包含的文字或者图像特征标识进行特征描述和衡量，或者在图像纹理维度对待处理图像进行围绕纹理的特征描述和衡量，再或者在图像特征位置维度或者图像特征空间关系维度对待处理图像进行围绕特征位置或者特征空间关系的特征描述和衡量，上述对待处理图像进行特征描述和衡量的维度，均可作为所述待处理图像的特征维度。除此之外，还可以从其他能够描述图像特征的维度对待处理图像进行特征描述和衡量，比如图像中像素点的灰度维度等，同样可以作为所述待处理图像的特征维度，对此不做限定。
本申请实施例在提取所述待处理图像在多个特征维度的初始图像特征的过程中，具体是提取所述待处理图像在图像色彩维度、图像纹理维度、图像特征标识维度、图像特征位置维度和图像特征空间关系维度这5个特征维度的初始图像特征。
本申请实施例提供的一种可选实施方式中，所述图像特征提取模块212提取所述待处理图像在多个特征维度的初始图像特征，具体是通过提取所述待处理图像在多个特征维度的初始图像特征对应的特征向量来实现；需要说明的是，提取到的所述待处理图像的特征向量的向量维度，与所述待处理图像初始图像特征的特征维度是一致的，不仅表现在特征向量的向量维度数值与特征维度数值相等，还表现在特征向量的向量维度与特征维度相同。
以对于分布式集群200中的计算节点Node1为例，计算节点Node1上部署的图像识别模型Model 1，图像识别模型Model 1用于识别与项目成员自身图像相关的图像中的敏感特征，比如在身份证正面照图像、身份证背面照图像、该项目成员的照片图像中识别出其中包含的敏感特征(即用户图像)；计算节点Node1在接收到分布式调度平台100路由的身份证正面照图像和身份证背面照图像之后，分别提取每张图像在图像色彩维度、图像纹理维度、图像特征标识维度、图像特征位置维度和图像特征空间关系维度这5个特征维度的特征向量；
其中，特征向量在图像色彩维度的特征值表征的是图像的色彩特征，特征向量在图像纹理维度的特征值表征的是图像中具有缓慢变化或者周期性变化的局部组织的排列属性，特征向量在图像特征标识维度的特征值表征的是图像中包含的特征块的特征标识，特征向量在图像特征位置的特征值表征的是图像中包含的特征块的位置信息，特征向量在图像特征空间关系维度的特征值表征的是图像中包含的特征块之间的距离关系、层级关系或者重叠关系。
分布式集群200中计算节点Node2至计算节点Node4对分布式调度平台100路由到的图像进行的脱敏处理与上述计算节点Node1类似，参照计算节点Node1上进行的图像脱敏处理即可，本实施例不再一一赘述。
可选的，所述计算节点210还包括图像预处理模块，图像预处理模块，被配置为基于所述多个特征维度的初始图像特征对所述待处理图像进行预处理，具体在上述利用所述图像特征提取模块212提取到所述分布式调度平台100路由到的待处理图像在多个特征维度的初始图像特征之后，还可以在提取的多个特征维度的初始图像特征的基础上利用所述图像预处理模块进行进一步处理，本申请实施例提供的一种可选实施方式中，在提取到所述待处理图像在多个特征维度的初始图像特征之后，在此基础上利用所述图像预处理模块对所述待处理图像进行预处理。
以上述图像特征位置维度为例，可选的，基于图像特征位置维度的初始图像特征对所述待处理图像进行预处理，第一步是根据图像特征位置维度的初始图像特征，确定所述待处理图像中包含的图像特征的位置信息；第二步基于所述待处理图像中包含的图像特征的位置信息，对所述待处理图像进行裁剪，以降低后续对所述待处理图像进行敏感特征识别过程中的数据处理量，提升处理效率。
类似的，除上述对所述待处理图像进行裁剪之外，其他对所述待处理图像进行预处理的实现方式，比如在对待处理图像进行裁剪的基础上，对裁剪后的待处理图像进行分类或者归纳，同样能够起到降低后续对所述待处理图像进行敏感特征识别过程中的数据处理量，提升处理效率，或者是提升后续对所述待处理图像进行脱敏处理过程的处理效率的效果。
2、所述特征降维模块214。
具体实施时，上述利用所述图像特征提取模块212提取到所述待处理图像在多个特征维度的初始图像特征之后，由于提取到的所述待处理图像的初始图像特征覆盖多个特征维度，在此基础上对所述待处理图像进行脱敏处理过程中，也需要分别从多个特征维度出发对所述待处理图像进行脱敏处理，处理难度较大，为降低后续对所述待处理图像进行脱敏处理的数据处理量，提升处理效率，在此，利用所述特征降维模块214对上述获取到的所述待处理图像在多个特征维度的初始图像特征进行降维处理，通过降低对所述待处理图像进行处理的特征维度，来降低后续对待处理图像进行脱敏处理的复杂度，这一过程中，所述待处理图像的特征维度被降维之后的维度被称之为图像脱敏维度，进行降维处理之后所剩的图像脱敏维度也即是后续对所述待处理图像进行脱敏处理的维度。
需要说明的是，所述图像脱敏维度，可以是上述图像色彩维度、图像纹理维度、图像特征标识维度、图像特征位置维度和图像特征空间关系维度这5个特征维度当中的任意一个或者多个，对此不做限定。
具体实施时，为提升对所述待处理图像进行脱敏处理的处理效率，图像脱敏维度的数量肯定是小于特征维度的数量，因此，还需要确定上述5个特征维度中的哪个或者哪几个特征维度被作为图像脱敏维度。具体的，图像脱敏维度还可以根据所述待处理图像自身的特性来确定，提取每张待处理图像在5个特征维度的特征向量之后，根据每张图像自身的特征偏重来确定图像脱敏维度，比如图像1的色彩较为明显，对图像1的特征向量在上述5个特征维度的特征值进行归一化之后，图像1的特征向量在图像色彩维度的平均特征值比其他4个维度的平均特征值大，则将图像色彩维度作为后续对图像1进行脱敏处理的图像脱敏维度。类似的，如果图像2中包含的图像特征标识较多，对图像2的特征向量在上述5个特征维度的特征值进行归一化之后，图像2的特征向量在图像特征标识维度的平均特征值比其他4个维度的平均特征值大，则将图像特征标识维度作为后续对图像2进行脱敏处理的图像脱敏维度。
如上所述，所述图像特征提取模块212提取所述待处理图像在多个特征维度的初始图像特征，具体是通过提取所述待处理图像在多个特征维度的初始图像特征对应的特征向量来实现，相应的，所述特征降维模块214对所述待处理图像在多个特征维度的初始图像特征进行降维处理，具体是指对所述特征向量进行降维计算，降维计算后获得所述待处理图像在所述图像脱敏维度的特征向量。
例如，在上述项目成员M1的理赔材料中包含的每张图像在图像色彩维度、图像纹理维度、图像特征标识维度、图像特征位置维度和图像特征空间关系维度这5个特征维度的特征向量的基础上，采用主成分分析(Principal Component Analysis，PCA)算法对每一张图像对应的5维特征向量进行降维计算，以n条5维数据为例，首先将数据组成n行5列的矩阵X，然后将X的每一行进行零均值化，即减去这一行的均值，求出协方差矩阵，并进一步求出协方差矩阵的特征值及对应的特征向量，最后将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P，即为从5维降维到k(k<5)维后的数据。
实际应用中，在对所述待处理图像在多个特征维度的初始图像特征进行降维处理的过程中，降维处理过程中的数据计算量比较大，尤其是在待处理图像的数量比较大或者图像较为复杂的情况下，降维处理所需的计算量更大、处理时间也比更长，为提升处理效率，通过引入机器学习方法来提升降维处理过程的处理效率，可选的，所述特征降维模块214采用特征降维模型对所述待处理图像的多个特征维度的初始图像特征进行降维处理，具体是将所述待处理图像在多个特征维度的初始图像特征输入所述特征降维模型进行特征降维处理，输出所述待处理图像在所述脱敏特征维度的图像特征。
需要说明的是，所述特征降维模块214采用所述特征降维模型对所述待处理图像的多个特征维度的初始图像特征进行降维处理，前提是构建并经过训练获得该特征降维模型，本申请实施例提供的一种可选实施方式中，所述特征降维模型，采用如下方式进行训练：
1)获取已完成脱敏处理的已脱敏图像对应的初始图像的初始图像集合；
2)提取所述初始图像集合中初始图像在多个特征维度的初始图像特征；
3)对所述多个特征维度的初始图像特征进行降维处理，获得所述初始图像在至少一个图像脱敏维度的真实图像特征；
4)将所述多个特征维度的初始图像特征和所述图像脱敏维度的真实图像特征作为第一训练样本，对预先构建的初始特征降维模型进行训练，获得所述特征降维模型。
例如，参与保险项目的项目成员当中，某个时间段内有100个项目成员申请理赔，项目成员申请理赔生成的理赔案件的案件材料均为图像形式的材料，每个项目成员的理赔案件的案件材料中包含50张图像，其中包含有项目成员的身份证正面照图像、身份证背面照图像、项目成员的照片图像、包含项目成员银行卡账号和手机账号的图像等；
对于上述100个项目成员各自理赔案件的案件材料中包含50张图像，分别提取每张图像在图像色彩维度、图像纹理维度、图像特征标识维度、图像特征位置维度和图像特征空间关系维度这5个特征维度的初始特征向量(5维向量)；
在对特征降维模型进行训练过程中，采用有监督训练方式，因此，还需要确定每张图像的初始特征向量降维处理后真实的特征向量，具体是对每张照片的在这5个特征维度的初始特征向量进行降维计算，获得在图像色彩维度(图像脱敏维度)的真实特征向量(1维向量)；
最后，根据每张图像的初始特征向量(5维向量)和真实特征向量(1维向量)二者的对应关系，将每张图像的初始特征向量(5维向量)和真实特征向量(1维向量)作为一个训练样本，利用确定的5000个训练样本对基于卷积神经网络算法构建的初始特征降维模型进行训练；
以此类推，通过大量的训练样本对初始特征降维模型进行训练，训练完成后获得用于对图像的特征向量进行降维处理的特征降维模型。
3、所述敏感特征识别模块216。
本申请实施例所述敏感特征，是指所述待处理图像中包含所述项目成员的隐私信息或者不适于公开展示的敏感信息的图像特征。以项目成员M1的身份证正面照这一图像为例，项目成员M1的头像所在区域的图像特征，以及项目成员M1的身份证号、姓名、出生地址所在区域的图像特征均为敏感特征，因此，需要识别出图像项目成员M1的身份证正面照这一图像中包含的所有隐私信息所在区域的敏感特征。
需要说明的是，所述敏感特征识别模块216通过将所述待处理图像和所述特征降维模型输出的至少一个图像脱敏维度的图像特征输入所述计算节点部署的图像识别模型进行敏感特征识别，前提是构建并经过训练获得该图像识别模型，本申请实施例提供的一种可选实施方式中，在训练所述图像识别模型的过程中，在上述训练所述特征降维模型采用的可选实施方式的基础上，将携带所述图像脱敏维度的真实图像特征的初始图像和携带真实敏感特征的初始图像作为第二训练样本，对预先构建的初始图像识别模型进行训练，训练完成后获得对所述待处理图像进行敏感特征识别的所述图像识别模型。
沿用上例，在训练图像识别模型的过程中，同样采用有监督训练方式，因此，首先采用人工标记的方式对上述100个项目成员各自理赔案件的案件材料中包含50张图像真实的敏感特征进行标记，标记完成后确定每张图像中包含的真实敏感特征；
具体训练时，利用上述获得的每张图像在图像色彩维度(图像脱敏维度)的真实特征向量(1维向量)，根据将未进行敏感特征识别或者标记的图像(携带图像色彩维度的真实特征向量(1维向量))与已标记出真实敏感特征的图像二者的对应关系，将未进行敏感特征识别或者标记的图像与已标记出真实敏感特征的张图像作为一个训练样本(1个训练样本包含的是同一张图像在进行敏感特征标记之前的状态和进行敏感特征标记之后的状态，这两个状态通过2张图像来体现：一张是未标记敏感特征的图像，另一张是已标记敏感特征的图像，二者共同作为一个训练样本)，最后利用确定的5000个训练样本对基于卷积神经网络算法构建的初始图像识别模型进行训练；
以此类推，通过大量的训练样本对初始图像识别模型进行训练，训练完成后获得用于对图像中包含的敏感特征进行识别的图像识别模型Model 1。
需要说明的是，所述图像识别模型的训练，除了在上述特征降维模型采用的可选实施方式的基础上进行，还可以独立于所述特征降维模型的训练过程，比如采用下述方式对所述图像识别模型进行训练：
1)获取已完成脱敏处理的已脱敏图像对应的初始图像的初始图像集合；
2)提取所述初始图像集合中初始图像在多个特征维度的初始图像特征；
3)对所述多个特征维度的初始图像特征进行降维处理，获得所述初始图像在至少一个图像脱敏维度的真实图像特征；
4)将携带所述图像脱敏维度的真实图像特征的初始图像和携带真实敏感特征的初始图像作为第二训练样本，对预先构建的初始图像识别模型进行训练，训练完成后获得对所述待处理图像进行敏感特征识别的所述图像识别模型。
4、所述图像脱敏处理模块218。
在上述敏感特征识别模块216识别出所述待处理图像中包含的敏感特征之后，所述图像脱敏处理模块218在此基础上对所述待处理图像中识别出的敏感特征进行脱敏处理。比如在计算节点Node 1中，以项目成员M1的身份证正面照图像为例，图像识别模型Model 1进行敏感特征识别后输出的敏感特征为：身份证正面照图像中项目成员M1的头像照片、项目成员M1的姓名、身份证号和籍贯，则对身份证正面照图像中项目成员M1的头像照片、项目成员M1的姓名、身份证号和籍贯进行遮盖或者模糊化处理。
需要说明的是，本实施例对所述待处理图像中识别出的敏感特征进行脱敏处理的方式不做限定，比如对待处理图像中识别出的敏感特征添加水印，或者对待处理图像中识别出的敏感特征进行图像模糊化处理，再或者采用裁剪的方式裁剪掉待处理图像中识别出的敏感特征所在区域。
综上所述，本申请提供的基于分布式调度的图像脱敏处理系统，通过所述分布式调度平台100和所述分布式集群200中的计算节点210之间的相互配合，利用所述分布式调度平台100将针对待处理图像的脱敏处理任务调度到所述计算节点210上，通过分布式调度来充分利用所述分布式集群200中计算节点210的计算资源，能够极大的提升图像脱敏处理效率，同时，所述分布式调度平台100在调度过程中，将不同图像分类包含的待处理图像调度至对应的图像识别模型所部署的计算节点210，利用不同的图像识别模型有针对性的对图像分类的待处理图像进行敏感特征识别，提升了图像敏感特征识别的准确度，在此基础上进行的图像脱敏处理的准确度也得以提升。
本申请提供的一种图像脱敏处理的分布式调度方法实施例如下：
在上述的实施例中，提供了一种基于分布式调度的图像脱敏处理系统，此外，本申请还提供了一种图像脱敏处理的分布式调度方法，所述图像脱敏处理的分布式调度方法基于所述基于分布式调度的图像脱敏处理系统中分布式调度平台实现，相关的部分请参见上述提供的系统实施例的对应说明即可，下述描述的实施例仅仅是示意性的。
参照附图2，其示出了本申请提供的一种图像脱敏处理的分布式调度方法处理流程图。
本申请提供一种图像脱敏处理的分布式调度方法，包括：
步骤S202，提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像；
步骤S204，对所述待处理图像进行聚类，获得至少一个图像分类；
步骤S206，根据所述图像分类与分布式集群中计算节点上部署的图像识别模型的对应关系，将所述图像分类包含的待处理图像路由至对应图像识别模型所部署的计算节点，所述分布式集群包含多个计算节点。
可选的，所述对所述待处理图像进行聚类，获得至少一个图像分类，包括：
通过将所述待处理图像输入图像聚类模型进行聚类，聚类后输出至少一个图像分类，每个图像分类包含至少一张待处理图像。
可选的，所述提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像步骤执行之前，包括：
从分布式数据库中读取所述项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像。
本申请提供的一种图像脱敏处理的分布式调度装置实施例如下：
在上述的实施例中，提供了一种图像脱敏处理的分布式调度方法，与之相对应的，本申请还提供了一种图像脱敏处理的分布式调度装置，下面结合附图进行说明。
参照附图3，其示出了本申请提供的一种图像脱敏处理的分布式调度装置实施例的示意图。
由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的部分请参见上述提供的方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
本申请提供一种图像脱敏处理的分布式调度装置，包括：
待处理图像提取单元302，被配置为提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像；
图像聚类单元304，被配置为对所述待处理图像进行聚类，获得至少一个图像分类；
待处理图像路由单元306，被配置为根据所述图像分类与分布式集群中计算节点上部署的图像识别模型的对应关系，将所述图像分类包含的待处理图像路由至对应图像识别模型所部署的计算节点，所述分布式集群包含多个计算节点。
可选的，所述对所述待处理图像进行聚类，获得至少一个图像分类，包括：
通过将所述待处理图像输入图像聚类模型进行聚类，聚类后输出至少一个图像分类，每个图像分类包含至少一张待处理图像。
可选的，所述图像脱敏处理的分布式调度装置，包括：
待处理图像读取单元，被配置为从分布式数据库中读取所述项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像。
本申请提供的一种基于分布式调度的图像脱敏处理方法实施例如下：
在上述的实施例中，提供了一种基于分布式调度的图像脱敏处理系统，此外，本申请还提供了一种基于分布式调度的图像脱敏处理方法，所述基于分布式调度的图像脱敏处理方法基于所述基于分布式调度的图像脱敏处理系统中分布式集群包含的计算节点实现，并且，所述基于分布式调度的图像脱敏处理方法与上述实施例提供的基于分布式调度平台实现的所述图像脱敏处理的分布式调度方法相互配合，相关的部分请参见上述提供的系统实施例的对应说明即可，下述描述的实施例仅仅是示意性的。
参照附图4，其示出了其示出了本申请提供的一种基于分布式调度的图像脱敏处理方法处理流程图。
本申请提供一种基于分布式调度的图像脱敏处理方法，包括：
步骤S402，接收分布式调度平台路由的待处理图像；
步骤S404，提取所述待处理图像在多个特征维度的初始图像特征；
步骤S406，对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征；
步骤S408，通过将所述待处理图像和所述特征降维模型输出的至少一个图像脱敏维度的图像特征输入图像识别模型进行敏感特征识别；所述图像识别模型与所述待处理图像所属的图像分类具有对应关系；
步骤S410，对所述待处理图像中的敏感特征进行脱敏处理。
可选的，所述提取所述待处理图像在多个特征维度的初始图像特征，包括：
提取所述待处理图像在多个特征维度的初始图像特征对应的特征向量；所述特征向量的向量维度数值与所述特征维度数值相等；
相应的，所述对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征，包括：
为对所述特征向量进行降维计算，将降维计算后获得所述待处理图像在所述图像脱敏维度的特征向量作为所述待处理图像在至少一个图像脱敏维度的图像特征。
可选的，所述提取所述待处理图像在多个特征维度的初始图像特征步骤执行之后，且所述对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征步骤执行之前，包括：
基于所述多个特征维度的初始图像特征对所述待处理图像进行预处理。
可选的，所述基于所述多个特征维度的初始图像特征对所述待处理图像进行预处理，包括：
根据所述图像特征位置维度的初始图像特征，确定所述待处理图像中包含的图像特征的位置信息；
基于所述待处理图像中包含的图像特征的位置信息，对所述待处理图像进行裁剪。
可选的，所述对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征步骤基于训练获得的特征降维模型实现，并且，通过将所述待处理图像在多个特征维度的初始图像特征输入训练后的特征降维模型进行特征降维处理，输出所述待处理图像在所述脱敏特征维度的图像特征。
可选的，所述特征降维模型，采用如下方式进行训练：
获取已完成脱敏处理的已脱敏图像对应的初始图像的初始图像集合；
提取所述初始图像集合中初始图像在多个特征维度的初始图像特征；
对所述多个特征维度的初始图像特征进行降维处理，获得所述初始图像在至少一个图像脱敏维度的真实图像特征；
将所述多个特征维度的初始图像特征和所述图像脱敏维度的真实图像特征作为第一训练样本，对预先构建的初始特征降维模型进行训练，获得所述特征降维模型。
可选的，所述图像识别模型，采用如下方式进行训练：
将携带所述图像脱敏维度的真实图像特征的初始图像和携带真实敏感特征的初始图像作为第二训练样本，对预先构建的初始图像识别模型进行训练，获得所述图像识别模型。
可选的，所述图像脱敏维度，包括下述至少一项：
图像色彩维度、图像特征位置维度以及图像特征标识维度。
本申请提供的一种基于分布式调度的图像脱敏处理装置实施例如下：
在上述的实施例中，提供了一种基于分布式调度的图像脱敏处理方法，与之相对应的，本申请还提供了一种基于分布式调度的图像脱敏处理装置，下面结合附图进行说明。
参照附图5，其示出了本申请提供的一种基于分布式调度的图像脱敏处理装置实施例的示意图。
由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的部分请参见上述提供的方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
本申请提供一种基于分布式调度的图像脱敏处理装置，包括：
待处理图像接收单元502，被配置为接收分布式调度平台路由的待处理图像；
初始图像特征提取单元504，被配置为提取所述待处理图像在多个特征维度的初始图像特征；
图像特征降维处理单元506，被配置为对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征；
敏感特征识别单元508，被配置为通过将所述待处理图像和所述特征降维模型输出的至少一个图像脱敏维度的图像特征输入图像识别模型进行敏感特征识别；所述图像识别模型与所述待处理图像所属的图像分类具有对应关系；
脱敏处理单元510，被配置为对所述待处理图像中的敏感特征进行脱敏处理。
可选的，所述初始图像特征提取单元504，具体被配置为提取所述待处理图像在多个特征维度的初始图像特征对应的特征向量；所述特征向量的向量维度数值与所述特征维度数值相等；
相应的，所述图像特征降维处理单元506，具体被配置为对所述特征向量进行降维计算，将降维计算后获得所述待处理图像在所述图像脱敏维度的特征向量作为所述待处理图像在至少一个图像脱敏维度的图像特征。
可选的，所述基于分布式调度的图像脱敏处理装置，包括：
预处理单元，被配置为基于所述多个特征维度的初始图像特征对所述待处理图像进行预处理。
可选的，所述预处理单元，包括：
位置信息确定子单元，被配置为根据所述图像特征位置维度的初始图像特征，确定所述待处理图像中包含的图像特征的位置信息；
图像裁剪子单元，被配置为基于所述待处理图像中包含的图像特征的位置信息，对所述待处理图像进行裁剪。
可选的，所述图像特征降维处理单元506基于训练获得的特征降维模型实现，并且，通过将所述待处理图像在多个特征维度的初始图像特征输入训练后的特征降维模型进行特征降维处理，输出所述待处理图像在所述脱敏特征维度的图像特征。
可选的，所述特征降维模型，通过运行如下子单元进行训练：
初始图像集合获取子单元，被配置为获取已完成脱敏处理的已脱敏图像对应的初始图像的初始图像集合；
初始图像特征提取子单元，被配置为提取所述初始图像集合中初始图像在多个特征维度的初始图像特征；
降维处理子单元，被配置为对所述多个特征维度的初始图像特征进行降维处理，获得所述初始图像在至少一个图像脱敏维度的真实图像特征；
特征降维模型训练子单元，被配置为将所述多个特征维度的初始图像特征和所述图像脱敏维度的真实图像特征作为第一训练样本，对预先构建的初始特征降维模型进行训练，获得所述特征降维模型。
可选的，所述图像识别模型，通过运行如下子单元进行训练：
图像识别模型训练子单元，被配置为将携带所述图像脱敏维度的真实图像特征的初始图像和携带真实敏感特征的初始图像作为第二训练样本，对预先构建的初始图像识别模型进行训练，获得所述图像识别模型。
可选的，所述图像脱敏维度，包括下述至少一项：
图像色彩维度、图像特征位置维度以及图像特征标识维度。
本申请提供的一种计算设备实施例如下：
图6是示出了根据本说明书一实施例的计算设备600的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接，数据库650用于保存数据。
计算设备600还包括接入设备640，接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本说明书的一个实施例中，计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图6所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备600可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备600还可以是移动式或静止式的服务器。
本申请提供一种计算设备，包括存储器610、处理器620及存储在存储器上并可在处理器上运行的计算机指令，所述处理器620用于执行如下计算机可执行指令：
提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像；
对所述待处理图像进行聚类，获得至少一个图像分类；
根据所述图像分类与分布式集群中计算节点上部署的图像识别模型的对应关系，将所述图像分类包含的待处理图像路由至对应图像识别模型所部署的计算节点，所述分布式集群包含多个计算节点。
可选的，所述对所述待处理图像进行聚类，获得至少一个图像分类，包括：
通过将所述待处理图像输入图像聚类模型进行聚类，聚类后输出至少一个图像分类，每个图像分类包含至少一张待处理图像。
可选的，所述提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像指令执行之前，所述处理器620还用于执行如下计算机可执行指令：
从分布式数据库中读取所述项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像。
本申请提供的一种计算设备实施例如下：
图7是示出了根据本说明书一实施例的计算设备700的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接，数据库750用于保存数据。
计算设备700还包括接入设备740，接入设备740使得计算设备700能够经由一个或多个网络760通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备740可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本说明书的一个实施例中，计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图7所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备700可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备700还可以是移动式或静止式的服务器。
本申请提供一种计算设备，包括存储器710、处理器720及存储在存储器上并可在处理器上运行的计算机指令，所述处理器720用于执行如下计算机可执行指令：
接收分布式调度平台路由的待处理图像；
提取所述待处理图像在多个特征维度的初始图像特征；
对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征；
通过将所述待处理图像和所述特征降维模型输出的至少一个图像脱敏维度的图像特征输入图像识别模型进行敏感特征识别；所述图像识别模型与所述待处理图像所属的图像分类具有对应关系；
对所述待处理图像中的敏感特征进行脱敏处理。
可选的，所述提取所述待处理图像在多个特征维度的初始图像特征，包括：
提取所述待处理图像在多个特征维度的初始图像特征对应的特征向量；所述特征向量的向量维度数值与所述特征维度数值相等；
相应的，所述对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征，包括：
为对所述特征向量进行降维计算，将降维计算后获得所述待处理图像在所述图像脱敏维度的特征向量作为所述待处理图像在至少一个图像脱敏维度的图像特征。
可选的，所述提取所述待处理图像在多个特征维度的初始图像特征指令执行之后，且所述对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征指令执行之前，所述处理器720还用于执行如下计算机可执行指令：
基于所述多个特征维度的初始图像特征对所述待处理图像进行预处理。
可选的，所述基于所述多个特征维度的初始图像特征对所述待处理图像进行预处理，包括：
根据所述图像特征位置维度的初始图像特征，确定所述待处理图像中包含的图像特征的位置信息；
基于所述待处理图像中包含的图像特征的位置信息，对所述待处理图像进行裁剪。
可选的，所述对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征指令基于训练获得的特征降维模型实现，并且，通过将所述待处理图像在多个特征维度的初始图像特征输入训练后的特征降维模型进行特征降维处理，输出所述待处理图像在所述脱敏特征维度的图像特征。
可选的，所述特征降维模型，采用如下方式进行训练：
获取已完成脱敏处理的已脱敏图像对应的初始图像的初始图像集合；
提取所述初始图像集合中初始图像在多个特征维度的初始图像特征；
对所述多个特征维度的初始图像特征进行降维处理，获得所述初始图像在至少一个图像脱敏维度的真实图像特征；
将所述多个特征维度的初始图像特征和所述图像脱敏维度的真实图像特征作为第一训练样本，对预先构建的初始特征降维模型进行训练，获得所述特征降维模型。
可选的，所述图像识别模型，采用如下方式进行训练：
将携带所述图像脱敏维度的真实图像特征的初始图像和携带真实敏感特征的初始图像作为第二训练样本，对预先构建的初始图像识别模型进行训练，获得所述图像识别模型。
可选的，所述图像脱敏维度，包括下述至少一项：
图像色彩维度、图像特征位置维度以及图像特征标识维度。
本申请提供的一种计算机可读存储介质实施例如下：
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时以用于：
提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像；
对所述待处理图像进行聚类，获得至少一个图像分类；
根据所述图像分类与分布式集群中计算节点上部署的图像识别模型的对应关系，将所述图像分类包含的待处理图像路由至对应图像识别模型所部署的计算节点，所述分布式集群包含多个计算节点。
可选的，所述对所述待处理图像进行聚类，获得至少一个图像分类，包括：
通过将所述待处理图像输入图像聚类模型进行聚类，聚类后输出至少一个图像分类，每个图像分类包含至少一张待处理图像。
可选的，所述提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像步骤执行之前，包括：
从分布式数据库中读取所述项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像。
本申请提供的一种计算机可读存储介质实施例如下：
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时以用于：
接收分布式调度平台路由的待处理图像；
提取所述待处理图像在多个特征维度的初始图像特征；
对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征；
通过将所述待处理图像和所述特征降维模型输出的至少一个图像脱敏维度的图像特征输入图像识别模型进行敏感特征识别；所述图像识别模型与所述待处理图像所属的图像分类具有对应关系；
对所述待处理图像中的敏感特征进行脱敏处理。
可选的，所述提取所述待处理图像在多个特征维度的初始图像特征，包括：
提取所述待处理图像在多个特征维度的初始图像特征对应的特征向量；所述特征向量的向量维度数值与所述特征维度数值相等；
相应的，所述对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征，包括：
为对所述特征向量进行降维计算，将降维计算后获得所述待处理图像在所述图像脱敏维度的特征向量作为所述待处理图像在至少一个图像脱敏维度的图像特征。
可选的，所述提取所述待处理图像在多个特征维度的初始图像特征步骤执行之后，且所述对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征步骤执行之前，包括：
基于所述多个特征维度的初始图像特征对所述待处理图像进行预处理。
可选的，所述基于所述多个特征维度的初始图像特征对所述待处理图像进行预处理，包括：
根据所述图像特征位置维度的初始图像特征，确定所述待处理图像中包含的图像特征的位置信息；
基于所述待处理图像中包含的图像特征的位置信息，对所述待处理图像进行裁剪。
可选的，所述对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征步骤基于训练获得的特征降维模型实现，并且，通过将所述待处理图像在多个特征维度的初始图像特征输入训练后的特征降维模型进行特征降维处理，输出所述待处理图像在所述脱敏特征维度的图像特征。
可选的，所述特征降维模型，采用如下方式进行训练：
获取已完成脱敏处理的已脱敏图像对应的初始图像的初始图像集合；
提取所述初始图像集合中初始图像在多个特征维度的初始图像特征；
对所述多个特征维度的初始图像特征进行降维处理，获得所述初始图像在至少一个图像脱敏维度的真实图像特征；
将所述多个特征维度的初始图像特征和所述图像脱敏维度的真实图像特征作为第一训练样本，对预先构建的初始特征降维模型进行训练，获得所述特征降维模型。
可选的，所述图像识别模型，采用如下方式进行训练：
将携带所述图像脱敏维度的真实图像特征的初始图像和携带真实敏感特征的初始图像作为第二训练样本，对预先构建的初始图像识别模型进行训练，获得所述图像识别模型。
可选的，所述图像脱敏维度，包括下述至少一项：
图像色彩维度、图像特征位置维度以及图像特征标识维度。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的基于分布式调度的图像脱敏处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述基于分布式调度的图像脱敏处理方法的技术方案的描述。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本申请的原理和真实应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。
Claims (27)
1.一种基于分布式调度的图像脱敏处理系统，其特征在于，包括：
分布式调度平台以及包含多个计算节点的分布式集群；
所述分布式调度平台，被配置为提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像，对所述待处理图像进行聚类，根据图像分类与所述计算节点上部署的图像识别模型的对应关系，将聚类获得的至少一个图像分类包含的待处理图像路由至对应图像识别模型所部署的计算节点；
所述计算节点，包括图像特征提取模块、特征降维模块、敏感特征识别模块和图像脱敏处理模块；
其中，所述图像特征提取模块，被配置为接收所述分布式调度平台路由的待处理图像，提取所述待处理图像在多个特征维度的初始图像特征；
所述特征降维模块，被配置为对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征；
所述敏感特征识别模块，被配置为通过将所述待处理图像和所述特征降维模型输出的至少一个图像脱敏维度的图像特征输入所述计算节点部署的图像识别模型进行敏感特征识别；
所述图像脱敏处理模块，被配置为对所述待处理图像中的敏感特征进行脱敏处理。
2.根据权利要求1所述的基于分布式调度的图像脱敏处理系统，其特征在于，所述分布式调度平台采用如下方式对所述待处理图像进行聚类：
通过将所述待处理图像输入图像聚类模型进行聚类，聚类后输出至少一个图像分类，每个图像分类包含至少一张待处理图像。
3.根据权利要求1所述的基于分布式调度的图像脱敏处理系统，其特征在于，还包括分布式数据库，所述分布式数据库，被配置为存储所述项目成员在参与项目过程中提交的项目案件；
相应的，所述分布式调度平台在提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像之前，从所述分布式数据库中读取所述项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像。
4.根据权利要求1所述的基于分布式调度的图像脱敏处理系统，其特征在于，所述图像特征提取模块，具体被配置为提取所述待处理图像在多个特征维度的初始图像特征对应的特征向量；所述特征向量的向量维度数值与所述特征维度数值相等；
相应的，所述特征降维模块，具体被配置为对所述特征向量进行降维计算，将降维计算后获得所述待处理图像在所述图像脱敏维度的特征向量作为所述待处理图像在至少一个图像脱敏维度的图像特征。
5.根据权利要求1所述的基于分布式调度的图像脱敏处理系统，其特征在于，所述计算节点还包括：
图像预处理模块，被配置为基于所述多个特征维度的初始图像特征对所述待处理图像进行预处理。
6.根据权利要求5所述的基于分布式调度的图像脱敏处理系统，其特征在于，若所述特征维度包含图像特征位置维度，相应的，所述图像预处理模块，具体被配置为：
根据所述图像特征位置维度的初始图像特征，确定所述待处理图像中包含的图像特征的位置信息；
基于所述待处理图像中包含的图像特征的位置信息，对所述待处理图像进行裁剪。
7.根据权利要求1所述的基于分布式调度的图像脱敏处理系统，其特征在于，所述特征降维模块基于训练获得的特征降维模型实现，并且，通过将所述待处理图像在多个特征维度的初始图像特征输入训练后的特征降维模型进行特征降维处理，输出所述待处理图像在所述脱敏特征维度的图像特征。
8.根据权利要求7所述的基于分布式调度的图像脱敏处理系统，其特征在于，所述特征降维模型，采用如下方式进行训练：
获取已完成脱敏处理的已脱敏图像对应的初始图像的初始图像集合；
提取所述初始图像集合中初始图像在多个特征维度的初始图像特征；
对所述多个特征维度的初始图像特征进行降维处理，获得所述初始图像在至少一个图像脱敏维度的真实图像特征；
将所述多个特征维度的初始图像特征和所述图像脱敏维度的真实图像特征作为第一训练样本，对预先构建的初始特征降维模型进行训练，获得所述特征降维模型。
9.根据权利要求8所述的基于分布式调度的图像脱敏处理系统，其特征在于，所述图像识别模型，采用如下方式进行训练：
将携带所述图像脱敏维度的真实图像特征的初始图像和携带真实敏感特征的初始图像作为第二训练样本，对预先构建的初始图像识别模型进行训练，获得所述图像识别模型。
10.根据权利要求1所述的基于分布式调度的图像脱敏处理系统，其特征在于，所述图像脱敏维度，包括下述至少一项：
图像色彩维度、图像特征位置维度以及图像特征标识维度。
11.一种图像脱敏处理的分布式调度方法，其特征在于，包括：
提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像；
对所述待处理图像进行聚类，获得至少一个图像分类；
根据所述图像分类与分布式集群中计算节点上部署的图像识别模型的对应关系，将所述图像分类包含的待处理图像路由至对应图像识别模型所部署的计算节点，所述分布式集群包含多个计算节点。
12.根据权利要求11所述的图像脱敏处理的分布式调度方法，其特征在于，所述对所述待处理图像进行聚类，获得至少一个图像分类，包括：
通过将所述待处理图像输入图像聚类模型进行聚类，聚类后输出至少一个图像分类，每个图像分类包含至少一张待处理图像。
13.根据权利要求11所述的图像脱敏处理的分布式调度方法，其特征在于，所述提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像步骤执行之前，包括：
从分布式数据库中读取所述项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像。
14.一种图像脱敏处理的分布式调度装置，其特征在于，包括：
待处理图像提取单元，被配置为提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像；
图像聚类单元，被配置为对所述待处理图像进行聚类，获得至少一个图像分类；
待处理图像路由单元，被配置为根据所述图像分类与分布式集群中计算节点上部署的图像识别模型的对应关系，将所述图像分类包含的待处理图像路由至对应图像识别模型所部署的计算节点，所述分布式集群包含多个计算节点。
15.一种基于分布式调度的图像脱敏处理方法，其特征在于，包括：
接收分布式调度平台路由的待处理图像；
提取所述待处理图像在多个特征维度的初始图像特征；
对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征；
通过将所述待处理图像和所述特征降维模型输出的至少一个图像脱敏维度的图像特征输入图像识别模型进行敏感特征识别；所述图像识别模型与所述待处理图像所属的图像分类具有对应关系；
对所述待处理图像中的敏感特征进行脱敏处理。
16.根据权利要求15所述的基于分布式调度的图像脱敏处理方法，其特征在于，所述提取所述待处理图像在多个特征维度的初始图像特征，包括：
提取所述待处理图像在多个特征维度的初始图像特征对应的特征向量；所述特征向量的向量维度数值与所述特征维度数值相等；
相应的，所述对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征，包括：
为对所述特征向量进行降维计算，将降维计算后获得所述待处理图像在所述图像脱敏维度的特征向量作为所述待处理图像在至少一个图像脱敏维度的图像特征。
17.根据权利要求15所述的基于分布式调度的图像脱敏处理方法，其特征在于，所述提取所述待处理图像在多个特征维度的初始图像特征步骤执行之后，且所述对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征步骤执行之前，包括：
基于所述多个特征维度的初始图像特征对所述待处理图像进行预处理。
18.根据权利要求17所述的基于分布式调度的图像脱敏处理方法，其特征在于，所述基于所述多个特征维度的初始图像特征对所述待处理图像进行预处理，包括：
根据所述图像特征位置维度的初始图像特征，确定所述待处理图像中包含的图像特征的位置信息；
基于所述待处理图像中包含的图像特征的位置信息，对所述待处理图像进行裁剪。
19.根据权利要求15所述的基于分布式调度的图像脱敏处理方法，其特征在于，所述对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征步骤基于训练获得的特征降维模型实现，并且，通过将所述待处理图像在多个特征维度的初始图像特征输入训练后的特征降维模型进行特征降维处理，输出所述待处理图像在所述脱敏特征维度的图像特征。
20.根据权利要求19所述的基于分布式调度的图像脱敏处理方法，其特征在于，所述特征降维模型，采用如下方式进行训练：
获取已完成脱敏处理的已脱敏图像对应的初始图像的初始图像集合；
提取所述初始图像集合中初始图像在多个特征维度的初始图像特征；
对所述多个特征维度的初始图像特征进行降维处理，获得所述初始图像在至少一个图像脱敏维度的真实图像特征；
将所述多个特征维度的初始图像特征和所述图像脱敏维度的真实图像特征作为第一训练样本，对预先构建的初始特征降维模型进行训练，获得所述特征降维模型。
21.根据权利要求20所述的基于分布式调度的图像脱敏处理方法，其特征在于，所述图像识别模型，采用如下方式进行训练：
将携带所述图像脱敏维度的真实图像特征的初始图像和携带真实敏感特征的初始图像作为第二训练样本，对预先构建的初始图像识别模型进行训练，获得所述图像识别模型。
22.根据权利要求15所述的基于分布式调度的图像脱敏处理方法，其特征在于，所述图像脱敏维度，包括下述至少一项：
图像色彩维度、图像特征位置维度以及图像特征标识维度。
23.一种基于分布式调度的图像脱敏处理装置，其特征在于，包括：
待处理图像接收单元，被配置为接收分布式调度平台路由的待处理图像；
初始图像特征提取单元，被配置为提取所述待处理图像在多个特征维度的初始图像特征；
图像特征降维处理单元，被配置为对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征；
敏感特征识别单元，被配置为通过将所述待处理图像和所述特征降维模型输出的至少一个图像脱敏维度的图像特征输入图像识别模型进行敏感特征识别；所述图像识别模型与所述待处理图像所属的图像分类具有对应关系；
脱敏处理单元，被配置为对所述待处理图像中的敏感特征进行脱敏处理。
24.一种计算设备，其特征在于，包括：
存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像；
对所述待处理图像进行聚类，获得至少一个图像分类；
根据所述图像分类与分布式集群中计算节点上部署的图像识别模型的对应关系，将所述图像分类包含的待处理图像路由至对应图像识别模型所部署的计算节点，所述分布式集群包含多个计算节点。
25.一种计算设备，其特征在于，包括：
存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
接收分布式调度平台路由的待处理图像；
提取所述待处理图像在多个特征维度的初始图像特征；
对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征；
通过将所述待处理图像和所述特征降维模型输出的至少一个图像脱敏维度的图像特征输入图像识别模型进行敏感特征识别；所述图像识别模型与所述待处理图像所属的图像分类具有对应关系；
对所述待处理图像中的敏感特征进行脱敏处理。
26.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求11至13任意一项所述图像脱敏处理的分布式调度方法的步骤。
27.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求15至22任意一项所述基于分布式调度的图像脱敏处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910286625.1A CN110163250B (zh) | 2019-04-10 | 2019-04-10 | 基于分布式调度的图像脱敏处理系统、方法以及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910286625.1A CN110163250B (zh) | 2019-04-10 | 2019-04-10 | 基于分布式调度的图像脱敏处理系统、方法以及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110163250A true CN110163250A (zh) | 2019-08-23 |
| CN110163250B CN110163250B (zh) | 2023-10-24 |
Family
ID=67639091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910286625.1A Active CN110163250B (zh) | 2019-04-10 | 2019-04-10 | 基于分布式调度的图像脱敏处理系统、方法以及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110163250B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401479A (zh) * | 2020-04-17 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 多方联合对隐私数据进行降维处理的方法和装置 |
| CN111428273A (zh) * | 2020-04-23 | 2020-07-17 | 北京中安星云软件技术有限公司 | 基于机器学习的动态脱敏方法及装置 |
| CN112085643A (zh) * | 2020-08-24 | 2020-12-15 | 中国人民公安大学 | 图像脱敏处理方法、验证方法及装置、设备及介质 |
| CN113297623A (zh) * | 2021-06-23 | 2021-08-24 | 天道金科股份有限公司 | 基于数据库的敏感数据脱敏系统 |
| CN115208649A (zh) * | 2022-07-05 | 2022-10-18 | 上海仪电（集团）有限公司中央研究院 | 一种基于图像识别的虚拟机远程安全访问方法及系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020186875A1 (en) * | 2001-04-09 | 2002-12-12 | Burmer Glenna C. | Computer methods for image pattern recognition in organic material |
| CN103425996A (zh) * | 2013-08-01 | 2013-12-04 | 华南理工大学 | 一种并行分布式的大规模图像识别方法 |
| CN104008174A (zh) * | 2014-06-04 | 2014-08-27 | 北京工业大学 | 一种海量图像检索的隐私保护索引生成方法 |
| US20160147573A1 (en) * | 2014-11-24 | 2016-05-26 | Samsung Electronics Co., Ltd. | Computing system with heterogeneous storage and process mechanism and method of operation thereof |
| WO2016087589A1 (en) * | 2014-12-03 | 2016-06-09 | Ventana Medical Systems, Inc. | Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution |
| CN105844204A (zh) * | 2015-01-14 | 2016-08-10 | 北京三星通信技术研究有限公司 | 人体行为识别方法和装置 |
| CN106257495A (zh) * | 2015-06-19 | 2016-12-28 | 阿里巴巴集团控股有限公司 | 一种数字识别方法及装置 |
| EP3125153A1 (en) * | 2015-07-31 | 2017-02-01 | Xiaomi Inc. | Method, device and server for sensitive picture recognition |
| CN106372666A (zh) * | 2016-08-31 | 2017-02-01 | 同观科技（深圳）有限公司 | 一种目标识别方法及装置 |
| CN106886599A (zh) * | 2017-02-28 | 2017-06-23 | 北京京东尚科信息技术有限公司 | 图像检索方法以及装置 |
| US20170206403A1 (en) * | 2016-01-19 | 2017-07-20 | Jason RAMBACH | Method of distributed face recognition and system thereof |
| CN107239666A (zh) * | 2017-06-09 | 2017-10-10 | 孟群 | 一种对医疗影像数据进行脱敏处理的方法及系统 |
| CN108062243A (zh) * | 2016-11-08 | 2018-05-22 | 杭州海康威视数字技术股份有限公司 | 执行计划的生成方法、任务执行方法及装置 |
| CN109409416A (zh) * | 2018-09-29 | 2019-03-01 | 上海联影智能医疗科技有限公司 | 特征向量降维方法和医学图像识别方法、装置及存储介质 |
-
2019
- 2019-04-10 CN CN201910286625.1A patent/CN110163250B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020186875A1 (en) * | 2001-04-09 | 2002-12-12 | Burmer Glenna C. | Computer methods for image pattern recognition in organic material |
| CN103425996A (zh) * | 2013-08-01 | 2013-12-04 | 华南理工大学 | 一种并行分布式的大规模图像识别方法 |
| CN104008174A (zh) * | 2014-06-04 | 2014-08-27 | 北京工业大学 | 一种海量图像检索的隐私保护索引生成方法 |
| US20160147573A1 (en) * | 2014-11-24 | 2016-05-26 | Samsung Electronics Co., Ltd. | Computing system with heterogeneous storage and process mechanism and method of operation thereof |
| WO2016087589A1 (en) * | 2014-12-03 | 2016-06-09 | Ventana Medical Systems, Inc. | Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution |
| CN105844204A (zh) * | 2015-01-14 | 2016-08-10 | 北京三星通信技术研究有限公司 | 人体行为识别方法和装置 |
| CN106257495A (zh) * | 2015-06-19 | 2016-12-28 | 阿里巴巴集团控股有限公司 | 一种数字识别方法及装置 |
| EP3125153A1 (en) * | 2015-07-31 | 2017-02-01 | Xiaomi Inc. | Method, device and server for sensitive picture recognition |
| US20170206403A1 (en) * | 2016-01-19 | 2017-07-20 | Jason RAMBACH | Method of distributed face recognition and system thereof |
| CN106372666A (zh) * | 2016-08-31 | 2017-02-01 | 同观科技（深圳）有限公司 | 一种目标识别方法及装置 |
| CN108062243A (zh) * | 2016-11-08 | 2018-05-22 | 杭州海康威视数字技术股份有限公司 | 执行计划的生成方法、任务执行方法及装置 |
| CN106886599A (zh) * | 2017-02-28 | 2017-06-23 | 北京京东尚科信息技术有限公司 | 图像检索方法以及装置 |
| CN107239666A (zh) * | 2017-06-09 | 2017-10-10 | 孟群 | 一种对医疗影像数据进行脱敏处理的方法及系统 |
| CN109409416A (zh) * | 2018-09-29 | 2019-03-01 | 上海联影智能医疗科技有限公司 | 特征向量降维方法和医学图像识别方法、装置及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| DONGSHENG LI等: "SES-LSH: Shuffle-Efficient Locality Sensitive Hashing for Distributed Similarity Search", 2017 IEEE INTERNATIONAL CONFERENCE ON WEB SERVICES (ICWS), pages 822 - 827 * |
| 彭强;张晓飞;: "基于特征向量的敏感图像识别技术", 西南交通大学学报, no. 01, pages 13 - 18 * |
| 李力: "基于云计算的海量视频智能处理的研究", 电信技术, no. 09, pages 47 - 50 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401479A (zh) * | 2020-04-17 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 多方联合对隐私数据进行降维处理的方法和装置 |
| CN111428273A (zh) * | 2020-04-23 | 2020-07-17 | 北京中安星云软件技术有限公司 | 基于机器学习的动态脱敏方法及装置 |
| CN111428273B (zh) * | 2020-04-23 | 2023-08-25 | 北京中安星云软件技术有限公司 | 基于机器学习的动态脱敏方法及装置 |
| CN112085643A (zh) * | 2020-08-24 | 2020-12-15 | 中国人民公安大学 | 图像脱敏处理方法、验证方法及装置、设备及介质 |
| CN112085643B (zh) * | 2020-08-24 | 2024-01-26 | 中国人民公安大学 | 图像脱敏处理方法、验证方法及装置、设备及介质 |
| CN113297623A (zh) * | 2021-06-23 | 2021-08-24 | 天道金科股份有限公司 | 基于数据库的敏感数据脱敏系统 |
| CN113297623B (zh) * | 2021-06-23 | 2022-05-10 | 天道金科股份有限公司 | 基于数据库的敏感数据脱敏系统 |
| CN115208649A (zh) * | 2022-07-05 | 2022-10-18 | 上海仪电（集团）有限公司中央研究院 | 一种基于图像识别的虚拟机远程安全访问方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110163250B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163250A (zh) | 基于分布式调度的图像脱敏处理系统、方法以及装置 | |
| CN110163218A (zh) | 基于图像识别的脱敏处理方法以及装置 | |
| CN109165645A (zh) | 一种图像处理方法、装置以及相关设备 | |
| CN110458107A (zh) | 用于图像识别的方法和装置 | |
| CN109429519A (zh) | 用于验证证件照片的真实性的系统和方法 | |
| CN107122375A (zh) | 基于图像特征的图像主体的识别方法 | |
| CN106022826A (zh) | 一种网络直播平台中的作弊用户识别方法与系统 | |
| CN107690660A (zh) | 图像识别方法及装置 | |
| CN108681695A (zh) | 视频动作识别方法及装置、电子设备和存储介质 | |
| CN110379020A (zh) | 一种基于生成对抗网络的激光点云上色方法和装置 | |
| CN108960260B (zh) | 一种分类模型生成方法、医学影像图像分类方法及装置 | |
| CN108228463A (zh) | 用于检测首屏时间的方法和装置 | |
| CN112989085B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| US20220343683A1 (en) | Expression Recognition Method and Apparatus, Computer Device, and Readable Storage Medium | |
| CN109344920A (zh) | 顾客属性预测方法、存储介质、系统及设备 | |
| CN110070115A (zh) | 一种单像素攻击样本生成方法、装置、设备及存储介质 | |
| CN107818301A (zh) | 更新生物特征模板的方法、装置和电子设备 | |
| CN110097090A (zh) | 一种基于多尺度特征融合的图像细粒度识别方法 | |
| CN107492084A (zh) | 基于随机性的典型成团细胞核图像合成方法 | |
| CN110298850A (zh) | 眼底图像的分割方法和装置 | |
| CN109978058A (zh) | 确定图像分类的方法、装置、终端及存储介质 | |
| CN110175623A (zh) | 基于图像识别的脱敏处理方法以及装置 | |
| CN110135218A (zh) | 用于识别图像的方法、装置、设备和计算机存储介质 | |
| CN111860601A (zh) | 预测大型真菌种类的方法及装置 | |
| CN111382410A (zh) | 刷脸验证方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200929 Address after: 27 Hospital Road, George Town, Grand Cayman ky1-9008 Applicant after: Innovative advanced technology Co.,Ltd. Address before: 27 Hospital Road, George Town, Grand Cayman ky1-9008 Applicant before: Advanced innovation technology Co.,Ltd. Effective date of registration: 20200929 Address after: 27 Hospital Road, George Town, Grand Cayman ky1-9008 Applicant after: Advanced innovation technology Co.,Ltd. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |