CN114064957A - 一种图片隐私分级方法、装置、电子设备与存储介质 - Google Patents

Abstract

本申请公开了一种图片隐私分级方法、装置、电子设备与存储介质，涉及图像识别的技术领域。该图片隐私分级方法包括：将目标图像输入已训练的人脸检测模型，获得目标图像的人脸检测结果；基于人脸检测结果确定目标图像的隐私级别标签；为目标图像添加对应的隐私级别标签。故本申请具有节省人力、分级效率高且结果精准的优点。

Description

一种图片隐私分级方法、装置、电子设备与存储介质

技术领域

本申请涉及图像识别的技术领域，具体而言，涉及一种图片隐私分级方法、装置、电子设备与存储介质。

背景技术

现有技术中，在软件开发过程中会存在图片调用或图片共享的需求，而图片的来源往往是用户随手拍摄上传到数据库的图片，其中有些用户人脸图片会涉及隐私不能被使用。原有方式中，数据库中存储的海量图片由人工判断标记隐私级别，但因为数量过多又没有统一的识别标准，最终造成部分图片隐私分级结果不精确、耗费人力物力，以及图片隐私分级效率低等缺陷。

发明内容

本申请的目的在于提供一种图片隐私分级方法、装置、电子设备与存储介质，可以通过人脸识别，对图片数据中包含的隐私进行自动判断并分级。

本申请的实施例是这样实现的：

本申请实施例第一方面提供了一种图片隐私分级方法，包括：将目标图像输入已训练的人脸检测模型，获得目标图像的人脸检测结果；基于人脸检测结果确定目标图像的隐私级别标签；为目标图像添加对应的隐私级别标签。

于一实施例中，在将目标图像输入已训练的人脸检测模型，获得目标图像的人脸检测结果之前，还包括：查询目标图像的数据存储位置，并基于数据存储位置获取目标图像对应的原始图像数据；对原始图像数据进行适配性转换，获得目标图像。

于一实施例中，对原始图像数据进行适配性转换，获得目标图像，包括：将不同格式的原始图像数据统一转换，获得对应为无损图片格式的目标图像。

于一实施例中，人脸检测模型通过如下方式训练得到：根据样本图像集中多个样本图像对神经网络模型进行训练，得到人脸检测模型；其中，样本图像携带人脸标签，人脸标签指示样本图像是否存在人脸以及人脸位置。

于一实施例中，人脸检测结果包括人脸概率、人脸位置信息；基于人脸检测结果确定目标图像的隐私级别标签，包括：基于人脸位置信息确定目标图像中人脸所在像素数量、人脸占比；基于人脸概率、人脸所在像素数量、人脸占比，确定目标图像的隐私级别标签。

于一实施例中，基于人脸概率、人脸所在像素数量、人脸占比，确定目标图像的隐私级别标签，包括：以人脸概率、人脸所在像素数量和人脸占比对应的匹配条件，确定多个匹配结果；依据多个匹配结果确定目标图像的隐私级别标签。

于一实施例中，图片隐私分级方法还包括：当多个匹配结果无法确定隐私级别标签时，输出目标图像和人工分级提示信息。

本申请实施例第二方面提供了一种图片隐私分级装置，包括：输入模块、确定模块以及添加模块。输入模块用于将目标图像输入已训练的人脸检测模型，获得目标图像的人脸检测结果；确定模块用于基于人脸检测结果确定目标图像的隐私级别标签；添加模块用于为目标图像添加对应的隐私级别标签。

本申请实施例第三方面提供了一种电子设备，电子设备包括：处理器和用于存储处理器可执行指令的存储器；其中，处理器被配置用以执行本申请实施例第一方面及其任一实施例的图片隐私分级方法。

本申请实施例第四方面提供了一种计算机可读存储介质，存储介质存储有计算机程序。计算机程序可由处理器执行，以完成本申请实施例第一方面及其任一实施例的图片隐私分级方法。

本申请与现有技术相比的有益效果是：

本申请能够解决因数据库存储图片过多，难以让人工对图片隐私级别逐一判断的问题。本申请通过对原始图片数据下载并统一转换格式，将原始图片转换为无损的目标图像，再通过已训练好的人脸检测模型对图片进行分级，最后将分级结果返回存储方和请求方，以使请求方在调用存储方的图片时明确不能使用涉及人脸隐私的图片。本申请节省了大量人力物力，在统一标准的基础上提高了图片隐私分级检测的分级准确性，同时提升了分级效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请一实施例提供的图片隐私分级方法的应用场景示意图；

图2为本申请一实施例提供的电子设备的结构示意图；

图3为本申请一实施例提供的图片隐私分级方法的流程示意图；

图4为本申请一实施例提供的图片隐私分级方法的流程示意图；

图5为本申请一实施例提供的步骤S520的细节流程示意图；

图6为本申请一实施例提供的图片隐私分级装置的结构示意图。

附图标记：1-电子设备；100-客户端；10-存储器；11-总线；12-处理器；200-网络；300-服务端；600-图片隐私分级装置；610-输入模块；620-确定模块；630-添加模块。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

下面将结合附图对本申请的技术方案进行清楚、完整地描述。

请参见图1，图1为本申请一实施例提供的图片隐私分级方法的应用场景示意图。如图1所示，该应用场景包括客户端100和服务端300，客户端100与服务端300之间通过网络200连接。客户端100可以是个人电脑、平板电脑、智能手机、服务器或服务器集群等。服务端300可以是服务器或服务器集群。服务端300可以执行本申请实施例提供的图片隐私分级方法并接收客户端100的数据，为表述方便，本申请实施例以服务端300作为执行主体展开描述。

于本应用场景中，当软件开发或维护过程中，客户端100需要使用自身存储的或其他客户端100存储的原始图像数据。为区分不同的客户端100，将需要确认原始图像数据分级结果、并发出分级请求的客户端100称为请求方；将存储原始图像数据的客户端100称为存储方。存储方与请求方可以为同一个，也可以为不同的客户端100。服务端300接收到请求方的分级指示后，从存储方获取对应图片的原始图像数据，对图片进行隐私分级后返回对应分级结果。

请参见图2，图2为本申请一实施例提供的电子设备1的结构示意图，该电子设备1可以作为上述服务端300或客户端100。如图2所示，电子设备1包括至少一个处理器12和存储器10，图2中以一个处理器12为例。处理器12和存储器10通过总线11连接，存储器10存储有可被至少一个处理器12执行的指令，指令被至少一处理器12执行，以使至少一个处理器12执行如下述实施例中的图片隐私分级方法。

请参见图3，图3为本申请一实施例提供的图片隐私分级方法的流程示意图。如图3所示，该方法包括：

S410：将目标图像输入已训练的人脸检测模型，获得目标图像的人脸检测结果。

目标图像是指需要进行隐私分级的待检测图像，人脸检测模型是指将事先筛选出不同隐私级别的人脸图像，输入到待训练的人脸检测模型，通过检测结果与真实结果的比对，并通过不断补偿或调整等操作，得到的已训练的可以自动检测的人脸检测模型。

在该步骤中，服务端将需要进行分级的图像输入到已训练好的人脸检测电脑模型进行检测，已训练好的模型会针对目标图像包含的数据进行人脸检测，并输出人脸检测相关的指标或参数。

S420：基于人脸检测结果确定目标图像的隐私级别标签。

隐私级别标签是指针对图像中的人脸进行检测后，会暴露图像中的人物相关隐私信息的可能性的等级指标。在该步骤中，服务端300在获取步骤S410中得到的人脸检测相关的指标或参数后，根据已规定好的图片隐私分级标准，确认指标或参数等相关数据归属于分级标准中的哪一个阈值，然后根据各指标所属阈值范围综合判断对应的隐私级别标签。

S430:为目标图像添加对应的隐私级别标签。

在该步骤中，服务端300根据上一步骤确认的隐私级别标签，将其添加至对应的目标图像数据中，目标图像数据对应客户端100中存储的原始图片数据。服务端300之后将隐私级别标签及对应的目标图像相关数据响应至客户端100，以使客户端100获取原始图像数据对应的隐私级别标签。其中，存储方可根据隐私级别标签选择是否进行分级存储，哪些图片可以共享给其他客户端；请求方可以明确请求分级结果对应的图片中哪些涉及隐私信息，是否可以被使用。

请参见图4，图4为本申请一实施例提供的图片隐私分级方法的流程示意图。如图4所示，图片隐私分级方法包括如下步骤S510至S550。

S510:查询目标图像的数据存储位置，并基于数据存储位置获取目标图像对应的原始图像数据。

在该步骤中，服务端接收到图片隐私分级指令后，根据相关图片数据对应的客户端内部存储位置，自动扫描需要遍历的图片库列表，从而定位对应的数据存储所在位置。其中，本申请实施例中数据存储位置包括：用户指定数据库存储的图像所在的数据库表，以及hdfs等文件存储系统存储的文件位置。

服务端在定位到数据存储位置后，通过网络发送获取目标图片对应的原始图像数据的请求，并在获取对应的图片数据、图片存储方式，图片压缩方式等信息后将其存储。

其中，图片的数据格式包括JPEG、GIF、PNG、BMP以及APNG等图片存储格式。服务端基于定位的数据存储位置而获取原始图片数据的方式包括：通过HTTP请求获取、通过RPC调用获取、通过SQL查询数据字段信息、通过文件系统对外提供接口获取图片数据等。

S520:对原始图像数据进行适配性转换，获得目标图像。

在该步骤中，服务端将上述步骤S510中获取到的不同格式的原始图像数据统一转换，获得对应为PNG格式的无损图片格式的目标图像并进行无损保存，统一转化是为了后续图片隐私分级中的人脸检测提供统一数据输入格式。

请参见图5，图5为本申请一实施例提供的步骤S520的细节流程示意图。如图5所示，服务端从MySQL数据库、HDSF文件存储系统等位置获取到原始图像数据并存储后，对存储在本地的原始图像数据进行适配性转换，将JPEG、GIF等各种格式的图片数据统一转化为PNG无损图片格式。

其中，根据获取原始图像数据对应的具体存储介质信息不同，其保存原始图像数据的具体步骤也不同。

若为MySQL数据库存储原始图像数据，则服务端通过连通MySQL数据库，获取具体的数据库表中对应的字段读取对应的原始图像数据。MySQL存储介质存储图片一般会对图片进行GZIP压缩后，通过base64的形式转码为字符串，因此在服务端获取数据时识别到该种方式后，对应地会对存储内容解码并解压缩为原图片内容，读取并存储到服务端对应存储器中。

若为HDSF文件存储系统存储原始图像数据，则服务端直接接入远端HDFS系统中获取原始图像数据，读取并存储到服务端对应存储器中。

在上述步骤获取并存储完成后，服务端通过OpenCV相关图片处理库对图片进行转码，将原始图像数据的原始格式转码为对应PNG无损格式的目标图像。

S530:将目标图像输入已训练的人脸检测模型，获得目标图像的人脸检测结果。

在该步骤之前，人脸检测模型的训练方式是根据样本图像集中多个样本图像，对神经网络模型进行训练后，得到的检测模型。其中，样本图像携带人脸标签，人脸标签指示样本图像是否存在人脸以及人脸位置。样本图像集由多个已确认人脸标签相关数据特征的样本图像组成。基于样本图像中人脸标签的相关数据，训练人脸检测模型的相关算法如下：

使用交叉熵损失函数和重叠率损失函数指导人脸检测模型的训练。交叉熵损失函数如下述公式(1):

L_ce＝-∑_ig_iln(p_fi)+(1-g_i)ln(1-p_fi) (1)

其中，p_fi为像素点Ρ(x_i,y_i)被预测为人脸的概率，1-p_fi则为非人脸的概率，像素点Ρ(x_i,y_i)在人脸区域内时，该像素点的标签g_i＝1，否则g_i＝0。

假设像素点Ρ(x_i,y_i)在人脸区域的边框为g_i＝(x_i,y_i,w_i,h_i)；预测人脸区域矩形框是

则g_i与

的重叠率IoU_i如下述公式(2)：

则基于求得的重叠率，对应的重叠率损失函数如下述公式(3)：

L_iou＝-∑_iln(IoU_i) (3)

人脸检测模型的检测识别相关参数基于上述算法不断调整，目的为：使人脸检测模型输出的结果准确性提高，使人脸识别更精确。人脸检测模型可以为FCN模型，也可以为CNN神经网络模型等可以识别人脸及相关特征的网络模型。在人脸检测模型训练完成后，服务端根据已训练完成的人脸检测模型，对目标图像数据进行人脸检测，人脸检测结果包括人脸概率、人脸位置信息，并基于人脸位置信息确定目标图像中人脸所在像素数量与人脸占比，具体细节如下：

其中，对人脸检测模型训练完成后，服务端根据已训练完成的人脸检测模型，对目标图像数据进行人脸识别和像素点检测，从而获取人脸概率P与人脸位置信息，人脸概率P也可称为人脸像素点分类得分标签P，P∈[0,1]。服务端获取人脸识别区域并返溯原图以获取人脸位置信息，并基于人脸位置信息确定目标图像中人脸所在像素数量以及人脸占比。人脸所在像素数量可以通过人脸框像素大小X表示，同时获取原图像素大小Z，进而计算获取人脸框在整体图片占比Y。如果未有人脸信息被检测到，则P，X，Y都为0。

S540:基于人脸检测结果，确定目标图像的隐私级别标签。

图像隐私是指如果图片中的人脸照片，足以让阅览者认出人脸对应人员的身份，可能会使对应人员生活造成困扰等情况的，则判定为图片隐私。在该步骤中，服务端根据上述步骤中获取到的人脸概率P、人脸框像素大小X以及人脸框在整体图片占比Y，对应目标图像的隐私级别匹配条件，确定多个匹配结果，并依据多个匹配结果确定目标图像的隐私级别标签。隐私级别标签分为L1-L5级。其中，确定多个匹配结果，并基于多个匹配结果确定隐私级别标签的条件如下述公式。

L1：无脸-(P<＝0.6)；

L2：模糊1-(P>0.6)&(Y<5％)&(X<20)；

L3：模糊2-(P>0.6)&(Y<8％)&(X>＝20&X<50)；

L4：模糊3-(P>0.6)&(Y<10％)&(X>＝50&X<80)；

L5：整脸-(P>0.6)&(Y>＝10％)&(X>＝100)。

综合P、X和Y数据产出的匹配结果，通过计算得到隐私级别标签L1-L5级。于本实施例中，L1-L4级皆可在网上分享传播，L5级可全脸识别到人，涉及隐私安全，不可传播、共享或者使用。

于本申请实施例中，当多个匹配结果无法确定隐私级别标签时，服务端输出目标图像相关数据和人工分级提示信息。

S550:为目标图像添加对应的隐私级别标签。

在该步骤中，服务端在确定隐私级别标签后，将对应的隐私级别相关信息添加到目标图像相关数据中，目标图像数据对应客户端中存储的原始图像数据。服务端将添加标签后的目标图像相关数据发送至客户端，以使存储方对应原始图像数据添加对应的隐私级别标签并进行分级存储，该步骤也称为数据回写。同时服务端还可以将图片隐私级别标签发送至请求方，使请求方明确打算使用或共享的图片中哪些涉及隐私信息，是否可以被使用。

其中，为目标图像添加对应的隐私级别标签可以为：服务端自己为目标图像数据添加隐私级别标签相关数据。于本申请实施例中，也可以为服务端将隐私级别标签连同目标图像数据返回至其他设备，如存储方或者请求方的相关设备上，由其他设备针对目标图像或者原始图像进行隐私级别相关信息的数据补充，即为隐私级别标签的添加。

数据回写的方式包括：直接访问目标数据库，对分级字段信息补充；以HTTP调用返回方式，返回分级信息；以RPC调用返回方式，返回分级信息以及以文件传输的方式返回分级信息。在完成本申请实施例中上述所有步骤后，服务端可针对检测分级完成后的相关内存数据进行数据清理。

本申请能够解决因图片数量过多，难以通过人工对图片隐私级别逐一判断的问题。本申请通过对原始图像数据下载并统一转换格式，将原始图像转换为目标图像，再通过已训练好的人脸检测模型对图片进行分级，最后将分级结果返回存储方和请求方，以使请求方在调用图片时明确不能使用涉及人脸隐私的图片，使存储方可以根据隐私级别分级存储图片，便于后续其他设备调用存储方图片时，确认图片隐私级别。本申请节省了大量人力物力，在统一分级标准的基础上提高了图片隐私分级检测的分级准确性，同时提高了分级与开发效率。本申请通过对图片数据进行分类分级，提高了对用户人脸隐私数据的保护能力。

请参见图6，图6为本申请一实施例提供的图片隐私分级装置600的结构示意图。如图6所示，图片隐私分级装置600包括：输入模块610、确定模块620以及添加模块630。输入模块610用于将目标图像输入已训练的人脸检测模型，获得目标图像的人脸检测结果；确定模块620用于基于人脸检测结果确定目标图像的隐私级别标签；添加模块630用于为目标图像添加对应的隐私级别标签。

上述装置中各个模块的功能和作用的实现过程，具体详见上述图片隐私分级方法中对应步骤的实现过程，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

本申请实施例提供了一种计算机可读存储介质，存储介质存储有计算机程序。计算机程序可由处理器12执行，以完成图片隐私分级方法。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图片隐私分级方法，其特征在于，所述方法包括：

将目标图像输入已训练的人脸检测模型，获得所述目标图像的人脸检测结果；

基于所述人脸检测结果确定所述目标图像的隐私级别标签；

为所述目标图像添加对应的隐私级别标签。

2.根据权利要求1所述的方法，其特征在于，在所述将目标图像输入已训练的人脸检测模型，获得所述目标图像的人脸检测结果之前，所述方法还包括：

查询所述目标图像的数据存储位置，并基于所述数据存储位置获取所述目标图像对应的原始图像数据；

对所述原始图像数据进行适配性转换，获得所述目标图像。

3.根据权利要求2所述的方法，其特征在于，所述对所述原始图像数据进行适配性转换，获得所述目标图像，包括：

将不同格式的所述原始图像数据统一转换，获得对应为无损图片格式的所述目标图像。

4.根据权利要求1所述的方法，其特征在于，所述人脸检测模型，通过如下方式训练得到：

根据样本图像集中多个样本图像对神经网络模型进行训练，得到所述人脸检测模型；其中，所述样本图像携带人脸标签，所述人脸标签指示所述样本图像是否存在人脸以及人脸位置。

5.根据权利要求1所述的方法，其特征在于，所述人脸检测结果包括人脸概率、人脸位置信息；

所述基于所述人脸检测结果确定所述目标图像的隐私级别标签，包括：

基于所述人脸位置信息确定所述目标图像中人脸所在像素数量、人脸占比；

基于所述人脸概率、所述人脸所在像素数量、所述人脸占比，确定所述目标图像的隐私级别标签。

6.根据权利要求5所述的方法，其特征在于，所述基于所述人脸概率、所述人脸所在像素数量、所述人脸占比，确定所述目标图像的隐私级别标签，包括：

以所述人脸概率、所述人脸所在像素数量和所述人脸占比对应的匹配条件，确定多个匹配结果；

依据所述多个匹配结果确定所述目标图像的隐私级别标签。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

当所述多个匹配结果无法确定所述隐私级别标签，输出所述目标图像和人工分级提示信息。

8.一种图片隐私分级装置，其特征在于，所述装置包括：

输入模块，用于将目标图像输入已训练的人脸检测模型，获得所述目标图像的人脸检测结果；

确定模块，用于基于所述人脸检测结果确定所述目标图像的隐私级别标签；

添加模块，用于为所述目标图像添加对应的隐私级别标签。

9.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-7任意一项所述的图片隐私分级方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-7任意一项所述的图片隐私分级方法。

Images