CN113343010A - 一种图像识别方法、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种图像识别方法、装置、设备及计算机可读存储介质，获取待识别的目标图像；获取待识别的目标图像；对目标图像进行标签识别，得到标签识别结果；确定标签识别结果中是否存在预设的信息标签；若标签识别结果中存在信息标签，则识别出目标图像中的所有敏感信息内容；确定信息标签及敏感信息内容中的目标关联信息；基于信息标签、敏感信息内容、目标关联信息，确定目标图像的识别结果。本申请借助信息标初步确定目标图像中携带的信息类型，快速对目标图像有一个大体识别；之后可以准确确定目标图像中携带的具体信息，且需对图像中信息间的关联信息进行识别；最后基于信息标签、敏感信息内容、目标关联信息准确对目标图像进行识别。

Description

一种图像识别方法、电子设备及计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，更具体地说，涉及一种图像识别方法、电子设备及计算机可读存储介质。

背景技术

当前，随着大数据时代的到来，数据信息越来越丰富多样，用户获取数据的难度越来越低，数据对用户的影响越来越简便，在此过程中，如果用户获取到携带不良信息的数据的话，会给用户带来错误引导，比如携带暴恐元素的图像会使得用户具有暴力倾向等。为了避免数据对用户的错误引导，需要对用户获取的图像进行识别、处理，比如通过识别图像是否携带恶意信息，来决定是否向用户公布该图像等。为了对图像进行识别，可以通过预先训练的模型对图像进行识别，比如通过该模型检测图像中是否携带特定恶意信息，若携带，则禁止向用户公布该图像，若不携带，则可以向用户公布该图像。然而，上述检测图像中是否携带恶意信息的模型只能对图像中的特定恶意信息进行检测，当图像中携带其他恶意信息的话，该模型无法将之检测出来，导致图像识别的准确性差。综上，在实现本发明过程中，发明人发现现有技术中至少存在图像识别准确性差的问题。

发明内容

本申请的目的是提供一种图像识别方法，其能在一定程度上解决如何提高图像识别准确性的技术问题。本申请还提供了一种图像识别装置、电子设备及计算机可读存储介质。

第一方面，本申请公开了一种图像识别方法，包括：

获取待识别的目标图像；

对所述目标图像进行标签识别，得到标签识别结果；

确定标签识别结果中是否存在预设的信息标签；

若所述标签识别结果中存在所述信息标签，则识别出所述目标图像中的所有敏感信息内容；

确定所述信息标签及所述敏感信息内容中的目标关联信息；

基于所述信息标签、所述敏感信息内容、所述目标关联信息，确定所述目标图像的识别结果。

可选的，所述确定所述信息标签及所述敏感信息内容中的目标关联信息，包括：

确定每两个所述信息标签之间存在的第一类关联信息；

确定每个所述信息标签和每个所述敏感信息内容之间存在的第二类关联信息；

将所述第一类关联信息和所述第二类关联信息作为所述目标关联信息。

可选的，所述基于所述信息标签、所述敏感信息内容、所述目标关联信息，确定所述目标图像的识别结果，包括：

确定每个所述信息标签对应的标签分数；

确定每个所述敏感信息内容对应的内容分数；

将所述第一类关联信息对应的两个所述信息标签的所述标签分数的分数乘积值，作为所述第一类关联信息的第一类关联分数；

将所述第二类关联信息对应的所述信息标签的所述标签分数和所述第二类关联信息对应的所述敏感信息内容的所述内容分数的分数乘积值，作为第二类关联分数；

基于所有的所述第一类关联分数和所有的所述第二类关联分数确定目标关联分数；

基于所述标签分数、所述内容分数及所述目标关联分数，确定所述目标图像的识别分数和识别等级；

将所述识别分数和所述识别等级作为所述识别结果。

可选的，所述基于所有的所述第一类关联分数和所有的所述第二类关联分数确定目标关联分数，包括：

将所有的所述第一类关联分数和所有的所述第二类关联分数的和值确定为所述目标关联分数；

所述基于所述标签分数、所述内容分数及所述目标关联分数，确定所述目标图像的识别分数和识别等级，包括：

将所述标签分数、所述内容分数及所述目标关联分数的和值，作为所述识别分数；

将本轮识别过程中所述关联分数的出现次数作为所述识别等级。

可选的，所述标签分数及所述内容分数的值在0到1之间。

可选的，所述对所述目标图像进行标签识别，得到标签识别结果，包括：

将所述目标图像输入至预先训练的多类别多标签分类模型；

获取所述多类别多标签分类模型输出的所述标签识别结果；

所述多类别多标签分类模型的组成结构包括：去掉全连接层的Inception V3、CBAM模块、全连接层、Sigmoid激活层。

可选的，所述识别出所述目标图像中的所有敏感信息内容，包括：

将所述目标图像输入至预先训练的器物检测模型，并获取所述器物检测模型输出的器物信息；

将所述目标图像输入至预先训练的人脸身份识别模型，并获取所述人脸身份识别模型输出的人物身份信息；

将所述目标图像输入至预先训练的人物属性识别模型，并获取所述人物属性识别模型输出的人物属性信息；

将所述目标图像输入至预先训练的标志识别模型，并获取所述标志识别模型输出的标志信息；

将所述器物信息、所述人物身份信息、所述人物属性信息、所述标志信息，作为所述敏感信息内容；

其中，所述器物检测模型基于yolov5模型搭建；所述人脸身份识别模型基于RetinaFace、cosineFace模型搭建；所述人物属性识别模型的组成结构包括：去掉全连接层的Inception V3、CBAM模块、全连接层、Sigmoid激活层；所述标志识别模型基于yolov5模型搭建。

可选的，所述目标图像包括携带暴恐元素的图像；

所述信息标签的类型包括：武装人员、地面武器装备、空中武器装备、冷兵器、枪支弹药、聚集人群、宗教、血腥、火灾；

所述器物检测模型用于枪支刀具与重武器检测，所述器物信息的类型包括：手枪、来福冲锋枪、刀具、弓箭、斧头、坦克、大炮、火箭、直升机、战斗机；

所述人物属性信息包括：大胡子、阿拉伯头巾帽子；

所述标志识别模型用于旗帜条幅识别，所述标志信息的类型包括：组织旗帜、横竖条幅；

所述第一类关联信息包括：武装人员与枪支弹药、聚集人群、血腥间的关联信息；聚集人群与武装人员、血腥间的关联信息；血腥与武装人员、聚集人群间的关联关系；火灾与武装人员、聚集人群间的关联关系；

所述第二类关联信息的类型包括：武装人员与手枪、来福冲锋枪、阿拉伯头巾帽子、旗帜条幅间的关联信息；地面武器装备与坦克、大炮间的关联信息；空中武器装备与火箭、直升机、战斗机间的关联信息；冷兵器与刀具、弓箭、斧头间的关联信息；枪支弹药与手枪、来福冲锋枪间的关联信息；聚集人群与旗帜条幅间的关联信息；宗教与大胡子、阿拉伯头巾帽子、旗帜条幅间的关联信息；火灾与火箭间的关联关系。

可选的，所述确定标签识别结果中是否存在预设的信息标签之后，还包括：

若所述标签识别结果中不存在所述信息标签，则结束对所述目标图像的识别。

第二方面，本申请公开了一种图像识别装置，包括：

图像获取模块，用于获取待识别的目标图像；

标签识别结果确定模块，用于对所述目标图像进行标签识别，得到标签识别结果；

信息标签确定模块，用于确定标签识别结果中是否存在预设的信息标签；

信息内容确定模块，用于若所述标签识别结果中存在所述信息标签，则识别出所述目标图像中的所有敏感信息内容；

关联信息确定模块，用于确定所述信息标签及所述敏感信息内容中的目标关联信息；

识别结果确定模块，用于基于所述信息标签、所述敏感信息内容、所述目标关联信息，确定所述目标图像的识别结果。

第三方面，本申请公开了一种电子设备，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现如上任一所述的图像识别方法。

第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现如上任一所述的图像识别方法。

本申请中，在获取待识别的目标图像之后，需对目标图像进行标签识别，得到标签识别结果，并确定标签识别结果中是否存在预设的信息标签，因为信息标签可以反映信息类型，所以借助信息标签可以初步确定目标图像中携带的信息类型，快速对目标图像有一个大体识别；之后在标签识别结果中存在信息标签的情况下，识别出目标图像中的所有敏感信息内容，可以准确确定目标图像中携带的具体信息，且需确定信息标签及敏感信息内容中的目标关联信息，以对图像中信息间的关联信息进行识别；由于目标关联信息反映了目标图像中信息间的关联信息，而该关联信息可以进一步增强对图像的识别准确性，所以基于信息标签、敏感信息内容、目标关联信息，确定目标图像的识别结果的话，可以准确的对图像进行识别。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的图像识别方案所适用的系统框架示意图；

图2为本申请实施例提供的一种图像识别流程图；

图3为本申请实施例提供的一种具体的图像识别流程图；

图4为本申请实施例提供的识别结果确定流程图；

图5为本申请实施例提供的一种具体的识别结果确定流程图；

图6为本申请实施例中确定相应信息的模型示意图；

图7为多类别多标签分类模型的结构图；

图8为现有的人脸识别示意图；

图9为本申请提供的一种图像识别装置结构示意图；

图10为本申请实施例提供的一种电子设备20的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

当前，随着大数据时代的到来，数据信息越来越丰富多样，用户获取数据的难度越来越低，数据对用户的影响越来越简便，在此过程中，如果用户获取到携带不良信息的数据的话，会给用户带来错误引导，比如携带暴恐元素的图像会使得用户具有暴力倾向等。为了避免数据对用户的错误引导，需要对用户获取的图像进行识别、处理，比如通过识别图像是否携带恶意信息，来决定是否向用户公布该图像等。为了对图像进行识别，可以通过预先训练的模型对图像进行识别，比如通过该模型检测图像中是否携带特定恶意信息，若携带，则禁止向用户公布该图像，若不携带，则可以向用户公布该图像。然而，上述检测图像中是否携带恶意信息的模型只能对图像中的特定恶意信息进行检测，当图像中携带其他恶意信息的话，该模型无法将之检测出来，导致图像识别的准确性差。为了克服上述技术问题，本申请提供了一种图像识别方案，能够提高图像的识别准确性。

本申请的图像识别方案中，采用的系统框架具体可以参见图1所示，具体可以包括：后台服务器01和与后台服务器01建立通信连接的若干数量的用户端02。

本申请中，后台服务器01用于执行图像识别方法步骤，包括获取待识别的目标图像；对目标图像进行标签识别，得到标签识别结果；确定标签识别结果中是否存在预设的信息标签；若标签识别结果中存在信息标签，则识别出目标图像中的所有敏感信息内容；确定信息标签及敏感信息内容中的目标关联信息；基于信息标签、敏感信息内容、目标关联信息，确定目标图像的识别结果。

进一步的，后台服务器01中还可以设有图像数据库、信息标签数据库、敏感信息内容数据库、关联信息数据库以及识别结果数据库。其中，图像数据库用于保存各个待识别的图像；信息标签数据库用于保存图像识别过程中生成的信息标签；敏感信息内容数据库用于保存图像识别过程中生成的敏感信息内容；关联信息数据库用于保存图像识别过程中生成的关联信息；识别结果数据库则用于保存图像的识别结果。当然，本申请也可以将上述图像数据库设置在第三方的业务服务器中，通过上述业务服务器可以专门收集业务端上传的图像数据。如此一来，当后台服务器01需要使用图像时，可以通过向上述业务服务器发起相应的图像调用请求的方式来获取相应的图像。

图2为本申请实施例提供的一种图像识别流程图。参见图2所示，该图像识别方法包括：

步骤S101：获取待识别的目标图像。

本实施例中，目标图像指的是需要进行识别的图像，其类型可以根据实际需要确定，比如目标图像可以为用户相册图像、用户上传图像、作品封面图像、歌单封面图像、聊天内容图像、评价信息中的图像等，其来源也可以根据实际需要确定，比如可以来源于音乐软件、聊天软件、视频软件等，本申请在此不做具体限定。

步骤S102：对目标图像进行标签识别，得到标签识别结果。

本实施例中，在获取目标图像之后，便可以按照本申请提供的图像识别方法进行识别，在此过程中，可以先对目标图像进行标签识别，以借助标签识别结果中的信息标签初步对目标图像携带的信息进行了解。

步骤S103：确定标签识别结果中是否存在预设的信息标签。

本实施例中，在对目标图像进行标签识别，得到标签识别结果之后，因为标签识别结果中的信息标签可以初步反映目标图像携带的信息，而应用场景中需要对满足要求的目标图像进行筛选，所以还需确定标签识别结果是否存在预设的信息标签，以便根据预设的信息标签确定结果进一步对目标图像进行识别。需要说明的是，信息标签反映了目标图像携带的信息的类型，比如信息标签为人物标签，则表明目标图像中携带人物信息，信息标签为汽车标签，则表明目标图像中携带汽车信息等，所以借助识别出的信息标签可以从大体上对目标图像携带的信息进行了解，也即信息标签初步给出了目标图像中的信息类型，所以再进一步的，当需要根据识别结果对目标图像进行处理时，可以先根据信息标签初步对目标图像进行处理，比如在根据识别结果对目标图像进行分类的过程中，可以先根据信息标签初步确定目标图像的大体类型，之后再根据后续信息确定目标图像的准确类型等，信息标签的其余应用可以根据实际需要确定，本申请在此不做具体限定。

可以理解的是，为了全面的对目标图像进行识别，本实施例中的信息标签应该为目标图像中所有可以服务于图像识别结果的信息标签，其数量可以根据实际需要确定。

步骤S104：若标签识别结果中存在信息标签，则识别出目标图像中的所有敏感信息内容。

本实施例中，信息标签是对目标图像进行初步识别后得到的信息，其虽然可以反映目标图像中携带信息的类型，但无法使得用户获知目标图像携带的具体信息，为了便于用户更全面的了解目标图像中携带的具体信息，在确定标签识别结果中存在预设的信息标签之后，还需识别出目标图像中所有的敏感信息内容，也即需确定目标图像携带的具体信息，比如在信息标签为汽车的情况下，相对应的敏感信息内容可以为大众汽车等。其中，敏感信息内容的具体结果可以根据实际需要灵活确定，比如敏感信息内容大体可以包括器物信息、人物身份信息、人物属性信息、标志信息等。

需要说明的是，具体应用场景中，如果标签识别结果中不存在预设的信息标签，则表明目标图像不满足初步的筛选条件，此时可以结束对目标图像的识别。

步骤S105：确定信息标签及敏感信息内容中的目标关联信息。

本实施例中，只是单纯的得到信息标签及敏感信息内容的话，虽然可以使得用户了解目标图像携带的信息，但用户所了解的信息是各个独立的信息，如果直接将信息标签及敏感信息内容作为目标图像的识别结果的话，用户无法从整体上对目标图像的信息进行解读，后续还需用户根据信息标签及敏感信息内容进行分析，才能得到相应的识别结果，为了降低用户负担，本申请还可以根据目标图像中携带的信息间的关系，确定信息标签及敏感信息内容中的目标关联信息，以便用户根据目标关联信息确定目标图像中携带的相关联信息。

步骤S106：基于信息标签、敏感信息内容、目标关联信息，确定目标图像的识别结果。

本实施例中，在确定信息标签、敏感信息内容、目标关联信息之后，便可以基于信息标签、敏感信息内容、目标关联信息，确定目标图像的识别结果。在此过程中，由于信息标签反映了图像携带信息的类型，敏感信息内容反映了图像携带信息的具体内容，目标关联信息反映了图像携带信息的关联信息，所以基于信息标签、敏感信息内容、目标关联信息，确定目标图像的识别结果的话，可以得到准确的识别结果；比如在图像分类中，可以得到准确的图像分类结果，在暴恐图像检测中，可以准确确定出暴恐图像等。

本申请中，在获取待识别的目标图像之后，需对目标图像进行标签识别，得到标签识别结果，并确定标签识别结果中是否存在预设的的信息标签，因为信息标签可以反映信息类型，所以借助信息标签可以初步确定目标图像中携带的信息类型，快速对目标图像有一个大体识别；之后在标签识别结果中存在信息标签的情况下，识别出目标图像中的所有敏感信息内容，可以准确确定目标图像中携带的具体信息，且需确定信息标签及敏感信息内容中的目标关联信息，以对图像中信息间的关联信息进行识别；由于目标关联信息反映了目标图像中信息间的关联信息，而该关联信息可以进一步增强对图像的识别准确性，所以基于信息标签、敏感信息内容、目标关联信息，确定目标图像的识别结果的话，可以准确的对图像进行识别。

图3为本申请实施例提供的一种具体的图像识别流程图。参见图3所示，该图像识别方法包括：

步骤S201：获取待识别的目标图像。

步骤S202：对目标图像进行标签识别，得到标签识别结果。

步骤S203：确定标签识别结果中是否存在预设的信息标签。

步骤S204：若标签识别结果中存在信息标签，则识别出目标图像中的所有敏感信息内容。

步骤S205：确定每两个所述信息标签之间存在的第一类关联信息。

步骤S206：确定每个信息标签和每个敏感信息内容之间存在的第二类关联信息。

步骤S207：将第一类关联信息和第二类关联信息作为目标关联信息。

本实施例中，因为基于信息标签及敏感信息内容来确定相应的目标关联信息，所以目标关联信息可以来自两个信息标签之间、信息标签与敏感信息内容之间、或者两个敏感信息内容之间，考虑到信息标签是从广义上对信息进行描述，敏感信息内容是从狭义上对信息进行描述，且目标关联信息需既能反映信息间的联系又不能过于繁琐，所以在此过程中，仅确定每两个所述信息标签之间存在的第一类关联信息；确定每个信息标签和每个敏感信息内容之间存在的第二类关联信息；最后将第一类关联信息和第二类关联信息作为目标关联信息。

可以理解的是，在确定信息标签及敏感信息内容中的目标关联信息的过程中，当信息标签、敏感信息内容的数据量过大时，为了避免漏掉关联信息，可以先将信息标签和敏感信息内容作为集合的元素，再依次遍历信息标签，确定每次遍历的信息标签与该集合中元素间的关联信息，以得到全部的目标关联信息等。

步骤S208：基于信息标签、敏感信息内容、目标关联信息，确定目标图像的识别结果。

图4为本申请实施例提供的识别结果确定流程图。参见图4所示，基于信息标签、敏感信息内容、目标关联信息，确定目标图像的识别结果的过程可以包括以下步骤：

步骤S301：确定每个信息标签对应的标签分数。

步骤S302：确定每个敏感信息内容对应的内容分数。

步骤S303：将第一类关联信息对应的两个信息标签的标签分数的分数乘积值，作为第一类关联信息的第一类关联分数。

步骤S304：将第二类关联信息对应的信息标签的标签分数和第二类关联信息对应的敏感信息内容的内容分数的分数乘积值，作为第二类关联分数。

步骤S305：基于所有的第一类关联分数和所有的第二类关联分数确定目标关联分数。

步骤S306：基于标签分数、内容分数及目标关联分数，确定目标图像的识别分数和识别等级。

步骤S307：将识别分数和识别等级作为识别结果。

本实施例中，在对图像进行识别的过程中，一般会借助数值信息来表征相应的识别结果，比如对于信息标签，会输出目标图像携带该信息标签的数值，且该数值越大，表示目标图像携带该信息标签的概率越高，也即本领域中会通过数值来反映目标图像中携带的相关信息，且通过数值对目标图像中的相关信息进行量化后，后续还可以借助数值对目标图像中的相关信息进行计算，所以在基于信息标签、信息内容、目标关联信息，确定目标图像的识别结果的过程中，可以确定每个信息标签对应的标签分数；确定每个敏感信息内容对应的内容分数；确定目标关联信息对应的目标关联分数；基于标签分数、内容分数及目标关联分数，确定目标图像的识别分数和识别等级；将识别分数和识别等级作为识别结果。且确定目标关联信息对应的目标关联分数的过程中，将第一类关联信息对应的两个信息标签的标签分数的分数乘积值，作为第一类关联信息的第一类关联分数；将第二类关联信息对应的信息标签的标签分数和第二类关联信息对应的敏感信息内容的内容分数的分数乘积值，作为第二类关联分数；基于所有的第一类关联分数和所有的第二类关联分数确定目标关联分数；当然，也可以将第一类关联信息对应的两个信息标签的标签分数的分数和值，作为第一类关联信息的第一类关联分数；将第二类关联信息对应的信息标签的标签分数和第二类关联信息对应的敏感信息内容的内容分数的分数和值，作为第二类关联分数等，本申请在此不做具体限定。需要说明的是，标签分数、内容分数及关联分数的确定方式可以根据实际需要确定，比如将目标图像中携带相应信息的概率值作为该信息的相应分数等。此外，还可以将信息标签、识别分数和识别等级一同作为识别结果等，本申请在此不做具体限定。

图5为本申请实施例提供的一种具体的识别结果确定流程图。参见图5所示，基于信息标签、敏感信息内容、目标关联信息，确定目标图像的识别结果的过程可以包括以下步骤：

步骤S401：确定每个信息标签对应的标签分数。

步骤S402：确定每个敏感信息内容对应的内容分数。

步骤S403：将第一类关联信息对应的两个信息标签的标签分数的分数乘积值，作为第一类关联信息的第一类关联分数。

步骤S404：将第二类关联信息对应的信息标签的标签分数和第二类关联信息对应的敏感信息内容的内容分数的分数乘积值，作为第二类关联分数。

步骤S405：将所有的第一类关联分数和所有的第二类关联分数的和值确定为目标关联分数。

本实施例中，因为目标关联分数由第一类关联分数和第二类关联分数确定，考虑到第一类关联分数和第二类关联分数的数量可能较多，所以为了便于计算，可以将所有的第一类关联分数和所有的第二类关联分数的和值确定为目标关联分数，当然，也可以将所有的第一类关联分数和所有的第二类关联分数的乘积值确定为目标关联分数，或者通过其他方式来基于所有的第一类关联分数和所有的第二类关联分数确定目标关联分数，本申请在此不做具体限定。

步骤S406：将标签分数、内容分数及目标关联分数的和值，作为识别分数。

步骤S407：将本轮识别过程中关联分数的出现次数作为识别等级。

本实施例中，为了便于确定识别分数及识别等级，在基于标签分数、内容分数及关联分数，确定目标图像的识别分数和识别等级的过程中，可以直接将标签分数、内容分数及关联分数的和值，作为识别分数；将关联分数的数量值作为识别等级等，也即有多少个关联分数，识别等级便为多少，比如关联分数的数量为3，则识别等级便相应为3。

可以理解的是，以上确定识别结果的过程中，一方面将所有分数进行叠加，使得图像中携带的信息越多，图像的识别分数越高；另一方面，还进一步考虑了信息之间的关联关系，对于相关出现的信息也进行求和，且进行进行等级累积，使得图像中携带的信息间关联越多，图像的识别分数和识别等级也越高；这样使得方法的识别分数和识别等级结果更加有区分性，更加符合图像识别的常识和逻辑，有更高的识别准确性，降低了误识别的可能。

需要说明的是，为了便于本申请中的分数计算，标签分数及内容分数的值可以在0到1之间，也即可以大于等于0小于等于1。

步骤S408：将识别分数和识别等级作为识别结果。

图6为本申请实施例中确定相应信息的模型示意图。参见图6所示：

本申请在确定目标图像中的信息标签的过程中，为了便于确定标签识别结果，可以将目标图像输入至预先训练的多类别多标签分类模型，获取多类别多标签分类模型输出的标签识别结果；多类别多标签分类模型的组成结构包括：去掉全连接层的Inception V3、CBAM(Convolutional Block Attention Module，空间注意力模块和通道注意力模块)模块、全连接层、Sigmoid(Sigmoid function，S型生长曲线)激活层等，其结构可以如图7所示，其中，全连接层的类别数可以根据信息标签的类别数来确定，比如信息标签的类别数为9，则全连接层的类别数也为9。

需要说明的是，在对多类别多标签分类模型进行训练的过程中，可以通过网络爬取、开源数据清洗等方法收集数据，然后通过人工进行多标签类别标注清洗，构建训练数据集；之后利用深度学习框架进行模型训练迭代，得到满足训练要求的多类别多标签分类模型。

相应的，在确定目标图像中的所有敏感信息内容的过程中，可以将目标图像输入至预先训练的器物检测模型，并获取器物检测模型输出的器物信息；器物检测模型可以基于yolov5模型搭建，且在对器物检测模型进行训练的过程中，可以通过网络爬取、开源数据清洗等方法收集数据，然后人工进行器物位置框与器物类别标注清洗，构建训练数据集；之后利用深度学习框架进行模型训练迭代，得到满足训练要求的器物检测模型；

将目标图像输入至预先训练的人脸身份识别模型，并获取人脸身份识别模型输出的人物身份信息；人脸身份识别模型基于RetinaFace、cosineFace模型搭建，且在对人脸身份识别模型进行训练的过程中，可以通过网络爬取、开源数据清洗等方法收集数据，构建人脸检测和人脸特征提取训练数据集，然后利用深度学习框架进行模型训练迭代，得到满足训练要求的人脸身份识别模型；需要说明的是，本申请中的人脸身份识别和常见的人脸识别技术的流程基本是一样的，区别在于需要提前构建需要识别的人脸的人脸指纹库，然后采用通用的人脸识别技术即可完成人脸身份的识别，常见的人脸识别技术流程可以如图8所示，包括人脸检测算法处理、人脸关键点预测算法处理、人脸对齐算法处理、人脸特征提取算法处理、计算相似度、人脸特征比对等；

将目标图像输入至预先训练的人物属性识别模型，并获取人物属性识别模型输出的人物属性信息；人物属性识别模型的组成结构可以包括：去掉全连接层的Inception V3、CBAM模块、全连接层、Sigmoid激活层等；在对人物属性识别模型进行训练的过程中，可以通过网络爬取、开源数据清洗等方法收集数据，然后通过人工进行多标签类别标注清洗，构建训练数据集；之后利用深度学习框架进行模型训练迭代，得到满足训练要求的人物属性识别模型；

将目标图像输入至预先训练的标志识别模型，并获取标志识别模型输出的标志信息；标志识别模型基于yolov5模型搭建；在标志识别模型进行训练的过程中，可以通过网络爬取、开源数据清洗等方法收集数据，然后人工进行标志位置框与标志类别标注清洗，构建训练数据集；之后利用深度学习框架进行模型训练迭代，得到满足训练要求的标志识别模型；

将器物信息、人物身份信息、人物属性信息、标志信息，作为敏感信息内容。

下面以对某款音乐客户端APP中歌单封面是否携带暴恐元素的审核过程为例，对本申请中的技术方案进行说明，该过程可以包括以下步骤：

获取待识别的歌单封面；

基于预先训练的多类别多标签分类模型，确定歌单封面中的信息标签；信息标签的类型包括：武装人员、地面武器装备、空中武器装备、冷兵器、枪支弹药、聚集人群、宗教、血腥、火灾等；

基于信息标签判断歌单封面是否携带暴恐内容，若携带，则禁止用户公布歌单封面，并执行后续流程，若不携带，则允许用户公布歌单封面；

基于预先训练的器物检测模型，确定目标图像中的器物信息；器物信息包括枪支刀具与重武器等，器物信息的类型包括：手枪、来福冲锋枪、刀具、弓箭、斧头、坦克、大炮、火箭、直升机、战斗机等；

基于预先训练的人脸身份识别模型，确定目标图像中的人物身份信息；

基于预先训练的人物属性识别模型，确定目标图像中的人物属性信息；人物属性信息包括：大胡子、阿拉伯头巾帽子等；

基于预先训练的标志识别模型，确定目标图像中的标志信息；标志识别包括旗帜条幅，标志信息的类型包括：常规组织旗帜、横竖条幅等；

将器物信息、人物身份信息、人物属性信息、标识信息，作为敏感信息内容；

确定每两个信息标签之间存在的第一类关联信息；第一类关联信息包括：武装人员与枪支弹药、聚集人群、血腥间的关联信息；聚集人群与武装人员、血腥间的关联信息；血腥与武装人员、聚集人群间的关联关系；火灾与武装人员、聚集人群间的关联关系；

确定每个信息标签和每个敏感信息内容之间存在的第二类关联信息；第二类关联信息的类型包括：武装人员与手枪、来福冲锋枪、阿拉伯头巾帽子、旗帜条幅间的关联信息；地面武器装备与坦克、大炮间的关联信息；空中武器装备与火箭、直升机、战斗机间的关联信息；冷兵器与刀具、弓箭、斧头间的关联信息；枪支弹药与手枪、来福冲锋枪间的关联信息；聚集人群与旗帜条幅间的关联信息；宗教与大胡子、阿拉伯头巾帽子、旗帜条幅间的关联信息；火灾与火箭间的关联关系；将第一类关联信息和第二类关联信息作为目标关联信息；目标关联信息的类型请参阅表1；

确定每个信息标签对应的标签分数；

确定每个敏感信息内容对应的内容分数；

将第一类关联信息对应的两个信息标签的标签分数的分数乘积值，作为第一类关联信息的第一类关联分数；

将第二类关联信息对应的信息标签的标签分数和第二类关联信息对应的敏感信息内容的内容分数的分数乘积值，作为第二类关联分数；

将所有的第一类关联分数和所有的第二类关联分数的和值确定为目标关联分数；

将标签分数、内容分数及目标关联分数的和值，作为识别分数；

将本轮识别过程中关联分数的出现次数作为识别等级；

将识别分数和识别等级作为识别结果；

输出信息标签和识别结果，以使人工根据输出结果对歌单封面进行审核。

表1关联信息的类型

为了对比本申请图像识别方法的性能，假设各个模型的检测识别性能都是保持一致的。由于暴恐识别涉及的模型较多，而且每个模型的准确率都不可能是100％，因此对于实际场景中出现的各种图片，可能会识别出多种标签和对应的分数，此时，识别分数具体为暴恐分数，识别等级具体为暴恐等级。以下以三种实际中会出现的案例作为例子：

1)无相关标签识别案例：

这种案例占据了识别为暴恐疑似图片的大部分比例，而其中又以正常图片的比例最大，因此危险系数较低，其携带信息的分数及常规计算方法、本申请计算方法的结果可以参阅表2。

表2无相关标签识别结果

2)一般相关标签识别案例：

对于少部分的确出现了暴恐元素的图片，其中识别出的标签会存在一定的相关性，这种类型的结果相对少一点，但危险系数较高。其携带信息的分数及常规计算方法、本申请计算方法的结果可以参阅表3。

表3一般相关标签识别结果

3)强相关标签识别案例：

对于极少数的明显暴恐的图片，其中识别出的标签存在强的相关性，这种类型结果很少，但是危险系数很高。其携带信息的分数及常规计算方法、本申请计算方法的结果可以参阅表4。

表4强相关标签识别结果

常规计算方法及本申请计算方法的对比结果可以如表5所示，由表5可知，本申请的图像识别方法对各类图像具有准确的识别及区分，图像识别效果好。

表5常规计算方法及本申请计算方法的对比结果

参见图9所示，本申请实施例还相应公开的一种图像识别装置，应用于后台服务器，包括：

图像获取模块101，用于获取待识别的目标图像；

标签识别结果确定模块102，用于对所述目标图像进行标签识别，得到标签识别结果；

信息标签确定模块103，用于确定标签识别结果中是否存在预设的信息标签；

信息内容确定模块104，用于若所述标签识别结果中存在所述信息标签，则识别出目标图像中的所有敏感信息内容；

关联信息确定模块105，用于确定信息标签及敏感信息内容中的目标关联信息；

识别结果确定模块106，用于基于信息标签、敏感信息内容、目标关联信息，确定目标图像的识别结果。

在一些具体实施例中，关联信息确定模块可以具体用于：确定每两个所述信息标签之间存在的第一类关联信息；确定每个所述信息标签和每个所述敏感信息内容之间存在的第二类关联信息；将所述第一类关联信息和所述第二类关联信息作为所述目标关联信息。

在一些具体实施例中，识别结果确定模块可以具体用于：确定每个所述信息标签对应的标签分数；确定每个所述敏感信息内容对应的内容分数；将所述第一类关联信息对应的两个所述信息标签的所述标签分数的分数乘积值，作为所述第一类关联信息的第一类关联分数；将所述第二类关联信息对应的所述信息标签的所述标签分数和所述第二类关联信息对应的所述敏感信息内容的所述内容分数的分数乘积值，作为第二类关联分数；基于所有的所述第一类关联分数和所有的所述第二类关联分数确定目标关联分数；基于所述标签分数、所述内容分数及所述目标关联分数，确定所述目标图像的识别分数和识别等级；将所述识别分数和所述识别等级作为所述识别结果。

在一些具体实施例中，识别结果确定模块可以具体用于：将所有的所述第一类关联分数和所有的所述第二类关联分数的和值确定为所述目标关联分数；将标签分数、内容分数及目标关联分数的和值，作为识别分数；将本轮识别过程中关联分数的出现次数作为识别等级。

在一些具体实施例中，标签分数及内容分数的值在0到1之间。

在一些具体实施例中，标签识别结果确定模块可以具体用于：将所述目标图像输入至预先训练的多类别多标签分类模型，获取所述多类别多标签分类模型输出的所述标签识别结果；

多类别多标签分类模型的组成结构包括：去掉全连接层的Inception V3、CBAM模块、全连接层、Sigmoid激活层。

在一些具体实施例中，信息内容确定模块可以具体用于：将所述目标图像输入至预先训练的器物检测模型，并获取所述器物检测模型输出的器物信息；将所述目标图像输入至预先训练的人脸身份识别模型，并获取所述人脸身份识别模型输出的人物身份信息；将所述目标图像输入至预先训练的人物属性识别模型，并获取所述人物属性识别模型输出的人物属性信息；将所述目标图像输入至预先训练的标志识别模型，并获取所述标志识别模型输出的标志信息；将器物信息、人物身份信息、人物属性信息、标识信息，作为敏感信息内容；

其中，器物检测模型基于yolov5模型搭建；人脸身份识别模型基于RetinaFace、cosineFace模型搭建；人物属性识别模型的组成结构包括：去掉全连接层的Inception V3、CBAM模块、全连接层、Sigmoid激活层；标志识别模型基于yolov5模型搭建。

在一些具体实施例中，目标图像可以包括携带暴恐元素的图像；

信息标签的类型包括：武装人员、地面武器装备、空中武器装备、冷兵器、枪支弹药、聚集人群、宗教、血腥、火灾；

器物检测模型用于枪支刀具与重武器检测，器物信息的类型包括：手枪、来福冲锋枪、刀具、弓箭、斧头、坦克、大炮、火箭、直升机、战斗机；

人物属性信息包括：大胡子、阿拉伯头巾帽子；

标志识别模型用于旗帜条幅识别，标志信息的类型包括：组织旗帜、横竖条幅；

所述第一类关联信息包括：武装人员与枪支弹药、聚集人群、血腥间的关联信息；聚集人群与武装人员、血腥间的关联信息；血腥与武装人员、聚集人群间的关联关系；火灾与武装人员、聚集人群间的关联关系；

第二类关联信息的类型包括：武装人员与手枪、来福冲锋枪、阿拉伯头巾帽子、旗帜条幅间的关联信息；地面武器装备与坦克、大炮间的关联信息；空中武器装备与火箭、直升机、战斗机间的关联信息；冷兵器与刀具、弓箭、斧头间的关联信息；枪支弹药与手枪、来福冲锋枪间的关联信息；聚集人群与旗帜条幅间的关联信息；宗教与大胡子、阿拉伯头巾帽子、旗帜条幅间的关联信息；火灾与火箭间的关联关系。

进一步的，本申请实施例还提供了一种电子设备。图10是根据一示例性实施例示出的电子设备20结构图，图中的内容不能被认为是对本申请的使用范围的任何限制。

图10为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的图像识别方法中的相关步骤。另外，本实施例中的电子设备20具体可以为服务器。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222及视频数据223等，存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量视频数据223的运算与处理，其可以是WindowsServer、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的图像识别方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223可以包括电子设备20收集到的各种视频数据。

进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的图像识别方法步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种图像识别方法，其特征在于，包括：

获取待识别的目标图像；

对所述目标图像进行标签识别，得到标签识别结果；

确定标签识别结果中是否存在预设的信息标签；

若所述标签识别结果中存在所述信息标签，则识别出所述目标图像中的所有敏感信息内容；

确定所述信息标签及所述敏感信息内容中的目标关联信息；

基于所述信息标签、所述敏感信息内容、所述目标关联信息，确定所述目标图像的识别结果。

2.根据权利要求1所述的方法，其特征在于，所述确定所述信息标签及所述敏感信息内容中的目标关联信息，包括：

确定每两个所述信息标签之间存在的第一类关联信息；

确定每个所述信息标签和每个所述敏感信息内容之间存在的第二类关联信息；

将所述第一类关联信息和所述第二类关联信息作为所述目标关联信息。

3.根据权利要求2所述的方法，其特征在于，所述基于所述信息标签、所述敏感信息内容、所述目标关联信息，确定所述目标图像的识别结果，包括：

确定每个所述信息标签对应的标签分数；

确定每个所述敏感信息内容对应的内容分数；

将所述第一类关联信息对应的两个所述信息标签的所述标签分数的分数乘积值，作为所述第一类关联信息的第一类关联分数；

将所述第二类关联信息对应的所述信息标签的所述标签分数和所述第二类关联信息对应的所述敏感信息内容的所述内容分数的分数乘积值，作为第二类关联分数；

基于所有的所述第一类关联分数和所有的所述第二类关联分数确定目标关联分数；

基于所述标签分数、所述内容分数及所述目标关联分数，确定所述目标图像的识别分数和识别等级；

将所述识别分数和所述识别等级作为所述识别结果。

4.根据权利要求3所述的方法，其特征在于，所述基于所有的所述第一类关联分数和所有的所述第二类关联分数确定目标关联分数，包括：

将所有的所述第一类关联分数和所有的所述第二类关联分数的和值确定为所述目标关联分数；

所述基于所述标签分数、所述内容分数及所述目标关联分数，确定所述目标图像的识别分数和识别等级，包括：

将所述标签分数、所述内容分数及所述目标关联分数的和值，作为所述识别分数；

将本轮识别过程中所述目标关联分数的出现次数作为所述识别等级。

5.根据权利要求3或4所述的方法，其特征在于，所述标签分数及所述内容分数的值在0到1之间。

6.根据权利要求5所述的方法，其特征在于，所述对所述目标图像进行标签识别，得到标签识别结果，包括：

将所述目标图像输入至预先训练的多类别多标签分类模型；

获取所述多类别多标签分类模型输出的所述标签识别结果；

所述多类别多标签分类模型的组成结构包括：去掉全连接层的Inception V3、CBAM模块、全连接层、Sigmoid激活层。

7.根据权利要求6所述的方法，其特征在于，所述识别出所述目标图像中的所有敏感信息内容，包括：

将所述目标图像输入至预先训练的器物检测模型，并获取所述器物检测模型输出的器物信息；

将所述目标图像输入至预先训练的人脸身份识别模型，并获取所述人脸身份识别模型输出的人物身份信息；

将所述目标图像输入至预先训练的人物属性识别模型，并获取所述人物属性识别模型输出的人物属性信息；

将所述目标图像输入至预先训练的标志识别模型，并获取所述标志识别模型输出的标志信息；

将所述器物信息、所述人物身份信息、所述人物属性信息、所述标志信息，作为所述敏感信息内容；

其中，所述器物检测模型基于yolov5模型搭建；所述人脸身份识别模型基于RetinaFace、cosineFace模型搭建；所述人物属性识别模型的组成结构包括：去掉全连接层的Inception V3、CBAM模块、全连接层、Sigmoid激活层；所述标志识别模型基于yolov5模型搭建。

8.根据权利要求7所述的方法，其特征在于，所述目标图像包括携带暴恐元素的图像；

所述信息标签的类型包括：武装人员、地面武器装备、空中武器装备、冷兵器、枪支弹药、聚集人群、宗教、血腥、火灾；

所述器物检测模型用于枪支刀具与重武器检测，所述器物信息的类型包括：手枪、来福冲锋枪、刀具、弓箭、斧头、坦克、大炮、火箭、直升机、战斗机；

所述人物属性信息包括：大胡子、阿拉伯头巾帽子；

所述标志识别模型用于旗帜条幅识别，所述标志信息的类型包括：组织旗帜、横竖条幅；

所述第一类关联信息包括：武装人员与枪支弹药、聚集人群、血腥间的关联信息；聚集人群与武装人员、血腥间的关联信息；血腥与武装人员、聚集人群间的关联关系；火灾与武装人员、聚集人群间的关联关系；所述第二类关联信息的类型包括：武装人员与手枪、来福冲锋枪、阿拉伯头巾帽子、旗帜条幅间的关联信息；地面武器装备与坦克、大炮间的关联信息；空中武器装备与火箭、直升机、战斗机间的关联信息；冷兵器与刀具、弓箭、斧头间的关联信息；枪支弹药与手枪、来福冲锋枪间的关联信息；聚集人群与旗帜条幅间的关联信息；宗教与大胡子、阿拉伯头巾帽子、旗帜条幅间的关联信息；火灾与火箭间的关联关系。

9.根据权利要求1所述的方法，其特征在于，所述确定标签识别结果中是否存在预设的信息标签之后，还包括：

若所述标签识别结果中不存在所述信息标签，则结束对所述目标图像的识别。

10.一种电子设备，其特征在于，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至9任一项所述的图像识别方法。

11.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的图像识别方法。

Images