CN113762280A - 一种图像类别识别方法、装置及介质 - Google Patents

Abstract

本申请公开了一种图像类别识别方法、装置及介质，涉及计算机视觉领域，该方法包括：对待识别图像进行特征提取得到待识别图像的第一特征点和第一特征描述子；根据待识别图像的第一特征描述子从目标类别图像库中确定候选图像；根据待识别图像的第一特征点和第一特征描述子以及候选图像的第二特征点和第二特征描述子，从候选图像中确定关键图像，以及确定关键图像的匹配特征点；确定关键图像中表征目标类别的语义区域，若关键图像的匹配特征点落入语义区域内，则判定待识别图像的类别为目标类别。本申请提供的方案能提升图像类别识别的精确率和召回率，同时避免匹配特征点落入非语义区域内造成的误判，提升内容审核的质量和效率。

Description

一种图像类别识别方法、装置及介质

技术领域

本申请涉及计算机视觉领域，具体涉及一种图像类别识别方法、装置及介质。

背景技术

人工智能(AI，Artificial Intelligence)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如计算机视觉、自然语言处理、机器学习、深度学习等几大方向。随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

计算机视觉是一门研究如何使机器“看”的科学，利用计算机视觉技术可以快速地对大量图像进行内容、类别的识别。随着信息流和短视频等内容产业的发展，互联网上用户上传的图像、视频类内容越来越多。由于用户上传的内容鱼龙混杂，并且有些用户故意上传包含敏感内容的图像来吸引眼球，因此为了营造绿色安全的网络环境，需要对这些图像、视频内容进行审核，网络中已确定包含敏感内容的图像会作为图像库中的种子图像，从而可以对用户新上传的图像等进行匹配识别。而在匹配识别过程中，不论是采用全局特征匹配还是局部特征匹配，识别的准确率和效率都有待提高。

发明内容

为了提升图像类别识别的准确率和效率，本申请提供了一种图像类别识别方法、装置及介质。具体技术方案如下：

第一方面，本申请提供了一种图像类别识别方法，所述方法包括：

获取待识别图像，对所述待识别图像进行特征提取得到所述待识别图像的第一特征点和第一特征描述子，所述第一特征点和所述第一特征描述子存在对应关系；

根据所述待识别图像的第一特征描述子，从目标类别图像库中确定满足第一匹配条件的候选图像；

根据所述待识别图像的第一特征点和第一特征描述子以及所述候选图像的第二特征点和第二特征描述子，从所述候选图像中确定满足第二匹配条件的关键图像，以及确定所述关键图像的匹配特征点；

确定所述关键图像中表征目标类别的语义区域，若所述关键图像的匹配特征点落入所述语义区域内，则判定所述待识别图像的类别为所述目标类别。

第二方面，本申请提供了一种图像类别识别装置，所述装置包括：

特征提取模块，用于获取待识别图像，对所述待识别图像进行特征提取得到所述待识别图像的第一特征点和第一特征描述子，所述第一特征点和所述第一特征描述子存在对应关系；

第一匹配模块，用于根据所述待识别图像的第一特征描述子，从目标类别图像库中确定满足第一匹配条件的候选图像；

第二匹配模块，用于根据所述待识别图像的第一特征点和第一特征描述子以及所述候选图像的第二特征点和第二特征描述子，从所述候选图像中确定满足第二匹配条件的关键图像，以及确定所述关键图像的匹配特征点；

类别识别模块，用于确定所述关键图像中表征目标类别的语义区域，若所述关键图像的匹配特征点落入所述语义区域内，则判定所述待识别图像的类别为所述目标类别。

第三方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面所述的一种图像类别识别方法。

第四方面，本申请提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行以实现如第一方面所述的一种图像类别识别方法。

第五方面，本发明提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如第一方面所述的一种图像类别识别方法。

本申请提供的一种图像类别识别方法、装置及存储介质，具有如下技术效果：

本申请提供的方案对待识别图像提取局部特征信息(也即第一特征点和第一特征描述子)，并根据局部特征信息匹配到目标类别图像库中具有局部相似性的候选图像，相比于全局特征匹配方法，图像之间的局部相似度更高，同时本申请提供的方案进一步地从候选图像中匹配到与待识别图像具有更高局部相似度的关键图像，提升最后图像类别识别的精确率和召回率；在局部特征匹配的基础上，根据关键图像中包含特定类别信息的语义区域和匹配特征点的落入位置最终判定待识别图像是否与关键图像属于同一类别，相比于局部特征匹配方法，能够避免匹配特征点落入关键图像中非特定类别语义区域内造成的误判，进一步地提升内容审核的质量和效率。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种图像类别识别方法的实施环境示意图；

图2是本申请实施例提供的一种图像类别识别方法的流程示意图；

图3是本申请实施例提供的一种对待识别图像进行特征提取的流程示意图；

图4是本申请实施例提供的一种对待识别图像进行特征提取的效果示意图；

图5是本申请实施例提供的一种构建图像库检索表的流程示意图；

图6是本申请实施例提供的另一种构建图像库检索表的流程示意图；

图7是本申请实施例提供的一种匹配候选图像的流程示意图；

图8是本申请实施例提供的一种局部特征匹配的效果示意图；

图9是本申请实施例提供的一种匹配关键图像的流程示意图；

图10是本申请实施例提供的一种特征点匹配的流程示意图；

图11是本申请实施例提供的一种基于语义区域判待识别图像类别的流程示意图；

图12是本申请实施例提供的一种具体应用场景下的方法流程示意图；

图13是本申请实施例提供的另一种具体应用流程示意图；

图14是本申请实施例提供的一种图像类别识别装置的示意图；

图15是本申请实施例提供的另一种图像类别识别装置的示意图

图16是本申请实施例提供的用于实现一种图像类别识别方法的设备的硬件结构示意图。

具体实施方式

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。

本申请实施例提供的方案涉及人工智能的计算机视觉(Computer Vision，CV)和深度学习(Deep Learning，DL)等技术。

计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(OpticalCharacter Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

深度学习(Deep Learing，DL)是机器学习(Machine Learning，ML)领域中一个主要的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。

本申请实施例提供的方案可部署在云端，其中还涉及云技术等。

云技术(Cloud technology)：是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称，可以组成资源池，按需所用，灵活便利。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站，伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，因此云技术需要以云计算作为支撑。云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池平台，简称云平台，一般称为基础设施即服务(IaaS，Infrastructure as a Service)，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(可为虚拟化机器，包含操作系统)、存储设备和网络设备。

现有的图像匹配识别方法主要分为全局特征匹配和局部特征匹配两大类。其中全局特征匹配方法通过将一张图片表示为一个特征向量的方式，计算特征向量之间的相似度来实现图像匹配。典型方法有基于Hash(一般翻译做散列、杂凑，或音译为哈希，是把任意长度的输入通过散列算法变换成固定长度的输出，该输出就是散列值)的pHash(感知哈希)算法以及基于深度神经网络(Deep Neural Network，DNN)的特征提取方法等。局部特征匹配方法首先提取图片中的关键点，然后将每一个关键点表示为一个特征向量，通过计算图像之间局部关键点特征的匹配关系来表示图像的相似度，从而完成图像匹配。典型方法包括尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)算法、加速稳健特征(Speeded Up Robust Features，SURF)算法等。

由于一幅图像中的信息往往十分丰富，两张相似的图像不一定处处都是相似的，更多的情况是两张图像的一部分局部区域是相似的，另外的区域不相似。全局特征匹配方法，只能考虑图像全局相似性，无法应对图像局部相似的情况，因此往往召回率较低。局部特征匹配方法虽然能够表示图像间的局部匹配关系，但是对于包含特定类别内容的图像如暴力图像、色情图像、低俗图像等，不一定所有区域都是执行特定类型内容，两张图像相似的部分可能都是不低俗的内容，因此使用局部特征匹配方法来进行图像匹配就会带来很多误判。

为了提升图像类别识别的准确率和效率，本申请实施例提供了一种图像类别识别方法、装置及介质。下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于理解本申请实施例所述的技术方案及其产生的技术效果，本申请实施例对于涉及到的相关专业名词进行解释：

ORB：Oriented FAST and RotatedBRIEF，一种快速特征提取和描述算法。ORB算法分为两部分，分别是特征点提取和特征点描述。特征提取是由FAST(FeaturesfromAccelerated SegmentTest，角点检测)算法发展来的，特征点描述是根据BRIEF(BinaryRobustIndependentElementaryFeatures，二进制鲁棒独立的基本特征)特征描述算法改进的。ORB算法是将FAST特征点的检测方法与BRIEF特征描述子结合起来，并在它们原来的基础上做了改进与优化。ORB算法最大的特点就是计算速度快。这首先得益于使用FAST检测特征点，再次是使用BRIEF算法计算描述子，该描述子特有的二进制串的表现形式不仅节约了存储空间，而且大大缩短了匹配的时间。

FAST：Features from Accelerated Segment Test，角点检测；FAST算法的基本原理是：若某像素点与其周围领域内足够多的连续的像素点存在某一属性差异，并且该差异大于指定阈值，则可以断定该像素点与其邻域像素有可被识别的不同之处，可以作为一个特征点(角点)；对于灰度图像，FAST算法考察的属性是像素与其邻域的灰度差异。

BRIEF：Binary Robust Independent Elementary Features，二进制鲁棒独立的基本特征；BRIEF是一种特征描述符，它不提供查找特征的方法。它不去计算描述符而是直接找到一个二进制字符串。这种算法使用的是已经平滑后的图像，它会按照一种特定的方式选取一组像素点对nd(x，y)，然后在这些像素点对之间进行灰度值对比。例如，第一个点对的灰度值分别为p和q。如果p小于q，结果就是1，否则就是0。就这样对nd个点对进行对比得到一个nd维的二进制字符串，nd可以是128，256，512。

SIFT：Scale-Invariant Feature Transform，尺度不变特征变换算法；是一种基于尺度空间的，对图像缩放、旋转、甚至仿射变换保持不变性的图像局部特征描述算子。SIFT算法的优点是特征稳定，对旋转、尺度变换、亮度保持不变性，对视角变换、噪声也有一定程度的稳定性；缺点是实时性不高，并且对于边缘光滑目标的特征点提取能力较弱。

SURF：Speeded Up Robust Features，加速稳健特征算法；是一种稳健的局部特征点检测和描述算法，与SIFT算法一样，SURF算法的基本路程可以分为三大部分：局部特征点的提取、特征点的描述、特征点的匹配。SURF改进了特征的提取和描述方式，用一种更为高效的方式完成特征的提取和描述，一个是积分图在Hessian(黑塞矩阵)上的使用，一个是降维的特征描述子的使用。

汉明距离：在信息论中，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。换句话说，它就是将一个字符串变换成另外一个字符串所需要替换的字符个数。

曼哈顿距离：Manhattan Distance，是种使用在几何度量空间的几何学用语，用以标明两个点在标准坐标系上的绝对轴距总和。

随机抽样一致性算法：Random Sample Consensus，RANSAC；它采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数。RANSAC是一个非确定性算法，在某种意义上说，它会产生一个在一定概率下合理的结果，而更多次的迭代会使这一概率增加。

语义：语义是对数据符号的解释。图像中语义的三个层次包括：低级语义，如像素的颜色、纹理等；中级语义，如图像块的粗糙度、对比度、紧凑性等；高级语义，如图像或图像区域所包含对象的类别等信息。

召回率：又称查全率，查全率(Recall Ratio)是指从数据库内检出的相关的信息量与总量的比率。查全率绝对值很难计算，只能根据数据库内容、数量来估算。

请参阅图1，其为本申请实施例提供的一种图像类别识别方法的实施环境示意图，如图1所示，该实施环境可以至少包括客户端01和服务器02。

具体的，所述客户端01可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、监控设备及语音交互设备等类型的设备，也可以包括运行于设备中的软体，例如一些服务商提供给用户的网页页面，也可以为该些服务商提供给用户的应用。具体的，所述客户端01可以用于传输用户上传至网络上的图像或视频，以作为本申请中的待识别图像被服务器识别。

具体的，所述服务器02可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。所述服务器02可以包括有网络通信单元、处理器和存储器等等。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。具体的，所述服务器02可以用于对待识别图像进行如本申请提供的一种图像类别识别方法的操作，确定待识别图像是否为目标类别，进一步地可以对特定类别的图像进行拦截或推荐降权，保障网络内容的绿色健康。

本申请实施例还可以结合云技术实现，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。云技术需要以云计算作为支撑。云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。具体地，所述服务器02和数据库位于云端，所述服务器02可以是实体机器，也可以是虚拟化机器。

以下介绍本申请提供的一种图像类别识别方法。图2是本申请实施例提供的一种图像类别识别方法的流程图，本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。请参照图2，本申请实施例提供的一种图像类别识别方法可以包括如下步骤：

S210：获取待识别图像，对所述待识别图像进行特征提取得到所述待识别图像的第一特征点和第一特征描述子，所述第一特征点和所述第一特征描述子存在对应关系。

随着信息流和短视频等内容产业的发展，互联网上用户上传的图像、视频类内容越来越多。由于用户上传的内容类别多样，可能图像或视频中包含敏感信息，如低俗内容、色情内容、暴力内容、血腥内容等。针对该情况，计算机视觉等相关技术提供了对图像、视频(可看做多个图像帧)内容的审核思路，如建立图像库，图像库包含已被判定为特定敏感类别的种子图像，再基于图像匹配方法，对用户新上传的图像或视频进行匹配识别，若能匹配到种子图像，则可以判定新上传的图像或视频包含敏感内容或为特定敏感类别。图像匹配主要可分为以灰度为基础的匹配和以特征为基础的匹配，在以特征为基础的匹配方法中，主要有全局特征匹配和局部特征匹配。针对全局特征匹配的召回率低的问题，结合敏感内容大多出现在图像中的局部区域内，本申请实施例提供的方法采用局部特征匹配，首先对图像进行局部特征提取，得到图像的特征点(一种简单的理解，特征点为图像中比较显著显著的点，如轮廓点，较暗区域中的亮点，较亮区域中的暗点等)和特征点的特征描述子(Feature DescritorS，表征特征点的特征属性)，对于每一个特征点，可以拥有位置、尺度、方向等信息。

在本申请实施例中，图像局部特征的提取可以采用ORB算法，也可以采用SIFT算法、SURF算法或基于深度学习的局部特征提取方法等。

在本申请的一个实施例中，如图3所示，所述对所述待识别图像进行特征提取得到所述待识别图像的第一特征点和第一特征描述子，可以包括以下步骤：

S310：基于特征提取和描述算法，检测得到所述待识别图像的第一特征点。

特征提取和描述算法用于检测图像的特征以及对特征进行描述。在一种可行的实施方式中，优选采用ORB算法进行局部特征的提取和描述，得到待识别图像的局部特征信息，包括第一特征点和第一特征描述子，其中“第一”及后续的“第二”、“第三”仅用于区别特征点和特征描述子所属的图像。ORB采用优化的FAST算法来提取特征点(也即FAST中的角点)，以及采用优化的BRIEF算法进行特征点的描述，一方面速度快，另一方面提取的特征描述子具有尺度和旋转不变性，用于局部相似匹配时会比较高效鲁棒。

具体地，FAST通过某像素点的一定半径圆上连续性像素值来判断该像素点是否为角点。在ORB算法中，对得到的FAST角点进行Harris角点响应排序，选择其中响应强烈的一部分FAST角点。为了保证特征具备尺度不变性，ORB算法采用在图像金字塔上进行多尺度提取FAST特征点，以及为了保证特征具备旋转不变性，对于FAST得到的特征点，提取patch(小块)，通过计算零阶矩和一阶矩确定该特征点的主方向。通过上述操作，可以得到不同尺度下的特征点的位置和方向。

S330：生成所述第一特征点对应的第一特征描述子，所述第一特征描述子为二进制字符串。

具体地，BRIEF算法主要是在特征点的周围以一定模式选取N个点对，通过比较N个点对内的大小生成一个N维的二进制字符串，作为该特征点的特征描述子，其中N为算法中预先设定的参数，可以用于限定点对的选取个数以及二进制字符串的位数。可以理解的是，二进制编码不仅可以节约存储空间，还可以便于计算特征描述子之间的相似度，大大缩短匹配时间。BRIEF虽然计算复杂度低、计算速度快，但是不具备旋转不变性和尺度不变性，而且对噪声敏感，因此ORB在计算BRIEF特征描述子时建立的坐标系是以特征点为圆心，以特征点和取点区域的形心的连线为X轴建立二维坐标系，保证旋转不变性。示例性的，特征点A、B的特征描述子可以表示为A：10101011，B：10101010。

在另一种可行的实施方式中，采用SIFT进行特征提取，首先构建尺度空间，检测尺度空间的极值点(特征点)、确定特征点的位置和尺度，并为极值点指定方向参数，最后同样生成特征描述子，具体可参考SIFT算法，本申请实施例对此不再赘述。

示例性的，如图4所示，图4中显示了对于一张人脸图像可以检测出的特征点，其中特征点可以是脸部轮廓上的点或是亮度发生明显变化区域的点。

S230：根据所述待识别图像的第一特征描述子，从目标类别图像库中确定满足第一匹配条件的候选图像。

目标类别图像库中包含已被判定为目标类别的种子图像，如色情类图像、暴力类图像等。如果待识别图像是由种子图像旋转、平移、缩放等操作后得到的，则采用基于种子图像的匹配识别方式，在识别敏感类别图像时匹配率高，识别效果佳。

在本申请实施例中，根据待识别图像的第一特征描述子，初步匹配到具有相同或相似特征描述子的种子图像作为本申请中的候选图像，得到的候选图像与待识别图像存在一定的局部相似性，也即满足第一匹配条件。同时，对于目标类别图像库中的种子图像，也进行特征提取和描述，得到各种子图像的局部特征信息以用于步骤S230中的匹配过程。

可选地，根据目标类别图像库中的种子图像及其特征信息构建检索表，如图5所示，所述方法还可以包括：

S510：获取所述目标类别图像库的种子图像。

S530：对所述种子图像进行特征提取，得到所述种子图像的第三特征点和第三特征描述子，所述第三特征点和所述第三特征描述子存在对应关系。

种子图像的特征信息(也即第三特征点和第三特征描述子)的获取过程可参考本申请实施例步骤S210中对应的内容，此处不再赘述。

S550：根据所述种子图像的第三特征描述子和所述种子图像的图像标识，构建第一检索表。

可选地，所述第一检索表可以表征由第三特征描述子到种子图像的图像ID(Identity，标识)的映射关系，便于对候选图像的召回，节约查询时间。所述第一检索表除了前述映射关系，还可以表征从图像ID到第三特征描述子的映射关系，可以将前一种映射关系理解为倒排索引，后一种映射关系为正排索引，在本申请实施例提供的方法中，从候选图像中再次匹配到待识别图像的关键图像时，从图像ID到第三特征描述子的映射关系可以节约查询时间，提高匹配效率。

可选地，如图6所示，所述方法还可以包括：

S610：获取所述目标类别图像库的种子图像。

S630：对所述种子图像进行目标检测，确定所述种子图像中表征目标类别的语义区域。

示例性地，通过计算机视觉中的目标检测技术或语义分割技术自动对种子图像中的特定类别语义区域进行检测、识别或分割。此外，还可以接入人工审核标注系统，人工判断和标注特定类别的语义区域，保证标注的高效和准确性。

S650：根据所述种子图像的语义区域和所述种子图像的图像标识，构建第二检索表。

进一步地，结合上述的第一检索表和第二检索表，构建从图像标识至特征描述子至语义区域的映射关系，可以明确示出表征特定语义区域的特征描述子。

在所述第一检索表的基础上，如图7所示，所述根据所述待识别图像的第一特征描述子，从目标类别图像库中确定满足第一匹配条件的候选图像，可以包括以下步骤：

S710：根据所述第一特征描述子，确定与所述第一特征描述子满足预设相似条件的第一匹配特征描述子。

优选地，所述第一特征描述子为用二进制字符串表示的特征向量，计算特征向量之间的相似性可以采用欧氏距离、余弦相似度、汉明距离等，所述预设相似条件中可以包括预先设定的相似度阈值、向量距离阈值等，以相似度阈值为例，可以将与第一特征描述子的相似度高于相似度阈值的特征描述子作为第一匹配特征描述子。示例性的，在二维、三维或多维空间中的欧式距离就是两点之间的直线距离，用欧式距离计算特征向量之间的相似度，距离越小相似度越大；余弦相似度是利用两个特征向量之间的夹角的余弦值来衡量两个特征向量之间的差异，余弦值越大则两个特征向量越相似，差异越小。汉明距离是初始是使用在数据传输差错检测编码里面的，在通信中累计定长二进制字中发生翻转的错误数据位。汉明距离是一个概念，它表示两个(相同长度)向量或字符串对应位置不同元素的个数。对两个字符串进行异或运算(如不同则为1，相同则为0)，并统计结果为1的个数，那么这个数就是汉明距离。汉明距在图像处理领域也有广泛的应用，是比较二进制图像非常有效的手段。对于本申请实施例中用二进制字符表示的特征向量，可以直接进行异或操作计算不同特征向量之间的汉明距离，汉明距离越小，相似性越大。进一步地，特征向量的维度比较大时，可以将二进制字符串进行分组，如将128维的特征向量分为16组，每组具有8个bits，若两个特征向量的两组数据，若出现一位字符不同，便不再对该组后面的字符进行比对，直接判定该组不相同，这种方法虽然将相似度的划分区间变大，但是减少了计算量。

可选地，基于上述第一检索表中由第三特征描述子到种子图像的图像标识的映射关系，可以直接抓取种子图像提取到的所有第三特征描述子，采用上述的多种相似度量方法，从所有第三特征描述子中确定与待识别图像的第一特征描述子符合预设相似条件的第一匹配特征描述子。

S730：基于所述第一检索表确定所述第一匹配特征描述子对应的第一匹配图像标识。

可以理解的是，所述第一检索表中包含了由第三特征描述子到种子图像的图像标识的映射关系。

S750：根据所述第一匹配图像标识，从所述目标类别图像库中获取对应的种子图像，将所述种子图像作为所述候选图像，以及得到所述候选图像的第二特征点和第二特征描述子，所述第二特征点和所述第二特征描述子存在对应关系。

S250：根据所述待识别图像的第一特征点和第一特征描述子以及所述候选图像的第二特征点和第二特征描述子，从所述候选图像中确定满足第二匹配条件的关键图像，以及确定所述关键图像的匹配特征点。

经过前述的匹配，得到的一个或多个候选图像与待识别图像具有一定的局部相似性，对比全局特征匹配，对候选图像的召回率更高。本申请实施例提供的方法进一步地在候选图像中选择出与待识别图像具有更高相似度的一个或多个关键图像，提高对敏感类别图像识别的准确性。

在本申请实施例中，前述的匹配过程中通过计算特征描述子的相似性筛选到候选图像，而在步骤S250中，可以通过计算特征描述子的相似性构建待识别图像和候选图像之间的局部特征的匹配关系，进而根据匹配关系的数量或比例等，从候选图像中筛选出一个或多个关键图像。示例性地，如图8所示，对图像的局部特征进行匹配，构建出局部特征之间的匹配关系，匹配关系也即特征点之间的对应关系。

具体地，如图9所示，所述根据所述待识别图像的第一特征点和第一特征描述子以及所述候选图像的第二特征点和第二特征描述子，从所述候选图像中确定满足第二匹配条件的关键图像，以及确定所述关键图像的匹配特征点，可以包括以下步骤：

S910：获取各所述候选图像的第二特征点和第二特征描述子，所述第二特征点和所述第二特征描述子存在对应关系。

在第一检索表的基础上，或其他表示由图像标识到特征描述子的映射关系的检索表中，直接获取各候选图像的第二特征点和第二特征描述子，第二特征点可以具有位置、尺度或方向等信息。

S930：根据所述待识别图像的第一特征点和第一特征描述子以及所述候选图像的第二特征点和第二特征描述子，从所述第二特征点中确定所述候选图像的匹配特征点，所述候选图像的匹配特征点与所述待识别图像对应的匹配特征点构成表征匹配关系的匹配特征点对。

对于所述待识别图像的每一个第一特征描述子，分别计算其与每一个候选图像的每一个第二特征描述子的相似度，基于相似度阈值等条件或匹配策略确定待识别图像与每一个候选图像的匹配关系，可以用一个匹配特征点对表示一个局部特征的匹配关系，匹配特征点对中的两个匹配特征点分别为待识别图像的第一特征点和候选图像的第二特征点。

在一种可行的实施方式中，如图10所示，所述根据所述待识别图像的第一特征点和第一特征描述子以及所述候选图像的第二特征点和第二特征描述子，从所述第二特征点中确定所述候选图像的匹配特征点，可以包括以下步骤：

S931：分别计算所述第一特征描述子与所述第二特征描述子的相似度。

在本申请实施例中，特征描述子之间的相似度同样可以采用前述的相似性度量方法，此处不再赘述。此外还可以采用曼哈顿距离的方式，曼哈顿距离是相对简化的在空间几何中度量距离的方式，只需要做加减法。进一步地，还可以在待识别图像的第一特征描述子所在的向量空间建立第一标准坐标系，计算与候选图像的第二特征描述子之间的第一曼哈顿距离；同时在候选图像的第二特征描述子所在的向量空间建立第二标准坐标系，计算与待识别图像的第一特征描述子之间的第二曼哈顿距离。因曼哈顿距离表示的是绝对轴距总和，在不同标准坐标系下，曼哈顿距离会不同。

S935：基于预设的相似度条件和所述相似度，从所述第一特征点中确定所述待识别图像的匹配特征点，从所述第二特征点中确定所述候选图像的匹配特征点，所述候选图像的匹配特征点与所述待识别图像的匹配特征点存在对应关系。

所述预设的相似度条件中可以包括人为设定的相似度阈值，将相似度高于该阈值的一组特征描述子对应的两个特征点作为一组匹配特征点对。简单的，基于暴力匹配方法，可以根据相似度阈值进行筛选，确定各所述候选图像与待识别图像的匹配关系，以及确定该匹配关系中候选图像的匹配特征点。进一步地，由于特征描述子之间相似度的计算是一个多对多的过程，基于相似度的特征匹配过程可以采用双向匹配或快速最近邻匹配等匹配策略。

S950：根据预设的筛选条件和所述候选图像的匹配特征点，从所述候选图像中确定所述关键图像。

在本申请实施例中，所述预设的筛选条件中可以包括针对匹配特征点的数量或比例设定的阈值，从各所述候选图像中筛选出匹配特征点的数量或比例高于该阈值的一个或多个关键图像，关键图像与待识别图像在局部特征上具有更高的相似性。

具体地，可以统计各候选图像的匹配特征点数量；或者进而分别计算各候选图像的匹配特征点数量占待识别图像总特征点的比例；选取符合阈值条件的候选图像作为关键图像。进一步地，还可以根据匹配特征点在候选图像中的分布密集性或分散性选取关键图像，或者根据与候选图像的匹配特征点对应的待识别图像的匹配特征点在待识别图像中的分布密集性或分散性选取关键图像，也即筛选条件也可以包括匹配特征点在图像中的分布特性。

S270：确定所述关键图像中表征目标类别的语义区域，若所述关键图像的匹配特征点落入所述语义区域内，则判定所述待识别图像的类别为所述目标类别。

在本申请实施例提供的方法中，采用的是局部特征匹配方法，但是对于敏感类别图像，不一定所有区域都是敏感内容，待识别图像和关键图像的相似部分可能不是敏感内容，因此仅使用局部特征匹配方法会造成一定程度的误判。故，本申请实施例提供的方法结合了图像的语义区域进行进一步的判断，通过判断关键图像的匹配特征点落在表征特定类别的语义区域内的情况，判断待识别图像最终是否与关键图像属于同一类型，提高图像类别识别、内容审核的准确度。

在本申请的一个实施例中，特征点也会存在误匹配的情况，比如将非对应特征点检测为匹配或者未将匹配的特征点检测出来，因此采用一些方法过滤掉错误匹配，以更好地对待识别图像的类别进行匹配识别。具体地，如图11所示，所述确定所述关键图像中表征目标类别的语义区域，若所述关键图像的匹配特征点落入所述语义区域内，则判定所述待识别图像的类别为所述目标类别，还可以包括以下步骤：

S1110：基于所述第二检索表确定各所述关键图像中表征目标类别的语义区域。

S1130：由所述关键图像的匹配特征点确定所述待识别图像对应的匹配特征点，并对应生成匹配特征点对。

可以理解的是，所述关键图像与所述待识别图像的匹配关系可以用一个匹配特征点对表示，匹配特征点对中的两个匹配特征点分别为待识别图像的第一特征点和对应的关键图像的特征点，因关键图像是从候选图像中得到的，故关键图像的特征点也可以成为关键图像的第二特征点。

S1150：在预设空间模型中，基于随机抽样一致性算法构建所述匹配特征点对的空间关系。

具体地，随机抽样一致性算法的原理主要是在至少一个匹配特征点对中随机选取N个点对，用于拟合一个透视变换矩阵，将该透视变换矩阵应用到其他点对中，校验匹配结果，通过迭代计算得到最佳的拟合结果，使得匹配特征点对的空间关系获得了最大的一致性。

S1170：基于所述匹配特征点对的空间关系，对所述匹配特征点对进行过滤，得到关键匹配特征点对。

将空间关系符合上述一致性的匹配特征点对作为正确的关键匹配特征点对，其他的作为错误匹配情况过滤掉。

出于计算量和准确性的考量，本申请实施例提供的方法先通过计算相似度匹配到关键图像图像，在利用随机抽样一致性算法筛除误匹配的特征点对，留下相似度更高、可信度更高的匹配特征点对。除了随机抽样一致性算法，还可以采用交叉匹配、K近邻匹配、汉明距离小于最小距离的两倍的方法进行过滤，此处不再赘述。

S1190：在所述关键匹配特征点对中，若所述关键图像的匹配特征点落入所述语义区域内，则判定所述待识别图像的类别为所述目标类别。

进一步地，还可以对落入语义区域内的匹配特征点的数量或比例进行统计或计算，当数量或比例满足一定阈值时，才判定所述待识别图像的类别为所述目标类别。示例性的，在一个或多个关键图像的表征敏感内容类别的语义区域内，若落在语义区域内的关键图像的匹配特征点超过一定数量，则可以判定对应的待识别图像则存在属于敏感内容类别的语义区域，则可以判定待识别图像为敏感内容类别的图像。

在本申请实施例提供的一个识别低俗图片的应用场景中，结合低俗图像种子库中检索表的构建和查询图片的类别匹配识别，具体地，如图12所示，所述方法可以包括：

1)图像局部特征提取。使用ORB算法检测图像(包括查询图片和低俗图片种子)的局部关键点并提取该关键点的特征，从而将一副图像表示为若干个局部特征描述子的组合。

2)种子图像语义区域识别标注。利用目标检测方法及人工审核标注的方式，标注出种子图像上色情低俗的语义区域。

3)种子库检索表构建。根据1)中提取的图像局部特征以及2)中标注出的色情低俗语义区域构建图像检索表。共构建两张表，表1是由特征描述子到图像ID的映射表；表2是由图像ID到该图像的特征描述子以及低俗语义区域信息的映射表。

4)查询图片检索。首先调用1)中提取的查询图片的局部特征描述子，然后根据3)中构建的表1检索出与查询图片具有相似特征描述子的图像ID，得到与查询图片匹配的候选图像集合。

5)图像匹配。根据4)中的候选图像集合，从3)中构建的表2中查询到每张候选图像的局部特征描述子信息，通过计算查询图像与候选图像的局部特征描述子之间的相似度，得到与查询图片匹配的关键图像以及关键图像的匹配特征点。

6)语义区域匹配判断。首先通过随机抽样一致性算法过滤掉不符合空间变化关系的匹配点，然后从3)中的表2中查询该关键图像的低俗语义区域，最后通过判断关键图像的匹配特征点是否落在低俗语义区域中来最终判定查询图片是否为低俗图像。

在本申请实施例提供的一个推荐内容审核的应用场景中，结合语义区域的图像类别匹配识别方法可以用于图文、视频内容的审核。如图13所示，当用户上传或发布图文、视频内容后，首先会对其中的图像内容进行语义区域敏感的低俗图片种子匹配，如果内容与低俗图片种子库中的低俗语义区域匹配，则会对该内容进行拦截或降权等处理。

本申请提供的方案对待识别图像提取局部特征信息(也即第一特征点和第一特征描述子)，并根据局部特征信息匹配到目标类别图像库中具有局部相似性的候选图像，相比于全局特征匹配方法，图像之间的局部相似度更高，同时本申请提供的方案进一步地从候选图像中匹配到与待识别图像具有更高局部相似度的关键图像，提升最后图像类别识别的精确率和召回率；在局部特征匹配的基础上，根据关键图像中包含特定类别信息的语义区域和匹配特征点的落入位置最终判定待识别图像是否与关键图像属于同一类别，相比于局部特征匹配方法，能够避免匹配特征点落入关键图像中非特定类别语义区域内造成的误判，进一步地提升内容审核的质量和效率。

本申请实施例还提供了一种图像类别识别装置1400，如图14所示，所述装置可以包括：

特征提取模块1410，用于获取待识别图像，对所述待识别图像进行特征提取得到所述待识别图像的第一特征点和第一特征描述子，所述第一特征点和所述第一特征描述子存在对应关系；

第一匹配模块1420，用于根据所述待识别图像的第一特征描述子，从目标类别图像库中确定满足第一匹配条件的候选图像；

第二匹配模块1430，用于根据所述待识别图像的第一特征点和第一特征描述子以及所述候选图像的第二特征点和第二特征描述子，从所述候选图像中确定满足第二匹配条件的关键图像，以及确定所述关键图像的匹配特征点；

类别识别模块1440，用于确定所述关键图像中表征目标类别的语义区域，若所述关键图像的匹配特征点落入所述语义区域内，则判定所述待识别图像的类别为所述目标类别。

在本申请的一个实施例中，所述特征提取模块1410可以包括：

特征点检测单元，用于基于特征提取和描述算法，检测得到所述待识别图像的第一特征点；

特征描述单元，用于生成所述第一特征点对应的第一特征描述子，所述第一特征描述子为二进制字符串。

在本申请的一个实施例中，所述图像类别识别装置1400还可以包括：

第一获取单元，用于获取所述目标类别图像库的种子图像；

特征提取单元，用于对所述种子图像进行特征提取，得到所述种子图像的第三特征点和第三特征描述子，所述第三特征点和所述第三特征描述子存在对应关系；

第一检索表单元，用于根据所述种子图像的第三特征描述子和所述种子图像的图像标识，构建第一检索表。

在本申请的一个实施例中，所述图像类别识别装置1400还可以包括：

第二获取单元，用于获取所述目标类别图像库的种子图像；

目标检测单元，用于对所述种子图像进行目标检测，确定所述种子图像中表征目标类别的语义区域；

第二检索表单元，用于根据所述种子图像的语义区域和所述种子图像的图像标识，构建第二检索表。

在本申请的一个实施例中，所述第一匹配模块1420可以包括：

特征描述子选取单元，用于根据所述第一特征描述子，确定与所述第一特征描述子满足预设相似条件的第一匹配特征描述子；

第一检索单元，用于基于所述第一检索表确定所述第一匹配特征描述子对应的第一匹配图像标识；

候选图像获取单元，用于根据所述第一匹配图像标识，从所述目标类别图像库中获取对应的种子图像，将所述种子图像作为所述候选图像，以及得到所述候选图像的第二特征点和第二特征描述子，所述第二特征点和所述第二特征描述子存在对应关系。

在本申请的一个实施例中，所述第二匹配模块1430可以包括：

第三获取单元，用于获取所述候选图像的第二特征点和第二特征描述子，所述第二特征点和所述第二特征描述子存在对应关系；

特征点匹配单元，用于根据所述待识别图像的第一特征点和第一特征描述子以及所述候选图像的第二特征点和第二特征描述子，从所述第二特征点中确定所述候选图像的匹配特征点，所述候选图像的匹配特征点与所述待识别图像对应的匹配特征点构成表征匹配关系的匹配特征点对；

关键图像确定单元，用于根据预设的筛选条件和所述候选图像的匹配特征点，从所述候选图像中确定所述关键图像以及所述关键图像的匹配特征点。

在一种可行的实施方式中，所述特征点匹配单元还可以包括：

相似度计算子单元，用于分别计算所述第一特征描述子与所述第二特征描述子的相似度；

判断子单元，用于基于预设的相似度条件和所述相似度，从所述第一特征点中确定所述待识别图像的匹配特征点，从所述第二特征点中确定所述候选图像的匹配特征点，所述候选图像的匹配特征点与所述待识别图像的匹配特征点存在对应关系。

在本申请的一个实施例中，所述类别识别模块1440可以包括：

第二检索单元，用于基于所述第二检索表确定各所述关键图像中表征目标类别的语义区域；

匹配特征点对确定单元，用于由所述关键图像的匹配特征点确定所述待识别图像对应的匹配特征点，并对应生成匹配特征点对；

空间关系构建单元，用于在预设空间模型中，基于随机抽样一致性算法构建所述匹配特征点对的空间关系；

过滤单元，用于基于所述匹配特征点对的空间关系，对所述匹配特征点对进行过滤，得到关键匹配特征点对；

判定单元，用于在所述关键匹配特征点对中，若所述关键图像的匹配特征点落入所述语义区域内，则判定所述待识别图像的类别为所述目标类别。

在本申请实施例提供的一个识别低俗图片的应用场景中，结合低俗图像种子库中检索表的构建模块，具体地，如图15所示，所述装置可以包括：

图像局部特征提取模块1510，所述图像局部特征提取模块1510使用ORB算法检测图像(包括查询图片和低俗图片种子)的局部关键点并提取该关键点的特征，从而将一副图像表示为若干个局部特征描述子的组合。

种子图像语义区域识别标注模块1520，所述种子图像语义区域识别标注模块1520利用目标检测方法及人工审核标注的方式，标注出种子图像上色情低俗的语义区域。

种子库检索表构建模块1530，所述种子库检索表构建模块1530根据所述图像局部特征提取模块1510提取的图像局部特征以及所述种子图像语义区域识别标注模块1520标注出的色情低俗语义区域构建图像检索表。共构建两张表，表1是由特征描述子到图像ID的映射表；表2是由图像ID到该图像的特征描述子以及低俗语义区域信息的映射表。

查询图片检索模块1540，所述查询图片检索模块1540首先调用所述图像局部特征提取模块1510提取的查询图片的局部特征描述子，然后根据所述种子库检索表构建模块1530构建的表1检索出与查询图片具有相似特征描述子的图像ID，得到与查询图片匹配的候选图像集合。

图像匹配模块1550，所述图像匹配模块1550根据所述查询图片检索模块1540中的候选图像集合，从所述种子库检索表构建模块1530构建的表2中查询到每张候选图像的局部特征描述子信息，通过计算查询图像与候选图像的局部特征描述子之间的相似度，得到与查询图片匹配的关键图像以及关键图像的匹配特征点。

语义区域匹配判断模块1560，所述语义区域匹配判断模块1560首先通过随机抽样一致性算法过滤掉不符合空间变化关系的匹配点，然后从所述种子库检索表构建模块1530构建的表2中查询该关键图像的低俗语义区域，最后通过判断关键图像的匹配特征点是否落在低俗语义区域中来最终判定查询图片是否为低俗图像。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请实施例提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的一种图像类别识别方法。

图16示出了一种用于实现本申请实施例所提供的一种图像类别识别方法的设备的硬件结构示意图，所述设备可以参与构成或包含本申请实施例所提供的装置或系统。如图16所示，设备16可以包括一个或多个(图中采用1602a、1602b，……，1602n来示出)处理器1602(处理器1602可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1604、以及用于通信功能的传输装置1606。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图16所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，设备16还可包括比图16中所示更多或者更少的组件，或者具有与图16所示不同的配置。

应当注意到的是上述一个或多个处理器1602和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到设备16(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器1604可用于存储应用软件的软件程序以及模块，如本申请实施例中所述的方法对应的程序指令/数据存储装置，处理器1602通过运行存储在存储器1604内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种图像类别识别方法。存储器1604可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1604可进一步包括相对于处理器1602远程设置的存储器，这些远程存储器可以通过网络连接至设备16。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置1606用于经由一个网络接收或者发送数据。上述的网络具体实例可包括设备16的通信供应商提供的无线网络。在一个实例中，传输装置1606包括一个网络适配器(NetworkInterfaceController，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1606可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与设备16(或移动设备)的用户界面进行交互。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质可设置于服务器之中以保存用于实现方法实施例中一种图像类别识别方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的一种图像类别识别方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施方式中提供的一种图像类别识别方法。

由上述本申请提供的一种图像类别识别方法、装置及介质的实施例可见，本申请提供的方案对待识别图像提取局部特征信息，并根据局部特征信息匹配到目标类别图像库中具有局部相似性的候选图像，相比于全局特征匹配方法，图像之间的局部相似度更高，同时本申请提供的方案进一步地从候选图像中匹配到与待识别图像具有更高局部相似度的关键图像，提升最后图像类别识别的精确率和召回率；在局部特征匹配的基础上，根据关键图像中包含特定类别信息的语义区域和匹配特征点的落入位置最终判定待识别图像是否与关键图像属于同一类别，相比于局部特征匹配方法，能够避免匹配特征点落入关键图像中非特定类别语义区域内造成的误判，进一步地提升内容审核的质量和效率。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像类别识别方法，其特征在于，所述方法包括：

获取待识别图像，对所述待识别图像进行特征提取得到所述待识别图像的第一特征点和第一特征描述子，所述第一特征点和所述第一特征描述子存在对应关系；

根据所述待识别图像的第一特征描述子，从目标类别图像库中确定满足第一匹配条件的候选图像；

根据所述待识别图像的第一特征点和第一特征描述子以及所述候选图像的第二特征点和第二特征描述子，从所述候选图像中确定满足第二匹配条件的关键图像，以及确定所述关键图像的匹配特征点；

确定所述关键图像中表征目标类别的语义区域，若所述关键图像的匹配特征点落入所述语义区域内，则判定所述待识别图像的类别为所述目标类别。

2.根据权利要求1所述的方法，其特征在于，所述对所述待识别图像进行特征提取得到所述待识别图像的第一特征点和第一特征描述子，包括：

基于特征提取和描述算法，检测得到所述待识别图像的第一特征点；

生成所述第一特征点对应的第一特征描述子，所述第一特征描述子为二进制字符串。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述目标类别图像库的种子图像；

对所述种子图像进行特征提取，得到所述种子图像的第三特征点和第三特征描述子，所述第三特征点和所述第三特征描述子存在对应关系；

根据所述种子图像的第三特征描述子和所述种子图像的图像标识，构建第一检索表。

4.根据权利要求3所述的方法，其特征在于，所述根据所述待识别图像的第一特征描述子，从目标类别图像库中确定满足第一匹配条件的候选图像，包括：

根据所述第一特征描述子，确定与所述第一特征描述子满足预设相似条件的第一匹配特征描述子；

基于所述第一检索表确定所述第一匹配特征描述子对应的第一匹配图像标识；

根据所述第一匹配图像标识，从所述目标类别图像库中获取对应的种子图像，将所述种子图像作为所述候选图像，以及得到所述候选图像的第二特征点和第二特征描述子，所述第二特征点和所述第二特征描述子存在对应关系。

5.根据权利要求1所述的方法，其特征在于，所述根据所述待识别图像的第一特征点和第一特征描述子以及所述候选图像的第二特征点和第二特征描述子，从所述候选图像中确定满足第二匹配条件的关键图像，以及确定所述关键图像的匹配特征点，包括：

获取所述候选图像的第二特征点和第二特征描述子，所述第二特征点和所述第二特征描述子存在对应关系；

根据所述待识别图像的第一特征点和第一特征描述子以及所述候选图像的第二特征点和第二特征描述子，从所述第二特征点中确定所述候选图像的匹配特征点，所述候选图像的匹配特征点与所述待识别图像对应的匹配特征点构成表征匹配关系的匹配特征点对；

根据预设的筛选条件和所述候选图像的匹配特征点，从所述候选图像中确定所述关键图像以及所述关键图像的匹配特征点。

6.根据权利要求5所述的方法，其特征在于，所述根据所述待识别图像的第一特征点和第一特征描述子以及所述候选图像的第二特征点和第二特征描述子，从所述第二特征点中确定所述候选图像的匹配特征点，包括：

分别计算所述第一特征描述子与所述第二特征描述子的相似度；

基于预设的相似度条件和所述相似度，从所述第一特征点中确定所述待识别图像的匹配特征点，从所述第二特征点中确定所述候选图像的匹配特征点，所述候选图像的匹配特征点与所述待识别图像的匹配特征点存在对应关系。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述目标类别图像库的种子图像；

对所述种子图像进行目标检测，确定所述种子图像中表征目标类别的语义区域；

根据所述种子图像的语义区域和所述种子图像的图像标识，构建第二检索表。

8.根据权利要求7所述的方法，其特征在于，所述确定所述关键图像中表征目标类别的语义区域，若所述关键图像的匹配特征点落入所述语义区域内，则判定所述待识别图像的类别为所述目标类别，包括：

基于所述第二检索表确定各所述关键图像中表征目标类别的语义区域；

由所述关键图像的匹配特征点确定所述待识别图像对应的匹配特征点，并对应生成匹配特征点对；

在预设空间模型中，基于随机抽样一致性算法构建所述匹配特征点对的空间关系；

基于所述匹配特征点对的空间关系，对所述匹配特征点对进行过滤，得到关键匹配特征点对；

在所述关键匹配特征点对中，若所述关键图像的匹配特征点落入所述语义区域内，则判定所述待识别图像的类别为所述目标类别。

9.一种图像类别识别装置，其特征在于，所述装置包括：

特征提取模块，用于获取待识别图像，对所述待识别图像进行特征提取得到所述待识别图像的第一特征点和第一特征描述子，所述第一特征点和所述第一特征描述子存在对应关系；

第一匹配模块，用于根据所述待识别图像的第一特征描述子，从目标类别图像库中确定满足第一匹配条件的候选图像；

第二匹配模块，用于根据所述待识别图像的第一特征点和第一特征描述子以及所述候选图像的第二特征点和第二特征描述子，从所述候选图像中确定满足第二匹配条件的关键图像，以及确定所述关键图像的匹配特征点；

类别识别模块，用于确定所述关键图像中表征目标类别的语义区域，若所述关键图像的匹配特征点落入所述语义区域内，则判定所述待识别图像的类别为所述目标类别。

10.一种计算可读机存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至8中任一项所述的一种图像类别识别方法。

Images