CN108960412A - 图像识别方法、装置及计算机可读存储介质 - Google Patents

图像识别方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN108960412A
CN108960412A CN201810692204.4A CN201810692204A CN108960412A CN 108960412 A CN108960412 A CN 108960412A CN 201810692204 A CN201810692204 A CN 201810692204A CN 108960412 A CN108960412 A CN 108960412A
Authority
CN
China
Prior art keywords
depth characteristic
recognized
images
image
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810692204.4A
Other languages
English (en)
Other versions
CN108960412B (zh
Inventor
左鑫孟
刘晓
李旭峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810692204.4A priority Critical patent/CN108960412B/zh
Publication of CN108960412A publication Critical patent/CN108960412A/zh
Application granted granted Critical
Publication of CN108960412B publication Critical patent/CN108960412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像识别方法、装置及计算机可读存储介质，涉及多媒体技术领域。其中的图像识别方法包括：利用深度学习神经网络提取待识别图像的深度特征；将待识别图像的深度特征与深度特征库中的深度特征进行匹配；将深度特征库中匹配的深度特征所属的图像类别作为待识别图像的图像类别。本公开利用深度学习神经网络提取待识别图像的深度特征，然后通过深度特征的匹配确定待识别图像所属的图像类别。因此，在分类不断增加的情况下无需对深度学习神经网络进行重复训练，就能够简单高效、较为准确的确定出待识别图像所属的图像类别。

Description

图像识别方法、装置及计算机可读存储介质
技术领域
本公开涉及多媒体技术领域，特别涉及一种图像识别方法、装置及计算机可读存储介质。
背景技术
相似视觉信息识别是利用计算机视觉技术判断待识别图像是否存在数据库中，并召回指定的图片标签，以便确定待识别图像的类别。该技术可以同AR(Augmented Reality，增强现实)、VR(Virtual Reality，虚拟现实)等技术进行结合，应用于人工智能系统、个性推荐系统、工业分拣、智能机器人、智能交通等领域。
相关技术中的相似视觉信息识别算法主要分为两类。传统的基于底层特征的视觉信息识别方法，一般包括基于局部底层特征(尺度不变特征变换SIFT特征)描述和基于全局底层特征(颜色直方图特征) 描述的方法；而基于深度模型进行视觉信息识别的方法，可以基于 Alexnet、VGG、GoogleNet、Resnet等分类模型来实现直接对图像进行分类。
发明内容
发明人研究发现，传统的基于底层特征的视觉信息识别方法是基于规则的方法。当待识别图像处于光照变换、物体遮挡、相似物干扰的情况下，基于底层特征的视觉信息识别方法会出现较多误识别以及匹配失败的情况，泛化能力较差。而基于深度模型进行视觉信息识别的方法虽然具有较好的效果，但是需要收集大量的待识别类目对分类模型进行分类训练，每出现一个新的分类都需要大量的训练图片以及训练时间对深度模型进行重新离线训练，消耗的成本较高。如果有新的分类频繁增加，要想得到较好的效果就需要对模型进行重新训练，这样显然无法即时响应分类不断增加的需求。
本公开解决的一个技术问题是，如何简单高效的识别出图像所属的图像类别。
根据本公开实施例的一个方面，提供了一种图像识别方法，包括：利用深度学习神经网络提取待识别图像的深度特征；将待识别图像的深度特征与深度特征库中的深度特征进行匹配；将深度特征库中匹配的深度特征所属的图像类别作为待识别图像的图像类别。
在一些实施例中，利用深度学习神经网络提取待识别图像的深度特征包括：从深度学习神经网络中层号小于第一阈值的神经层中，提取待识别图像的低层深度特征；从深度学习神经网络中层号大于第二阈值的神经层中，提取待识别图像的高层深度特征，第二阈值大于第一阈值；将低层深度特征与高层深度特征级联，得到待识别图像的深度特征。
在一些实施例中，将待识别图像的深度特征与深度特征库中的深度特征进行匹配包括：计算待识别图像的深度特征与深度特征库中的深度特征之间的特征距离；若深度特征库中存在深度特征集，深度特征集中的深度特征与待识别图像的深度特征之间的特征距离小于第三阈值，则将深度特征集中与待识别图像的深度特征之间的特征距离最小的深度特征所属的图像类别，作为待识别图像的图像类别。
在一些实施例中，图像识别方法还包括：提取待识别图像的底层特征；将待识别图像的底层特征与底层特征库中的底层特征进行匹配；若底层特征库中不存在匹配的底层特征，则继续执行前述的深度特征匹配的步骤。
在一些实施例中，提取待识别图像的底层特征包括：提取待识别图像的局部底层特征；提取待识别图像的全局底层特征；将局部底层特征与全局底层特征级联，得到待识别图像的底层特征。
在一些实施例中，图像识别方法还包括：利用训练图像对深度学习神经网络进行训练，使得深度学习神经网络能够利用输入图像提取输入图像的深度特征；利用深度学习神经网络提取不同类别图像的深度特征，并利用不同类别图像的深度特征组成深度特征库。
在一些实施例中，利用深度学习神经网络提取不同类别图像的深度特征，并利用不同类别图像的深度特征组成深度特征库包括：选取待识别图像的相似图像作为负例样本；利用深度学习神经网络提取相似图像的深度特征，并将相似图像的深度特征加入深度特征库，相似图像的深度特征所属的图像类别为负例样本类别。
根据本公开实施例的另一个方面，提供了一种图像识别装置，包括：深度特征提取模块，被配置为利用深度学习神经网络提取待识别图像的深度特征；深度特征匹配模块，被配置为将待识别图像的深度特征与深度特征库中的深度特征进行匹配；图像类别确定模块，被配置为将深度特征库中匹配的深度特征所属的图像类别作为待识别图像的图像类别。
在一些实施例中，深度特征提取模块被配置为：从深度学习神经网络中层号小于第一阈值的神经层中，提取待识别图像的低层深度特征；从深度学习神经网络中层号大于第二阈值的神经层中，提取待识别图像的高层深度特征，第二阈值大于第一阈值；将低层深度特征与高层深度特征级联，得到待识别图像的深度特征。
在一些实施例中，深度特征匹配模块被配置为：计算待识别图像的深度特征与深度特征库中的深度特征之间的特征距离；若深度特征库中存在深度特征集，深度特征集中的深度特征与待识别图像的深度特征之间的特征距离小于第三阈值，则将深度特征集中与待识别图像的深度特征之间的特征距离最小的深度特征所属的图像类别，作为待识别图像的图像类别。
在一些实施例中，图像识别装置还包括：底层特征提取模块，被配置为提取待识别图像的底层特征；底层特征匹配模块，被配置为将待识别图像的底层特征与底层特征库中的底层特征进行匹配；若底层特征库中不存在匹配的底层特征，则交由深度特征提取模块、深度特征匹配模块、图像类别确定模块进行处理。
在一些实施例中，底层特征提取模块被配置为：提取待识别图像的局部底层特征；提取待识别图像的全局底层特征；将局部底层特征与全局底层特征级联，得到待识别图像的底层特征。
在一些实施例中，图像识别装置还包括：神经网络训练模块，被配置为利用训练图像对深度学习神经网络进行训练，使得深度学习神经网络能够利用输入图像提取输入图像的深度特征；深度特征库组成模块，被配置为利用深度学习神经网络提取不同类别图像的深度特征，并利用不同类别图像的深度特征组成深度特征库。
在一些实施例中，深度特征库组成模块被配置为：选取待识别图像的相似图像作为负例样本；利用深度学习神经网络提取相似图像的深度特征，并将相似图像的深度特征加入深度特征库，相似图像的深度特征所属的图像类别为负例样本类别。
根据本公开实施例的又一个方面，提供了一种图像识别装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述的图像识别方法。
根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现前述的图像识别方法。
本公开利用深度学习神经网络提取待识别图像的深度特征，然后通过深度特征的匹配确定待识别图像所属的图像类别。因此，在分类不断增加的情况下，无需对深度学习神经网络进行重复训练，就能够简单高效、较为准确的确定出待识别图像所属的图像类别。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本公开一个实施例的图像识别方法的流程示意图。
图2示出了本公开另一个实施例的图像识别方法的流程示意图。
图3示出了本公开一个实施例的图像识别装置的结构示意图。
图4示出了本公开另一个实施例的图像识别装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
首先对相关技术存在的问题进行深入分析。假设相关技术的使用场景是为AR扫活动后台提供相似视觉信息的识别。采用离线训练好识别模型可以实现识别互动。假设在第一阶段需要识别图片是否属于类别A、类别B、类别C，那么需要对识别模型进行分类训练，使得该识别模型具有识别图片是否属于类别A、类别B、类别C的能力。当AR扫活动需要增添识别图片是否属于类别D、类别E的情况下，就需要对识别模型重新训练，使得该识别模型具有识别图片是否属于类别A、类别B、类别C、类别D、类别E的能力。由此可见，随着 AR活动中不断增添新的分类，需要对识别模型进行不断的重新训练，需要大量的训练图片以及训练时间，成本较高。一旦活动场景增加，识别模型则需要重新训练，这显然无法即时响应AR活动场景增加的需求。
下面详细介绍本公开的图像识别方法。
(一)训练过程
(1)图片预处理
通过URL(Uniform Resource Locator，统一资源定位符)可以获取训练图片。图片预处理的方式可以有多种，下面仅进行简单说明。例如，对于训练图片可以首先进行尺寸调整(例如调整为256×256 像素)，然后可以对图像进行随机剪裁(例如剪裁为224×224)像素的图片。对于剪裁后的图片，可以进行旋转变化，例如在－180度至 +180度范围内每隔30度进行一次旋转；也可以进行尺度缩放，例如将图片缩小为0.6倍或0.8倍，或者将图片放大为1.2倍；还可以进行光强变化，在光强0至255范围内增大或减少30光强。
通过数据增强方式对图片进行预处理，可以使得图片的特征具有较强的泛化能力，从而提高图片的训练和识别的准确率。
(2)训练深度学习神经网络
利用训练图像对深度学习神经网络进行训练，可以使得训练好的深度学习神经网络能够利用输入图像提取输入图像的深度特征。
(3)组成深度特征库
利用训练好的深度学习神经网络提取不同类别样本图像的深度特征，并利用不同类别样本图像的深度特征组成深度特征库。
可选的，在利用深度学习神经网络提取不同类别图像的深度特征时，可以从深度学习神经网络中层号小于第一阈值的神经层中提取样本图像的低层深度特征，从深度学习神经网络中层号大于第二阈值的神经层中提取样本图像的高层深度特征，然后将低层深度特征与高层深度特征级联，得到样本图像的深度特征。其中，第二阈值大于第一阈值。
例如，可以采用ResNet50作为深度学习神经网，并将人脸训练使用的loss函数A-softmax进行深度特征训练。从ResNet50的上游层(例如前10层中的任一层)可以提取到样本图像的低层深度特征，低层深度特征可以表征样本图像的纹理、轮廓等信息；从ResNet50的下游层 (例如倒数第二层)可以提取到样本图像的高层深度特征，高层深度特征可以表征样本图像的深度抽象信息。将低层深度特征(例如1024 维)与高层深度特征(例如1024维)分别归一化之后进行级联，可以融合得到样本图像的深度特征(例如2048维)，然后将不同类别样本图像的深度特征组成深度特征库，用于后续的图像匹配识别。
可选的，可以选取待识别图像的相似图像作为负例样本，然后利用深度学习神经网络提取相似图像的深度特征，并将相似图像的深度特征加入深度特征库，相似图像的深度特征所属的图像类别为负例样本类别，以防止将较为相似的待识别图像出现误识别。
(4)可选步骤：组成底层特征库
可选的，采用SIFR、FAST-SIFT、SURF、ORB、SC等特征提取算法提取样本图像的局部底层特征，并采用HOG、LBP、GIST、 HU矩等特征提取算法提取样本图像的全局底层特征。然后，将局部底层特征与全局底层特征级联，得到不同类别样本图像的底层特征，进而组成不同类别样本图像的底层特征库，用于后续的图像匹配识别。
例如，局部底层特征为SIFT特征，SIFT特征包含10个特征点，每个特征点的维度是128维，那么局部底层特征是1280维。全局底层特征为颜色直方图特征，颜色直方图特征包括3个通道，每个通道的维度是32维，那么全局底层特征是96维。将局部底层特征与全局底层特征分别归一化之后进行级联，可以融合得到样本图像的底层特征 (例如1376维)。
(二)识别过程
(1)图片预处理
在识别过程中的图片预处理步骤与训练过程中的图片预处理步骤类似，在此不作赘述。
(2)图片识别
图1示出了本公开一个实施例的图像识别方法的流程示意图。如图1 所示，本实施例中的图像识别方法包括步骤S103～步骤S105。
在步骤S103中，利用深度学习神经网络提取待识别图像的深度特征。
用户发起请求后，通过用户发送的请求信息获取用户需要扫描的待识别图像信息。可以从深度学习神经网络中层号小于第一阈值的神经层中，提取待识别图像的低层深度特征；并从深度学习神经网络中层号大于第二阈值的神经层中，提取待识别图像的高层深度特征，第二阈值大于第一阈值；然后将低层深度特征与高层深度特征级联，得到待识别图像的深度特征。
在步骤S104中，将待识别图像的深度特征与深度特征库中的深度特征进行匹配。
匹配时，计算待识别图像的深度特征与深度特征库中的深度特征之间的特征距离(例如L2范式距离)。深度特征a与深度特征b之间的特征距离的计算公式如下：
若深度特征库中存在深度特征集，深度特征集中的深度特征与待识别图像的深度特征之间的特征距离小于第三阈值，则将深度特征集中与待识别图像的深度特征之间的特征距离最小的深度特征所属的图像类别，作为待识别图像的图像类别。
在步骤S105中，将深度特征库中匹配的深度特征所属的图像类别作为待识别图像的图像类别。
例如，深度特征库中匹配的深度特征所述的图像类别为类别A，则确定待识别图像属于类别A。
上述实施例利用深度学习神经网络提取待识别图像的深度特征，然后通过深度特征的匹配确定待识别图像所属的图像类别。因此，在图像识别之前仅需要利用大规模图片仅训练一次深度学习神经网络，得到一个通用的深度特征提取模型。对于新增加的分类图像仅需通过一次深度特征提取，省去了对深度特征提取模型的训练过程，仅需提取图片特征并更新特征库即可。也就是说，在分类不断增加的情况下，无需对深度学习神经网络进行重复训练，就能够简单高效、较为准确的确定出待识别图像所属的图像类别。因此特征提取过程用时较少，大幅降低了训练成本，缩短了活动上线的周期。
需要特别说明的是，由于深度特征中包含低层深度特征以及高层深度特征，其中低层深度特征可以表征待识别图像的纹理、轮廓等信息，高层深度特征可以表征待识别图像的深度抽象信息。因此，匹配得到的深度特征既能够表征待识别图像的纹理、轮廓等信息，又能够表征待识别图像的深度抽象信息，从而保障了确定待识别图像所属图像类别的准确性。
图2示出了本公开另一个实施例的图像识别方法的流程示意图。如图2所示，在图1所示实施例的基础上，本实施例中的图像识别方法还包括步骤S200～步骤S202。
在步骤S200中，提取待识别图像的底层特征。
例如，先提取待识别图像的局部底层特征，然后提取待识别图像的全局底层特征，最后将局部底层特征与全局底层特征级联，得到待识别图像的底层特征。
在步骤S201中，将待识别图像的底层特征与底层特征库中的底层特征进行匹配。
匹配过程具体可以参照步骤S104进行处理，求取L2范式距离。若底层特征库中存在底层特征集，底层特征集中的底层特征与待识别图像的底层特征之间的特征距离小于第四阈值，则执行步骤S202，将底层特征集中与待识别图像的底层特征之间的特征距离最小的底层特征所属的图像类别，作为待识别图像的图像类别。
若底层特征库中不存在这样的底层特征集，则继续执行步骤S103。
上述实施例提出了一种识别图像的双级决策方法。在进行深度特征匹配之前，首先利用底层特征进行匹配。如果底层特征匹配成功，可以省去深度特征的匹配过程，从而在排除图像外部干扰因素的同时，具有良好的泛化能力以及即时响应场景的需求，进一步节约了时间成本以及人力成本。该方法在保证较高识别准确的基础上，具有较强的泛化能力以及场景即时响应能力。
下面结合图3描述本公开一个实施例的图像识别装置。
图3示出了本公开一个实施例的图像识别装置的结构示意图。如图3 所示，本实施例中的图像识别装置30包括：
深度特征提取模块304，被配置为利用深度学习神经网络提取待识别图像的深度特征；
深度特征匹配模块305，被配置为将待识别图像的深度特征与深度特征库中的深度特征进行匹配；
图像类别确定模块306，被配置为将深度特征库中匹配的深度特征所属的图像类别作为待识别图像的图像类别。
在一些实施例中，深度特征提取模块304被配置为：从深度学习神经网络中层号小于第一阈值的神经层中，提取待识别图像的低层深度特征；从深度学习神经网络中层号大于第二阈值的神经层中，提取待识别图像的高层深度特征，第二阈值大于第一阈值；将低层深度特征与高层深度特征级联，得到待识别图像的深度特征。
在一些实施例中，深度特征匹配模块305被配置为：计算待识别图像的深度特征与深度特征库中的深度特征之间的特征距离；若深度特征库中存在深度特征集，深度特征集中的深度特征与待识别图像的深度特征之间的特征距离小于第三阈值，则将深度特征集中与待识别图像的深度特征之间的特征距离最小的深度特征所属的图像类别，作为待识别图像的图像类别。
上述实施例利用深度学习神经网络提取待识别图像的深度特征，然后通过深度特征的匹配确定待识别图像所属的图像类别。因此，在图像识别之前仅需要利用大规模图片仅训练一次深度学习神经网络，得到一个通用的深度特征提取模型。对于新增加的分类图像仅需通过一次深度特征提取，省去了对深度特征提取模型的训练过程，仅需提取图片特征并更新特征库即可。也就是说，在分类不断增加的情况下，无需对深度学习神经网络进行重复训练，就能够简单高效、较为准确的确定出待识别图像所属的图像类别。因此特征提取过程用时较少，大幅降低了训练成本，缩短了活动上线的周期。
需要特别说明的是，由于深度特征中包含低层深度特征以及高层深度特征，其中低层深度特征可以表征待识别图像的纹理、轮廓等信息，高层深度特征可以表征待识别图像的深度抽象信息。因此，匹配得到的深度特征既能够表征待识别图像的纹理、轮廓等信息，又能够表征待识别图像的深度抽象信息，从而保障了确定待识别图像所属图像类别的准确性。
在一些实施例中，图像识别装置30还包括：
底层特征提取模块302，被配置为提取待识别图像的底层特征；
底层特征匹配模块303，被配置为将待识别图像的底层特征与底层特征库中的底层特征进行匹配；
若底层特征库中不存在匹配的底层特征，则交由深度特征提取模块304、深度特征匹配模块305、图像类别确定模块306进行处理。
在一些实施例中，底层特征提取模块302被配置为：提取待识别图像的局部底层特征；提取待识别图像的全局底层特征；将局部底层特征与全局底层特征级联，得到待识别图像的底层特征。
在一些实施例中，图像识别装置30还包括：
神经网络训练模块300，被配置为利用训练图像对深度学习神经网络进行训练，使得深度学习神经网络能够利用输入图像提取输入图像的深度特征；
深度特征库组成模块301，被配置为利用深度学习神经网络提取不同类别图像的深度特征，并利用不同类别图像的深度特征组成深度特征库。
在一些实施例中，深度特征库组成模块301被配置为：选取待识别图像的相似图像作为负例样本；利用深度学习神经网络提取相似图像的深度特征，并将相似图像的深度特征加入深度特征库，相似图像的深度特征所属的图像类别为负例样本类别。
上述实施例提出了一种识别图像的双级决策装置。在进行深度特征匹配之前，首先利用底层特征进行匹配。如果底层特征匹配成功，可以省去深度特征的匹配过程，从而在排除图像外部干扰因素的同时，具有良好的泛化能力以及即时响应场景的需求，进一步节约了时间成本以及人力成本。该装置在保证较高识别准确的基础上，具有较强的泛化能力以及场景即时响应能力。
图4示出了本公开另一个实施例的图像识别装置的结构示意图。如图4所示，该实施例的图像识别装置40包括：存储器410以及耦接至该存储器410的处理器420，处理器420被配置为基于存储在存储器 410中的指令，执行前述任意一个实施例中的图像识别方法。
其中，存储器410例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序 (Boot Loader)以及其他程序等。
图像识别装置40还可以包括输入输出接口430、网络接口440、存储接口450等。这些接口430、440、450以及存储器410和处理器 420之间例如可以通过总线460连接。其中，输入输出接口430为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口 440为各种联网设备提供连接接口。存储接口450为SD卡、U盘等外置存储设备提供连接接口。
本公开还包括一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意一个实施例中的图像识别方法。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (16)

1.一种图像识别方法，包括：
利用深度学习神经网络提取待识别图像的深度特征；
将待识别图像的深度特征与深度特征库中的深度特征进行匹配；
将深度特征库中匹配的深度特征所属的图像类别作为待识别图像的图像类别。
2.如权利要求1所述的图像识别方法，其中，所述利用深度学习神经网络提取待识别图像的深度特征包括：
从深度学习神经网络中层号小于第一阈值的神经层中，提取待识别图像的低层深度特征；
从深度学习神经网络中层号大于第二阈值的神经层中，提取待识别图像的高层深度特征，所述第二阈值大于第一阈值；
将所述低层深度特征与所述高层深度特征级联，得到待识别图像的深度特征。
3.如权利要求1所述的图像识别方法，其中，所述将待识别图像的深度特征与深度特征库中的深度特征进行匹配包括：
计算待识别图像的深度特征与深度特征库中的深度特征之间的特征距离；
若深度特征库中存在深度特征集，所述深度特征集中的深度特征与待识别图像的深度特征之间的特征距离小于第三阈值，则将深度特征集中与待识别图像的深度特征之间的特征距离最小的深度特征所属的图像类别，作为待识别图像的图像类别。
4.如权利要求1所述的图像识别方法，所述图像识别方法还包括：
提取待识别图像的底层特征；
将待识别图像的底层特征与底层特征库中的底层特征进行匹配；
若底层特征库中不存在匹配的底层特征，则继续执行权利要求1中深度特征匹配的步骤。
5.如权利要求4所述的图像识别方法，所述提取待识别图像的底层特征包括：
提取待识别图像的局部底层特征；
提取待识别图像的全局底层特征；
将所述局部底层特征与所述全局底层特征级联，得到待识别图像的底层特征。
6.如权利要求1所述的图像识别方法，所述图像识别方法还包括：
利用训练图像对所述深度学习神经网络进行训练，使得所述深度学习神经网络能够利用输入图像提取输入图像的深度特征；
利用所述深度学习神经网络提取不同类别图像的深度特征，并利用不同类别图像的深度特征组成所述深度特征库。
7.如权利要求6所述的图像识别方法，所述利用所述深度学习神经网络提取不同类别图像的深度特征，并利用不同类别图像的深度特征组成所述深度特征库包括：
选取待识别图像的相似图像作为负例样本；
利用所述深度学习神经网络提取相似图像的深度特征，并将相似图像的深度特征加入所述深度特征库，所述相似图像的深度特征所属的图像类别为负例样本类别。
8.一种图像识别装置，包括：
深度特征提取模块，被配置为利用深度学习神经网络提取待识别图像的深度特征；
深度特征匹配模块，被配置为将待识别图像的深度特征与深度特征库中的深度特征进行匹配；
图像类别确定模块，被配置为将深度特征库中匹配的深度特征所属的图像类别作为待识别图像的图像类别。
9.如权利要求8所述的图像识别装置，其中，所述深度特征提取模块被配置为：
从深度学习神经网络中层号小于第一阈值的神经层中，提取待识别图像的低层深度特征；
从深度学习神经网络中层号大于第二阈值的神经层中，提取待识别图像的高层深度特征，所述第二阈值大于第一阈值；
将所述低层深度特征与所述高层深度特征级联，得到待识别图像的深度特征。
10.如权利要求8所述的图像识别装置，其中，所述深度特征匹配模块被配置为：
计算待识别图像的深度特征与深度特征库中的深度特征之间的特征距离；
若深度特征库中存在深度特征集，所述深度特征集中的深度特征与待识别图像的深度特征之间的特征距离小于第三阈值，则将深度特征集中与待识别图像的深度特征之间的特征距离最小的深度特征所属的图像类别，作为待识别图像的图像类别。
11.如权利要求8所述的图像识别装置，所述图像识别装置还包括：
底层特征提取模块，被配置为提取待识别图像的底层特征；
底层特征匹配模块，被配置为将待识别图像的底层特征与底层特征库中的底层特征进行匹配；
若底层特征库中不存在匹配的底层特征，则交由深度特征提取模块、深度特征匹配模块、图像类别确定模块进行处理。
12.如权利要求11所述的图像识别装置，所述底层特征提取模块被配置为：
提取待识别图像的局部底层特征；
提取待识别图像的全局底层特征；
将所述局部底层特征与所述全局底层特征级联，得到待识别图像的底层特征。
13.如权利要求8所述的图像识别装置，所述图像识别装置还包括：
神经网络训练模块，被配置为利用训练图像对所述深度学习神经网络进行训练，使得所述深度学习神经网络能够利用输入图像提取输入图像的深度特征；
深度特征库组成模块，被配置为利用所述深度学习神经网络提取不同类别图像的深度特征，并利用不同类别图像的深度特征组成所述深度特征库。
14.如权利要求13所述的图像识别装置，所述深度特征库组成模块被配置为：
选取待识别图像的相似图像作为负例样本；
利用所述深度学习神经网络提取相似图像的深度特征，并将相似图像的深度特征加入所述深度特征库，所述相似图像的深度特征所属的图像类别为负例样本类别。
15.一种图像识别装置，包括：
存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至7中任一项所述的图像识别方法。
16.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1至7中任一项所述的图像识别方法。
CN201810692204.4A 2018-06-29 2018-06-29 图像识别方法、装置及计算机可读存储介质 Active CN108960412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810692204.4A CN108960412B (zh) 2018-06-29 2018-06-29 图像识别方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810692204.4A CN108960412B (zh) 2018-06-29 2018-06-29 图像识别方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108960412A true CN108960412A (zh) 2018-12-07
CN108960412B CN108960412B (zh) 2022-09-30

Family

ID=64488102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810692204.4A Active CN108960412B (zh) 2018-06-29 2018-06-29 图像识别方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108960412B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977897A (zh) * 2019-04-03 2019-07-05 厦门兴康信科技股份有限公司 一种基于深度学习的船舶特征重识别方法、应用方法及系统
CN110909196A (zh) * 2019-10-28 2020-03-24 北京光年无限科技有限公司 识别绘本阅读过程中内页封面切换的处理方法和装置
CN111461152A (zh) * 2019-01-21 2020-07-28 同方威视技术股份有限公司 货物检测方法及装置、电子设备和计算机可读介质
CN111506759A (zh) * 2020-03-04 2020-08-07 中国人民解放军战略支援部队信息工程大学 一种基于深度特征的影像匹配方法及装置
CN111666957A (zh) * 2020-07-17 2020-09-15 湖南华威金安企业管理有限公司 图像真实性的识别方法及装置
WO2020244071A1 (zh) * 2019-06-06 2020-12-10 平安科技（深圳）有限公司 基于神经网络的手势识别方法、装置、存储介质及设备

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807257A (zh) * 2010-05-12 2010-08-18 上海交通大学 图像标签信息识别方法
CN103970771A (zh) * 2013-01-29 2014-08-06 中国科学院计算技术研究所 一种人体的检索方法和系统
CN104866829A (zh) * 2015-05-25 2015-08-26 苏州大学 一种基于特征学习的跨年龄人脸验证方法
US9536293B2 (en) * 2014-07-30 2017-01-03 Adobe Systems Incorporated Image assessment using deep convolutional neural networks
CN106408037A (zh) * 2015-07-30 2017-02-15 阿里巴巴集团控股有限公司 图像识别方法及装置
CN106845510A (zh) * 2016-11-07 2017-06-13 中国传媒大学 基于深度层级特征融合的中国传统视觉文化符号识别方法
CN106845341A (zh) * 2016-12-15 2017-06-13 南京积图网络科技有限公司 一种基于虚拟号牌的无牌车辆识别方法
CN106886573A (zh) * 2017-01-19 2017-06-23 博康智能信息技术有限公司 一种图像检索方法及装置
CN107133631A (zh) * 2016-02-29 2017-09-05 无锡天脉聚源传媒科技有限公司 一种识别电视台图标的方法及装置
CN107316031A (zh) * 2017-07-04 2017-11-03 北京大学深圳研究生院 用于行人重识别的图像特征提取方法
CN107578007A (zh) * 2017-09-01 2018-01-12 杭州电子科技大学 一种基于多特征融合的深度学习人脸识别方法
CN107633258A (zh) * 2017-08-21 2018-01-26 北京精密机电控制设备研究所 一种基于前馈特征提取的深度学习识别系统及方法
CN107683469A (zh) * 2015-12-30 2018-02-09 中国科学院深圳先进技术研究院 一种基于深度学习的产品分类方法及装置
CN107688784A (zh) * 2017-08-23 2018-02-13 福建六壬网安股份有限公司 一种基于深层特征和浅层特征融合的字符识别方法及存储介质
CN107818299A (zh) * 2017-10-17 2018-03-20 内蒙古科技大学 基于融合hog特征和深度信念网络的人脸识别算法
CN108009579A (zh) * 2017-11-29 2018-05-08 合肥寰景信息技术有限公司 基于深度学习的特种车辆检测与识别系统
CN108021693A (zh) * 2017-12-18 2018-05-11 北京奇艺世纪科技有限公司 一种图像检索方法和装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807257A (zh) * 2010-05-12 2010-08-18 上海交通大学 图像标签信息识别方法
CN103970771A (zh) * 2013-01-29 2014-08-06 中国科学院计算技术研究所 一种人体的检索方法和系统
US9536293B2 (en) * 2014-07-30 2017-01-03 Adobe Systems Incorporated Image assessment using deep convolutional neural networks
CN104866829A (zh) * 2015-05-25 2015-08-26 苏州大学 一种基于特征学习的跨年龄人脸验证方法
CN106408037A (zh) * 2015-07-30 2017-02-15 阿里巴巴集团控股有限公司 图像识别方法及装置
CN107683469A (zh) * 2015-12-30 2018-02-09 中国科学院深圳先进技术研究院 一种基于深度学习的产品分类方法及装置
CN107133631A (zh) * 2016-02-29 2017-09-05 无锡天脉聚源传媒科技有限公司 一种识别电视台图标的方法及装置
CN106845510A (zh) * 2016-11-07 2017-06-13 中国传媒大学 基于深度层级特征融合的中国传统视觉文化符号识别方法
CN106845341A (zh) * 2016-12-15 2017-06-13 南京积图网络科技有限公司 一种基于虚拟号牌的无牌车辆识别方法
CN106886573A (zh) * 2017-01-19 2017-06-23 博康智能信息技术有限公司 一种图像检索方法及装置
CN107316031A (zh) * 2017-07-04 2017-11-03 北京大学深圳研究生院 用于行人重识别的图像特征提取方法
CN107633258A (zh) * 2017-08-21 2018-01-26 北京精密机电控制设备研究所 一种基于前馈特征提取的深度学习识别系统及方法
CN107688784A (zh) * 2017-08-23 2018-02-13 福建六壬网安股份有限公司 一种基于深层特征和浅层特征融合的字符识别方法及存储介质
CN107578007A (zh) * 2017-09-01 2018-01-12 杭州电子科技大学 一种基于多特征融合的深度学习人脸识别方法
CN107818299A (zh) * 2017-10-17 2018-03-20 内蒙古科技大学 基于融合hog特征和深度信念网络的人脸识别算法
CN108009579A (zh) * 2017-11-29 2018-05-08 合肥寰景信息技术有限公司 基于深度学习的特种车辆检测与识别系统
CN108021693A (zh) * 2017-12-18 2018-05-11 北京奇艺世纪科技有限公司 一种图像检索方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JONATHAN LONG，EVAN SHELHAMER，TREVOR DARRELL: "Fully Convolutional Networks for Semantic Segmentation", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION，》 *
刘星明，刘则毅: "基于体积和纹理特征的深度像匹配", 《深圳大学学报（理工版）》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461152A (zh) * 2019-01-21 2020-07-28 同方威视技术股份有限公司 货物检测方法及装置、电子设备和计算机可读介质
CN111461152B (zh) * 2019-01-21 2024-04-05 同方威视技术股份有限公司 货物检测方法及装置、电子设备和计算机可读介质
CN109977897A (zh) * 2019-04-03 2019-07-05 厦门兴康信科技股份有限公司 一种基于深度学习的船舶特征重识别方法、应用方法及系统
WO2020244071A1 (zh) * 2019-06-06 2020-12-10 平安科技（深圳）有限公司 基于神经网络的手势识别方法、装置、存储介质及设备
CN110909196A (zh) * 2019-10-28 2020-03-24 北京光年无限科技有限公司 识别绘本阅读过程中内页封面切换的处理方法和装置
CN110909196B (zh) * 2019-10-28 2022-07-01 北京光年无限科技有限公司 识别绘本阅读过程中内页封面切换的处理方法和装置
CN111506759A (zh) * 2020-03-04 2020-08-07 中国人民解放军战略支援部队信息工程大学 一种基于深度特征的影像匹配方法及装置
CN111506759B (zh) * 2020-03-04 2023-10-24 中国人民解放军战略支援部队信息工程大学 一种基于深度特征的影像匹配方法及装置
CN111666957A (zh) * 2020-07-17 2020-09-15 湖南华威金安企业管理有限公司 图像真实性的识别方法及装置
CN111666957B (zh) * 2020-07-17 2023-04-25 湖南华威金安企业管理有限公司 图像真实性的识别方法及装置

Also Published As

Publication number Publication date
CN108960412B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN108960412A (zh) 图像识别方法、装置及计算机可读存储介质
Trnovszky et al. Animal recognition system based on convolutional neural network
Peng et al. Syn2real: A new benchmark forsynthetic-to-real visual domain adaptation
CN107844795B (zh) 基于主成分分析的卷积神经网络特征提取方法
CN110969166A (zh) 一种巡检场景下小目标识别方法和系统
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN109118519A (zh) 基于实例分割的目标Re-ID方法、系统、终端和存储介质
Funk et al. Beyond planar symmetry: Modeling human perception of reflection and rotation symmetries in the wild
CN109145766A (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
CN104036255A (zh) 一种人脸表情识别方法
CN110765960B (zh) 一种自适应多任务深度学习的行人再识别方法
CN108846404A (zh) 一种基于相关约束图排序的图像显著性检测方法及装置
CN112990282B (zh) 一种细粒度小样本图像的分类方法及装置
CN106022241A (zh) 一种基于小波变换及稀疏表示的人脸识别方法
John et al. A comparative study of various object detection algorithms and performance analysis
Yu et al. Exemplar-based recursive instance segmentation with application to plant image analysis
CN108932509A (zh) 一种基于视频跟踪的跨场景目标检索方法及装置
CN109255339A (zh) 基于自适应深度森林人体步态能量图的分类方法
CN106778714A (zh) 基于非线性特征和模型合并的lda人脸识别方法
Li et al. Fast recognition of pig faces based on improved Yolov3
CN104598898A (zh) 一种基于多任务拓扑学习的航拍图像快速识别系统及其快速识别方法
CN112560880A (zh) 目标分类方法、目标分类装置及计算机可读存储介质
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
CN108717522A (zh) 一种基于深度学习和相关滤波的人体目标跟踪方法
CN113822134A (zh) 一种基于视频的实例跟踪方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant