CN109960988A - 图像分析方法、装置、电子设备及可读存储介质 - Google Patents

图像分析方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN109960988A
CN109960988A CN201711428999.XA CN201711428999A CN109960988A CN 109960988 A CN109960988 A CN 109960988A CN 201711428999 A CN201711428999 A CN 201711428999A CN 109960988 A CN109960988 A CN 109960988A
Authority
CN
China
Prior art keywords
image
target object
analyzed
feature
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711428999.XA
Other languages
English (en)
Inventor
张雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201711428999.XA priority Critical patent/CN109960988A/zh
Priority to US16/770,433 priority patent/US20200402242A1/en
Priority to EP18894025.8A priority patent/EP3734496A4/en
Priority to PCT/CN2018/100249 priority patent/WO2019128254A1/zh
Publication of CN109960988A publication Critical patent/CN109960988A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种图像分析方法、装置、电子设备及可读存储介质。该方法包括：获得待分析图像，所述待分析图像中包括有目标对象；基于预先配置的全卷积网络从所述待分析图像中分割出所述目标对象的各个区域；获取各个区域的最小外接几何框；基于预先配置的卷积神经网络提取各个最小外接几何框对应区域的特征，并将每个最小外接几何框对应区域的特征进行连接得到所述目标对象的目标对象特征；将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出待分析图像的图像分析结果。由此，能够有效去除环境干扰，得到较精确的图像检索结果，进而为快速定位和查找目标对象提供线索。

Description

图像分析方法、装置、电子设备及可读存储介质
技术领域
本发明涉及图像分析技术领域，具体而言，涉及一种图像分析方法、装置、电子设备及可读存储介质。
背景技术
在公安刑侦追踪嫌疑人事件中，往往需要根据用户或现场提供的图像快速检索出犯罪嫌疑人出现位置、时间等，为公安人员追踪嫌疑人提供有效数据。但是，一般在监控场景下容易受到一些环境影响，例如光线、遮挡或者检测不准确等因素影响，进而导致检索精度低。
发明内容
为了克服现有技术中的上述不足，本发明的目的在于提供一种图像分析方法、装置、电子设备及可读存储介质，能够有效去除环境干扰，得到较精确的图像检索结果，进而为快速定位和查找目标对象提供线索。
为了实现上述目的，本发明较佳实施例采用的技术方案如下：
本发明较佳实施例提供一种图像分析方法，应用于电子设备，所述方法包括：
获得待分析图像，所述待分析图像中包括有目标对象；
基于预先配置的全卷积网络从所述待分析图像中分割出所述目标对象的各个区域；
获取所述各个区域的最小外接几何框；
基于预先配置的卷积神经网络提取各个最小外接几何框对应区域的特征，并将每个所述最小外接几何框对应区域的特征进行连接得到所述目标对象的目标对象特征；
将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出所述待分析图像的图像分析结果。
在本发明较佳实施例中，在获得待分析图像之前，所述方法还包括：
配置所述全卷积网络；
所述配置所述全卷积网络的方式，包括：
接收图像样本集，所述图像样本集中包括有多个图像样本；
对每个图像样本中的目标对象的各个区域进行标定，并将标定好的图像样本输入到进行全卷积网络训练，得到训练后的全卷积网络。
在本发明较佳实施例中，在获得待分析图像之前，所述方法还包括：
配置所述卷积神经网络；
所述配置所述卷积神经网络的方式，包括：
接收图像样本集，所述图像样本集中包括有多个图像样本；
将每个图像样本输入到卷积神经网络中进行训练，在训练完成后提取所述卷积神经网络中最后一层神经网络的多维特征作为该图像样本的图像特征，从而完成卷积神经网络的配置。
在本发明较佳实施例中，所述获取所述各个区域的最小外接几何框的方式，包括：
获取所述各个区域的最小外接矩形框；或者
获取所述各个区域的最小外接圆。
在本发明较佳实施例中，所述将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出所述待分析图像的图像分析结果，包括：
分别计算所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离；
基于所述余弦距离对预存图像库中每张图像进行排序，并生成排序结果，所述排序结果为所述待分析图像的图像分析结果。
在本发明较佳实施例中，所述计算所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离的计算公式为：
其中，fi,fj表示图像i,j提取的特征，||·||2表示二范数，d(·)表示所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离。
在本发明较佳实施例中，所述基于所述余弦距离对预存图像库中每张图像进行排序，并生成排序结果的排序公式为：
其中，n为所述排序结果的图像数量，Ω表示预存图像库。
本发明较佳实施例还提供一种图像分析装置，应用于电子设备，所述装置包括：
获得模块，用于获得待分析图像，所述待分析图像中包括有目标对象。
分割模块，用于基于预先配置的全卷积网络从所述待分析图像中分割出所述目标对象的各个区域。
获取模块，用于获取所述各个区域的最小外接几何框。
提取模块，用于基于预先配置的卷积神经网络提取各个最小外接几何框对应区域的特征，并将每个所述最小外接几何框对应区域的特征进行连接得到所述目标对象的目标对象特征。
比较模块，用于将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出所述待分析图像的图像分析结果。
本发明较佳实施例还提供一种电子设备，所述电子设备包括：
存储介质；
处理器；以及
图像分析装置，所述装置存储于所述存储介质中并包括由所述处理器执行的软件功能模块，所述装置包括：
获得模块，用于获得待分析图像，所述待分析图像中包括有目标对象。
分割模块，用于基于预先配置的全卷积网络从所述待分析图像中分割出所述目标对象的各个区域。
获取模块，用于获取所述各个区域的最小外接几何框。
提取模块，用于基于预先配置的卷积神经网络提取各个最小外接几何框对应区域的特征，并将每个所述最小外接几何框对应区域的特征进行连接得到所述目标对象的目标对象特征。
比较模块，用于将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出所述待分析图像的图像分析结果。
本发明较佳实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的图像分析方法。
相对于现有技术而言，本发明具有以下有益效果：
本发明实施例提供一种图像分析方法、装置、电子设备及可读存储介质，首先，获得待分析图像，所述待分析图像中包括有目标对象，接着基于预先配置的全卷积网络从所述待分析图像中分割出所述目标对象的各个区域，并获取各个区域的最小外接几何框，然后，基于预先配置的卷积神经网络提取各个最小外接几何框对应区域的特征，并将每个最小外接几何框对应区域的特征进行连接得到所述目标对象的目标对象特征，最后，将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出待分析图像的图像分析结果。由此，能够有效去除环境干扰，得到较精确的图像检索结果，进而为快速定位和查找目标对象提供线索。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1为本发明较佳实施例提供的图像分析方法的一种流程示意图；
图2为本发明较佳实施例提供的一种图像分割示意图；
图3为现有技术中的区域分割示意图；
图4为本发明较佳实施例提供的区域分割示意图；
图5为图1中所示的步骤S250包括的各个子步骤的一种流程示意图；
图6为本发明较佳实施例提供的用于实现上述图像分析方法的电子设备的方框示意图。
图标：100-电子设备；110-存储介质；120-处理器；200-图像分析装置；210-获得模块；220-分割模块；230-获取模块；240-提取模块；250-比较模块。
具体实施方式
本申请发明人在实现本发明实施例提供的技术方案过程中，发现现有技术的图像检索方法主要包括下述几种：
第一，将待检索图像进行子图划分，得到多个子图像；对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像的特征向量；针对图像库中每个图像，基于该图像的每个待匹配子图像组中的各子图像的特征向量，以及所述各指定子图像的特征向量，确定该图像与所述待检索图像的相似度。然而，发明人仔细研究发现，该方案对图像进行简单的划分成多区域，易受到遮挡，图像不对齐等因素干扰，导致图像选取的特征不能对齐，从而影响检索精度。
第二，计算图像类别特征与自编码特征，保障以图搜图结果在图像类别上的相似，并利用自动编码算法产生低层次的图像编码特征,保障图像在内容上相似，再混合自编码特征方法将分类特征，图像自编码特征进一步融合，降低维度，使得搜索结果更加快速、稳定。然而，发明人仔细研究发现，该方案通过结合类别特征与编码特征进行图像检索，并对特征进行降维，但需提取两种不同特征，可操作性低，限制了该方案的应用前景。
第三，建立视觉词汇字典，利用图像的视觉显著性特征融合算法得到视觉显著性图，再根据显著图分割得到图像的前景目标图和背景区域图，对前景目标图和背景区域图分别提取图像的色彩特征和纹理特征，进行图像检索。然而，发明人仔细研究发现，该方案通过显著性图得到前景与背景，同时提取的色彩与纹理特征，都易受到背景和复杂环境的干扰，且建立视觉词汇字典复杂度高，限制了该方案的应用前景。
以上现有技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案，都应该是发明人在本发明过程中对本发明做出的贡献。
鉴于上述问题，本申请发明人提出下述技术方案，能够有效去除环境干扰，得到较精确的图像检索结果，进而为快速定位和查找目标对象提供线索。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
请参阅图1，为本发明较佳实施例提供的图像分析方法的一种流程示意图。所应说明的是，本发明实施例提供的图像分析方法不以图1及以下所述的具体顺序为限制。所述方法可以通过如下步骤实现：
步骤S210，获得待分析图像。
本实施例中，所述待分析图像的获得方式不作限制，例如可以通过监控设备实时从当前拍摄场景中获取，或者也可以从外部终端导入获取，又或者从服务器中下载获取等。其中，所述待分析图像中包括有目标对象，所述目标对象为需要分析特征的对象，例如，所述目标对象可以是图像中的行人、物件等。
步骤S220，基于预先配置的全卷积网络从所述待分析图像中分割出所述目标对象的各个区域。
具体地，在对所述步骤S220作进一步阐述之前，首先对所述全卷积网络的配置过程进行说明。作为一种实施方式，所述全卷积网络的配置方式可以通过如下方式实现：
首先，接收图像样本集，其中，所述图像样本集中包括有多个图像样本，每个图像样本中都包括有目标对象。
然后，对每个图像样本中的目标对象的各个区域进行标定，并将标定好的图像样本输入到进行全卷积网络训练，得到训练后的全卷积网络。详细地，以所述目标对象为行人为例，可以将行人身体的各部分区域，例如头部区域、上身区域、下身区域(也可以为多区域，例如头部区域、左胳膊区域、右胳膊区域、上身区域、右腿区域、左腿区域等)都标注为不同像素值，不同像素值的区域即属于不同的区域，如图2所示，每张图中的左图为原始图像样本，中间图为标注的身体各个区域。然后，利用标注好的图像样本进行全卷积网络(FullyConvolutional Network，FCN)的训练，得到训练之后较好网络参数的全卷积网络。
在上述训练之后的全卷积网络的基础上，将所述待分析图像输入至所述全卷积网络中，可以分割出行人的各个区域。
步骤S230，获取所述各个区域的最小外接几何框。
具体地，通过上述全卷积网络分割将行人分割成不同区域，为了去除背景影响，经发明人仔细研究，由于每个区域为不规则区域，因此可以通过最小外接几何框得到该区域。其中，获取所述各个区域的最小外接几何框的方式可以是获取所述各个区域的最小外接矩形框，或者获取所述各个区域的最小外接圆等等。在一种实施方式中，以最小外接矩形框为例，参照图2所示，每张图片的最右边图像中行人的各个区域由最小外接矩形框标出，从而得到所述各个区域的最小外接矩形框，能够有效去除背景干扰等问题，提供准确的行人各部分区域。
值得说明的是，上述最小外接几何框也可以采用其它任意规则几何图形实现，作为优选，本实施例中采用最小外接矩形框实现。
步骤S240，基于预先配置的卷积神经网络提取各个最小外接几何框对应区域的特征，并将每个所述最小外接几何框对应区域的特征进行连接得到所述目标对象的目标对象特征。
具体地，在对所述步骤S240作进一步阐述之前，首先对所述卷积神经网络的配置过程进行说明。作为一种实施方式，所述卷积神经网络的配置方式可以通过如下方式实现：
首先，接收图像样本集，所述图像样本集中包括有多个图像样本。
然后，将每个图像样本输入到卷积神经网络中进行训练，在训练完成后提取所述卷积神经网络中最后一层神经网络的多维特征作为该图像样本的图像特征，从而完成卷积神经网络的配置。例如，可以提取所述卷积神经网络中最后一层神经网络的300维特征作为该图像样本的图像特征。
经本申请发明人仔细研究发现，现有技术中主要通过对图像按照固定大小比例进行划分，然后提取出各个区域的特征，最后将各个区域特征连接起来进行图像检索。但是由于检测算法等原因，图像中的目标对象(例如，行人)在图像中存在位置差异，如图3所示，横线为固定比例分割线，自上而下分别将每张图片分割为第一区域、第二区域和第三区域，其中，第一区域在第一幅图像和第三幅图像中主要提取为行人头部区域特征，但在第二幅图中并不是该行人头部特征，这样会导致该图像在图像库中较难检索出，从而在后续对特征进行比较时会严重影响图像检索指标。
鉴于上述问题，经发明人长期研究，提出通过下述分割的方法定位出所述目标对象的各个区域位置，详细地，如图4中的矩形框所示，在所述卷积神经网络训练完成后，以所述目标对象为行人为例，首先基于该卷积神经网络对行人的头部区域、上半身区域、下半身区域分别提取特征，然后在提取到行人的头部区域、上身区域、下身区域的基础上，对这三个区域分别利用所述卷积神经网络提取特征，最后将这三个区域的特征连接在一起，得到多维特征。例如，提取出的头部区域的特征为100维特征，上身区域的特征为100维特征，下身区域的特征为100维特征，那么将这三个区域连接在一起即可以得到300维特征，所述300维特征即作为所述目标对象(行人)的图像特征。另外，若不存在某个区域，例如图2(c)不存在下半身区域，则将该区域特征置为零。由此，实现了特征对齐，能够有效提高图像检索精度。
步骤S250，将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出所述待分析图像的图像分析结果。
详细地，作为一种实施方式，请参阅图5，所述步骤S250可以通过如下子步骤实现：
子步骤S251，分别计算所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离。
本实施例中，所述预存图像库中包括有多张图像。在得到所述目标对象特征后，对所述目标对象特征与所述预存图像库中每张图像的图像特征进行比较。具体地，可以通过计算所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离，并基于所述余弦距离来进行比较，具体计算公式为：
其中，fi,fj表示图像i,j提取的特征，||·||2表示二范数，d(·)表示所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离。
通过上述公式，即可计算出计算所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离。
子步骤S252，基于所述余弦距离对预存图像库中每张图像进行排序，并生成排序结果，所述排序结果为所述待分析图像的图像分析结果。
本实施例中，在计算得到所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离后，可以通过如下公式对预存图像库中每张图像进行排序：
其中，n为所述排序结果的图像数量，Ω表示预存图像库。其中，n可以根据实际需求进行设置，例如，若n为3，则表明最终排序结果包括所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离为前三的图像。由此，可以在对目标对象提取出对应的特征后，得到较高的图像检索结果，可为刑侦案件提供有效的线索。
进一步地，如图6所示，是本发明实施例提供的用于实现所述图像分析方法的电子设备100的示意图。本实施例中，所述电子设备100可以是，但不限于，个人电脑(PersonalComputer，PC)、笔记本电脑、监控设备、服务器等具备图像分析及处理能力的计算机设备。
所述电子设备100还包括图像分析装置200、存储介质110以及处理器120。本发明较佳实施例中，图像分析装置200包括至少一个可以软件或固件(Firmware)的形式存储于所述存储介质110中或固化在所述电子设备100的操作系统(Operating System，OS)中的软件功能模块。所述处理器120用于执行所述存储介质110中存储的可执行软件模块，例如，所述图像分析装置200所包括的软件功能模块及计算机程序等。本实施例中，所述图像分析装置200也可以集成于所述操作系统中，作为所述操作系统的一部分。具体地，所述图像分析装置200包括：
获得模块210，用于获得待分析图像，所述待分析图像中包括有目标对象。
分割模块220，用于基于预先配置的全卷积网络从所述待分析图像中分割出所述目标对象的各个区域。
获取模块230，用于获取所述各个区域的最小外接几何框。
提取模块240，用于基于预先配置的卷积神经网络提取各个最小外接几何框对应区域的特征，并将每个所述最小外接几何框对应区域的特征进行连接得到所述目标对象的目标对象特征。
比较模块250，用于将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出所述待分析图像的图像分析结果。
可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。
综上所述，本发明实施例提供一种图像分析方法、装置、电子设备及可读存储介质，首先，获得待分析图像，所述待分析图像中包括有目标对象，接着基于预先配置的全卷积网络从所述待分析图像中分割出所述目标对象的各个区域，并获取各个区域的最小外接几何框，然后，基于预先配置的卷积神经网络提取各个最小外接几何框对应区域的特征，并将每个最小外接几何框对应区域的特征进行连接得到所述目标对象的目标对象特征，最后，将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出待分析图像的图像分析结果。由此，能够有效去除环境干扰，得到较精确的图像检索结果，进而为快速定位和查找目标对象提供线索。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是，在本文中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种图像分析方法，其特征在于，应用于电子设备，所述方法包括：
获得待分析图像，所述待分析图像中包括有目标对象；
基于预先配置的全卷积网络从所述待分析图像中分割出所述目标对象的各个区域；
获取所述各个区域的最小外接几何框；
基于预先配置的卷积神经网络提取各个最小外接几何框对应区域的特征，并将每个所述最小外接几何框对应区域的特征进行连接得到所述目标对象的目标对象特征；
将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出所述待分析图像的图像分析结果。
2.根据权利要求1所述的图像分析方法，其特征在于，在获得待分析图像之前，所述方法还包括：
配置所述全卷积网络；
所述配置所述全卷积网络的方式，包括：
接收图像样本集，所述图像样本集中包括有多个图像样本；
对每个图像样本中的目标对象的各个区域进行标定，并将标定好的图像样本输入到进行全卷积网络训练，得到训练后的全卷积网络。
3.根据权利要求1所述的图像分析方法，其特征在于，在获得待分析图像之前，所述方法还包括：
配置所述卷积神经网络；
所述配置所述卷积神经网络的方式，包括：
接收图像样本集，所述图像样本集中包括有多个图像样本；
将每个图像样本输入到卷积神经网络中进行训练，在训练完成后提取所述卷积神经网络中最后一层神经网络的多维特征作为该图像样本的图像特征，从而完成卷积神经网络的配置。
4.根据权利要求1所述的图像分析方法，其特征在于，所述获取所述各个区域的最小外接几何框的方式，包括：
获取所述各个区域的最小外接矩形框；或者
获取所述各个区域的最小外接圆。
5.根据权利要求1-4中任意一项所述的图像分析方法，其特征在于，所述将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出所述待分析图像的图像分析结果，包括：
分别计算所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离；
基于所述余弦距离对预存图像库中每张图像进行排序，并生成排序结果，所述排序结果为所述待分析图像的图像分析结果。
6.根据权利要求5所述的图像分析方法，其特征在于，所述计算所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离的计算公式为：
其中，fi,fj表示图像i,j提取的特征，||·||2表示二范数，d(·)表示所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离。
7.根据权利要求5所述的图像分析方法，其特征在于，所述基于所述余弦距离对预存图像库中每张图像进行排序，并生成排序结果的排序公式为：
其中，n为所述排序结果的图像数量，Ω表示预存图像库。
8.一种图像分析装置，其特征在于，应用于电子设备，所述装置包括：
获得模块，用于获得待分析图像，所述待分析图像中包括有目标对象；
分割模块，用于基于预先配置的全卷积网络从所述待分析图像中分割出所述目标对象的各个区域；
获取模块，用于获取所述各个区域的最小外接几何框；
提取模块，用于基于预先配置的卷积神经网络提取各个最小外接几何框对应区域的特征，并将每个所述最小外接几何框对应区域的特征进行连接得到所述目标对象的目标对象特征；
比较模块，用于将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出所述待分析图像的图像分析结果。
9.一种电子设备，其特征在于，所述电子设备包括：
存储介质；
处理器；以及
图像分析装置，所述装置存储于所述存储介质中并包括由所述处理器执行的软件功能模块，所述装置包括：
获得模块，用于获得待分析图像，所述待分析图像中包括有目标对象；
分割模块，用于基于预先配置的全卷积网络从所述待分析图像中分割出所述目标对象的各个区域；
获取模块，用于获取所述各个区域的最小外接几何框；
提取模块，用于基于预先配置的卷积神经网络提取各个最小外接几何框对应区域的特征，并将每个所述最小外接几何框对应区域的特征进行连接得到所述目标对象的目标对象特征；
比较模块，用于将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出所述待分析图像的图像分析结果。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-7中任意一项所述的图像分析方法。
CN201711428999.XA 2017-12-26 2017-12-26 图像分析方法、装置、电子设备及可读存储介质 Pending CN109960988A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711428999.XA CN109960988A (zh) 2017-12-26 2017-12-26 图像分析方法、装置、电子设备及可读存储介质
US16/770,433 US20200402242A1 (en) 2017-12-26 2018-08-13 Image analysis method and apparatus, and electronic device and readable storage medium
EP18894025.8A EP3734496A4 (en) 2017-12-26 2018-08-13 IMAGE ANALYSIS APPARATUS AND METHOD, AND ELECTRONIC DEVICE AND READABLE INFORMATION MEDIA
PCT/CN2018/100249 WO2019128254A1 (zh) 2017-12-26 2018-08-13 图像分析方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711428999.XA CN109960988A (zh) 2017-12-26 2017-12-26 图像分析方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN109960988A true CN109960988A (zh) 2019-07-02

Family

ID=67021806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711428999.XA Pending CN109960988A (zh) 2017-12-26 2017-12-26 图像分析方法、装置、电子设备及可读存储介质

Country Status (4)

Country Link
US (1) US20200402242A1 (zh)
EP (1) EP3734496A4 (zh)
CN (1) CN109960988A (zh)
WO (1) WO2019128254A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490171A (zh) * 2019-08-26 2019-11-22 睿云联(厦门)网络通讯技术有限公司 一种危险姿态识别方法、装置、计算机设备及存储介质
CN111723724A (zh) * 2020-06-16 2020-09-29 东软睿驰汽车技术（沈阳）有限公司 一种路面障碍物识别方法和相关装置
CN112611761A (zh) * 2020-11-27 2021-04-06 常州柯柏电子科技有限公司 一种高反物体表面缺陷检测方法及系统
CN115810014A (zh) * 2023-02-07 2023-03-17 菲特（天津）检测技术有限公司 一种基于图片中子图块的电极帽端面缺陷检测方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465904A (zh) * 2019-09-06 2021-03-09 上海晶赞融宣科技有限公司 图像目标定位方法、装置、计算机设备和存储介质
CN112991375B (zh) * 2021-02-08 2024-01-23 上海通办信息服务有限公司 将任意形状图像区域重塑为n个矩形区域的方法及其系统
CN112991385B (zh) * 2021-02-08 2023-04-28 西安理工大学 一种基于不同度量准则的孪生网络目标跟踪方法
CN113096170B (zh) * 2021-06-09 2022-01-25 北京世纪好未来教育科技有限公司 文本图像配准方法、装置、设备、存储介质
CN114140787B (zh) * 2021-12-09 2024-07-12 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、存储介质及计算机产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150347860A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Systems And Methods For Character Sequence Recognition With No Explicit Segmentation
CN105631413A (zh) * 2015-12-23 2016-06-01 中通服公众信息产业股份有限公司 一种基于深度学习的跨场景行人搜索方法
CN106096531A (zh) * 2016-05-31 2016-11-09 安徽省云力信息技术有限公司 一种基于深度学习的交通图像多类型车辆检测方法
CN106204646A (zh) * 2016-07-01 2016-12-07 湖南源信光电科技有限公司 基于bp神经网络的多运动目标跟踪方法
CN106934396A (zh) * 2017-03-09 2017-07-07 深圳市捷顺科技实业股份有限公司 一种车牌检索方法及系统
CN107194341A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 Maxout多卷积神经网络融合人脸识别方法和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355188B (zh) * 2015-07-13 2020-01-21 阿里巴巴集团控股有限公司 图像检测方法及装置
WO2017101036A1 (en) * 2015-12-16 2017-06-22 Intel Corporation Fully convolutional pyramid networks for pedestrian detection
CN106874894B (zh) * 2017-03-28 2020-04-14 电子科技大学 一种基于区域全卷积神经网络的人体目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150347860A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Systems And Methods For Character Sequence Recognition With No Explicit Segmentation
CN105631413A (zh) * 2015-12-23 2016-06-01 中通服公众信息产业股份有限公司 一种基于深度学习的跨场景行人搜索方法
CN106096531A (zh) * 2016-05-31 2016-11-09 安徽省云力信息技术有限公司 一种基于深度学习的交通图像多类型车辆检测方法
CN106204646A (zh) * 2016-07-01 2016-12-07 湖南源信光电科技有限公司 基于bp神经网络的多运动目标跟踪方法
CN106934396A (zh) * 2017-03-09 2017-07-07 深圳市捷顺科技实业股份有限公司 一种车牌检索方法及系统
CN107194341A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 Maxout多卷积神经网络融合人脸识别方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵斌等: "基于图像语义分割和CNN模型的老人跌倒检测", 《计算机系统应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490171A (zh) * 2019-08-26 2019-11-22 睿云联(厦门)网络通讯技术有限公司 一种危险姿态识别方法、装置、计算机设备及存储介质
CN111723724A (zh) * 2020-06-16 2020-09-29 东软睿驰汽车技术（沈阳）有限公司 一种路面障碍物识别方法和相关装置
CN111723724B (zh) * 2020-06-16 2024-04-02 东软睿驰汽车技术（沈阳）有限公司 一种路面障碍物识别方法和相关装置
CN112611761A (zh) * 2020-11-27 2021-04-06 常州柯柏电子科技有限公司 一种高反物体表面缺陷检测方法及系统
CN115810014A (zh) * 2023-02-07 2023-03-17 菲特（天津）检测技术有限公司 一种基于图片中子图块的电极帽端面缺陷检测方法

Also Published As

Publication number Publication date
EP3734496A1 (en) 2020-11-04
US20200402242A1 (en) 2020-12-24
WO2019128254A1 (zh) 2019-07-04
EP3734496A4 (en) 2021-11-24

Similar Documents

Publication Publication Date Title
CN109960988A (zh) 图像分析方法、装置、电子设备及可读存储介质
Tu et al. RGB-T image saliency detection via collaborative graph learning
Wang et al. Visual saliency guided complex image retrieval
Liu et al. Survey of video based small target detection
Farabet et al. Scene parsing with multiscale feature learning, purity trees, and optimal covers
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
Zhou et al. Salient region detection via integrating diffusion-based compactness and local contrast
Sirmacek et al. Urban-area and building detection using SIFT keypoints and graph theory
Feng et al. Attention-driven salient edge (s) and region (s) extraction with application to CBIR
Wang et al. Remote sensing image retrieval by scene semantic matching
US20130108177A1 (en) Image matching using motion manifolds
CN106778687A (zh) 基于局部评估和全局优化的注视点检测方法
CN102495998B (zh) 基于视觉选择性注意计算模型的静态目标检测方法
Ip et al. Saliency-assisted navigation of very large landscape images
CN112270331A (zh) 一种基于yolov5改进的广告牌检测方法
Yu et al. Analysis of large-scale UAV images using a multi-scale hierarchical representation
JP7136500B2 (ja) ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法
CN108805102A (zh) 一种基于深度学习的视频字幕检测与识别方法及系统
Ye et al. Jersey number detection in sports video for athlete identification
Kiranyaz et al. Automatic object extraction over multiscale edge field for multimedia retrieval
Tseng et al. Person retrieval in video surveillance using deep learning–based instance segmentation
Feng Mobile terminal video image fuzzy feature extraction simulation based on SURF virtual reality technology
Devareddi et al. Review on content-based image retrieval models for efficient feature extraction for data analysis
CN109657082A (zh) 基于全卷积神经网络的遥感图像多标签检索方法及系统
Li et al. Performance comparison of saliency detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190702

RJ01 Rejection of invention patent application after publication