CN108647264B - 一种基于支持向量机的图像自动标注方法及装置 - Google Patents

一种基于支持向量机的图像自动标注方法及装置 Download PDF

Info

Publication number
CN108647264B
CN108647264B CN201810398512.6A CN201810398512A CN108647264B CN 108647264 B CN108647264 B CN 108647264B CN 201810398512 A CN201810398512 A CN 201810398512A CN 108647264 B CN108647264 B CN 108647264B
Authority
CN
China
Prior art keywords
semantic
image
semantic concept
picture
visual feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810398512.6A
Other languages
English (en)
Other versions
CN108647264A (zh
Inventor
黄海
刘哲
田耒
景晓军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201810398512.6A priority Critical patent/CN108647264B/zh
Publication of CN108647264A publication Critical patent/CN108647264A/zh
Application granted granted Critical
Publication of CN108647264B publication Critical patent/CN108647264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种基于支持向量机的图像自动标注方法，属于图像自动标注技术领域。所述方法包括：获取预先存储的待标注图片，通过所述多种视觉特征提取算法，分别对所述待标注图片进行视觉特征提取，得到多个视觉特征向量，通过所述多个视觉特征向量计算所述待标注图片的总特征向量，根据所述总特征向量在预先存储的语义概念坐标系中对应的第一位置点，以及目标语义概念在所述语义概念坐标系中对应的语义概念边界，判断所述待标注图片是否包含所述目标语义概念，如果所述待标注图片包含所述目标语义概念，则将所述待标注图片保存至所述目标语义概念对应的语义组中。采用本发明可以提高图像自动标注的准确率。

Description

一种基于支持向量机的图像自动标注方法及装置
技术领域
本申请涉及图像自动标注技术领域，特别是涉及一种支持向量机的图像自动标注方法及装置。
背景技术
随着网络信息时代的发展，海量图像信息充斥于各大网络平台的图片库中，用户对从图片库中快速、准确获取目标图片的需求日益强烈，因此，图像自动标注技术作为图像检索和未知图像理解的关键技术受到了越来越多的关注。
目前图像自动标注方法有传统的人工标注和图像自动标注两种。传统的人工标注图像流程为：某一个工作人员读取待标注图片中的关键信息，将关键信息作为语义概念标注在图片上，然后将包含同一语义概念的图片放置在同一个语义组中，便于分类管理。
人工标注图像受限于人眼分辨率及主观认识，不能有效的读取一些模糊图片的关键信息，无法获取待标注图片更多的视觉特征，图像标注的准确率低。
发明内容
本申请实施例的目的在于提供一种基于支持向量机的图像自动标注方法及装置，以实现提取待标注图像更多的视觉特征，提高图像自动标注的准确率。
具体技术方案如下：
第一方面，提供了一种基于支持向量机的图像自动标注方法，所述方法应用于图像搜索服务器，所述图像搜索服务器中预先存储有图像自动标注模型，所述图像自动标注模型包含多种视觉特征提取算法和支持向量机，所述方法包括：
获取预先存储的待标注图片；
通过所述多种视觉特征提取算法，分别对所述待标注图片进行视觉特征提取，得到多个视觉特征向量；
通过所述多个视觉特征向量计算所述待标注图片的总特征向量，根据所述总特征向量在预先存储的语义概念坐标系中对应的第一位置点，以及目标语义概念在所述语义概念坐标系中对应的语义概念边界，判断所述待标注图片是否包含所述目标语义概念；
如果所述待标注图片包含所述目标语义概念，则将所述待标注图片保存至所述目标语义概念对应的语义组中。
可选的，所述方法还包括：
获取预先存的训练图像集，其中，所述训练图像集包括多个图像样本，以及每个图像样本包含的语义概念；
基于所述训练图像集，对预先存储的初始训练模型进行训练，得到所述图像自动标注模型。
可选的，所述基于所述训练图像集，对预先存储的初始训练模型进行训练，包括：
对所述训练图像集按照语义概念进行分组，得到多个语义组；
针对每个语义组，通过所述多种视觉特征提取算法，分别提取该语义组中各图像样本的视觉特征，得到所述各图像样本对应的多个视觉特征向量；
根据所述各图像样本对应的多个视觉特征向量，确定所述各图像样本对应的总特征向量，通过支持向量机内预存的联合SVM核函数，将所述各图像样本对应的总特征向量映射到预存的核空间中的空间坐标点；
通过支持向量机和所述各图像样本的空间坐标点，计算该语义组对应的语义概念在所述核空间中的语义概念边界；
通过所述支持向量机，将所述语义概念边界映射到所述语义概念坐标系中，并存储该语义组对应的语义概念在所述语义概念坐标系中的语义概念边界。
可选的，所述多种视觉特征提取算法至少包括最高加速鲁棒特征TopSurf、轮廓熵特征PEF和色矩color moments。
第二方面，提供了一种基于支持向量机的图像自动标注装置，所述装置应用于图像搜索服务器，所述图像搜索服务器中预先存储有图像自动标注模型，所述图像自动标注模型包含多种视觉特征提取算法和支持向量机，所述方法包括：
第一获取模块，用于获取预先存储的待标注图片；
提取模块，用于通过所述多种视觉特征提取算法，分别对所述待标注图片进行视觉特征提取，得到多个视觉特征向量；
计算模块，用于通过所述多个视觉特征向量计算所述待标注图片的总特征向量；
判断模块，用于根据所述总特征向量在预先存储的语义概念坐标系中对应的第一位置点，以及目标语义概念在所述语义概念坐标系中对应的语义概念边界，判断所述待标注图片是否包含所述目标语义概念；
保存模块，用于在所述待标注图片包含所述目标语义概念时，将所述待标注图片保存至所述目标语义概念对应的语义组中。
可选的，所述装置还包括：
第二获取模块，用于获取预先存的训练图像集，其中，所述训练图像集包括多个图像样本，以及每个图像样本包含的语义概念；
训练模块，用于基于所述训练图像集，对预先存储的初始训练模型进行训练，得到所述图像自动标注模型。
可选的，所述训练模块，包括：
分组子模块，用于对所述训练图像集按照语义概念进行分组，得到多个语义组；
提取子模块，用于针对每个语义组，通过所述多种视觉特征提取算法，分别提取该语义组中各图像样本的视觉特征，得到所述各图像样本对应的多个视觉特征向量；
第一映射子模块，用于根据所述各图像样本对应的多个视觉特征向量，确定所述各图像样本对应的总特征向量；通过支持向量机内预存的联合SVM核函数，将所述各图像样本对应的总特征向量映射到预存的核空间中的空间坐标点；
计算子模块，用于通过支持向量机和所述各图像样本的空间坐标点，计算该语义组对应的语义概念在所述核空间中的语义概念边界；
存储子模块，用于通过所述支持向量机，将所述语义概念边界映射到所述语义概念坐标系中；用于存储该语义组对应的语义概念在所述语义概念坐标系中的语义概念边界。
可选的，所述多种视觉特征提取算法至少包括最高加速鲁棒特征TopSurf、轮廓熵特征PEF和色矩color moments。
第三方面，提供了一种图像自动标注服务器，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现一种基于支持向量机的图像自动标注方法中任一所述的方法步骤。
第四方面，提供了一种机器可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器：实现一种基于支持向量机的图像自动标注方法中任一所述的方法步骤。
本发明实施例提供的一种基于支持向量机的图像自动标注方法及装置，通过使用图像自动标注模型中的多种视觉特征提取算法，提取同一图像的不同视觉特征。基于本方案，可以从图像中提取多种视觉特征，并根据多种视觉特征进行图像标注，提高了图像自动标注的准确率。
当然，实施本申请的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于支持向量机的图像自动标注方法流程图；
图2为本发明实施例提供的一种训练图像自动标注模型的方法流程图；
图3为本发明实施例提供的一种基于支持向量机的图像自动标注装置的结构示意图；
图4为本发明实施例提供的一种训练图像自动标注模型的装置的结构示意图；
图5为本发明实施例提供的一种图像自动标注服务器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明实施例提供了一种基于支持向量机的图像自动标注方法，可以应用于图像搜索服务器，其中，图像搜索服务器是可以实现对包含某一语义信息的相关图像搜索的服务器，比如谷歌图像搜索的后台服务器、百度图像搜索的后台服务器等。该图像搜索服务器中可以预先存储有图像自动标注模型，图像自动标注模型包含多种视觉特征提取算法和支持向量机。
本发明实施例中，视觉特征提取算法可以采用现有技术中的任意视觉特征提取算法，上述多种视觉特征提取算法为现有技术中的任意视觉特征提取算法的组合。例如，多种视觉特征提取算法至少包括最高加速鲁棒特征TopSurf、轮廓熵特征PEF和色矩colormoments。
本发明实施例采用的视觉特征提取算法的数目可以大于等于2。例如，视觉特征提取算法包括TopSurf(Top Speeded-Up Robust Features,最高加速鲁棒特征)、PEF(Profile Entropy Features，轮廓熵特征)、color moments(色矩)，本发明实施例可以采用TopSurf和PEF，或者，TopSurf和color moents，或者，TopSurf、PEF和color moments。需要说明的是，本发明实施例也可以只采用一种视觉特征提取算法进行计算。
需要说明的是，本发明实施例以采用TopSurf、PEF、color moments三种视觉特征提取算法对图像进行视觉特征提取为例进行说明，其他情况与之类似。
如图1所示，该方法的处理过程可以包括以下步骤：
步骤101，获取预先存储的待标注图片。
在实施中，图像搜索服务器中可以预先存储待标注图片。例如，图像搜索服务器可以将接收到的用户上传的图片，作为待标注图片；或者，图像搜索服务器可以接收技术人员输入的待标注图片。图像搜索服务器可以在达到预设的处理周期时，获取预先存储的待标注图片；或者，也可以在接收到图片标注指令时，获取预先存储的待标注图片。
步骤102，通过多种视觉特征提取算法，分别对待标注图片进行视觉特征提取，得到多个视觉特征向量。
在实施中，图像搜索服务器分别使用TopSurf、PEF、color moments三种视觉特征提取算法对待标注图片进行视觉特征提取，得到待标注图片的三个视觉特征向量。下面分别介绍TopSurf、PEF、color moments三种视觉特征提取算法进行视觉特征提取的具体过程。
本发明实施例提供了图像搜索服务器使用TopSurf视觉特征提取算法进行视觉特征提取的过程，具体包括以下步骤：
步骤11：图像搜索服务器使用TopSurf视觉特征提取算法中的Hessian矩阵，来检测待标注图片中的兴趣点，兴趣点即视觉特征点。
步骤12：图像搜索服务器使用TopSurf视觉特征提取算法中的tf-idf权重方法给兴趣点赋予分数，设置分数阀值决定返回相对重要的兴趣点，去除其余分数未达到分数阀值的兴趣点。
步骤13：图像搜索服务器通过TopSurf视觉特征提取算法，和预存的TopSurf映射库，把TopSurf映射库中相应的视觉特征向量与视觉特征点进行匹配，用64维的视觉特征向量来表示待标注图片。
本发明实施例提供了图像搜索服务器使用PEF视觉特征提取算法进行视觉特征提取的具体过程，具体包括以下步骤：
步骤21：首先，图像搜索服务器利用PEF视觉特征提取算法，来归一化待标注图片的RGB(Red Green Bule,红绿蓝)三个分频，RGB三个分频的归一化公式为：
Figure GDA0002549803300000071
其中R，G，B分别代表三个分频未归一化的值，r，g，b为三个分频归一化之后的值，l为公式所定义的中间值。
步骤22：图像搜索服务器利用PEF视觉特征提取算法，来定义待标注图片I中像素的正交投影：
水平方向X轴标记为
Figure GDA0002549803300000072
竖直方向Y轴标记为
Figure GDA0002549803300000073
op是投影操作符。待标注图片I的列长度S1和行长度S2记为：S1＝C(I)，S2＝L(I)，其中C，L是分别计算待标注图片列和行中像素个数的函数。
步骤23：图像搜索服务器利用PEF视觉特征提取算法，来定义每个操作符和每个RGB频道计算图片像素颜色的pdf概率分布方程：
Figure GDA0002549803300000074
步骤24：图像搜索服务器利用PEF视觉特征提取算法，来定义待标注图片像素颜色概率分布的归一化熵，该分布的归一化熵为：
Figure GDA0002549803300000075
其中H为熵函数，PEFx为x轴方向的熵，PEFy为y轴方向的熵，PEFB为待标注图片中所有像素分布的熵。N为图片像素直方图中颜色量化的个数，单位为bins，N的计算方法为：
Figure GDA0002549803300000081
这样，图像搜索服务器得到由整个图像，PEFx、PEFy、PEFB以及RGB三个频道的方差和均值组成的视觉特征向量。
可选的，图像搜索服务器在使用PEF视觉特征提取算法提取待标注图片的视觉特征时，可将待标注图片单独的按水平方向，或垂直方向均分为N个子区域，进行视觉特征的提取与计算，N大于等于3。图像搜索服务器，在提取原有整个图片视觉特征的基础上，提取N个子区域图像的视觉特征，得到待标注图片的视觉特征向量。N越大，图像搜索服务器得到待标注图片的视觉特征越多，产生的视觉特征向量维度越高，图像标注的准确率越高。一般情况下，图像搜索服务器选取的N为3或4。
本发明实施例提供了图像搜索服务器使用color moments视觉特征提取算法进行视觉特征提取的具体过程，具体包括以下步骤：
步骤31：图像搜索服务器选取color moments视觉特征提取算法中的一种颜色模型(RGB，HSV)来表示图片，其中HSV为Hue Saturation Value的缩写，代表色调、饱和度和明度。
步骤32：图像搜索服务器通过color moments视觉特征提取算法，定义了三种矩：
Figure GDA0002549803300000082
其中Ei代表位置，即图像中的平均的颜色值；pij代表第j个像素在第i纬中的值；N代表了图像中的像素数目；σi代表离散程度；si代表了对称性。
这样，图像搜索服务器得到三种矩组成的9个维度的待标注图片的视觉特征向量。
图像搜索服务器通过使用以上TopSurf、PEF、color moments三种视觉特征提取算法，得到待标注图片的三个视觉特征向量。
步骤103，通过多个视觉特征向量计算待标注图片的总特征向量，根据总特征向量在预先存储的语义概念坐标系中对应的第一位置点，以及目标语义概念在语义概念坐标系中对应的语义概念边界，判断待标注图片是否包含目标语义概念。
在实施中，图像搜索服务器通过图像自动标注模型将待标注图片的三个视觉特征向量相加，得到待标注图片的总特征向量。图像搜索服务器通过图像自动标注模型将待标注图片的总特征向量，映射到支持向量机内预先存储的语义概念坐标系中，对应的位置定义为第一位置点。具体的映射过程属于现有技术，本发明实施例不再赘述。
图像搜索服务器通过支持向量机，将预先存储的目标语义概念边界，映射到语义概念坐标系中。目标语义概念边界将语义概念坐标系划分为含有、不含有该语义概念两部分，图像搜索服务器通过判断第一位置点对应于目标语义概念边界的位置，确定待标注图片是否包含目标语义概念。
步骤104，如果待标注图片包含目标语义概念，则将待标注图片保存至目标语义概念对应的语义组中。
在实施中，当图像搜索服务器判断待标注图片含有该目标语义概念时，将待标注图片放置在目标语义概念对应的语义组文件夹中。
可选的，图像搜索服务器在预先存储的图片标注结果文件中，以0和1的方式记录待标注图片是否目标语义概念，0代表待标注图片不包含目标语义概念，1代表待标注图片包含目标语义概念。
通过预先存的训练图像集训练预设的初始训练模型，其中，训练图像集包括多个图像样本，以及每个图像样本包含的语义概念。
本发明实施例中，可以基于训练图像集，对初始训练模型进行训练，得到图像自动标注模型。
其中，训练图像集包括多个图像样本，以及每个图像样本包含的语义概念，预设的初始训练模型包括多种视觉特征提取算法和支持向量机。
可选的，语义概念可以是物体名称，例如，图像样本A，包含的语义概念为“蓝天”、“白云”和“大海”；图像样本B，包含的语义概念为“蓝天”、“白云”、“草原”和“狮子”。
本发明实施例提供了一种训练图像自动标注模型的方法，如图2所示，具体的处理过程包括：
步骤201：对训练图像集按照语义概念进行分组，得到多个语义组。
在实施中，图像搜索服务器使用初始训练模型，来对训练图像集按照语义概念进行分组，得到多个语义组，其中一个语义概念所包含的所有图片为一个语义组。
例如，包含“白云”这一语义概念的所有图片为一个语义组，包含狮子这一语义概念狮子的所有图片为一个语义组。
步骤202：针对每个语义组，通过多种视觉特征提取算法，分别提取该语义组中各图像样本的视觉特征，得到各图像样本对应的多个视觉特征向量。
在实施中，图像搜索服务器通过使用初始训练模型，来选取每个语义组中的各图像样本，使用多种视觉特征提取算法，分别对该语义组中各图像样本的视觉特征进行提取，得到各图像样本对应的多个视觉特征向量。
步骤203：根据各图像样本对应的多个视觉特征向量，确定各图像样本对应的总特征向量，通过支持向量机内预存的联合SVM核函数，将各图像样本对应的总特征向量映射到预存的核空间中的空间坐标点。
在实施中，图像搜索服务器通过使用初始训练模型，将各图像样本对应的多个视觉特征向量相加，得到各图像样本对应的总特征向量。图像搜索服务器利用预存的联合SVM核函数，将各图像样本对应的总特征向量映射到预存的核空间中的空间坐标点。
核空间是支持向量机内部定义的一个多维空间，方便支持向量机计算语义概念边界。
本发明实施例提供了联合SVM核函数的计算公式：
Kcombined(x,y)＝ctsKts(x,y)+cpefKpef(x,y)+ccmKcm(x,y) (4)
其中cts,cpef,ccm代表了各个特征提取算法的权重，cts,cpef,ccm∈[0,1]，且cts+cpef+ccm＝1；
Kts(x,y)＝simCos(dts(x),dts(y))是应用在TopSurf视觉特征提取算法中的余弦相似度计算公式；
图像搜索服务器使用TopSurf视觉特征提取算法，来匹配视觉特征向量与视觉特征点时，选用了余弦相似度来测量两个视觉特征向量的距离或角度：
Figure GDA0002549803300000111
其中d1、d2为两个视觉特征向量，代表两个图片，
Figure GDA0002549803300000112
为两视觉特征向量间的角度。余弦相似度的数值会在0至1范围内，1代表一样的视觉特征向量，0表示完全不同的两个。
Kpef(x,y)＝exp(-γ||x-y||2)是应用在PEF视觉特征提取算法中的RBF核函数；
Kcm(x,y)＝exp(-γdmom(x,y))是应用在color moments视觉特征提取算法中的核函数，γ是调节参数。dmom(x,y)是color moments视觉特征提取算法定义的计算两个视觉特征向量相似度的方法：
Figure GDA0002549803300000113
其中wi是用来调整颜色频道所占权重。
步骤204，通过支持向量机和各图像样本的空间坐标点，计算该语义组对应的语义概念在核空间中的语义概念边界。
在实施中，图像搜索服务器在针对目标语义概念计算语义概念边界时，选择含有该语义概念的图片为正例，其余所有的图片为负例。在此基础上，图像搜索服务器针对各图像样本的空间坐标点，通过使用支持向量机，来计算该语义组对应的语义概念在核空间中的语义概念边界。语义概念边界可以采用方程的形式表示。
步骤205，通过支持向量机，将语义概念边界映射到语义概念坐标系中，并存储该语义组对应的语义概念在语义概念坐标系中的语义概念边界。
在实施中，图像搜索服务器通过支持向量机，将核空间中该语义组对应的语义概念的语义概念边界，映射到语义概念坐标系中，生成语义概念坐标系中该语义组对应的语义概念的语义概念边界。图像搜索服务器通过支持向量机存储各语义概念，在语义概念坐标系中的语义概念边界。
通过以上步骤，图像搜索服务器可以确定出各语义概念在语义概念坐标系中的语义概念边界，完成训练。
本发明实施例中，图像搜索服务器可以通过使用图像自动标注模型中的多种视觉特征提取算法，提取同一图像的不同视觉特征。基于本方案，可以从图像中提取多种视觉特征，并根据多种视觉特征进行图像标注，提高了图像自动标注的准确率。
基于相同的技术构思，如图3所示，本发明实施例还提供了一种基于支持向量机的图像自动标注装置，装置应用于图像搜索服务器，图像搜索服务器中预先存储有图像自动标注模型，图像自动标注模型包含多种视觉特征提取算法和支持向量机，所述装置包括：
第一获取模块310，用于获取预先存储的待标注图片；
提取模块320，用于通过所述多种视觉特征提取算法，分别对所述待标注图片进行视觉特征提取，得到多个视觉特征向量；
计算模块330，用于通过所述多个视觉特征向量计算所述待标注图片的总特征向量；
判断模块340，用于根据所述总特征向量在预先存储的语义概念坐标系中对应的第一位置点，以及目标语义概念在所述语义概念坐标系中对应的语义概念边界，判断所述待标注图片是否包含所述目标语义概念；
保存模块350，用于在所述待标注图片包含所述目标语义概念时，将所述待标注图片保存至所述目标语义概念对应的语义组中。
可选的，如图4所示，本发明实施例提供的一种基于支持向量机的图像自动标注装置还包括：
第二获取模块410，用于获取预先存的训练图像集，其中，所述训练图像集包括多个图像样本，以及每个图像样本包含的语义概念。
训练模块420，用于基于所述训练图像集，对预先存储的初始训练模型进行训练，得到所述图像自动标注模型。
可选的，所述训练模块，包括：
分组子模块421，用于对所述训练图像集按照语义概念进行分组，得到多个语义组。
提取子模块422，用于针对每个语义组，通过所述多种视觉特征提取算法，分别提取该语义组中各图像样本的视觉特征，得到所述各图像样本对应的多个视觉特征向量。
第一映射子模块423，用于根据所述各图像样本对应的多个视觉特征向量，确定所述各图像样本对应的总特征向量；通过支持向量机内预存的联合SVM核函数，将所述各图像样本对应的总特征向量映射到预存的核空间中的空间坐标点。
计算子模块424，用于通过支持向量机和所述各图像样本的空间坐标点，计算该语义组对应的语义概念在所述核空间中的语义概念边界。
存储子模块425，用于通过所述支持向量机，将所述语义概念边界映射到所述语义概念坐标系中；并存储该语义组对应的语义概念在所述语义概念坐标系中的语义概念边界。
可选的，所述多种视觉特征提取算法至少包括最高加速鲁棒特征TopSurf、轮廓熵特征PEF和色矩color moments。
本发明实施例中，图像搜索服务器可以通过使用图像自动标注模型中的多种视觉特征提取算法，提取同一图像的不同视觉特征。基于本方案，可以从图像中提取多种视觉特征，并根据多种视觉特征进行图像标注，提高了图像自动标注的准确率。
本发明实施例还提供了一种图像自动标注服务器，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，以使该节点设备执行如下步骤，该步骤包括：
获取预先存储的待标注图片；
通过所述多种视觉特征提取算法，分别对所述待标注图片进行视觉特征提取，得到多个视觉特征向量；
通过所述多个视觉特征向量计算所述待标注图片的总特征向量，根据所述总特征向量在预先存储的语义概念坐标系中对应的第一位置点，以及目标语义概念在所述语义概念坐标系中对应的语义概念边界，判断所述待标注图片是否包含所述目标语义概念；
如果所述待标注图片包含所述目标语义概念，则将所述待标注图片保存至所述目标语义概念对应的语义组中。
可选的，所述方法还包括：
获取预先存的训练图像集，其中，所述训练图像集包括多个图像样本，以及每个图像样本包含的语义概念；
基于所述训练图像集，对预先存储的初始训练模型进行训练，得到所述图像自动标注模型。
可选的，所述基于所述训练图像集，对预先存储的初始训练模型进行训练，包括：
对所述训练图像集按照语义概念进行分组，得到多个语义组；
针对每个语义组，通过所述多种视觉特征提取算法，分别提取该语义组中各图像样本的视觉特征，得到所述各图像样本对应的多个视觉特征向量；
根据所述各图像样本对应的多个视觉特征向量，确定所述各图像样本对应的总特征向量，通过支持向量机内预存的联合SVM核函数，将所述各图像样本对应的总特征向量映射到预存的核空间中的空间坐标点；
通过支持向量机和所述各图像样本的空间坐标点，计算该语义组对应的语义概念在所述核空间中的语义概念边界；
通过所述支持向量机，将所述语义概念边界映射到所述语义概念坐标系中，并存储该语义组对应的语义概念在所述语义概念坐标系中的语义概念边界。
可选的，所述多种视觉特征提取算法至少包括最高加速鲁棒特征TopSurf、轮廓熵特征PEF和色矩color moments。
机器可读存储介质可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。另外，机器可读存储介质还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例中，图像搜索服务器可以通过使用图像自动标注模型中的多种视觉特征提取算法，提取同一图像的不同视觉特征。基于本方案，可以从图像中提取多种视觉特征，并根据多种视觉特征进行图像标注，提高了图像自动标注的准确率。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种基于支持向量机的图像自动标注方法，其特征在于，所述方法应用于图像搜索服务器，所述图像搜索服务器中预先存储有图像自动标注模型，所述图像自动标注模型包含多种视觉特征提取算法和支持向量机，所述方法包括：
获取预先存储的待标注图片；
通过所述多种视觉特征提取算法，分别对所述待标注图片进行视觉特征提取，得到多个视觉特征向量；
通过所述多个视觉特征向量计算所述待标注图片的总特征向量，根据所述总特征向量在预先存储的语义概念坐标系中对应的第一位置点，以及目标语义概念在所述语义概念坐标系中对应的语义概念边界，判断所述待标注图片是否包含所述目标语义概念；
如果所述待标注图片包含所述目标语义概念，则将所述待标注图片保存至所述目标语义概念对应的语义组中。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取预先存的训练图像集，其中，所述训练图像集包括多个图像样本，以及每个图像样本包含的语义概念；
基于所述训练图像集，对预先存储的初始训练模型进行训练，得到所述图像自动标注模型。
3.根据权利要求2所述的方法，其特征在于，所述基于所述训练图像集，对预先存储的初始训练模型进行训练，包括：
对所述训练图像集按照语义概念进行分组，得到多个语义组；
针对每个语义组，通过所述多种视觉特征提取算法，分别提取该语义组中各图像样本的视觉特征，得到所述各图像样本对应的多个视觉特征向量；
根据所述各图像样本对应的多个视觉特征向量，确定所述各图像样本对应的总特征向量；通过所述支持向量机内预存的联合SVM核函数，将所述各图像样本对应的总特征向量映射到预存的核空间中的空间坐标点；
通过所述支持向量机和所述各图像样本的空间坐标点，计算该语义组对应的语义概念在所述核空间中的语义概念边界；
通过所述支持向量机，将所述语义概念边界映射到所述语义概念坐标系中，并存储该语义组对应的语义概念在所述语义概念坐标系中的语义概念边界。
4.根据权利要求1所述的方法，其特征在于，所述多种视觉特征提取算法至少包括最高加速鲁棒特征TopSurf、轮廓熵特征PEF和色矩color moments。
5.一种基于支持向量机的图像自动标注装置，其特征在于，所述装置应用于图像搜索服务器，所述图像搜索服务器中预先存储有图像自动标注模型，所述图像自动标注模型包含多种视觉特征提取算法和支持向量机，所述装置包括：
第一获取模块，用于获取预先存储的待标注图片；
提取模块，用于通过所述多种视觉特征提取算法，分别对所述待标注图片进行视觉特征提取，得到多个视觉特征向量；
计算模块，用于通过所述多个视觉特征向量计算所述待标注图片的总特征向量；
判断模块，用于根据所述总特征向量在预先存储的语义概念坐标系中对应的第一位置点，以及目标语义概念在所述语义概念坐标系中对应的语义概念边界，判断所述待标注图片是否包含所述目标语义概念；
保存模块，用于在所述待标注图片包含所述目标语义概念时，将所述待标注图片保存至所述目标语义概念对应的语义组中。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取预先存的训练图像集，其中，所述训练图像集包括多个图像样本，以及每个图像样本包含的语义概念；
训练模块，用于基于所述训练图像集，对预先存储的初始训练模型进行训练，得到所述图像自动标注模型。
7.根据权利要求6所述的装置，其特征在于，所述训练模块，包括：
分组子模块，用于对所述训练图像集按照语义概念进行分组，得到多个语义组；
提取子模块，用于针对每个语义组，通过所述多种视觉特征提取算法，分别提取该语义组中各图像样本的视觉特征，得到所述各图像样本对应的多个视觉特征向量；
第一映射子模块，用于根据所述各图像样本对应的多个视觉特征向量，确定所述各图像样本对应的总特征向量；通过支持向量机内预存的联合SVM核函数，将所述各图像样本对应的总特征向量映射到预存的核空间中的空间坐标点；
计算子模块，用于通过支持向量机和所述各图像样本的空间坐标点，计算该语义组对应的语义概念在所述核空间中的语义概念边界；
存储子模块，用于通过所述支持向量机，将所述语义概念边界映射到所述语义概念坐标系中；并存储该语义组对应的语义概念在所述语义概念坐标系中的语义概念边界。
8.根据权利要求5所述的装置，其特征在于，所述多种视觉特征提取算法至少包括最高加速鲁棒特征TopSurf、轮廓熵特征PEF和色矩color moments。
9.一种图像自动标注服务器，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现权利要求1-4任一所述的方法步骤。
10.一种机器可读存储介质，其特征在于，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器：实现权利要求1-4任一所述的方法步骤。
CN201810398512.6A 2018-04-28 2018-04-28 一种基于支持向量机的图像自动标注方法及装置 Active CN108647264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810398512.6A CN108647264B (zh) 2018-04-28 2018-04-28 一种基于支持向量机的图像自动标注方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810398512.6A CN108647264B (zh) 2018-04-28 2018-04-28 一种基于支持向量机的图像自动标注方法及装置

Publications (2)

Publication Number Publication Date
CN108647264A CN108647264A (zh) 2018-10-12
CN108647264B true CN108647264B (zh) 2020-10-13

Family

ID=63748147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810398512.6A Active CN108647264B (zh) 2018-04-28 2018-04-28 一种基于支持向量机的图像自动标注方法及装置

Country Status (1)

Country Link
CN (1) CN108647264B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902672A (zh) * 2019-01-17 2019-06-18 平安科技（深圳）有限公司 图像标注方法及装置、存储介质、计算机设备
CN109948684B (zh) * 2019-03-12 2022-01-18 阿波罗智能技术(北京)有限公司 激光雷达点云数据标注质量的质检方法、装置及设备
CN112699909B (zh) * 2019-10-23 2024-03-19 中移物联网有限公司 信息识别方法、装置、电子设备及计算机可读存储介质
CN110826726B (zh) * 2019-11-08 2023-09-08 腾讯科技（深圳）有限公司 目标处理方法、目标处理装置、目标处理设备及介质
CN110874600B (zh) * 2019-11-18 2020-09-25 北京邮电大学 基于机器学习的离子束溅射沉积薄膜凹坑与颗粒判别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751286A (en) * 1992-11-09 1998-05-12 International Business Machines Corporation Image query system and method
CN103942561A (zh) * 2014-03-20 2014-07-23 杭州禧颂科技有限公司 一种基于主动学习的图像标注方法
CN104077352A (zh) * 2014-05-27 2014-10-01 浙江大学 基于能量模型的图像语义标注方法
CN104142922A (zh) * 2013-05-06 2014-11-12 苏州普达新信息技术有限公司 一种移动图像在线搜索与挖掘的分类方法
CN104239501A (zh) * 2014-09-10 2014-12-24 中国电子科技集团公司第二十八研究所 一种基于Spark的海量视频语义标注方法
CN105005772A (zh) * 2015-07-20 2015-10-28 北京大学 一种视频场景检测方法
CN107644235A (zh) * 2017-10-24 2018-01-30 广西师范大学 基于半监督学习的图像自动标注方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9384214B2 (en) * 2009-07-31 2016-07-05 Yahoo! Inc. Image similarity from disparate sources

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751286A (en) * 1992-11-09 1998-05-12 International Business Machines Corporation Image query system and method
CN104142922A (zh) * 2013-05-06 2014-11-12 苏州普达新信息技术有限公司 一种移动图像在线搜索与挖掘的分类方法
CN103942561A (zh) * 2014-03-20 2014-07-23 杭州禧颂科技有限公司 一种基于主动学习的图像标注方法
CN104077352A (zh) * 2014-05-27 2014-10-01 浙江大学 基于能量模型的图像语义标注方法
CN104239501A (zh) * 2014-09-10 2014-12-24 中国电子科技集团公司第二十八研究所 一种基于Spark的海量视频语义标注方法
CN105005772A (zh) * 2015-07-20 2015-10-28 北京大学 一种视频场景检测方法
CN107644235A (zh) * 2017-10-24 2018-01-30 广西师范大学 基于半监督学习的图像自动标注方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多特征和支持向量机的风景图像分类;周云蕾等;《计算机系统应用》;20160515;第135页-第140页 *

Also Published As

Publication number Publication date
CN108647264A (zh) 2018-10-12

Similar Documents

Publication Publication Date Title
CN108647264B (zh) 一种基于支持向量机的图像自动标注方法及装置
US9824294B2 (en) Saliency information acquisition device and saliency information acquisition method
US8792722B2 (en) Hand gesture detection
CN101650783B (zh) 图像识别方法以及摄像装置
Yuan et al. Robust traffic sign recognition based on color global and local oriented edge magnitude patterns
CN105164700B (zh) 使用概率模型在视觉数据中检测对象
Gopalakrishnan et al. Random walks on graphs to model saliency in images
JP6332937B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN105404861A (zh) 人脸关键特征点检测模型的训练、检测方法及系统
CN111986785B (zh) 医学影像标注方法和装置、设备及存储介质
CN103699532A (zh) 图像颜色检索方法和系统
US20180232400A1 (en) Sketch-based image searching system using cell-orientation histograms and outline extraction based on medium-level features
Xu et al. End-to-end illuminant estimation based on deep metric learning
CN107862680A (zh) 一种基于相关滤波器的目标跟踪优化方法
CN114972817A (zh) 图像相似度匹配方法、设备及存储介质
CN113297420A (zh) 视频图像处理方法、装置、存储介质及电子设备
CN111723656A (zh) 一种基于YOLO v3与自优化的烟雾检测方法及装置
CN111177811A (zh) 一种应用于云平台的消防点位自动布图的方法
CN114066823A (zh) 检测色块的方法及其相关产品
JP6699048B2 (ja) 特徴選択装置、タグ関連領域抽出装置、方法、及びプログラム
Endah et al. Skin detection based on local representation of YCbCr color moment
JP6855175B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN113095147A (zh) 皮肤区域检测方法、系统、图像处理终端和存储介质
CN113963295A (zh) 视频片段中地标识别方法、装置、设备及存储介质
CN110147459B (zh) 一种图像检索方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant