CN102880729A - 基于人脸检测与识别的人物图片索引方法及装置 - Google Patents

基于人脸检测与识别的人物图片索引方法及装置 Download PDF

Info

Publication number
CN102880729A
CN102880729A CN2012104337000A CN201210433700A CN102880729A CN 102880729 A CN102880729 A CN 102880729A CN 2012104337000 A CN2012104337000 A CN 2012104337000A CN 201210433700 A CN201210433700 A CN 201210433700A CN 102880729 A CN102880729 A CN 102880729A
Authority
CN
China
Prior art keywords
picture
face
people
carried out
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012104337000A
Other languages
English (en)
Inventor
刘丽
陈松
陈雪峰
刘佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yisou Science & Technology Development Co Ltd
Original Assignee
Shenzhen Yisou Science & Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yisou Science & Technology Development Co Ltd filed Critical Shenzhen Yisou Science & Technology Development Co Ltd
Priority to CN2012104337000A priority Critical patent/CN102880729A/zh
Publication of CN102880729A publication Critical patent/CN102880729A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明公开了一种人脸检测与识别的人物图片索引方法及装置,所述方法包括:获取用户输入的关键词;在搜索到的图片集合中,根据文本相关性并融合图片点击调权执行第一次排序;依据第一次排序结果使用靠前图片训练与所述关键词关联的人脸识别模型,并对图片集合进行相似度打分;对新增至图片数据库中的与所述关键词匹配的图片数据执行人脸检测并分类筛选,获取人脸图片;依据人脸识别模型对所述人脸图片进行相似度评判,并依据评判结果对更新后的图片数据库执行第二次排序。采用本发明可以有效改善图像搜索结果的匹配相关性,其能够避免传统的单纯基于文本的图片打分政策的弊端,更能准确反映图片的匹配相关性,提高用户对图像检索结果的满意度。

Description

基于人脸检测与识别的人物图片索引方法及装置
技术领域
本发明涉及互联网人物图片索引技术领域,具体而言,涉及一种人脸检测与识别的人物图片索引方法及装置。
背景技术
目前,在Web端进行人物图片检索逐渐成为普遍需求,伴随着互联网的高速发展,互联网上的信息量也呈几何级数爆炸性增长,图片搜索引擎返回的相关人物的图像搜索结果通常有成千上万个甚至更多,导致通过关键词的方式寻找目标任务图片的效果不甚理想。
通常,图片检索分为基于文本和基于内容两个不同方向。
基于文本的图像检索(Text—Based Image Retrieval,TBIR)技术,早期的基于文本的图像检索借用了文本索引技术。文本搜索引擎是将网站、网页的内容索引为一系列关键字,当用户输入关键字后,系统可以根据数据库中的倒排文件将关键字映射为网站或网页的地址。基于该原理,对于图像文件,一样可以根据其内容手工将其标注为一系列关键字或文本标题及一些附加信息,并对关键字建立索引,再对图像进行基于关键字的检索,这样,图像检索就转化为文本检索的问题。目前,多数商业Web图片搜索引擎,主要采用TBIR方法,但是,这种方法很不实用,一是必须由人工完整地标注所有图像,对于小图像集合也许问题不大,但随着图像数目的增加,特别是网络上的图像是无穷无尽的,这种方法显然不可行;二是图像所包含的信息量庞大,一些图片包含的内容远非少量文本标注所能完整表达的,不同用户对于同一张图像的看法不及相同,这就导致对图像的标注没有一个统一标准,检索出的结果不能很好符合用户的需求。
基于内容的图像检索技术(Content-Based Image Retrieval,CBIR)技术,鉴于上述的基于文本的图像检索技术所存在的弊端,研究人员提出了一种新的基于图像自身内容的图像检索技术。
基于内容的图像检索不需要用户的参与,而利用图像自身的特征,将图像自身的视觉内容特征作为其索引,如颜色、纹理、形状及空间关系等底层特征来进行检索,具有较强的客观性。通常,可以抽取图像库中所有文件的特征,用户检索的过程一般是提供一个样例图像,系统抽取该样例图像的特征,然后同数据库中所有的特征进行比较,并将与样例特征相似的图像返回给用户,这个过程称之为基于样例的图像检索。当前研究基于内容的图像检索的难点集中在如何在抽取的底层特征和图像内容所表示的语义特征间建立很好的联系,也就是说,由于抽取的图像的底层特征并不能很好地体现图像真正的语义信息,以至于采取该基于内容的图像检索技术所检索出来的结果往往不能令人满意。
发明内容
为了提高用户对图像检索结果的满意度,本发明的目的在于提供一种基于人脸检测与识别的人物图片索引方法及装置。
为了达到本发明的目的,本发明采用以下技术方案:
一种基于人脸检测与识别的人物图片索引方法,包括:
获取用户输入的关键词;
在搜索到的图片集合中,根据文本相关性并融合图片点击调权执行第一次排序;
依据第一次排序结果使用靠前图片训练与所述关键词关联的人脸识别模型,并对图片集合进行相似度打分;
对新增至图片数据库中的与所述关键词匹配的图片数据执行人脸检测并分类筛选,获取人脸图片;
依据人脸识别模型对所述人脸图片进行相似度评判,并依据评判结果对更新后的图片数据库执行第二次排序。
优选地,在依据所述关键词表示的待检索语义或图片点击调权执行第一次排序的步骤之后,所述基于人脸检测与识别的人物图片索引方法还包括:
获取图片集合的前N个图片;
对图片进行灰度和尺度归一化预处理,利用adaboost迭代算法检测人脸,模型采用跨平台计算机视觉库opencv训练的正脸和测量检测模型;
采用支持向量机SVM(Support Vector Machines, SVM)对裁剪图片进行分类筛选处理,去除非人脸图片,获取训练样本。
优选地,在一幅图片经正脸检测和侧脸检测后无人脸被检测到的情况下,将该图片向左右旋转预设角度,之后重新进行正脸检测和侧脸检测。
优选地,对训练样本采用局部二值模式LBP(Local Binary Patterns,局部二值模式)算法提取特征,对训练样本的LBP特征数据缩放到预先指定的范围区间,利用二分类模型分类筛选人脸图片作为训练样本。
优选地,依据第一次排序结果训练出与所述关键词关联的人脸识别模型的步骤包括:
依据获取的训练样本训练人脸识别模型,其中,所述训练样本包含了具有平面内旋转、水平旋转以及俯仰旋转的多角度人脸图片。
优选地,对新增至图片数据库中的与所述关键词匹配的图片数据执行人脸检测并分类筛选以获取人脸图片的步骤包括:
对新增至图片数据库中的与所述关键词匹配的图片数据利用adaboost迭代算法执行人脸检测;
利用支持向量机SVM对检测图片执行分类筛选,获取人脸图片。
优选地,依据人脸识别模型对所述人脸图片进行相似度评判并依据评判结果对更新后的图片数据库执行第二次排序的方法为:
依据人脸识别模型对新增至图片数据库的人脸图片进行相似度打分,并利用相似度分数对更新后的图片数据库执行第二次排序。
一种基于人脸检测与识别的人物图片索引装置,包括:
第一获取单元,用于获取用户输入的关键词;
第一排序单元,用于在搜索到的图片集合中,根据文本相关性并融合图片点击调权执行第一次排序;
训练单元,用于依据第一次排序结果使用靠前图片训练与所述关键词关联的人脸识别模型,并对图片集合进行相似度打分;
第二获取单元,用于对新增至图片数据库中的与所述关键词匹配的图片数据执行人脸检测并分类筛选,获取人脸图片;
第二排序单元,用于依据人脸识别模型对所述人脸图片进行相似度评判,并依据评判结果对更新后的图片数据库执行第二次排序。
优选地,所述训练单元还用于获取图片集合的前N个图片,对图片进行灰度和尺度归一化预处理,利用adaboost迭代算法检测人脸,模型采用跨平台计算机视觉库opencv训练的正脸和测量检测模型,采用支持向量机SVM对裁剪图片进行分类筛选处理,去除非人脸图片,获取训练样本。
优选地,在一幅图片经正脸检测和侧脸检测后无人脸被检测到的情况下,所述训练单元将该图片向左右旋转预设角度,之后重新进行正脸检测和侧脸检测。
优选地,所述训练单元对训练样本采用局部二值模式LBP算法提取特征,对训练样本的LBP特征数据缩放到预先指定的范围区间,利用二分类模型分类筛选人脸图片作为训练样本。
优选地,所述训练单元依据获取的训练样本训练人脸识别模型,其中,所述训练样本包含了具有平面内旋转、水平旋转以及俯仰旋转的多角度人脸图片。
优选地,第二获取单元对新增至图片数据库中的与所述关键词匹配的图片数据执行人脸检测并分类筛选以获取人脸图片的步骤包括:
对新增至图片数据库中的与所述关键词匹配的图片数据利用adaboost迭代算法执行人脸检测;
利用支持向量机SVM对检测图片执行分类筛选,获取人脸图片。
优选地,第二排序单元依据人脸识别模型对所述人脸图片进行相似度评判,并依据评判结果对更新后的图片数据库执行第二次排序的方法为:
依据人脸识别模型对新增至图片数据库的人脸图片进行相似度打分,并利用相似度分数对更新后的图片数据库执行第二次排序。
通过上述本发明的技术方案可以看出,采用本发明可以有效改善图像搜索结果的匹配相关性,其能够避免传统的单纯基于文本的图片打分政策的弊端,在基于文本的图像检索方式基础之上加入基于图像内容的检索方式,更能准确反映图片的匹配相关性,提高用户对图像检索结果的满意度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例提供的一种基于人脸检测与识别的人物图片索引方法流程示意图;
图2是本发明实施例提供的人脸识别模型训练流程示意图;
图3是本发明实施例提供的人脸识别流程及检索结果重排流程示意图;
图4是本发明实施例提供的一种基于人脸检测与识别的人物图片索引方法结构示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白,以下结合附图和实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
用户浏览图片的需求与日剧增,通过输入关键词的方式查询是普遍采用的方式,但是查询结果中往往会掺杂干扰图片,通过本发明能够优化查询结果。
本发明的核心思想为:对数据库图片首先利用已有索引排序方法处理,得到初步的排序结果。之后利用人脸识别对图片相似度打分,此过程的实现涉及识别模型的训练和人脸识别打分两部份算法。采用本发明,将基于文本的图像检索方式和基于图像内容的图像检索方式相结合,首先利用文本信息等对图片数据库的图片进行第一次排序,接着基于图片内容信息对第一次排序结果进行重排,从而可以达到很好的显示效果。下面结合附图和具体实施方式对本专利加以说明。
如图1所示,本发明实施例提供的一种基于人脸检测与识别的人物图片索引方法,包括如下步骤:
S10、获取用户输入的关键词;
S20、在搜索到的图片集合中,根据文本相关性并融合图片点击调权执行第一次排序;
S30、依据第一次排序结果使用靠前图片训练与所述关键词关联的人脸识别模型,并对图片集合进行相似度打分;
S40、对新增至图片数据库中的与所述关键词匹配的图片数据执行人脸检测并分类筛选,获取人脸图片;
S50、依据人脸识别模型对所述人脸图片进行相似度评判,并依据评判结果对更新后的图片数据库执行第二次排序。
优选实施方式下,在依据所述关键词表示的待检索语义或图片点击调权执行第一次排序的步骤S20之后,所述基于人脸检测与识别的人物图片索引方法还包括:
S31、获取图片集合的前N个图片,其中,所述N可由本领域技术人员依据具体要求自行设置;
S32、对图片进行灰度和尺度归一化预处理,利用adaboost迭代算法检测人脸,模型采用跨平台计算机视觉库opencv训练的正脸和测量检测模型;
S33、采用支持向量机SVM对裁剪图片进行分类筛选处理,去除非人脸图片,获取训练样本。
S34、依据获取的训练样本训练出与所述关键词关联的人脸识别模型。
具体地,在所述步骤S32中,在一幅图片经正脸检测和侧脸检测后无人脸被检测到的情况下,将该图片向左右旋转预设角度,之后重新进行正脸检测和侧脸检测。
具体地,将训练样本中的图片归一化指定大小后分成3×3的窗口,每个窗口提取uniform模式的LBP特征,采用直方图统计LBP特征分布情况,每个窗口获得一个59维的特征向量。
具体地,在所述步骤S33中,对训练样本采用局部二值模式LBP算法提取特征,对训练样本的LBP特征数据缩放到预先指定的范围区间,利用二分类模型(提前训练完成用于区分人脸与非人脸)过滤人脸图片作为训练样本。。
具体地,在所述步骤S34中,依据获取的训练样本训练人脸识别模型,其中,所述训练样本包含了具有平面内旋转、水平旋转以及俯仰旋转的多角度人脸图片。
优选实施方式下,在所述步骤S40中,对新增至图片数据库中的与所述关键词匹配的图片数据执行人脸检测并分类筛选以获取人脸图片的步骤包括:
S401、对新增至图片数据库中的与所述关键词匹配的图片数据利用adaboost迭代算法执行人脸检测;
S402、利用支持向量机SVM对检测图片执行分类筛选,获取人脸图片。
优选实施方式下,在所述步骤S50中,依据人脸识别模型对所述人脸图片进行相似度评判并依据评判结果对更新后的图片数据库执行第二次排序的方法为:
依据人脸识别模型对新增至图片数据库的人物图片进行相似度打分,并利用相似度分数对更新后的图片数据库执行第二次排序。
具体地,利用识别模型对S402获取的人脸图片相似度打分,一幅图片对应多张人脸图片时,分值高的人脸图片为该图分值。
本发明实施例的目的在于提供一种基于人脸检测与识别的人物图片索引方法,能够在信息源中自动检索出与特定人脸图像相同或相似的图像。
为了实现上述目的,该基于人脸检测与识别的人物图片索引方法包括训练流程和识别流程两个流程,步骤分别如下:
一、训练流程,参考图2,具体包括如下步骤:
步骤 1-1:基于文本内容和点击调权对图片库图片排序;
步骤 1-2:对排序靠前的N副(例如1000幅)图片进行人脸检测;
步骤1-3:基于支持向量机SVM对检测到的人脸图片分类筛选;
步骤1-4:利用筛选后图片训练识别模型。
二、识别流程:
对有增量的图片数据库,在基于文本内容排序后利用人脸识别重新排序,参考图3,识别流程对单张图片的处理步骤如下:
步骤2-1:输入图片,并裁剪人脸区域;
步骤2-2:支持向量机SVM分类筛选人脸图片;
步骤2-3:利用识别模型对裁剪图片打分,每幅图片对应的各裁剪图片分数中最高分为该图分数;
步骤2-4:最后利用各张图片的分数对查询结果进行重排。
下面,首先介绍识别模型生成的具体流程。
在步骤1-1中,利用时间戳、标签等信息初步实现检索图片的排序,排序结果越靠前则越接近用户查询目标,据此取排序靠前图片作为训练库图片来源。
在步骤1-2中,人脸检测过程利用adaboost算法实现,该算法针对不同的训练集训练同一个弱分类器,然后结合各弱分类器得到一个强分类器。
在人脸检测前,首先对图片进行灰度和尺度归一化等预处理,利用opencv训练的正脸和侧脸检测模型检测人脸。
为解决人脸图片在平面内有旋转角度的情况下检测效率低的问题,通过旋转原图后重新检测人脸的方式提高人脸检测的召回率。
一幅图片在正脸检测和侧脸检测后无人脸被检测到的情况下,可以将原图左右旋转30度和60度,重新进行正、侧脸检测。在本实施例中,旋转5个角度是在时间效率和提升召回率的折中方案。对人脸水平旋转和有俯仰角度的情况没有考虑。
由于网络人物图片受光照、姿态、年龄变化、妆容等因素影响造成人脸检测的准确率和召回率不高,由此需要执行下述步骤1-3进一步筛选裁剪图片。
在步骤1-3中, 采用支持向量机SVM方法对裁剪图片进一步处理,去除非人脸图片,提升人脸检测的准确率,其中,支持向量机SVM方法是基于统计学习理论的一种识别方法,具有较好的分类能力,基本思想是寻找一个最优超平面使分类间隙最大。
本发明实施例利用支持向量机SVM实现人脸图像与非人脸图像区分,对训练样本采用LBP算法提取特征。该算法通过刻画每个像素点与其邻域内其他各点的灰度值的差异来描述图像纹理的局部结构特征,在纹理分类上取得了很好的效果。本发明实施例中,将图片归一化指定大小后分成3X3的窗口,每个窗口提取uniform模式的LBP特征,直方图统计特征分布情况,每个窗口获得一个59维的特征向量。对样本特征数据缩放到指定范围区间,如(-1,1)。
在步骤1-4中,利用1-3得到的特征数据训练识别模型,。
本发明实施例中,人脸识别采用本征脸算法,即主成分分析(Principal Compoment Analysis,PCA),其中,PCA是一种基本的多维数据描述方法,在尽可能代表原始数据的前提下,通过线性变换将高维空间中的样本数据投影到低维空间中。
利用样本库数据训练出识别模型,为相似度打分做准备。由利用人脸识别算法对新增图片打分,按照分数值对索引结果重新排序,具体流程如下。
在步骤2-1中,对一幅输入图片同样利用adaboost算法进行人脸检测,具体操作同步骤1-2,这里不做重复赘述;
在步骤2-2中,同样利用支持向量机对检测图片分类筛选,操作同步骤1-3,同样,这里不做重复赘述;
在步骤2-3中,利用训练过程得到的识别模型判定新增图片与关键词对应目标人物的相似度。经过步骤2-2和步骤2-3后得到的每个人脸图片,都会得到一个与目标人物的相似度分值,一幅新增图片对应的多个分值中最高分为该图最终分。。
在步骤2-4中,对初次索引排序的前几百幅图片,利用相似度分值重排序。实验证明本专利方法提高了显示效果.
如图4所示,本发明实施例还提供了一种基于人脸检测与识别的人物图片索引装置,包括:
第一获取单元100,用于获取用户输入的关键词;
第一排序单元200,用于在搜索到的图片集合中,根据文本相关性并融合图片点击调权执行第一次排序;
训练单元300,用于依据第一次排序结果使用靠前图片训练与所述关键词关联的人脸识别模型,并对图片集合进行相似度打分;
第二获取单元400,用于对新增至图片数据库中的与所述关键词匹配的图片数据执行人脸检测并分类筛选,获取人脸图片;
第二排序单元500,用于依据人脸识别模型对所述人脸图片进行相似度评判,并依据评判结果对更新后的图片数据库执行第二次排序。
具体地,所述训练单元300还用于获取图片集合的前N个图片,对图片进行灰度和尺度归一化预处理,利用adaboost迭代算法检测人脸,模型采用跨平台计算机视觉库opencv训练的正脸和测量检测模型。
具体地,在一幅图片经正脸检测和侧脸检测后无人脸被检测到的情况下,所述训练单元将该图片向左右旋转预设角度,之后重新进行正脸检测和侧脸检测。
具体地,所述训练单元300采用支持向量机SVM 对检测到人脸图片进行分类筛选处理,去除非人脸图片。SVM采用LBP算法提取特征,图片归一化到指定大小后分成3×3的窗口,每个窗口提取uniform模式的LBP特征,采用直方图统计LBP特征分布情况,每个窗口获得一个59维的特征向量。特征数据缩放到预先指定的范围区间后,利用二分类模型分类筛选出人脸图片作为训练样本。
具体地,所述训练单元300依据获取的训练样本训练人脸识别模型,其中,所述训练样本包含了具有平面内旋转、水平旋转以及俯仰旋转的多角度人脸图片。
具体地,第二获取单元400对新增至图片数据库中的与所述关键词匹配的图片数据执行人脸检测并分类筛选以获取人脸图片的步骤包括:
1)对新增至图片数据库中的与所述关键词匹配的图片数据利用adaboost迭代算法执行人脸检测;
2)利用支持向量机SVM对检测图片执行分类筛选,获取人脸图片。
具体地,第二排序单元500依据人脸识别模型对所述人脸图片进行相似度评判,并依据评判结果对更新后的图片数据库执行第二次排序的方法为:
依据人脸识别模型对新增至图片数据库的人脸图片进行相似度打分,并利用相似度分数对更新后的图片数据库执行第二次排序。
上述说明示出并描述了本发明的一个优选实施例,但如前所述,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述发明构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。

Claims (14)

1.一种基于人脸检测与识别的人物图片索引方法,其特征在于,包括:
获取用户输入的关键词;
在搜索到的图片集合中,根据文本相关性并融合图片点击调权执行第一次排序;
依据第一次排序结果使用靠前图片训练与所述关键词关联的人脸识别模型,并对图片集合进行相似度打分;
对新增至图片数据库中的与所述关键词匹配的图片数据执行人脸检测并分类筛选,获取人脸图片;
依据人脸识别模型对所述人脸图片进行相似度评判,并依据评判结果对更新后的图片数据库执行第二次排序。
2.如权利要求1所述的基于人脸检测与识别的人物图片索引方法,其特征在于,在依据所述关键词表示的待检索语义或图片点击调权执行第一次排序的步骤之后,所述方法还包括:
获取图片集合的前N个图片;
对图片进行灰度和尺度归一化预处理,利用adaboost迭代算法检测人脸,模型采用跨平台计算机视觉库opencv训练的正脸和测量检测模型;
采用支持向量机SVM对裁剪图片进行分类筛选处理,去除非人脸图片,获取训练样本。
3.如权利要求2所述的基于人脸检测与识别的人物图片索引方法,其特征在于,在一幅图片经正脸检测和侧脸检测后无人脸被检测到的情况下,将该图片向左右旋转预设角度,之后重新进行正脸检测和侧脸检测。
4.如权利要求3所述的基于人脸检测与识别的人物图片索引方法,其特征在于,对训练样本采用局部二值模式LBP算法提取特征,对训练样本的LBP特征数据缩放到预先指定的范围区间,利用二分类模型分类筛选人脸图片作为训练样本。
5.如权利要求4所述的基于人脸检测与识别的人物图片索引方法,其特征在于,依据第一次排序结果训练出与所述关键词关联的人脸识别模型的步骤包括:
依据获取的训练样本训练人脸识别模型,其中,所述训练样本包含了具有平面内旋转、水平旋转以及俯仰旋转的多角度人脸图片。
6.如权利要求1所述的基于人脸检测与识别的人物图片索引方法,其特征在于,对新增至图片数据库中的与所述关键词匹配的图片数据执行人脸检测并分类筛选以获取人脸图片的步骤包括:
对新增至图片数据库中的与所述关键词匹配的图片数据利用adaboost迭代算法执行人脸检测;
利用支持向量机SVM对检测图片执行分类筛选,获取人脸图片。
7.如权利要求1所述的基于人脸检测与识别的人物图片索引方法,其特征在于,依据人脸识别模型对所述人脸图片进行相似度评判并依据评判结果对更新后的图片数据库执行第二次排序的方法为:
依据人脸识别模型对新增至图片数据库的人脸图片进行相似度打分,并利用相似度分数对更新后的图片数据库执行第二次排序。
8.一种基于人脸检测与识别的人物图片索引装置,其特征在于,包括:
第一获取单元,用于获取用户输入的关键词;
第一排序单元,用于在搜索到的图片集合中,根据文本相关性并融合图片点击调权执行第一次排序;
训练单元,用于依据第一次排序结果使用靠前图片训练与所述关键词关联的人脸识别模型,并对图片集合进行相似度打分;
第二获取单元,用于对新增至图片数据库中的与所述关键词匹配的图片数据执行人脸检测并分类筛选,获取人脸图片;
第二排序单元,用于依据人脸识别模型对所述人脸图片进行相似度评判,并依据评判结果对更新后的图片数据库执行第二次排序。
9.如权利要求8所述的基于人脸检测与识别的人物图片索引装置,其特征在于,所述训练单元还用于获取图片集合的前N个图片,对图片进行灰度和尺度归一化预处理,利用adaboost迭代算法检测人脸,模型采用跨平台计算机视觉库opencv训练的正脸和测量检测模型,采用支持向量机SVM对裁剪图片进行分类筛选处理,去除非人脸图片,获取训练样本。
10.如权利要求9所述的基于人脸检测与识别的人物图片索引装置,其特征在于,在一幅图片经正脸检测和侧脸检测后无人脸被检测到的情况下,所述训练单元将该图片向左右旋转预设角度,之后重新进行正脸检测和侧脸检测。
11.如权利要求10所述的基于人脸检测与识别的人物图片索引装置,其特征在于,所述训练单元对训练样本采用局部二值模式LBP算法提取特征,对训练样本的LBP特征数据缩放到预先指定的范围区间,利用二分类模型分类筛选人脸图片作为训练样本。
12.如权利要求11所述的基于人脸检测与识别的人物图片索引装置,其特征在于,所述训练单元依据获取的训练样本训练人脸识别模型,其中,所述训练样本包含了具有平面内旋转、水平旋转以及俯仰旋转的多角度人脸图片。
13.如权利要求8所述的基于人脸检测与识别的人物图片索引装置,其特征在于,第二获取单元对新增至图片数据库中的与所述关键词匹配的图片数据执行人脸检测并分类筛选以获取人脸图片的步骤包括:
对新增至图片数据库中的与所述关键词匹配的图片数据利用adaboost迭代算法执行人脸检测;
利用支持向量机SVM对检测图片执行分类筛选,获取人脸图片。
14.如权利要求8所述的基于人脸检测与识别的人物图片索引装置,其特征在于,第二排序单元依据人脸识别模型对所述人脸图片进行相似度评判,并依据评判结果对更新后的图片数据库执行第二次排序的方法为:
依据人脸识别模型对新增至图片数据库的人脸图片进行相似度打分,并利用相似度分数对更新后的图片数据库执行第二次排序。
CN2012104337000A 2012-11-02 2012-11-02 基于人脸检测与识别的人物图片索引方法及装置 Pending CN102880729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012104337000A CN102880729A (zh) 2012-11-02 2012-11-02 基于人脸检测与识别的人物图片索引方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012104337000A CN102880729A (zh) 2012-11-02 2012-11-02 基于人脸检测与识别的人物图片索引方法及装置

Publications (1)

Publication Number Publication Date
CN102880729A true CN102880729A (zh) 2013-01-16

Family

ID=47482055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012104337000A Pending CN102880729A (zh) 2012-11-02 2012-11-02 基于人脸检测与识别的人物图片索引方法及装置

Country Status (1)

Country Link
CN (1) CN102880729A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104168378A (zh) * 2014-08-19 2014-11-26 上海天奕达电子科技有限公司 一种基于人脸识别的图片分组方法及装置
CN104794189A (zh) * 2015-04-16 2015-07-22 惠州Tcl移动通信有限公司 一种图像筛选方法及筛选系统
WO2016101766A1 (zh) * 2014-12-23 2016-06-30 北京奇虎科技有限公司 相似人脸图片获取和人脸图片信息获取方法和装置
CN105812231A (zh) * 2014-12-29 2016-07-27 阿里巴巴集团控股有限公司 聊天记录的快速识别方法及其装置
CN106650675A (zh) * 2016-12-28 2017-05-10 天津天地伟业生产力促进有限公司 一种基于嵌入式系统的实时人脸检测算法
CN106919951A (zh) * 2017-01-24 2017-07-04 杭州电子科技大学 一种基于点击与视觉融合的弱监督双线性深度学习方法
CN106951868A (zh) * 2017-03-22 2017-07-14 海南职业技术学院 一种基于身形特征的步态识别方法及装置
CN108038176A (zh) * 2017-12-07 2018-05-15 浙江大华技术股份有限公司 一种路人库的建立方法、装置、电子设备及介质
CN108197547A (zh) * 2017-12-26 2018-06-22 深圳云天励飞技术有限公司 人脸姿态估计方法、装置、终端及存储介质
CN108241870A (zh) * 2016-12-23 2018-07-03 赫克斯冈技术中心 用于分配测量数据内特定的感兴趣类别的方法
CN109145763A (zh) * 2018-07-27 2019-01-04 天津大学 基于自然语言描述的视频监控行人搜索图像文本融合方法
CN109165293A (zh) * 2018-08-08 2019-01-08 上海宝尊电子商务有限公司 一种面向时尚领域的专业数据标注方法与程序
CN109190471A (zh) * 2018-07-27 2019-01-11 天津大学 基于自然语言描述的视频监控行人搜索的注意力模型方法
CN109241325A (zh) * 2018-09-11 2019-01-18 武汉魅瞳科技有限公司 一种基于深度特征的大规模人脸检索方法和设备
CN109241911A (zh) * 2018-09-07 2019-01-18 北京相貌空间科技有限公司 人脸相似度计算方法及装置
CN109934047A (zh) * 2017-12-15 2019-06-25 浙江舜宇智能光学技术有限公司 基于深度学习的人脸识别系统及其人脸识别方法
CN109977814A (zh) * 2019-03-13 2019-07-05 武汉大学 一种基于一致化LBP的AdaBoost行人检测方法
CN110033023A (zh) * 2019-03-11 2019-07-19 北京光年无限科技有限公司 一种基于绘本识别的图像数据处理方法及系统
CN111061887A (zh) * 2019-12-18 2020-04-24 广东智媒云图科技股份有限公司 一种新闻人物照片提取方法、装置、设备及存储介质
CN111091493A (zh) * 2019-12-24 2020-05-01 北京达佳互联信息技术有限公司 图像翻译模型训练方法、图像翻译方法及装置和电子设备
CN111382604A (zh) * 2018-12-27 2020-07-07 深圳光启空间技术有限公司 一种人脸识别方法及系统
CN111666866A (zh) * 2020-06-02 2020-09-15 中电福富信息科技有限公司 一种基于OpenCV的跨平台离线多线程人脸识别方法
CN111753116A (zh) * 2019-05-20 2020-10-09 北京京东尚科信息技术有限公司 图像检索方法、装置、设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2463378B (en) * 2008-09-16 2011-03-09 Kddi Corp Apparatus for registering face identification features, method for registering the same, program for registering the same, and recording medium
CN102629275A (zh) * 2012-03-21 2012-08-08 复旦大学 面向跨媒体新闻检索的人脸-人名对齐方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2463378B (en) * 2008-09-16 2011-03-09 Kddi Corp Apparatus for registering face identification features, method for registering the same, program for registering the same, and recording medium
CN102629275A (zh) * 2012-03-21 2012-08-08 复旦大学 面向跨媒体新闻检索的人脸-人名对齐方法及系统

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104168378A (zh) * 2014-08-19 2014-11-26 上海天奕达电子科技有限公司 一种基于人脸识别的图片分组方法及装置
WO2016101766A1 (zh) * 2014-12-23 2016-06-30 北京奇虎科技有限公司 相似人脸图片获取和人脸图片信息获取方法和装置
US10489637B2 (en) 2014-12-23 2019-11-26 Beijing Qihoo Technology Company Limited Method and device for obtaining similar face images and face image information
CN105812231B (zh) * 2014-12-29 2019-11-05 阿里巴巴集团控股有限公司 聊天记录的快速识别方法及其装置
CN105812231A (zh) * 2014-12-29 2016-07-27 阿里巴巴集团控股有限公司 聊天记录的快速识别方法及其装置
CN104794189B (zh) * 2015-04-16 2018-05-08 惠州Tcl移动通信有限公司 一种图像筛选方法及筛选系统
WO2016165298A1 (zh) * 2015-04-16 2016-10-20 惠州Tcl移动通信有限公司 一种图像筛选方法及图像筛选系统
CN104794189A (zh) * 2015-04-16 2015-07-22 惠州Tcl移动通信有限公司 一种图像筛选方法及筛选系统
US10409853B2 (en) 2015-04-16 2019-09-10 Huizhou Tcl Mobile Communication Co., Ltd. Image filtering method and image filtering system
CN108241870A (zh) * 2016-12-23 2018-07-03 赫克斯冈技术中心 用于分配测量数据内特定的感兴趣类别的方法
CN106650675A (zh) * 2016-12-28 2017-05-10 天津天地伟业生产力促进有限公司 一种基于嵌入式系统的实时人脸检测算法
CN106650675B (zh) * 2016-12-28 2020-01-21 天地伟业技术有限公司 一种基于嵌入式系统的实时人脸检测方法
CN106919951A (zh) * 2017-01-24 2017-07-04 杭州电子科技大学 一种基于点击与视觉融合的弱监督双线性深度学习方法
CN106919951B (zh) * 2017-01-24 2020-04-21 杭州电子科技大学 一种基于点击与视觉融合的弱监督双线性深度学习方法
CN106951868A (zh) * 2017-03-22 2017-07-14 海南职业技术学院 一种基于身形特征的步态识别方法及装置
CN106951868B (zh) * 2017-03-22 2018-08-24 海南职业技术学院 一种基于身形特征的步态识别方法及装置
CN108038176A (zh) * 2017-12-07 2018-05-15 浙江大华技术股份有限公司 一种路人库的建立方法、装置、电子设备及介质
CN109934047A (zh) * 2017-12-15 2019-06-25 浙江舜宇智能光学技术有限公司 基于深度学习的人脸识别系统及其人脸识别方法
CN108197547B (zh) * 2017-12-26 2019-12-17 深圳云天励飞技术有限公司 人脸姿态估计方法、装置、终端及存储介质
CN108197547A (zh) * 2017-12-26 2018-06-22 深圳云天励飞技术有限公司 人脸姿态估计方法、装置、终端及存储介质
CN109190471A (zh) * 2018-07-27 2019-01-11 天津大学 基于自然语言描述的视频监控行人搜索的注意力模型方法
CN109190471B (zh) * 2018-07-27 2021-07-13 天津大学 基于自然语言描述的视频监控行人搜索的注意力模型方法
CN109145763A (zh) * 2018-07-27 2019-01-04 天津大学 基于自然语言描述的视频监控行人搜索图像文本融合方法
CN109145763B (zh) * 2018-07-27 2021-07-13 天津大学 基于自然语言描述的视频监控行人搜索图像文本融合方法
CN109165293A (zh) * 2018-08-08 2019-01-08 上海宝尊电子商务有限公司 一种面向时尚领域的专业数据标注方法与程序
CN109241911A (zh) * 2018-09-07 2019-01-18 北京相貌空间科技有限公司 人脸相似度计算方法及装置
CN109241325A (zh) * 2018-09-11 2019-01-18 武汉魅瞳科技有限公司 一种基于深度特征的大规模人脸检索方法和设备
CN109241325B (zh) * 2018-09-11 2020-12-08 武汉魅瞳科技有限公司 一种基于深度特征的大规模人脸检索方法和设备
CN111382604A (zh) * 2018-12-27 2020-07-07 深圳光启空间技术有限公司 一种人脸识别方法及系统
CN110033023B (zh) * 2019-03-11 2021-06-15 北京光年无限科技有限公司 一种基于绘本识别的图像数据处理方法及系统
CN110033023A (zh) * 2019-03-11 2019-07-19 北京光年无限科技有限公司 一种基于绘本识别的图像数据处理方法及系统
CN109977814A (zh) * 2019-03-13 2019-07-05 武汉大学 一种基于一致化LBP的AdaBoost行人检测方法
CN111753116A (zh) * 2019-05-20 2020-10-09 北京京东尚科信息技术有限公司 图像检索方法、装置、设备及可读存储介质
CN111061887A (zh) * 2019-12-18 2020-04-24 广东智媒云图科技股份有限公司 一种新闻人物照片提取方法、装置、设备及存储介质
CN111091493A (zh) * 2019-12-24 2020-05-01 北京达佳互联信息技术有限公司 图像翻译模型训练方法、图像翻译方法及装置和电子设备
CN111091493B (zh) * 2019-12-24 2023-10-31 北京达佳互联信息技术有限公司 图像翻译模型训练方法、图像翻译方法及装置和电子设备
CN111666866A (zh) * 2020-06-02 2020-09-15 中电福富信息科技有限公司 一种基于OpenCV的跨平台离线多线程人脸识别方法

Similar Documents

Publication Publication Date Title
CN102880729A (zh) 基于人脸检测与识别的人物图片索引方法及装置
US20240070214A1 (en) Image searching method and apparatus
CN107169049B (zh) 应用的标签信息生成方法及装置
US9367756B2 (en) Selection of representative images
Laaksonen et al. PicSOM–content-based image retrieval with self-organizing maps
Vogel et al. A semantic typicality measure for natural scene categorization
CN109829467A (zh) 图像标注方法、电子装置及非暂态电脑可读取储存媒体
US20110188713A1 (en) Facial image recognition and retrieval
CN108171184A (zh) 基于Siamese网络的用于行人重识别的方法
WO2015101289A1 (zh) 图片管理方法、装置及系统
US10140315B1 (en) Identifying visual portions of visual media files responsive to visual portions of media files submitted as search queries
CN105808665B (zh) 一种新的基于手绘草图的图像检索方法
CN105574063A (zh) 基于视觉显著性的图像检索方法
CN102722528B (zh) 基于移动设备的实时海量图像检索方法
CN105095475B (zh) 基于两级融合的不完整属性标记行人重识别方法与系统
CN108764018A (zh) 一种基于卷积神经网络的多任务车辆再识别方法及装置
CN110309810A (zh) 一种基于批次中心相似度的行人重识别方法
JP6377917B2 (ja) 画像検索装置及び画像検索プログラム
Mojsilovic et al. Semantic metric for image library exploration
CN108921016A (zh) 一种基于图像识别的图书评分获取方法、电子设备及存储介质
CN109859011A (zh) 基于珠宝线上商城的消息推送方法、系统及其存储介质
CN113313149B (zh) 一种基于注意力机制和度量学习的菜品识别方法
CN114863525A (zh) 一种人脸数据集的构建方法及系统
CN114529751A (zh) 一种电力场景智能识别样本数据的自动筛选方法
Kalaiarasi et al. Visual content based clustering of near duplicate web search images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130116