CN100464332C - 一种图片查询方法及系统 - Google Patents

Abstract

本发明公开了一种图片查询方法及装置，用以解决现有技术中存在图片查询速度慢，精确度低以及操作繁琐的问题。本发明方法，通过对每张图片的区域进行划分提取每张图片的特征参数，并保存所述每张图片的特征参数，该方法包括步骤：对输入的特征参数与预先存储的图片的特征参数进行比较，输出符合所述输入的特征参数的图片。本发明还公开了一种图片查询装置。本发明用于图片查询，提高图片查询的精确度，简化图片查询操作。

Description

一种图片查询方法及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图片查询方法及系统。

背景技术

随着数码相机、摄像头等图像采集设备的普及，图片已经和文字一样成为人们生活中最重要的信息载体之一，但是，大量图片的整理和查找，却越来越成为人们的负担，图片的组织和查询一直都是一个待解决的困难问题。

现有的图片浏览软件，只能支持诸如基于文件名称的查询、基于文件夹的图片组织浏览等非智能功能，无法满足人们对于快捷方便智能的需求。存在的少量基于图片内容的智能图片管理软件，往往对整幅图片进行特征提取和匹配分类，由于没有能区分重要区域和非重要的背景区域，因而精确度较差。

与此同时，模式识别和计算机视觉技术发展到今天，取得了很多成熟技术和应用成果。其中包括人脸检测、人体检测、表情识别、性别识别、人脸认证、物体匹配等在内的技术都取得了很多成果，这些成果在各自领域中都取得了很多有价值的应用，为人们提供了很多智能快捷方便的产品。但是，这些高层次的图像信息并没有被应用在图片组织和查询系统中，传统的采用图像整体色彩、纹理、形状、边缘等信息来进行图片匹配的系统，由于仅仅采用了图像的低层次信息，无法精确描述图片之间的相似程度，查找结果往往不能如人所愿。

人们生活中采集的图片，尤其是所拍摄的照片，其中最为重要的主体就是人，图片中最重要的区域就是人所在的区域，但是现有技术并没有以人为主体进行图片查询。

综上，现有技术图片查询操作繁琐，查询精确度低。

发明内容

本发明提供一种图片查询方法及装置，用以解决现有技术中存在图片查询操作繁琐，查询精确度低的问题。

本发明方法，通过对每张图片的区域进行划分提取每张图片的特征参数，并保存所述每张图片的特征参数，其中，所述每张图片的特征参数包括每张图片中包含的人的数目、每个人的表情、性别以及呈现部分中的多种参数，该方法包括以下步骤：

获得输入的每个特征参数与预先存储的图片的相应特征参数的比较值；

对每个所述比较值进行加权，获得综合比较值；

输出与所述综合比较值相对应的图片。

所述图片的特征参数存储在预先建立的索引表中；

则，所述对输入的特征参数与预先存储的图片的特征参数进行比较的步骤为：对输入的特征参数与存储在预先建立的索引表中的图片的特征参数进行比较。

所述图片的特征参数为人脸检测信息和/或人体检测信息。

当所述图片包括人脸时，所述预先保存的图片的特征参数还包括人脸识别特征参数，则该方法包括：

输入包括人脸的图片，提取该图片的人脸识别特征参数，并将该特征参数与预先保存的图片的人脸识别特征参数进行比较，输出与所述输入的图片中的人脸相同和/或相似的图片。

本发明装置包括：

图片查询单元，用于预先通过对每张图片的区域进行划分提取每张图片的特征参数，并保存所述每张图片的特征参数，其中，所述每张图片的特征参数包括每张图片中包含的人的数目、每个人的表情、性别以及呈现部分中的多种参数，获得输入的每个特征参数与预先存储的图片的相应特征参数的比较值；对每个所述比较值进行加权，获得综合比较值；输出与所述综合比较值相对应的图片。

所述图片查询单元包括：

图片检测信息获取单元，用于预先通过对每张图片的区域进行划分提取每张图片的特征参数，并保存所述每张图片的特征参数；

查询单元，用于对输入的特征参数与预先存储的图片的特征参数进行比较，输出符合所述输入的特征参数的图片。

所述查询单元包括：

比较单元，用于对输入的特征参数与预先存储的图片的特征参数进行比较；

输出单元，用于根据所述比较结果，输出符合所述输入的特征参数的图片。

所述图片查询单元还包括：

索引表单元，用于根据所述图片的特征参数，建立索引表；

则，所述查询单元，用于对输入的特征参数与存储在预先建立的所述索引表中的图片的特征参数进行比较，输出符合所述输入的特征参数的图片。

所述图片的特征参数为人脸检测信息和/或人体检测信息。

当所述输入的特征参数包括一个以上的参数时，所述比较单元包括：

获得比较值单元，用于获得所述输入的每个特征参数与所述预先存储的图片的特征参数的比较值；

加权单元，用于对每个所述比较值进行加权，获得综合比较值，将该综合比较值发送给所述输出单元；

则，所述输出单元用于输出与所述综合比较值相对应的图片。

当所述图片包括人脸时，所述预先保存的图片的特征参数还包括人脸识别特征参数，则，

所述图片检测信息获取单元，还用于提取图片的人脸识别特征参数；

所述查询单元，用于将所述人脸识别特征参数与预先保存的图片的人脸识别特征参数进行比较，输出与所述输入的图片中的人脸相同和/或相似的图片。

本发明对每张图片的区域进行划分提取每张图片的特征参数，并保存所述每张图片的特征参数，对输入的特征参数与预先存储的图片的特征参数进行比较，输出符合所述输入的特征参数的图片其中，所述每张图片的特征参数包括每张图片中包含的人的数目、每个人的表情、性别以及呈现部分中的多种参数，获得输入的每个特征参数与预先存储的图片的相应特征参数的比较值；对每个所述比较值进行加权，获得综合比较值；输出与所述综合比较值相对应的图片。通过该技术方案，提高了图片查询的精确度，简化了图片查询操作。

附图说明

图1为本发明方法的流程示意图；

图2为本发明方法实施例的流程示意图；

图3为本发明方法实施例中层次型分类器的结构示意图；

图4为本发明方法实施例中七组弱特征的示意图；

图5为本发明方法实施例中表情识别处理的流程示意图；

图6为本发明装置实施例的结构示意图。

具体实施方式

本发明公开了一种图片查询方法及装置，通过对每张图片的区域进行划分提取每张图片的特征参数，并保存所述每张图片的特征参数，对输入的特征参数与预先存储的图片的特征参数进行比较，输出符合所述输入的特征参数的图片的技术方案，提高了图片查询的精确度，简化了图片查询操作。

参见图1，本发明方法包括步骤：

S101、通过对每张图片的区域进行划分提取每张图片的特征参数，并保存所述每张图片的特征参数；

S102、对输入的特征参数与预先存储的图片的特征参数进行比较，输出符合所述输入的特征参数的图片；

较佳地，所述图片的特征参数存储在预先建立的索引表中，所述对输入的特征参数与预先存储的图片的特征参数进行比较的步骤为：对输入的特征参数与存储在预先建立的索引表中的图片的特征参数进行比较；

较佳地，所述图片的特征参数为人脸检测信息和/或人体检测信息；

较佳地，当所述输入的特征参数包括一个以上的参数时，步骤S102包括：

获得所述输入的每个特征参数与所述预先存储的图片的特征参数的比较值；

对每个所述比较值进行加权，获得综合比较值；

输出与所述综合比较值相对应的图片；

较佳地，所述每张图片的特征参数包括以下一种或多种参数：

每张图片中包含的人的数目，每个人的表情、性别以及呈现部分；

较佳地，当所述图片包括人脸时，所述预先保存的图片的特征参数还包括人脸识别特征参数，则本发明方法包括：

输入包括人脸的图片，提取该图片的人脸识别特征参数，并将该特征参数与预先保存的图片的人脸识别特征参数进行比较，输出与所述输入的图片中的人脸相同和/或相似的图片。

本发明提供的实施例采用模式识别和计算机视觉领域的先进技术，抛弃传统方法中对图像整体进行颜色、纹理、形状信息提取的方式，首先采用人脸检测、人体检测等方式获取图片中与人相关的区域作为匹配的重要区域，这样就最大程度的降低了背景区域的干扰；然后，对于提取得到的人脸，采用表情识别、性别识别等技术进一步得到人的信息，而对于得到的人体，获取人体区域的颜色、纹理、形状等信息作为人体的特征，这些高层次信息为查询提供了更多的可选匹配信息，从而能更精确的得到目标图片，为了更好地衡量图片之间的相似程度，本发明实施例采用人脸认证技术来确定不同人脸间的相似程度，采用物体匹配技术来确定人体之间的相似程度，并将二者结合在一起作为人所在区域的相似度，之后将这些人所在区域之间相似度作为图片相似度的重要衡量指标，这样，就避免了低层次信息无法精确描述图片内容相似度的缺陷，从而能得到更为精确的匹配结果；

在提取得到图片中人的相关信息之后，系统会自动为图片和图片中含有的人分别建立索引表：图片索引表中，每张图片是一个索引项，人索引表中，每个人是一个索引项，而一个人的索引可能会含有人脸记录、人体记录中的一种或者两种，两个索引表中，图片和图片中的人存在对应关系，便于查找管理；

在上述技术获取得到的人脸、人体信息，和不同人之间的相似程度的基础上，本发明实施例基于两个索引表构建了一个查询系统，该系统支持两种查询方式，第一种，以图片为目标进行查询，采用图片中含有的人的数目、人的表情、性别以及是否含有人脸或人体来进行分类和查询(如果引入其他技术获取更多人的信息，也可以很容易添加到系统中作为查询项)；第二种，以人脸/人体为查询主体，对于索引中的人脸/人体，采用人脸认证或物体匹配技术获取其与索引表中存在的所有其他人脸/人体的相似程度，并按照相似程度由大到小排列显示，还支持由查询结果的人脸/人体链接到对应的图片，便于查找相同/相似的人的图片。

那么，下面提供本发明方法的一个具体实施例，如图2所示，包括步骤：

S201、对于待分类的所有图片，进行人脸检测、人体检测，得到图片中人的数目、大小、位置；

将没有检测到人脸和人体的图片分类为风景图片；

为了获取图片中人的相关信息，需要进行人脸检测、人体检测、表情识别、性别识别、人脸认证、物体匹配等技术，下面分别举例说明各技术可以采用的实施方案；

在本实施方案中，人脸检测、人体检测、性别识别都统一采用了一种基于层次型连续自适应加强法(Real-Adaboost，Real Adaptive boosting)的模式识别方法，该层次型Real-Adaboost算法的处理流程如下：

第一步，对于给定的已经标定样本的类别标号和对应的候选弱特征，采用Real-Adaboost弱特征构造选择算法构造弱分类器；

第二步，采用第一步中选择构造的一系列弱分类器构造强分类器；

第三步，采用多个第二步中训练得到的强分类器构造层次型分类器；

在每轮迭代中，对于弱分类器构造算法，采用区域分割弱分类器构造方法来构造弱分类器，并从中选取使得分类误差上界最小的弱分类器作为本轮输出，弱分类器构造选择算法如下：

在分布D₁上，对于候选特征空间H中的每个特征构造其对应的弱分类器：将样本空间分为n个不同的区间X₁，...，X_n，X₁∪X₂∪...∪X_n＝X且 $\underset{i\≠j}{X_i\∩X_j}=\mathrm{\Φ};$ 在分布D₁上，计算：

其中l＝±1；

对于X_j中的每个x，设定其对应的弱分类器输出为：

$\∀x\∈X_j,h\left(x\right)=\frac{1}{2}\ln \left(\frac{W_{+1}^j+\mathrm{\ϵ}}{W_{-1}^j+\mathrm{\ϵ}}\right);$

其中，ε<<1/2N，引入ε是为了避免分母为零时引起的数字溢出；

计算 $Z=2\underset{j}{\mathrm{\&Sigma;}}\sqrt{W_{+1}^j{W}_{-1}^j};$

从构造的所有弱分类器中，选择使得Z最小的h作为此轮最终选择输出的弱分类器，即 $h_t=\underset{h\&Element;H}{\arg \min Z};$

Real AdaBoost算法的强分类器训练算法流程如下：

给定训练集L＝{(x_i，y_i，i＝1，...，n，y_i∈{+1，-1}是样本标号，x_i∈X是样本特征；

样本的初始权重 $D_1\left(i\right)=\frac{1}{n},i=1,...,n;$

迭代次数t＝1，...，T：在该轮分布D₁上，采用弱分类器构造选择算法，获取此轮最佳的弱分类器，得到h₁:X→{+∝，-∝}；

更新样本的权重 $D_{t+1}\left(i\right)=\frac{D_t\left(i\right)\exp (-y_i{h}_t\left(x_i\right))}{Z_t},$ 其中 $Z_t=\underset{i}{\mathrm{\&Sigma;}}{D}_t\left(i\right)\exp (-y_i{h}_t\left(x_i\right))$ 是规一化因子；

输出最后的强分类器： $H\left(x\right)=\mathrm{sign}(\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{h}_t\left(x\right)-b);$

如图3所示为层次型分类器的结构示意图，层次型分类器分为多层，每一层都是自适应加强法(AdaBoost)算法训练得到的一个强分类器，最初，我们随机选择反样本和所有正样本采用步骤二中的强分类器训练算法训练得到一个强分类器作为层次型分类器的第一层，然后，我们采用层次型分类器对所有反样本进行检测，对于通过层次型分类器而成为误检的反样本，我们重新采用他们与正样本训练得到一个新的强分类器作为层次型强分类器的下一层，并采用新的层次型分类器，对所有反样本进行检测，采用误检反样本和正样本训练得到新的强分类器作为层次型分类器的下一层，直到误检反样本比例达到要求，这样，层次型分类器每一层都能让几乎全部正样本通过，而拒绝很大一部分负样本，靠近前面的各层，采用少量的特征却拒绝了大部分的负样本，靠近后面的各层，虽然采用大量的特征来排除干扰大的反样本，但是由于需要处理的窗口数目很少，对于整体运算时间的耗费很小，就在保证分类效果的同时，提高了分类速度；

此外，为了完成层次型Real-Adaboost算法，我们还必须设计弱分类器训练中需要的弱特征，如图4所示为七组弱特征示意图，我们采用图4所示的七组弱特征作为候选弱特征；

层次型Real-Adaboost算法能很好的解决两类分类问题，而人脸检测、人体检测、性别识别都属于两类分类问题，因而可以采用层次型Real-Adaboost算法进行分类判断，对于人脸检测，人脸和非人脸为需要区分的两类，采用这两类样本训练层次型Real-Adaboost就可以得到能够从图片中检测到人脸所在位置和大小的检测器，对于人体检测，人体和非人体为需要区分的两类，采用这两类样本训练层次型Real-Adaboost就可以得到能自动从图片中检测到人体所在位置和大小的检测器，而对于性别识别，男和女为需要区分的两类，采用男人脸样本和女人脸样本训练层次型Real-Adaboost，就可以得到能够自动判定人脸性别的分类器；

人脸表情识别的具体步骤如图5所示，包括：

S501、采集人脸表情图像；

采集得到各种不同表情的人脸图像作为训练样本；

S502、人脸检测和眼睛定位；

采用人脸检测算法和眼睛定位算法获取人脸样本双眼位置；

S503、根据双眼位置割取归一化后的人脸图像；

采用形状和灰度归一化的方法获取人脸区域图像；

S504、人脸轮廓特征点定位；

S505、采用主动形状模型得到形状归一化后的人脸图像；

对于获取的人脸区域图像，采用主动形状模型(ASM，Active shape models)器官轮廓特征点定位算法定位其轮廓特征点，并将轮廓特征点归一化从而得到形状无关的人脸图像；

S506、提取Gabor特征；

提取形状无关的图像的Gabor特征；

S507、利用Adaboost挑选特征，并采用支持向量机进行训练；

采用Adaboost算法挑选Gabor特征中表征能力强的特征；

S508、识别模型；

将挑选得到的特征采用支持向量机(SVM，support vector machine)分类器进行训练得到表情识别模型；

需要指出的是，该算法中为了识别不同表情，会分别训练多个表情分类器，可以根据不同分类器的输出为当前人脸指定的表情给出一个；

下面介绍一下本实施例中人脸相似度的获取算法；

我们采用人脸认证算法来获取人脸相似度，例如，可以采用基于主分量分析的方法来进行人脸认证；

该算法步骤如下：

第一步，对于人脸检测获取的人脸图像，采用眼睛定位算法定位双眼；

第二步，根据双眼位置，获取形状归一化的人脸图像，即保证不同人脸的眼睛位于同一个位置上，此外，采用直方图均衡等算法对获取的人脸进行灰度归一化；

第三步，将采集得到的人脸经过第二步处理后，采用主成分分析(PCA，principal component analysis)方法训练得到人脸图像PCA空间；

第四步，对于需要比较相似度的两个人脸，分别将其投影到PCA空间，并记录前M个特征脸对应的PCA系数，然后计算PCA系数间的欧式距离，采用欧式距离作为人脸相似度；

下面介绍一下本实施例中人体相似度的获取算法；

我们需要采用物体匹配算法来衡量人体和人体之间的相似程度，例如，可以采用颜色直方图的方式来进行物体匹配，对于图片的红绿蓝三色(RGB，red，green，blue)值(采用三个字节数据表示，假定为r，g，b)，首先，我们将其采用式：

((b>>6)+((g>>5)<<2)+(r & 224))

进行变换得到一个字节(byte)值用来表征象素(r，g，b)的颜色特征；之后，对于人体所在区域内的所有象素，统计其变换后的值的直方图，为了避免图像大小的影响，我们采用象素数目总和对直方图进行归一化，得到与图像大小无关的归一化直方图，对于两个人体，我们采用他们归一化直方图的相似度作为他们外观的相似度数值，例如，假定二者的直方图分别为hist0[256]和hist1[256]，则其相似度为 $\underset{i=0}{\overset{255}{\mathrm{\&Sigma;}}}{(\mathrm{hist}0\left[i\right]-\mathrm{hist}1\left[i\right])}^2;$

对于两个人之间，既存在人脸对应，又存在人体对应的情况，二者之间的相似度取人脸相似度和人体相似度中的大者；

S202、对于有人存在的图片，获取其中每个人的人脸位置、大小和人体所在位置、大小；

采用表情识别判定主体人的表情，可以分为中性、开心、愤怒、惊讶等；

采用性别识别判定主体人的性别，分为男、女；

根据人脸和人体检测结果，判定该人是全身图片、半身图片、人脸；

S203、确定任意两个人脸之间的相似度，以及任意两个人体之间的相似度；

采用人脸认证技术确定任意两个人脸之间的相似度，并采用物体匹配技术确定任意两个人体之间的相似度；

本实施方案中，人脸检测、人体检测、性别识别都统一采用了一种基于层次型Real-Adaboost的模式识别方法；

对于两个人之间，既存在人脸对应又存在人体对应的情况，二者之间的相似度取为人脸相似度和人体相似度中的大者；

S204、根据图片的特征参数，建立索引表；

对每幅图片设定一个ID号，建立一个图片索引表，同时为检测图片所得到的每个人设定一个ID号，并建立一个人的索引表，并将每幅图片中出现的人和图片建立一个对应关系，即所述每张图片的标识与该图片中的每个人的标识相对应，所述图片中的每个人的标识与该人所在的每张图片的标识相对应，如：图片1中存在两个人，分别分配ID为1、2，则将人1、人2和图片1建立对应关系，能方便的从图片1查找到人1、人2，反之，从人1、人2也能方便的查找到图片1，当然，也可以从人1找到处于同一副图片中的人2；

每张图片索引项包含的信息为：该图片保存的路径、该图片中的人数、该图片所包含的每个人的位置和大小以及该人对应的ID；

每个人的索引项包含的信息为：该人ID，该人存在于的图片ID；该人的人脸位置和大小；该人的表情指数，即符合中性、开心、愤怒、惊讶的程度；该人的性别指数，即符合男、女的程度；该人的人体位置、大小，对应一个矩形框，如果不存在人体项，则此项信息为空；该人的呈现部分，即全身像、半身像或仅脸部；该人的外观相似程度，即该人与索引表中其他人的相似程度，如果无法比较则外观相似程度为0；

如果不存在人脸项，则人脸位置、大小记录为空，表情指数、性别指数均为0；

S205、对输入的特征参数与存储在预先建立的索引表中的图片的特征参数进行比较；

本实施例中可以通过以下两种查询方式进行图片查询，详细说明如下；

第一种查询方式，以图片为主体进行查询，查找满足某限定条件的图片；

采用图片中含有人的数目、含有人的表情、性别以及呈现部分来进行分类和查询，如果引入其他技术获取更多人的信息，也可以很容易添加到系统中作为查询项；

按照图片中是否有人存在，首先将照片分为有人照片和风景照片两类；

对于有人照片，依照候选照片索引项与查询条件的人数、表情、性别、呈现部分的匹配程度计算加权的综合匹配程度，假设人数匹配程度为S₁，表情匹配程度为S₂，性别匹配程度为S₃，呈现部分匹配程度为S₄，权值分别为w₁，w₂，w₃，w₄，并且，(w₁+w₂+w₃+w₄)＝1，则最终的综合匹配程度为最后依照各图片索引项的综合匹配程度由大到小将各索引项进行排列显示；

本实施例中具体匹配程度计算的方法如下：

人数匹配程度计算规则：人数的匹配规则可以包括“＝”，“>”，“>＝”，“<”，“<＝”等，对应一个匹配区间[a，b]，假定图片中最大人数为20，最小人数为0。如果候选图片人数为p，则找到匹配区间中与p最接近的值，假设该值为q，以该值为中心，匹配区间宽度为方差得到一个一维高斯分布，设定匹配程度计算公式为

如：匹配条件设定为>＝2，对应匹配区间为[2，20]，如果候选图片中包含人数p为3，则匹配区间与候选最接近值q为3，匹配程度则为认为匹配程度为1；如果匹配条件设定为＝1，匹配区间为[1，1]，如果候选图片人数p为3，与匹配区间最接近值n＝1，匹配程度为

表情匹配程度计算规则：表情的匹配规则可以包括包含某种表情和不包含某种表情。首先对于图片中存在的所有人脸，读取其记录在索引中的符合中性、开心、愤怒、惊讶的程度，计算图片中所有人脸中符合该表情程度最大的值m_exp，如果设定为包含某种表情，则匹配程度为m_exp；如果设定规则为不包含某种表情，则匹配程度为1-m_exp；

性别匹配程度计算规则：性别的匹配规则可以设定为包含某种性别和不包含某种性别，首先，对于图片中的所有人脸，读取其记录在人索引中的性别指数，得到所有人中最大值m_gend，如果匹配规则设定为包含某种性别，则匹配程度为m_gend，如果匹配规则设定为不包含某种性别，则匹配程度为1-m_gend；

呈现部分匹配程度：呈现部分可分为全身像、半身像、仅脸部等，匹配规则可以包含符合某类，和不符合某类，如果同类，匹配程度为1，如果不同类，当为全身像和半身像，或者半身像和仅脸部时，匹配程度为0.5，当为全身像和仅脸部时为0。对于图片中所有人，得到最大的呈现部分匹配程度m_part，如果匹配规则为包含某类，则图片的呈现部分匹配程度为m_part，如果匹配规则为不包含某类，则图片的呈现部分匹配程度为1-m_part；

系统可在信息提取阶段增加其他信息，从而可以增加分类标准和分类情况；

第二种查询方式，以人为查询主体，查找与索引表中某人相近且满足查询条件的人以及该人对应图片；

对于人的索引表中存在的某一索引项，按照其与索引表中其他索引项的外观相似程度、图片人数匹配程度、表情匹配程度、性别匹配程度、呈现部分匹配程度等得到加权的综合匹配程度，并按该值由大到小的顺序排列显示对应的其他索引项，并能够由人索引项自动链接到对应的图片，便于查找相同/相似人的图片，从而达到方便快捷查找目标图片的目的；

用户选择需要查询的人对应的索引项信息，设定需要查询的对象的表情匹配条件、性别匹配条件、呈现部分匹配条件、图片人数匹配条件，并设定外观相似度的权值w₀′、图片人数匹配程度的权值w₁′、表情匹配程度的权值w₂′、性别匹配程度的权值w₃′、呈现部分匹配程度的权值w₄′，系统按照待查索引项与索引表中其他索引项的外观相似程度

图片人数匹配程度

表情匹配程度

性别匹配程度

呈现部分匹配程度

等，得到加权的综合匹配程度值

按照该综合匹配程度值的从大到小的顺序，对相应的索引项进行排列显示；

本实施例中具体匹配程度的计算方法如下：

外观相似度计算规则：从索引表中获取待查索引项和候选索引项共有的人脸/人体记录的匹配程度，即如果待查索引项和候选索引项均包含人脸记录，则采用人脸认证算法计算待查索引项与候选索引项的人脸外观相似程度，如果待查索引项和候选索引项均包含人体记录，则采用物体匹配算法计算待查索引项和候选索引项的人体外观相似程度，最后依据待查索引项和候选索引项的人脸、人体匹配程度得到综合的人体、人脸匹配程度，如果待查索引项和候选索引项都同时包含人体和人脸，则采用人脸相似度和人体相似的均值作为外观相似度值，如果共有部分只为人体或者人脸，则采用人体或者人脸的外观相似度作为人的外观相似度，如果没有共有部分，则外观相似度为0；

人数匹配程度计算规则：采用待查索引项中人所在的图片与候选索引项人所在图片的人数匹配程度作为待查和候选人索引项的人数匹配程度；

表情匹配程度计算规则：表情的匹配规则可以包括某种表情和非某种表情，读取待查索引项中的人符合匹配规则对应表情的程度e，如果规则设定为某种表情，则匹配程度为e；如果设定规则为非某种表情，则匹配程度为1-e；

性别匹配程度：性别的匹配规则可以设定为某种性别和非某种性别，读取待查人索引项的性别指数g，如果匹配规则设定为某种性别，则匹配程度为g，如果匹配规则设定为非某种性别，则匹配程度为1-g；

呈现部分匹配程度：呈现部分可分为全身像、半身像、仅脸部等，匹配规则可以是符合某类，和不符合某类，如果同类，匹配程度为1，如果不同类，当为全身像和半身像，或者半身像和仅脸部时，匹配程度为0.5，当为全身像和仅脸部时，匹配程度为0，按照上述设定的规则，得到待查和候选人呈现部分匹配程度u，如果匹配规则为符合某类，则匹配程度为u，如果规则为不符合某类，则匹配程度为1-u；

对于查找与输入的待查询图片中的人相似的人所在的图片的情况，先将输入的图片进行信息提取，并将提取到的信息添加到索引表，然后，转化为查找与索引表中某人相似且满足条件的人以及该人对应的图片；

系统还能很容易扩展增加诸如图片拍摄时间、图片大小、格式等非智能查询项；

S206、输出符合所述输入的特征参数的图片；

为了更好地给出满足查询要求的图片，本发明根据用户提交的查询条件参数指定模糊查询匹配规则对所有图片进行排列显示，系统会根据候选图片与各项查询要求之间的符合程度给出匹配程度值，为不同的查询参数设定不同权重，最后，综合候选图片与各项查询要求的匹配程度给出一个总的匹配程度作为各个图片排序的依据；其中，所述的查询要交为所述索引表中的索引项所包括的各个信息参数；

当所述输入的查询条件参数包括一个以上的参数时，获得每个所述输入的查询条件参数与所述索引表中的相应参数的匹配值；对每个所述匹配值进行加权，获得综合匹配值；根据所述综合匹配值，显示查询到的每张图片。

以下提供本发明装置的一种实施例；

参见图6，本发明一种图片查询装置包括：图片查询单元31；

所述图片查询单元31包括：图片检测信息获取单元311、索引表单元312和查询单元313；

所述查询单元313包括：比较单元3131和输出单元3132；

所述比较单元3131包括：获得比较值单元31311和加权单元31312；

所述图片查询单元31，用于预先通过对每张图片的区域进行划分提取每张图片的特征参数，并保存所述每张图片的特征参数，对输入的特征参数与预先存储的图片的特征参数进行比较，输出符合所述输入的特征参数的图片；

其中，所述图片的特征参数为人脸检测信息和/或人体检测信息；

所述每张图片的特征参数包括以下一种或多种参数：

每张图片中包含的人的数目，每个人的表情、性别以及呈现部分；

所述图片检测信息获取单元311，用于预先通过对每张图片的区域进行划分提取每张图片的特征参数，并保存所述每张图片的特征参数；

所述索引表单元312，用于根据所述图片的特征参数，建立索引表；

所述查询单元313，用于对输入的特征参数与存储在预先建立的所述索引表中的图片的特征参数进行比较，输出符合所述输入的特征参数的图片；

其中，所述比较单元3131，用于对输入的特征参数与预先存储的图片的特征参数进行比较；

当所述输入的特征参数包括一个以上的参数时，所述获得比较值单元31311，用于获得所述输入的每个特征参数与所述预先存储的图片的特征参数的比较值；

所述加权单元31312，用于对每个所述比较值进行加权，获得综合比较值，将该综合比较值发送给所述输出单元；

所述输出单元3132，用于输出与所述综合比较值相对应的图片；

当所述图片包括人脸时，所述预先保存的图片的特征参数还包括人脸识别特征参数；

当输入一张包括人脸的图片时，所述图片检测信息获取单元311，还用于提取所述图片的人脸识别特征参数；所述查询单元313，用于将所述人脸识别特征参数与预先保存的图片的人脸识别特征参数进行比较，输出与所述输入的图片中的人脸相同和/或相似的图片。

本发明公开了一种图片查询方法和装置，例如，采用人脸检测、人体检测、表情识别、性别识别等技术获取图片中人的相关信息，并根据获取的信息对图片进行组织和查询，所述查询可以是基于图片内容和基于主体身份的两种查询，因此，本发明为大量图片的整理和查询工作提供了一种简单快捷的解决方案，提高了图片查询的精确度，简化了图片查询操作，本发明方案具有很强的应用前景。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种图片查询方法，其特征在于，通过对每张图片的区域进行划分提取每张图片的特征参数，并保存所述每张图片的特征参数，其中，所述每张图片的特征参数包括每张图片中包含的人的数目、每个人的表情、性别以及呈现部分中的多种参数，该方法包括以下步骤：

获得输入的每个特征参数与预先存储的图片的相应特征参数的比较值；

对每个所述比较值进行加权，获得综合比较值；

输出与所述综合比较值相对应的图片。

2.如权利要求1所述的方法，其特征在于，所述图片的特征参数存储在预先建立的索引表中；

则，所述对输入的特征参数与预先存储的图片的特征参数进行比较的步骤为：对输入的特征参数与存储在预先建立的索引表中的图片的特征参数进行比较。

3.如权利要求1所述的方法，其特征在于，所述图片的特征参数为人脸检测信息和/或人体检测信息。

4.如权利要求1所述的方法，其特征在于，当所述图片包括人脸时，所述预先保存的图片的特征参数还包括人脸识别特征参数，则该方法包括：

输入包括人脸的图片，提取该图片的人脸识别特征参数，并将该特征参数与预先保存的图片的人脸识别特征参数进行比较，输出与所述输入的图片中的人脸相同和/或相似的图片。

5.一种图片查询装置，其特征在于，该装置包括：

图片查询单元，用于预先通过对每张图片的区域进行划分提取每张图片的特征参数，并保存所述每张图片的特征参数，其中，所述每张图片的特征参数包括每张图片中包含的人的数目、每个人的表情、性别以及呈现部分中的多种参数，获得输入的每个特征参数与预先存储的图片的相应特征参数的比较值；对每个所述比较值进行加权，获得综合比较值；输出与所述综合比较值相对应的图片。

6.如权利要求5所述的装置，其特征在于，所述图片查询单元包括:

图片检测信息获取单元，用于预先通过对每张图片的区域进行划分提取每张图片的特征参数，并保存所述每张图片的特征参数；

查询单元，用于对输入的特征参数与预先存储的图片的特征参数进行比较，输出符合所述输入的特征参数的图片。

7.如权利要求6所述的装置，其特征在于，所述查询单元包括：

比较单元，用于对输入的特征参数与预先存储的图片的特征参数进行比较；

输出单元，用于根据所述比较结果，输出符合所述输入的特征参数的图片。

8.如权利要求6所述的装置，其特征在于，所述图片查询单元还包括：

索引表单元，用于根据所述图片的特征参数，建立索引表；

则，所述查询单元，用于对输入的特征参数与存储在预先建立的所述索引表中的图片的特征参数进行比较，输出符合所述输入的特征参数的图片。

9.如权利要求5所述的装置，其特征在于，所述图片的特征参数为人脸检测信息和/或人体检测信息。

10.如权利要求7所述的装置，其特征在于，当所述输入的特征参数包括一个以上的参数时，所述比较单元包括：

获得比较值单元，用于获得所述输入的每个特征参数与所述预先存储的图片的特征参数的比较值；

加权单元，用于对每个所述比较值进行加权，获得综合比较值，将该综合比较值发送给所述输出单元；

则，所述输出单元用于输出与所述综合比较值相对应的图片。

11.如权利要求6所述的装置，其特征在于，当所述图片包括人脸时，所述预先保存的图片的特征参数还包括人脸识别特征参数，则，

所述图片检测信息获取单元，还用于提取图片的人脸识别特征参数；

所述查询单元，用于将所述人脸识别特征参数与预先保存的图片的人脸识别特征参数进行比较，输出与所述输入的图片中的人脸相同和/或相似的图片。

Images