CN104504161A - 一种基于机器人视觉平台的图像检索方法 - Google Patents

Abstract

本发明公开了一种基于机器人视觉平台的图像检索方法。该方法包括：利用双目摄像头采集图像样本，对所述图像样本进行内容识别，根据图像分解规则对识别后的图像进行图像分解，获取图像碎片；将所述图像碎片以列表形式发送给检索用户，检索用户对所述图像碎片进行标注；根据支持向量机模型，对标注后的图像碎片进行分类，找到图像碎片集合边界，依据索引规则对边界附近的图像碎片进行剔除，将剔除后剩余的图像碎片进行相似度检索，获得相似度匹配最高的图像素材。本发明中，利用双目测距获得空间目标的距离特征，提高了图像分解的准确性和客观性，通过建立图像分解规则和索引规则，提高了图像碎片相似度检索的效率和准确度。

Description

一种基于机器人视觉平台的图像检索方法

技术领域

本发明涉及图像识别领域，尤其涉及一种基于机器人视觉平台的图像检索方法。

背景技术

机器人视觉平台，简称RobotEye，是一款机器人视觉检索系统，采集机器人或智能设备采集视觉数据并反馈给机器人或智能设备有价值的知识信息。当前的图像识别方法，如凭借关键字搜索、对比图形特征参数等等。其中利用关键字进行搜索以及人眼的识别都具有主观性，无法准确地反映图片信息。对比图形特征参数的方法又存在计算量过大，参数过多，实现起来较为繁琐等问题。而单一的对比图形的某个特征又无法全部具体地描述图像信息。通常现有的图像检索方法中，不具有强大的对图像内容分解的能力，智能的知识关联能力，以及敏捷的自我学习能力，且在对图像采集时，使用普通摄像头获取单帧图像样本，对连续图像以及多个视差图片的捕捉能力不强，大大降低了对目标的测量精度。综上所述，目前的图像识别方法都无法很好的解决对图像准确、简洁、分解、关联、自我学习的检索问题。

发明内容

本发明提供了一种基于机器人视觉平台的图像检索方法，提高了图像分解的准确性和客观性，提高了图像碎片相似度检索的效率和准确度。

本发明的目的是通过以下技术方案实现的：

一种基于机器人视觉平台的图像检索方法，其特征在于，该方法包括：

利用双目摄像头采集图像样本，对所述图像样本进行内容识别，根据图像分解规则对识别后的图像进行图像分解，获取图像碎片；

将所述图像碎片以列表形式发送给检索用户，检索用户对所述图像碎片进行标注；

根据支持向量机模型，对标注后的图像碎片进行分类，找到图像碎片集合边界，依据索引规则对边界附近的图像碎片进行剔除，将剔除后剩余的图像碎片进行相似度检索，获得相似度匹配最高的图像素材。

所述内容识别包括：颜色特征识别、纹理特征识别和轮廓特征识别，其中

所述颜色特征识别，包括利用颜色直方图特征匹配法对颜色特征进行提取识别，具体的，利用直方图相交法、直方图距离法、直方图中心距法、参考颜色表法和累加颜色直方图法对颜色特征进行综合打分；

所述纹理特征识别，包括利用灰度共生矩阵对纹理特征进行提取识别，并利用马尔可夫随机场MRF模型对纹理特征进行综合打分；

所述轮廓特征识别，包括利用颜色和边缘的方向性描述符方法，通过综合比较颜色与纹理的边界对轮廓特征进行提取识别。

所述图像分解包括：提取所述图像的轮廓特征，将图像点阵数据转换为矩阵，根据所述轮廓特征识别提取出的轮廓边界矩阵，结合Snake模型，对所述图像的轮廓进行提取分解。

所述支持向量机模型为其中x_i表示输入向量，x表示输出向量，b₀表示常数项。

所述图像分解规则为：单调的图像不进行分解，无意义的图像不进行分解，重复的图像不进行分解，空间距离不连续的图像碎片不进行分解；

所述索引规则为：重复的图像碎片不进行索引，无意义的图像碎片不进行索引，过于复杂的图像碎片不进行索引。

与现有技术相比，本发明实施例至少具有以下优点：

本发明实施例中，利用双目测距获得空间目标的距离特征，提高了图像分解的准确性和客观性，通过对图像样本的内容识别和图像分解获取图像碎片，并依据图像分解规则对图像进行分解，保证了对图像样本的全面分解，提高了图像碎片的准确度和参考价值，利用支持向量机模型分类方法以及建立索引规则，提高了图像碎片相似度检索的效率和准确度，保证获取到的图像素材与图像样本的相似度匹配最高，同时该方法还具有智能的知识关联能力以及敏捷的自我学习能力。

附图说明

图1为本发明实施例提出的一种基于机器人视觉平台的图像检索方法的流程框图。

具体实施方式

如图1所示，为本发明实施例提出的一种基于机器人视觉平台的图像检索方法的流程框图，包括：

利用双目摄像头采集图像样本，对图像样本进行内容识别，根据图像分解规则对识别后的图像进行图像分解，获取图像碎片；将图像碎片以列表形式发送给检索用户，检索用户对图像碎片进行标注；根据支持向量机模型，对标注后的图像碎片进行分类，找到图像碎片集合边界，依据索引规则对边界附近的图像碎片进行剔除，将剔除后剩余的图像碎片进行相似度检索，获得相似度匹配最高的图像素材。

双目摄像头采集到的图像样本，既可以是单帧的，也可以是具有连续帧的一小段图像样本，图像样本采集时采用POST方式传递数据，上传图像文件参数为xfile，大小限制在10M以内，格式支持jpg、gif、bmp、png。

内容识别包括：颜色特征识别、纹理特征识别和轮廓特征识别，其中

1、颜色特征识别，包括利用颜色直方图特征匹配法对颜色特征进行提取识别，具体的，利用直方图相交法、直方图距离法、直方图中心距法、参考颜色表法和累加颜色直方图法对颜色特征进行综合打分。

直方图相交法：

d₁(H₁，H₂)＝∑_imin(H₁(i)，H₂(i)；

直方图距离法：

$d_2(H_1,H_2)=\sqrt{1-\underset{i}{\mathrm{\Σ}}\frac{\sqrt{H_1\left(i\right)\·H_2\left(i\right)}}{\underset{i}{\mathrm{\Σ}}{H}_1\left(i\right)\·\underset{i}{\mathrm{\Σ}}{H}_2\left(i\right)}};$

直方图中心距法：

$d_3(H_1,H_2)=\frac{d(H_1,H_1^O)}{d(H_2,H_2^O)};$

参考颜色表法：若有两种颜色c_i＝(h_i，s_i，v_i)，c_j＝(h_j，s_j，v_j)，

$d_c(c_i,c_j)=\sqrt{{(v_i-v_j)}^2+{(s_i\cos \left(h_i\right)-s_j\cos \left(h_j\right))}^2+{(s_i\sin \left(h_i\right)-s_j\sin \left(h_j\right))}^2};$

累加颜色直方图法：即主色调颜色累加值，

其中，表示图样1的中心点分量，表示图样2的中心点分量。

之后利用综合评分公式对颜色特征进行综合打分：D＝(α(d₁+d₂)∪(d₁+d₃)·βd_c)·χ^I；其中

α为距离加权系数，取0-1范围内任意值，初始值0.5；用户每确认10次距离相关＞0.5的图片，加权系数增加0.01，反之加权系数减少0.01；

β为颜色表加权系数，取0-1范围内任意值，初始值0.5用户每推荐10次颜色相关＞0.5的图片，加权系数增加0.01，反之加权系数减少0.01；

χ为累加颜色加权系数，取0-1范围内任意值，初始值0.5用户每确认10次颜色相关＞0.5的图片，加权系数增加0.01，反之加权系数减少0.01。

2、纹理特征识别，包括利用灰度共生矩阵对纹理特征进行提取识别，并利用马尔可夫随机场MRF模型对纹理特征进行综合打分。

设图像的灰度共生矩阵为P_d(i，j)，其特征参数计算公式如下

能量： $E=\underset{i=0}{\overset{k}{\mathrm{\Σ}}}\underset{j=0}{\overset{k}{\mathrm{\Σ}}}{P}_d^2(i,j);$

对比度： $C=\underset{n=0}{\overset{k}{\mathrm{\Σ}}}{n}^2\left\{\underset{i=0}{\overset{k}{\mathrm{\Σ}}}\underset{j=0}{\overset{k}{\mathrm{\Σ}}}{\hat{P}}_d(i,j)\right\};$

相关度： $R=\frac{\underset{i=0}{\overset{k}{\mathrm{\Σ}}}\underset{j=0}{\overset{k}{\mathrm{\Σ}}}\mathrm{ij}{\hat{P}}_d(i,j)-{\mathrm{\μ}}_1{\mathrm{\μ}}_2}{{\mathrm{\σ}}_1^2{\mathrm{\σ}}_2^2};$

公式中参数定义如下：

熵： $E_t=-\underset{i=0}{\overset{k}{\mathrm{\Σ}}}\underset{j=0}{\overset{k}{\mathrm{\Σ}}}{\hat{P}}_d(i,j)\log \left({\hat{P}}_d(i,j)\right).$

RobotEye使用马尔可夫随机场MRF模型对特征进行综合打分。

马尔可夫随机场模型： $f\left(x\right)=\underset{i=0}{\overset{k}{\mathrm{\Σ}}}{c}_{i}p\left(y\right|{\mathrm{\μ}}_i,{\mathrm{\σ}}_i^2)$

其中c_i，μ_i，分别是第i个分量的权重，均值和方差有关的参量。

在进行特征综合打分的过程中，权重是受到用户互动反馈结果影响的，均值是由颜色特征和纹理特征能量综合评分公式计算出来的，方差则是由颜色距离和纹理对比度运算得来。

3、轮廓特征识别，包括利用颜色和边缘的方向性描述符方法，通过综合比较颜色与纹理的边界对轮廓特征进行提取识别，避免了传统颜色边界查询速度较慢的问题，又能将结果保持在一个较高的查全率和查准率的水平。

轮廓特征的提取分为五个数字滤波器，用来提取纹理边缘信息，它们能够将其所作用的区域分为垂直方向、水平方向、45度方向、135度方向和无方向。

其中最大值：

m_max＝max(m_v，m_h，m_d45，m_d135，m_nd)

再对所有m值规范化

$m_v=\frac{m_v}{m_{\max }},m_h=\frac{m_h}{m_{\max }},m_{d45}=\frac{m_{d45}}{m_{\max }},m_{d135}=\frac{m_{d135}}{m_{\max }},m_{\mathrm{nd}}=\frac{m_{\mathrm{nd}}}{m_{\max }}$

这样可得到一个六维直方图，通过系统设置的阀值，即可“感知”到图形的边缘。

除此之外，RobotEye还提供了自定义算法的接口，用户可根据自身图像识别的需要，定制合适的图像识别算法，在自定义特征算法中，作为插件包含进来。

图像分解包括：提取图像的轮廓特征，将图像点阵数据转换为矩阵，根据轮廓特征识别提取出的轮廓边界矩阵，结合Snake模型，对图像的轮廓进行提取分解。

该Snake模型公式如下：

$E=\underset{s}{\∫}(\mathrm{\α}{\left|\frac{\∂}{\∂s}\stackrel{\‾}{v}\right|}^2+\mathrm{\β}{\left|\frac{{\∂}^2}{{\∂s}^2}\right|}^2+E_{\mathrm{ext}}\left(\stackrel{\‾}{v}\left(s\right)\right))\mathrm{ds}$

Snake模型中第1项称为弹性能量是v的一阶导数的模，第2项称为弯曲能量是v的二阶导数的模，第3项是外部能量。

外部能量总体计算公式如下：

$E_{\mathrm{ext}}\left(\stackrel{\‾}{v}\left(s\right)\right)=P\left(\stackrel{\‾}{v}\left(s\right)\right)=-{|\▿I\left(v\right)|}^2$

当轮廓C靠近目标边缘，那么C的灰度的梯度将会增大，能量变小，由曲线演变公式知道该点的速度将变为0，停止运动，能量达到最小，则可比较精确的移动到目标边缘，进而进行分割处理。

在Snake模型的基础上，我们对图像分解技术的可靠度进行了创新，我们通过双目摄像头反馈回来的视差图像(辅摄像头拍摄的图像)进行分析，使用JavaCV双目测距(双目测距算法参考OpenCV)，可估算出图像中的空间物体与设备的距离，通过检查距离是否连续，对Snake模型初步分析出来的图像碎片进行验证，如果空间距离连续，则采纳为整体，如不连续，则废弃。

图像分解规则为：单调的图像不进行分解，无意义的图像不进行分解，重复的图像不进行分解，空间距离不连续的图像碎片不进行分解；

分解图像之后获得图像碎片，使用打分加权机制，利用支持向量机模型，对图像碎片进行分类，找到图像碎片集合的最佳边界，对边界附近满足条件的样例，使用欧氏距离对其进行剔除。

该支持向量机模型为：其中x_i表示输入向量，x表示输出向量，b₀表示常数项。

索引规则为：重复的图像碎片不进行索引，无意义的图像碎片不进行索引，过于复杂的图像碎片不进行索引。

在获得相似度匹配最高的图像素材之后还包括：提取与图像素材相关联的知识元，将知识元发送给检索用户。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于机器人视觉平台的图像检索方法，其特征在于，该方法包括：

利用双目摄像头采集图像样本，对所述图像样本进行内容识别，根据图像分解规则对识别后的图像进行图像分解，获取图像碎片；

将所述图像碎片以列表形式发送给检索用户，检索用户对所述图像碎片进行标注；

根据支持向量机模型，对标注后的图像碎片进行分类，找到图像碎片集合边界，依据索引规则对边界附近的图像碎片进行剔除，将剔除后剩余的图像碎片进行相似度检索，获得相似度匹配最高的图像素材。

2.如权利要求1所述的图像检索方法，其特征在于，所述内容识别包括：颜色特征识别、纹理特征识别和轮廓特征识别，其中

所述颜色特征识别，包括利用颜色直方图特征匹配法对颜色特征进行提取识别，具体的，利用直方图相交法、直方图距离法、直方图中心距法、参考颜色表法和累加颜色直方图法对颜色特征进行综合打分；

所述纹理特征识别，包括利用灰度共生矩阵对纹理特征进行提取识别，并利用马尔可夫随机场MRF模型对纹理特征进行综合打分；

所述轮廓特征识别，包括利用颜色和边缘的方向性描述符方法，通过综合比较颜色与纹理的边界对轮廓特征进行提取识别。

3.如权利要求1所述的图像检索方法，其特征在于，所述图像分解包括：提取所述图像的轮廓特征，将图像点阵数据转换为矩阵，根据所述轮廓特征识别提取出的轮廓边界矩阵，结合Snake模型，对所述图像的轮廓进行提取分解。

4.如权利要求1所述的图像检索方法，其特征在于，所述支持向量机模型为其中x_i表示输入向量，x表示输出向量，b₀表示常数项。

5.如权利要求1所述的图像检索方法，其特征在于，所述图像分解规则为：单调的图像不进行分解，无意义的图像不进行分解，重复的图像不进行分解，空间距离不连续的图像碎片不进行分解；

所述索引规则为：重复的图像碎片不进行索引，无意义的图像碎片不进行索引，过于复杂的图像碎片不进行索引。

6.如权利要求1所述的图像检索方法，其特征在于，在所述获得相似度匹配最高的图像素材之后还包括：提取与所述图像素材相关联的知识元，将所述知识元发送给检索用户。