CN103064963A - 一种基于流行自适应核的无障碍图片展示方法 - Google Patents

Abstract

基于流行自适应核的无障碍图片展示方法，从互联网获取图片后，针对图片进行如下操作：首先提取图片的视觉特征信息，如纹理、颜色和形状等，形成图片的向量化特征表示；然后基于该特征表示在高维的非线性空间构建流行自适应核，利用基于该自适应核的矩阵分解将图片映射成低维空间表示；最后对低维表示的图片进行聚类，同主题的图片分为一组，以分组的形式重新呈现图片。本方法的优点在于：可以帮助残疾人用户分主题浏览互联网上的图片，并快速显示同主题的图片集合，提高用户体验度。

Description

一种基于流行自适应核的无障碍图片展示方法

技术领域

本发明涉及无障碍图片展示方法的技术领域，特别是基于流行自适应核的无障碍图片展示方法。

背景技术

据中国残疾人联合会的最新公布数据统计，目前，我国的各类残疾人总量已达8500万，占人口总数的6.35%，并且这项数据仍呈逐年上升趋势。在科技日新月异的信息时代，大量的信息资源通过互联网呈现给残疾人群体，愈来愈多的残疾人成为新一代网民生力军，分享着网络上的各种数据资源。其中，能直观生动反映客观对象和活动的图片最容易吸引残疾人的注意力，并深受这个群体的欢迎。但是，许多残疾人由于各种缺陷导致无法正常浏览网页，如肢体残疾人、智力残疾人和精神残疾人等。这些残疾人面对大量的图片往往感到目不暇接却又力不从心，因此迫切需要提供一种无障碍的图片展示方法，切实减轻残疾人群体浏览图片的压力。

互联网上的图片琳琅满目，而残疾人往往仅对某些主题的图片感兴趣，这造成了图片数量大种类多与残疾人查找并浏览感兴趣主题的图片困难之间的矛盾。特别是，对于那些肢体残疾人或智力残疾人来说，在互联网上浏览图片的步骤更加繁琐耗时，并带来较重的身心负担。若能将网页中的图片按照主题明确地汇聚成小的集合，然后呈现给残疾人，有利于减轻图片浏览压力，提高图片浏览效率和体验度。

在计算机视觉和机器学习领域，主要基于图片的低层特征并在此基础上进行图片的聚类，形成各类主题的图片子集。在对图片进行特征提取并向量化表示后，利用机器学习中的k-means等聚类算法，可将图片按照不同的主题分成多个子集合进行展示。

发明内容

本发明要克服现有技术不能帮助残疾人用户能够方便快捷地锁定同一主题的图片、以提高图片浏览的体验度的不足，提出了一种基于流行自适应核的无障碍图片展示方法，该方法包括以下步骤：

1、从互联网获取图片后，针对图片进行以下操作：

1）提取图片的视觉特征信息，包括纹理、颜色和形状，形成图片的向量化特征表示；

2）基于图片的特征表示构建流行自适应核，利用基于该自适应核的矩阵分解将图片映射成低维空间的表示；

3）对低维表示的图片进行聚类，同主题的图片分为一组，以分组的形式重新呈现图片。

2、步骤1）中所述的提取图片的视觉特征信息：

1）对每张图片提取三种视觉特征信息，即纹理、颜色和形状，形成m维的向量化特征表示；

2）纹理信息包括灰度共生矩阵特征，颜色信息包括颜色直方图特征和颜色矩特征，形状信息包括边缘直方图特征和局部二值特征。

3、步骤2）中所述的构建流行自适应核：

1）流行自适应核是一种能在高维空间刻画数据局部结构的矩阵，该矩阵基于数据点之间的内积关系和图拉普拉斯矩阵而进行构建，能通过调节自适应参数改变数据局部结构的反映程度；

2）构建图拉普拉斯矩阵L，首先从互联网上获取n张图片，第i张图片的特征表示为x_i，第j张图片的特征表示为x_j，若x_i与x_j的欧式距离较近，即小于等于某个阈值，则这两张图片的关联权重为1，否则为0；将每张图片看成无向图上的顶点，两个顶点间的边被赋予相应的关联权重，则可以建立一张反映图片数据流行结构的无向图；图片对之间的关联权重组成大小为n×n的权重矩阵W，对W的每列元素依次累加并放置在对角矩阵D的对角线上，D中非对角线上的元素均置为0，则可通过L=D-W得到图拉普拉斯矩阵L；

3）在高维的非线性空间中，利用图片的特征表示构建流行自适应核，即K_M=K-K^T(I+λLK)^-1LK，其中K_M表示流行自适应核矩阵，K表示图片的线性内积核矩阵，K中的每个元素K_ij为第i张图片与第j张图片的特征表示之间的内积，即K_ij=<x_i,x_j>=x_i ^Tχ_j，L为图拉普拉斯矩阵，I为单位矩阵，矩阵K_M、K、L和I的大小均为n×n，(·)^T为矩阵的转置，(·)^-1为矩阵的逆，λ为一个非负的实数参数。

4、步骤3）中所述的基于流行自适应核的矩阵分解：

1）假设从互联网获得n张图片，这些图片涉及p个主题，每个主题的中心为m维的向量r_k，第j张图片与第k个主题的关联系数为u_jk，第j张图片的低维表示为v_j，第j个低维表示与第k个主题的关联系数为v_jk，则r_k为所有图片与第k个主题的关联系数的累加和，即

，而第j张图片可表示为所有主题中心的线性组合，即 $x_j={\mathrm{\&Sigma;}}_{k=1}^p{r}_k{v}_{\mathrm{jk}}$ ;

2）通过最小化每张图片的特征表示与

的欧式距离，可将图片映射到低维空间，对所有的n张图片，用矩阵表示变量，即图片的特征表示为X，图片的低维表示为非负矩阵V，图片的关联矩阵为非负矩阵U，则通过最小化

得到所有图片的低维表示，其中|·|_F为矩阵的斐波拉契范数；

3）在高维的非线性空间中，利用流行自适应核反映图片数据的局部几何结构，则最小化

等价于优化目标函数

${\min }_{U,V}\mathrm{Tr}\left[{(I-{\mathrm{UV}}^T)}^T{K}_M(1-{\mathrm{UV}}^T)\right]$ ，

其中，Tr(·)为矩阵的迹，K_M为流行自适应核矩阵；通过求解该目标函数得到的图片低维表示，能够保持原始图片数据的局部几何结构，使得相同主题的图片尽可能地距离接近。

本发明提出了基于流行自适应核的无障碍图片展示方法，其优点在于：对图片的特征表示进行聚类处理，以使相同或相近的图片以的分组方式呈现；适用于所有类型的图片，无需后台人工操作，可用于帮助残疾人实现无障碍图片浏览，也可用于帮助普通用户提高图片浏览效率。

附图说明

图1是本发明的方法流程图。

具体实施方式

参照附图，进一步说明本发明：

一种基于流行自适应核的无障碍图片展示方法，该方法包括以下步骤：

1、从互联网获取图片后，针对图片进行以下操作：

1）提取图片的视觉特征信息，包括纹理、颜色和形状，形成图片的向量化特征表示；

2）基于图片的特征表示构建流行自适应核，利用基于该自适应核的矩阵分解将图片映射成低维空间的表示；

3）对低维表示的图片进行聚类，同主题的图片分为一组，以分组的形式重新呈现图片。

2、步骤1）中所述的提取图片的视觉特征信息：

1）对每张图片提取三种视觉特征信息，即纹理、颜色和形状，形成m维的向量化特征表示；

2）纹理信息包括灰度共生矩阵特征，颜色信息包括颜色直方图特征和颜色矩特征，形状信息包括边缘直方图特征和局部二值特征。

3、步骤2）中所述的构建流行自适应核：

1）流行自适应核是一种能在高维空间刻画数据局部结构的矩阵，该矩阵基于数据点之间的内积关系和图拉普拉斯矩阵而进行构建，能通过调节自适应参数改变数据局部结构的反映程度；

2）构建图拉普拉斯矩阵L，首先从互联网上获取n张图片，第i张图片的特征表示为x_i，第j张图片的特征表示为x_j，若x_i与x_j的欧式距离较近，即小于等于某个阈值，则这两张图片的关联权重为1，否则为0；将每张图片看成无向图上的顶点，两个顶点间的边被赋予相应的关联权重，则可以建立一张反映图片数据流行结构的无向图；图片对之间的关联权重组成大小为n×n的权重矩阵W，对W的每列元素依次累加并放置在对角矩阵D的对角线上，D中非对角线上的元素均置为0，则可通过L=D-W得到图拉普拉斯矩阵L；

3）在高维的非线性空间中，利用图片的特征表示构建流行自适应核，即K_M=K-K^T(I+λLK)^-1LK，其中K_M表示流行自适应核矩阵，K表示图片的线性内积核矩阵，K中的每个元素K_ij为第i张图片与第j张图片的特征表示之间的内积，即K_ij=<x_i,x_j>=x_i ^Tχ_j，L为图拉普拉斯矩阵，I为单位矩阵，矩阵K_M、K、L和I的大小均为n×n，(·)^T为矩阵的转置，(·)^-1为矩阵的逆，λ为一个非负的实数参数。

4、步骤3）中所述的基于流行自适应核的矩阵分解：

1）假设从互联网获得n张图片，这些图片涉及p个主题，每个主题的中心为m维的向量r_k，第j张图片与第k个主题的关联系数为u_jk，第j张图片的低维表示为v_j，第j个低维表示与第k个主题的关联系数为v_jk，则r_k为所有图片与第k个主题的关联系数的累加和，即

，而第j张图片可表示为所有主题中心的线性组合，即 $x_j={\mathrm{\&Sigma;}}_{k=1}^p{r}_k{v}_{\mathrm{jk}}$ ;

2）通过最小化每张图片的特征表示与的欧式距离，可将图片映射到低维空间，对所有的n张图片，用矩阵表示变量，即图片的特征表示为X，图片的低维表示为非负矩阵V，图片的关联矩阵为非负矩阵U，则通过最小化

得到所有图片的低维表示，其中|·|_F为矩阵的斐波拉契范数；

3）在高维的非线性空间中，利用流行自适应核反映图片数据的局部几何结构，则最小化

等价于优化目标函数

${\min }_{U,V}\mathrm{Tr}\left[{(I-{\mathrm{UV}}^T)}^T{K}_M(1-{\mathrm{UV}}^T)\right]$ ，

其中，Tr(·)为矩阵的迹，K_M为流行自适应核矩阵；通过求解该目标函数得到的图片低维表示，能够保持原始图片数据的局部几何结构，使得相同主题的图片尽可能地距离接近。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (4)

1.一种基于流行自适应核的无障碍图片展示方法，该方法的特征在于从互联网获取图片后，针对图片进行以下操作：

1）提取图片的视觉特征信息，包括纹理、颜色和形状，形成图片的向量化特征表示；

2）基于图片的特征表示构建流行自适应核，利用基于该自适应核的矩阵分解将图片映射成低维空间的表示；

3）对低维表示的图片进行聚类，同主题的图片分为一组，以分组的形式重新呈现图片。

2.如权利要求1所述的基于流行自适应核的无障碍图片展示方法，其特征在于：所述的步骤1）中所述的提取图片的视觉特征信息：

1）对每张图片提取三种视觉特征信息，即纹理、颜色和形状，形成m维的向量化特征表示；

2）纹理信息包括灰度共生矩阵特征，颜色信息包括颜色直方图特征和颜色矩特征，形状信息包括边缘直方图特征和局部二值特征。

3.如权利要求1所述的基于流行自适应核的无障碍图片展示方法，其特征在于：所述的步骤2）中所述的构建流行自适应核：

1）流行自适应核是一种能在高维空间刻画数据局部结构的矩阵，该矩阵基于数据点之间的内积关系和图拉普拉斯矩阵而进行构建，能通过调节自适应参数改变数据局部结构的反映程度；

2）构建图拉普拉斯矩阵L，首先从互联网上获取n张图片，第i张图片的特征表示为x_i，第j张图片的特征表示为x_j，若x_i与x_j的欧式距离较近，即小于等于某个阈值，则这两张图片的关联权重为1，否则为0；将每张图片看成无向图上的顶点，两个顶点间的边被赋予相应的关联权重，则可以建立一张反映图片数据流行结构的无向图；图片对之间的关联权重组成大小为n×n的权重矩阵W，对W的每列元素依次累加并放置在对角矩阵D的对角线上，D中非对角线上的元素均置为0，则可通过L=D-W得到图拉普拉斯矩阵L；

3）在高维的非线性空间中，利用图片的特征表示构建流行自适应核，即K_M=K-K^T(I+λLK)^-1LK，其中K_M表示流行自适应核矩阵，K表示图片的线性内积核矩阵，K中的每个元素K_ij为第i张图片与第j张图片的特征表示之间的内积，即K_ij=<x_i,x_j>=x_i ^Tχ_j，L为图拉普拉斯矩阵，I为单位矩阵，矩阵K_M、K、L和I的大小均为n×n，(·)^T为矩阵的转置，(·)^-1为矩阵的逆，λ为一个非负的实数参数。

4.如权利要求1所述的基于流行自适应核的无障碍图片浏览方法，其特征在于：所述的步骤2）中的基于流行自适应核的矩阵分解：

1）假设从互联网获得n张图片，这些图片涉及p个主题，每个主题的中心为m维的向量r_k，第j张图片与第k个主题的关联系数为u_jk，第j张图片的低维表示为v_j，第j个低维表示与第k个主题的关联系数为v_jk，则r_k为所有图片与第k个主题的关联系数的累加和，即

，而第j张图片可表示为所有主题中心的线性组合，即 $x_j={\mathrm{\&Sigma;}}_{k=1}^p{r}_k{v}_{\mathrm{jk}}$ ;

2）通过最小化每张图片的特征表示与

的欧式距离，可将图片映射到低维空间，对所有的n张图片，用矩阵表示变量，即图片的特征表示为X，图片的低维表示为非负矩阵V，图片的关联矩阵为非负矩阵U，则通过最小化得到所有图片的低维表示，其中|·|_F为矩阵的斐波拉契范数；

3）在高维的非线性空间中，利用流行自适应核反映图片数据的局部几何结构，则最小化

等价于优化目标函数

${\min }_{U,V}\mathrm{Tr}\left[{(I-{\mathrm{UV}}^T)}^T{K}_M(1-{\mathrm{UV}}^T)\right]$ ，

其中，Tr(·)为矩阵的迹，K_M为流行自适应核矩阵；通过求解该目标函数得到的图片低维表示，能够保持原始图片数据的局部几何结构，使得相同主题的图片尽可能地距离接近。

Images