CN103020172A - 一种利用视频信息搜索物品的方法和装置 - Google Patents

Abstract

本发明提供一种利用视频信息搜索物品的方法和装置，能够提高对视频内的物品进行搜索的效率和准确性。该方法包括：从视频信息中获取图像；基于SIFT特征计算，选择所述图像的每个被分割出的区域中的关键点；对所述关键点进行语义学习得到所述图像中的物品的语义信息；根据所述语义信息，在物品信息数据库中搜索该物品。

Description

一种利用视频信息搜索物品的方法和装置

技术领域

本发明涉及一种利用视频信息搜索物品的方法和装置。

背景技术

随着智能电视的发展和普及，人们可以通过智能电视设备进行视频的下载和观看，同时也可以在智能电视终端通过网络来进行购物。为了实现智能电视终端用户在观看视频的过程中，购买视频中所展示的商品，但视频中所展示的商品与电商所销售的商品没有直接的关联性。近年来，一些研究者们开始探索智能电视屏幕上所展示的视频内容与线上电商所销售的商品之间的关联性，并寻求能有效桥接二者之间鸿沟的桥梁。目前智能电视购物还处于初步探索阶段，主要的方式有：（1）视频搜索视频。通过增加电视机硬件设备来获取正在播放的视频流，或者是通过移动设备录制正在播放的视频片段，将得到的视频段发送到服务器上，通过视频搜索技术来搜索视频库中与之相关的视频。若采用该方式实现购物，需要通过人工事先将视频库中的视频与视频中所展示的商品信息相关联。（2）特定视频关联商品。对特定视频进行预处理，加入相关商品的标记信息，用户在观看视频的过程中点击视频中特定的标记信息来查看商品的详细信息，并实现感兴趣商品的购买。（3）图像视频帧搜索商品图像。该方式与（1）类似，获取智能电视屏幕上当前播放的视频段，采用图像处理方式分析图像中的信息量，选择信息量最多的视频帧图像来代表该视频段进行视频搜索。综上所述，现存的这些方式存在的缺陷有：（1）通过人工对视频进行预处理以及视频与商品相关联的预处理，不仅需要耗费大量的人工，而且人工预处理具有很强的主观性，一致性较弱，准确性较低。（2）通过视频段来进行视频的搜索，不仅需要占用较多的网络传输带宽，而且视频库的建立成本较高，需要耗费大量的人力与物力，同时其搜索效率较低。（3）选择富含信息量的视频帧图像来代表用户的查询意图，其表达能力较弱，用户的查询意愿与视频帧图像的内容之间存在“语义鸿沟”，所选择的视频帧图像中的视觉内容并不能在任何情况下都准确描述了用户的查询意图，因此影响了搜索的准确性。

移动互联网的飞速发展，使得用户能够随时随地享受网络带来的便利性和丰富的信息量，使得随时随地购物成为了现实；同时智能电视的发展，产生了新的购物平台和购物方式，如何提高智能电视终端用户购物的便捷性，实现一键式便捷购物是我们需要解决的问题。在这个大的应用环境中，通过智能电视终端实现基于内容的图像搜索购物也成为了新的发展领域。但在实际的应用中，利用智能电视提供的视频信息进行商品搜索的效率和准确性都比较低。

发明内容

有鉴于此，本发明提供一种利用视频信息搜索物品的方法和装置，能够提高对视频内的物品进行搜索的效率和准确性。

为实现上述目的，根据本发明的一个方面，提供了一种利用视频信息搜索物品的方法。

本发明的利用视频信息搜索物品的方法包括：从视频信息中获取图像；基于SIFT特征计算，选择所述图像的每个被分割出的区域中的关键点；对所述关键点进行语义学习得到所述图像中的物品的语义信息；根据所述语义信息，在物品信息数据库中搜索该物品。

可选地，所述从视频信息中获取图像的步骤包括：接收用于截取视频帧的指令；从视频信息中获取预设时间段的视频帧，该预设时间段包含接收到所述指令的时刻。

可选地，所述预设时间段为[t₀-1.5s,t₀+0.6s]，其中t₀表示接收到所述指令的时刻。

可选地，所述基于SIFT特征计算，选择所述图像的每个被分割出的区域中的关键点的步骤包括：将所述图像从RGB色彩空间变换到LUV色彩空间；采用均值平移算法将图像分割成多个区域；对所述多个区域进行SIFT特征计算；根据所述SIFT特征计算的结果从所述多个区域中选择各个区域中的关键点。

可选地，对所述关键点进行语义学习得到所述图像中的物品的语义信息的步骤包括：对所述关键点进行k-means算法聚类，并计算每个聚类的中心；将所述每个聚类的中心输入到SVM分类器中，得到每个语义类别的输出；根据所述语义类别的输出确定所述图像中的物品的语义信息。

可选地，所述k-means算法中，聚类数目是根据如下公式进行计算：

其中k表示聚类数目，n表示截取的视频流中的图像的总数，R_i表示第i个图像中分割的区域的数目。

根据本发明的另一方面，提供了一种利用视频信息搜索物品的装置。

本发明的利用视频信息搜索物品的装置包括：截屏模块，用于从视频信息中获取图像；图像处理模块，用于基于SIFT特征计算，选择所述图像的每个被分割出的区域中的关键点；语义学习模块，用于对所述关键点进行语义学习得到所述图像中的物品的语义信息；搜索模块，用于根据所述语义信息，在物品信息数据库中搜索该物品。

可选地，所述截屏模块还用于：接收用于截取视频帧的指令；从视频信息中获取预设时间段的视频帧，该预设时间段包含接收到所述指令的时刻。

可选地，所述图像处理模块还用于：将所述图像从RGB色彩空间变换到LUV色彩空间；采用均值平移算法将图像分割成多个区域；对所述多个区域进行SIFT特征计算；根据所述SIFT特征计算的结果从所述多个区域中选择各个区域中的关键点。

可选地，所述语义学习模块还用于：对所述关键点进行k-means算法聚类，并计算每个聚类的中心；将所述每个聚类的中心输入到SVM分类器中，得到每个语义类别的输出；根据所述语义类别的输出确定所述图像中的物品的语义信息。

根据本发明的技术方案，通过从视频的帧图像中分析出图像内的物品的语义信息，以该语义信息作为关键字进行物品搜索，有助于提高搜索的精确性，并且以文本进行搜索方式占用的网络带宽较小，有助于提高搜索的效率。

附图说明

附图用于更好地理解本发明，并不构成对本发明的不当限定。其中：

图1是根据本发明实施例的利用视频信息搜索物品的方法的基本步骤的示意图；

图2是根据本发明实施例的利用视频信息搜索物品的装置的基本组成部分的示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的利用视频信息搜索物品的方法的基本步骤的示意图。如图1所示，本发明实施例的利用视频信息搜索物品的方法主要包括如下的步骤S11至步骤S14。

步骤S11：从视频信息中获取图像。本步骤中，具体可以是先接收用于截取视频帧的指令，然后从视频信息中获取预设时间段的视频帧，该预设时间段包含接收到上述指令的时刻。

步骤S12：基于SIFT特征计算，选择上述图像的每个被分割出的区域中的关键点。本步骤中，具体可以是先将图像从RGB色彩空间变换到LUV色彩空间，然后采用均值平移算法将图像分割成多个区域，将所有图像分割得到的区域构建一个图像区域集合，再对该图像区域集合中的每个图像区域进行SIFT特征计算，最后根据上述SIFT特征计算的结果从上述每个图像区域中选择各个区域中的关键点。SIFT是指尺度不变特征转换（Scale-invariant feature transform）。

步骤S13：对上述关键点进行语义学习得到图像中的物品的语义信息。本步骤中，具体可以先对上述关键点进行k-means算法聚类，并计算每个聚类的中心，然后将上述每个聚类的中心输入到SVM分类器中，得到每个语义类别的输出，最后根据上述语义类别的输出确定图像中的物品的语义信息。

步骤S14：根据所述语义信息，在物品信息数据库中搜索该物品。此时可以将语义信息以文本的方式提供给搜索引擎，从而完成物品的搜索。以下对于图1中的各个步骤作进一步说明。

在步骤S11中，可通过电视机中的截屏硬件接口来实现截屏，或者是通过手机录制当前播放视频中感兴趣的视频帧。截取的视频流时间段为[t₀—Δ₁,t₀+Δ₂]，本发明中取Δ₁＝1.5s，Δ₂＝0.6s，其中t₀是用户执行截屏操作的时刻。

步骤S12可以通过以下步骤完成：

S201：根据公式2.1和2.2对步骤S11中获取的彩色图像进行色彩空间的变换，从RGB色彩空间变换到LUV色彩空间：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\frac{1}{0.17697}\left[\begin{array}{ccc}0.49& 0.31& 0.20\\ 0.17697& 0.81240& 0.01063\\ 0.00& 0.01& 0.99\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(2.1\right)$

$L=\left\{\begin{array}{c}116\·{\left(\frac{Y}{Y_n}\right)}^{\frac{1}{3}}-16,-\frac{Y}{Y_n}>{\left(\frac{6}{29}\right)}^3\\ {\left(\frac{29}{3}\right)}^3\frac{Y}{Y_n},\frac{Y}{Y_n}\≤{\left(\frac{6}{29}\right)}^3\end{array}\right.$

U＝13L·(u'-u′_n)V＝13L·(v'-v′_n)                     （2.2）

$u^{\′}=\frac{4X}{X+15Y+3Z}$

$v^{\′}=\frac{9Y}{X+15Y+3Z}---\left(2.3\right)$

其中u_n′＝0.2009，v_n′＝0.4610，Y_n＝2.0，其中R表示当前像素的红色值，G表示当前像素的绿色值，B表示当前像素的蓝色值，X，Y，Z分别表示CIE1931XYZ色彩空间的三个分量，其中X、Y、Z分别是从红色、绿色、蓝色导出来的参数（即三色刺激值），u′和v′是色度坐标，Y_n是XYZ空间下，参照白光D56的Y值；L表示像素的亮度，U和V表示像素的色度；在LUV色彩空间中，采用均值平移算法进行图像的分割，其分割步骤如下：

令x_i和z_i（i为自然数）代表多维输入像素和经过过滤后图像的像素，L_i为分割图像第i个像素的标记；

(1)对图像进行均值平移过滤，存储所有有关zi中多维收敛点的信息；

(2)在联合域中描绘集群{C_p}（p为自然数），通过把所有接近h_s和h_r的z_i聚集在一起；

(3)对每个i，指派L_i={p|z_i∈C_p}；

(4)消除包含少于M个像素的空间区域。

其中第(4)步为可选步骤。空域参数h_s和值域参数h_r是预先设定的带宽。基于联合域的均值平移分割法克服了只基于灰度或色彩聚类方法的内在限制。分割对于分辨率h_s和h_r不特别敏感，本实施例中，所有的图像均默认使用h_s=8，h_r=16的带宽参数设置。图像越偏离假定的分割，h_r和M的值就应该越大，以消除细小的局部变化所带来的影响。

S202：对S201分割出得到的区域进行SIFT特征计算。

S203：对S202中计算了SIFT特征及关键点后的每个区域，根据公式2.4从每个区域中选择给定初始假设t下的典型关键点

$B_{\mathrm{ij}}^{*}=\underset{j}{\arg \max }\left(\exp \right[-\underset{d=1}{\overset{m}{\mathrm{\Σ}}}{\left(s_d(B_{\mathrm{ijd}}-t_d)\right)}^2\left]\right)---\left(2.4\right)$

其中B_i表示第i个区域，B_ij表示区域i中的第j个关键点，B_ijd是关键点B_ij的特征向量第d个分量，S_d是特征权重向量的第d个分量，t_d表示t的第d个分量，m表示SIFT特征描述向量的维数（本发明实施例中取128），argmax()表示取最大值函数。

在步骤S13中，语义学习可以通过以下步骤完成：

S301：对S12中选择出来的所有关键点进行k-means算法聚类，并计算每个聚类的中心；其中k-means算法是通过以下步骤完成：（1）从n个数据对象任意选择k个对象作为初始聚类中心；（2）根据每个聚类对象的均值（中心对象）计算每个对象与这些中心对象的距离，并根据最小距离重新对相应对象进行划分；（3）重新计算每个有变化的聚类的均值（中心对象）；（4）计算标准测度函数，当满足一定条件例如公式3.1收敛时，则算法终止，如果条件不满足则回到步骤（2）。

$\underset{s}{\arg \max }\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{X_j\∈S_i}{\mathrm{\Σ}}{\left|\right|X_j-{\mathrm{\μ}}_i\left|\right|}^2---\left(3.1\right)$

其中S_i是第i个聚类集合，u_i是S_i的均值，X_j是S_i中的第j个数据。根据公式3.2来得到合适聚类数目k值；

$k=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{R}_i---\left(3.2\right)$

其中n是截取的视频流中图像帧的总数，R_i是第i个图像中分割的区域数目。

S302：将S301中所得到的每个聚类中心的特征描述向量输入到SVM分类器中，得到每个语义类别的输出；其中SVM分类器中的核函数采用公式3.3中的高斯径向基核。

$K(x,x^{\′})=\exp (-\frac{{\left|\right|x-x^{\′}\left|\right|}^2}{{2\mathrm{\σ}}^2})---\left(3.3\right)$

其中x是空间中任意一点，x'是核函数的中心，参数σ控制核函数的宽度，它的选择很大程度上决定了核函数的好坏，并最终决定了分类的效果。核函数中的参数σ可通过10折交叉验证来得到最优的参数值。

S303：根据公式3.4将S302中SVM分类器的输出进行概率化，得到概率输出。

$P(y=1|f)=\frac{1}{1+e^{\mathrm{Af}+B}}---\left(3.4\right)$

通过公式3.5中的取最小值函数来得到最优的参数A和B。

$\min -(\underset{i}{\mathrm{\Σ}}{t}_i\log \left(p_i\right)+(1-t_i)\log (1-p_i))---\left(3.5\right)$

其中 $p_i=\frac{1}{1+\exp ({\mathrm{Af}}_i+B)},$ $t_i=\frac{y_i+1}{2},$ y_i是样本的标记的类别，f_i是SVM分类器的概率化输出值。

同时，由于SVM用于分类时也存在一些错误，本实施例中根据公式3.6来对SVM分类器的输出结果进行修正。

$m_{+}\left(x\right)=\frac{1}{1+\exp (\mathrm{Af}\left(x\right)+B)}(1-\frac{\#\mathrm{sv}}{l-1})$

$m_{-}\left(x\right)=\frac{\exp (\mathrm{Af}\left(x\right)+B)}{1+\exp (\mathrm{Af}\left(x\right)+B)}(1-\frac{\#\mathrm{sv}}{l-1})$

$m_{\mathrm{\θ}}\left(x\right)=\frac{\#\mathrm{sv}}{l-1}---\left(3.6\right)$

其中m_θ(x)是样本x的不确定程度，#sv是支持向量的数目，l是SVM分类器的训练样本的总数。

而后根据公式3.7所示的D-S决策理论来得到最终的语义分类；

$\left\{\begin{array}{c}{m}_{+}\left(x\right)>m_{-}\left(x\right)\\ m_{+}\left(x\right)-m_{-}\left(x\right)>{\mathrm{\&epsiv;}}_1\\ m\left(\mathrm{\&theta;}\right)<{\mathrm{\&epsiv;}}_2\end{array}\right.---\left(3.7\right)$

如果未标记的样本x满足不等式（3.7），认为该样本是正样本，反之，则认为该样本是负样本。由于不同的决策阈值会使得一些样本既不属于正类也不属于负类，此时，对于这类样本，本实施例中不对它们进行分类。

将判定为相应类别的语义得分进行加1，所有语义类别的得分进行排序，得分较高的前n个语义类别即为该用户的查询意图的近似描述，本实施例中取n=3。根据所得到的语义信息作为搜索的关键字，采用文本搜索的方式来查询物品。例如将所得到的语义信息作为搜索的关键字提供给搜索引擎，在电子商务系统的商品数据库中进行用户感兴趣商品的查询。

以下对本发明实施例的利用视频信息搜索物品的装置做出说明。图2是根据本发明实施例的利用视频信息搜索物品的装置的基本组成部分的示意图。如图2所示，利用视频信息搜索物品的装置20主要包括截屏模块21、图像处理模块22、语义学习模块23、和搜索模块24。

截屏模块21用于从视频信息中获取图像，还可以用于：接收用于截取视频帧的指令；从视频信息中获取预设时间段的视频帧，该预设时间段包含接收到所述指令的时刻。

图像处理模块22用于基于SIFT特征计算，选择所述图像的每个被分割出的区域中的关键点；还可以用于：将所述图像从RGB色彩空间变换到LUV色彩空间；采用均值平移算法将图像分割成多个区域；对所述多个区域进行SIFT特征计算；根据所述SIFT特征计算的结果从所述多个区域中选择各个区域中的关键点。

语义学习模块23用于对所述关键点进行语义学习得到所述图像中的物品的语义信息，还可以用于：对所述关键点进行k-means算法聚类，并计算每个聚类的中心；将所述每个聚类的中心输入到SVM分类器中，得到每个语义类别的输出；根据所述语义类别的输出确定所述图像中的物品的语义信息。

搜索模块24用于根据所述语义信息，在物品信息数据库中搜索该物品。

根据本发明实施例的技术方案，通过从视频的帧图像中分析出图像内的物品的语义信息，以该语义信息作为关键字进行物品搜索，有助于提高搜索的精确性，并且以文本进行搜索方式占用的网络带宽较小，有助于提高搜索的效率。另外，根据本实施例的技术方案，根据图像的低层视觉内容来自动学习用户的查询意图的语义信息，不仅减少了网络传输的数据量，而且通过所学习的语义信息进行关键字搜索，避免了单纯的图像搜索存在的不精确性；对智能电视终端视频进行截取的视屏流，截取有限时间内的有用信息进行分析，不仅在减少计算量的同时，也保留了包含用户查询语义的有用信息；通过对SVM分类器的输出进行修正，降低了语义分类的误差，提高了学习用户查询意图语义的准确性；SVM分类模型的部分参数是通过训练样本学习而得到的，不同于传统的经验值，充分利用了不同应用场景中商品图像的特性，提高了语义学习分类模型的准确率；采用期望最大化的思想来选择每个分割区域中具有代表性的关键点，在保留区域的特性基础上，降低了后续计算的时间复杂度；聚类分析中聚类数目的确定中充分考虑了各个图像分割后的语义区域，弥补了随机设定的盲目性以及自适应方式的高复杂度。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和设备的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来开发出的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种利用视频信息搜索物品的方法，其特征在于，包括：

从视频信息中获取图像；

基于SIFT特征计算，选择所述图像的每个被分割出的区域中的关键点；

对所述关键点进行语义学习得到所述图像中的物品的语义信息；

根据所述语义信息，在物品信息数据库中搜索该物品。

2.根据权利要求1所述的方法，其特征在于，所述从视频信息中获取图像的步骤包括：

接收用于截取视频帧的指令；

从视频信息中获取预设时间段的视频帧，该预设时间段包含接收到所述指令的时刻。

3.根据权利要求2所述的方法，其特征在于，所述预设时间段为[t₀-1.5s,t₀+0.6s]，其中t₀表示接收到所述指令的时刻。

4.根据权利要求1所述的方法，其特征在于，所述基于SIFT特征计算，选择所述图像的每个被分割出的区域中的关键点的步骤包括：

将所述图像从RGB色彩空间变换到LUV色彩空间；

采用均值平移算法将图像分割成多个区域；

对所述多个区域进行SIFT特征计算；

根据所述SIFT特征计算的结果从所述多个区域中选择各个区域中的关键点。

5.根据权利要求1所述的方法，其特征在于，对所述关键点进行语义学习得到所述图像中的物品的语义信息的步骤包括：

对所述关键点进行k-means算法聚类，并计算每个聚类的中心；

将所述每个聚类的中心输入到SVM分类器中，得到每个语义类别的输出；

根据所述语义类别的输出确定所述图像中的物品的语义信息。

6.根据权利要求5所述的方法，其特征在于，所述k-means算法中，聚类数目是根据如下公式进行计算：

$k=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{R}_i$

其中k表示聚类数目，n表示截取的视频流中的图像的总数，R_i表示第i个图像中分割的区域的数目。

7.一种利用视频信息搜索物品的装置，其特征在于，包括：

截屏模块，用于从视频信息中获取图像；

图像处理模块，用于基于SIFT特征计算，选择所述图像的每个被分割出的区域中的关键点；

语义学习模块，用于对所述关键点进行语义学习得到所述图像中的物品的语义信息；

搜索模块，用于根据所述语义信息，在物品信息数据库中搜索该物品。

8.根据权利要求7所述的装置，其特征在于，所述截屏模块还用于：接收用于截取视频帧的指令；从视频信息中获取预设时间段的视频帧，该预设时间段包含接收到所述指令的时刻。

9.根据权利要求7所述的装置，其特征在于，所述图像处理模块还用于：将所述图像从RGB色彩空间变换到LUV色彩空间；采用均值平移算法将图像分割成多个区域；对所述多个区域进行SIFT特征计算；根据所述SIFT特征计算的结果从所述多个区域中选择各个区域中的关键点。

10.根据权利要求7所述的装置，其特征在于，所述语义学习模块还用于：对所述关键点进行k-means算法聚类，并计算每个聚类的中心；将所述每个聚类的中心输入到SVM分类器中，得到每个语义类别的输出；根据所述语义类别的输出确定所述图像中的物品的语义信息。

Images