CN104317827A - 一种商品的图片导航方法 - Google Patents

Abstract

本发明涉及通信技术领域，尤其涉及一种商品的图片导航方法，包括以下步骤：S1终端的线上系统通过图像识别模块提取数字视觉特征，选取且标记所述商品图像为语义区域标签，再将语义区域标签制作成热点链接；S2终端的线下系统搜集图片，通过图像识别模块提取数字视觉特征，获取并标记所述商品图像为语义区域标签，并储存在图片数据库中；S3用户点击所述热点链接，在图片数据库中进行数字视觉特征匹配，再通过用户界面包含有相同或相似的商品图像的图片呈现给用户。用户可通过浏览终端界面，通过包含商品的图片观察商品使用效果，经历一种无尽搜索与浏览地宝贵的视觉体验。

Description

一种商品的图片导航方法

技术领域

本发明涉及通信技术领域，尤其涉及一种商品的图片导航方法。

背景技术

随着电子商务的发展，越来越多的人在互联网上进行购物。外观款式等图像信息是商品的重要特征，也影响着消费者对商品的购买行为。

目前，市场上还没有任何产品可以帮助人们在对一张图片内的某个商品感兴趣时，可以直接找到其他也含有这个商品的图片，举例来说，如果一个人在看一张图片时，对图片里的模特穿的那条裤子感兴趣，那么他如何找到里面也有模特穿着相似的裤子其他图片，就是一个技术难题。

现有技术中，为了解决上述技术问题，采用了以下技术方案：通过手动提取图片中含有的商品，并且提供1)关键字文本描述作为，或者2)这些商品图像的单独的超链接，以便用户可以找到其他图像或内容。可是，1)关键字文本描述的导航链接，能够找到商品的单独图片，但是对于同一商品的文本描述又不尽相同，便导致搜索结果的不准确；而且，消费者会失去宝贵的视觉体验，不能满足消费者通过包含商品的图片观察商品使用效果的目的，所以关键字文本描述链接的这种导航效果不好；而2)单独商品图像的链接，则无法规模化操作，因为不断会有新的海量图片产生，手动添加链接的效率低下，无法满足消费者的需求。

发明内容

(一)要解决的技术问题

本发明的目的是提供一种使消费者经历直观视觉体验且具有较高效率搜索性能的商品的图片导航方法。

(二)技术方案

本发明是通过以下技术方案实现的：

一种商品的图片导航方法，包括以下步骤：

S1终端的线上系统通过图像识别模块提取用户界面上显示图片内的商品图像的数字视觉特征，选取且标记所述商品图像为语义区域标签，再将语义区域标签制作成热点链接。终端通过线上系统搜索感兴趣的商品及其应用图片，并作上语义区域标签和热点链接。

S2终端的线下系统搜集图片，对图片内的商品图像通过图像识别模块提取数字视觉特征，获取并标记所述商品图像为语义区域标签，并储存在图片数据库中。终端的线下系统也通过图像识别模块搜索图片，标注语义区域标签，并把图片存储在数据库中。

S3用户点击热点链接，终端的导航模块会检索该热点链接对应的语义区域标签，并在图片数据库中进行数字视觉特征匹配，再通过用户界面将包含有相同或相似的商品图像的图片呈现给用户。这样，用户就能通过终端看到穿戴同样服饰等商品的图片，给予用户直观的视觉体验。

其中，步骤S1或S2中，语义区域标签的选取并标记采用深度神经网络方法和/或人工标签方法。

其中，深度神经网络方法和人工标签方法采用以下具体方式相结合：

采用深度神经网络选取并划出图片中的语义区域，再由人工在该语义区域打上标签；

或者，采用深度神经网络划出图片中的语义区域并打上标签，由人工进行抽样纠正；

或者，使用人工标签的结果去训练深度神经网络，以提升深度神经网络的精确度；

或者，把深度神经网络打标签的结果的一部分交给人工标签进行二次标签，比较两种标签的吻合度，以判断深度神经网络方法的精确度。

进一步，所述步骤S1或S2中，商品图像的语义区域标签还包括定义图片搜索范围的语义信息，用于实现图片数据库内的商品图像的相似性搜索。该步骤能够提供必要的语义信息以确定图片数据库内图片搜索范围。

其中，所述步骤S3中，终端实现商品图像的数字视觉特征匹配采用余弦相似度的计算方法，计算公式如下：

$\mathrm{similarity}=\cos \left(\mathrm{\θ}\right)=\frac{A\·B}{\left|\right|A\left|\right|\left|\right|B\left|\right|}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{A}_i\×B_i}{\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left(A_i\right)}^2}\×\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left(B_i\right)}^2}}$

其中，A为用户查询的语义区域标签的数字视觉特征；B为图片数据库中的相关语义区域标签的数字视觉特征；i取自然数。

或者，所述步骤S3中，终端实现商品图像的数字视觉特征匹配采用巴特查里亚距离技术的计算方法，计算公式如下：

$\mathrm{Bhattacharyya}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\sqrt{(\mathrm{\Σ}{a}_i\·\mathrm{\Σ}{b}_i)}$

其中，其中，a为用户查询的语义区域标签的数字视觉特征，b为图片数据库中的相关图片的语义区域标签的数字视觉特征，i取自然数。

优选地，所述步骤S2中，线下系统里的数据采集模块索引图片并进行正态化调整，使图片具有相同的大小和格式。从而，方便数据库的储存和图片中商品的匹配对比。

(三)有益效果

与现有技术和产品相比，本发明有如下优点：

本发明通过使用终端自动识别出图片内关于特定“语义区域”的“视觉描述”，并在此“语义区域”上产生可点击交互的“视觉链接”，通过图片数据库及用户界面显示包含相同或相似性商品图像的图片。用户可通过浏览终端界面，通过包含商品的图片观察商品使用效果，经历一种无尽搜索与浏览地宝贵的视觉体验。

附图说明

图1为本发明提供的商品的图片导航方法示意图；

图2为本发明提供的图片导航应用模块结构示意图；

图3为本发明的图片链接演示图。

图中标记：

1-图像采集模块；2-标签模块；3-图片数据库；4-导航模块；5-用户界面。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及具体实施方式对本发明作进一步的详细描述。

如图1所示，本实施例提供一种商品的图片导航方法，具体包括以下步骤：

S1线上系统商品图像的识别、选取及标记：

如图2所示，终端(计算机、智能手机等)的线上系统通过图像识别模块提取用户界面5(显示屏)上显示的图片内的商品图像的数字视觉特征，选取且标记所述商品图像为语义区域标签，再将语义区域标签制作成热点链接。

线上系统提供终端用户可使用的服务与交互界面。消费者可通过互联网搜索感兴趣的商品及其应用图片。如图3中所示的“手提包图片”以及由模特使用的该款手提包的图片。其中，视觉描述不是人类可读的，而是由计算机终端通过图像识别模块所识别出来的数字视觉特征。图像识别模块就是用机器代替人眼来做测量和判断。图像识别模块能够对商品进行图像处理，根据图像像素分布和亮度、颜色等信息，运算抽取商品图像的数字视觉特征。

进一步，本实施例中采用机器学习的技术，优选采用深度神经网络(DeepNeural Network，DNN)或人工标签，或两者结合，以选取并标记出图片中的语义区域。对于终端用户而言，这些语义区域会以热点链接方式呈现，它可以被鼠标点击，或用手指触碰，或用语音命令操作，从而实现在海量图片中的导航。

其中，深度神经网络是从仿生学角度模拟人脑的分多层计算架构体系，非常接近人工智能(AI)的一个方向，能够表征一些复杂的模式与函数。本实施例中，采用深度神经网络的方式：使用深度神经网络技术使得对图片中的语义区域的大规模自动识别得以实现，而传统的人工识别只能处理非常少量的图片，而且不能保证足够更新速度。

人工标签的方法：基于一个计算机编辑平台，编辑在这个平台上首先观看一些对时尚服饰打标签的例子，完成测试任务并被系统判定为及格后，编辑开始收到计算机分配给他的图片，编辑会在这些图片上的服饰部分划出区域并打上相应服饰类别的语义区域标签。

深度神经网络与人工标签相结合：由于神经网络可以进行快速且大规模的自动化标签，可精确度稍低，而人工标签效率较低，而精确度较高。这两者结合使用可以达到更好地效果，有以下结合方式：

1)由神经网络划出图片中的语义区域，由人工打上标签；

2)由神经网络划出图片中的语义区域并打上标签，由人工进行抽样纠正；

3)使用人工标签的结果去训练神经网络，以提升神经网络的精确度；

4)把神经网络打标签的结果的一部分交给人工标签进行二次标签，比较两种标签的吻合度，以判断神经网络的精确度。

进一步，为了提供必要的语义信息以确定图片数据库内图片搜索范围，商品图像的语义区域标签还包括商品图像的语义信息，用于实现图片数据库内的商品图像的相似性搜索。

S2线下系统的图片搜集及存储：

终端的线下系统搜集图片，对图片内的商品图像通过图像识别模块提取数字视觉特征，获取并标记所述商品图像为语义区域标签，并储存在图片数据库中。

其中，线下系统用以搜集图像，如通过网络挖掘。线下系统内的图像采集模块1会索引图像并将其调整为正态化。所述正态化调整就是将线下系统搜集的图片调整为同样的大小和格式，方便储存和匹配对比。线下系统里的标签模块2会进行语义区域的识别和打上语义区域标签。这些信息储存在一个图片数据库3，并被线上系统所使用。

具体的数字视觉特征识别、选取并标记出图片中的语义区域的方法与步骤S1相同。本步骤中，也优选采用深度神经网络或人工标签，或两者结合的方法，以选取并标记出图片中的语义区域。

S3图片数据库中匹配检索及图片的呈现：

用户点击所述热点链接，终端的导航模块4会检索该热点链接对应的语义区域标签，并在图片数据库3中进行图片数据特征(数字视觉特征)匹配，再通过用户界面1把包含有相同或相似的商品图像的图片呈现给用户。

所述步骤S3中，终端采用余弦相似度或巴特查里亚距离(BhattacharyyaDistance)技术实现商品图像的匹配操作。

其中，所述余弦相似度方法应用在图片的自动匹配过程中，通过对比数字视觉特征，计算得出终端用户查询的语义区域标签与图片数据库中的相关图片的语义区域标签的相似度，具体的计算方法如下：

两组向量A与B之间的余弦相似度计算公式为：

$\mathrm{similarity}=\cos \left(\mathrm{\θ}\right)=\frac{A\·B}{\left|\right|A\left|\right|\left|\right|B\left|\right|}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{A}_i\×B_i}{\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left(A_i\right)}^2}\×\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left(B_i\right)}^2}}$

其中，A为用户查询的语义区域标签的数字视觉特征；B为图片数据库中的相关图片的语义区域标签的数字视觉特征；i取自然数。

进一步，巴特查里亚距离(Bhattacharyya Distance)用来计算查询的语义区域标签与图片数据库中的语义区域标签的特征匹配度，利用巴特查里亚距离作为量度，检测跟踪误差，并以此指导跟踪过程的恢复；具体的计算方法如下：

两组向量A与B之间的巴特查里亚距离计算公式为：

$\mathrm{Bhattacharyya}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\sqrt{(\mathrm{\Σ}{a}_i\·\mathrm{\Σ}{b}_i)}$

其中，a为用户查询的语义区域标签的数字视觉特征，b为图片数据库中相关图片的语义区域标签的数字视觉特征，i取自然数。

本实施例中，当用户点击热点链接，导航模块会提取出该热点链接的数字视觉特征，检索其语义区域标签，代表这个语义区域的数字视觉特征和语义信息会被用作图片数据库中的检索信息。语义信息会定义图片搜索的范围(例如只找出含有“裤子”的图片)，而数字视觉特征则用以进行图片的相识度匹配(例如找出含有“红蓝条纹”的裤子的图片)。并在图片数据库中进行数据匹配。不同于传统方法所使用的文本描述和直接超链接，本实施例使用计算机自动识别出图片内关于特定“语义区域”的“视觉描述”，并在此“语义区域”上产生可点击交互的“视觉链接”。如图3所示，当用户希望从一个图片内的某一个物体跳到另外一些含有此物体的图片，用户可以“点击”此物体上的热点链接(矩形浮层)，则用户会被导航到一个新的页面，这个页面上列有多个含有与此物体(语义上或视觉上)相同或相似物体的图片。最终结果会通过用户界面呈现给用户，在这个界面上用户可以进行一种无尽搜索与浏览的使用体验，方便了消费者观察商品搭配等使用的效果。

以上实施例仅为本发明的一种实施方式，其描述较为具体和详细，但不能因此而理解为对本发明专利范围的限制。其具体结构和尺寸可根据实际需要进行相应的调整。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (7)

1.一种商品的图片导航方法，其特征在于，包括以下步骤：

S1终端的线上系统通过图像识别模块提取用户界面上显示图片内的商品图像的数字视觉特征，选取且标记所述商品图像为语义区域标签，再将语义区域标签制成热点链接；

S2终端的线下系统搜集图片，对图片内的商品图像通过图像识别模块提取数字视觉特征，获取并标记所述商品图像为语义区域标签，并储存在图片数据库中；

S3用户点击热点链接，终端的导航模块会检索该热点链接对应的语义区域标签，并在图片数据库中进行数字视觉特征匹配，再通过用户界面将包含有相同或相似的商品图像的图片呈现给用户。

2.根据权利要求1所述的商品的图片导航方法，其特征在于，所述步骤S1或S2中，语义区域标签的选取并标记采用深度神经网络方法和/或人工标签方法。

3.根据权利要求2所述的商品的图片导航方法，其特征在于，其中，深度神经网络方法和人工标签方法采用以下具体方式相结合：

采用深度神经网络选取并划出图片中的语义区域，再由人工在该语义区域打上标签；

或者，采用深度神经网络划出图片中的语义区域并打上标签，由人工进行抽样纠正；

或者，使用人工标签的结果去训练深度神经网络，以提升深度神经网络的精确度；

或者，把深度神经网络打标签的结果的一部分交给人工标签进行二次标签，比较两种标签的吻合度，以判断深度神经网络方法的精确度。

4.根据权利要求1所述的商品的图片导航方法，其特征在于，所述步骤S1或S2中，商品图像的语义区域标签还包括定义图片搜索范围的语义信息，用于实现图片数据库内的商品图像的相似性搜索。

5.根据权利要求1所述的商品的图片导航方法，其特征在于，所述步骤S3中，终端实现商品图像的数字视觉特征匹配采用余弦相似度的计算方法，计算公式如下：

$\mathrm{similarity}=\cos \left(\mathrm{\θ}\right)=\frac{A\·B}{\left|\right|A\left|\right|\left|\right|B\left|\right|}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{A}_i\×B_i}{\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left(A_i\right)}^2}\×\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left(B_i\right)}^2}}$

其中，A为用户查询的语义区域标签的数字视觉特征；B为图片数据库中的相关语义区域标签的数字视觉特征；i取自然数。

6.根据权利要求1所述的商品的图片导航方法，其特征在于，所述步骤S3中，终端实现商品图像的数字视觉特征匹配采用巴特查里亚距离技术的计算方法，计算公式如下：

$\mathrm{Bhattacharyya}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\sqrt{(\mathrm{\Σ}{a}_i\·\mathrm{\Σ}{b}_i)}$

其中，a为用户查询的语义区域标签的数字视觉特征，b为图片数据库中的相关图片的语义区域标签的数字视觉特征，i取自然数。

7.根据权利要求1所述的商品的图片导航方法，其特征在于，所述步骤S2中，线下系统里的数据采集模块索引图片并进行正态化调整，使图片具有相同的大小和格式。