CN106095884A - 一种基于图片的相关物品信息处理方法及装置 - Google Patents
一种基于图片的相关物品信息处理方法及装置 Download PDFInfo
- Publication number
- CN106095884A CN106095884A CN201610396744.9A CN201610396744A CN106095884A CN 106095884 A CN106095884 A CN 106095884A CN 201610396744 A CN201610396744 A CN 201610396744A CN 106095884 A CN106095884 A CN 106095884A
- Authority
- CN
- China
- Prior art keywords
- article
- information
- picture
- item
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 9
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000000034 method Methods 0.000 claims abstract description 35
- 239000013598 vector Substances 0.000 claims description 25
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 8
- 238000013145 classification model Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供一种基于图片的相关物品信息处理方法及装置，所述方法包括：获取页面中图片的链接地址；向服务器侧发送针对所述图片的物品识别请求；接收服务器侧返回的识别出来的物品属性信息；基于物品的区域尺寸信息计算出该物品在所述页面图片中的目标位置坐标；根据所述目标位置坐标，在所述页面图片之上设置相关物品信息提示标记。通过上述方法，用户通过页面图片上提示标记的位置即可直接确定出页面图片中对应的物品或物体，避免了提示标记的位置与物品或物体的出现偏差，造成信息不对应。
Description
技术领域
本发明实施例涉及互联网技术领域，尤其涉及一种基于图片的相关物品信息处理方法及装置。
背景技术
随着互联网技术的发展，人们已经习惯于通过诸如个人电脑、智能手机等智能终端连接至互联网浏览各种网页来获取信息。
目前，现有技术中，当用户在浏览网页时，可能会在网页图片中看到自己感兴趣的物品或商品，例如，在关于某个明星的新闻网页中出现了该明星穿的某件裙子，用户若想进一步了解该裙子的信息需要自己另行在搜索引擎输入关键词获取相关物品信息。
然而，当用户按照上述现有技术获取物品相关信息时，需要自己重新检索，不但搜索结果难以保证与物品相关，而且搜索过程非常繁琐、不便。
发明内容
本发明实施例提供一种基于图片的相关物品信息处理方法及装置，用以解决现有技术中用户通过搜索引擎获取网页图片中物品或物体的相关信息时导致的使用过程繁琐不便的问题。
本发明实施例提供一种基于图片的相关物品信息处理方法，包括：
获取页面中图片的链接地址；
向服务器侧发送针对所述图片的物品识别请求；所述物品识别请求包括：所述图片链接地址；
接收服务器侧返回的识别出来的物品属性信息；所述物品属性信息包括：物品的区域尺寸信息；
基于物品的区域尺寸信息计算出该物品在所述页面图片中的目标位置坐标；
根据所述目标位置坐标，在所述页面图片之上设置相关物品信息提示标记。
依据本发明的另一方面，提供了一种基于图片的相关物品信息处理装置，包括：
图片地址获取模块，用于获取页面中图片的链接地址；
识别请求发送模块，用于发送针对所述图片的物品识别请求；所述物品识别请求包括：所述图片链接地址；
接收模块，用于接收返回的识别出来的物品属性信息；所述物品属性信息包括：物品的区域尺寸信息；
目标位置确定模块，用于基于物品的区域尺寸信息计算出该物品在所述页面图片中的目标位置坐标；
提示标记设置模块，用于根据所述目标位置坐标，在所述页面图片之上设置相关物品信息提示标记。
本发明实施例至少包括以下优点：
本发明实施例通过向服务器侧发送携带有图片链接地址的物品识别请求，然后，基于从服务器侧接收的识别出来的物品尺寸信息计算出该物品在页面图片中的目标位置坐标，并根据该目标位置坐标在页面图片之上设置相关物品信息的提示标记。这样一来，用户可直接通过该提示标记查看该图片的相关物品信息，避免了用户另行打开搜索引擎查询导致的使用繁琐不便的问题。
进一步的，所述用于设置提示标记的目标位置是根据识别出的物品尺寸信息计算得出，用户通过该提示标记的位置即可直接确定出页面图片中对应的物品或物体，避免了提示标记的位置与物品或物体的出现偏差，造成信息不对应的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种基于图片的相关物品信息处理方法实施例一的流程图；
图2为本发明的一种基于图片的相关物品信息处理方法实施例二的流程图；
图3为根据发明发一实施例设置物品信息提示标记和物品类别提示标签的显示效果示意图；
图4为根据本发明一实施例在窗体中显示相关物品信息的效果示意图；
图5为本发明的一种基于图片的相关物品信息处理方法应用实施例的流程图；
图6为本发明的一种基于图片的相关物品信息处理装置实施例一的结构框图；
图7为本发明一实施例中对目标图处理得到的图像候选区域效果示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例可适用于通过客户端浏览网页。其中，所述客户端可以为智能电视、智能手机、平板电脑、电视盒子、个人计算机等各种形式的终端设备。例如，用户可以通过智能手机或电视上的浏览器(IE、Chorme、火狐)、APP(Application，应用程序)浏览网页。可以理解，本发明实施例对于客户端的具体形式不加以限制。为便于描述，本发明方法实施例以智能终端为例进行说明，其它应用场景相互参照即可。
方法实施例一
参照图1，示出了本发明的一种基于图片的相关信息处理方法实施例一的步骤流程图，具体可以包括以下步骤：
步骤101、获取页面中图片的链接地址；
其中，所述页面既可以是浏览器中加载的网页，也可以其它任意应用程序从服务器侧请求获取后所加载的页面，例如，新闻App中的新闻页面、微信朋友圈中的页面等。
具体的，所述图片的链接地址(Uniform Resoure Locator，URL)存储在网页源文件中，当加载页面时，浏览器根据该图片的URL获取对应的源图片进行显示。
步骤102、向服务器侧发送针对所述图片的物品识别请求；所述物品识别请求包括：所述图片链接地址；
具体的，本发明实施例页面图片中所包含的物品可以是任意一种物品或商品，例如：服装、电器、生活用品等，本发明对物品的内容或类型不作具体限制。
步骤103、接收服务器侧返回的识别出来的物品属性信息；所述物品属性信息包括：物品的区域尺寸信息；
优选的，所述物品属性信息由服务器通过以下步骤得到：
子步骤s11、根据物品识别请求中的图片链接地址获取对应的源图片；
子步骤s12、使用预先设置的物品探测模型采用卷积神经网络系统对所述源图片进行识别，得到有效物品区域，以及对应的物品区域尺寸信息。
具体的，卷积神经网络系统(Convolutional Neural Networks,CNN)是一个可以根据收集的图片提取图像特征信息并通过利用大量不同类型的图像进行训练而实现深度学习的识别系统，所谓深度学习为人工智能领域的前沿技术，其可以完成需要高度抽象特征的人工智能任务，如语音识别、图像识别和检索、自然语言理解等。深度学习采用了深层神经网络模型(Deep Neural Networks，DNN)，深层模型是包含多个隐藏层的人工神经网络，多层非线性结构使其具备强大的特征表达能力和对复杂任务建模能力。从深层神经网络模型发展而成的卷积神经网络系统，利用图像局部的统计特征信息与其他局部的特征信息一致的固有特性进行图像分析和识别，尤其适用于像素点较多的大尺寸图像。本发明实施例利用卷积神经网络系统对源图片进行识别处理，可以更准确地识别出图片中物品的区域，以及该区域的尺寸信息。
在本发明的一个优选实施例中，所述物品的区域尺寸信息通过以下步骤确定：
子步骤s21、设置所述源图片左上角坐标为(0，0)，右下角坐标为(1，1)；
子步骤s22、将图片中包含物品的最小矩形确定为物品的区域尺寸信息。
例如，通过上述步骤确定的物品区域尺寸信息(0.3,0.15)，(0.7,0.7)；其中，(0.3,0.15)为矩形左上角坐标，(0.7,0.7)为矩形右下角坐标。
应当理解，以上给出的仅是确定物品区域尺寸信息优选的实现方式，本领域技术人员在具体实现时也可以选择其他方式确定物品区域尺寸信息，例如，以左下角为原点建立二维坐标系，然后在所述二维坐标系中选择包含物品的最小矩形各个顶点的坐标确定物品区域尺寸信息。
步骤104、基于物品的区域尺寸信息计算出该物品在所述页面图片中的目标位置坐标；
优选地，将所述物品区域的中心点确定为该物品在所述页面图片中的目标位置。例如，假设源图片的尺寸为800px*600px，识别出的物品区域尺寸信息(0.3,0.15)，(0.7,0.7)，其中心点为(0.4,0.5)，然后，根据该中心点坐标得到对应的像素点坐标分别为800*0.4＝320px，600*0.5＝300px。
在具体实现时，选择所属物品区域中的任意一点作为目标位置坐标也是可以的，本发明实施例对此不作限制。
步骤105、根据所述目标位置坐标，在所述页面图片之上设置相关物品信息提示标记。
在具体实现时，可根据不同的应用环境选择设置提示标记的方式。例如，对于浏览器而言，可预先在网页中添加js代码或浏览器插件，当需要设置提示标记时，通过所述js代码或浏览器插件在所述目标位置以<div>元素生成提示标记；对于智能手机中的App程序，可同过内置的图像控件在目标位置生成Tag对象设置提示标记。
综上所述，本发明实施例通过向服务器侧发送携带有图片链接地址的物品识别请求，然后，基于从服务器侧接收的识别出来的物品尺寸信息计算出该物品在页面图片中的目标位置坐标，并根据该目标位置坐标在页面图片之上设置相关物品信息的提示标记。这样一来，用户可直接通过该提示标记查看该图片的相关物品信息，避免了用户另行打开搜索引擎查询导致的使用繁琐不便的问题。
进一步的，所述用于设置提示标记的目标位置是根据识别出的物品尺寸信息计算得出，用户通过该提示标记的位置即可直接确定出页面图片中对应的物品或物体，避免了提示标记的位置与物品或物体的出现偏差，造成信息不对应的问题。
方法实施例二
参照图2，示出了本发明的一种基于图片的相关信息处理方法实施例二的步骤流程图，具体可以包括以下步骤：
步骤201、获取页面中图片的链接地址；
步骤202、向服务器侧发送针对所述图片的物品识别请求；所述物品识别请求包括：所述图片链接地址；
步骤203、接收服务器侧返回的识别出来的物品属性信息；所述物品属性信息包括：图片链接地址、物品的区域尺寸信息、物品的类别信息；
具体实现时，当页面中的多个图片均包含物品时，服务器侧可针对每个图片识别出对应的物品属性信息，客户端根据服务器侧返回的物品属性信息中的图片链接地址，即可确定出该物品属性信息具体对应页面中哪个图片。
具体的，所述服务器识别出物品属性信息进一步还可以包括以下子步骤：
子步骤s13、根据卷积神经网络系统使用预先设置的物品分类模型确定所述有效物品区域的物品分类特征向量；
子步骤s14、从所述物品分类特征向量中选择向量值最大的分类确定为物品的类别信息。
例如，假设物品类别包含7个类别{外套、上装、裤子、裙装、鞋、包、配饰}，通过卷积神经网络系统处理得到的有效物品区域的物品分类特征向量用(p(外套)，p(上装)，p(裤子)，p(裙装)，p(鞋)，p(包)，p(配饰))表示，其中，p(X)代表该区域是X类物品的概率。若其分类特征向量中p(鞋)的向量值最大，则该有效物品区域的物品类别为鞋。
下面以图片中包含两个物品为例，给出一个服务器侧识别后返回的物品属性信息示例：
步骤204、基于物品的区域尺寸信息计算出该物品在所述页面图片中的目标位置坐标；
步骤205、根据所述目标位置坐标，在所述页面图片之上设置相关物品信息提示标记；
在本发明的一个可选实施例中，所述步骤205之后，还包括：
在所述物品信息提示标记的一侧显示物品类别提示标签。
参见图3，示出了根据发明发实施例设置相关物品信息提示标记和物品类别提示标签的显示效果示意图。在图3中，被识别出的物品包括：外套、长裤和包，在这3件物品上分别设置有物品信息提示标记(以灰色小方框示出)，在所述外套的一侧显示有物品类别提示标签(相关外套)。
步骤206、当用户点击图片上的物品信息提示标记时，向服务器侧发送物品信息获取请求；所述物品信息获取请求包括：图片链接地址、物品区域尺寸信息、物品类别信息；
步骤207、基于图片链接地址和物品区域尺寸信息，在页面中显示从服务器侧接收到的相关物品信息。
具体的，所述相关物品信息由服务器通过以下步骤得到：
子步骤s31、根据图片链接地址获取对应的源图片；
子步骤s32、根据物品区域尺寸信息从所述源图片中抽取出对应的物品区域图像；
子步骤s32、根据所述物品区域图像计算得到对应的分类特征值；
子步骤s34、从预设的物品信息库中查找与所述分类特征值相似度满足预设阈值的物品信息。
其中，图像的分类特征值可根据其特征向量通过一定的函数转化而成，且函数可根据不同的需求有不同的形式。例如对于一个七维分类特征向量(r1,r2,r3,r4,r5,r6,r7)，其分类特征值R可以通过以下公式(1)计算得到：
R＝r1+r2*10^2+r3*10^4+r4*10^6+r5*10^8+r6*10^10+r7*10^12 (1)
当然，在具体实现时，也可以采用其它算法计算物品区域图像的分类特征值，本发明实施例对此不作限制。
所述物品信息库可通过预先从各个电商网站中收集数据生成，其内容示例如表1所示：
| 图像分类特征值 | 物品链接 | 物品来源 | 物品价格 | 物品缩略图链接地址 |
表1
上述表1中包含的物品属性信息仅用于示例，具体实现时，可根据实际需要设置其它物品属性信息，例如，物品颜色、物品所属性别等。
具体的，可通过计算所述物品区域图像的分类特征值与所述商品信息库中每个商品的图像分类特征值之间的欧式距离确定其相似度，若欧式距离越小，则两张图的相似度越高；将相似度满足预设阈值的商品信息作为页面图片中物品的相关物品信息。例如，将相似度最高的前10个物品的信息作为相关物品信息。
进一步的，在本发明的另一可选实施例中，所述子步骤s34之后，还包括：
子步骤s35、使用物品信息获取请求中的物品类别信息对得到的相关物品信息进行匹配，将匹配的物品信息作为返回用户客户端的相关物品信息。
通过物品类别信息对从商品信息库中查找得到的商品信息进行匹配筛选，不但减少了在用户侧显示的相关物品信息的数量，减少了服务器需要返回的数据量，而且提高了服务器侧返回的相关物品信息与当前物品的关联程度，方便用户快速选择定位
需要说明的是，上述步骤202中从服务侧返回的识别出的物品属性信息中所携带的物品类别信息，以及步骤206中向服务器侧发送的物品信息获取请求中所携带的物品类别信息均为可选信息，其目的是为了服务器侧能够对从物品信息库中查找得出的物品信息使用该物品类别信息做进一步筛选匹配，容易理解，即使上述步骤中不携带该物品类别信息也是可以的，本发明实施例对此不作具体限制。
进一步的，具体实现时，所述在页面中显示服务器侧返回的相关物品信息时可采用不同的展现形式。例如，在当前页面中创建一个可关闭的窗体，然后以物品信息列表的形式在所述窗体中显示相关物品信息。具体的，该相关物品信息列表中显示有物品缩略图、物品价格、物品来源(电商平台)，当用户点击物品缩略图后可根据该缩略图对应的物品链接跳转至对应电商网站物品页面。参见图4，示出了一个在窗体中显示相关物品信息的效果示意图。
进一步的，在本发明的一个可选实施例中，所述步骤205之后还包括：
步骤208、当用户使用鼠标或手指移动到所述物品信息提示标记的显示响应区时，显示该图片上的相关物品信息提示标记；
步骤209、当鼠标或手指移出所述显示响应区时，将所述相关物品信息提示标记设置为隐藏状态。
具体的，可根据物品的区域尺寸信息设置显示响应区的范围。例如，在图3所示的场景中，当鼠标移动至其中任意一个物品(外套、裤子、包)所在的区域时，显示该物品对应的相关物品信息提示标记。
综上所述，本发明实施例根据服务器侧返回的识别出的物品区域尺寸信息确定页面图片中目标位置，并设置相关物品信息提示标记，之后，当用户点击图片上的相关物品信息提示标记时，从服务器侧获取对应的相关物品信息进行显示，这样一来，当用户浏览网页中看到任何自己感兴趣的物品或商品时，可直接点击物品信息提示标记来查看相关物品信息，由于该相关物品信息是服务器侧根据物品区域图像计算分类特征，并按照该分类特征从商品信息库中查找得到的满足相似度阈值的物品信息，因此，可有效保证用户点击提示标记后看到的相关物品信息与当前物品之间在物品类别上具有非常高的关联度，提高了相关物品信息的准确性。
方法实施例三
本实施例结合具体应用环境对上述实施例中对图片进行识别得到物品属性信息的过程做进一步详细描述，该方法应用于服务器侧，具体包括：
步骤501、接收用户终端侧发送的物品识别请求；所述识别请求包括：图片链接地址；
步骤502、根据物品识别请求中的图片链接地址获取对应的源图片作为目标图；
步骤503、按预设条件对所述源图片进行匹配，若匹配，则执行步骤504；
本步骤为可选步骤。具体的，所述预设条件可以为图片大小、图片类型，例如：若源图片小于400x300，或者图片类型为gif，则认为该源图片不匹配，提示用户或结束本次处理。
步骤504、将所述目标图输入预先设置的物体探测模型；
其中，所述物体探测模型具体可通过预先收集图像，然后通过卷积神经网络系统不断学习训练后得到。
步骤505、对目标图使用训练完毕的物品分类CNN网络(物品分类模型)交替进行多次子抽样与局部平均计算以及卷积过程，并获取其最后卷积层的处理结果；
例如：对于一张分辨率为600*1000的目标图，最后一层卷积可得到的卷积特征图大小约为40*60。
步骤506、对上述步骤中最后卷积层的结果使用滑动窗口法进行处理，将得到若干个图像候选区域；
具体的，所述图像候选区域即可能包含有一个完整物品的最小区域。
参见图7，示出了对一个目标图处理得到的若干个图像候选区域的效果示意图。如图7所示，总共得到6个图像候选区域，分别表示为候选区域01、02、03、04、05、06。
步骤507、将上述图像候选区域提交给物品分类支持向量机(Support VectorMachine，SVM)进行处理，获取每个图像候选区域的分类特征向量；
例如：假设预先定义的物品类别表包含{外套、上装、裤子、裙装、鞋、包、配饰}时，分类特征向量可用(p(外套)，p(上装)，p(裤子)，p(裙装)，p(鞋)，p(包)，p(配饰))表示，p(X)代表该区域是X类物品的概率。上述6个图像候选区域通过SVM处理后得到的分类特征向量如下(仅作为示例，其中数值并非真实情况下的值)：
候选区域01(0.4,0.1,0.2,0.05,0.3,0.02,0.1)；
候选区域02(0.2,0.05,0.05,0.02,0.02,0.01,0.01)；
候选区域03(0.05,0.01,0.02,0.02,0.05,0.1,0.4)；
候选区域04(0.02,0.02,0.1,0.2,0.1,0.3,0.2)；
候选区域05(0.4,0.4,0.3,0.9,0.1,0.05,0.2)；
候选区域06(0.1,0.2,0.2,0.3,0.75,0.7,0.4)；
步骤508、对于其中的每一个图像候选区域，若其分类特征向量中有任一分量大于预设阈值X，则可确定该图像候选区域包含的物品类别属于预先所定义的物品类别表，确定该图像候选区域为有效物品区域；
步骤509、根据确定的有效物品区域选出其分类特征向量中取值最大的分量所对应的物品类别作为此区域的物品类别；选取该有效物品区域的顶点坐标确定出物品区域尺寸信息。
例如，若设置阈值为0.7，则仅有候选区域05与06可被认定为有效物品区域，其物品类别分别为裙装(0.9)与鞋(0.75)；然后，根据该有效物品区域的左上角、右下角相对坐标位置确定对应的物品区域尺寸信息。
装置实施例：
参照图6，示出了本发明的一种基于图片的相关物品信息处理装置实施例一的结构框图，所述装置具体可以包括：图片地址获取模块610、识别请求发送模块620、接收模块630、目标位置确定模块640、提示标记设置模块650；
其中，
图片地址获取模块610，用于获取页面中图片的链接地址；
识别请求发送模块620，用于发送针对所述图片的物品识别请求；所述物品识别请求包括：所述图片链接地址；
接收模块630，用于接收返回的识别出来的物品属性信息；所述物品属性信息包括：物品的区域尺寸信息；
目标位置确定模块640，用于基于物品的区域尺寸信息计算出该物品在所述页面图片中的目标位置坐标；
提示标记设置模块650，用于根据所述目标位置坐标，在所述页面图片之上设置相关物品信息提示标记。
综上所述，本发明上述实施例中识别请求发送模块620通过向服务器侧发送携带有图片链接地址的物品识别请求，然后，目标位置确定模块640基于接收模块630从服务器侧接收的识别出来的物品尺寸信息计算出该物品在页面图片中的目标位置坐标，提示标记设置模块650根据该目标位置坐标在页面图片之上设置相关物品信息的提示标记。这样一来，用户可直接通过该提示标记查看该图片的相关物品信息，避免了用户另行打开搜索引擎查询导致的使用繁琐不便的问题。
在本发明的另一可选实施例中，所述装置还包括：
物品识别模块，所述物品识别模块用于根据接收的物品识别请求对图片进行识别得到物品属性信息，所述物品属性信息包括：物品的区域尺寸信息；
所述物品识别模块，具体包括：
源图片第一获取子模块，用于根据物品识别请求中的图片链接地址获取对应的源图片；
第一识别子模块，用于使用预先设置的物品探测模型采用卷积神经网络系统对所述源图片进行识别，得到有效物品区域，以及对应的物品区域尺寸信息。
进一步的，所述物品识别模块所识别出的物品属性信息还包括：物品的类别信息；
所述物品识别模块，还包括；
第二识别子模块，用于根据卷积神经网络系统使用预先设置的物品分类模型确定所述有效物品区域的物品分类特征向量；从所述物品分类特征向量中选择向量值最大的分类确定为物品的类别信息。
在本发明的另一可选实施例中，所述装置还包括：
物品信息请求模块，用于当用户点击图片上的物品信息提示标记时，发送物品信息获取请求；所述物品信息获取请求包括：图片链接地址、物品区域尺寸信息；
物品信息显示模块，用于基于图片链接地址和物品区域尺寸信息，在页面中显示接收到的相关物品信息。
进一步的，所述装置还包括：
物品信息获取模块，用于根据接收到的物品信息获取请求获取对应的相关物品信息；所述物品信息获取请求包括：图片链接地址、物品区域尺寸信息；
所述物品信息获取模块，具体包括：
源图片第二获取子模块，用于根据图片链接地址获取对应的源图片；
区域图像抽取子模块，用于根据物品区域尺寸信息从所述源图片中抽取出对应的物品区域图像；
分类特征确定子模块，用于根据所述物品区域图像计算得到对应的分类特征值；
物品信息查询子模块，用于从预设的物品信息库中查找与所述分类特征值相似度满足预设阈值的物品信息。
需要说明的是，对于上述装置实施例而言，所述包含物品识别模块和/或物品信息获取模块的装置可应用于客户端，也可应用于服务器。当应用于客户端时，该客户端可直接对图片链接地址对应的源图片进行识别。
本发明实施例还提供了一种基于图片的相关物品信息处理系统，所述系统包括客户端和服务器；
其中，所述客户端包括：图片地址获取模块，用于获取页面中图片的链接地址；
识别请求发送模块，用于向服务器发送针对所述图片的物品识别请求；所述物品识别请求包括：所述图片链接地址；
接收模块，用于接收服务器返回的识别出来的物品属性信息；所述物品属性信息包括：物品的区域尺寸信息；
目标位置确定模块，用于基于物品的区域尺寸信息计算出该物品在所述页面图片中的目标位置坐标；
提示标记设置模块，用于根据所述目标位置坐标，在所述页面图片之上设置相关物品信息提示标记；
所述服务器包括：
物品识别模块，所述物品识别模块用于根据接收的物品识别请求对图片进行识别得到物品属性信息，并将所述物品属性信息返回至所述客户端；所述物品属性信息包括：物品的区域尺寸信息；
所述物品识别模块，具体包括：
源图片第一获取子模块，用于根据物品识别请求中的图片链接地址获取对应的源图片；
第一识别子模块，用于使用预先设置的物品探测模型采用卷积神经网络系统对所述源图片进行识别，得到有效物品区域，以及对应的物品区域尺寸信息。
其中，所述物品识别模块，还包括；
第二识别子模块，用于根据卷积神经网络系统使用预先设置的物品分类模型确定所述有效物品区域的物品分类特征向量；从所述物品分类特征向量中选择向量值最大的分类确定为物品的类别信息。
进一步的，所述客户端还包括：
物品信息请求模块，用于当用户点击图片上的物品信息提示标记时，发送物品信息获取请求；所述物品信息获取请求包括：图片链接地址、物品区域尺寸信息；
物品信息显示模块，用于基于图片链接地址和物品区域尺寸信息，在页面中显示接收到的相关物品信息。
进一步的，所述服务器还包括：
物品信息获取模块，用于根据接收到的物品信息获取请求获取对应的相关物品信息，并将所述相关物品信息返回至所述客户端；所述物品信息获取请求包括：图片链接地址、物品区域尺寸信息；
所述物品信息获取模块，具体包括：
源图片第二获取子模块，用于根据图片链接地址获取对应的源图片；
区域图像抽取子模块，用于根据物品区域尺寸信息从所述源图片中抽取出对应的物品区域图像；
分类特征确定子模块，用于根据所述物品区域图像计算得到对应的分类特征值；
物品信息查询子模块，用于从预设的物品信息库中查找与所述分类特征值相似度满足预设阈值的物品信息。
本发明实施例的一种基于图片的相关物品信息处理装置、系统用于实现前述方法实施例中相应的基于图片的相关物品信息处理方法，并具有与方法实施例相应的有益效果。
对于装置、系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于图片的相关物品信息处理方法，其特征在于，所述方法包括：
获取页面中图片的链接地址；
向服务器侧发送针对所述图片的物品识别请求；所述物品识别请求包括：所述图片链接地址；
接收服务器侧返回的识别出来的物品属性信息；所述物品属性信息包括：物品的区域尺寸信息；
基于物品的区域尺寸信息计算出该物品在所述页面图片中的目标位置坐标；
根据所述目标位置坐标，在所述页面图片之上设置相关物品信息提示标记。
2.根据权利要求1所述的方法，其特征在于，所述物品属性信息通过以下步骤得到：
根据物品识别请求中的图片链接地址获取对应的源图片；
使用预先设置的物品探测模型采用卷积神经网络系统对所述源图片进行识别，得到有效物品区域，以及对应的物品区域尺寸信息。
3.根据权利要求2所述的方法，其特征在于，所述从服务器侧返回的物品属性信息还包括：物品的类别信息；
所述使用预先设置的物品探测模型采用卷积神经网络算法对所述源图片进行识别，得到有效物品区域，以及对应的物品区域尺寸信息的步骤之后，还包括；
根据卷积神经网络系统使用预先设置的物品分类模型确定所述有效物品区域的物品分类特征向量；
从所述物品分类特征向量中选择向量值最大的分类确定为物品的类别信息。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当用户点击图片上的物品信息提示标记时，向服务器侧发送物品信息获取请求；所述物品信息获取请求包括：图片链接地址、物品区域尺寸信息；
基于图片链接地址和物品区域尺寸信息，在页面中显示从服务器侧接收到的相关物品信息。
5.根据权利要求4所述的方法，其特征在于，所述相关物品信息通过以下步骤得到：
根据图片链接地址获取对应的源图片；
根据物品区域尺寸信息从所述源图片中抽取出对应的物品区域图像；
根据所述物品区域图像计算得到对应的分类特征值；
从预设的物品信息库中查找与所述分类特征值相似度满足预设阈值的物品信息。
6.一种基于图片的相关物品信息处理装置，其特征在于，所述装置包括：
图片地址获取模块，用于获取页面中图片的链接地址；
识别请求发送模块，用于发送针对所述图片的物品识别请求；所述物品识别请求包括：所述图片链接地址；
接收模块，用于接收返回的识别出来的物品属性信息；所述物品属性信息包括：物品的区域尺寸信息；
目标位置确定模块，用于基于物品的区域尺寸信息计算出该物品在所述页面图片中的目标位置坐标；
提示标记设置模块，用于根据所述目标位置坐标，在所述页面图片之上设置相关物品信息提示标记。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
物品识别模块，所述物品识别模块用于根据接收的物品识别请求对图片进行识别得到物品属性信息，所述物品属性信息包括：物品的区域尺寸信息；
所述物品识别模块，具体包括：
源图片第一获取子模块，用于根据物品识别请求中的图片链接地址获取对应的源图片；
第一识别子模块，用于使用预先设置的物品探测模型采用卷积神经网络系统对所述源图片进行识别，得到有效物品区域，以及对应的物品区域尺寸信息。
8.根据权利要求7所述的装置，其特征在于，所述物品识别模块所识别出的物品属性信息还包括：物品的类别信息；
所述物品识别模块，还包括；
第二识别子模块，用于根据卷积神经网络系统使用预先设置的物品分类模型确定所述有效物品区域的物品分类特征向量；从所述物品分类特征向量中选择向量值最大的分类确定为物品的类别信息。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：
物品信息请求模块，用于当用户点击图片上的物品信息提示标记时，发送物品信息获取请求；所述物品信息获取请求包括：图片链接地址、物品区域尺寸信息；
物品信息显示模块，用于基于图片链接地址和物品区域尺寸信息，在页面中显示接收到的相关物品信息。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
物品信息获取模块，用于根据接收到的物品信息获取请求获取对应的相关物品信息；所述物品信息获取请求包括：图片链接地址、物品区域尺寸信息；
所述物品信息获取模块，具体包括：
源图片第二获取子模块，用于根据图片链接地址获取对应的源图片；
区域图像抽取子模块，用于根据物品区域尺寸信息从所述源图片中抽取出对应的物品区域图像；
分类特征确定子模块，用于根据所述物品区域图像计算得到对应的分类特征值；
物品信息查询子模块，用于从预设的物品信息库中查找与所述分类特征值相似度满足预设阈值的物品信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610396744.9A CN106095884A (zh) | 2016-06-03 | 2016-06-03 | 一种基于图片的相关物品信息处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610396744.9A CN106095884A (zh) | 2016-06-03 | 2016-06-03 | 一种基于图片的相关物品信息处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106095884A true CN106095884A (zh) | 2016-11-09 |
Family
ID=57448572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610396744.9A Pending CN106095884A (zh) | 2016-06-03 | 2016-06-03 | 一种基于图片的相关物品信息处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106095884A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108205555A (zh) * | 2016-12-19 | 2018-06-26 | 北京奇虎科技有限公司 | 信息推荐方法、装置、浏览器和终端设备 |
| WO2018121013A1 (en) * | 2016-12-29 | 2018-07-05 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for detecting objects in images |
| CN108388397A (zh) * | 2018-02-13 | 2018-08-10 | 维沃移动通信有限公司 | 一种信息处理方法及终端 |
| CN109492121A (zh) * | 2018-09-30 | 2019-03-19 | 深圳壹账通智能科技有限公司 | 智能识别图片的方法、装置、服务器及存储介质 |
| CN109816406A (zh) * | 2019-02-26 | 2019-05-28 | 北京理工大学 | 一种物品标记方法、装置、设备和介质 |
| CN110378303A (zh) * | 2019-07-25 | 2019-10-25 | 杭州睿琪软件有限公司 | 用于对象识别的方法及系统 |
| CN110490086A (zh) * | 2019-07-25 | 2019-11-22 | 杭州睿琪软件有限公司 | 一种用于对象识别结果二次确认的方法及系统 |
| CN110750664A (zh) * | 2019-10-15 | 2020-02-04 | 腾讯科技（深圳）有限公司 | 图片的显示方法及装置 |
| CN111198960A (zh) * | 2019-12-27 | 2020-05-26 | 五八有限公司 | 用户画像数据的确定方法、装置、电子设备及存储介质 |
| CN111209501A (zh) * | 2019-12-27 | 2020-05-29 | 五八有限公司 | 一种图片显示方法、装置、电子设备及存储介质 |
| CN111611470A (zh) * | 2019-02-22 | 2020-09-01 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和电子设备 |
| WO2021072699A1 (en) * | 2019-10-17 | 2021-04-22 | Shenzhen Malong Technologies Co., Ltd. | Irregular scan detection for retail systems |
| CN116197888A (zh) * | 2021-11-28 | 2023-06-02 | 梅卡曼德（北京）机器人科技有限公司 | 物品位置确定方法、装置、电子设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999535A (zh) * | 2011-09-19 | 2013-03-27 | 阿里巴巴集团控股有限公司 | 信息显示方法和信息获取方法、客户端和服务器 |
| CN104866524A (zh) * | 2015-04-10 | 2015-08-26 | 大连交通大学 | 一种商品图像精细分类方法 |
| CN105320482A (zh) * | 2014-07-25 | 2016-02-10 | 中兴通讯股份有限公司 | 一种用于移动终端的物品显示方法及移动终端 |
| CN105426455A (zh) * | 2015-11-12 | 2016-03-23 | 中国科学院重庆绿色智能技术研究院 | 基于图片处理来对衣服进行分类管理的方法和装置 |
-
2016
- 2016-06-03 CN CN201610396744.9A patent/CN106095884A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999535A (zh) * | 2011-09-19 | 2013-03-27 | 阿里巴巴集团控股有限公司 | 信息显示方法和信息获取方法、客户端和服务器 |
| CN105320482A (zh) * | 2014-07-25 | 2016-02-10 | 中兴通讯股份有限公司 | 一种用于移动终端的物品显示方法及移动终端 |
| CN104866524A (zh) * | 2015-04-10 | 2015-08-26 | 大连交通大学 | 一种商品图像精细分类方法 |
| CN105426455A (zh) * | 2015-11-12 | 2016-03-23 | 中国科学院重庆绿色智能技术研究院 | 基于图片处理来对衣服进行分类管理的方法和装置 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108205555A (zh) * | 2016-12-19 | 2018-06-26 | 北京奇虎科技有限公司 | 信息推荐方法、装置、浏览器和终端设备 |
| WO2018121013A1 (en) * | 2016-12-29 | 2018-07-05 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for detecting objects in images |
| US11113840B2 (en) | 2016-12-29 | 2021-09-07 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for detecting objects in images |
| CN108388397A (zh) * | 2018-02-13 | 2018-08-10 | 维沃移动通信有限公司 | 一种信息处理方法及终端 |
| CN109492121A (zh) * | 2018-09-30 | 2019-03-19 | 深圳壹账通智能科技有限公司 | 智能识别图片的方法、装置、服务器及存储介质 |
| CN111611470A (zh) * | 2019-02-22 | 2020-09-01 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和电子设备 |
| CN109816406A (zh) * | 2019-02-26 | 2019-05-28 | 北京理工大学 | 一种物品标记方法、装置、设备和介质 |
| CN109816406B (zh) * | 2019-02-26 | 2021-01-22 | 北京理工大学 | 一种物品标记方法、装置、设备和介质 |
| CN110490086B (zh) * | 2019-07-25 | 2021-08-20 | 杭州睿琪软件有限公司 | 一种用于对象识别结果二次确认的方法及系统 |
| US11335087B2 (en) | 2019-07-25 | 2022-05-17 | Hangzhou Glority Software Limited | Method and system for object identification |
| CN110378303A (zh) * | 2019-07-25 | 2019-10-25 | 杭州睿琪软件有限公司 | 用于对象识别的方法及系统 |
| CN110490086A (zh) * | 2019-07-25 | 2019-11-22 | 杭州睿琪软件有限公司 | 一种用于对象识别结果二次确认的方法及系统 |
| CN110378303B (zh) * | 2019-07-25 | 2021-07-09 | 杭州睿琪软件有限公司 | 用于对象识别的方法及系统 |
| CN110750664A (zh) * | 2019-10-15 | 2020-02-04 | 腾讯科技（深圳）有限公司 | 图片的显示方法及装置 |
| WO2021072699A1 (en) * | 2019-10-17 | 2021-04-22 | Shenzhen Malong Technologies Co., Ltd. | Irregular scan detection for retail systems |
| CN111209501A (zh) * | 2019-12-27 | 2020-05-29 | 五八有限公司 | 一种图片显示方法、装置、电子设备及存储介质 |
| CN111198960A (zh) * | 2019-12-27 | 2020-05-26 | 五八有限公司 | 用户画像数据的确定方法、装置、电子设备及存储介质 |
| CN111209501B (zh) * | 2019-12-27 | 2023-04-21 | 五八有限公司 | 一种图片显示方法、装置、电子设备及存储介质 |
| CN116197888A (zh) * | 2021-11-28 | 2023-06-02 | 梅卡曼德（北京）机器人科技有限公司 | 物品位置确定方法、装置、电子设备和存储介质 |
| CN116197888B (zh) * | 2021-11-28 | 2023-12-19 | 梅卡曼德（北京）机器人科技有限公司 | 物品位置确定方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106095884A (zh) | 一种基于图片的相关物品信息处理方法及装置 | |
| EP3267362B1 (en) | Machine learning image processing | |
| US10747826B2 (en) | Interactive clothes searching in online stores | |
| KR102127191B1 (ko) | 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
| JP6825141B2 (ja) | 服飾コーディネーションの推薦方法および装置、電子デバイス、記憶媒体 | |
| KR102244561B1 (ko) | 이미지 특징 데이터 추출 및 사용 | |
| US9336459B2 (en) | Interactive content generation | |
| US10346893B1 (en) | Virtual dressing room | |
| US9607010B1 (en) | Techniques for shape-based search of content | |
| US10776417B1 (en) | Parts-based visual similarity search | |
| US20200342320A1 (en) | Non-binary gender filter | |
| US20160284007A1 (en) | Information processing apparatus, information processing method, and recording medium | |
| US20140254942A1 (en) | Systems and methods for obtaining information based on an image | |
| US9830534B1 (en) | Object recognition | |
| US20170124618A1 (en) | Methods and Systems for Image-Based Searching of Product Inventory | |
| KR102043440B1 (ko) | 이미지 내 복수의 객체들의 조화에 기반한 조화 검색 방법 및 시스템 | |
| CN108492160A (zh) | 信息推荐方法和装置 | |
| CN108764232B (zh) | 标签位置获取方法及装置 | |
| KR102260683B1 (ko) | 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
| KR20200132681A (ko) | 상품 정보 등록 방법 및 서버 | |
| KR102113318B1 (ko) | 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
| Lodkaew et al. | Fashion finder: A system for locating online stores on instagram from product images | |
| KR20110114843A (ko) | 이미지 데이터에 대응하는 정보 제공 방법 및 시스템 | |
| KR20230045758A (ko) | 손 그림을 이용한 의류 검색 시스템 및 방법 | |
| Shubhangi et al. | Analyzing fashion trends using CNN and Cloth classification with respect to season and state |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161109 |
|
| RJ01 | Rejection of invention patent application after publication |