CN111506758A - 物品名称确定方法、装置、计算机设备及存储介质 - Google Patents
物品名称确定方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111506758A CN111506758A CN202010299942.XA CN202010299942A CN111506758A CN 111506758 A CN111506758 A CN 111506758A CN 202010299942 A CN202010299942 A CN 202010299942A CN 111506758 A CN111506758 A CN 111506758A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- article
- item
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000012545 processing Methods 0.000 claims abstract description 57
- 230000011218 segmentation Effects 0.000 claims abstract description 43
- 239000013598 vector Substances 0.000 claims description 48
- 238000001514 detection method Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 13
- 230000009193 crawling Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 239000000919 ceramic Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000002537 cosmetic Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3347—Query execution using vector based model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/158—Segmentation of character regions using character size, text spacings or pitch estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19107—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Library & Information Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种物品名称确定方法、装置、计算机设备及存储介质,属于计算机技术领域。该方法包括:获取包含目标物品的第一图像,从数据库中选取与第一图像相似的多个参考图像,对多个参考图像对应的物品文本信息进行分词处理,得到多个词语,从多个词语中提取满足预设条件的关键词语,确定为目标物品的物品名称。通过确定与第一图像相似的多个参考图像,提高了获取到的物品文本信息的准确性,从获取到的物品文本信息中提取满足预设条件关键词语,提高了得到的关键词语的准确性,从而提高了确定的物品名称的准确性。
Description
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种物品名称确定方法、装置、计算机设备及存储介质。
背景技术
随着计算机技术的发展,用户可以通过多种方式获取物品的物品详情信息,如通过文字来搜索物品详情信息或者通过图片来搜索物品详情信息等。
相关技术中提供了一种物品搜索方法,根据包含目标物品的第一图像进行搜索,将与该第一图像相似的其他图像对应的物品详情信息,作为目标物品的物品详情信息。由于上述方法中仅考虑了物品图像,导致确定的物品详情信息的准确性差。
发明内容
本申请实施例提供了一种物品名称确定方法、装置、计算机设备及存储介质,能够提高确定的物品名称的准确性。所述技术方案如下:
一方面,提供了一种物品名称确定方法,所述方法包括:
获取包含目标物品的第一图像;
从数据库中选取与所述第一图像相似的多个参考图像,所述数据库中包括多个图像和所述多个图像对应的物品详情信息,所述图像对应的物品详情信息用于对所述图像中包含的物品进行描述,所述图像对应的物品详情信息至少包括物品文本信息;
对所述多个参考图像对应的物品文本信息进行分词处理,得到多个词语;
从所述多个词语中提取满足预设条件的关键词语,确定为所述目标物品的物品名称。
在一种可能实现方式中,所述方法还包括:
在所述显示界面中,显示所述多个参考图像对应的物品详情信息。
在另一种可能实现方式中,所述获取包含目标物品的第一图像,包括:
通过显示界面检测到对物品识别选项的触发操作,获取包含目标物品的第一图像。
另一方面,提供了一种物品名称确定装置,所述装置包括:
图像获取模块,用于获取包含目标物品的第一图像;
图像选取模块,用于从数据库中选取与所述第一图像相似的多个参考图像,所述数据库中包括多个图像和所述多个图像对应的物品详情信息,所述图像对应的物品详情信息用于对所述图像中包含的物品进行描述,所述图像对应的物品详情信息至少包括物品文本信息;
分词处理模块,用于对所述多个参考图像对应的物品文本信息进行分词处理,得到多个词语;
物品名称确定模块,用于从所述多个词语中提取满足预设条件的关键词语,确定为所述目标物品的物品名称。
在一种可能实现方式中,所述物品名称确定模块,包括:
中心向量确定单元,用于将所述多个词语的词向量的平均值,确定为中心向量;
关键词语确定单元,用于确定多个词向量中每个词向量与所述中心向量之间的距离,将距离最小的词向量对应的词语,确定为所述满足预设条件的关键词语。
在另一种可能实现方式中,所述分词处理模块,包括:
分词处理单元,用于按照多个预设长度,对所述多个参考图像对应的物品文本信息进行分词处理,分别得到长度等于每个预设长度的词语。
在另一种可能实现方式中,所述物品名称确定模块,包括:
出现频率确定单元,用于确定所述多个词语在所述多个参考图像对应的物品文本信息中的出现频率;
关键词语确定单元,用于从所述多个词语中,选取长度最大且出现频率大于预设阈值的词语,确定为所述满足预设条件的关键词语;或者,
所述关键词语确定单元,用于从所述多个词语中,选取出现频率最大的词语,确定为所述满足预设条件的关键词语。
在另一种可能实现方式中,所述图像获取模块,包括:
图像获取单元,用于获取包含所述目标物品的原始图像;
物品检测单元,用于对所述原始图像进行物品检测,确定所述目标物品在所述原始图像中所处的区域;
图像提取单元,用于从所述原始图像中提取所述区域的图像,得到所述第一图像。
在另一种可能实现方式中,所述数据库中包括属于多个类别的图像;所述图像选取模块,包括:
类别确定单元,用于确定所述第一图像所属的目标类别;
图像选取单元,用于从数据库中选取属于所述目标类别且与所述第一图像相似的多个参考图像。
在另一种可能实现方式中,所述类别确定单元,还用于分别获取所述多个类别中每个类别与所述第一图像之间的相似度;将所述多个类别中与所述第一图像之间的相似度最大的类别,确定为所述目标类别。
在另一种可能实现方式中,所述数据库包括多个子数据库,不同的子数据库对应不同的类别,每个子数据库中包括属于对应类别的至少一个图像和所述至少一个图像对应的物品详情信息;
所述类别确定单元,还用于对于所述多个子数据库中的每个子数据库,执行如下步骤:
获取所述子数据库中每个图像与所述第一图像的相似度;根据所述每个图像与所述第一图像之间的相似度,从所述子数据库中选取多个第二图像,所述第二图像与所述第一图像的相似度大于所述子数据库中其他图像与所述第一图像的相似度;确定所述多个第二图像对应的平均相似度,将所述平均相似度确定为所述子数据库对应的类别与所述第一图像之间的相似度。
在另一种可能实现方式中,所述分词处理模块,包括:
聚类处理单元,用于对所述多个参考图像进行聚类处理,得到多个图像堆,每个图像堆包括至少两个参考图像;
相似度获取单元,用于根据每个图像堆中的参考图像与所述第一图像之间的相似度,获取所述每个图像堆与所述第一图像之间的相似度;
图像堆确定单元,用于从所述多个图像堆中,选取与所述第一图像的相似度最大的图像堆,确定为目标图像堆;
分词处理单元,用于对所述目标图像堆中的多个参考图像对应的物品文本信息进行分词处理,得到多个词语。
在另一种可能实现方式中,所述聚类处理单元,还用于响应于所述多个参考图像中任两个参考图像之间的相似度大于预设阈值,建立所述任两个参考图像之间的关联关系;将所述多个参考图像中具有关联关系的参考图像构成一个图像堆,得到所述多个图像堆。
在另一种可能实现方式中,所述从所述多个词语中提取满足预设条件的关键词语,确定为所述目标物品的物品名称之后,所述装置还包括:
信息搜索模块,用于根据所述物品名称进行搜索,得到所述物品名称对应的物品详情信息;
信息显示模块,用于在当前的显示界面中,显示所述物品详情信息。
在另一种可能实现方式中,所述装置还包括:
所述图像选取模块,用于从所述多个参考图像中选出质量分值最高的参考图像,作为所述目标物品的展示图像;
图像显示模块,用于在所述显示界面中,显示所述展示图像。
在另一种可能实现方式中,所述装置还包括:
所述信息显示模块,还用于在所述显示界面中,显示所述多个参考图像对应的物品详情信息。
在另一种可能实现方式中,所述图像获取模块,包括:
图像获取单元,用于通过显示界面检测到对物品识别选项的触发操作,获取包含目标物品的第一图像。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如上述方面所述的物品名称确定方法。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如上述方面所述的物品名称确定方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
本申请实施例提供的方法、装置、计算机设备及存储介质,获取包含目标物品的第一图像,从数据库中选取与第一图像相似的多个参考图像,对多个参考图像对应的物品文本信息进行分词处理,得到多个词语,从多个词语中提取满足预设条件的关键词语,确定为目标物品的物品名称。通过确定与第一图像相似的多个参考图像,提高了获取到的物品文本信息的准确性,从获取到的物品文本信息中提取满足预设条件关键词语,提高了得到的关键词语的准确性,从而提高了确定的物品名称的准确性。
根据确定的物品名称进行搜索,使搜索物品详情信息的过程更具有针对性,从而提高了得到的物品详情信息的准确性。
通过在显示界面中显示物品名称对应的物品详情信息、展示图像及多个参考图像对应的物品详情信息,丰富了显示界面中包括的内容,提高了对用户的吸引力。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图;
图2是本申请实施例提供的一种物品名称确定方法的流程图;
图3是本申请实施例提供的一种物品名称确定方法的流程图;
图4是本申请实施例提供的一种物品名称确定方法的流程图;
图5是本申请实施例提供的一种物品名称确定方法的流程图;
图6是本申请实施例提供的一种显示物品详情信息的示意图;
图7是本申请实施例提供的一种显示物品详情信息的示意图;
图8是本申请实施例提供的一种物品名称确定方法的流程图;
图9是本申请实施例提供的一种物品名称确定方法的流程图;
图10是本申请实施例提供的一种设置模型训练数据库的流程图;
图11是本申请实施例提供的一种任务调度平台的结构示意图;
图12是本申请实施例提供的一种物品名称确定方法的流程图;
图13是本申请实施例提供的一种物品名称确定装置的结构示意图;
图14是本申请实施例提供的一种物品名称确定装置的结构示意图;
图15是本申请实施例提供的一种终端的结构示意图;
图16是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一图像称为第二图像,且类似地,可将第二图像称为第一图像。
本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”,至少一个包括一个、两个或两个以上,多个包括两个或两个以上,而每个是指对应的多个中的每一个,任一是指多个中的任意一个。举例来说,多个元素包括3个元素,而每个是指这3个元素中的每一个元素,任一是指这3个元素中的任意一个,可以是第一个,可以是第二个、也可以是第三个。
本申请实施例提供的物品名称确定方法,可以用于计算机设备中,该计算机设备包括终端或服务器,该终端可以为手机、计算机、平板电脑等多种类型的终端,该服务器可以为一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务器中心。
图1是本申请实施例提供的一种实施环境的结构示意图,如图1所示,该实施环境包括终端101和服务器102。终端101与服务器102建立通信连接,通过建立的通信连接进行交互。其中,该终端101可以为手机、计算机、平板电脑等多种类型的终端。服务器102可以为一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务器中心。
终端101获取到包含目标物品的第一图像,将第一图像发送至服务器102,服务器102从数据库中选取与第一图像相似的多个参考图像,对多个参考图像对应的物品文本信息进行分词处理,得到多个词语,从多个词语中提取满足预设条件的关键词语,确定为目标物品的物品名称,服务器102向终端101发送物品名称,终端101显示该物品名称,供用户查看。
本申请实施例提供的方法,可用于物品识别的场景。
例如,物品详情信息获取场景下:
终端在获取到包含目标物品的第一图像后,采用本申请实施例提供的物品名称确定方法,确定目标物品的物品名称,通过该物品名称进行搜索,在显示界面中显示搜索得到的物品详情信息,以供用户进行查看。
再例如,物品购物链接获取场景下:
终端在获取到包含目标物品的第一图像后,采用本申请实施例提供的物品名称确定方法,确定目标物品的物品名称,通过该物品名称进行搜索,得到该物品名称对应的购物链接,在显示界面中显示该购物链接,以使用户查看该购物链接可以购买该目标物品。
图2是本申请实施例提供的一种物品名称确定方法的流程图,应用于计算机设备中,如图2所示,该方法包括:
201、获取包含目标物品的第一图像。
其中,目标物品为待识别的物品,该目标物品可以是任一物品,如手机、电脑、书籍、鞋子、化妆品等。该目标物品可以在第一图像中的任一区域,如第一图像中的中间区域、左上角区域等。该第一图像中除了包含目标物品外,还可以包含其他物品,如桌子、椅子、墙面等。
202、从数据库中选取与第一图像相似的多个参考图像。
数据库中包括多个图像和多个图像对应的物品详情信息,图像对应的物品详情信息用于对图像中包含的物品进行描述。
图像对应的物品详情信息至少包括物品文本信息。其中,该物品文本信息可以为图像包含的物品对应的标题信息、简介信息等,用于对该物品进行描述。该物品详情信息中除了包括物品文本信息外,还可以包括物品链接信息、或者物品的其他信息等。该物品链接信息可以为购买该物品的购物链接、或者包含该物品的图片对应的链接地址等。
在本申请实施例中,数据库中包括多个图像和多个图像对应的物品详情信息,在该数据库中,可以是每个图像对应一个物品详情信息,也可以是多个图像对应一个物品详情信息,也可以是多个图像对应多个物品详情信息。例如,在数据库中的多个图像,如果不同的图像中包含的物品不同,且不同的物品详情信息是对不同的物品进行描述,则每个图像对应一个物品详情信息;如果多个图像包含相同的物品,且不同的物品详情信息是对不同的物品进行描述,则在数据库中多个图像对应一个物品详情信息;如果多个图像包含相同的物品,且多个物品详情信息是对同一个物品进行描述,则在数据库中多个图像与多个物品详情信息对应。
参考图像是该多个图像中与第一图像相似的图像,参考图像与第一图像相似,表示参考图像与第一图像中包含的物品相似。该多个参考图像可以是两个或者两个以上的参考图像。
203、对多个参考图像对应的物品文本信息进行分词处理,得到多个词语。
其中,物品文本信息包括多个字符,分词处理是将物品文本信息中包含的多个字符进行划分,得到多个词语。该多个词语中可以包括相同的词语,也可以包括不同的词语。
204、从多个词语中提取满足预设条件的关键词语,确定为目标物品的物品名称。
其中,该关键词语为该多个词语中的一个或多个词语。在该多个词语中,确定每个词语是否满足预设条件,将满足预设条件的词语作为关键词语。其中,预设条件为一般的物品文本信息中包括的物品名称所满足的条件,满足预设条件的关键词语为能够体现出该多个词语所描述的含义的词语,可以将确定的关键词作为目标物品的物品名称。
本申请实施例提供的方法,获取包含目标物品的第一图像,从数据库中选取与第一图像相似的多个参考图像,对多个参考图像对应的物品文本信息进行分词处理,得到多个词语,从多个词语中提取满足预设条件的关键词语,确定为目标物品的物品名称。通过确定与第一图像相似的多个参考图像,提高了获取到的物品文本信息的准确性,从获取到的物品文本信息中提取满足预设条件关键词语,提高了得到的关键词语的准确性,从而提高了确定的物品名称的准确性。
在一种可能实现方式中,从多个词语中提取满足预设条件的关键词语,包括:
将多个词语的词向量的平均值,确定为中心向量;
确定多个词向量中每个词向量与中心向量之间的距离,将距离最小的词向量对应的词语,确定为满足预设条件的关键词语。
在另一种可能实现方式中,对多个参考图像对应的物品文本信息进行分词处理,得到多个词语,包括:
按照多个预设长度,对多个参考图像对应的物品文本信息进行分词处理,分别得到长度等于每个预设长度的词语。
在另一种可能实现方式中,从多个词语中提取满足预设条件的关键词语,确定为目标物品的物品名称,包括:
确定多个词语在多个参考图像对应的物品文本信息中的出现频率;
从多个词语中,选取长度最大且出现频率大于预设阈值的词语,确定为满足预设条件的关键词语;或者,
从多个词语中,选取出现频率最大的词语,确定为满足预设条件的关键词语。
在另一种可能实现方式中,获取包含目标物品的第一图像,包括:
获取包含目标物品的原始图像;
对原始图像进行物品检测,确定目标物品在原始图像中所处的区域;
从原始图像中提取区域的图像,得到第一图像。
在另一种可能实现方式中,数据库中包括属于多个类别的图像;从数据库中选取与第一图像相似的多个参考图像,包括:
确定第一图像所属的目标类别;
从数据库中选取属于目标类别且与第一图像相似的多个参考图像。
在另一种可能实现方式中,确定第一图像所属的目标类别,包括:
分别获取多个类别中每个类别与第一图像之间的相似度;
将多个类别中与第一图像之间的相似度最大的类别,确定为目标类别。
在另一种可能实现方式中,数据库包括多个子数据库,不同的子数据库对应不同的类别,每个子数据库中包括属于对应类别的至少一个图像和至少一个图像对应的物品详情信息;
分别获取多个类别中每个类别与第一图像之间的相似度,包括:
对于多个子数据库中的每个子数据库,执行如下步骤:
获取子数据库中每个图像与第一图像的相似度;
根据每个图像与第一图像之间的相似度,从子数据库中选取多个第二图像,第二图像与第一图像的相似度大于子数据库中其他图像与第一图像的相似度;
确定多个第二图像对应的平均相似度,将平均相似度确定为子数据库对应的类别与第一图像之间的相似度。
在另一种可能实现方式中,对多个参考图像对应的物品文本信息进行分词处理,得到多个词语,包括:
对多个参考图像进行聚类处理,得到多个图像堆,每个图像堆包括至少两个参考图像;
根据每个图像堆中的参考图像与第一图像之间的相似度,获取每个图像堆与第一图像之间的相似度;
从多个图像堆中,选取与第一图像的相似度最大的图像堆,确定为目标图像堆;
对目标图像堆中的多个参考图像对应的物品文本信息进行分词处理,得到多个词语。
在另一种可能实现方式中,对多个参考图像进行聚类处理,得到多个图像堆,包括:
响应于多个参考图像中任两个参考图像之间的相似度大于预设阈值,建立任两个参考图像之间的关联关系;
将多个参考图像中具有关联关系的参考图像构成一个图像堆,得到多个图像堆。
在另一种可能实现方式中,从多个词语中提取满足预设条件的关键词语,确定为目标物品的物品名称之后,方法还包括:
根据物品名称进行搜索,得到物品名称对应的物品详情信息;
在当前的显示界面中,显示物品详情信息。
在另一种可能实现方式中,方法还包括:
从多个参考图像中选出质量分值最高的参考图像,作为目标物品的展示图像;
在显示界面中,显示展示图像。
在另一种可能实现方式中,方法还包括:
在显示界面中,显示多个参考图像对应的物品详情信息。
在另一种可能实现方式中,获取包含目标物品的第一图像,包括:
通过显示界面检测到对物品识别选项的触发操作,获取包含目标物品的第一图像。
图3是本申请实施例提供的一种物品名称确定方法的流程图,应用于计算机设备中,如图3所示,该方法包括:
301、计算机设备获取包含目标物品的原始图像。
其中,目标物品为待识别的物品,该目标物品可以是任一物品,如手机、电脑、书籍、鞋子、化妆品等。该目标物品可以在第一图像中的任一区域,如第一图像中的中间区域、左上角区域等。该第一图像中除了包含的目标物品外,还可以包含其他物品,如桌子、椅子、墙面等。
在一种可能实现方式中,获取原始图像可以包括:计算机设备通过显示界面检测到对物品识别选项的触发操作,拍摄目标物品,得到该原始图像。其中,物品识别选项可以为物品识别按钮、物品识别滑动条等。例如,计算机设备显示界面中显示物品识别按钮,检测到用户对物品识别按钮的触发操作,通过摄像头拍摄目标物品,得到原始图像。
在另一种可能实现方式中,计算机设备通过显示界面检测到对物品识别选项的触发操作,显示相册中的多个图像,检测到对相册中原始图像的选中操作时,获取到该原始图像。其中,该相册中包括多个图像,原始图像为该多个图像中的任一图像。
302、计算机设备对原始图像进行物品检测,确定目标物品在原始图像中所处的区域。
由于原始图像中除了包括目标物品外,还可以包括其他物品,因此,通过对原始图像进行物品检测,可以识别出原始图像中包含的目标物品,从而确定出目标物品在原始图像中所处的区域。
在一种可能实现方式中,确定目标物品可以包括:对原始图像进行物品检测,确定原始图像中包含的多个物品,根据每个物品在原始图像中所占区域的尺寸,从多个物品中选出所占区域的尺寸最大的物品,确定为目标物品。
在另一种可能实现方式中,确定目标物品可以包括:对原始图像进行物品检测,确定原始图像中包含的多个物品,根据每个物品的中心位置与原始图像的中心位置之间的距离,从多个物品中选出与原始图像的中心位置之间距离最小的物品,确定为目标物品。
303、计算机设备从原始图像中提取该区域的图像,得到第一图像。
其中,第一图像中包含目标物品。
由于原始图像中可能会包括多个物品,为了提高对目标物品识别的准确性,对目标物品所处的区域进行提取,以使得到的第一图像中包含的物品少于原始图像中包含的物品,能够起到突出目标物品的效果,从而后续可以准确地识别出第一图像中包含的目标物品,并减小计算量。
需要说明的是,本申请实施例是以对原始图像进行提取得到第一图像进行说明的,而在另一实施例中,无需执行步骤301-303,可以执行通过显示界面检测到对物品识别选项的触发操作,获取包含目标物品的第一图像。该过程与上述步骤301中通过物品识别选项获取原始图像的过程类似,在此不再赘述。
304、计算机设备确定第一图像所属的目标类别。
第一图像所属的目标类别是指该第一图像中包含的目标物品所属的类别。该目标类别可以为鞋子类别、衣服类别、箱包类别、家电类别等。
在一种可能实现方式中,确定第一图像所属的目标类别,如图4所示,可以包括以下步骤3041-3042:
3041、分别获取多个类别中每个类别与第一图像之间的相似度。
其中,类别与第一图像之间的相似度用于表示第一图像与该类别的相似程度,相似度越高,则表示第一图像属于该类别的可能性越高。
在一种可能实现方式中,在本申请实施例中,数据库中包括多个图像和多个图像对应的物品详情信息,图像对应的物品详情信息用于对图像中包含的物品进行描述,图像对应的物品详情信息至少包括物品文本信息。并且,在该数据库中包括的多个图像可以属于不同的类别,为了便于将不同类别的图像及对应的物品详情信息区分存储,该数据库可以包括多个子数据库,不同的子数据库对应不同的类别,每个子数据库中包括属于对应类别的至少一个图像和至少一个图像对应的物品详情信息。例如,该多个子数据库包括鞋子子数据库、衣服子数据库、箱包子数据库、家电子数据库等。
相应地,该步骤3041可以包括:
1、对于多个子数据库中的每个子数据库,执行如下步骤:
2、获取子数据库中每个图像与第一图像的相似度。
其中,该图像与第一图像的相似度表示该图像与第一图像的相似程度,也即是图像中包含的物品与第一图像中包含的目标物品的相似程度。该相似度越大,则该图像与第一图像越相似,也即是图像中包含的物品与目标物品越相似。
在一种可能实现方式中,获取相似度可以包括:对每个图像及第一图像进行特征提取,得到该每个图像及第一图像的特征向量,对该每个图像的特征向量与第一图像的特征向量进行计算,得到每个图像与第一图像的相似度。其中,获取每个图像与第一图像的相似度的过程,可以采用欧几里德距离、曼哈顿距离、余弦相似度等算法计算得到。
3、根据每个图像与第一图像之间的相似度,从子数据库中选取多个第二图像。
其中,该多个第二图像可以包括两个或者两个以上第二图像。第二图像与第一图像的相似度大于该子数据库中其他图像与第一图像的相似度。由于在确定该子数据库中包括的每个图像与第一图像的相似度后,可以根据每个图像与第一图像的相似度的大小,从子数据库中包括的多个图像中选取相似度最大的多个第二图像。
在一种可能实现方式中,该步骤3可以包括:按照每个图像与第一图像之间的相似度由大到小的顺序,将该子数据库中的多个图像进行排序,从多个图像中选取相似度最大的多个图像,作为第二图像。
在另一种可能实现方式中,该步骤3可以包括:根据每个图像与第一图像之间的相似度,从子数据库中选取与第一图像之间的相似度大于预设相似度的多个图像,作为第二参考图像。
4、确定多个第二图像对应的平均相似度,将平均相似度确定为子数据库对应的类别与第一图像之间的相似度。
其中,平均相似度是指多个第二图像与第一图像之间的相似度的平均值。由于该子数据库对应一个类别,则可以将该平均相似度作为该子数据库对应的类别与第一图像之间的相似度。
在确定多个第二图像对应的平均相似度时,确定多个第二图像与第一图像之间的相似度的和值,将该和值与第二图像的个数之间的比值,确定为平均相似度。
3042、将多个类别中与第一图像之间的相似度最大的类别,确定为目标类别。
由于类别与第一图像之间的相似度越大,表示该第一图像与该类别越相似,也即是第一图像中包含的目标物品属于该类别的可能性越大,因此,从多个类别中选取与第一图像之间的相似度最大的类别,可以作为目标物品所属的目标类别。
305、计算机设备从数据库中选取属于目标类别且与第一图像相似的多个参考图像。
其中,数据库中包括属于多个类别的图像,则可以从数据库中存储的多个图像中确定属于目标类别的图像,从属于目标类别的图像中选取与第一图像相似的的多个图像,作为参考图像。
在一种可能实现方式中,该步骤305可以包括:确定数据库中属于目标类别的多个图像与第一图像的相似度,从该多个图像中选取预设数目个图像作为参考图像。其中,该预设数目可以是预先设置的任意数值,如5、6等。该参考图像与第一图像的相似度大于属于目标类别的其他图像与第一图像的相似度。
在另一种可能实现方式中,该步骤305可以包括:确定数据库中属于目标类别的多个图像与第一图像的相似度,从该多个图像中选取与第一图像的相似度大于预设阈值的图像作为参考图像。其中,该预设阈值可以为设置的任意数值,如80%。
另外,上述步骤301中涉及的相册与本申请实施例中的数据库不同。相册用于仅用于存储图像或视频,该图像或视频可以为用户通过计算机设备拍摄得到的,也可以从互联网上下载得到的,该相册可供用户直接查看存储的图像。而本申请实施例中数据库用于存储图像及图像对应的物品详情信息,可以是通过爬取工具从网络中爬取得到的,或者由技术人员进行设置得到的。该数据库是在为目标物品确定物品名称的过程中提供相关数据的。
在一种可能实现方式中,本申请实施例提供的方法应用于终端运行的互联网应用中,该互联网应用为计算机设备上独立运行的应用,该互联网应用可以为即时通信应用、电子支付应用、地图应用以及其他应用等。该互联网应用中运行了多个功能应用,该功能应用可以为互联网应用中的公众号或小程序等。小程序是一种不需要下载安装即可使用的应用程序。则数据库的构建可以包括:该互联网应用通过爬取多个功能应用的信息,获取到多个图像及多个图像对应的物品详情信息,将该多个图像及多个图像对应的物品详情信息存储于数据库中。
在互联网应用从多个功能应用中爬取信息时,可以采用定向导入、长尾加爬、访问重放、主动发现等策略进行爬取。该定向导入用于表示确定目标功能应用,爬取目标功能应用的信息,如,确定购物功能应用,则爬取购物功能应用中的图像及对应的购物链接。长尾加爬是根据数据库中存储物品详情信息中包括物品文本信息,爬取与物品文本信息对应的信息。访问重放是指确定历史爬取的多个功能应用,爬取该多个功能应用的信息,对该数据库存储的图像及图像对应的物品详情信息进行更新。主动发现是指该互联网应用通过随机控制模拟运行功能应用,爬取得到运行该功能应用中产生的信息。
为了保证数据库中包括的图像的质量,在将图像存储至数据库中时,需要对数据库中存储的图像进行重复筛除,以使数据库中包括的图像均不相同。重复筛除时可以采用AHash(Average Hash,平均值哈希)、DHash(Different Hash,差异值哈希)、PHash(Perceptual Hash,感知哈希)等算法,对数据库中的图像进行处理,通过对图像的亮度、尺度、对比度、边沿锐化、模糊、色度等进行调整,筛除重复的图像。
306、计算机设备对多个参考图像对应的物品文本信息进行分词处理,得到多个词语。
在本申请实施例中,数据库中还包括每个图像对应的物品详情信息,物品详情信息中至少包括物品文本信息,则在确定多个参考图像后,可以获取到该多个参考图像中对应的物品详情信息,从而可以获取到多个参考图像对应的物品文本信息。
其中,该物品文本信息可以为图像包含的物品对应的标题信息、简介信息等,用于对该物品进行描述。物品文本信息包括多个字符,分词处理是将物品文本信息中包含的多个字符分成多个词语。
在该多个词语中,可以包括相同的词语,也可以不包括相同的词语。由于多个参考图像对应的物品文本信息中可能会包括相同的词语,因此在对个参考图像对应的物品文本信息进行分词处理后,得到的多个词语中可能会包括相同的词语。但为了使得到的多个词语中不包括相同的词语,则需要对得到的词语进行重复筛除,将重复的词语只保留一个,从而使重复筛除后的多个词语均不相同。
在一种可能实现方式中,该步骤306可以包括:按照多个预设长度,对多个参考图像对应的物品文本信息进行分词处理,分别得到长度等于每个预设长度的词语。
其中,预设长度用于表示词语包含的字符个数,如预设长度为3,则该预设长度对应的词语包括3个字符。
按照多个预设长度中任一预设长度,对多个参考图像对应的物品文本信息进行分词处理,得到长度等于该预设长度的词语,之后继续按照其他预设长度对该多个参考图像对应的物品文本信息进行分词处理,从而得到长度等于每个预设长度的词语。
在一种可能实现方式中,如图5所示,该步骤306可以包括如下步骤3061-3064:
3061、对多个参考图像进行聚类处理,得到多个图像堆。
其中,每个图像堆包括至少两个参考图像。对多个参考图像进行聚类处理,将多个参考图像中无法构成图像堆的参考图像进行筛除,从而得到多个图像堆,避免了多个参考图像中噪声图像的影响,提高了后续得到的词语的准确性。其中,聚类处理可以采用DBSCAN(Density-Based Spatial Clustering of Applications with Noise,聚类算法),得到多个图像堆。
在一种可能实现方式中,该步骤3061可以包括:响应于多个参考图像中任两个参考图像之间的相似度大于预设阈值,建立任两个参考图像之间的关联关系,将多个参考图像中具有关联关系的参考图像构成一个图像堆,得到多个图像堆。其中,预设阈值可以是任意设置的数值,如80%或90%等。
由于在多个参考图像中,每个两个参考图像之间具有相似度,如果任两个参考图像之间的相似度大于预设阈值,则表示该两个参考图像之间的相似程度满足需求,则将该两个参考图像之间建立关联关系,使得具有关联关系的参考图像构成一个图像堆。
例如,多个参考图像包括参考图像1、参考图像2、参考图像3、参考图像4和参考图像5,参考图像1与参考图像2之间具有关联关系,参考图像2与参考图像3之间具有关联关系,参考图像3与参考图像4之间具有关联关系,参考图像4与参考图像5之间具有关联关系,则参考图像1、参考图像2、参考图像3、参考图像4和参考图像5构成一个图像堆。
3062、根据每个图像堆中的参考图像与第一图像之间的相似度,获取每个图像堆与第一图像之间的相似度。
由于每个图像堆中包括至少两个参考图像,每个参考图像与第一图像之间具有相似度,则由至少两个参考图像构成的图像堆与第一图像之间也具有相似度。
在一种可能实现方式中,获取图像堆与第一图像之间的相似度包括:确定该图像堆中多个参考图像与第一图像之间的相似度的平均值,将该平均值作为该图像堆与第一图像之间的相似度。其中,平均值为该图像堆中多个参考图像与第一图像之间的相似度的和值,与该图像堆中参考图像的个数之间的比值。
3063、从多个图像堆中,选取与第一图像的相似度最大的图像堆,确定为目标图像堆。
由于在多个图像堆中,图像堆与第一图像的相似度越大,表示图像堆中的参考图像与第一图像越相似,也即是参考图像中包含的物品与目标物品越相似,因此,从多个图像堆中选取与第一图像的相似度最大的图像堆作为目标图像堆。
3064、对目标图像堆中的多个参考图像对应的物品文本信息进行分词处理,得到多个词语。
该步骤与上述步骤306得到多个词语的过程类似,在此不再赘述。
307、计算机设备从多个词语中提取满足预设条件的关键词语,确定为目标物品的物品名称。
其中,预设条件为一般的物品文本信息中包括的物品名称所满足的条件,满足预设条件的关键词语为能够体现出该多个词语所描述的含义的词语,可以将确定的关键词语作为目标物品的物品名称。
在一种可能实现方式中,确定词语满足预设条件可以包括:将多个词语的词向量的平均值,确定为中心向量,确定多个词向量中每个词向量与中心向量之间的距离,将距离最小的词向量对应的词语,确定为满足预设条件的关键词语。
其中,每个词语可以用一个词向量表示,不同词语的词向量不同。词向量之间的距离越小,表示该两个词向量越相似。词向量之间的距离可以通过欧几里德距离、曼哈顿距离、余弦相似度等算法计算得到。
由于该多个词语是通过物品文本信息分词得到的,则该多个词语均是用于描述目标物品的词语,通过多个词语的词向量,确定出该多个词语对应的中心向量,词向量越接近中心向量的词语,表示该词语描述该目标物体越准确,因此,从多个词向量中选出与中心向量最小的词向量,将该词向量对应的词语确定为满足预设条件的关键词语。
在另一种可能实现方式中,确定多个词语在多个参考图像对应的物品文本信息中的出现频率,从多个词语中,选取长度最大且出现频率大于预设阈值的词语,确定为满足预设条件的关键词语;或者,从多个词语中,选取出现频率最大的词语,确定为满足预设条件的关键词语。
其中,出现频率用于表示词语在多个参考图像对应的物品文本信息中的出现次数所占的比重。预设阈值可以为任意设置的数值,如一般物品名称在对应的物品文本信息中的出现频率的最小值,可以作为该预设阈值。
由于物品文本信息是用于描述目标物品的,目标物品的物品名称比其他词语的出现次数大,则根据多个词语的出现频率即可确定出现频率较大的关键词,将关键词作为目标物品的物品名称。在确定关键词语时,可以直接将多个词语中出现频率最高的词语确定为关键词语。但由于不同长度的词语表示的含义可能相同,但长度大的词语包含的信息更多,如“博览会”和“XX市博览会”,因此,为了提高确定的关键词语的准确性,从多个词语中选取出现频率大于预设阈值且长度最大的词语,确定为关键词语。
另外,确定的多个词语,可以是按照多个预设长度对多个参考图像对应的物品文本信息进行分词处理得到的,则该多个词语中包括长度等于每个预设长度的词语。则在确定关键词语时,确定该多个词语在多个参考图像对应的物品文本信息中的出现频率,从多个词语中,选取长度最大且出现频率大于预设阈值的词语,确定为满足预设条件的关键词语;或者,从多个词语中,选取出现频率最大的词语,确定为满足预设条件的关键词语。
在一种可能实现方式中,确定词语的出现频率可以包括:对于任一词语,根据该词语遍历多个物品文本信息,确定包括该词语的物品文本信息的个数,将该个数与该多个物品文本信息的总个数之间的比值,确定为该词语的出现频率。
在一种可能实现方式中,确定词语的出现频率可以包括:对于任一词语,根据该词语遍历多个物品文本信息,确定该词语在多个物品文本信息中的出现次数,将该出现次数与物品文本信息的总个数之间的比值,确定为该词语的出现频率。
308、计算机设备根据物品名称进行搜索,得到物品名称对应的物品详情信息。
通过根据目标物品的物品名称进行搜索,使得到物品详情信息更准确,以使用户能够根据该物品详情信息了解目标物品。例如,对物品名称“咖啡杯”进行搜索,得到的物品详情信息中可以包括:关于“咖啡杯”的多个资讯以及“咖啡杯”的简介信息。
在一种可能实现方式中,本申请实施例提供的方法应用于物品识别客户端,该物品识别客户端具有搜索功能,则搜索过程可以包括:通过该物品识别客户端的搜索功能,对该物品名称进行搜索,得到物品名称对应的物品详情信息。
在另一种可能实现方式中,本申请实施例提供的方法应用于物品识别客户端,该物品识别客户端不具有搜索功能,则搜索过程可以包括:该物品识别客户端通过搜索应用客户端提供的接口,调用搜索应用客户端,对该物品名称进行搜索,得到该物品名称对应的物品详情信息。
309、计算机设备在当前的显示界面中,显示物品详情信息。
通过将搜索得到的物品详情信息在显示界面中显示出来,以便用户可以通过显示界面查看该物品详情信息,从而了解目标物品。
在一种可能实现方式中,该方法还包括:从多个参考图像中选出质量分值最高的参考图像,作为目标物品的展示图像,在显示界面中显示展示图像。
其中,质量分值用于表示参考图像中显示物品的质量。质量分值越高,则参考图像中显示的物品越清晰,参考图像中包含的其他内容越少,用户可以清楚地查看参考图像中包含的物品;质量分值越低,则参考图像中显示的物品越不清晰,参考图像中包含的其他内容越多,用户不便查看参考图像中包含的物品。
通过确定每个参考图像的质量分值,选取质量分值最高的参考图像,作为展示图像在显示界面中进行展示,则用户可以通过显示界面查看到该展示图像。
在一种可能实现方式中,确定参考图像的质量分值可以包括:确定参考图像的背景分值和文字分值,将该参考图像的背景分值与文字分值之间的差值,确定为该参考图像的质量分值。
其中,背景分值用于表示参考图像中除物品所在区域之外的其他区域包含内容的多少,其他区域包含的内容越多,则背景分值越低,其他区域包含的内容越少,则背景分值越高。例如,背景分值最高为1,则当参考图像除物品所在区域的其他区域为白色背景时,该参考图像的背景分值为1。
文字分值用于表示参考图像中除物品所在区域之外的其他区域包含的文字的多少,文字越多,该参考图像的文字分值越高,文字越少,则参考图像的文字分值越低。
在一种可能实现方式中,该方法还包括:在显示界面中,显示多个参考图像对应的物品详情信息。
通过在显示界面中显示多个参考图像对应的物品详情信息,丰富了显示界面中包括的内容,以使用户能够通过查看多个参考图像的物品详情信息,更准确地了解目标物品。
目前二维码已经得到了很好地普及。例如,用户到达某个旅游景点,用户对旅游景点的历史信息感兴趣,则可以通过扫描这个旅游景点的二维码,查看该旅游景点对应的物品详情信息,用户查看物品详情信息。无论是各种形态的图形码还是文本信息,都可以将其认为是一种特定编码形态的图像,而扫一扫识物则是识别自然场景图像。扫一扫识物本质是一个搜索引擎,只是输入方式从二维码升级到获取到的任何图像。由于并不是所有的物品都具有二维码,则用户可以用相机拍摄任何物品,通过本申请实施例提供的方法,了解物品背后的信息。
用户对一个未知的物品感兴趣,会先了解它的详情信息,包括品牌、用途、价格以及其他各类参数。然后会看看其他用户是如何评论它的,则该用户会翻阅评测文章以及其他用户的使用反馈。最后,该用户可能会购买它,去各个购物应用中比较价格。通过本申请实施例提供的方法,只要用相机拍摄感兴趣的物品,即可获得物品的百科信息,也可以了解评测文章、网友的问答,最后可以在各个小程序里比较价格并进行购买。扫一扫识物将物品搜索的完成链路闭环,去中心化分发公众号文章及小程序,既满足用户的使用场景,又促进了应用包含的内容的发展。
如图6所示,用户通过终端对杯子进行拍摄,对得到的包含杯子的图像进行识别,确定杯子名称,并根据杯子名称进行搜索,得到杯子名称对应的百科信息601及资讯信息602,得到数据库中与该图像类似的参考图像的购物链接603,在终端的显示界面中显示得到的购物链接603、百科信息601、资讯信息602。如图7所示,在显示界面701中按照图7中的显示样式,显示得到的杯子详情信息。如图8所示,本申请实施例提供的方法,通过对物品进行识别,先确定物品的物品名称,而后通过物品名称获取百科信息601、资讯信息602、购物链接603。与相关技术相比,相关技术中是对图像进行相似搜索,确定与物品相似的其他物品,而本申请实施例提供的方法实现了精准搜索,通过识别出物品的物品名称,提高了对物品识别的准确性。
本申请实施例提供的方法,获取包含目标物品的第一图像,从数据库中选取与第一图像相似的多个参考图像,对多个参考图像对应的物品文本信息进行分词处理,得到多个词语,从多个词语中提取满足预设条件的关键词语,确定为目标物品的物品名称。通过确定与第一图像相似的多个参考图像,提高了获取到的物品文本信息的准确性,从获取到的物品文本信息中提取满足预设条件关键词语,提高了得到的关键词语的准确性,从而提高了确定的物品名称的准确性。
根据确定的物品名称进行搜索,使搜索物品详情信息的过程更具有针对性,从而提高了得到的物品详情信息的准确性。
通过在显示界面中显示物品名称对应的物品详情信息、展示图像及多个参考图像对应的物品详情信息,丰富了显示界面中包括的内容,提高了对用户的吸引力。
如图9所示,是本申请实施例提供的方法的流程图,通过爬取工具从网络中爬取得到图像及对应的物品详情信息,对图像进行识别处理,确定图像中包含的物品所属的类别,将该图像及对应的物品详情信息,与该图像中包含的物品所属的类别对应存储于数据库901中。获取用户在线请求,该用户在线请求携带包含目标物品的第一图像,对第一图像进行识别处理,从数据库901中选取与该第一图像相似的多个参考图像,将该多个参考图像中包含的物品作为该目标物品的相似物品,将多个参考图像及对应的物品详情信息作为同款搜索结果,根据该多个参考图像的物品详情信息确定该目标物品的物品名称。通过识别出目标物品的物品名称进行搜索,得到物品名称搜索结果,该物品名称搜索结果可以来自多个数据源,如百科网站或者资讯网站等,对同款搜索结果及物品名称搜索结果进行展示,以使用户可以查看展示的信息,了解目标物品。
另外,在本申请实施例提供的方法中,可以通过训练后的网络模型对包含目标物品的第一图像进行识别处理,从数据库中选取多个参考图像,也可以通过训练后的网络模型对多个参考图像的物品详情信息进行处理,得到物品的物品名称。
其中,通过模型训练数据库中包括的图像对网络模型进行训练,从而得到训练后的网络模型。如图10所示,设置模型训练数据库,获取多个样本图像,对多个样本图像进行去重处理,对去重处理后的多个样本图像进行标注,将标注后的样本图像存储至模型训练数据库。
在对去重处理后的多个样本图像进行标注时,可以包括检测数据库标注1001和检索数据库标注1002。
该检测数据库标注1001用于通过检测框标注出样本图像中包含的物品,可以采用人工检测框标注、弱监督检测框标注、半监督检测框标注等方法。其中,人工检测框标注是人工利用检测框,标注出每个样本图像中包含的多个物品;弱监督检测框标注是人工利用检测框,标注出每个样本图像中包含的主要物品;半监督检测框标注是通过初始的网络模型对每个样本图像进行标注,得到多个样本图像的标注结果,人工对多个样本图像的标注结果进行校对。
该检索数据库标注1002用于将包含相同物品的样本图像进行去噪或合并,可以采用人工同款去噪、人工同款合并、采用聚类和分类算法自动进行去噪及合并等方法。其中,人工同款去噪是指根据每个样本图像中包含的物品,从包含相同物品的多个样本图像中选取一个样本图像,使选取的多个样本图像中任两个样本图像中包含的物品不同;人工同款合并是指根据每个样本图像中包含的物品,将包含相同物品的多个样本图像进行合并,得到物品对应的多个样本图像集合,不同的样本集合对应的物品不同;采用聚类和分类算法自动进行去噪及合并是采用聚类算法和分类算法,将包含相同物品的样本图像进行合并,得到多个样本图像集合,从每个样本图像集合选取一个样本图像,使选取的多个样本图像中任两个样本图像中包含的物品不同。
另外,在本申请实施例提供的方法中,可以通过任务调度平台的调度作用,来实现确定物品名称的整个过程,从而为用户提供搜索到的物品详情信息。如图11所示,该任务调度平台包括调度工具1101、调度系统1102、触发器1103、及文件系统1104等,该文件系统1104可以包括HDFS(Hadoop Distributed File System,分布式文件系统)及WFS(WorkFlowSystem,工作流系统)。任务调度平台接收到物品搜索任务后,调度系统1102通过调度工具1101对接收到的物品搜索任务进行存储,存储的任务信息中可以包括任务名称、调度时间等,通过触发器1103查询可执行的物品搜索任务,从任务列表中获取需要执行的物品搜索任务,执行物品搜索任务,从而搜索到图像中的物品对应的信息。该实例存储可以存储本申请实施例中的多个图像及图像对应的物品详情信息,调度系统1101还可以调度实例存储,在执行物品识别任务时,可以调用实例存储中的信息,在通过爬取工具爬取到新的信息时,还可以对实例存储中的信息进行更新。
图12是本申请实施例提供的一种物品名称确定方法的流程图,交互主体为终端和服务器,如图12所示,该方法包括:
1201、终端通过显示界面检测到对物品识别选项的触发操作,拍摄目标物体,得到包含目标物品的原始图像。
1202、终端对原始图像进行物品检测,确定该原始图像中是否包含物品,执行步骤1203或1204。
1203、响应于确定原始图像中不包含目标物品,终端显示识别失败通知,该识别失败通知提示用户未检测到物品。
1204、响应于确定原始图像中包含目标物品,终端向服务器发送物品识别请求,该物品识别请求中携带该原始图像。
1205、服务器接收到该物品识别请求,对原始图像进行识别处理,得到该目标物品的物品名称。
该步骤1205与上述实施例中确定目标物品的过程类似,在此不再赘述。
1206、服务器根据该物品名称进行搜索,得到物品名称对应的物品详情信息。
1207、服务器向终端发送识别完成通知,该识别完成通知中携带物品名称对应的物品详情信息、展示图片及多个参考图像对应的物品详情信息。
1208、终端接收到识别完成通知,在显示界面中显示物品名称对应的物品详情信息、展示图片及多个参考图像对应的物品详情信息。
图13是本申请实施例提供的一种物品名称确定装置的结构示意图,如图13所示,该装置包括:
图像获取模块1301,用于获取包含目标物品的第一图像;
图像选取模块1302,用于从数据库中选取与第一图像相似的多个参考图像,数据库中包括多个图像和多个图像对应的物品详情信息,图像对应的物品详情信息用于对图像中包含的物品进行描述,图像对应的物品详情信息至少包括物品文本信息;
分词处理模块1303,用于对多个参考图像对应的物品文本信息进行分词处理,得到多个词语;
物品名称确定模块1304,用于从多个词语中提取满足预设条件的关键词语,确定为目标物品的物品名称。
在一种可能实现方式中,如图14所示,物品名称确定模块1304,包括:
中心向量确定单元1341,用于将多个词语的词向量的平均值,确定为中心向量;
关键词语确定单元1342,用于确定多个词向量中每个词向量与中心向量之间的距离,将距离最小的词向量对应的词语,确定为满足预设条件的关键词语。
在另一种可能实现方式中,如图14所示,分词处理模块1303,包括:
分词处理单元1331,用于按照多个预设长度,对多个参考图像对应的物品文本信息进行分词处理,分别得到长度等于每个预设长度的词语。
在另一种可能实现方式中,如图14所示,物品名称确定模块1304,包括:
出现频率确定单元1343,用于确定多个词语在多个参考图像对应的物品文本信息中的出现频率;
关键词语确定单元1342,用于从多个词语中,选取长度最大且出现频率大于预设阈值的词语,确定为满足预设条件的关键词语;或者,
关键词语确定单元1342,用于从多个词语中,选取出现频率最大的词语,确定为满足预设条件的关键词语。
在另一种可能实现方式中,如图14所示,图像获取模块1301,包括:
图像获取单元1311,用于获取包含目标物品的原始图像;
物品检测单元1312,用于对原始图像进行物品检测,确定目标物品在原始图像中所处的区域;
图像提取单元1313,用于从原始图像中提取区域的图像,得到第一图像。
在另一种可能实现方式中,如图14所示,数据库中包括属于多个类别的图像;图像选取模块1302,包括:
类别确定单元1321,用于确定第一图像所属的目标类别;
图像选取单元1322,用于从数据库中选取属于目标类别且与第一图像相似的多个参考图像。
在另一种可能实现方式中,类别确定单元1321,还用于分别获取多个类别中每个类别与第一图像之间的相似度;将多个类别中与第一图像之间的相似度最大的类别,确定为目标类别。
在另一种可能实现方式中,数据库包括多个子数据库,不同的子数据库对应不同的类别,每个子数据库中包括属于对应类别的至少一个图像和至少一个图像对应的物品详情信息;
类别确定单元1321,还用于对于多个子数据库中的每个子数据库,执行如下步骤:
获取子数据库中每个图像与第一图像的相似度;根据每个图像与第一图像之间的相似度,从子数据库中选取多个第二图像,第二图像与第一图像的相似度大于子数据库中其他图像与第一图像的相似度;确定多个第二图像对应的平均相似度,将平均相似度确定为子数据库对应的类别与第一图像之间的相似度。
在另一种可能实现方式中,如图14所示,分词处理模块1303,包括:
聚类处理单元1332,用于对多个参考图像进行聚类处理,得到多个图像堆,每个图像堆包括至少两个参考图像;
相似度获取单元1333,用于根据每个图像堆中的参考图像与第一图像之间的相似度,获取每个图像堆与第一图像之间的相似度;
图像堆确定单元1334,用于从多个图像堆中,选取与第一图像的相似度最大的图像堆,确定为目标图像堆;
分词处理单元1331,用于对目标图像堆中的多个参考图像对应的物品文本信息进行分词处理,得到多个词语。
在另一种可能实现方式中,聚类处理单元1332,还用于响应于多个参考图像中任两个参考图像之间的相似度大于预设阈值,建立任两个参考图像之间的关联关系;将多个参考图像中具有关联关系的参考图像构成一个图像堆,得到多个图像堆。
在另一种可能实现方式中,如图14所示,从多个词语中提取满足预设条件的关键词语,确定为目标物品的物品名称之后,装置还包括:
信息搜索模块1305,用于根据物品名称进行搜索,得到物品名称对应的物品详情信息;
信息显示模块1306,用于在当前的显示界面中,显示物品详情信息。
在另一种可能实现方式中,如图14所示,装置还包括:
图像选取模块1302,用于从多个参考图像中选出质量分值最高的参考图像,作为目标物品的展示图像;
图像显示模块1307,用于在显示界面中,显示展示图像。
在另一种可能实现方式中,如图14所示,装置还包括:
信息显示模块1306,还用于在显示界面中,显示多个参考图像对应的物品详情信息。
在另一种可能实现方式中,如图14所示,图像获取模块1301,包括:
图像获取单元1311,用于通过显示界面检测到对物品识别选项的触发操作,获取包含目标物品的第一图像。
图15示出了本申请一个示例性实施例提供的终端1500的结构示意图。该终端1500用于执行上述基于量子计算机的处理函数获取方法中终端所执行的步骤。
通常,终端1500包括有:处理器1501和存储器1502。
处理器1501可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1501可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1501也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1501可以在集成有GPU(Graphics Processing Unit,图像处理的交互器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1501还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1502可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1502还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1502中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1501所具有以实现本申请中方法实施例提供的基于量子计算机的处理函数获取方法。
在一些实施例中,终端1500还可选包括有:外围设备接口1503和至少一个外围设备。处理器1501、存储器1502和外围设备接口1503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1503相连。具体地,外围设备包括:射频电路1504、触摸显示屏1505、摄像头组件1506、音频电路1507、定位组件1508和电源1509中的至少一种。
外围设备接口1503可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1501和存储器1502。在一些实施例中,处理器1501、存储器1502和外围设备接口1503被集成在同一芯片或电路板上;在一些其他实施例中,处理器1501、存储器1502和外围设备接口1503中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1504用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1504将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1504包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1504还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1505用于显示UI(UserInterface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1505是触摸显示屏时,显示屏1505还具有采集在显示屏1505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1501进行处理。此时,显示屏1505还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1505可以为一个,设置终端1500的前面板;在另一些实施例中,显示屏1505可以为至少两个,分别设置在终端1500的不同表面或呈折叠设计;在再一些实施例中,显示屏1505可以是柔性显示屏,设置在终端1500的弯曲表面上或折叠面上。甚至,显示屏1505还可以设置成非矩形的不规则图形,也即异形屏。显示屏1505可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1506用于采集图像或视频。可选地,摄像头组件1506包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端1500的前面板,后置摄像头设置在终端1500的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1506还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1501进行处理,或者输入至射频电路1504以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1501或射频电路1504的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1507还可以包括耳机插孔。
定位组件1508用于定位终端1500的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1508可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1509用于为终端1500中的各个组件进行供电。电源1509可以是交流电、直流电、一次性电池或可充电电池。当电源1509包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1500还包括有一个或多个传感器1510。该一个或多个传感器1510包括但不限于:加速度传感器1511、陀螺仪传感器1512、压力传感器1513、指纹传感器1514、光学传感器1515以及接近传感器1516。
加速度传感器1511可以检测以终端1500建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1511可以用于检测重力加速度在三个坐标轴上的分量。处理器1501可以根据加速度传感器1511采集的重力加速度信号,控制触摸显示屏1505以横向视图或纵向视图进行用户界面的显示。加速度传感器1511还可以用于应用或者用户的运动数据的采集。
陀螺仪传感器1512可以检测终端1500的机体方向及转动角度,陀螺仪传感器1512可以与加速度传感器1511协同采集用户对终端1500的3D动作。处理器1501根据陀螺仪传感器1512采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、应用控制以及惯性导航。
压力传感器1513可以设置在终端1500的侧边框和/或触摸显示屏1505的下层。当压力传感器1513设置在终端1500的侧边框时,可以检测用户对终端1500的握持信号,由处理器1501根据压力传感器1513采集的握持信号进行左右手识别或快捷操作。当压力传感器1513设置在触摸显示屏1505的下层时,由处理器1501根据用户对触摸显示屏1505的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1514用于采集用户的指纹,由处理器1501根据指纹传感器1414采集到的指纹识别用户的身份,或者,由指纹传感器1514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1501授权该用户具有相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1514可以被设置终端1500的正面、背面或侧面。当终端1500上设置有物理按键或厂商Logo时,指纹传感器1514可以与物理按键或厂商标志集成在一起。
光学传感器1515用于采集环境光强度。在一个实施例中,处理器1501可以根据光学传感器1515采集的环境光强度,控制触摸显示屏1505的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1505的显示亮度;当环境光强度较低时,调低触摸显示屏1505的显示亮度。在另一个实施例中,处理器1501还可以根据光学传感器1515采集的环境光强度,动态调整摄像头组件1506的拍摄参数。
接近传感器1516,也称距离传感器,通常设置在终端1500的前面板。接近传感器1516用于采集用户与终端1500的正面之间的距离。在一个实施例中,当接近传感器1516检测到用户与终端1500的正面之间的距离逐渐变小时,由处理器1501控制触摸显示屏1505从亮屏状态切换为息屏状态;当接近传感器1516检测到用户与终端1500的正面之间的距离逐渐变大时,由处理器1501控制触摸显示屏1505从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图15中示出的结构并不构成对终端1500的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图16是本申请实施例提供的一种服务器的结构示意图,该服务器1600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central ProcessingUnits,CPU)1601和一个或一个以上的存储器1602,其中,存储器1602中存储有至少一条指令,至少一条指令由处理器1601加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
服务器1600可以用于执行上述物品名称确定方法。
本申请实施例还提供了一种计算机设备,该计算机设备包括处理器和存储器,存储器中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的物品名称确定方法。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的物品名称确定方法。
本申请实施例还提供了一种计算机程序,该计算机程序中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的物品名称确定方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请实施例的可选实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (15)
1.一种物品名称确定方法,其特征在于,所述方法包括:
获取包含目标物品的第一图像;
从数据库中选取与所述第一图像相似的多个参考图像,所述数据库中包括多个图像和所述多个图像对应的物品详情信息,所述图像对应的物品详情信息用于对所述图像中包含的物品进行描述,所述图像对应的物品详情信息至少包括物品文本信息;
对所述多个参考图像对应的物品文本信息进行分词处理,得到多个词语;
从所述多个词语中提取满足预设条件的关键词语,确定为所述目标物品的物品名称。
2.根据权利要求1所述的方法,其特征在于,所述从所述多个词语中提取满足预设条件的关键词语,包括:
将所述多个词语的词向量的平均值,确定为中心向量;
确定多个词向量中每个词向量与所述中心向量之间的距离,将距离最小的词向量对应的词语,确定为所述满足预设条件的关键词语。
3.根据权利要求1所述的方法,其特征在于,所述对所述多个参考图像对应的物品文本信息进行分词处理,得到多个词语,包括:
按照多个预设长度,对所述多个参考图像对应的物品文本信息进行分词处理,分别得到长度等于每个预设长度的词语。
4.根据权利要求1所述的方法,其特征在于,所述从所述多个词语中提取满足预设条件的关键词语,确定为所述目标物品的物品名称,包括:
确定所述多个词语在所述多个参考图像对应的物品文本信息中的出现频率;
从所述多个词语中,选取长度最大且出现频率大于预设阈值的词语,确定为所述满足预设条件的关键词语;或者,
从所述多个词语中,选取出现频率最大的词语,确定为所述满足预设条件的关键词语。
5.根据权利要求1所述的方法,其特征在于,所述获取包含目标物品的第一图像,包括:
获取包含所述目标物品的原始图像;
对所述原始图像进行物品检测,确定所述目标物品在所述原始图像中所处的区域;
从所述原始图像中提取所述区域的图像,得到所述第一图像。
6.根据权利要求1所述的方法,其特征在于,所述数据库中包括属于多个类别的图像;所述从数据库中选取与所述第一图像相似的多个参考图像,包括:
确定所述第一图像所属的目标类别;
从数据库中选取属于所述目标类别且与所述第一图像相似的多个参考图像。
7.根据权利要求6所述的方法,其特征在于,所述确定所述第一图像所属的目标类别,包括:
分别获取所述多个类别中每个类别与所述第一图像之间的相似度;
将所述多个类别中与所述第一图像之间的相似度最大的类别,确定为所述目标类别。
8.根据权利要求7所述的方法,其特征在于,所述数据库包括多个子数据库,不同的子数据库对应不同的类别,每个子数据库中包括属于对应类别的至少一个图像和所述至少一个图像对应的物品详情信息;
所述分别获取所述多个类别中每个类别与所述第一图像之间的相似度,包括:
对于所述多个子数据库中的每个子数据库,执行如下步骤:
获取所述子数据库中每个图像与所述第一图像的相似度;
根据所述每个图像与所述第一图像之间的相似度,从所述子数据库中选取多个第二图像,所述第二图像与所述第一图像的相似度大于所述子数据库中其他图像与所述第一图像的相似度;
确定所述多个第二图像对应的平均相似度,将所述平均相似度确定为所述子数据库对应的类别与所述第一图像之间的相似度。
9.根据权利要求1所述的方法,其特征在于,所述对所述多个参考图像对应的物品文本信息进行分词处理,得到多个词语,包括:
对所述多个参考图像进行聚类处理,得到多个图像堆,每个图像堆包括至少两个参考图像;
根据每个图像堆中的参考图像与所述第一图像之间的相似度,获取所述每个图像堆与所述第一图像之间的相似度;
从所述多个图像堆中,选取与所述第一图像的相似度最大的图像堆,确定为目标图像堆;
对所述目标图像堆中的多个参考图像对应的物品文本信息进行分词处理,得到多个词语。
10.根据权利要求9所述的方法,其特征在于,所述对所述多个参考图像进行聚类处理,得到多个图像堆,包括:
响应于所述多个参考图像中任两个参考图像之间的相似度大于预设阈值,建立所述任两个参考图像之间的关联关系;
将所述多个参考图像中具有关联关系的参考图像构成一个图像堆,得到所述多个图像堆。
11.根据权利要求1所述的方法,其特征在于,所述从所述多个词语中提取满足预设条件的关键词语,确定为所述目标物品的物品名称之后,所述方法还包括:
根据所述物品名称进行搜索,得到所述物品名称对应的物品详情信息;
在当前的显示界面中,显示所述物品详情信息。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
从所述多个参考图像中选出质量分值最高的参考图像,作为所述目标物品的展示图像;
在所述显示界面中,显示所述展示图像。
13.一种物品名称确定装置,其特征在于,所述装置包括:
图像获取模块,用于获取包含目标物品的第一图像;
图像选取模块,用于从数据库中选取与所述第一图像相似的多个参考图像,所述数据库中包括多个图像和所述多个图像对应的物品详情信息,所述图像对应的物品详情信息用于对所述图像中包含的物品进行描述,所述图像对应的物品详情信息至少包括物品文本信息;
分词处理模块,用于对所述多个参考图像对应的物品文本信息进行分词处理,得到多个词语;
物品名称确定模块,用于从所述多个词语中提取满足预设条件的关键词语,确定为所述目标物品的物品名称。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如权利要求1至12任一权利要求所述的物品名称确定方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如权利要求1至12任一权利要求所述的物品名称确定方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010299942.XA CN111506758B (zh) | 2020-04-16 | 2020-04-16 | 物品名称确定方法、装置、计算机设备及存储介质 |
PCT/CN2021/079510 WO2021208633A1 (zh) | 2020-04-16 | 2021-03-08 | 物品名称确定方法、装置、计算机设备及存储介质 |
TW110109220A TWI781554B (zh) | 2020-04-16 | 2021-03-15 | 物品名稱確定方法、裝置、電腦設備及儲存媒體 |
US17/728,762 US20220254143A1 (en) | 2020-04-16 | 2022-04-25 | Method and apparatus for determining item name, computer device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010299942.XA CN111506758B (zh) | 2020-04-16 | 2020-04-16 | 物品名称确定方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111506758A true CN111506758A (zh) | 2020-08-07 |
CN111506758B CN111506758B (zh) | 2024-05-03 |
Family
ID=71864803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010299942.XA Active CN111506758B (zh) | 2020-04-16 | 2020-04-16 | 物品名称确定方法、装置、计算机设备及存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220254143A1 (zh) |
CN (1) | CN111506758B (zh) |
TW (1) | TWI781554B (zh) |
WO (1) | WO2021208633A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112150251A (zh) * | 2020-10-09 | 2020-12-29 | 北京明朝万达科技股份有限公司 | 物品名称治理方法和装置 |
CN112307765A (zh) * | 2020-09-15 | 2021-02-02 | 中国石油天然气股份有限公司 | 咸化湖相细粒沉积岩分类命名确定方法 |
WO2021208633A1 (zh) * | 2020-04-16 | 2021-10-21 | 腾讯科技(深圳)有限公司 | 物品名称确定方法、装置、计算机设备及存储介质 |
CN113626466A (zh) * | 2021-08-10 | 2021-11-09 | 深圳市玄羽科技有限公司 | 基于工业互联网的物料管理方法、系统及计算机存储介质 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022187662A (ja) * | 2021-06-08 | 2022-12-20 | 富士フイルムビジネスイノベーション株式会社 | 表面検査装置及びプログラム |
US20220414336A1 (en) * | 2021-06-23 | 2022-12-29 | Microsoft Technology Licensing, Llc | Semantic Difference Characterization for Documents |
US20230011330A1 (en) * | 2021-07-09 | 2023-01-12 | At&T Intellectual Property I, L.P. | Device condition determination |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101542531A (zh) * | 2007-06-14 | 2009-09-23 | 松下电器产业株式会社 | 图像识别装置及图像识别方法 |
CN103955543A (zh) * | 2014-05-20 | 2014-07-30 | 电子科技大学 | 基于多模态的服装图像检索方法 |
CN106815351A (zh) * | 2017-01-18 | 2017-06-09 | 腾讯科技(深圳)有限公司 | 一种标签推荐方法及服务器 |
CN107016368A (zh) * | 2017-04-07 | 2017-08-04 | 郑州悉知信息科技股份有限公司 | 一种目标物的信息获取方法及服务器 |
CN107122349A (zh) * | 2017-04-24 | 2017-09-01 | 无锡中科富农物联科技有限公司 | 一种基于word2vec‑LDA模型的文本主题词提取方法 |
WO2019127832A1 (zh) * | 2017-12-29 | 2019-07-04 | 国民技术股份有限公司 | 智能搜索方法、装置、终端及服务器、存储介质 |
US20200050626A1 (en) * | 2018-08-08 | 2020-02-13 | Samsung Electronics Co., Ltd. | Electronic device for providing information on item based on category of item |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101751439A (zh) * | 2008-12-17 | 2010-06-23 | 中国科学院自动化研究所 | 基于层次聚类的图像检索方法 |
CN102855298B (zh) * | 2012-08-16 | 2016-08-03 | 熊兵 | 图像检索方法及系统 |
KR101933921B1 (ko) * | 2013-06-03 | 2018-12-31 | 삼성전자주식회사 | 포즈 추정 방법 및 장치 |
TW201828109A (zh) * | 2017-01-19 | 2018-08-01 | 阿里巴巴集團服務有限公司 | 圖像檢索、獲取圖像資訊及圖像識別方法、裝置及系統 |
TWI660310B (zh) * | 2018-08-06 | 2019-05-21 | 財團法人資訊工業策進會 | 比對追蹤物件的方法及電子裝置 |
CN111506758B (zh) * | 2020-04-16 | 2024-05-03 | 腾讯科技(深圳)有限公司 | 物品名称确定方法、装置、计算机设备及存储介质 |
-
2020
- 2020-04-16 CN CN202010299942.XA patent/CN111506758B/zh active Active
-
2021
- 2021-03-08 WO PCT/CN2021/079510 patent/WO2021208633A1/zh active Application Filing
- 2021-03-15 TW TW110109220A patent/TWI781554B/zh active
-
2022
- 2022-04-25 US US17/728,762 patent/US20220254143A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101542531A (zh) * | 2007-06-14 | 2009-09-23 | 松下电器产业株式会社 | 图像识别装置及图像识别方法 |
CN103955543A (zh) * | 2014-05-20 | 2014-07-30 | 电子科技大学 | 基于多模态的服装图像检索方法 |
CN106815351A (zh) * | 2017-01-18 | 2017-06-09 | 腾讯科技(深圳)有限公司 | 一种标签推荐方法及服务器 |
CN107016368A (zh) * | 2017-04-07 | 2017-08-04 | 郑州悉知信息科技股份有限公司 | 一种目标物的信息获取方法及服务器 |
CN107122349A (zh) * | 2017-04-24 | 2017-09-01 | 无锡中科富农物联科技有限公司 | 一种基于word2vec‑LDA模型的文本主题词提取方法 |
WO2019127832A1 (zh) * | 2017-12-29 | 2019-07-04 | 国民技术股份有限公司 | 智能搜索方法、装置、终端及服务器、存储介质 |
US20200050626A1 (en) * | 2018-08-08 | 2020-02-13 | Samsung Electronics Co., Ltd. | Electronic device for providing information on item based on category of item |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021208633A1 (zh) * | 2020-04-16 | 2021-10-21 | 腾讯科技(深圳)有限公司 | 物品名称确定方法、装置、计算机设备及存储介质 |
CN112307765A (zh) * | 2020-09-15 | 2021-02-02 | 中国石油天然气股份有限公司 | 咸化湖相细粒沉积岩分类命名确定方法 |
CN112150251A (zh) * | 2020-10-09 | 2020-12-29 | 北京明朝万达科技股份有限公司 | 物品名称治理方法和装置 |
CN113626466A (zh) * | 2021-08-10 | 2021-11-09 | 深圳市玄羽科技有限公司 | 基于工业互联网的物料管理方法、系统及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
TW202141475A (zh) | 2021-11-01 |
CN111506758B (zh) | 2024-05-03 |
TWI781554B (zh) | 2022-10-21 |
WO2021208633A1 (zh) | 2021-10-21 |
US20220254143A1 (en) | 2022-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111652678B (zh) | 物品信息显示方法、装置、终端、服务器及可读存储介质 | |
CN111506758B (zh) | 物品名称确定方法、装置、计算机设备及存储介质 | |
CN109189879B (zh) | 电子书籍显示方法及装置 | |
CN109284445B (zh) | 网络资源的推荐方法、装置、服务器及存储介质 | |
CN110163066B (zh) | 多媒体数据推荐方法、装置及存储介质 | |
CN108270794B (zh) | 内容发布方法、装置及可读介质 | |
CN111737573A (zh) | 资源推荐方法、装置、设备及存储介质 | |
WO2022057435A1 (zh) | 基于搜索的问答方法及存储介质 | |
CN111970523A (zh) | 信息显示方法、装置、终端、服务器及存储介质 | |
CN112181573A (zh) | 媒体资源展示方法、装置、终端、服务器以及存储介质 | |
CN110933468A (zh) | 播放方法、装置、电子设备及介质 | |
CN111897996A (zh) | 话题标签推荐方法、装置、设备及存储介质 | |
CN111339938A (zh) | 信息交互方法、装置、设备及存储介质 | |
CN113918767A (zh) | 视频片段定位方法、装置、设备及存储介质 | |
CN111327819A (zh) | 选择图像的方法、装置、电子设备及介质 | |
CN113609358A (zh) | 内容分享方法、装置、电子设备以及存储介质 | |
CN112766406A (zh) | 物品图像的处理方法、装置、计算机设备及存储介质 | |
CN110853124B (zh) | 生成gif动态图的方法、装置、电子设备及介质 | |
CN112000264A (zh) | 菜品信息展示方法、装置、计算机设备及存储介质 | |
CN111563201A (zh) | 内容推送方法、装置、服务器及存储介质 | |
CN113987326B (zh) | 资源推荐方法、装置、计算机设备及介质 | |
CN112230822B (zh) | 评论信息的显示方法、装置、终端及存储介质 | |
CN114817709A (zh) | 排序方法、装置、设备及计算机可读存储介质 | |
CN109635153B (zh) | 迁移路径生成方法、装置及存储介质 | |
CN113420217A (zh) | 生成文案的方法、装置、电子设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40027358 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |