CN113191858A - 基于图片搜索的商品展示方法及装置 - Google Patents

基于图片搜索的商品展示方法及装置 Download PDF

Info

Publication number
CN113191858A
CN113191858A CN202110651056.3A CN202110651056A CN113191858A CN 113191858 A CN113191858 A CN 113191858A CN 202110651056 A CN202110651056 A CN 202110651056A CN 113191858 A CN113191858 A CN 113191858A
Authority
CN
China
Prior art keywords
commodity
picture
user
target
information item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110651056.3A
Other languages
English (en)
Inventor
刘宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shumao Technology Beijing Co ltd
Original Assignee
Shumao Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shumao Technology Beijing Co ltd filed Critical Shumao Technology Beijing Co ltd
Priority to CN202110651056.3A priority Critical patent/CN113191858A/zh
Publication of CN113191858A publication Critical patent/CN113191858A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Library & Information Science (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于图片搜索的商品展示方法及装置,方法包括:响应于针对商品数据流中包含的商品图片触发的图片查看指令,将对应的商品图片确定为目标图片;获取与目标图片相关联的文字描述信息,展示文字描述信息中包含的多个不同维度的属性信息项以及与各个属性信息项相对应的交互入口元素;响应于用户针对交互入口元素触发的信息项选择指令,将对应的属性信息项确定为目标信息项,获取与目标信息项相对应的搜索关键词;查询预先建立的商品知识图谱,获取并展示与搜索关键词相匹配的候选商品列表。该方式能够结合文字形式的搜索关键词进行推荐,便于实现快速且准确的关联推荐。

Description

基于图片搜索的商品展示方法及装置
技术领域
本发明涉及互联网技术领域,具体涉及一种基于图片搜索的商品展示方法及装置。
背景技术
随着互联网技术的日益发展,电子商务也得到了越来越广泛的应用。在电子商务领域中,用户需要通过网络获取商品信息并执行下单操作。在传统方式中,商品信息大多以文字描述为主,但是,由于文字描述具有抽象化的特点,导致用户难以将文字描述与实际商品联系起来。为此,越来越多的电子商务网站提供了图片类商品信息,用户通过浏览商品图片的方式选择感兴趣的商品。
但是,发明人在实现本发明的过程中发现,现有技术中的上述方式至少存在如下缺陷:在图片浏览方式中,由于图片中包含的特征有限,且难以量化,因此,导致图片搜索效率低下,用户无法通过图片快速高效地定位到感兴趣的类似商品。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于图片搜索的商品展示方法及装置。
根据本发明的一个方面,提供了一种基于图片搜索的商品展示方法,包括:
响应于针对商品数据流中包含的商品图片触发的图片查看指令,将与所述图片查看指令相对应的商品图片确定为目标图片;
获取与所述目标图片相关联的文字描述信息,展示所述文字描述信息中包含的多个不同维度的属性信息项以及与各个属性信息项相对应的交互入口元素;
响应于用户针对所述交互入口元素触发的信息项选择指令,将与所述信息项选择指令相对应的属性信息项确定为目标信息项,获取与所述目标信息项相对应的搜索关键词;
查询预先建立的商品知识图谱,根据所述商品知识图谱获取与所述搜索关键词相匹配的候选商品列表,展示所述候选商品列表中包含的各个商品图片。
根据本发明的又一个方面,提供了一种基于图片搜索的商品展示装置,包括:
目标图片确定模块,适于响应于针对商品数据流中包含的商品图片触发的图片查看指令,将与所述图片查看指令相对应的商品图片确定为目标图片;
获取模块,适于获取与所述目标图片相关联的文字描述信息,展示所述文字描述信息中包含的多个不同维度的属性信息项以及与各个属性信息项相对应的交互入口元素;
响应模块,适于响应于用户针对所述交互入口元素触发的信息项选择指令,将与所述信息项选择指令相对应的属性信息项确定为目标信息项,获取与所述目标信息项相对应的搜索关键词;
查询展示模块,适于查询预先建立的商品知识图谱,根据所述商品知识图谱获取与所述搜索关键词相匹配的候选商品列表,展示所述候选商品列表中包含的各个商品图片。
根据本发明的又一方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述基于图片搜索的商品展示方法对应的操作。
根据本发明的再一方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如上述基于图片搜索的商品展示方法对应的操作。
在本发明所提供的基于图片搜索的商品展示方法及装置中,能够根据图片查看指令获取与目标图片相关联的文字描述信息,并展示文字描述信息中包含的多个不同维度的属性信息项以及与各个属性信息项相对应的交互入口元素,从而根据用户针对交互入口元素触发的信息项选择指令,获取对应的搜索关键词,进而根据搜索关键词查询预先建立的商品知识图谱以获取并展示与搜索关键词相匹配的候选商品列表。由此可见,该方式能够根据图片获取关联的文字描述信息,并且,文字描述信息中进一步包含多个不同维度的属性信息项以及与各个属性信息项相对应的交互入口元素,以供用户灵活选择自身感兴趣的属性信息项,从而结合图片以及文字形式的搜索关键词实现精准推荐的效果。该方式一方面能够结合文字形式的搜索关键词进行推荐,另一方面能够根据商品知识图谱拓展搜索关键词之间的关联关系,从而便于实现快速且准确的关联推荐。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的基于图片搜索的商品展示方法的流程示意图;
图2示出了根据本发明另一个实施例的基于图片搜索的商品展示方法的流程示意图;
图3示出了根据本发明又一个实施例的基于图片搜索的商品展示装置的结构示意图;
图4示出了根据本发明的一种电子设备的结构示意图;
图5示出了展示文字描述信息中包含的多个不同维度的属性信息项的示意图;
图6示出了候选商品列表的示意图;
图7示出了相似商品图片的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的基于图片搜索的商品展示方法的流程示意图,如图1所示,该方法包括:
步骤S110:响应于针对商品数据流中包含的商品图片触发的图片查看指令,将与图片查看指令相对应的商品图片确定为目标图片。
具体的,商品数据流用于通过数据流展示方式展示多个商品图片,每个商品图片具有交互入口,用户能够通过交互入口对各个商品图片触发图片查看指令。相应的,当接收到用户触发的图片查看指令时,解析该图片查看指令,获取其中包含的图片标识,根据图片标识确定与图片查看指令相对应的商品图片,将该商品图片作为目标图片。
步骤S120:获取与目标图片相关联的文字描述信息,展示文字描述信息中包含的多个不同维度的属性信息项以及与各个属性信息项相对应的交互入口元素。
其中,与目标图片相关联的文字描述信息用于对目标图片所对应的商品进行描述,具体可从多个不同的维度进行描述,例如,材质、颜色、款式、上市时间、适用人群等。文字描述信息可以通过对目标图片执行图片识别的方式获得,也可以通过与目标图片相关联的商品的描述信息获得,本发明对文字描述信息的具体内涵和获取方式不作限定。
其中,文字描述信息中包含多个不同维度的属性信息项,相应的,各个属性信息项分别具有对应的交互入口元素,以供用户通过交互入口元素选择对应的属性信息项。相应的,在本步骤中,展示文字描述信息中包含的多个不同维度的属性信息项以及与各个属性信息项相对应的交互入口元素,以供用户选择感兴趣的属性信息项作为搜索限定条件。
步骤S130:响应于用户针对交互入口元素触发的信息项选择指令,将与信息项选择指令相对应的属性信息项确定为目标信息项,获取与目标信息项相对应的搜索关键词。
具体的,用户能够通过与属性信息项相对应的交互入口元素触发信息项选择指令,通过解析信息项选择指令中包含的信息项标识,能够确定与信息项选择指令相对应的属性信息项。相应的,将与信息项选择指令相对应的属性信息项确定为目标信息项,获取与目标信息项相对应的搜索关键词。其中,在获取与目标信息项相对应的搜索关键词时,可通过词义联想、近义词、同义词等多种方式扩展得到搜索关键词。
步骤S140:查询预先建立的商品知识图谱,根据商品知识图谱获取与搜索关键词相匹配的候选商品列表,展示候选商品列表中包含的各个商品图片。
其中,商品知识图谱用于表示商品实体之间的关联关系,具体的,商品知识图谱以节点和边构成,节点对应于商品实体,边对应于商品实体之间的关联关系。通过商品知识图谱能够表示海量商品实体之间的相互关联,相应的,根据商品知识图谱能够确定与搜索关键词相对应的多个候选商品,从而构成候选商品列表。通过向用户展示候选商品列表能够供用户选择感兴趣的商品。
由此可见,该方式能够根据图片获取关联的文字描述信息,并且,文字描述信息中进一步包含多个不同维度的属性信息项以及与各个属性信息项相对应的交互入口元素,以供用户灵活选择自身感兴趣的属性信息项,从而结合图片以及文字形式的搜索关键词实现精准推荐的效果。该方式一方面能够结合文字形式的搜索关键词进行推荐,另一方面能够根据商品知识图谱拓展搜索关键词之间的关联关系,从而便于实现快速且准确的关联推荐。
图2示出了根据本发明另一个实施例的基于图片搜索的商品展示方法的流程示意图。其中,本实施例主要应用于跨境电商领域,用于实现跨境电商应用中的商品图片的搜索展示功能。如图2所示,该方法包括:
步骤S200:预先建立商品知识图谱以及与各个用户相对应的用户画像数据。
具体的,预先建立商品知识图谱,以便以图的形式来表示各个商品之间的关联。具体实施时,获取商品数据库中包含的各个商品的类目信息,根据各个商品的类目信息建立商品知识图谱。其中,商品类目信息可能具有多个类目层级,且各个类目之间可能具有交叉情况,因此,通过挖掘多个商品类目之间的层级关系以及类目交叉情况能够建立商品知识图谱。其中,商品知识图谱中包含多个节点以及用于连接各个节点的边,其中,每个节点对应于一个商品图片,且边用于表示两个节点之间的关联关系。由此可见,商品知识图谱能够反映不同种商品及商品属性类别之间的关系,还能够反映同类别中不同种个体之间的关系。
建立商品知识图谱的目的在于表达海量的复杂商品之间的关联关系,以便于依据商品之间的关联关系实现关联商品的推荐。另外,为了针对不同的用户实现个性化的推荐,还需要建立与各个用户相对应的用户画像数据。具体的,获取当前用户的历史浏览数据,根据历史浏览数据建立与当前用户相对应的用户画像数据。具体实施时,创建用户知识画像,构建人物画像,构建人群画像,并且,构建人物及人群分布特征。
步骤S210:响应于针对商品数据流中包含的商品图片触发的图片查看指令,将与图片查看指令相对应的商品图片确定为目标图片。
具体的,商品数据流用于通过数据流展示方式展示多个商品图片。在本实施例中,主要根据用户画像数据展示商品数据流。其中,通过用户画像数据能够反映当前用户的行为习惯、浏览偏好等信息,相应的,基于当前用户的行为习惯以及浏览偏好,能够向用户推荐与用户的浏览偏好相匹配的商品图片,多个商品图片以数据流形式源源不断地展示给用户,从而构成上述的商品数据流。
当然,上述的商品数据流还可以通过多种方式生成,例如,可以结合当前的热点商品生成上述的商品数据流,还可以基于用户输入的搜索内容生成上述的商品数据流,本发明不限定该商品数据流的具体形成方式。该商品数据流主要用于向用户展示多个商品的图片信息,以便于基于商品图片捕捉用户的大致需求。
其中,每个商品图片具有交互入口,用户能够通过交互入口对各个商品图片触发图片查看指令。相应的,当接收到用户触发的图片查看指令时,解析该图片查看指令,获取其中包含的图片标识,根据图片标识确定与图片查看指令相对应的商品图片,将该商品图片作为目标图片。由此可见,该目标图片能够反映用户对于商品种类的大致需求。
步骤S220:获取与目标图片相关联的文字描述信息,展示文字描述信息中包含的多个不同维度的属性信息项以及与各个属性信息项相对应的交互入口元素。
其中,与目标图片相关联的文字描述信息用于对目标图片所对应的商品进行描述,具体可从多个不同的维度进行描述,例如,材质、颜色、款式、上市时间、适用人群等。文字描述信息可以通过对目标图片执行图片识别的方式获得,也可以通过与目标图片相关联的商品的描述信息获得,本发明对文字描述信息的具体内涵和获取方式不作限定。
具体实施时,文字描述信息可通过以下两种实现方式中的至少一种获取:
在一种可选的实现方式中,针对目标图片执行图片识别操作,根据图片识别结果获取与目标图片相关联的第一类文字描述信息。具体的,针对目标图片执行物品识别处理,得到目标图片中包含的各个物品的形状、类型等特征,从而基于图片识别结果确定第一类文字描述信息。由此可见,第一类文字描述信息是指:能够从图片内容中直接或间接确定的信息。
在又一种可选的实现方式中,获取与目标图片相关联的商品的描述信息,根据商品的描述信息获取与目标图片相关联的第二类文字描述信息。具体的,获取与目标图片相关联的商品的介绍内容,从而基于商品介绍内容确定第二类文字描述信息。由此可见,第二类文字描述信息主要是指:无法从图片内容中直接确定的信息,需要结合商品描述信息辅助确定,如品牌、产地等信息。
其中,文字描述信息中包含多个不同维度的属性信息项,相应的,各个属性信息项分别具有对应的交互入口元素,以供用户通过交互入口元素选择对应的属性信息项。相应的,在本步骤中,展示文字描述信息中包含的多个不同维度的属性信息项以及与各个属性信息项相对应的交互入口元素,以供用户选择感兴趣的属性信息项作为搜索限定条件。例如,以“女鞋”这一商品图片举例而言,其对应的文字描述信息中通常包括以下属性信息项:风格、内里材质、鞋面材质、适用性别、年龄、跟高、适用季节等。上述每个属性信息项均对应有交互入口元素,用户通过点击某一属性信息项对应的交互入口元素即可框选该属性信息项所对应的内容。
步骤S230:响应于用户针对交互入口元素触发的信息项选择指令,将与信息项选择指令相对应的属性信息项确定为目标信息项,获取与目标信息项相对应的搜索关键词。
具体的,用户能够通过与属性信息项相对应的交互入口元素触发信息项选择指令,通过解析信息项选择指令中包含的信息项标识,能够确定与信息项选择指令相对应的属性信息项。相应的,将与信息项选择指令相对应的属性信息项确定为目标信息项,获取与目标信息项相对应的搜索关键词。其中,在获取与目标信息项相对应的搜索关键词时,可通过词义联想、近义词、同义词等多种方式扩展得到搜索关键词。
例如,当属性信息项“适用季节”为冬季时,若用户通过与“适用季节:冬季”对应的交互入口元素触发信息项选择指令,通过解析该信息项选择指令中包含的信息项标识,能够确定与信息项选择指令相对应的属性信息项为“适用季节:冬季”。相应的,可通过词义联想、近义词、同义词等多种方式扩展得到与“冬季”相对应的搜索关键词,如“保暖”、“加绒”等均可作为搜索关键词。
步骤S240:查询预先建立的商品知识图谱,根据商品知识图谱获取与搜索关键词相匹配的候选商品列表,展示候选商品列表中包含的各个商品图片。
其中,商品知识图谱用于表示商品实体之间的关联关系,具体的,商品知识图谱以节点和边构成,节点对应于商品实体,边对应于商品实体之间的关联关系。通过商品知识图谱能够表示海量商品实体之间的相互关联,相应的,根据商品知识图谱能够确定与搜索关键词相对应的多个候选商品,从而构成候选商品列表。通过向用户展示候选商品列表能够供用户选择感兴趣的商品。在本步骤中,根据商品知识图谱获取与搜索关键词相匹配的候选商品列表,展示候选商品列表中包含的各个商品图片。
步骤S250:响应于用户针对候选商品列表中的任一商品图片触发的查看详情指令,将与查看详情指令相对应的商品图片确定为基准图片,从商品数据库中查询与基准图片相对应的相似商品图片,展示查询到的相似商品图片,以供用户选择。
其中,用户在浏览候选商品列表的过程中,能够针对用户感兴趣的商品图片触发查看详情指令,相应的,与查看详情指令相对应的商品图片为用户感兴趣的图片,将该图片作为基准图片查询对应的相似商品图片,能够进一步精准限定商品图片的展示范围。
具体实施时,针对用户依次触发的多个查看详情指令,通过强化学习方式确定与基准图片相对应的相似商品图片。例如,当相似商品图片展示完毕后,用户将针对相似商品图片触发新一轮的点击操作,进而从多个相似商品图片中进一步选择出用户更感兴趣的图片。由此可见,用户将依次触发多个查看详情指令,相应的,通过强化学习方式不断学习用户的真实意图,进而使相似商品图片更加迎合用户需求。
为了便于理解,下面以一个具体示例为例详细介绍上述方法的具体实现细节:
在本示例中,主要以跨境电商应用为例进行说明,相应的,商品图片为跨境电商应用中的商品图片。目前,现有的跨境电商导购一般采用搜索查询或者分类查询的方式。但是对商品的样式比如衣服的样式,有些可以依靠搜索,但是更多的样式可能无法简单的用文字描述。另外,图像对应的物体识别技术,能够把图像中的对应特征翻译成文字描述。在本示例中,利用搜索推荐中图像对应的知识图谱,可以辅助挖掘关键词的含义,把关键词拓展为图像表现出来,因而通过图像搜索能够找到最相似的图像。根据用户的喜好,利用强化学习的技术方案可以结合物体识别,图像对应的知识图谱,图像搜索,用户行为的认知等优势,通过组合,给用户带来新颖而舒适的购物体验。
现有的跨境电商领域导购技术较为单一,只能通过图片进行推荐,在本示例中,为了丰富导购场景技术的单一,融合了各种先进的方法,比如深度学习技术,图像识别技术,自然语言技术,行为检查技术,强化学习技术,增加了推荐的精准度。
另外,发明人在实现本发明的过程中发现,在执行过程,每一种技术在现阶段现领域均存在一定的精度损失和缺陷,而且每一种技术的精度的损失会影响下一阶段技术的选型和输出的精度,从而导致系统有一定地损耗。为了解决上述问题,在本示例中,用户通过图搜收集用户行为,通过强化学习或其他技术手段,完整的了解用户意图并进行用户的智能导购。总之,本发明存在的难点在于每一步可能都会有信息的衰减,通过强化学习或者对抗学习能够减少信息输入的损失,对提升系统性能具有非常重要的意义。由此可见,本示例能够结合物体识别、强化学习、知识图谱、以及图像搜索等手段,通过组合带给用户新颖而舒适的浏览体验。
具体的,常规的文字搜索导购或者以图搜图方案都忽略了用户最本质的需求,因为特定的是一种视觉反馈,很难用语言描述。因此,常规的图像搜索导购忽略了用户对物品无法用图像阐述的特征的需求(材质,品牌),或是概括总结性特征范围的界定(显瘦,亮色)。为了解决上述问题,在本示例中,先通过普通图片,第一次吸引用户,反馈用户对物品的大致需求(比如鞋子图片)。例如,上文提到的商品数据流用于实现第一次吸引用户的目的,具体能够将用户从海量商品中聚焦到鞋子这一特定品类。第二次把该物品的所有款式,颜色,材质信息在图片上标识供用户选择,这样用户可以大致通过文字信息得到不同款式该物品的选择范围。例如,通过文字描述信息中包含的多个不同维度的属性信息项供用户选择搜索条件。第三次,通过导购选定的范围内图片,找到自己喜欢的样式。例如,通过上文提到的候选商品列表供用户选择。第四次,通过用户选择的样式提供相似的款式给用户,完成最终的挑选。例如,通过上文提到的相似商品图片供用户完成最终挑选。
综上可知,本示例根据用户购选的图片描述提取相应的文字并得到符合用户描述的图片信息供用户选择。其至少具有以下技术优势:首先,用户可以在符合文字描述的图片中选择合适的商品,利用图像及文本的双重相似度得到和选择图片物品相似的图片物品;其次,利用文字描述和图片相似度得到用户范围选择,再利用图像及文本双重内容计算相似度,得到用户推荐的物品。
图5示出了展示文字描述信息中包含的多个不同维度的属性信息项的示意图,如图5所述,目标图片为鞋子图片。图6示出了候选商品列表的示意图,具体的,通过用户选定的文字信息(例如选定了颜色为白色这一属性信息项),根据知识图谱中文字信息和商品的关系,得到符合用户喜好的商品列表,比如白色靴子。图7示出了相似商品图片的示意图,具体的,根据用户在喜好的商品列表里面选中的商品图片,利用图像处理找到本物品和相像的商品,根据相似度大小推荐。
由此可见,本示例主要包括以下流程:首先,构建商品知识图谱以及用于描述个人喜好的用户人物画像。然后,基于商品知识图谱以及用户人物画像构建图像特征,从而得到商品数据流。然后,利用图像特征和NLP技术生成图像描述信息(例如上文提到的属性信息项)。最后,根据用户是否触发图片搜索得到商品信息列表。并且,根据用户是否需要推荐得到相似商品推荐列表。并且,在上述过程中,进一步将商品信息列表以及相似商品推荐列表进行融合,得到融合推荐列表,并通过补偿图谱/知识融合/强化学习等手段实现补偿机制,从而确保推荐结果的准确性。总之,上述过程实现了图文双搜过程,且实现了推荐保底功能,并且,通过补偿图谱/知识融合/强化学习等手段实现了补偿机制。
图3示出了根据本发明又一个实施例的基于图片搜索的商品展示装置的结构示意图,如图3所示,该装置包括:
目标图片确定模块31,适于响应于针对商品数据流中包含的商品图片触发的图片查看指令,将与所述图片查看指令相对应的商品图片确定为目标图片;
获取模块32,适于获取与所述目标图片相关联的文字描述信息,展示所述文字描述信息中包含的多个不同维度的属性信息项以及与各个属性信息项相对应的交互入口元素;
响应模块33,适于响应于用户针对所述交互入口元素触发的信息项选择指令,将与所述信息项选择指令相对应的属性信息项确定为目标信息项,获取与所述目标信息项相对应的搜索关键词;
查询展示模块34,适于查询预先建立的商品知识图谱,根据所述商品知识图谱获取与所述搜索关键词相匹配的候选商品列表,展示所述候选商品列表中包含的各个商品图片。
可选的,所述获取模块具体适于:
针对所述目标图片执行图片识别操作,根据图片识别结果获取与所述目标图片相关联的第一类文字描述信息;
获取与所述目标图片相关联的商品的描述信息,根据所述商品的描述信息获取与所述目标图片相关联的第二类文字描述信息。
可选的,所述装置进一步包括:
图谱构建模块,适于获取商品数据库中包含的各个商品的类目信息,根据各个商品的类目信息建立所述商品知识图谱;
其中,所述商品知识图谱中包含多个节点以及用于连接各个节点的边,其中,每个节点对应于一个商品图片,且边用于表示两个节点之间的关联关系。
可选的,所述装置进一步包括:
用户画像构建模块,适于获取当前用户的历史浏览数据,根据所述历史浏览数据建立与所述当前用户相对应的用户画像数据,根据所述用户画像数据展示所述商品数据流。
可选的,所述查询展示模块进一步适于:
响应于用户针对所述候选商品列表中包含的任一商品图片触发的查看详情指令,将与所述查看详情指令相对应的商品图片确定为基准图片,从商品数据库中查询与所述基准图片相对应的相似商品图片,展示查询到的相似商品图片,以供用户选择。
可选的,所述查询展示模块具体适于:
针对用户依次触发的多个查看详情指令,通过强化学习方式确定与所述基准图片相对应的相似商品图片。
可选的,所述商品图片为跨境电商应用中的商品图片。
上述各个模块的具体结构和工作原理可参照方法实施例中相应步骤的描述,此处不再赘述。
本申请实施例提供了一种非易失性计算机存储介质,所述计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的基于图片搜索的商品展示方法。
图4示出了根据本发明实施例的一种电子设备的结构示意图,本发明具体实施例并不对电子设备的具体实现做限定。
如图4所示,该电子设备可以包括:处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中:
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404,用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402,用于执行程序410,具体可以执行上述域名解析方法实施例中的相关步骤。
具体地,程序410可以包括程序代码,该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器406,用于存放程序410。存储器406可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行上述方法实施例中的各项操作。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的电子设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种基于图片搜索的商品展示方法,包括:
响应于针对商品数据流中包含的商品图片触发的图片查看指令,将与所述图片查看指令相对应的商品图片确定为目标图片;
获取与所述目标图片相关联的文字描述信息,展示所述文字描述信息中包含的多个不同维度的属性信息项以及与各个属性信息项相对应的交互入口元素;
响应于用户针对所述交互入口元素触发的信息项选择指令,将与所述信息项选择指令相对应的属性信息项确定为目标信息项,获取与所述目标信息项相对应的搜索关键词;
查询预先建立的商品知识图谱,根据所述商品知识图谱获取与所述搜索关键词相匹配的候选商品列表,展示所述候选商品列表中包含的各个商品图片。
2.根据权利要求1所述的方法,其中,所述获取与所述目标图片相关联的文字描述信息包括:
针对所述目标图片执行图片识别操作,根据图片识别结果获取与所述目标图片相关联的第一类文字描述信息;
获取与所述目标图片相关联的商品的描述信息,根据所述商品的描述信息获取与所述目标图片相关联的第二类文字描述信息。
3.根据权利要求1所述的方法,其中,所述方法执行之前,进一步包括:
获取商品数据库中包含的各个商品的类目信息,根据各个商品的类目信息建立所述商品知识图谱;
其中,所述商品知识图谱中包含多个节点以及用于连接各个节点的边,其中,每个节点对应于一个商品图片,且边用于表示两个节点之间的关联关系。
4.根据权利要求1所述的方法,其中,所述方法执行之前,进一步包括:
获取当前用户的历史浏览数据,根据所述历史浏览数据建立与所述当前用户相对应的用户画像数据,根据所述用户画像数据展示所述商品数据流。
5.根据权利要求1所述的方法,其中,所述展示所述候选商品列表中包含的各个商品图片之后,进一步包括:
响应于用户针对所述候选商品列表中包含的任一商品图片触发的查看详情指令,将与所述查看详情指令相对应的商品图片确定为基准图片,从商品数据库中查询与所述基准图片相对应的相似商品图片,展示查询到的相似商品图片,以供用户选择。
6.根据权利要求5所述的方法,其中,所述响应于用户针对所述候选商品列表中包含的任一商品图片触发的查看详情指令,将与所述查看详情指令相对应的商品图片确定为基准图片,从商品数据库中查询与所述基准图片相对应的相似商品图片,展示查询到的相似商品图片包括:
针对用户依次触发的多个查看详情指令,通过强化学习方式确定与所述基准图片相对应的相似商品图片。
7.根据权利要求1-6任一所述的方法,其中,所述商品图片为跨境电商应用中的商品图片。
8.一种基于图片搜索的商品展示装置,包括:
目标图片确定模块,适于响应于针对商品数据流中包含的商品图片触发的图片查看指令,将与所述图片查看指令相对应的商品图片确定为目标图片;
获取模块,适于获取与所述目标图片相关联的文字描述信息,展示所述文字描述信息中包含的多个不同维度的属性信息项以及与各个属性信息项相对应的交互入口元素;
响应模块,适于响应于用户针对所述交互入口元素触发的信息项选择指令,将与所述信息项选择指令相对应的属性信息项确定为目标信息项,获取与所述目标信息项相对应的搜索关键词;
查询展示模块,适于查询预先建立的商品知识图谱,根据所述商品知识图谱获取与所述搜索关键词相匹配的候选商品列表,展示所述候选商品列表中包含的各个商品图片。
9.一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的基于图片搜索的商品展示方法对应的操作。
10.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-7中任一项所述的基于图片搜索的商品展示方法对应的操作。
CN202110651056.3A 2021-06-10 2021-06-10 基于图片搜索的商品展示方法及装置 Pending CN113191858A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110651056.3A CN113191858A (zh) 2021-06-10 2021-06-10 基于图片搜索的商品展示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110651056.3A CN113191858A (zh) 2021-06-10 2021-06-10 基于图片搜索的商品展示方法及装置

Publications (1)

Publication Number Publication Date
CN113191858A true CN113191858A (zh) 2021-07-30

Family

ID=76976326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110651056.3A Pending CN113191858A (zh) 2021-06-10 2021-06-10 基于图片搜索的商品展示方法及装置

Country Status (1)

Country Link
CN (1) CN113191858A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023077944A1 (zh) * 2021-11-03 2023-05-11 北京沃东天骏信息技术有限公司 用于输出信息的方法、装置、设备以及存储介质
WO2024045473A1 (zh) * 2022-08-30 2024-03-07 阿里巴巴(中国)有限公司 提供商品搜索信息的方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730343A (zh) * 2017-09-15 2018-02-23 广州唯品会研究院有限公司 一种基于图片属性提取的用户商品信息推送方法及设备
CN107862562A (zh) * 2017-09-15 2018-03-30 广州唯品会研究院有限公司 一种根据用户的图片喜好选择进行商品推荐的方法及装置
CN107861972A (zh) * 2017-09-15 2018-03-30 广州唯品会研究院有限公司 一种用户录入商品信息后显示商品全结果的方法及设备
CN110597962A (zh) * 2019-09-23 2019-12-20 腾讯科技(深圳)有限公司 搜索结果展示方法、装置、介质及电子设备
CN110929139A (zh) * 2018-09-04 2020-03-27 阿里巴巴集团控股有限公司 搜索推荐方法及装置
CN111695022A (zh) * 2019-01-18 2020-09-22 创新奇智(重庆)科技有限公司 一种基于知识图谱可视化的兴趣搜索方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730343A (zh) * 2017-09-15 2018-02-23 广州唯品会研究院有限公司 一种基于图片属性提取的用户商品信息推送方法及设备
CN107862562A (zh) * 2017-09-15 2018-03-30 广州唯品会研究院有限公司 一种根据用户的图片喜好选择进行商品推荐的方法及装置
CN107861972A (zh) * 2017-09-15 2018-03-30 广州唯品会研究院有限公司 一种用户录入商品信息后显示商品全结果的方法及设备
CN110929139A (zh) * 2018-09-04 2020-03-27 阿里巴巴集团控股有限公司 搜索推荐方法及装置
CN111695022A (zh) * 2019-01-18 2020-09-22 创新奇智(重庆)科技有限公司 一种基于知识图谱可视化的兴趣搜索方法
CN110597962A (zh) * 2019-09-23 2019-12-20 腾讯科技(深圳)有限公司 搜索结果展示方法、装置、介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023077944A1 (zh) * 2021-11-03 2023-05-11 北京沃东天骏信息技术有限公司 用于输出信息的方法、装置、设备以及存储介质
WO2024045473A1 (zh) * 2022-08-30 2024-03-07 阿里巴巴(中国)有限公司 提供商品搜索信息的方法及电子设备

Similar Documents

Publication Publication Date Title
US12062073B2 (en) System and method allowing social fashion selection in an electronic marketplace
US11636364B2 (en) Image-based popularity prediction
KR101852581B1 (ko) 이미지 평가 기법
US9607010B1 (en) Techniques for shape-based search of content
US10198520B2 (en) Search with more like this refinements
CN108829847B (zh) 基于翻译的多模态建模方法及其在商品检索中的应用
US10769524B1 (en) Non-binary gender filter
KR20210098884A (ko) 사용자의 체형 및 구매 이력을 이용하여 패션 아이템 추천 서비스를 제공하는 방법
US20210390607A1 (en) Method, apparatus and computer program for style recommendation
US9324102B2 (en) System and method to retrieve relevant inventory using sketch-based query
CN107862562B (zh) 一种根据用户的图片喜好选择进行商品推荐的方法及装置
CN107835994A (zh) 通过图像的任务聚焦搜索
US11195227B2 (en) Visual search, discovery and attribution method, system, and computer program product
JP2018509684A (ja) 情報公開方法及び装置
CN113191858A (zh) 基于图片搜索的商品展示方法及装置
CN108153792A (zh) 一种数据处理方法和相关装置
WO2023109291A1 (zh) 搜索结果展示方法、装置、计算机设备和存储介质
KR20210131198A (ko) 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램
US20230267151A1 (en) Aspect-aware autocomplete query
CN113191834A (zh) 商品对象发布、识别方法、装置、电子设备和存储介质
KR20220039697A (ko) 코디네이션 패션 아이템을 추천하는 방법
CN113744019A (zh) 一种商品推荐方法、装置、设备及存储介质
KR102378072B1 (ko) 코디네이션 패션 아이템을 추천하는 방법
CN112784061A (zh) 知识图谱的构建方法、装置、计算设备及存储介质
KR20210063665A (ko) 사용자 이벤트 정보 기반 추천 아이템 제공 방법 및 이를 실행하는 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination