CN109716286A - 确定具有经确认的特征的项 - Google Patents

确定具有经确认的特征的项 Download PDF

Info

Publication number
CN109716286A
CN109716286A CN201780057051.XA CN201780057051A CN109716286A CN 109716286 A CN109716286 A CN 109716286A CN 201780057051 A CN201780057051 A CN 201780057051A CN 109716286 A CN109716286 A CN 109716286A
Authority
CN
China
Prior art keywords
feature
group
image
client device
confirmed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780057051.XA
Other languages
English (en)
Inventor
阿基亚·戈拉克纳特·卡莱
穆罕默德哈迪·基亚普尔
鲁宾逊·皮拉穆图
杨帆
王乔松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eBay Inc
Original Assignee
eBay Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eBay Inc filed Critical eBay Inc
Publication of CN109716286A publication Critical patent/CN109716286A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene

Abstract

在各种示例实施方式中，本文描述了用于确定具有经确认的特征的项的系统和方法。从客户端设备接收图示对象的图像。检索与一个或更多个项的特征相对应的结构化数据。确定一组特征，该组特征被预测为与对象匹配。生成包括用于对该组特征进行确认的请求的界面。在客户端设备上显示界面。从客户端接收该组特征中的至少一个特征与图像中图示的对象匹配的确认。

Description

确定具有经确认的特征的项
相关申请的交叉引用
本国际申请要求于2016年9月20日提交的题为“DETERMINING AN ITEM THAT HASCONFIRMED CHARACTERISTICS”的美国专利申请序列号15/270,844的优先权的权益，并且还要求于2016年8月16日提交的题为“DETERMINING AN ITEM THAT HAS CONFIRMEDCHARACTERISTICS”的美国临时申请第62/375,855号的优先权的权益，上述两件申请的全部内容通过引用并入本文中。
技术领域
本公开内容的实施方式总体上涉及促进与图像搜索系统交互的专用机器的技术领域，该图像搜索系统包括这种专用机器的计算机化变型和对这些变型的改进，以及涉及与促进与图像搜索系统交互的其他专用机器相比改进这种专用机器的技术。特别地，本公开内容提出了用于确定具有经确认的特征的项的系统和方法。
背景技术
常规地，用户可以使用描述项的文本搜索查询从项库存中搜索项。然而，当将用户的搜索查询与对同一项的卖方描述相比时，该项的用户描述可能经常是不准确或者不完整的。此外，项库存中的项可能会经过多种解释，因此可以使用各种描述来描述同一项。例如，项库存中的项可能由不止一个卖方以不止一种方式进行描述。因此，对项的常规文本搜索可能给用户带来更大的负担。
附图说明
所附附图中的各个附图仅示出了本公开内容的示例实施方式，并且不能被视为限制本公开内容的范围。
图1是示出根据一些示例实施方式的网络化系统的框图。
图2是示出根据一些示例实施方式的智能个人助理系统的架构细节的框图。
图3是示出根据一些示例实施方式的计算机视觉系统的部件的框图。
图4至图6是示出根据一些示例实施方式的计算机视觉系统在执行使项显示的方法中的操作的流程图。
图7至图9是图示根据一些示例实施方式的示例用户界面的框图。
图10是图示根据一些示例实施方式的示例知识图的框图。
图11示出了根据示例实施方式的计算机系统形式的机器的图解表示，在该机器内可以执行一组指令以用于使机器执行本文所讨论的方法中的任一种或更多种。
具体实施方式
以下描述描述了示出本主题的示例实施方式的系统、方法、技术、指令序列和计算机程序产品。在以下描述中，出于说明的目的，阐述了许多具体细节以提供对本文所讨论的主题的各种示例实施方式的理解。然而，对本领域技术人员而言将明显的是，可以在没有这些具体细节的情况下实践该主题的实施方式。
在各种示例实施方式中，计算机视觉系统被配置成从客户端设备接收对象的图像。在接收到对象的图像之后，计算机视觉系统确定被预测为与对象匹配的一组特征。该组特征与被发布为项列表并且在项库存中指示的项的特征相对应。在客户端设备上显示该组特征以确认所预测的特征是否与图像上图示的对象匹配。一旦接收到该组特征中的至少一个特征的确认，则计算机视觉系统使具有经确认的至少一个特征的结果项显示。
在另外的示例实施方式中，计算机视觉系统利用知识图确定被预测为与对象匹配的特征。另外，知识图包括表示被发布为项列表并且在项库存中指示的项的特征的节点。
因此，本文所讨论的方法中的一种或更多种可以消除使用文本搜索查询执行搜索的需要，这可以具有减少由系统内的一个或更多个设备使用的计算资源的技术效果。这种计算资源的示例包括但不限于处理器周期、网络流量、存储器使用、存储空间及功耗。
参照图1，示出了基于客户端-服务器的高级网络架构100的示例实施方式。基于网络的发布系统的示例形式的网络化系统102经由网络104(例如，因特网或广域网(WAN))向一个或更多个客户端设备110提供服务器端功能。图1示出了例如在客户端设备110上执行的网络客户端112、客户端应用114和编程式客户端116。
客户端设备110可以包括但不限于移动电话、桌上型计算机、膝上型电脑(laptop)、便携式数字助理(PDA)、智能电话、平板电脑、超极本、上网本、膝上型电脑(laptops)、多处理器系统、基于微处理器或者可编程的消费性电子产品、游戏控制台、机顶盒或者用户可以利用以访问网络化系统102的任何其他通信设备。在一些实施方式中，客户端设备110包括用于(例如，以用户界面的形式)显示信息的部件。在另外的实施方式中，客户端设备110可以包括触摸屏、加速计、陀螺仪、摄像装置、麦克风、全球定位系统(GPS)设备等中的一个或更多个。在一个实施方式中，网络化系统102是基于网络的发布系统，该基于网络的发布系统响应对项列表的请求、发布包括在基于网络的发布系统上可用的项的项列表的发布以及管理对所发布的项列表的搜索。例如，网络104的一个或更多个部分可以是自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网的一部分、公共交换电话网络(PSTN)的一部分、蜂窝电话网络、无线网络、WiFi网络、WiMax网络、另一类型的网络或者两个或更多个这种网络的组合。
客户端设备110中的每一个客户端设备包括一个或更多个应用(也称为“app”)，诸如但不限于网络浏览器、消息应用、电子邮件(email)应用、电子商务网站应用、智能个人助理应用等。在一些实施方式中，如果智能个人助理应用包括在给定的一个客户端设备110中，则该应用被配置成在本地提供用户界面和至少一些功能，其中，该应用被配置成根据需要针对不是本地可用的数据和/或处理能力(例如，访问针对销售可用的项的数据库以认证用户)与网络化系统102通信。
用户106可以是人、机器或与客户端设备110交互的其他装置。在示例实施方式中，用户106不是网络架构100的一部分，但是经由客户端设备110或其他装置与网络架构100交互。例如，用户106向客户端设备110提供输入(例如，触摸屏输入或字母数字输入)并且该输入经由网络104传送至网络化系统102。在这种情况下，响应于从用户106接收到输入，网络化系统102经由网络104将信息传送至客户端设备110以呈现给用户106。以这样方式，用户106可以使用客户端设备110与网络化系统102交互。
应用程序编程接口(API)服务器120和网络服务器122耦接至一个或更多个应用服务器140，并且向一个或更多个应用服务器140分别提供编程接口和网络接口。应用服务器140托管发布系统142和智能个人助理系统152，发布系统142和智能个人助理系统152中的每一个可以包括一个或更多个模块、引擎或应用，并且可以实施为硬件、软件、固件、电路或其任意组合。应用服务器140又被示出为耦接至一个或更多个数据库服务器124，数据库服务器124促进对一个或更多个信息储存库或数据库126的访问。在示例实施方式中，数据库126是存储传送至发布系统142或智能个人助理系统152中的任一个的信息(例如，发布或列表)的存储设备。根据示例实施方式，数据库126还可以存储数字项信息。
此外，在第三方服务器130上执行的第三方应用132被示出为具有经由由API服务器120提供的编程接口对网络化系统102的编程访问权限。例如，利用从网络化系统102检索的信息的第三方应用132支持由第三方托管的网站上的一个或更多个特征或功能。第三方网站例如提供由网络化系统102的相关应用支持的一个或更多个促销或发布功能。
发布系统142向访问网络化系统102的用户106提供许多发布功能和服务。虽然发布系统142在图1中被示出为形成网络化系统102的一部分，但是应当理解的是，在替选实施方式中，发布系统142可以形成为与网络化系统102分离且不同于网络化系统102的服务的一部分。
另外，虽然图1所示的基于客户端-服务器的网络架构100使用了客户端-服务器架构，但是本发明主题当然不限于这样的架构，并且同样可以在例如分布式或对等架构系统中找到应用。
网络客户端112经由由网络服务器122支持的网络接口访问发布系统142或智能个人助理系统152。类似地，编程客户端116经由由API服务器120提供的编程接口访问由发布系统142或智能个人助理系统152提供的各种服务和功能。
图1示出的任何系统或机器(例如，数据库、设备、服务器)可以包括专用(例如，专门的或其他非通用)计算机或者以其他方式以专用(例如，专门的或其他非通用)计算机实现，该专用计算机已经被修改(例如，通过诸如应用、操作系统、固件、中间件或其他程序中的一个或更多个软件模块的软件被配置或编程)成执行针对该系统或机器本文所描述的功能中的一个或更多个功能。例如，下面关于图4至图6讨论能够实现本文所描述的方法中的任一种或更多种的专用计算机系统，并且因此这样的专用计算机可以是用于执行本文所讨论的方法中的任一种或更多种的装置。在这种专用计算机的技术领域中，与缺少本文所讨论的结构或者无法以其他方式执行本文所讨论的功能的其他专用计算机相比，通过本文所讨论的结构修改以执行本文所讨论的功能的专用计算机在技术上得以改进。因此，根据本文所讨论的系统和方法配置的专用机器提供了对类似专用机器的技术的改进。
如本文所使用的，“数据库”是数据存储资源并且可以存储以下数据：被构造为文本文件、表格、电子表格、关系数据库(例如，对象关系数据库)、三元组存储、分层数据存储或其任何合适的组合的数据。此外，图1示出的系统或机器中的任两个或更多个可以组合成单个系统或机器，并且针对任何单个系统或机器本文描述的功能可以在多个系统或机器之间细分。
图2是示出根据一些示例实施方式的智能个人助理系统152的架构细节的框图。具体地，智能个人助理系统152被示出为包括前端(FE)部件202，智能个人智能系统152通过该前端部件202(例如，通过网络104)与网络架构100内的其他系统通信。前端部件202可以与现有的消息系统的结构通信。如本文所使用的，术语消息结构指的是可以支持诸如脸书即时通、微软小娜及其他“机器人程序”的第三方平台的API和服务的集合。在一个示例中，消息结构可以支持允许用户与商业意图交互的在线商业生态系统。前端部件202的输出可以被呈现在作为与智能个人助理(例如，“机器人程序”)连接的一部分的客户端设备例如图1中的客户端设备110的显示器中。
智能个人助理系统152的前端部件202耦接至用于前端的后端部件204(BFF)，后端部件204进行操作以将前端部件202与人工智能框架128链接。人工智能框架128包括下面讨论的若干部件。
在智能个人助理系统152的一个示例中，AI协调器206协调人工智能框架128内部和外部的部件的通信。AI协调器206的输入形式是从计算机视觉部件208(例如，计算机视觉系统)、语音识别部件210以及可以形成语音识别部件210的一部分的文本标准化部件中导出的。计算机视觉部件208(例如，计算机视觉系统)可以从视觉输入(例如，照片)中识别对象和属性。语音识别部件210将音频信号(例如，说出的话语)转换成文本。文本标准化部件进行操作以使输入标准化，例如通过将表情符号呈现为文本来进行语言标准化。诸如拼写标准化、外语标准化、会话文本标准化等的其他标准化也是可行的。
人工智能框架128还包括自然语言理解或NLU部件214，该NLU部件214进行操作以解析并提取用户意图和意图参数(例如必选和/或可选参数)。尽管图2未示出，但是NLU部件214还可以包括诸如拼写校正器(拼写器)、解析器、命名实体识别(NER)子部件以及词感探测器(WSD)的子部件。NLU部件214还可以包括如图2所示的知识图。
人工智能框架128还包括对话管理器216，该对话管理器216进行操作以理解“特征的完整性”(例如输入，诸如搜索查询或话语)并且决定下一动作类型及参数(例如，“搜索”或“向用户请求进一步的信息”)。在一个示例中，对话管理器216与上下文管理器218和NLG部件212(或自然语言生成部件)相关联地操作。上下文管理器218管理用户关于智能个人助理(例如，“机器人程序”)及与智能个人助理关联的人工智能的上下文和通信。上下文管理器218包括两个部分：长期历史和短期记忆。例如，进入这两部分中的一者或二者的数据可以包括相关意图和所有参数以及给定输入、机器人交互或通信话轮的所有相关结果。NLG部件212进行操作以从AI消息组成自然语言话语以呈现给与智能机器人交互的用户。
搜索部件220也包括在人工智能框架128中。尽管未示出，但是搜索部件220具有前端单元和后端单元。后端单元进行操作以管理项和产品库存并且提供针对库存的搜索、对意图和意图参数的特定元组的优化的功能。可以构成或者不构成人工智能框架128的一部分的身份服务222部件进行操作以管理用户简况，例如用户属性形式的显式信息，例如“姓名”、“年龄”、“性别”、“地理位置”，以及诸如“信息提炼”形式的隐式信息，诸如“用户兴趣”或“类似角色”等。
人工智能框架128的功能可以被设置成多个部分，例如决策执行部分和上下文部分。在一个示例中，决策执行部分包括由AI协调器206、NLU部件214及其子部件、对话管理器216、NLG部件212、计算机视觉部件208以及语音识别部件210进行的操作。AI功能的上下文部分涉及围绕用户的参数(隐式和显式)和传递的意图(例如，对于给定的库存，或其他)。为了随时间测量并改善AI质量，使用样本查询(例如，开发集)训练人工智能框架128并且在不同的查询集(例如，评估集)上测试人工智能框架128，开发集和评估集二者均由策展人开发。此外，人工智能框架128将在由有经验的策展专家或覆写人224定义的交易流程和交互流程方面训练。在人工智能框架128的各种部件内编码的流程和逻辑定义了基于所识别的用户意图由智能助理作出后续话语或演示(例如，问题，结果集)的内容。
上面还参考了智能个人助理系统152中的智能在线个人助理(例如，“机器人程序”)的示例输入形式。智能个人助理系统152试图理解用户的意图(例如，针对性搜索、比较、购物/浏览等)和任何必选参数(例如，产品、产品类别、项等)和/或可选参数(例如，显式信息例如项/产品的各方面、场合等)以及隐式信息(例如，地理位置、个人喜好、年龄和性别等)，并且使用深思熟虑或“智能”响应对用户做出响应。显式输入形式可以包括文本、语音和视觉输入并且可以利用用户的隐式知识(例如，地理位置、之前的浏览历史等)进行丰富。输出形式可以包括文本(诸如语音、或自然语言语句、或产品相关信息以及智能设备例如客户端设备110的屏幕上的图像。因此，输入形式指的是用户可以与机器人通信的不同方式。输入形式还可以包括键盘或鼠标导航、触敏手势等。
关于计算机视觉部件208的形式，照片通常可以比文本更好地表示用户在寻找的东西。用户可能不知道项被称作什么，或者可能很难甚至不可能使用文本来得到只有专家可能知道的精准详细信息，例如服装中的复杂图案或者家具的某种风格。此外，在移动电话上键入复杂文本查询是不方便的并且长的文本查询通常具有较差的查全率。因此，参照图2，计算机视觉部件208的关键功能包括对象定位、对象识别、光学字符识别(OCR)以及基于来自图像或视频的视觉提示与库存匹配。当在具有内置摄像装置的移动设备上运行时，启用具有计算机视觉的机器人是有利的。强大的深度神经网络可以用来实现计算机视觉应用。
图3是示出根据一些示例实施方式的计算机视觉系统208的部件的框图。计算机视觉系统208被示出为包括访问模块310、确定模块320、生成模块330以及传输模块340，所有模块都被配置成(例如，经由总线、共享存储器或交换机)彼此通信。本文描述的部件(例如，模块)中的任一个或更多个可以使用仅硬件(例如，机器的一个或更多个处理器)或者硬件与软件的组合来实现。例如，本文描述的任何部件可以在物理上包括处理器中的一个或更多个的布置或者对(例如，机器的一个或更多个处理器中的)处理器进行配置以执行针对该模块在本文中所描述的操作。因此，本文中所描述的不同部件可以包括处理器在不同时间点处的不同布置或者处理器在不同时间点处的单个布置，以及将处理器在不同时间点处配置成不同布置或者将处理器在不同时间点处配置成单个布置。本文中所描述的每个部件(例如，模块)是用于执行针对该部件本文中所描述的操作的装置的示例。此外，这些部件中的任两个或更多个可以组合成单个部件，并且针对单个部件在本文中所描述的功能可以在多个部件之间细分。此外，根据各种示例实施方式，本文被描述为在单个机器、数据库或设备内实现的部件可以跨多个机器、数据库或设备分布。
在各种示例实施方式中，访问模块310被配置成接收图示对象的图像。该图像由访问模块310从客户端设备(例如，客户端设备110)接收。此外，在一些实例中，客户端设备的用户搜索关于图像中图示的对象的信息。在一些实施方式中，对象的图像由客户端设备生成。例如，使用附接至客户端设备的摄像装置捕获对象的图像。
在各种示例实施方式中，访问模块310被配置成检索与作为项列表发布的一个或更多个项的特征相对应的结构化数据。换句话说，结构化数据指示一个或更多个项的特征。在一些实例中，结构化数据存储在由计算机视觉系统208维护的数据库(例如，数据库126)中。在一些实施方式中，所发布的项列表是针对销售可用的项的列表。在一些实例中，所发布的项列表由发布系统142发布。
在各种示例实施方式中，结构化数据包括存储在由发布系统维护的数据库中的表。另外，通过所述表来指示一个或更多个项的每个特征。例如，每个特征对应于数据库表内的单元格。换句话说，各个特征各自存储在数据库表内的特定单元格中。此外，数据库表可以存储在由智能个人助理系统152维护的数据库(例如，数据库126)内。
一个或更多个特征可以指示更高粒度的宽泛特征(例如，粗粒特征)。在一些实例中，一个或更多个特征还可以指示更具体的特征(例如，细粒特征)。宽泛特征属于项组而具体特征属于个体项。宽泛特征的示例包括诸如时尚、户外、游戏等的项的类别。宽泛特征还可以描述由项组服务的功能。宽泛特征还可以包括与项组相关联的制造商或品牌。具体特征的示例包括与项组相对的各个项的更具体的特征。例如，具体特征可以指示颜色、大小、质地等。
在另外的实施方式中，特征中的每一个可以存储在各种其他形式的结构化数据对象中。在一些实施方式中，特征对应于知识图内的节点。此外，在一些实例中，知识图用于图示粗粒特征如何与细粒特征相关。换句话说，知识图图示了粗粒特征与至少一个细粒特征之间的关系。例如，与时尚特征(例如，粗粒特征)相对应的节点可以连接至被归入时尚类别的项的特征(例如，细粒特征)。作为另一示例，运动特征节点可以连接至运动鞋、鞋、运动服装等(例如，可以被标记为运动项的各个项)的特征。
在各种示例实施方式中，确定模块320被配置成确定被预测为与对象相匹配的一组特征。确定模块320还被配置成对结构化数据和图示对象的图像进行分析。
在一些实例中，确定模块320生成对应于图像的图像签名。图像签名包括唯一标识图像的符号的集合。例如，图像签名可以包括一个或更多个字母数字字符。此外，字母数字字符可以被表示为矢量。在一些实例中，图像签名是基于图像的各种特征(例如，亮度、对比度、颜色等)生成的。因此，图像签名是图像的各种特征的组合表示。此外，在对图像的分析期间使用图像签名。
在各种示例实施方式中，生成模块330被配置成生成包括用于对该组特征进行确认的请求的界面。在各种示例实施方式中，生成模块330生成对该组特征的中每个特征的图示(例如，图像或描述)。生成模块330还生成用于确认该组特征与图像中图示的对象匹配的选项(例如，按钮)。在一些实例中，生成模块330生成用于确认界面中的该组特征旁边的一组特征的选项。
在各种示例实施方式中，传输模块340使所生成的界面显示在客户端设备上。换句话说，传输模块340传输使所生成的界面显示在客户端设备上的数据。这包括传输使用于对该组特征与对象匹配进行确认的选项显示的数据。在另外的示例实施方式中，传输模块340使具有与对象匹配的经确认的特征的结果项显示。
在各种示例实施方式中，访问模块310从客户端设备接收该组特征的中至少一个特征与图像中图示的对象匹配的确认。在一些实例中，在选择生成模块330生成的选项时接收到该确认。一旦在访问模块310处接收到该确认，在一些实例中，生成模块330生成包括用于对另外的特征进行确认的另一请求的另一界面。在一些实例中，使用知识图确定另外的特征。
在各种示例实施方式中，生成模块330还被配置成：生成图像的编辑版本，其包括对从客户端设备接收到的图像中图示的对象进行定位。在各种示例实施方式中，生成模块330被配置成从图像中移除无关信息。无关信息图示了不属于对象的细节(例如，图像中的未图示对象的一部分)。在各种示例实施方式中，生成模块330被配置成修改图像的亮度以使得图像中的对象的可见度增加。在一些实施方式中，生成模块330被配置成增加图像中的对象的亮度。另外，生成模块330被配置成降低图像的未包括对象的部分的亮度。这些编辑中的每一个可以修改或者进一步改变图像签名。
图4至图6是示出根据一些示例实施方式的计算机视觉系统208在执行使项显示的方法400时的操作的流程图。方法400中的操作可以部分地或全部地由计算机视觉系统208的部件执行，其可以使用上面关于图3描述的部件全部地或部分地在网络化系统102的一个或更多个应用服务器140中实施。因此，参照计算机视觉系统208通过示例的方式来描述方法400。然而，应当理解的是，方法400的至少一些操作可以部署在各种其他硬件配置上或者由驻留在网络架构100中其他地方的类似部件执行。因此，方法400不旨在限于计算机视觉系统208。如图4所示，方法400包括操作410、操作420、操作430、操作440、操作450、操作460和操作470。
在操作410处，访问模块310接收图示对象的图像。在一些实例中，对象被图示为占用图像的一部分。例如，代替占用图像的大部分的对象，对象出现在图像的仅特定区域(例如，角落、中间、一侧)。在各种示例实施方式中，从客户端设备接收图像。此外，图像可以由客户端设备诸如附接至客户端设备的摄像装置进行的操作生成。
在操作420处，访问模块310检索与作为项列表发布的一个或更多个项的特征相对应的结构化数据。换句话说，结构化数据指示一个或更多个项的特征。结构化数据可以存储在数据库(例如，数据库126)中。此外，结构化数据可以呈现各种形式。例如，结构化数据包括数据库表、知识图等。另外，每个特征都存储在结构化数据中。例如，特征作为单元格存储在数据库表中。可替选地，特征可以作为节点存储在知识图中。
在操作430处，确定模块320确定被预测为与对象匹配的一组特征。在各种示例实施方式中，确定模块320对结构化数据进行分析。另外，该组特征由确定模块320基于对结构化数据的分析来确定，如下面进一步说明的。
在操作440处，生成模块330生成包括用于对该组特征进行确认的请求的界面。在一些实例中，生成模块330生成对该组特征中的每个特征的图示。例如，生成模块330生成该组特征中的每个特征的描述。同样地，生成模块330可以生成该组特征中的每个特征的图像。在一些实例中，描述和图像可以在结构化数据中找到。换句话说，结构化数据包括项特征的描述和项特征的图像。一旦生成该组特征的图示，则生成模块330将每个特征的图示插入至所生成的界面中。
在操作450处，传输模块340使界面显示在客户端设备上。传输模块340传输使界面显示的数据。该数据通过网络(例如，网络104)被传输至客户端设备(例如，客户端设备110)。
在操作460处，访问模块310从客户端设备接收该组特征中的至少一个特征与在图像中所图示的对象匹配的确认。在一些实例中，响应于对在用户界面中生成的选项的选择而接收该确认。
在操作470处，传输模块340使具有与对象匹配的至少一个经确认的特征的结果项显示。换句话说，结果项将至少一个经确认的特征作为其特点之一。在一些实例中，结果项包括在存储在数据库(例如，数据库126)中的项库存中。因此，从项库存中检索结果项。此外，传输模块340使结果项的图像显示。在另外的实施方式中，传输模块340使结果项的描述显示。结果项的图像和描述可以在项库存中找到。在一些实例中，项库存是存储由发布系统142发布的(例如，项列表中的)每个项的描述和图像的储存库。
在另外的实施方式中，智能个人助理系统152使用至少一个经确认的特征作为搜索项来搜索项库存以得到结果项。项库存中的各项(例如，已发布的项列表)可以基于项的特征进行标记。此外，如前所述，项库存中的项的特征被存储为结构化数据。因此，可以使用这些特征搜索具有与经确认的特征匹配的特征的项。
如图5所示，方法400可以包括操作510、操作520、操作530和操作540中的一个或更多个。操作510至操作530中一个或更多个操作可以作为操作430的一部分(例如，子例程或部分)来执行。操作540可以作为操作440的一部分来执行。
在操作510处，确定模块320计算一个或更多个项列表的特征的概率。概率表示或指示特征与图像中图示的对象匹配的可能性。作为示例，概率可以是指示每一个特征与图像中图示的对象匹配紧密程度的值。在一些实例中，确定模块320使用图像签名计算概率。如上所述，图像签名包括唯一标识图像的符号或特征的集合。
在操作520处，确定模块320确定该组特征具有每个特征的概率均超过预定阈值的计算概率。在一些实例中，阈值指示为了在操作530处得到该组特征中要选择的特征的最小概率。在一些实例中，确定模块320还确定该组特征以外的特征具有不超过预定阈值的计算概率。
在操作530处，确定模块320基于在操作520处进行的确定来选择该组特征。换句话说，确定模块320基于确定该组特征具有每个特征的概率均超过预定阈值的计算概率来选择特征组。
在操作540处，生成模块330生成可选择以指示对该组特征中的至少一个特征进行确认的选项的图形元素。如前所述，所生成的选项包括可由用户选择的以指示对至少一个特征进行确认的按钮。此外，该按钮被显示为在客户端设备上显示的用户界面的一部分。在一些实例中，生成模块330生成用于该组特征中的每个特征的选项。
如图6所示，方法400可以包括操作610、操作620、操作630和操作640中的一个或更多个。此外，操作610可以作为操作410的一部分(例如，子例程或部分)来执行。操作620可以在操作410之后并且在操作420之前执行。最后，操作630和操作640可以在操作460之后但是在操作470之前。
在操作610处，生成模块330生成图像的编辑版本。在各种示例实施方式中，生成图像的编辑版本包括对图像的一部分进行定位。
在操作620处，生成模块330生成图像签名。图像签名包括唯一标识图像的符号的集合。如前所述，图像签名可以包括一个或更多个字母数字字符。另外，符号(例如，字母数字字符)的集合可以被表示为矢量。在一些实例中，基于图像的各种特征(例如，亮度、对比度、颜色等)生成图像签名。因此，生成模块330对图像的各种特征进行分析以生成图像签名。
在操作630处，访问模块310访问图示粗粒特征与至少一个细粒特征之间的关系的知识图。知识图也可以图示在操作460处由用户确认的特征中的一个与另一特征之间的关系。因此，在操作460处由用户确认的特征中的一个可以是知识图中图示的粗粒特征或细粒特征。
在操作640处，传输模块340使另一请求显示。在各种示例实施方式中，另一请求包括从知识图访问的信息。例如，确认的特征可以对应于知识图中的特定节点(例如，源节点)。因此，可以在另一请求中显示连接至源节点的节点以进一步细化搜索来得到结果项。
图7是图示根据一些示例实施方式的示例用户界面的框图。在各种实施方式中，用户界面700显示在客户端设备上。如图7所示，示例用户界面700包括图像702和图示一组预测特征的部分704。仍如图7所示，图像702图示对象。该组特征是由计算机视觉系统208预测与图像702中图示的对象匹配的特征。另外，该组特征可以对应于在图4的操作430处确定的该组特征。部分704中还示出了按钮，每一个按钮都是可选择的以指示所预测的特征是否与图像中图示的对象匹配。
图8是图示根据一些示例实施方式的示例用户界面800的框图。在各种实施方式中，用户界面800显示在客户端设备上。如图8所示，示例用户界面800包括图像802和图示一组经确认的特征的部分804。在一些实例中，在从示例用户界面700中图示的该组特征中选择至少一个特征之后显示示例用户界面800。另外，如图8所示，部分804图示了用于确认另外的特征的请求以缩小搜索来得到结果项。在一些实例中，可以从知识图中确定另外的特征。
图9是图示根据一些示例实施方式的示例用户界面900的框图。在各种实施方式中，用户界面900显示在客户端设备上。如图9所示，用户界面900图示了搜索结果(例如，第一搜索结果902和第二搜索结果904)。搜索结果是展示在图8的部分804中图示的经确认的特征的项。搜索结果包括项的图像和项的描述。图9还示出了可以用于浏览与搜索结果相对应的项列表的按钮。
图10是图示根据一些示例实施方式的示例知识图1000的框图。知识图1000包括节点1002、节点1004、节点1006、节点1014和节点1016。节点1002、节点1004、节点1006、节点1008和节点1010中的每一个指示粗粒特征。知识图1000中还包括节点1012、节点1014、节点1016、节点1018、节点1020、节点1022和节点1024。节点1012、节点1014、节点1016、节点1018、节点1020、节点1022和节点1024中的每一个指示可以用于描述项库存中的项的细粒特征。
如进一步所示，知识图1000指示节点1006与节点1012、节点1014和节点1016中的每一个节点之间的连接。此外，知识图1000指示节点1002与节点1006之间的连接。知识图1000还指示节点1004与节点1006之间的连接。在知识图1000中的这些连接指示项库存中的具有与节点1012、节点1014和节点1016相对应的特征的项可以根据这些粗粒特征(例如，节点1002、节点1004和节点1006)进一步表征。
模块、部件及逻辑
在本文中某些实施方式被描述为包括逻辑或多个部件、模块或机构。模块可以构成软件模块(例如，机器可读介质上实施的代码)或硬件模块。“硬件模块”是能够执行某些操作的有形单元，并且可以以某种物理方式来配置或布置。在各种示例实施方式中，一个或更多个计算机系统(例如，独立计算机系统、客户端计算机系统或服务器计算机系统)或者计算机系统的一个或更多个硬件模块(例如，处理器或处理器组)可以通过软件(例如，应用或应用部分)被配置为进行操作以执行本文所描述的某些操作的硬件模块。
在一些实施方式中，硬件模块可以机械地、电子地或以其任何合适的组合来实现。例如，硬件模块可以包括被永久地配置成执行某些操作的专用电路或逻辑。例如，硬件模块可以是专用处理器，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件模块还可以包括通过软件被临时配置成执行某些操作的可编程逻辑或电路。例如，硬件模块可以包括由通用处理器或其他可编程处理器执行的软件。一旦通过这样的软件进行配置，则硬件模块变为被唯一地定制成执行所配置的功能的特定机器(或机器的特定部件)，并且不再是通用处理器。应当理解的是，可以通过成本和时间考虑来推动在专用的永久配置的电路中还是在临时配置的电路(例如，通过软件进行配置)中机械地实现硬件模块的决策。
因此，短语“硬件模块”应当被理解成包含有形实体，即为被物理构造、永久配置(例如，硬连线)或临时配置(例如，编程)成以某种方式操作或执行本文所描述的某些操作的实体。如本文所使用的，“硬件实现的模块”指的是硬件模块。考虑其中硬件模块是临时配置(例如，编程)的实施方式，硬件模块中的每一个不需要在任意时刻被配置或实例化。例如，在硬件模块包括通过软件配置而变成专用处理器的通用处理器的情况下，通用处理器可以在不同时间分别被配置为不同的专用处理器(例如，包括不同的硬件模块)。相应地，软件对一个或更多个特定处理器进行配置以例如在一个时刻构造成特定硬件模块或者在不同时刻构造成不同的硬件模块。
硬件模块可以向其他硬件模块提供信息以及从其他硬件模块接收信息。因此，所描述的硬件模块可以被认为是通信耦合的。在同时存在多个硬件模块的情况下，可以通过硬件模块中的两个或更多个之间或之中的信号传输(例如，通过适当的电路和总线)来实现通信。在其中多个硬件模块在不同时间被配置或实例化的实施方式中，这样的硬件模块之间的通信可以例如通过在多个硬件模块可以访问的存储器结构中存储和检索信息来实现。例如，一个硬件模块可以执行操作并将该操作的输出存储在与其通信耦接的存储器设备中。然后，另一硬件模块可以在稍后的时间处访问该存储器设备以检索并处理所存储的输出。硬件模块还可以发起与输入设备或输出设备的通信，并且可以对资源(例如，信息的收集)进行操作。
本文描述的示例方法的各种操作可以至少部分地由临时配置(例如，通过软件)或永久地配置成执行相关操作的一个或更多个处理器来执行。无论是临时配置还是永久配置，这样的处理器可以构成处理器实现的模块，该处理器实现的模块进行操作以执行本文描述的一个或更多个操作或功能。如本文所使用的，“处理器实现的模块”指的是使用一个或更多个处理器实现的硬件模块。
类似地，本文描述的方法可以至少部分地由处理器实现，其中，一个或更多个特定处理器是硬件的示例。例如，方法的操作中的至少一些操作可以由一个或更多个处理器或者处理器实现的模块来执行。此外，一个或更多个处理器还可以进行操作以支持“云计算”环境中的相关操作的执行或操作为“软件即服务”(SaaS)。例如，操作中的至少一些操作可以由一组计算机(作为包括处理器的机器的示例)来执行，其中，这些操作可经由网络(例如，因特网)以及经由一个或更多个合适接口(例如，应用程序接口(API))访问。
某些操作的执行可以被分布在多个处理器之间，不仅驻留在单个机器内，而且跨多个机器部署。在一些示例实施方式中，处理器或处理器实现的模块可以位于单个地理位置(例如，在家庭环境、办公室环境或服务器群内)。在其他示例实施方式中，处理器或处理器实现的模块可以跨多个地理位置分布。
示例机器架构和机器可读介质
图11是示出根据一些示例实施方式的能够从机器可读介质(例如，机器可读存储介质)读取指令并执行本文所讨论的方法中的任一种或更多种的机器1100的部件的框图。具体地，图11示出了计算机系统的示例形式的机器1100的图解表示，在机器1100中可以执行用于使机器1100执行本文所讨论的方法中的任一种或更多种的指令1116(例如，软件、程序、应用、小应用程序、app或其他可执行代码)。例如，该指令可以使机器执行图4至图6的流程图。该指令将通用的、未编程的机器变换成被专门配置成以所描述的方式执行所描述的和所示出的功能的特定机器。在替选实施方式中，机器1100作为独立设备操作或者可以耦接(例如，联网)至其他机器。在网络化部署中，机器1100可以在服务器客户端网络环境中以服务器机器或客户端机器的身份来操作，或操作为对等(或分布式)网络环境中的对等机器。机器1100可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如，智能手表)、网络路由器、网络交换机、网桥、或者能够顺序地或以其他方式执行指定由机器1100进行的动作的指令1116的任何机器。此外，虽然示出了仅单个机器1100，但是术语“机器”还应当被视为包括单独或联合地执行指令1116以执行本文所讨论的方法中的任一种或更多种方法的机器1100的集合。
机器1100可以包括处理器1110、存储器1130和I/O部件1150，处理器1110、存储器1130和I/O部件1130可以被配置成诸如经由总线1102相互通信。在示例实施方式中，处理器1110(例如，中央处理器(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理器(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)、另一处理器或其任意合适的组合)可以包括例如可以执行指令1116的处理器1112和处理器1114。术语“处理器”旨在包括多核处理器，该多核处理器可以包括可以同时执行指令的两个或更多个独立处理器(有时称为“核”)。虽然图11示出了多个处理器，但是机器1100可以包括具有单核的单个处理器、具有多核的单个处理器(例如，多核处理)、具有单核的多个处理器、具有多核的多个处理器或其任意组合。
存储器/存储装置1130可以包括诸如主存储器或其他存储装置的存储器1132和存储单元1136，存储器1132和存储单元1136两者都是诸如经由总线1102而可由处理器1110访问。存储单元1136和存储器1132存储实施本文中所描述的方法或功能中的任一个或更多个的指令1116。指令1116还可以在其由机器1100执行期间完全地或部分地驻留在存储器1132内、存储单元1136内、处理器1110中的至少一个内(例如，处理器的高速缓冲存储器内)或其任意合适组合。因此，存储器1132、存储单元1136和处理器1110的存储器是机器可读介质的示例。
如本文所使用的，“机器可读存储介质”意指能够临时或永久地存储指令和数据的设备，并且可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪速存储器、光学介质、磁介质、高速缓冲存储器、其他类型的存储装置(例如，可擦除可编程只读存储器(EEPROM))和/或其任意合适组合。术语“机器可读存储介质”应当被视为包括能够存储指令1116的单个介质或多个介质(例如，集中式或分布式数据库、或者相关联的高速缓冲存储器和服务器)。术语“机器可读存储介质”还应当被视为包括能够存储用于由机器(例如，机器1100)执行的指令(例如，指令1116)的任何介质或多个介质的组合，使得所述指令在由机器1100的一个或更多个处理器(例如，处理器1110)执行时使机器1100执行本文所描述的方法中的一种或更多种。因此，“机器可读存储介质”指的是单个存储装置或存储设备以及包括多个存储装置或存储设备的“基于云的”存储系统或存储网络。术语“机器可读存储介质”不包括信号本身。术语机器可读介质包括机器可读存储介质和传输介质或载波信号。
I/O部件1150可以包括各种部件以接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量等。包括在特定机器中的特定I/O部件1150将取决于机器的类型。例如，诸如移动电话的便携式机器可能包括触摸输入设备或其他这样的输入机构，而无头服务器机器将可能不包括这样的触摸输入设备。应当理解，I/O部件1150可以包括图11中未示出的许多其他部件。仅为了简化以下讨论而根据功能对I/O部件1150分组，并且该分组决不是限制性的。在各种示例实施方式中，I/O部件1150可以包括输出部件1152和输入部件1154。输出部件1152可以包括视觉部件(例如，诸如等离子显示板(PDP)、发光二级管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT)的显示器)、听觉部件(例如，扬声器)、触觉部件(例如，振动马达、阻力机构)、其他信号发生器等。输入部件1154可以包括字母数字输入部件(例如，键盘、配置成接收字母数字输入的触摸屏、光学键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向仪器)、触觉输入部件(例如，物理按钮、提供触摸或触摸手势的位置和/或力的触摸屏、或者其他触觉输入部件)、音频输入部件(例如，麦克风)等。
在另外的示例实施方式中，I/O部件1150可以包括广泛的其他部件中的生物识别部件1156、运动部件1158、环境部件1160或位置部件1162。例如，生物识别部件1156可以包括用于检测表达(例如，手部表达、面部表情、声音表达、身体姿势或眼球追踪)、测量生物信号(例如，血压、心率、体温、出汗或脑波)、识别人(例如，声音识别、视网膜识别、面部识别、指纹识别或者基于脑电图的识别)等的部件。运动部件1158可以包括加速度传感器部件(例如，加速度计)、重力传感器部件、旋转传感器部件(例如，陀螺仪)等。环境部件1160可以包括例如照明传感器部件(例如，光度计)、温度传感器部件(例如，检测环境温度的一个或更多个温度计)、湿度传感器部件、压力传感器部件(例如，气压计)、声音传感器部件(例如，检测背景噪声的一个或更多个麦克风)、接近度传感器部件(例如，检测附近物体的红外传感器)、气体传感器(例如，用于为了安全而检测危险气体的浓度或者用于测量大气中的污染物的气体检测传感器)或者可以提供与周围物理环境相对应的指示、测量或信号的其他部件。位置部件1162可以包括位置传感器部件(例如，全球定位系统(GPS)接收器部件)、高度传感器部件(例如，检测气压的高度计或气压计，根据气压可以得到高度)、定向传感器部件(例如，磁力计)等。
可以使用各种技术来实现通信。I/O部件1150可以包括通信部件1164，通信部件1164可进行操作以分别经由耦接1182和耦接1172将机器耦接至网络1180或设备1170。例如，通信部件1164可以包括网络接口部件或与网络1180对接的其他合适的设备。在另外的示例中，通信部件1164可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、部件(例如，低功耗)、部件和经由其他形式提供通信的其他通信部件。设备1170可以是另外的机器或各种外围设备中的任一种(例如，经由通用串行总线(USB)耦接的外围设备)。
此外，通信部件1164可以检测标识符或者包括可进行操作以检测标识符的部件。例如，通信部件1164可以包括射频识别(RFID)标签读取部件、NFC智能标签检测部件、光学读取器部件(例如，用于检测诸如通用产品代码(UPC)条形码的一维条形码、诸如快速响应(QR)码、Aztec码、数据矩阵、数据图示符、MaxiCode、PDF417、Ultra Code、UCC RSS-2D条形码的多维条形码以及其他光学代码的光学传感器)或者声学检测部件(例如，用于识别标记的音频信号的麦克风)。另外，可以经由通信部件1164得到各种信息，诸如经由因特网协议(IP)地理位置得到位置、经由信号三角测量得到位置、经由检测可以指示特定位置的NFC信标信号得到位置等。
传输介质
在各种示例实施方式中，网络1180的一个或更多个部分可以是自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网络(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络网络、另一类型的网络或者两个或更多个这样的网络的组合。例如，网络1180或网络1180的一部分可以包括无线或蜂窝网络，并且耦接1182可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或其他类型的蜂窝或无线耦接。在该示例中，耦接1182可以实现以下各种类型的数据传输技术中的任一种：诸如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线服务(GPRS)技术、增强数据速率GSM演进(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动通信系统(UMTS)、高速分组接入(HSPA)、全球互通微波访问(WiMax)、长期演进(LTE)标准、由各种标准设置组织定义的其他标准、其他远程协议或者其他数据传输技术。
可以经由网络接口设备(例如，包括在通信部件1164中的网络接口部件)使用传输介质并且利用许多公知的传输协议中的任一传输协议(例如，超文本传输协议(HTTP))通过网络1180来发送或接收指令1116。类似地，可以经由与设备1170的耦接1172(例如，对等耦接)使用传输介质来发送或接收指令1116。术语“传输介质”应当被视为包括能够存储、编码或承载用于由机器1100执行的指令1116的任何无形介质，并且包括有助于这样的软件的通信的数字通信信号或者模拟通信信号或者其他无形介质。传输介质是机器可读介质的一种实施方式。
以下所编号的示例是实施方式。
1.一种方法，包括：
从客户端设备接收图示对象的图像；
检索指示作为项列表发布的一个或更多个项的特征的结构化数据；
基于对所述结构化数据和图示所述对象的所述图像的分析来确定被预测为与所述对象匹配的一组特征；
使用一个或更多个处理器生成下述界面，所述界面包括用于基于对所述结构化数据和图示所述对象的所述图像的所述分析所确定的所述一组特征进行确认的请求；
在所述客户端设备上显示所述界面；以及
从所述客户端设备接收所述一组特征中的至少一个特征与所述图像中图示的所述对象匹配的确认。
2.根据示例1所述的方法，还包括显示具有所述一组特征中的经确认的至少一个特征的结果项的项列表。
3.根据示例1或示例2所述的方法，其中，对所述结构化数据和所述图像的所述分析包括：
计算所述一个或更多个项列表中的所述特征的概率，所述概率指示所述特征与所述对象匹配的可能性；
确定所述一组特征具有每个特征的概率均超过预定阈值的计算概率；以及
基于确定所述一组特征具有每个特征的概率均超过预定阈值的计算概率来选择所述一组特征。
4.根据示例1至示例3中任一项所述的方法，其中，所述请求包括所述一组特征中的每个特征的图像以及描述。
5.根据示例1至示例4中任一项所述的方法，其中，所述生成包括生成能够被选择以指示对所述一组特征中的所述至少一个特征进行确认的选项的图形元素。
6.根据示例1至示例5中任一项所述的方法，还包括访问图示所确认的特征与另外的特征之间的关系的知识图。
7.根据示例6所述的方法，还包括：
基于从所述客户端设备接收到的确认来显示另外的请求，所述另外的请求用于基于所述知识图对被预测为与所述对象匹配的另外的特征进行确认。
8.根据示例1至示例7中任一项所述的方法，还包括：
生成所述图像的编辑版本，其包括对从所述客户端设备接收到的所述图像中图示的所述对象进行定位。
9.根据示例8所述的方法，其中，所述生成包括从所述图像中移除无关信息，所述无关信息图示了所述图像中的不包括所述对象的细节。
10.根据示例8或示例9所述的方法，其中，所述生成包括修改所述图像的亮度以使得所述图像中的所述对象的可见度增加。
11.一种系统，包括：
一个或更多个处理器；以及
存储可执行指令的存储器，所述可执行指令当由所述一个或更多个处理器执行时使所述一个或更多个处理器执行包括以下的操作：
从客户端设备接收图示对象的图像；
检索指示作为项列表发布的一个或更多个项的特征的结构化数据；
基于对所述结构化数据和图示所述对象的所述图像的分析来确定被预测为与所述对象匹配的一组特征；
生成下述界面，所述界面包括用于基于对所述结构化数据和图示所述对象的所述图像的所述分析所确定的所述一组特征进行确认的请求；
在所述客户端设备上显示所述界面；以及
从所述客户端设备接收所述一组特征中的至少一个特征与所述图像中图示的所述对象匹配的确认。
12.根据示例11所述的系统，其中，所述操作还包括显示具有所述一组特征中的经确认的至少一个特征的结果项的项列表。
13.根据示例11或示例12所述的系统，其中，所述操作还包括：
计算所述一个或更多个项列表的特征的概率，所述概率指示所述特征与所述对象匹配的可能性；
确定所述一组特征具有每个特征的概率均超过预定阈值的计算概率；以及
基于确定所述一组特征具有每个特征的概率均超过预定阈值的计算概率来选择所述一组特征。
14.根据示例11至示例13中任一项所述的系统，其中，所述请求包括所述一组特征中的每个特征的图像以及描述。
15.根据示例11至示例14中任一项所述的系统，其中，所述操作还包括生成能够被选择以指示对所述一组特征中的至少一个特征进行确认的选项的图形元素。
16.根据示例11至示例15中任一项所述的系统，其中，所述操作还包括访问图示所确认的特征与另外的特征之间的关系的知识图。
17.根据示例16所述的系统，其中，所述操作还包括基于从所述客户端设备接收到的确认来显示另外的请求，所述另外的请求用于基于所述知识图对被预测为与所述对象匹配的另外的特征进行确认。
18.根据示例11至示例17中任一项所述的系统，其中，所述操作还包括：生成所述图像的编辑版本，其包括对从所述客户端设备接收到的所述图像中图示的所述对象进行定位。
19.根据示例18所述的系统，其中，所述操作还包括从所述图像中移除无关信息，所述无关信息图示了所述图像中的不包括所述对象的细节。
20.一种存储指令的机器可读存储介质，所述指令当由机器的一个或更多个处理器执行时使所述机器执行包括以下的操作：
从客户端设备接收图示对象的图像；
检索指示作为项列表发布的一个或更多个项的特征的结构化数据；
基于对所述结构化数据和图示所述对象的所述图像的分析来确定被预测为与所述对象匹配的一组特征；
生成下述界面，所述界面包括用于基于对所述结构化数据和图示所述对象的所述图像的所述分析所确定的所述一组特征进行确认的请求；
在所述客户端设备上显示所述界面；以及
从所述客户端设备接收所述一组特征中的至少一个特征与所述图像中图示的所述对象匹配的确认。
21.一种承载指令的机器可读介质，所述指令当由机器的一个或更多个处理器执行时使所述机器执行示例1至示例10中任一项所述的方法。
语言
遍及本说明书，多个实例可以实现被描述为单个实例的部件、操作或结构。虽然一种或更多种方法的各个操作被示出和描述为分离的操作，但是各个操作中的一个或更多个操作可以同时执行，并且不要求以所示的顺序执行操作。在示例配置中被呈现为分离部件的结构和功能可以实现为组合的结构或部件。类似地，被呈现为单个部件的结构和功能可以被实现为分离的部件。这些和其他变型、修改、添加以及改进落入本文中的主题的范围内。
尽管已经参考具体示例实施方式描述了本主题的概述，但是在不脱离本公开内容的实施方式的宽泛范围的情况下，可以对这些实施方式进行各种修改和改变。本主题的这样的实施方式在本文中可以单独或共同地被称为术语“本发明”，仅是为了方便，而不意在在实际上公开了不止一个公开内容或发明构思的情况下将本申请的范围主动限制于任何单个公开内容或发明构思。
本文所示的实施方式被足够详细地描述以使本领域技术人员能够实践公开的教导。可以使用其他实施方式并且根据其得到其他实施方式，使得可以在不脱离本公开内容的范围的情况下进行机构和逻辑替换以及改变。因此，具体实施方式不应当被视为限制意义，并且各种实施方式的范围仅由所附权利要求连同享有这些权利要求权利的等同方案的完全范围来限定。
如本文所使用，术语“或”可以被解释成包括的意义或排他的意义。此外，可以针对在本文中被描述为单个实例的资源、操作或结构提供多个实例。另外，各种资源、操作、模块、引擎和数据存储装置之间的边界在某种程度上是任意的，并且在特定说明配置的背景下示出了特定操作。设想了其他的功能分配，并且所述其他的功能分配会落入本公开内容的各种实施方式的范围内。通常，在实例配置中被呈现为独立的资源的结构和功能可以被实现为组合的结构或资源。类似地，被呈现为单个资源的结构和功能可以被实现为独立的资源。这些和其他变型、修改、添加和改进落入由所附权利要求表示的本公开内容的实施方式的范围内。因此，说明书和附图应被认为是说明性的而不是限制性意义。

Claims (21)

1.一种方法，包括：
从客户端设备接收图示对象的图像；
检索指示作为项列表发布的一个或更多个项的特征的结构化数据；
基于对所述结构化数据和图示所述对象的所述图像的分析来确定被预测为与所述对象匹配的一组特征；
使用一个或更多个处理器生成下述界面，所述界面包括用于对基于对所述结构化数据和图示所述对象的所述图像的所述分析所确定的所述一组特征进行确认的请求；
在所述客户端设备上显示所述界面；以及
从所述客户端设备接收所述一组特征中的至少一个特征与所述图像中图示的所述对象匹配的确认。
2.根据权利要求1所述的方法，还包括显示具有所述一组特征中的经确认的至少一个特征的结果项的项列表。
3.根据权利要求1所述的方法，其中，对所述结构化数据和所述图像的所述分析包括：
计算所述一个或更多个项列表的特征的概率，所述概率指示所述特征与所述对象匹配的可能性；
确定所述一组特征具有每个特征的概率均超过预定阈值的计算概率；以及
基于确定所述一组特征具有每个特征的概率均超过预定阈值的计算概率来选择所述一组特征。
4.根据权利要求1所述的方法，其中，所述请求包括所述一组特征中的每个特征的图像以及描述。
5.根据权利要求1所述的方法，其中，所述生成包括生成能够被选择以指示对所述一组特征中的所述至少一个特征进行确认的选项的图形元素。
6.根据权利要求1所述的方法，还包括访问图示所确认的特征与另外的特征之间的关系的知识图。
7.根据权利要求6所述的方法，还包括：
基于从所述客户端设备接收到的确认来显示另外的请求，所述另外的请求用于基于所述知识图对被预测为与所述对象匹配的另外的特征进行确认。
8.根据权利要求1所述的方法，还包括：
生成所述图像的编辑版本，其包括对从所述客户端设备接收到的所述图像中图示的所述对象的定位。
9.根据权利要求8所述的方法，其中，所述生成包括从所述图像中移除无关信息，所述无关信息图示了所述图像中的不包括所述对象的细节。
10.根据权利要求8所述的方法，其中，所述生成包括修改所述图像的亮度以使得所述图像中的所述对象的可见度增加。
11.一种系统，包括：
一个或更多个处理器；以及
存储可执行指令的存储器，所述可执行指令当由所述一个或更多个处理器执行时使所述一个或更多个处理器执行包括以下的操作：
从客户端设备接收图示对象的图像；
检索指示作为项列表发布的一个或更多个项的特征的结构化数据；
基于对所述结构化数据和图示所述对象的所述图像的分析来确定被预测为与所述对象匹配的一组特征；
生成下述界面，所述界面包括用于基于对所述结构化数据和图示所述对象的所述图像的所述分析所确定的所述一组特征进行确认的请求；
在所述客户端设备上显示所述界面；以及
从所述客户端设备接收所述一组特征中的至少一个特征与所述图像中图示的所述对象匹配的确认。
12.根据权利要求11所述的系统，其中，所述操作还包括显示具有所述一组特征中的经确认的至少一个特征的结果项的项列表。
13.根据权利要求11所述的系统，其中，所述操作还包括：
计算所述一个或更多个项列表的特征的概率，所述概率指示所述特征与所述对象匹配的可能性；
确定所述一组特征具有每个特征的概率均超过预定阈值的计算概率；以及
基于确定所述一组特征具有每个特征的概率均超过预定阈值的计算概率来选择所述一组特征。
14.根据权利要求11所述的系统，其中，所述请求包括所述一组特征中的每个特征的图像以及描述。
15.根据权利要求11所述的系统，其中，所述操作还包括生成能够被选择以指示对所述一组特征中的所述至少一个特征进行确认的选项的图形元素。
16.根据权利要求11所述的系统，其中，所述操作还包括访问图示所确认的特征与另外的特征之间的关系的知识图。
17.根据权利要求16所述的系统，其中，所述操作还包括基于从所述客户端设备接收到的确认来显示另外的请求，所述另外的请求用于基于所述知识图对被预测为与所述对象匹配的另外的特征进行确认。
18.根据权利要求11所述的系统，其中，所述操作还包括：生成所述图像的编辑版本，其包括对从所述客户端设备接收到的所述图像中图示的所述对象的定位。
19.根据权利要求18所述的系统，其中，所述操作还包括从所述图像中移除无关信息，所述无关信息图示了所述图像中的不包括所述对象的细节。
20.一种存储指令的机器可读存储介质，所述指令当由机器的一个或更多个处理器执行时使所述机器执行包括以下的操作：
从客户端设备接收图示对象的图像；
检索指示作为项列表发布的一个或更多个项的特征的结构化数据；
基于对所述结构化数据和图示所述对象的所述图像的分析来确定被预测为与所述对象匹配的一组特征；
生成下述界面，所述界面包括用于对基于对所述结构化数据和图示所述对象的所述图像的所述分析所确定的所述一组特征进行确认的请求；
在所述客户端设备上显示所述界面；以及
从所述客户端设备接收所述一组特征中的至少一个特征与所述图像中图示的所述对象匹配的确认。
21.一种承载指令的机器可读介质，所述指令当由机器的一个或更多个处理器执行时使所述机器执行权利要求1至10中任一项所述的方法。
CN201780057051.XA 2016-08-16 2017-08-08 确定具有经确认的特征的项 Pending CN109716286A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662375855P 2016-08-16 2016-08-16
US62/375,855 2016-08-16
US15/270,844 2016-09-20
US15/270,844 US10133958B2 (en) 2016-08-16 2016-09-20 Determining an item that has confirmed characteristics
PCT/US2017/045948 WO2018034895A1 (en) 2016-08-16 2017-08-08 Determining an item that has confirmed characteristics

Publications (1)

Publication Number Publication Date
CN109716286A true CN109716286A (zh) 2019-05-03

Family

ID=61191971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780057051.XA Pending CN109716286A (zh) 2016-08-16 2017-08-08 确定具有经确认的特征的项

Country Status (5)

Country Link
US (3) US10133958B2 (zh)
EP (1) EP3500921A4 (zh)
KR (3) KR102224757B1 (zh)
CN (1) CN109716286A (zh)
WO (1) WO2018034895A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10133958B2 (en) 2016-08-16 2018-11-20 Ebay Inc. Determining an item that has confirmed characteristics
US11200273B2 (en) 2016-10-16 2021-12-14 Ebay Inc. Parallel prediction of multiple image aspects
US11748978B2 (en) 2016-10-16 2023-09-05 Ebay Inc. Intelligent online personal assistant with offline visual search database
US10860898B2 (en) * 2016-10-16 2020-12-08 Ebay Inc. Image analysis and prediction based visual search
US11004131B2 (en) * 2016-10-16 2021-05-11 Ebay Inc. Intelligent online personal assistant with multi-turn dialog based on visual search
US10970768B2 (en) 2016-11-11 2021-04-06 Ebay Inc. Method, medium, and system for image text localization and comparison
US11704716B2 (en) * 2019-11-18 2023-07-18 Meta Platforms, Inc. Identifying objects within an image from a user of an online system matching products identified to the online system by the user
US11869055B2 (en) * 2021-01-28 2024-01-09 Maplebear Inc. Identifying items offered by an online concierge system for a received query based on a graph identifying relationships between items and attributes of the items
US20230067956A1 (en) * 2021-08-27 2023-03-02 Ebay Inc. Multiple product identification assistance in an electronic marketplace application

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582083A (zh) * 2008-05-15 2009-11-18 株式会社理光 基于万维网的图像内容的检测、提取以及识别
US20140254942A1 (en) * 2012-04-25 2014-09-11 Tencent Technology (Shenzhen) Co., Ltd. Systems and methods for obtaining information based on an image
CN104537065A (zh) * 2014-12-29 2015-04-22 北京奇虎科技有限公司 一种搜索结果的推送方法及系统
CN104881407A (zh) * 2014-02-27 2015-09-02 福州瑞芯微电子有限公司 基于特征识别的信息推荐系统及方法
CN105550190A (zh) * 2015-06-26 2016-05-04 许昌学院 面向知识图谱的跨媒体检索系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8042740B2 (en) * 2000-11-24 2011-10-25 Metrologic Instruments, Inc. Method of reading bar code symbols on objects at a point-of-sale station by passing said objects through a complex of stationary coplanar illumination and imaging planes projected into a 3D imaging volume
US7864178B2 (en) * 2005-11-09 2011-01-04 National Instruments Corporation Creating machine vision inspections using a state diagram representation
US20080059281A1 (en) * 2006-08-30 2008-03-06 Kimberly-Clark Worldwide, Inc. Systems and methods for product attribute analysis and product recommendation
US8028246B2 (en) * 2008-08-21 2011-09-27 Eastman Kodak Company Concierge—shopping assistant
US8194985B2 (en) * 2008-10-02 2012-06-05 International Business Machines Corporation Product identification using image analysis and user interaction
US8600824B2 (en) * 2010-04-28 2013-12-03 Verizon Patent And Licensing Inc. Image-based product marketing systems and methods
US9292565B2 (en) * 2010-06-30 2016-03-22 International Business Machines Corporation Template-based recognition of food product information
US8737747B2 (en) * 2011-02-14 2014-05-27 Xerox Corporation Method for automated tire detection and recognition
US20120246029A1 (en) * 2011-03-25 2012-09-27 Ventrone Mark D Product comparison and selection system and method
WO2014144173A1 (en) * 2013-03-15 2014-09-18 Nike, Inc. Product presentation assisted by visual search
US10133958B2 (en) 2016-08-16 2018-11-20 Ebay Inc. Determining an item that has confirmed characteristics
WO2020029867A1 (en) * 2018-08-07 2020-02-13 Shenzhen GOODIX Technology Co., Ltd. Optical sensing of fingerprints or other patterns on or near display screen using optical detectors integrated to display screen

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582083A (zh) * 2008-05-15 2009-11-18 株式会社理光 基于万维网的图像内容的检测、提取以及识别
US20140254942A1 (en) * 2012-04-25 2014-09-11 Tencent Technology (Shenzhen) Co., Ltd. Systems and methods for obtaining information based on an image
CN104881407A (zh) * 2014-02-27 2015-09-02 福州瑞芯微电子有限公司 基于特征识别的信息推荐系统及方法
CN104537065A (zh) * 2014-12-29 2015-04-22 北京奇虎科技有限公司 一种搜索结果的推送方法及系统
CN105550190A (zh) * 2015-06-26 2016-05-04 许昌学院 面向知识图谱的跨媒体检索系统

Also Published As

Publication number Publication date
US20210004634A1 (en) 2021-01-07
KR20210100214A (ko) 2021-08-13
US10133958B2 (en) 2018-11-20
US20180053069A1 (en) 2018-02-22
KR102224757B1 (ko) 2021-03-08
KR102288435B1 (ko) 2021-08-10
US11551023B2 (en) 2023-01-10
KR20210027522A (ko) 2021-03-10
KR102425498B1 (ko) 2022-07-27
KR20190039780A (ko) 2019-04-15
EP3500921A1 (en) 2019-06-26
EP3500921A4 (en) 2019-07-10
US20190057280A1 (en) 2019-02-21
WO2018034895A1 (en) 2018-02-22
US10803345B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
CN109716286A (zh) 确定具有经确认的特征的项
US20210224877A1 (en) Intelligent online personal assistant with image text localization
US11836776B2 (en) Detecting cross-lingual comparable listings
US10474725B2 (en) Determining similarities among industries to enhance job searching
US20170177712A1 (en) Single step cross-linguistic search using semantic meaning vectors
US20170372398A1 (en) Vector representation of descriptions and queries
US20170293695A1 (en) Optimizing similar item recommendations in a semi-structured environment
AU2017281628B2 (en) Anomaly detection for web document revision
US11301510B2 (en) Obtaining item listings matching a distinguishing style of an image selected in a user interface
US11301511B2 (en) Projecting visual aspects into a vector space
US20210248172A1 (en) Automatic lot classification
US11055763B2 (en) User authentication in hybrid online and real-world environments
US20190311368A1 (en) Facilitating user engagement in offline transactions
CN109074386A (zh) 查询的上下文修改
CN108292318A (zh) 生成概念图

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination