CN108292425B - 自动引导的图像捕获和展示 - Google Patents

自动引导的图像捕获和展示 Download PDF

Info

Publication number
CN108292425B
CN108292425B CN201680070578.1A CN201680070578A CN108292425B CN 108292425 B CN108292425 B CN 108292425B CN 201680070578 A CN201680070578 A CN 201680070578A CN 108292425 B CN108292425 B CN 108292425B
Authority
CN
China
Prior art keywords
item
boundary
image
image frame
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680070578.1A
Other languages
English (en)
Other versions
CN108292425A (zh
Inventor
鲁宾逊·皮拉姆苏
郑文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eBay Inc
Original Assignee
eBay Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eBay Inc filed Critical eBay Inc
Priority to CN202210844364.2A priority Critical patent/CN115115499A/zh
Publication of CN108292425A publication Critical patent/CN108292425A/zh
Application granted granted Critical
Publication of CN108292425B publication Critical patent/CN108292425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

提出了一种包括携带至少一个程序的计算机可读介质的系统和一种用于便于自动引导的图像捕获和展示的计算机实现的方法的系统。在一些实施例中，该方法包括：捕获物品的图像，自动去除图像帧的背景，执行手动掩码编辑，生成物品列表，从图像帧推断物品信息并自动将推断的物品信息应用于物品列表表单，以及在增强现实环境中展示物品列表。

Description

自动引导的图像捕获和展示
优先权
本专利申请要求于2015年12月4日提交的序列号为62/263,433的美国临时专利申请以及于2016年11月28日提交的序列号为15/361,973的美国专利申请的优先权，其全部内容通过引用并入本文。
附图说明
以举例而非限制的方式在附图中示意说明了一些实施例。
图1是根据一些示例实施例的示出展示系统中的有引导的图像捕获的功能组件的框图。
图2是根据一些示例实施例示出设备在执行用于自动引导的图像捕获和展示的方法中的操作的流程图。
图3是根据一些示例实施例示出设备在执行用于自动引导的图像捕获和展示的方法中的操作的流程图。
图4是根据一些示例实施例示出设备在执行用于自动引导的图像捕获和展示的方法中的操作的流程图。
图5是根据一些示例实施例示出用于自动引导的图像捕获展示的方法的示图。
图6是根据一些示例实施例示出适合于促进自动引导的图像捕获和展示的网络环境的网络图。
图7是根据一些示例实施例示出能够读取来自机器可读介质的指令并执行本文讨论的任何一种或多种方法的机器的组件的框图。
具体实施方式
现在将详细参考用于实施本发明主题的具体示例实施例。这些具体实施例的示例在附图中示出。应该理解的是，这些示例并不意图将权利要求的范围限制到所示实施例。相反，它们旨在覆盖可能包括在本公开的范围内的替代、修改和等同物。在以下描述中，阐述了具体细节以便提供对主题的透彻理解。可以在没有这些具体细节中的一些或全部的情况下实施实施例。
本文描述的示例实施例有助于物品列表(例如，物品数据记录)的自动引导的图像捕获和展示。移动设备逻辑可以独立于网络连接而执行自动引导的图像捕获和展示，从而允许增强物品列表的创建并提高网络资源的效率。实施例便于图像引导、自动背景去除、物品列表表单的自动完成以及在线商店管理。
在示例实施例中，移动设备的用户(例如卖方)可以使用移动设备来自动创建物品列表。移动设备上的有引导的图像捕获和展示系统引导用户利用移动设备的相机捕获物品的图像，检测并自动去除图像的背景部分，仅保留包括感兴趣的物品的图像部分，以及允许用户通过手动改变图像的背景部分来进一步修改图像。
在另外的示例实施例中，有引导的图像捕获展示系统通过从捕获的图像推断信息(例如，类别识别，诸如颜色、图案和样式之类的特性识别)来促进物品列表表单的自动完成。物品列表表单的自动完成还可以包括从捕获的物品图像推断与物品和标题预测相关联的某些关键字。系统在物品列表的自动完成中也可以使用多个图像。物品列表的自动完成还可以包括向用户显示可能具有类似的标题和/或价格的物品列表，从而帮助用户构建物品列表的标题和物品的价格。有引导的图像捕获和展示系统还可以允许用户在增强现实环境中陈列来自物品列表的物品，所述增强现实环境包括用于在虚拟货架或衣架上展示物品以供访问用户的在线商店的潜在买方查看的表示层。基于从捕获的图像推断的信息，有引导的图像捕获和展示系统可以根据物品的类别和/或特性自动选择表示层(例如，显示鞋子的虚拟货架，显示衣服的虚拟衣架)。移动设备的用户也可以为物品手动选择表示层。此外，增强现实环境可以允许用户定制表示层(例如，允许用户基于用户的偏好或目标观众选择虚拟货架、衣架或壁纸的样式)。
图1是根据一些示例实施例示出有引导的图像捕获和展示系统(GIPS)124的功能组件的框图。如上所述，124有助于物品列表的自动引导的图像捕获和展示。示出了GIPS124的各种功能模块，其中GIPS 124作为网络系统的一部分提供，将关于图6进行更详细的描述。如相关的计算机和与互联网有关的技术中的技术人员所理解的，图1中所示的每个组件(例如，模块或引擎)可以使用硬件(例如，机器的处理器)或或者逻辑(例如，可执行软件指令)和用于执行逻辑的硬件(例如，机器的存储器和处理器)的组合来实现。
GTPS 124示出为包括图像引导模块104、背景去除模块106、展示模块108、列表模块210和数据库112，均被配置为彼此通信(例如，经由总线、共享内存、交换机或应用程序编程接口(API))。此外，GIPS 124的各种模块可以经由数据库服务器访问数据库122，并且GIPS 124的各种模块中的每个可以与一个或多个第三方应用程序(例如社交网络平台)进行通信。尽管图1的模块以单数意义进行讨论，但可以理解，在其他实施例中，可以采用多个模块。
图像引导模块104协助移动设备的用户针对物品列表捕获物品的图像。例如，图像引导模块104引导用户将移动设备定位在相对物品的最佳方向上，通过移动设备的相机检测物品并捕获物品的一个或多个图像帧。图像引导模块104为每个捕获的图像帧估计图像的背景部分和图像的前景部分。例如，图像的背景和前景部分的估计可以通过下述方式来实现：识别第一区域和第二区域；并且确定在第一区域内的至少一个区域包括与第二区域中的一组像素不同(例如，颜色不同)的一组像素，反之亦然。在识别不同像素组的区域时，图像引导模块104估计第一区域或第二区域包括感兴趣的物品。除了估计感兴趣的物品的位置(例如，在第一区域或第二区域内的位置)之外，图像引导模块104向移动设备的用户传达用于捕获物品的图像的指令。在一些实施例中，移动设备的用户界面显示取景器(例如，叠加在移动设备的用户界面上的形状)，用于引导对物品的定位以进行图像捕获。
当用户将移动设备与对象保持一定距离并移动移动设备时，图像引导模块104可以在用户界面内显示人类可读指令(例如，文本指令)，指示用户移动移动设备，使得物品将被完全包括在取景器的边界内。例如，取景器的内边界可以对应于前述的第一区域(例如前景)并且外边界可以对应于前述的第二区域(例如背景)。在其他实施例中，图像引导模块104不指示用户移动移动设备，而是显示指示用户增加或减少照明或重新定位对象的指令，例如从图像的背景部分去除对象或在图像的前景部分内分离两个对象(例如，感兴趣的物品靠近另一对象)。在一些实施例中，有引导的图像捕获处理每个捕获的图像帧并且实时指示移动设备的用户。捕获的图像可以存储在移动设备上，例如存储在数据库(例如数据库112)或存储器内的位置内，并且还可以存储基于远程网络的系统(例如基于网络的系统类似于关于图6描述的系统)上的数据库或存储器内
背景去除模块106自动去除图像的背景部分，仅留下包含感兴趣的物品的图像部分。类似于上述的有引导的图像捕获，可以在移动设备上实时执行背景去除。此外，背景模块106还可以自动去除一个图像帧或一组图像帧的背景部分。在一些实施例中，背景去除模块106访问捕获的物品的图像帧，并且在图像内检测物品的边界，将物品与图像背景分离。在检测物品的边界时，背景去除模块106进行二进制掩码的初始估计，该二进制掩码包括图像的第一区域和第二区域，例如在上文关于图像引导模块104描述的第一区域和第二区域。对于第一区域和第二区域两者，背景去除模块106均计算颜色直方图并且使用颜色直方图计算每个像素的概率。在计算每个像素的概率时，背景去除模块106创建概率图。背景去除模块106可以通过使用域变换测地线滤波来对概率图进行平滑并且使用阈值选择方法来获得二进制掩码。阈值选择方法对具有高于确定的阈值的值(例如，RGB值)的像素分配一个二进制值，而对具有低于确定的阈值的值的像素分配另一二进制值。
背景去除模块106还可以通过在移动设备上接收用户输入来执行对图像的手动编辑。在一些实施例中，创建图像的二进制掩码，并且移动设备的用户通过创建涂鸦进一步限定感兴趣的物品的轮廓并进一步将图像的背景部分与感兴趣的物品分开来手动编辑二进制掩码。涂鸦被定义为由用户通过下述方式创建的某种类型的用户输入：将一对象带入与移动设备的用户界面的预定接近度内(例如，用手指触摸移动设备的屏幕)，从而导致一部分用户界面(例如，表示图像)被突出显示或以其他方式与图像的其余部分区分开。在接收到用户输入涂鸦之后，背景去除模块106使用域变换测地线过滤来平滑涂鸦。背景去除模块106将平滑后的涂鸦缩放到高于或低于阈值的值。例如，将平滑后的涂鸦缩放到高于或低于与在上面关于自动背景去除所述的使用阈值选择方法创建二进制掩码中使用的阈值对应的确定的阈值的值。在自动背景去除期间创建的概率图中添加或减去缩放后的涂鸦(这取决于涂鸦的值是高于还是低于确定的阈值)，从概率图获得二进制掩码。背景去除模块106还可以使得涂鸦收缩尺寸或增大尺寸以覆盖要去除的背景的部分。此外，背景去除模块106还可以允许涂鸦捕获检测到的图像内的感兴趣的物品的边界。在一些实施例中，在涂鸦的缩放之后获得的二进制掩码相对于在自动背景去除期间创建的二进制掩码是独特的。
列表模块110自动填写物品列表表单以创建物品列表。例如，通过从物品图像推断信息(例如，包括颜色、风格、类别、品牌名称之类的物品的特性)来完成自动物品表单列表。在一些实施例中，关于物品的信息是从上面关于图像引导模块104描述的有引导的图像捕获期间捕获的图像或图像帧推断的。在自动完成物品列表表单方面，列表模块110还包括向用户显示可能具有类似的标题和/或价格的物品列表，从而协助用户构建物品列表的标题和物品的价格。当物品列表表单完成时，创建物品列表，包括物品的图像、从图像推断的关于物品的信息以及从移动设备的用户接收的任何附加输入信息。有引导的图像捕获和展示系统124使用完成的物品列表来在卖方的在线商店的增强现实环境内显示物品。
展示模块108使物品(例如，如上所述的捕获的物品图像)展示在包括表示层的增强现实环境中。例如，展示模块108可以在虚拟货架或衣架上展示物品以供访问该用户的在线商店的潜在买方查看。在一些实施例中，基于从图像推断出的物品的信息，列表模块110根据物品的类别和/或特性自动选择表示层(例如，用于显示鞋子的虚拟鞋架、用于显示服装的虚拟衣架或虚拟货架)。移动设备的用户也可以为物品手动选择表示层。此外，增强现实环境允许由用户定制表示层(例如，允许用户基于用户的偏好或目标观众选择虚拟货架、衣架或壁纸的样式)。为在线商店的观看者(例如，访问的买方或卖方)提高增强现实体验，展示模块108允许添加虚拟销售指示符，例如“红色销售标签”。虚拟销售指示符允许卖方吸引网上商店在线商店的观看者对特定物品的关注，例如，指示卖方的在线商店内的物品正在以特定价格提供销售。在一些实施例中，当查看卖方的在线商店的表示层时，观看者可以选择所显示的物品(例如，通过触摸移动设备的用户界面上显示的虚拟货架或衣架上的物品)并且在选择该物品时，展示模块108将观看者链接到显示关于该物品的详细信息的页面。
图2是根据一些示例实施例示出设备在执行用于自动引导的捕获和展示图像的方法200中的操作的流程图。方法200包括：捕获物品图像202、自动去除图像背景204、执行手动掩码编辑206、使用推断的图像信息生成物品列表208以及在增强现实环境中展示物品列表210。方法200可以以在供一个或多个处理器执行的计算机可读指令具体实现，使得方法200的步骤可部分地或全部地由GIPS 124的功能组件(例如，模块)执行：因此，下面通过举例参照GIPS 124的功能组件来描述方法200。然而，应当理解，方法200可以被部署在各种其他硬件配置上，并且不旨在被限制于GIPS 124的功能组件。
在操作202中，GIPS 124协助移动设备的用户针对物品列表捕获物品的图像。例如，GIPS 124引导用户将移动设备定位在相对物品的最佳方向上，通过移动设备的相机检测物品并捕获物品的一个或多个图像帧。例如，GIPS 124例如通过下述方式来为每个捕获的图像帧估计图像的背景部分和图像的前景部分：识别第一区域和第二区域；并且确定在第一区域内的至少一个区域包括与第二区域中的一组像素不同(例如，颜色不同)的一组像素，反之亦然。GIPS 124估计第一区域或第二区域包括感兴趣的物品。此外，GIPS 124向移动设备的用户传达用以捕获物品的图像的指令。当用户手持移动设备时，GIPS 124在用户界面内显示人类可读指令(例如，文本指令)，指示用户移动移动设备使得物品将被完全包括在取景器的边界内，指示用户增加或减少照明或重新定位对象，例如从图像的背景部分去除对象或分离图像的前景部分内的两个对象(例如，感兴趣的物品靠近另一对象)。当GIPS 124检测到物品被完全包括在取景器的边界内时，捕获图像。
在操作204处，GIPS 124自动去除图像背景。在自动去除图像背景时，GIPS 124仅留下包括感兴趣的物品的图像部分。作为操作204中涉及的子操作的示例，图3是根据一些示例实施例示出设备在执行用于自动引导的图像捕获和展示的方法中的操作的流程图。如示出的那样，自动移除图像背景的操作包括：猜测二进制掩码302、计算颜色直方图304、计算概率图306、平滑概率图308、以及获得二进制掩码310。在操作302中，GIPS 124做出对二进制掩码的初始猜测。GIPS 124访问捕获的物品图像并检测图像内物品的边界，将物品与图像背景分开。在检测物品的边界时，GIPS 124做出对二进制掩码的初始估计，该二进制掩码包括图像的第一区域和第二区域。在操作304中，GIPS 124针对图像的第一区域和第二区域计算颜色直方图。在操作306中，GIPS 124计算概率图。GIPS 124使用颜色直方图计算每个像素的概率。在计算每个像素的概率时，GIPS 124创建概率图。在操作308中，GIPS 124通过使用域变换测地线滤波来平滑概率图。在执行域变换测地线滤波时，GIPS 124对具有高于确定的阈值的值(例如，RGB值)的像素分配一个二进制值，而对具有低于确定的阈值的值的像素分配另一二进制值。在对高于或低于确定的阈值的像素分配值时，在操作310中，GIPS 124获得二进制掩码。
回到图2，在操作206，GIPS 124执行手动掩码编辑。作为在操作206中涉及的子操作的示例，图4是根据一些示例实施例示出设备在执行用于自动引导的图像捕获和展示的方法中的操作的流程图。
在操作402中，GIPS 124访问概率图(例如在自动图像背景去除期间创建的概率图)。在操作404中，GIPS 124在移动设备上接收涂鸦形式的用户输入。使用该涂鸦，GIPS124进一步限定感兴趣的物品的轮廓，并进一步将图像的背景部分与感兴趣的物品分开。在操作406中，在接收到用户输入涂鸦之后，GIPS 124使用域变换测地线过滤来平滑涂鸦。在操作408中，GIPS 124将平滑后的涂鸦缩放到高于或低于阈值的值。例如，平滑后的涂鸦可被缩放到高于或低于与在使用阈值选择方法创建二进制掩码中使用的阈值对应的确定的阈值的值。在操作410中，GIPS 124通过在自动背景去除期间创建的概率图中添加或减去(取决于涂鸦的值高于或低于确定的阈值)缩放后的涂鸦值来将缩放后的涂鸦与概率图区分开。在将缩放后的涂鸦与概率图区分开时，在操作412中，GIPS 124从概率图获得二进制掩码。GIPS 124可以使得涂鸦收缩或增大尺寸，以覆盖要去除的背景的部分。此外，GIPS124还可以使得涂鸦捕获检测到的图像内感兴趣的物品的边界。
回到图2，在操作208中，GIPS 124使用推断的图像信息来生成物品列表。GIPS 124自动填充物品列表表单以创建物品列表，从物品的图像推断信息(例如，包括颜色、风格、类别、品牌名称的物品的特性)。GIPS 124从关于操作202描述的在有引导的图像捕获期间捕获的图像或图像帧中推断关于物品的信息。在自动完成物品列表表单时，GIPS 124还包括向用户显示可能具有类似的标题和/或价格的物品列表，从而协助用户构建物品列表的标题和物品的价格。GIPS 124完成物品列表表单，创建物品列表，包括：物品的图像，从图像推断的关于物品的信息以及从移动设备的用户接收的任何附加输入信息。GIPS 124使用完成的物品列表在卖方的在线商店的增强现实环境内显示物品。
在操作210中，GIPS 124在增强现实环境中展示物品列表。GIPS 124在包括表示层的增强现实环境中展示来自物品列表的物品(例如，如上所述的捕获的物品图像)，例如，将物品展示在虚拟货架或衣架上以供访问用户的在线商店的潜在的买方查看。在一些实施例中，基于从物品的图像推断的信息，GIPS 124根据物品的类别和/或特性自动选择表示层(例如，展示鞋的虚拟鞋架、显示衣服的虚拟衣架或虚拟货架)。为了增加在线商店(例如，访问的买方或卖方)的观看者的增强现实体验，GIPS 124允许添加虚拟销售指示符，从而允许卖方吸引来自在线商店的观看者对具体物品的关注。GIPS 124允许观看者选择所显示的物品(例如，通过触摸显示在移动设备的用户界面上的虚拟货架或衣架上的物品)，并且在选择该物品时，GIPS 124将观看者链接到显示有关该物品的详细信息的页面。
图5是根据一些示例实施例示出自动引导的图像捕获展示的方法的示图。在502中，GIPS 124协助移动设备的用户捕获物品列表的物品的图像。如图5所示，GIPS 124引导用户将移动设备定位在相对物品的最佳方向上。例如，GIPS 124通过下述方式来为每个捕获的图像帧估计图像的背景部分和图像的前景部分：识别第一区域和第二区域；并且确定在第一区域内的至少一个区域包括与第二区域中的一组像素不同(例如，颜色不同)的一组像素，反之亦然。GIPS 124估计第一区域或第二区域包括感兴趣的物品。如图5所示，例如，GIPS 124通过显示感兴趣的物品的轮廓向用户指示估计的图像的第一区域和第二区域。此外，GIPS 124向移动设备的用户传达用以捕获物品的图像的指令。当用户手持移动设备时，GIPS 124在用户界面上显示指令以指示用户移动移动设备使得物品将被完全包括在取景器的边界内，以指示用户增加或减少照明或重新定位对象。当GIPS 124检测到物品被完全包括在取景器的边界内时，捕获图像。
在504中，GIPS 124自动去除图像背景。如图5所示，GIPS 124仅留下包括感兴趣的物品的图像部分并且显示示出感兴趣物品的边界的取景器，其可能是在有引导的图像捕获期间使用过的。GIPS 124做出对二进制掩码的初始猜测，并检测图像内物品的边界，将物品与图像背景分开。GIPS 124计算颜色直方图概率图，使用颜色直方图计算每个像素的概率。GIPS 124通过使用域变换测地线滤波来平滑概率图。在504中产生图像时，GIPS 124还可执行手动掩码编辑，接收涂鸦形式的用户输入并进一步定义感兴趣的物品的轮廓，并进一步将图像的背景部分与感兴趣的物品分开。
在506中，GIPS 124使用推断的图像信息来生成物品列表。GIPS 124自动填充物品列表表单以创建物品列表，从物品的图像推断信息(例如，包括颜色、样式、类别、品牌名称的物品的特性)。GIPS 124从关于操作202描述的在有引导的图像捕获期间捕获的图像或图像帧中推断关于物品的信息。如图5的510所示，GIPS 124还包括向用户显示建议的标题或类别或可能具有类似的标题和/或价格的物品列表，从而协助用户构建物品列表的标题和物品的价格。GIPS 124完成物品列表表单，创建物品列表，包括物品的图像、从图像推断的关于物品的信息以及从移动设备的用户接收到的任何附加信息。GIPS 124使用完成的物品列表在卖方的在线商店的增强现实环境内显示物品。在508中，GIPS 124在增强现实环境中展示物品列表。如图5所示，GIPS 124在包括表示层的增强现实环境中陈列物品，例如，在虚拟货架上展示物品以供访问用户的在线商店的潜在的买方查看。
图6是根据一个实施例示出适合于促进自动引导的图像捕获和展示的网络系统600的网络图，其具有被配置用于通过网络602交换数据的客户端-服务器架构。尽管网络系统600被描绘为具有客户端-服务器架构，但是本发明主题当然不限于这样的架构，并且同样可以在例如事件驱动的、分布式的或对等架构系统中找到应用。此外，为了避免以不必要的细节模糊本发明的主题，图6中省略了与表达对本发明主题的理解没有密切关系的各种功能组件。而且，应该理解的是，尽管网络系统600的各种功能部件以单数意义进行讨论，但是可以使用各种功能组件中的任何一个的多个实例。
网络系统600包括与客户端设备606和第三方服务器608通信的基于网络的内容发布者604。在一些示例实施例中，基于网络的内容发布者604可以是基于网络的市场(例如eBay.com)。基于网络的内容发布者604在网络系统600内传送和交换与网络系统600及其用户相关联的各种功能和方面相关的数据。基于网络的内容发布者604可以经由网络602(例如，互联网)向网络设备(诸如客户端设备606)提供服务器侧功能。
客户端设备606可以由使用网络系统600的用户在网络602上交换数据来操作。这些数据交换包括向网络系统600的用户传输(传送)数据，从网络系统600的用户接收数据，和处理与网络系统600的内容和用户有关的数据。数据可以包括但不限于图像；视频或音频内容；用户偏好；产品和服务反馈、建议和评论；产品、服务、制造商和供应商推荐和标识符；与买方和卖方相关联的产品和服务列表；产品和服务广告；拍卖出价；交易数据；用户简档数据；以及社交数据等等。
客户端设备606可以经由与网络602的连接与基于网络的内容发布者104进行接口连接。取决于客户端设备606的形式，可以使用各种类型的连接和网络602中的任何一种。例如，连接可以是码分多址(CDMA)连接、全球移动系统通信(GSM)连接或其他类型的蜂窝连接。这样的连接可以实现多种类型的数据传输技术中的任何一种，诸如单载波无线传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线业务(GPRS)技术、用于GSM的增强数据速率演进(EDGE)技术或其他数据传输技术(例如，第四代无线，4G网络)。当采用这种技术时，网络602可以包括具有多个蜂窝电话交换机互连的地理覆盖范围重叠的蜂窝站点的蜂窝网络。这些蜂窝电话交换机可以耦接到网络骨干网(例如公共交换电话网(PSTN)、分组交换数据网或其他类型的网络)。
在另一示例中，到网络602的连接可以是无线保真(Wi-Fi、IEEE 802.1Ix类型)连接，全球微波接入互操作性(WiMAX)连接或其他类型的无线数据连接。在这样的实施例中，网络602可以包括耦接到局域网(LAN)、广域网(WAN)、互联网或另一分组交换数据网络的一个或多个无线接入点。在又一示例中，到网络602的连接可以是有线连接(例如，以太网链路)，并且网络602可以是LAN、WAN、互联网或另一分组交换数据网络。因此，明确考虑了各种不同的配置。
在各种实施例中，在网络系统600内交换的数据可取决于通过一个或多个客户端或用户界面(UI)可用的用户选择的功能。UI可以与客户端设备(诸如执行网络客户端610(例如，互联网浏览器)的客户端设备606)相关联，客户端设备可以与基于网络的内容发布者604进行通信。UI还可以与在客户端设备606上执行的一个或多个应用程序612(诸如被设计用于与基于网络的内容发布者604交互的移动应用程序或由第三方服务器608托管的社交网络平台)相关联。
特别地，基于网络的内容发布者604、API服务器614和网络服务器616耦接到应用服务器618，并分别向应用服务器618提供编程和网络接口。如图6所示，应用服务器618可以经由API服务器614和网络服务器616例如经由有线或无线接口耦接到网络602。应用服务器618又被示为耦接到便于访问数据库622的数据库服务器620。在一些示例中，应用服务器618可以直接访问数据库622而不需要数据库服务器620。数据库622可以包括可以在基于网络的内容发布者604内部或外部的多个数据库。
例如，应用服务器618可以托管一个或多个应用程序，这些应用程序向访问基于网络的内容发布者604的用户提供多个内容发布和查看功能和服务。例如，基于网络的内容发布者604可以托管市场应用程序，该市场应用程序向用户提供许多市场功能和服务，诸如发布、列表和价格设定机制，由此卖方可以列出(或发布)与货物或服务(也统称为“产品”)(有关的信息)以供销售，买方可以表达对此类货物或服务的兴趣或表示购买此类货物或服务的意愿，并且可以为与货物或服务有关的交易设定价格。客户端设备606(例如，移动设备)托管执行图像的自动引导捕获和展示的GIPS 124。
由GIPS 124生成和发布的消息还可以包括对内容(例如，链接)的引用。如本文所使用的，术语“内容”或“内容物品”是指由观看者(例如，用户)在显示器、客户端设备或基于页面/显示器的媒体(例如，体现在浏览器中，可通过互联网访问的万维网(WWW)媒体)上消费的电子数据。这样，术语“内容”和“内容物品”可以指代与可读文本相关联的数据、与图像相关联的数据、与图形或视频相关联的数据、程序化内容、脚本或与这些的各种组合相对应的数据。此外，虽然图6中示出GIPS 124形成客户端设备606的一部分，但是将理解，在替代实施例中，GIPS 124可以形成与客户端设备606分开且不同的服务的一部分。例如，在一些实施例中，GIPS 124可以全部或部分地由应用服务器618托管，
数据库622存储关于与网络系统600及其用户相关联的各种功能和方面的数据。例如，数据库622存储和维护基于网络的内容发布者604的用户的用户简档。每个用户简档包括描述特定用户的方面的用户简档数据。例如，用户简档数据可以包括人口统计数据、用户偏好、社交数据和财务信息。例如，人口统计数据可以包括描述用户的一个或多个特性的信息，诸如性别、年龄、位置信息(例如，家乡或当前位置)、就业历史、教育历史、联系信息、家族关系或用户兴趣。例如，财务信息可以包括用户的私人财务信息，诸如账户号码、凭证、密码、设备标识符、用户名称、电话号码、信用卡信息、银行信息、交易历史记录或便于用户的在线交易的其他财务信息。
数据库622还存储用户活动的记录。因此，基于网络的内容发行者604可以监视、跟踪和记录在用户会话期间利用一个或多个设备(例如，客户端设备606)与用户网络系统600的各种组件进行交互的用户的活动。每个用户会话可以被维护在存储在数据库622中的储存库中。因此，用户活动数据可以包括用户已经执行过的过去的关键字搜索、由每个用户查看过的网页、添加到用户愿望列表或观看列表的产品、添加到电子购物车的产品以及用户拥有的产品。根据一些实施例，将用户活动的记录链接到用户简档数据，以维护用户简档与对应的用户已经执行过的活动的关联。
在基于网络的内容发布者104是基于网络的市场的情况下，数据库122存储产品信息。这样的产品信息例如可以包括产品标识符(例如标题或型号)、价格、品牌、制造商、型号、品牌名、文字描述、尺寸、样式、产品维度、兼容性信息或可用于描述产品的任何其他信息。在这些情况下，数据库622还可以存储基于网络的内容发布者604的用户的交易历史，该交易历史包括与可以由利用由基于网络的内容发布者604提供的市场服务的商家提供用于销售的产品的交易有关的信息。交易历史信息可以例如包括提供用于销售、已售出或由用户购买的产品的描述、产品的标识符、产品所属的类别、购买价格、购买日期、购买数量、产品的投标数量或其各种组合。
图6还示出了在第三方服务器608上执行的第三方应用程序626，其可以向应用程序服务器618或客户端设备606的用户提供信息或服务。第三方应用程序626经由由API服务器614提供的编程接口对基于网络的内容发布者604进行编程访问。第三方应用程序626与可以与应用程序服务器618或客户端设备606进行交易或向应用程序服务器618或客户端设备606提供服务的任何组织相关联。例如，第三方应用程序626可以与可以为会员建立和维护社交网络和会员之间的关系的基于网络的社交网络平台(例如，
Figure BDA0001682163540000141
等)相关联。
图7是根据一些示例实施例示出机器700的组件的框图，所述机器700能够从机器可读介质722(例如，非暂时性机器可读介质、机器可读存储介质、计算机可读存储介质或其任何合适的组合)读取指令724并且全部或部分执行本文讨论的方法中的任何一个或多个。具体而言，图7示出了计算机系统(例如，计算机)的示例形式的机器700，在计算机系统(例如，计算机)中，可以执行用于使得机器700全部或部分执行本文讨论的方法中的任何一个或多个的指令724(例如，软件、程序、应用程序、小程序、应用或其他可执行代码)。
在替代实施例中，机器700作为独立设备运行或者可以通信地耦接(例如联网)到其他机器。在联网部署中，机器700可以在服务器-客户端网络环境中以服务器机器或客户端机器的能力操作，或者作为分布式(例如，对等)网络环境中的对等机器操作。机器700可以是服务器计算机、客户端计算机、个人计算机(PC)、平板电脑、膝上型计算机、上网本、蜂窝电话、智能手机、机顶盒(STB)、个人数字助理(PDA)、网络设备、网络路由器、网络交换机、网络桥接器或能够顺序地或以其他方式执行指定要由该机器执行的动作的指令724的任何机器。此外，尽管仅示出了单个机器700，但术语“机器”也应被理解为包括单独或联合执行指令724以全部或部分执行本文所讨论的方法中的任何一个或多个的任何机器集合。
机器700包括处理器702(例如，中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)或其任何合适的组合)、主存储器704和静态存储器706，其被配置为经由总线708彼此通信。处理器702包含通过一些或所有指令724可暂时或永久配置的固态数字微电路(例如，电子的、光学的或二者)，使得处理器702可配置为全部或部分执行本文所述的方法中的任何一个或多个。例如，处理器702的一个或多个微电路的集合可以被配置为执行本文中所描述的一个或多个模块(例如，软件模块)。在一些示例实施例中，处理器702是多核CPU(例如，双核CPU、四核CPU或128核CPU)，其中多个核中的每个核表现为能够全部或部分执行本文讨论的方法中的任何一个或多个的独立处理器。尽管本文描述的有益效果可以由至少具有处理器702的机器700提供，但是这些相同的有益效果可以由不包含处理器的不同种类的机器提供(例如，纯机械系统、纯液压系统或混合机械液压系统)，如果这种无处理器的机器被配置为执行本文所述的方法中的任何一个或多个的话。
机器700可以还包括图形显示器710(例如，等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪、阴极射线管(CRT)或能够显示图形或视频的任何其他显示器)。机器700还可以包括字母数字输入设备712(例如，键盘或小键盘)、光标输入设备714(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器、眼睛跟踪设备或其他指向装置)、数据存储716、音频生成设备718(例如，声卡、放大器、扬声器、耳机插孔或其任何适当的组合)以及网络接口设备720。
数据存储716(例如，数据存储设备)包括机器可读介质722(例如，有形和非暂时性机器可读存储介质)，在机器可读介质722上存储体现本文所述的方法或功能中的任何一个或多个的指令724。指令724还可以在机器700执行之前或执行期间，完全或至少部分地驻留在主存储器704内、处理器702内(例如，处理器的高速缓冲存储器内)或两者。因此，主存储器704和处理器702可被认为是机器可读介质(例如，有形和非暂时性机器可读介质)。指令724可以经由网络接口设备720在网络190上传输或接收。例如，网络接口设备720可以使用任何一个或多个传输协议(例如，超文本传输协议(HTTP))传达指令724。
在一些示例实施例中，机器700可以是便携式计算设备(例如，智能电话、平板电脑或可穿戴设备)，并且具有一个或多个附加输入部件730(例如传感器或仪表)。这样的输入组件730的示例包括图像输入组件(例如，一个或多个相机)、音频输入组件(例如，一个或多个麦克风)、方向输入组件(例如罗盘)、位置输入组件(例如，全球定位系统(GPS)接收器)、方位组件(例如陀螺仪)、运动检测组件(例如一个或多个加速度计)、高度检测组件(例如高度计)、生物测量输入组件(例如心率检测器或血压检测器)以及气体检测组件(例如气体传感器)。由这些输入组件730中的任何一个或多个收集的输入数据可以是可访问的并且可供本文所述的任何模块使用。
如本文所使用的，术语“存储器”是指能够临时或永久存储数据的机器可读介质，并且可以被认为包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存和高速缓冲存储器。虽然机器可读介质722在示例实施例中被示为单个介质，但术语“机器可读介质”应被理解为包括能够存储指令724的单个介质或多个介质(例如，集中式或分布式数据库或相关联的高速缓存和服务器)。术语“机器可读介质”还应被理解为包括能够存储供机器700执行的指令724的任何介质或多个介质的组合，使得指令724在由机器700的一个或多个处理器(例如，处理器702)执行时，使机器700全部或部分执行本文所述的方法中的任何一个或多个。因此，“机器可读介质”是指单个存储装置或设备，以及包括多个存储装置或设备的基于云的存储系统或存储网络。相应地，术语“机器可读介质”应被理解为包括但不限于以固态存储器芯片的示例形式的一个或多个有形和非暂时性数据存储库(例如，数据卷)、光盘、磁盘或其任何适当的组合。本文使用的“非暂时性”机器可读介质具体地不包括传播信号本身。在一些示例实施例中，由机器700执行的指令724可以由载体介质传达。这样的载体介质的示例包括存储介质(例如，诸如固态存储器之类的非暂时性机器可读存储介质，物理地从一个地方移动到另一地方)和暂时性介质(例如，传播传达指令724的信号)。
本文将某些示例实施例描述为包括模块。模块可以构成软件模块(例如，存储或以其他方式体现在机器可读介质中或传输介质中的代码)、硬件模块或其任何适当的组合。“硬件模块”是能够执行某些操作并且可以以某种物理方式配置或布置的有形(例如，非暂时性)物理组件(例如，一个或多个处理器的集合)。在各种示例实施例中，一个或多个计算机系统或其一个或多个硬件模块可以由软件(例如，应用程序或其部分)配置为硬件模块，该硬件模块操作用于执行本文描述的用于该模块的操作。
在一些示例实施例中，硬件模块可以机械地、电子地、液压地或其任何适当的组合来实现。例如，硬件模块可以包括被永久配置为执行某些操作的专用电路或逻辑。硬件模块可以是或包括专用处理器，诸如现场可编程门阵列(FPGA)或ASIC。硬件模块还可以包括由软件临时配置以执行某些操作的可编程逻辑或电路。作为示例，硬件模块可以包括包含在CPU或其他可编程处理器内的软件。应该理解，可以通过成本和时间考虑来驱动机械地、液压地、专用且永久配置的电路中或临时配置的电路(例如，由软件配置)实现硬件模块的决定。
因此，短语“硬件模块”应该被理解为包括可以物理构建、永久配置(例如，硬连线)或临时配置(例如编程)以按照某种方式操作或者以执行本文描述的某些操作的有形实体。此外，如本文所使用的，短语“硬件实现的模块”是指硬件模块。考虑其中硬件模块被临时配置(例如，编程)的示例实施例，每个硬件模块不需要在任何一个时刻配置或实例化。例如，在硬件模块包括由软件配置成为专用处理器的CPU的情况下，CPU可以在不同的时刻被配置为相应不同的专用处理器(例如，每个包括在不同硬件模块中)。软件(例如，软件模块)可以相应地配置一个或多个处理器，例如在一个时刻变成或以其他方式构成特定的硬件模块并且在不同的时刻变成或以其他方式构成不同的硬件模块。
硬件模块可以向其他硬件模块提供信息并从其他硬件模块接收信息。因此，所描述的硬件模块可以被视为通信地耦接。在同时存在多个硬件模块的情况下，可以通过两个或更多个硬件模块之间的信号传输(例如，通过电路和总线)来实现通信。在其中多个硬件模块在不同时刻被配置或实例化的实施例中，可以例如通过存储和检索多个硬件模块可访问的存储器结构中的信息来实现这些硬件模块之间的通信。例如，一个硬件模块可以执行操作并且将该操作的输出存储在其通信地耦接到的存储器(例如，存储器设备)中。之后，另一硬件模块可以在稍后访问存储器以检索和处理所存储的输出。硬件模块也可以启动与输入或输出设备的通信，并且可以对资源(例如来自计算资源的信息的集合)进行操作。
本文描述的示例方法的各种操作可以至少部分地由临时配置(例如通过软件)或永久配置为执行相关操作的一个或多个处理器执行。无论是临时配置还是永久配置，这样的处理器都可以构成处理器实现的模块，其操作以执行本文描述的一个或多个操作或功能。如本文所使用的，“处理器实现的模块”是指其中硬件包括一个或多个处理器的硬件模块。因此，本文描述的操作可以至少部分地由处理器实现、硬件实现或两者兼而有之，由于处理器是硬件的示例，并且本文讨论的任何一个或多个方法内的至少一些操作可以由一个或多个处理器实现的模块、硬件实现的模块或其任何适当的组合来执行。
此外，这样的一个或多个处理器可以在“云计算”环境中或作为服务(例如，在“软件即服务”(SaaS)实现中)执行操作。例如，本文讨论的任何一个或多个方法内的至少一些操作可以由一组计算机(例如，作为包括处理器的机器的示例)执行，这些操作可以经由网络(例如，互联网)并且经由一个或多个适当的接口(例如，应用程序接口(API))可访问。某些操作的性能可以分布在一个或多个处理器中，不管是仅驻留在单个机器内还是部署在多个机器上。在一些示例实施例中，一个或多个处理器或硬件模块(例如，处理器实现的模块)可以位于单个地理位置(例如，在家庭环境、办公室环境或服务器场内)。在其他示例实施例中，一个或多个处理器或硬件模块可以分布在多个地理位置上。
在整个说明书中，多个实例可以实现被描述为单个实例的组件、操作或结构。尽管一个或多个方法的单独操作被图示和描述为单独的操作，但是单个操作中的一个或多个可以同时执行，并且不要求以所示的顺序执行操作。在示例配置中展示为单独组件和功能的结构和它们的功能可以实现为具有组合功能的组合结构或组件。类似地，展示为单个组件的结构和功能可以被实现为单独的组件和功能。这些和其他变化、修改、添加和改进落入本文主题的范围内。
本文讨论的主题的一些部分可以按照对作为比特或二进制数字信号存储在存储器(例如，计算机存储器或其他机器存储器)内的数据的操作的算法或符号表示来呈现。这样的算法或符号表示是数据处理领域的普通技术人员用来将其工作的实质传达给本领域其他技术人员的技术的示例。如本文所使用的，“算法”是导致期望结果的操作或类似处理的自洽序列。在这种情况下，算法和操作涉及物理量的物理操纵。通常但不一定，这样的量可以采用能够被机器存储、访问、传输、组合、比较或以其他方式操纵的电、磁或光信号形式。主要出于常用的原因，使用诸如“数据”、“内容”、“比特”、“值”、“元素”、“符号”、“字符”、“术语”、“数值”、“数字”等词语来提及这样的信号是很方便的。然而，这些词只是方便的标签，并且与适当的物理量相关联。
除非特别声明，否则本文使用诸如“访问”、“处理”、“检测”、“计算”、“确定”、“生成”、“展示”、“显示”等词语进行的讨论是指可由机器(例如，计算机)执行的动作或过程，该机器(例如，计算机)在一个或多个存储器(例如，易失性存储器、非易失性存储器或其任何适当的组合)、寄存器或接收、存储、传输或显示信息的其他机器组件内操纵或变换表示为物理(例如电子、磁或光)量的数据。此外，除非另有特别说明，否则在此使用术语“一”或“一个”，如在专利文件中常见的那样，其包括一个或多于一个实例。最后，如本文所使用的，连词“或”是指非排他性的“或”，除非另有特别说明。
以下描述了本文讨论的方法、机器可读介质和系统(例如，机器、设备或其他设备)的各种示例。
示例
1.一种方法，包括捕获物品的图像，包括：引导用户将移动设备定位在相对所述物品的一方向上，使得所述物品被包括在所述移动设备的用户界面的区域的边界内；通过所述移动设备的相机检测所述物品并且捕获所述物品的至少一个图像帧；估计所述至少一个图像帧的第一区域的边界和第二区域的边界；确定所述第一区域比所述第二区域包括所述物品的更大部分；在所述移动设备的用户界面上显示指令，指示所述用户采取动作，使得所述物品将变得完全包括在所述第一区域的边界内并且在所述第一区域的边界内可见；以及检测所述物品被完全包括在所述第一区域的边界内并且在所述第一区域的边界内可见。
2.根据示例1所述的方法，还包括自动去除所述图像帧的背景，包括：访问所述物品的图像帧；检测所述第一区域内的所述物品的边界，所述物品的边界沿着用户界面上所述物品的轮廓，所述边界的内部部分仅包括所述物品，并且所述边界的外部部分包括所述图像帧的背景；区分所述边界的内部部分和所述边界的外部部分；估计第一二进制掩码，所述第一二进制掩码包括所述图像帧的所述边界的内部部分和所述边界的外部部分；计算包括所述边界的内部部分和所述边界的外部部分的所述图像帧的颜色直方图；计算包括所述边界的内部部分和所述边界的外部部分的所述图像帧的概率图；以及平滑包括所述边界的内部部分和所述边界的外部部分的所述概率图。
3.根据示例2所述的方法，还包括获得第二二进制掩码，将第一二进制值分配给所述图像帧内具有高于确定的阈值的RGB值的第一多个像素中的每个像素，并且将第二二进制值分配给所述图像帧内具有低于所述确定的阈值的RGB值的第二多个像素中的每个像素，并且获得第一无背景物品图像，将所述第二二进制掩码应用于所述图像帧。
4.根据示例1至3中任一项所述的方法，还包括执行手动掩码编辑，包括访问所述概率图，从所述移动设备接收用户输入，所述用户输入包括涂鸦，平滑所述涂鸦和缩放所述涂鸦，包括将所述第一二进制值分配给包括所述涂鸦的、具有高于所述确定的阈值的RGB值的第三多个像素中的每个像素，并且将所述第二二进制值分配给具有低于所述确定的阈值的RGB值的每个像素。
5.根据示例1至4中任一项所述的方法，还包括获得第三二进制掩码，包括：从所述概率图区别出缩放后的涂鸦，向所述概率图添加或从其减去包括所述缩放后的涂鸦的像素的二进制值，以及获得第二无背景物品图像，将第三二进制掩码应用于所述第一无背景物品图像。
6.根据示例1至5中任一项所述的方法，还包括生成物品列表，从所述图像帧推断物品信息并且自动将所推断的物品信息应用于物品列表表单。
7.根据示例1至6中任一项所述的方法，还包括在增强现实环境中展示物品列表，包括在移动设备的用户界面上的表示层中显示来自所述图像帧的所述物品。
8.一种系统，包括一个或多个处理器和在计算机可读介质上可访问的可执行指令，所述指令在被执行时使所述一个或多个处理器执行操作，所述操作包括：捕获物品的图像，包括：引导用户将移动设备定位在相对所述物品的一方向上，使得所述物品被包括在所述移动设备的用户界面的区域的边界内；通过所述移动设备的相机检测所述物品并且捕获所述物品的至少一个图像帧；估计所述至少一个图像帧的第一区域的边界和第二区域的边界；确定所述第一区域比所述第二区域包括所述物品的更大部分；在所述移动设备的用户界面上显示指令，指示所述用户采取动作，使得所述物品将变得完全包括在所述第一区域的边界内并且在所述第一区域的边界内可见；以及检测所述物品被完全包括在所述第一区域的边界内并且在所述第一区域的边界内可见。
9.根据示例8所述的系统，其中所述操作还包括：自动去除所述图像帧的背景，其包括：访问所述物品的图像帧；检测所述第一区域内的所述物品的边界，所述物品的边界沿着用户界面上所述物品的轮廓，所述边界的内部部分仅包括所述物品，并且所述边界的外部部分包括所述图像帧的背景；区分所述边界的内部部分和所述边界的外部部分；估计第一二进制掩码，所述第一二进制掩码包括所述图像帧的所述边界的内部部分和所述边界的外部部分；计算包括所述边界的内部部分和所述边界的外部部分的所述图像帧的颜色直方图；计算包括所述边界的内部部分和所述边界的外部部分的所述图像帧的概率图；以及平滑包括所述边界的内部部分和所述边界的外部部分的所述概率图。
10.根据示例9所述的系统，其中所述操作还包括获得第二二进制掩码，将第一二进制值分配给所述图像帧内具有高于确定的阈值的RGB值的第一多个像素中的每个像素，并且将第二二进制值分配给所述图像帧内具有低于所述确定的阈值的RGB值的第二多个像素中的每个像素，并且获得第一无背景物品图像，将所述第二二进制掩码应用于所述图像帧。
11.根据示例8至10中任一项所述的系统，其中所述操作还包括执行手动掩码编辑，包括访问所述概率图，从所述移动设备接收用户输入，所述用户输入包括涂鸦，平滑所述涂鸦和缩放所述涂鸦，包括将所述第一二进制值分配给包括所述涂鸦的、具有高于所述确定的阈值的RGB值的第三多个像素中的每个像素，并且将所述第二二进制值分配给具有低于所述确定的阈值的RGB值的每个像素。
12.根据示例11所述的系统，其中所述操作还包括获得第三二进制掩码，包括从所述概率图区别出缩放后的涂鸦，向所述概率图添加或从其减去包括所述缩放后的涂鸦的像素的二进制值，以及获得第二无背景物品图像，将第三二进制掩码应用于所述第一无背景物品图像。
13.根据示例8至12中任一项所述的系统，其中所述操作还包括生成物品列表，从所述图像帧推断物品信息并且自动将所推断的物品信息应用于物品列表表单。
14.根据示例8至13中任一项所述的系统，其中所述操作还包括在增强现实环境中展示物品列表，包括在移动设备的用户界面上的表示层中显示来自所述图像帧的所述物品。
15.一种计算机可读硬件存储设备，其中存储有一组程序指令，所述程序指令在由计算机执行时使所述计算机执行操作，所述操作包括：捕获物品的图像，包括：引导用户将移动设备定位在相对所述物品的一方向上，使得所述物品被包括在所述移动设备的用户界面的区域的边界内；通过所述移动设备的相机检测所述物品并且捕获所述物品的至少一个图像帧，估计所述至少一个图像帧的第一区域的边界和第二区域的边界；确定所述第一区域比所述第二区域包括所述物品的更大部分；在所述移动设备的用户界面上显示指令，指示所述用户采取动作，使得所述物品将变得完全包括在所述第一区域的边界内并且在所述第一区域的边界内可见；以及检测所述物品被完全包括在所述第一区域的边界内并且在所述第一区域的边界内可见。
16.根据示例15所述的计算机可读硬件存储设备，还包括自动去除所述图像帧的背景，包括：访问所述物品的图像帧；检测所述第一区域内的所述物品的边界，所述物品的边界沿着用户界面上所述物品的轮廓，所述边界的内部部分仅包括所述物品，并且所述边界的外部部分包括所述图像帧的背景；区分所述边界的内部部分和所述边界的外部部分；估计第一二进制掩码，所述第一二进制掩码包括所述图像帧的所述边界的内部部分和所述边界的外部部分；计算包括所述边界的内部部分和所述边界的外部部分的所述图像帧的颜色直方图；计算包括所述边界的内部部分和所述边界的外部部分的所述图像帧的概率图；以及平滑包括所述边界的内部部分和所述边界的外部部分的所述概率图。
17.根据示例16所述的计算机可读硬件存储设备，还包括获得第二二进制掩码，将第一二进制值分配给所述图像帧内具有高于确定的阈值的RGB值的第一多个像素中的每个像素，并且将第二二进制值分配给所述图像帧内具有低于所述确定的阈值的RGB值的第二多个像素中的每个像素，并且获得第一无背景物品图像，将所述第二二进制掩码应用于所述图像帧。
18.根据示例15至17中任一项所述的计算机可读硬件存储设备，还包括执行手动掩码编辑，包括访问所述概率图，从所述移动设备接收用户输入，所述用户输入包括涂鸦，平滑所述涂鸦和缩放所述涂鸦，包括将所述第一二进制值分配给包括所述涂鸦的、具有高于所述确定的阈值的RGB值的第三多个像素中的每个像素，并且将所述第二二进制值分配给具有低于所述确定的阈值的RGB值的每个像素。
19.根据示例18所述的计算机可读硬件存储设备，还包括获得第三二进制掩码，包括从所述概率图区别出缩放后的涂鸦，向所述概率图添加或从其减去包括所述缩放后的涂鸦的像素的二进制值，以及获得第二无背景物品图像，将第三二进制掩码应用于所述第一无背景物品图像。
20.根据示例15至19中任一项所述的计算机可读硬件存储设备，还包括生成物品列表，从所述图像帧推断物品信息并且自动将所推断的物品信息应用于物品列表表单。
21.一种载有一组程序指令的载体介质，所述程序指令在由计算机执行时，使得所述计算机执行示例1至7中任一项所述的方法。

Claims (21)

1.一种用于创建物品列表的方法，包括：
捕获物品的图像，包括：
引导用户将移动设备定位在相对所述物品的一方向上，使得所述物品被包括在所述移动设备的用户界面的区域的边界内；
通过所述移动设备的相机检测所述物品并且捕获所述物品的至少一个图像帧；
计算所述图像帧的颜色直方图；
计算指示每个像素的概率的概率图，所述概率指示相应像素是否是图像背景的一部分，所述概率图是基于所述颜色直方图计算的；
基于所述图像帧和所述概率图生成所述物品的第一无背景图像；
从所述移动设备接收用户输入，所述用户输入包括定义所述图像帧的多个像素的涂鸦；
基于所述涂鸦调整所述概率图；
基于所述第一无背景图像和调整后的概率图生成所述物品的第二无背景图像；以及
使用所述第二无背景图像在所述移动设备上展示所述物品。
2.根据权利要求1所述的方法，
其中，生成所述物品的所述第一无背景图像包括：
估计所述图像帧的第一区域的边界和第二区域的边界；
确定所述第一区域比所述第二区域包括所述物品的更大部分；
在所述移动设备的用户界面上显示指令，指示所述用户采取动作，使得所述物品将变得完全包括在所述第一区域的边界内并且在所述第一区域的边界内可见；以及
检测所述物品被完全包括在所述第一区域的边界内并且在所述第一区域的边界内可见；
检测所述第一区域内的所述物品的边界，所述物品的边界沿着用户界面上所述物品的轮廓，所述边界的内部部分仅包括所述物品，并且所述边界的外部部分包括所述图像帧的背景；
区分所述边界的内部部分和所述边界的外部部分；
估计第一二进制掩码，所述第一二进制掩码包括所述图像帧的所述边界的内部部分和所述边界的外部部分，其中，计算所述图像帧的所述颜色直方图包括所述边界的内部部分和所述边界的外部部分，其中，计算所述图像帧的所述概率图包括所述边界的内部部分和所述边界的外部部分；以及
平滑包括所述边界的内部部分和所述边界的外部部分的所述概率图。
3.根据权利要求2所述的方法，还包括：
获得第二二进制掩码，将第一二进制值分配给所述图像帧内具有高于确定的阈值的RGB值的第一多个像素中的每个像素，并且将第二二进制值分配给所述图像帧内具有低于所述确定的阈值的RGB值的第二多个像素中的每个像素；以及
获得第一无背景物品图像，将所述第二二进制掩码应用于所述图像帧。
4.根据权利要求3 所述的方法，还包括：
平滑所述涂鸦；以及
缩放所述涂鸦，包括：将所述第一二进制值分配给包括所述涂鸦的、具有高于所述确定的阈值的RGB值的第三多个像素中的每个像素，并且将所述第二二进制值分配给具有低于所述确定的阈值的RGB值的每个像素。
5.根据权利要求4所述的方法，还包括：
获得第三二进制掩码，包括：将缩放后的涂鸦与所述概率图区分开，向所述概率图添加或从其减去包括所述缩放后的涂鸦的像素的二进制值；以及
获得第二无背景物品图像，将第三二进制掩码应用于所述第一无背景物品图像。
6.根据权利要求1所述的方法，还包括：
从所述图像帧推断物品信息并且自动将所推断的物品信息应用于物品列表表单，以及基于所述物品列表表单生成所述物品列表。
7.根据权利要求1所述的方法，还包括：在所述移动设备的用户界面上的表示层中显示来自所述图像帧的所述物品。
8.一种用于创建物品列表的系统，包括：
一个或多个处理器和在计算机可读介质上可访问的可执行指令，所述指令在被执行时使所述一个或多个处理器执行操作，所述操作包括：
捕获物品的图像，包括：
引导用户将移动设备定位在相对所述物品的一方向上，使得所述物品被包括在所述移动设备的用户界面的区域的边界内；
通过所述移动设备的相机检测所述物品并且捕获所述物品的至少一个图像帧；
计算所述图像帧的颜色直方图；
计算指示每个像素的概率的概率图，所述概率指示相应像素是否是图像背景的一部分，所述概率图是基于所述颜色直方图计算的；
基于所述图像帧和所述概率图生成所述物品的第一无背景图像；
从所述移动设备接收用户输入，所述用户输入包括定义所述图像帧的多个像素的涂鸦；
基于所述涂鸦调整所述概率图；
基于所述第一无背景图像和调整后的概率图生成所述物品的第二无背景图像；以及
使用所述第二无背景图像在所述移动设备上展示所述物品。
9.根据权利要求8所述的系统，
其中，生成所述物品的所述第一无背景图像包括：
估计所述图像帧的第一区域的边界和第二区域的边界；
确定所述第一区域比所述第二区域包括所述物品的更大部分；
在所述移动设备的用户界面上显示指令，指示所述用户采取动作，使得所述物品将变得完全包括在所述第一区域的边界内并且在所述第一区域的边界内可见；以及
检测所述物品被完全包括在所述第一区域的边界内并且在所述第一区域的边界内可见；
检测所述第一区域内的所述物品的边界，所述物品的边界沿着用户界面上所述物品的轮廓，所述边界的内部部分仅包括所述物品，并且所述边界的外部部分包括所述图像帧的背景；
区分所述边界的内部部分和所述边界的外部部分；
估计第一二进制掩码，所述第一二进制掩码包括所述图像帧的所述边界的内部部分和所述边界的外部部分，其中，计算所述图像帧的所述颜色直方图包括所述边界的内部部分和所述边界的外部部分，其中，计算所述图像帧的所述概率图包括所述边界的内部部分和所述边界的外部部分；以及
平滑包括所述边界的内部部分和所述边界的外部部分的所述概率图。
10.根据权利要求9所述的系统，其中所述操作还包括：
获得第二二进制掩码，将第一二进制值分配给所述图像帧内具有高于确定的阈值的RGB值的第一多个像素中的每个像素，并且将第二二进制值分配给所述图像帧内具有低于所述确定的阈值的RGB值的第二多个像素中的每个像素；以及
获得第一无背景物品图像，将所述第二二进制掩码应用于所述图像帧。
11.根据权利要求10 所述的系统，其中所述操作还包括：
平滑所述涂鸦；以及
缩放所述涂鸦，包括：将所述第一二进制值分配给包括所述涂鸦的、具有高于所述确定的阈值的RGB值的第三多个像素中的每个像素，并且将所述第二二进制值分配给具有低于所述确定的阈值的RGB值的每个像素。
12.根据权利要求11所述的系统，其中所述操作还包括：
获得第三二进制掩码，包括：将缩放后的涂鸦与所述概率图区分开，向所述概率图添加或从其减去包括所述缩放后的涂鸦的像素的二进制值；以及
获得第二无背景物品图像，将第三二进制掩码应用于所述第一无背景物品图像。
13.根据权利要求8所述的系统，其中所述操作还包括：
从所述图像帧推断物品信息并且自动将所推断的物品信息应用于物品列表表单，以及，基于所述物品列表表单生成所述物品列表。
14.根据权利要求8所述的系统，其中所述操作还包括：
在所述移动设备的用户界面上的表示层中显示来自所述图像帧的所述物品。
15.一种计算机可读硬件存储设备，其中存储有一组程序指令，所述程序指令在由计算机执行时使所述计算机执行操作，所述操作包括：
捕获物品的图像，包括：
引导用户将移动设备定位在相对所述物品的一方向上，使得所述物品被包括在所述移动设备的用户界面的区域的边界内；
通过所述移动设备的相机检测所述物品并且捕获所述物品的至少一个图像帧；
计算所述图像帧的颜色直方图；
计算指示每个像素的概率的概率图，所述概率指示相应像素是否是图像背景的一部分，所述概率图是基于所述颜色直方图计算的；
基于所述图像帧和所述概率图生成所述物品的第一无背景图像；
从所述移动设备接收用户输入，所述用户输入包括定义所述图像帧的多个像素的涂鸦；
基于所述涂鸦调整所述概率图；
基于所述第一无背景图像和调整后的概率图生成所述物品的第二无背景图像；以及
使用所述第二无背景图像在所述移动设备上展示所述物品。
16.根据权利要求15所述的计算机可读硬件存储设备，所述操作还包括：
估计所述图像帧的第一区域的边界和第二区域的边界；
确定所述第一区域比所述第二区域包括所述物品的更大部分；
在所述移动设备的用户界面上显示指令，指示所述用户采取动作，使得所述物品将变得完全包括在所述第一区域的边界内并且在所述第一区域的边界内可见；以及
检测所述物品被完全包括在所述第一区域的边界内并且在所述第一区域的边界内可见；
检测所述第一区域内的所述物品的边界，所述物品的边界沿着用户界面上所述物品的轮廓，所述边界的内部部分仅包括所述物品，并且所述边界的外部部分包括所述图像帧的背景；
区分所述边界的内部部分和所述边界的外部部分；
估计第一二进制掩码，所述第一二进制掩码包括所述图像帧的所述边界的内部部分和所述边界的外部部分，其中，计算所述图像帧的所述颜色直方图包括所述边界的内部部分和所述边界的外部部分，其中计算所述图像帧的所述概率图包括所述边界的内部部分和所述边界的外部部分；以及
平滑包括所述边界的内部部分和所述边界的外部部分的所述概率图。
17.根据权利要求16所述的计算机可读硬件存储设备，所述操作还包括：
获得第二二进制掩码，将第一二进制值分配给所述图像帧内具有高于确定的阈值的RGB值的第一多个像素中的每个像素，并且将第二二进制值分配给所述图像帧内具有低于所述确定的阈值的RGB值的第二多个像素中的每个像素；以及
获得第一无背景物品图像，将所述第二二进制掩码应用于所述图像帧。
18.根据权利要求17 所述的计算机可读硬件存储设备，所述操作还包括：
平滑所述涂鸦；以及
缩放所述涂鸦，包括：将所述第一二进制值分配给包括所述涂鸦的、具有高于所述确定的阈值的RGB值的第三多个像素中的每个像素，并且将所述第二二进制值分配给具有低于所述确定的阈值的RGB值的每个像素。
19.根据权利要求18所述的计算机可读硬件存储设备，所述操作还包括：
获得第三二进制掩码，包括：将缩放后的涂鸦与所述概率图区分开，向所述概率图添加或从其减去包括所述缩放后的涂鸦的像素的二进制值；以及
获得第二无背景物品图像，将第三二进制掩码应用于所述第一无背景物品图像。
20.根据权利要求15所述的计算机可读硬件存储设备，所述操作还包括：
从所述图像帧推断物品信息并且自动将所推断的物品信息应用于物品列表表单，以及基于所述物品列表表单生成所述物品列表。
21.一种载有一组程序指令的载体介质，所述程序指令在由计算机执行时，使得所述计算机执行权利要求1至7中任一项所述的方法。
CN201680070578.1A 2015-12-04 2016-11-30 自动引导的图像捕获和展示 Active CN108292425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210844364.2A CN115115499A (zh) 2015-12-04 2016-11-30 自动引导的图像捕获和展示的方法和系统

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562263433P 2015-12-04 2015-12-04
US62/263,433 2015-12-04
US15/361,973 US10270965B2 (en) 2015-12-04 2016-11-28 Automatic guided capturing and presentation of images
US15/361,973 2016-11-28
PCT/US2016/064057 WO2017095834A1 (en) 2015-12-04 2016-11-30 Automatic-guided image capturing and presentation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210844364.2A Division CN115115499A (zh) 2015-12-04 2016-11-30 自动引导的图像捕获和展示的方法和系统

Publications (2)

Publication Number Publication Date
CN108292425A CN108292425A (zh) 2018-07-17
CN108292425B true CN108292425B (zh) 2022-08-09

Family

ID=57589196

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680070578.1A Active CN108292425B (zh) 2015-12-04 2016-11-30 自动引导的图像捕获和展示
CN202210844364.2A Pending CN115115499A (zh) 2015-12-04 2016-11-30 自动引导的图像捕获和展示的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210844364.2A Pending CN115115499A (zh) 2015-12-04 2016-11-30 自动引导的图像捕获和展示的方法和系统

Country Status (5)

Country Link
US (4) US10270965B2 (zh)
EP (1) EP3384458A1 (zh)
KR (2) KR102081842B1 (zh)
CN (2) CN108292425B (zh)
WO (1) WO2017095834A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10475113B2 (en) 2014-12-23 2019-11-12 Ebay Inc. Method system and medium for generating virtual contexts from three dimensional models
US10270965B2 (en) 2015-12-04 2019-04-23 Ebay Inc. Automatic guided capturing and presentation of images
US10636063B1 (en) * 2016-11-08 2020-04-28 Wells Fargo Bank, N.A. Method for an augmented reality value advisor
US10430987B1 (en) * 2017-06-09 2019-10-01 Snap Inc. Annotating an image with a texture fill
US10949578B1 (en) * 2017-07-18 2021-03-16 Pinar Yaman Software concept to digitally try any object on any environment
EP3496387A1 (en) * 2017-12-05 2019-06-12 Koninklijke Philips N.V. Apparatus and method of image capture
WO2020006553A1 (en) * 2018-06-29 2020-01-02 Ghost House Technology, Llc System, apparatus and method of item location, list creation, routing, imaging and detection
US11803664B2 (en) * 2018-10-09 2023-10-31 Ebay Inc. Distributed application architectures using blockchain and distributed file systems
US10445899B1 (en) 2018-11-26 2019-10-15 Capital One Services, Llc System and method for recalibrating an augmented reality experience using physical markers
US11880877B2 (en) 2018-12-07 2024-01-23 Ghost House Technology, Llc System for imaging and detection
DK3897481T3 (da) * 2018-12-20 2023-10-30 Coloplast As Klassificering af stomitilstand med maskering, anordninger og tilhørende fremgangsmåder
US10445915B1 (en) * 2019-04-09 2019-10-15 Coupang Corp. Systems and methods for efficient management and modification of images
JP7348754B2 (ja) * 2019-06-03 2023-09-21 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
US11682068B2 (en) * 2019-09-16 2023-06-20 Mercari, Inc. Automating the creation of listings using augmented reality computer technology
US11386473B2 (en) * 2019-10-24 2022-07-12 Shopify Inc. Systems and methods for providing product image recommendations
FR3104296A1 (fr) * 2019-12-06 2021-06-11 Amadeus Système de determination de produit optimisé
US11069043B1 (en) * 2020-03-13 2021-07-20 Konica Minolta Business Solutions U.S.A., Inc. Background noise reduction using a variable range of color values dependent upon the initial background color distribution
US20220070388A1 (en) * 2020-09-02 2022-03-03 Shopify Inc. Methods and devices for capturing an item image
US20240161162A1 (en) * 2022-11-11 2024-05-16 Ebay Inc. Guided capture methodologies

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102090080A (zh) * 2008-03-31 2011-06-08 电子湾有限公司 用于移动公布的方法和系统
CN102708370A (zh) * 2012-05-17 2012-10-03 北京交通大学 一种多视角图像前景目标提取方法及装置
US8358691B1 (en) * 2009-10-30 2013-01-22 Adobe Systems Incorporated Methods and apparatus for chatter reduction in video object segmentation using a variable bandwidth search region

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574511A (en) * 1995-10-18 1996-11-12 Polaroid Corporation Background replacement for an image
US5978519A (en) * 1996-08-06 1999-11-02 Xerox Corporation Automatic image cropping
KR100503039B1 (ko) * 2002-11-25 2005-07-22 삼성테크윈 주식회사 사용자가 쉽게 증명 사진을 촬영할 수 있도록 디지털카메라의동작을 제어하는 방법
US8732025B2 (en) * 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
AU2008222933A1 (en) * 2007-03-02 2008-09-12 Organic Motion System and method for tracking three dimensional objects
US8437570B2 (en) * 2008-05-23 2013-05-07 Microsoft Corporation Geodesic image and video processing
US9547799B2 (en) * 2008-07-17 2017-01-17 Sharp Laboratories Of America, Inc. Methods and systems for content-boundary detection
US7991646B2 (en) * 2008-10-30 2011-08-02 Ebay Inc. Systems and methods for marketplace listings using a camera enabled mobile device
US9349143B2 (en) * 2008-11-24 2016-05-24 Ebay Inc. System and method for generating an electronic catalog booklet for online computer users
US8320666B2 (en) * 2009-08-14 2012-11-27 Genesis Group Inc. Real-time image and video matting
CN102411703A (zh) * 2010-09-21 2012-04-11 索尼公司 检测图像序列中的特定对象的装置、方法和视频摄像设备
US8565532B2 (en) * 2011-06-17 2013-10-22 Adobe Systems Incorporated Edge-based approach for interactive image editing
US9153031B2 (en) * 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
KR101832959B1 (ko) * 2011-08-10 2018-02-28 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US8687104B2 (en) * 2012-03-27 2014-04-01 Amazon Technologies, Inc. User-guided object identification
US9064184B2 (en) 2012-06-18 2015-06-23 Ebay Inc. Normalized images for item listings
KR102026717B1 (ko) 2013-02-08 2019-10-04 삼성전자 주식회사 사진 촬영 가이드 방법 및 이를 구현하는 휴대 단말
US20150058150A1 (en) * 2013-08-21 2015-02-26 Ron Gura Systems and methods for providing selling assistance
US20160217328A1 (en) * 2013-09-30 2016-07-28 Danielle YANAI Image and video processing and optimization
JP5811416B2 (ja) * 2013-10-09 2015-11-11 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9401027B2 (en) * 2013-10-21 2016-07-26 Nokia Technologies Oy Method and apparatus for scene segmentation from focal stack images
US9495755B2 (en) * 2013-10-22 2016-11-15 Nokia Technologies Oy Apparatus, a method and a computer program for image processing
KR101588935B1 (ko) * 2013-11-21 2016-01-26 오테리 테크놀러지스 인코포레이티드 가상현실 이미지 프레젠테이션 및 3d 공간 내에서의 컨트롤을 위한 3d 기하학 데이터의 이용방법
CN105940392B (zh) * 2014-02-19 2019-09-27 高通股份有限公司 装置的图像编辑技术
GB2523329A (en) * 2014-02-20 2015-08-26 Nokia Technologies Oy Method, apparatus and computer program product for image segmentation
US10235587B2 (en) 2014-03-04 2019-03-19 Samsung Electronics Co., Ltd. Method and system for optimizing an image capturing boundary in a proposed image
US10089740B2 (en) * 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US20160335681A1 (en) * 2014-05-13 2016-11-17 David Benjamin Swanson Selectively Shared and Custom-Branded/Re-branded Online Subscription Merchandising
JP6518409B2 (ja) * 2014-06-30 2019-05-22 オリンパス株式会社 撮影装置及び撮影方法
US10609273B2 (en) * 2014-07-31 2020-03-31 Maxell, Ltd. Image pickup device and method of tracking subject thereof
US20160034944A1 (en) * 2014-08-04 2016-02-04 Oren Raab Integrated mobile listing service
US9807316B2 (en) * 2014-09-04 2017-10-31 Htc Corporation Method for image segmentation
WO2016207875A1 (en) * 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
CA3002808A1 (en) * 2015-10-21 2017-04-27 Walmart Apollo, Llc Apparatus and method for providing a virtual shopping space
US10270965B2 (en) 2015-12-04 2019-04-23 Ebay Inc. Automatic guided capturing and presentation of images
US10762636B2 (en) * 2017-06-29 2020-09-01 HealthMyne, Inc. Systems and methods for volumetric segmentation of structures in planar medical images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102090080A (zh) * 2008-03-31 2011-06-08 电子湾有限公司 用于移动公布的方法和系统
US8358691B1 (en) * 2009-10-30 2013-01-22 Adobe Systems Incorporated Methods and apparatus for chatter reduction in video object segmentation using a variable bandwidth search region
CN102708370A (zh) * 2012-05-17 2012-10-03 北京交通大学 一种多视角图像前景目标提取方法及装置

Also Published As

Publication number Publication date
KR102081842B1 (ko) 2020-02-26
EP3384458A1 (en) 2018-10-10
US20190289199A1 (en) 2019-09-19
US20200366834A1 (en) 2020-11-19
US11258944B2 (en) 2022-02-22
CN115115499A (zh) 2022-09-27
KR102123780B1 (ko) 2020-06-16
KR20200021555A (ko) 2020-02-28
US11966995B2 (en) 2024-04-23
US10771685B2 (en) 2020-09-08
KR20180089494A (ko) 2018-08-08
WO2017095834A1 (en) 2017-06-08
CN108292425A (zh) 2018-07-17
US10270965B2 (en) 2019-04-23
US20220239829A1 (en) 2022-07-28
US20170163882A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
CN108292425B (zh) 自动引导的图像捕获和展示
US11714873B2 (en) Systems and methods for screenshot linking
US10712811B2 (en) Providing a digital model of a corresponding product in a camera feed
KR101852581B1 (ko) 이미지 평가 기법
KR102032669B1 (ko) 모바일 디바이스 상에서 안내되는 사진 및 비디오
CN111670452B (zh) 销售清单创建方法
US20200183987A1 (en) Systems and Methods for Saving and Presenting a State of a Communication Session
JP2017520042A (ja) ボディスキャン情報を使用する衣料品フィルタリングおよび提示方法
JP2020502662A (ja) 画像のインテリジェント自動クロッピング
KR20210107921A (ko) 소셜 네트워킹 시스템을 사용하여 제3자 상점의 쇼핑 카트에 상품을 추가하기 위한 시스템 및 방법
US20150058150A1 (en) Systems and methods for providing selling assistance
US10248982B2 (en) Automated extraction of product data from production data of visual media content
JP7486922B2 (ja) 情報処理方法、プログラム、及び情報処理装置
US20160189268A1 (en) Wearable device for interacting with media-integrated vendors
US20150026012A1 (en) Systems and methods for online presentation of storefront images
US20200097568A1 (en) Fashion by trend user interfaces
WO2016022436A1 (en) Facilitating intelligent and competitive consumer-favored online shopping experience at computing devices
TW201610814A (zh) 情境式視野入口
CN114117288A (zh) 使用视觉交互的自动反馈系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant