CN115115499A - 自动引导的图像捕获和展示的方法和系统 - Google Patents
自动引导的图像捕获和展示的方法和系统 Download PDFInfo
- Publication number
- CN115115499A CN115115499A CN202210844364.2A CN202210844364A CN115115499A CN 115115499 A CN115115499 A CN 115115499A CN 202210844364 A CN202210844364 A CN 202210844364A CN 115115499 A CN115115499 A CN 115115499A
- Authority
- CN
- China
- Prior art keywords
- image
- item
- pixels
- graffiti
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000009499 grossing Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 24
- 230000003190 augmentative effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 230000001413 cellular effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000010187 selection method Methods 0.000 description 4
- PASHVRUKOFIRIK-UHFFFAOYSA-L calcium sulfate dihydrate Chemical compound O.O.[Ca+2].[O-]S([O-])(=O)=O PASHVRUKOFIRIK-UHFFFAOYSA-L 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910000078 germane Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
Abstract
提出了一种包括携带至少一个程序的计算机可读介质的系统和一种用于便于自动引导的图像捕获和展示的方法的系统。在一些实施例中,该方法包括:捕获表示物品的第一图像;将第一图像中的部分像素分类为背景像素;基于所述分类修改第一图像,以生成表示所述物品的第二图像;在显示器上显示第二图像;接收定义所显示的第二图像上的涂鸦的数据;基于所述涂鸦将第二图像中的第二部分像素分类为背景像素;基于上述分类修改第二图像,以生成表示所述物品的第三图像;以及,在显示器上显示第三图像。
Description
本申请是申请日为2016年11月30日的PCT国家申请No.PCT/US2016/064057进入中国国家阶段的题为“自动引导的图像捕获和展示”的发明专利申请201680070578.1的分案申请。
优先权
本专利申请要求于2015年12月4日提交的序列号为62/263,433的美国临时专利申请以及于2016年11月28日提交的序列号为15/361,973的美国专利申请的优先权,其全部内容通过引用并入本文。
附图说明
以举例而非限制的方式在附图中示意说明了一些实施例。
图1是根据一些示例实施例的示出展示系统中的有引导的图像捕获的功能组件的框图。
图2是根据一些示例实施例示出设备在执行用于自动引导的图像捕获和展示的方法中的操作的流程图。
图3是根据一些示例实施例示出设备在执行用于自动引导的图像捕获和展示的方法中的操作的流程图。
图4是根据一些示例实施例示出设备在执行用于自动引导的图像捕获和展示的方法中的操作的流程图。
图5是根据一些示例实施例示出用于自动引导的图像捕获展示的方法的示图。
图6是根据一些示例实施例示出适合于促进自动引导的图像捕获和展示的网络环境的网络图。
图7是根据一些示例实施例示出能够读取来自机器可读介质的指令并执行本文讨论的任何一种或多种方法的机器的组件的框图。
具体实施方式
现在将详细参考用于实施本发明主题的具体示例实施例。这些具体实施例的示例在附图中示出。应该理解的是,这些示例并不意图将权利要求的范围限制到所示实施例。相反,它们旨在覆盖可能包括在本公开的范围内的替代、修改和等同物。在以下描述中,阐述了具体细节以便提供对主题的透彻理解。可以在没有这些具体细节中的一些或全部的情况下实施实施例。
本文描述的示例实施例有助于物品列表(例如,物品数据记录)的自动引导的图像捕获和展示。移动设备逻辑可以独立于网络连接而执行自动引导的图像捕获和展示,从而允许增强物品列表的创建并提高网络资源的效率。实施例便于图像引导、自动背景去除、物品列表表单的自动完成以及在线商店管理。
在示例实施例中,移动设备的用户(例如卖方)可以使用移动设备来自动创建物品列表。移动设备上的有引导的图像捕获和展示系统引导用户利用移动设备的相机捕获物品的图像,检测并自动去除图像的背景部分,仅保留包括感兴趣的物品的图像部分,以及允许用户通过手动改变图像的背景部分来进一步修改图像。
在另外的示例实施例中,有引导的图像捕获展示系统通过从捕获的图像推断信息(例如,类别识别,诸如颜色、图案和样式之类的特性识别)来促进物品列表表单的自动完成。物品列表表单的自动完成还可以包括从捕获的物品图像推断与物品和标题预测相关联的某些关键字。系统在物品列表的自动完成中也可以使用多个图像。物品列表的自动完成还可以包括向用户显示可能具有类似的标题和/或价格的物品列表,从而帮助用户构建物品列表的标题和物品的价格。有引导的图像捕获和展示系统还可以允许用户在增强现实环境中陈列来自物品列表的物品,所述增强现实环境包括用于在虚拟货架或衣架上展示物品以供访问用户的在线商店的潜在买方查看的表示层。基于从捕获的图像推断的信息,有引导的图像捕获和展示系统可以根据物品的类别和/或特性自动选择表示层(例如,显示鞋子的虚拟货架,显示衣服的虚拟衣架)。移动设备的用户也可以为物品手动选择表示层。此外,增强现实环境可以允许用户定制表示层(例如,允许用户基于用户的偏好或目标观众选择虚拟货架、衣架或壁纸的样式)。
图1是根据一些示例实施例示出有引导的图像捕获和展示系统(GIPS)124的功能组件的框图。如上所述,124有助于物品列表的自动引导的图像捕获和展示。示出了GIPS124的各种功能模块,其中GIPS 124作为网络系统的一部分提供,将关于图6进行更详细的描述。如相关的计算机和与互联网有关的技术中的技术人员所理解的,图1中所示的每个组件(例如,模块或引擎)可以使用硬件(例如,机器的处理器)或或者逻辑(例如,可执行软件指令)和用于执行逻辑的硬件(例如,机器的存储器和处理器)的组合来实现。
GTPS 124示出为包括图像引导模块104、背景去除模块106、展示模块108、列表模块210和数据库112,均被配置为彼此通信(例如,经由总线、共享内存、交换机或应用程序编程接口(API))。此外,GIPS 124的各种模块可以经由数据库服务器访问数据库122,并且GIPS 124的各种模块中的每个可以与一个或多个第三方应用程序(例如社交网络平台)进行通信。尽管图1的模块以单数意义进行讨论,但可以理解,在其他实施例中,可以采用多个模块。
图像引导模块104协助移动设备的用户针对物品列表捕获物品的图像。例如,图像引导模块104引导用户将移动设备定位在相对物品的最佳方向上,通过移动设备的相机检测物品并捕获物品的一个或多个图像帧。图像引导模块104为每个捕获的图像帧估计图像的背景部分和图像的前景部分。例如,图像的背景和前景部分的估计可以通过下述方式来实现:识别第一区域和第二区域;并且确定在第一区域内的至少一个区域包括与第二区域中的一组像素不同(例如,颜色不同)的一组像素,反之亦然。在识别不同像素组的区域时,图像引导模块104估计第一区域或第二区域包括感兴趣的物品。除了估计感兴趣的物品的位置(例如,在第一区域或第二区域内的位置)之外,图像引导模块104向移动设备的用户传达用于捕获物品的图像的指令。在一些实施例中,移动设备的用户界面显示取景器(例如,叠加在移动设备的用户界面上的形状),用于引导对物品的定位以进行图像捕获。
当用户将移动设备与对象保持一定距离并移动移动设备时,图像引导模块104可以在用户界面内显示人类可读指令(例如,文本指令),指示用户移动移动设备,使得物品将被完全包括在取景器的边界内。例如,取景器的内边界可以对应于前述的第一区域(例如前景)并且外边界可以对应于前述的第二区域(例如背景)。在其他实施例中,图像引导模块104不指示用户移动移动设备,而是显示指示用户增加或减少照明或重新定位对象的指令,例如从图像的背景部分去除对象或在图像的前景部分内分离两个对象(例如,感兴趣的物品靠近另一对象)。在一些实施例中,有引导的图像捕获处理每个捕获的图像帧并且实时指示移动设备的用户。捕获的图像可以存储在移动设备上,例如存储在数据库(例如数据库112)或存储器内的位置内,并且还可以存储基于远程网络的系统(例如基于网络的系统类似于关于图6描述的系统)上的数据库或存储器内
背景去除模块106自动去除图像的背景部分,仅留下包含感兴趣的物品的图像部分。类似于上述的有引导的图像捕获,可以在移动设备上实时执行背景去除。此外,背景模块106还可以自动去除一个图像帧或一组图像帧的背景部分。在一些实施例中,背景去除模块106访问捕获的物品的图像帧,并且在图像内检测物品的边界,将物品与图像背景分离。在检测物品的边界时,背景去除模块106进行二进制掩码的初始估计,该二进制掩码包括图像的第一区域和第二区域,例如在上文关于图像引导模块104描述的第一区域和第二区域。对于第一区域和第二区域两者,背景去除模块106均计算颜色直方图并且使用颜色直方图计算每个像素的概率。在计算每个像素的概率时,背景去除模块106创建概率图。背景去除模块106可以通过使用域变换测地线滤波来对概率图进行平滑并且使用阈值选择方法来获得二进制掩码。阈值选择方法对具有高于确定的阈值的值(例如,RGB值)的像素分配一个二进制值,而对具有低于确定的阈值的值的像素分配另一二进制值。
背景去除模块106还可以通过在移动设备上接收用户输入来执行对图像的手动编辑。在一些实施例中,创建图像的二进制掩码,并且移动设备的用户通过创建涂鸦进一步限定感兴趣的物品的轮廓并进一步将图像的背景部分与感兴趣的物品分开来手动编辑二进制掩码。涂鸦被定义为由用户通过下述方式创建的某种类型的用户输入:将一对象带入与移动设备的用户界面的预定接近度内(例如,用手指触摸移动设备的屏幕),从而导致一部分用户界面(例如,表示图像)被突出显示或以其他方式与图像的其余部分区分开。在接收到用户输入涂鸦之后,背景去除模块106使用域变换测地线过滤来平滑涂鸦。背景去除模块106将平滑后的涂鸦缩放到高于或低于阈值的值。例如,将平滑后的涂鸦缩放到高于或低于与在上面关于自动背景去除所述的使用阈值选择方法创建二进制掩码中使用的阈值对应的确定的阈值的值。在自动背景去除期间创建的概率图中添加或减去缩放后的涂鸦(这取决于涂鸦的值是高于还是低于确定的阈值),从概率图获得二进制掩码。背景去除模块106还可以使得涂鸦收缩尺寸或增大尺寸以覆盖要去除的背景的部分。此外,背景去除模块106还可以允许涂鸦捕获检测到的图像内的感兴趣的物品的边界。在一些实施例中,在涂鸦的缩放之后获得的二进制掩码相对于在自动背景去除期间创建的二进制掩码是独特的。
列表模块110自动填写物品列表表单以创建物品列表。例如,通过从物品图像推断信息(例如,包括颜色、风格、类别、品牌名称之类的物品的特性)来完成自动物品表单列表。在一些实施例中,关于物品的信息是从上面关于图像引导模块104描述的有引导的图像捕获期间捕获的图像或图像帧推断的。在自动完成物品列表表单方面,列表模块110还包括向用户显示可能具有类似的标题和/或价格的物品列表,从而协助用户构建物品列表的标题和物品的价格。当物品列表表单完成时,创建物品列表,包括物品的图像、从图像推断的关于物品的信息以及从移动设备的用户接收的任何附加输入信息。有引导的图像捕获和展示系统124使用完成的物品列表来在卖方的在线商店的增强现实环境内显示物品。
展示模块108使物品(例如,如上所述的捕获的物品图像)展示在包括表示层的增强现实环境中。例如,展示模块108可以在虚拟货架或衣架上展示物品以供访问该用户的在线商店的潜在买方查看。在一些实施例中,基于从图像推断出的物品的信息,列表模块110根据物品的类别和/或特性自动选择表示层(例如,用于显示鞋子的虚拟鞋架、用于显示服装的虚拟衣架或虚拟货架)。移动设备的用户也可以为物品手动选择表示层。此外,增强现实环境允许由用户定制表示层(例如,允许用户基于用户的偏好或目标观众选择虚拟货架、衣架或壁纸的样式)。为在线商店的观看者(例如,访问的买方或卖方)提高增强现实体验,展示模块108允许添加虚拟销售指示符,例如“红色销售标签”。虚拟销售指示符允许卖方吸引网上商店在线商店的观看者对特定物品的关注,例如,指示卖方的在线商店内的物品正在以特定价格提供销售。在一些实施例中,当查看卖方的在线商店的表示层时,观看者可以选择所显示的物品(例如,通过触摸移动设备的用户界面上显示的虚拟货架或衣架上的物品)并且在选择该物品时,展示模块108将观看者链接到显示关于该物品的详细信息的页面。
图2是根据一些示例实施例示出设备在执行用于自动引导的捕获和展示图像的方法200中的操作的流程图。方法200包括:捕获物品图像202、自动去除图像背景204、执行手动掩码编辑206、使用推断的图像信息生成物品列表208以及在增强现实环境中展示物品列表210。方法200可以以在供一个或多个处理器执行的计算机可读指令具体实现,使得方法200的步骤可部分地或全部地由GIPS 124的功能组件(例如,模块)执行:因此,下面通过举例参照GIPS 124的功能组件来描述方法200。然而,应当理解,方法200可以被部署在各种其他硬件配置上,并且不旨在被限制于GIPS 124的功能组件。
在操作202中,GIPS 124协助移动设备的用户针对物品列表捕获物品的图像。例如,GIPS 124引导用户将移动设备定位在相对物品的最佳方向上,通过移动设备的相机检测物品并捕获物品的一个或多个图像帧。例如,GIPS 124例如通过下述方式来为每个捕获的图像帧估计图像的背景部分和图像的前景部分:识别第一区域和第二区域;并且确定在第一区域内的至少一个区域包括与第二区域中的一组像素不同(例如,颜色不同)的一组像素,反之亦然。GIPS 124估计第一区域或第二区域包括感兴趣的物品。此外,GIPS 124向移动设备的用户传达用以捕获物品的图像的指令。当用户手持移动设备时,GIPS124在用户界面内显示人类可读指令(例如,文本指令),指示用户移动移动设备使得物品将被完全包括在取景器的边界内,指示用户增加或减少照明或重新定位对象,例如从图像的背景部分去除对象或分离图像的前景部分内的两个对象(例如,感兴趣的物品靠近另一对象)。当GIPS124检测到物品被完全包括在取景器的边界内时,捕获图像。
在操作204处,GIPS 124自动去除图像背景。在自动去除图像背景时,GIPS 124仅留下包括感兴趣的物品的图像部分。作为操作204中涉及的子操作的示例,图3是根据一些示例实施例示出设备在执行用于自动引导的图像捕获和展示的方法中的操作的流程图。如示出的那样,自动移除图像背景的操作包括:猜测二进制掩码302、计算颜色直方图304、计算概率图306、平滑概率图308、以及获得二进制掩码310。在操作302中,GIPS 124做出对二进制掩码的初始猜测。GIPS124访问捕获的物品图像并检测图像内物品的边界,将物品与图像背景分开。在检测物品的边界时,GIPS 124做出对二进制掩码的初始估计,该二进制掩码包括图像的第一区域和第二区域。在操作304中,GIPS 124针对图像的第一区域和第二区域计算颜色直方图。在操作306中,GIPS 124计算概率图。GIPS 124使用颜色直方图计算每个像素的概率。在计算每个像素的概率时,GIPS 124创建概率图。在操作308中,GIPS 124通过使用域变换测地线滤波来平滑概率图。在执行域变换测地线滤波时,GIPS 124对具有高于确定的阈值的值(例如,RGB值)的像素分配一个二进制值,而对具有低于确定的阈值的值的像素分配另一二进制值。在对高于或低于确定的阈值的像素分配值时,在操作310中,GIPS124获得二进制掩码。
回到图2,在操作206,GIPS 124执行手动掩码编辑。作为在操作206中涉及的子操作的示例,图4是根据一些示例实施例示出设备在执行用于自动引导的图像捕获和展示的方法中的操作的流程图。
在操作402中,GIPS 124访问概率图(例如在自动图像背景去除期间创建的概率图)。在操作404中,GIPS 124在移动设备上接收涂鸦形式的用户输入。使用该涂鸦,GIPS124进一步限定感兴趣的物品的轮廓,并进一步将图像的背景部分与感兴趣的物品分开。在操作406中,在接收到用户输入涂鸦之后,GIPS 124使用域变换测地线过滤来平滑涂鸦。在操作408中,GIPS 124将平滑后的涂鸦缩放到高于或低于阈值的值。例如,平滑后的涂鸦可被缩放到高于或低于与在使用阈值选择方法创建二进制掩码中使用的阈值对应的确定的阈值的值。在操作410中,GIPS 124通过在自动背景去除期间创建的概率图中添加或减去(取决于涂鸦的值高于或低于确定的阈值)缩放后的涂鸦值来将缩放后的涂鸦与概率图区分开。在将缩放后的涂鸦与概率图区分开时,在操作412中,GIPS 124从概率图获得二进制掩码。GIPS 124可以使得涂鸦收缩或增大尺寸,以覆盖要去除的背景的部分。此外,GIPS124还可以使得涂鸦捕获检测到的图像内感兴趣的物品的边界。
回到图2,在操作208中,GIPS 124使用推断的图像信息来生成物品列表。GIPS 124自动填充物品列表表单以创建物品列表,从物品的图像推断信息(例如,包括颜色、风格、类别、品牌名称的物品的特性)。GIPS 124从关于操作202描述的在有引导的图像捕获期间捕获的图像或图像帧中推断关于物品的信息。在自动完成物品列表表单时,GIPS 124还包括向用户显示可能具有类似的标题和/或价格的物品列表,从而协助用户构建物品列表的标题和物品的价格。GIPS 124完成物品列表表单,创建物品列表,包括:物品的图像,从图像推断的关于物品的信息以及从移动设备的用户接收的任何附加输入信息。GIPS 124使用完成的物品列表在卖方的在线商店的增强现实环境内显示物品。
在操作210中,GIPS 124在增强现实环境中展示物品列表。GIPS124在包括表示层的增强现实环境中展示来自物品列表的物品(例如,如上所述的捕获的物品图像),例如,将物品展示在虚拟货架或衣架上以供访问用户的在线商店的潜在的买方查看。在一些实施例中,基于从物品的图像推断的信息,GIPS 124根据物品的类别和/或特性自动选择表示层(例如,展示鞋的虚拟鞋架、显示衣服的虚拟衣架或虚拟货架)。为了增加在线商店(例如,访问的买方或卖方)的观看者的增强现实体验,GIPS 124允许添加虚拟销售指示符,从而允许卖方吸引来自在线商店的观看者对具体物品的关注。GIPS 124允许观看者选择所显示的物品(例如,通过触摸显示在移动设备的用户界面上的虚拟货架或衣架上的物品),并且在选择该物品时,GIPS 124将观看者链接到显示有关该物品的详细信息的页面。
图5是根据一些示例实施例示出自动引导的图像捕获展示的方法的示图。在502中,GIPS 124协助移动设备的用户捕获物品列表的物品的图像。如图5所示,GIPS 124引导用户将移动设备定位在相对物品的最佳方向上。例如,GIPS 124通过下述方式来为每个捕获的图像帧估计图像的背景部分和图像的前景部分:识别第一区域和第二区域;并且确定在第一区域内的至少一个区域包括与第二区域中的一组像素不同(例如,颜色不同)的一组像素,反之亦然。GIPS 124估计第一区域或第二区域包括感兴趣的物品。如图5所示,例如,GIPS 124通过显示感兴趣的物品的轮廓向用户指示估计的图像的第一区域和第二区域。此外,GIPS 124向移动设备的用户传达用以捕获物品的图像的指令。当用户手持移动设备时,GIPS 124在用户界面上显示指令以指示用户移动移动设备使得物品将被完全包括在取景器的边界内,以指示用户增加或减少照明或重新定位对象。当GIPS 124检测到物品被完全包括在取景器的边界内时,捕获图像。
在504中,GIPS 124自动去除图像背景。如图5所示,GIPS 124仅留下包括感兴趣的物品的图像部分并且显示示出感兴趣物品的边界的取景器,其可能是在有引导的图像捕获期间使用过的。GIPS 124做出对二进制掩码的初始猜测,并检测图像内物品的边界,将物品与图像背景分开。GIPS 124计算颜色直方图概率图,使用颜色直方图计算每个像素的概率。GIPS 124通过使用域变换测地线滤波来平滑概率图。在504中产生图像时,GIPS 124还可执行手动掩码编辑,接收涂鸦形式的用户输入并进一步定义感兴趣的物品的轮廓,并进一步将图像的背景部分与感兴趣的物品分开。
在506中,GIPS 124使用推断的图像信息来生成物品列表。GIPS124自动填充物品列表表单以创建物品列表,从物品的图像推断信息(例如,包括颜色、样式、类别、品牌名称的物品的特性)。GIPS 124从关于操作202描述的在有引导的图像捕获期间捕获的图像或图像帧中推断关于物品的信息。如图5的510所示,GIPS 124还包括向用户显示建议的标题或类别或可能具有类似的标题和/或价格的物品列表,从而协助用户构建物品列表的标题和物品的价格。GIPS 124完成物品列表表单,创建物品列表,包括物品的图像、从图像推断的关于物品的信息以及从移动设备的用户接收到的任何附加信息。GIPS 124使用完成的物品列表在卖方的在线商店的增强现实环境内显示物品。在508中,GIPS 124在增强现实环境中展示物品列表。如图5所示,GIPS 124在包括表示层的增强现实环境中陈列物品,例如,在虚拟货架上展示物品以供访问用户的在线商店的潜在的买方查看。
图6是根据一个实施例示出适合于促进自动引导的图像捕获和展示的网络系统600的网络图,其具有被配置用于通过网络602交换数据的客户端-服务器架构。尽管网络系统600被描绘为具有客户端-服务器架构,但是本发明主题当然不限于这样的架构,并且同样可以在例如事件驱动的、分布式的或对等架构系统中找到应用。此外,为了避免以不必要的细节模糊本发明的主题,图6中省略了与表达对本发明主题的理解没有密切关系的各种功能组件。而且,应该理解的是,尽管网络系统600的各种功能部件以单数意义进行讨论,但是可以使用各种功能组件中的任何一个的多个实例。
网络系统600包括与客户端设备606和第三方服务器608通信的基于网络的内容发布者604。在一些示例实施例中,基于网络的内容发布者604可以是基于网络的市场(例如eBay.com)。基于网络的内容发布者604在网络系统600内传送和交换与网络系统600及其用户相关联的各种功能和方面相关的数据。基于网络的内容发布者604可以经由网络602(例如,互联网)向网络设备(诸如客户端设备606)提供服务器侧功能。
客户端设备606可以由使用网络系统600的用户在网络602上交换数据来操作。这些数据交换包括向网络系统600的用户传输(传送)数据,从网络系统600的用户接收数据,和处理与网络系统600的内容和用户有关的数据。数据可以包括但不限于图像;视频或音频内容;用户偏好;产品和服务反馈、建议和评论;产品、服务、制造商和供应商推荐和标识符;与买方和卖方相关联的产品和服务列表;产品和服务广告;拍卖出价;交易数据;用户简档数据;以及社交数据等等。
客户端设备606可以经由与网络602的连接与基于网络的内容发布者104进行接口连接。取决于客户端设备606的形式,可以使用各种类型的连接和网络602中的任何一种。例如,连接可以是码分多址(CDMA)连接、全球移动系统通信(GSM)连接或其他类型的蜂窝连接。这样的连接可以实现多种类型的数据传输技术中的任何一种,诸如单载波无线传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线业务(GPRS)技术、用于GSM的增强数据速率演进(EDGE)技术或其他数据传输技术(例如,第四代无线,4G网络)。当采用这种技术时,网络602可以包括具有多个蜂窝电话交换机互连的地理覆盖范围重叠的蜂窝站点的蜂窝网络。这些蜂窝电话交换机可以耦接到网络骨干网(例如公共交换电话网(PSTN)、分组交换数据网或其他类型的网络)。
在另一示例中,到网络602的连接可以是无线保真(Wi-Fi、IEEE802.1Ix类型)连接,全球微波接入互操作性(WiMAX)连接或其他类型的无线数据连接。在这样的实施例中,网络602可以包括耦接到局域网(LAN)、广域网(WAN)、互联网或另一分组交换数据网络的一个或多个无线接入点。在又一示例中,到网络602的连接可以是有线连接(例如,以太网链路),并且网络602可以是LAN、WAN、互联网或另一分组交换数据网络。因此,明确考虑了各种不同的配置。
在各种实施例中,在网络系统600内交换的数据可取决于通过一个或多个客户端或用户界面(UI)可用的用户选择的功能。UI可以与客户端设备(诸如执行网络客户端610(例如,互联网浏览器)的客户端设备606)相关联,客户端设备可以与基于网络的内容发布者604进行通信。UI还可以与在客户端设备606上执行的一个或多个应用程序612(诸如被设计用于与基于网络的内容发布者604交互的移动应用程序或由第三方服务器608托管的社交网络平台)相关联。
特别地,基于网络的内容发布者604、API服务器614和网络服务器616耦接到应用服务器618,并分别向应用服务器618提供编程和网络接口。如图6所示,应用服务器618可以经由API服务器614和网络服务器616例如经由有线或无线接口耦接到网络602。应用服务器618又被示为耦接到便于访问数据库622的数据库服务器620。在一些示例中,应用服务器618可以直接访问数据库622而不需要数据库服务器620。数据库622可以包括可以在基于网络的内容发布者604内部或外部的多个数据库。
例如,应用服务器618可以托管一个或多个应用程序,这些应用程序向访问基于网络的内容发布者604的用户提供多个内容发布和查看功能和服务。例如,基于网络的内容发布者604可以托管市场应用程序,该市场应用程序向用户提供许多市场功能和服务,诸如发布、列表和价格设定机制,由此卖方可以列出(或发布)与货物或服务(也统称为“产品”)(有关的信息)以供销售,买方可以表达对此类货物或服务的兴趣或表示购买此类货物或服务的意愿,并且可以为与货物或服务有关的交易设定价格。客户端设备606(例如,移动设备)托管执行图像的自动引导捕获和展示的GIPS 124。
由GIPS 124生成和发布的消息还可以包括对内容(例如,链接)的引用。如本文所使用的,术语“内容”或“内容物品”是指由观看者(例如,用户)在显示器、客户端设备或基于页面/显示器的媒体(例如,体现在浏览器中,可通过互联网访问的万维网(WWW)媒体)上消费的电子数据。这样,术语“内容”和“内容物品”可以指代与可读文本相关联的数据、与图像相关联的数据、与图形或视频相关联的数据、程序化内容、脚本或与这些的各种组合相对应的数据。此外,虽然图6中示出GIPS 124形成客户端设备606的一部分,但是将理解,在替代实施例中,GIPS 124可以形成与客户端设备606分开且不同的服务的一部分。例如,在一些实施例中,GIPS 124可以全部或部分地由应用服务器618托管,
数据库622存储关于与网络系统600及其用户相关联的各种功能和方面的数据。例如,数据库622存储和维护基于网络的内容发布者604的用户的用户简档。每个用户简档包括描述特定用户的方面的用户简档数据。例如,用户简档数据可以包括人口统计数据、用户偏好、社交数据和财务信息。例如,人口统计数据可以包括描述用户的一个或多个特性的信息,诸如性别、年龄、位置信息(例如,家乡或当前位置)、就业历史、教育历史、联系信息、家族关系或用户兴趣。例如,财务信息可以包括用户的私人财务信息,诸如账户号码、凭证、密码、设备标识符、用户名称、电话号码、信用卡信息、银行信息、交易历史记录或便于用户的在线交易的其他财务信息。
数据库622还存储用户活动的记录。因此,基于网络的内容发行者604可以监视、跟踪和记录在用户会话期间利用一个或多个设备(例如,客户端设备606)与用户网络系统600的各种组件进行交互的用户的活动。每个用户会话可以被维护在存储在数据库622中的储存库中。因此,用户活动数据可以包括用户已经执行过的过去的关键字搜索、由每个用户查看过的网页、添加到用户愿望列表或观看列表的产品、添加到电子购物车的产品以及用户拥有的产品。根据一些实施例,将用户活动的记录链接到用户简档数据,以维护用户简档与对应的用户已经执行过的活动的关联。
在基于网络的内容发布者104是基于网络的市场的情况下,数据库122存储产品信息。这样的产品信息例如可以包括产品标识符(例如标题或型号)、价格、品牌、制造商、型号、品牌名、文字描述、尺寸、样式、产品维度、兼容性信息或可用于描述产品的任何其他信息。在这些情况下,数据库622还可以存储基于网络的内容发布者604的用户的交易历史,该交易历史包括与可以由利用由基于网络的内容发布者604提供的市场服务的商家提供用于销售的产品的交易有关的信息。交易历史信息可以例如包括提供用于销售、已售出或由用户购买的产品的描述、产品的标识符、产品所属的类别、购买价格、购买日期、购买数量、产品的投标数量或其各种组合。
图6还示出了在第三方服务器608上执行的第三方应用程序626,其可以向应用程序服务器618或客户端设备606的用户提供信息或服务。第三方应用程序626经由由API服务器614提供的编程接口对基于网络的内容发布者604进行编程访问。第三方应用程序626与可以与应用程序服务器618或客户端设备606进行交易或向应用程序服务器618或客户端设备606提供服务的任何组织相关联。例如,第三方应用程序626可以与可以为会员建立和维护社交网络和会员之间的关系的基于网络的社交网络平台(例如, 等)相关联。
图7是根据一些示例实施例示出机器700的组件的框图,所述机器700能够从机器可读介质722(例如,非暂时性机器可读介质、机器可读存储介质、计算机可读存储介质或其任何合适的组合)读取指令724并且全部或部分执行本文讨论的方法中的任何一个或多个。具体而言,图7示出了计算机系统(例如,计算机)的示例形式的机器700,在计算机系统(例如,计算机)中,可以执行用于使得机器700全部或部分执行本文讨论的方法中的任何一个或多个的指令724(例如,软件、程序、应用程序、小程序、应用或其他可执行代码)。
在替代实施例中,机器700作为独立设备运行或者可以通信地耦接(例如联网)到其他机器。在联网部署中,机器700可以在服务器-客户端网络环境中以服务器机器或客户端机器的能力操作,或者作为分布式(例如,对等)网络环境中的对等机器操作。机器700可以是服务器计算机、客户端计算机、个人计算机(PC)、平板电脑、膝上型计算机、上网本、蜂窝电话、智能手机、机顶盒(STB)、个人数字助理(PDA)、网络设备、网络路由器、网络交换机、网络桥接器或能够顺序地或以其他方式执行指定要由该机器执行的动作的指令724的任何机器。此外,尽管仅示出了单个机器700,但术语“机器”也应被理解为包括单独或联合执行指令724以全部或部分执行本文所讨论的方法中的任何一个或多个的任何机器集合。
机器700包括处理器702(例如,中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)或其任何合适的组合)、主存储器704和静态存储器706,其被配置为经由总线708彼此通信。处理器702包含通过一些或所有指令724可暂时或永久配置的固态数字微电路(例如,电子的、光学的或二者),使得处理器702可配置为全部或部分执行本文所述的方法中的任何一个或多个。例如,处理器702的一个或多个微电路的集合可以被配置为执行本文中所描述的一个或多个模块(例如,软件模块)。在一些示例实施例中,处理器702是多核CPU(例如,双核CPU、四核CPU或128核CPU),其中多个核中的每个核表现为能够全部或部分执行本文讨论的方法中的任何一个或多个的独立处理器。尽管本文描述的有益效果可以由至少具有处理器702的机器700提供,但是这些相同的有益效果可以由不包含处理器的不同种类的机器提供(例如,纯机械系统、纯液压系统或混合机械液压系统),如果这种无处理器的机器被配置为执行本文所述的方法中的任何一个或多个的话。
机器700可以还包括图形显示器710(例如,等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪、阴极射线管(CRT)或能够显示图形或视频的任何其他显示器)。机器700还可以包括字母数字输入设备712(例如,键盘或小键盘)、光标输入设备714(例如,鼠标、触摸板、轨迹球、操纵杆、运动传感器、眼睛跟踪设备或其他指向装置)、数据存储716、音频生成设备718(例如,声卡、放大器、扬声器、耳机插孔或其任何适当的组合)以及网络接口设备720。
数据存储716(例如,数据存储设备)包括机器可读介质722(例如,有形和非暂时性机器可读存储介质),在机器可读介质722上存储体现本文所述的方法或功能中的任何一个或多个的指令724。指令724还可以在机器700执行之前或执行期间,完全或至少部分地驻留在主存储器704内、处理器702内(例如,处理器的高速缓冲存储器内)或两者。因此,主存储器704和处理器702可被认为是机器可读介质(例如,有形和非暂时性机器可读介质)。指令724可以经由网络接口设备720在网络190上传输或接收。例如,网络接口设备720可以使用任何一个或多个传输协议(例如,超文本传输协议(HTTP))传达指令724。
在一些示例实施例中,机器700可以是便携式计算设备(例如,智能电话、平板电脑或可穿戴设备),并且具有一个或多个附加输入部件730(例如传感器或仪表)。这样的输入组件730的示例包括图像输入组件(例如,一个或多个相机)、音频输入组件(例如,一个或多个麦克风)、方向输入组件(例如罗盘)、位置输入组件(例如,全球定位系统(GPS)接收器)、方位组件(例如陀螺仪)、运动检测组件(例如一个或多个加速度计)、高度检测组件(例如高度计)、生物测量输入组件(例如心率检测器或血压检测器)以及气体检测组件(例如气体传感器)。由这些输入组件730中的任何一个或多个收集的输入数据可以是可访问的并且可供本文所述的任何模块使用。
如本文所使用的,术语“存储器”是指能够临时或永久存储数据的机器可读介质,并且可以被认为包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存和高速缓冲存储器。虽然机器可读介质722在示例实施例中被示为单个介质,但术语“机器可读介质”应被理解为包括能够存储指令724的单个介质或多个介质(例如,集中式或分布式数据库或相关联的高速缓存和服务器)。术语“机器可读介质”还应被理解为包括能够存储供机器700执行的指令724的任何介质或多个介质的组合,使得指令724在由机器700的一个或多个处理器(例如,处理器702)执行时,使机器700全部或部分执行本文所述的方法中的任何一个或多个。因此,“机器可读介质”是指单个存储装置或设备,以及包括多个存储装置或设备的基于云的存储系统或存储网络。相应地,术语“机器可读介质”应被理解为包括但不限于以固态存储器芯片的示例形式的一个或多个有形和非暂时性数据存储库(例如,数据卷)、光盘、磁盘或其任何适当的组合。本文使用的“非暂时性”机器可读介质具体地不包括传播信号本身。在一些示例实施例中,由机器700执行的指令724可以由载体介质传达。这样的载体介质的示例包括存储介质(例如,诸如固态存储器之类的非暂时性机器可读存储介质,物理地从一个地方移动到另一地方)和暂时性介质(例如,传播传达指令724的信号)。
本文将某些示例实施例描述为包括模块。模块可以构成软件模块(例如,存储或以其他方式体现在机器可读介质中或传输介质中的代码)、硬件模块或其任何适当的组合。“硬件模块”是能够执行某些操作并且可以以某种物理方式配置或布置的有形(例如,非暂时性)物理组件(例如,一个或多个处理器的集合)。在各种示例实施例中,一个或多个计算机系统或其一个或多个硬件模块可以由软件(例如,应用程序或其部分)配置为硬件模块,该硬件模块操作用于执行本文描述的用于该模块的操作。
在一些示例实施例中,硬件模块可以机械地、电子地、液压地或其任何适当的组合来实现。例如,硬件模块可以包括被永久配置为执行某些操作的专用电路或逻辑。硬件模块可以是或包括专用处理器,诸如现场可编程门阵列(FPGA)或ASIC。硬件模块还可以包括由软件临时配置以执行某些操作的可编程逻辑或电路。作为示例,硬件模块可以包括包含在CPU或其他可编程处理器内的软件。应该理解,可以通过成本和时间考虑来驱动机械地、液压地、专用且永久配置的电路中或临时配置的电路(例如,由软件配置)实现硬件模块的决定。
因此,短语“硬件模块”应该被理解为包括可以物理构建、永久配置(例如,硬连线)或临时配置(例如编程)以按照某种方式操作或者以执行本文描述的某些操作的有形实体。此外,如本文所使用的,短语“硬件实现的模块”是指硬件模块。考虑其中硬件模块被临时配置(例如,编程)的示例实施例,每个硬件模块不需要在任何一个时刻配置或实例化。例如,在硬件模块包括由软件配置成为专用处理器的CPU的情况下,CPU可以在不同的时刻被配置为相应不同的专用处理器(例如,每个包括在不同硬件模块中)。软件(例如,软件模块)可以相应地配置一个或多个处理器,例如在一个时刻变成或以其他方式构成特定的硬件模块并且在不同的时刻变成或以其他方式构成不同的硬件模块。
硬件模块可以向其他硬件模块提供信息并从其他硬件模块接收信息。因此,所描述的硬件模块可以被视为通信地耦接。在同时存在多个硬件模块的情况下,可以通过两个或更多个硬件模块之间的信号传输(例如,通过电路和总线)来实现通信。在其中多个硬件模块在不同时刻被配置或实例化的实施例中,可以例如通过存储和检索多个硬件模块可访问的存储器结构中的信息来实现这些硬件模块之间的通信。例如,一个硬件模块可以执行操作并且将该操作的输出存储在其通信地耦接到的存储器(例如,存储器设备)中。之后,另一硬件模块可以在稍后访问存储器以检索和处理所存储的输出。硬件模块也可以启动与输入或输出设备的通信,并且可以对资源(例如来自计算资源的信息的集合)进行操作。
本文描述的示例方法的各种操作可以至少部分地由临时配置(例如通过软件)或永久配置为执行相关操作的一个或多个处理器执行。无论是临时配置还是永久配置,这样的处理器都可以构成处理器实现的模块,其操作以执行本文描述的一个或多个操作或功能。如本文所使用的,“处理器实现的模块”是指其中硬件包括一个或多个处理器的硬件模块。因此,本文描述的操作可以至少部分地由处理器实现、硬件实现或两者兼而有之,由于处理器是硬件的示例,并且本文讨论的任何一个或多个方法内的至少一些操作可以由一个或多个处理器实现的模块、硬件实现的模块或其任何适当的组合来执行。
此外,这样的一个或多个处理器可以在“云计算”环境中或作为服务(例如,在“软件即服务”(SaaS)实现中)执行操作。例如,本文讨论的任何一个或多个方法内的至少一些操作可以由一组计算机(例如,作为包括处理器的机器的示例)执行,这些操作可以经由网络(例如,互联网)并且经由一个或多个适当的接口(例如,应用程序接口(API))可访问。某些操作的性能可以分布在一个或多个处理器中,不管是仅驻留在单个机器内还是部署在多个机器上。在一些示例实施例中,一个或多个处理器或硬件模块(例如,处理器实现的模块)可以位于单个地理位置(例如,在家庭环境、办公室环境或服务器场内)。在其他示例实施例中,一个或多个处理器或硬件模块可以分布在多个地理位置上。
在整个说明书中,多个实例可以实现被描述为单个实例的组件、操作或结构。尽管一个或多个方法的单独操作被图示和描述为单独的操作,但是单个操作中的一个或多个可以同时执行,并且不要求以所示的顺序执行操作。在示例配置中展示为单独组件和功能的结构和它们的功能可以实现为具有组合功能的组合结构或组件。类似地,展示为单个组件的结构和功能可以被实现为单独的组件和功能。这些和其他变化、修改、添加和改进落入本文主题的范围内。
本文讨论的主题的一些部分可以按照对作为比特或二进制数字信号存储在存储器(例如,计算机存储器或其他机器存储器)内的数据的操作的算法或符号表示来呈现。这样的算法或符号表示是数据处理领域的普通技术人员用来将其工作的实质传达给本领域其他技术人员的技术的示例。如本文所使用的,“算法”是导致期望结果的操作或类似处理的自洽序列。在这种情况下,算法和操作涉及物理量的物理操纵。通常但不一定,这样的量可以采用能够被机器存储、访问、传输、组合、比较或以其他方式操纵的电、磁或光信号形式。主要出于常用的原因,使用诸如“数据”、“内容”、“比特”、“值”、“元素”、“符号”、“字符”、“术语”、“数值”、“数字”等词语来提及这样的信号是很方便的。然而,这些词只是方便的标签,并且与适当的物理量相关联。
除非特别声明,否则本文使用诸如“访问”、“处理”、“检测”、“计算”、“确定”、“生成”、“展示”、“显示”等词语进行的讨论是指可由机器(例如,计算机)执行的动作或过程,该机器(例如,计算机)在一个或多个存储器(例如,易失性存储器、非易失性存储器或其任何适当的组合)、寄存器或接收、存储、传输或显示信息的其他机器组件内操纵或变换表示为物理(例如电子、磁或光)量的数据。此外,除非另有特别说明,否则在此使用术语“一”或“一个”,如在专利文件中常见的那样,其包括一个或多于一个实例。最后,如本文所使用的,连词“或”是指非排他性的“或”,除非另有特别说明。
以下描述了本文讨论的方法、机器可读介质和系统(例如,机器、设备或其他设备)的各种示例。
示例
1.一种方法,包括捕获物品的图像,包括:引导用户将移动设备定位在相对所述物品的一方向上,使得所述物品被包括在所述移动设备的用户界面的区域的边界内;通过所述移动设备的相机检测所述物品并且捕获所述物品的至少一个图像帧;估计所述至少一个图像帧的第一区域的边界和第二区域的边界;确定所述第一区域比所述第二区域包括所述物品的更大部分;在所述移动设备的用户界面上显示指令,指示所述用户采取动作,使得所述物品将变得完全包括在所述第一区域的边界内并且在所述第一区域的边界内可见;以及检测所述物品被完全包括在所述第一区域的边界内并且在所述第一区域的边界内可见。
2.根据示例1所述的方法,还包括自动去除所述图像帧的背景,包括:访问所述物品的图像帧;检测所述第一区域内的所述物品的边界,所述物品的边界沿着用户界面上所述物品的轮廓,所述边界的内部部分仅包括所述物品,并且所述边界的外部部分包括所述图像帧的背景;区分所述边界的内部部分和所述边界的外部部分;估计第一二进制掩码,所述第一二进制掩码包括所述图像帧的所述边界的内部部分和所述边界的外部部分;计算包括所述边界的内部部分和所述边界的外部部分的所述图像帧的颜色直方图;计算包括所述边界的内部部分和所述边界的外部部分的所述图像帧的概率图;以及平滑包括所述边界的内部部分和所述边界的外部部分的所述概率图。
3.根据示例2所述的方法,还包括获得第二二进制掩码,将第一二进制值分配给所述图像帧内具有高于确定的阈值的RGB值的第一多个像素中的每个像素,并且将第二二进制值分配给所述图像帧内具有低于所述确定的阈值的RGB值的第二多个像素中的每个像素,并且获得第一无背景物品图像,将所述第二二进制掩码应用于所述图像帧。
4.根据示例1至3中任一项所述的方法,还包括执行手动掩码编辑,包括访问所述概率图,从所述移动设备接收用户输入,所述用户输入包括涂鸦,平滑所述涂鸦和缩放所述涂鸦,包括将所述第一二进制值分配给包括所述涂鸦的、具有高于所述确定的阈值的RGB值的第三多个像素中的每个像素,并且将所述第二二进制值分配给具有低于所述确定的阈值的RGB值的每个像素。
5.根据示例1至4中任一项所述的方法,还包括获得第三二进制掩码,包括:从所述概率图区别出缩放后的涂鸦,向所述概率图添加或从其减去包括所述缩放后的涂鸦的像素的二进制值,以及获得第二无背景物品图像,将第三二进制掩码应用于所述第一无背景物品图像。
6.根据示例1至5中任一项所述的方法,还包括生成物品列表,从所述图像帧推断物品信息并且自动将所推断的物品信息应用于物品列表表单。
7.根据示例1至6中任一项所述的方法,还包括在增强现实环境中展示物品列表,包括在移动设备的用户界面上的表示层中显示来自所述图像帧的所述物品。
8.一种系统,包括一个或多个处理器和在计算机可读介质上可访问的可执行指令,所述指令在被执行时使所述一个或多个处理器执行操作,所述操作包括:捕获物品的图像,包括:引导用户将移动设备定位在相对所述物品的一方向上,使得所述物品被包括在所述移动设备的用户界面的区域的边界内;通过所述移动设备的相机检测所述物品并且捕获所述物品的至少一个图像帧;估计所述至少一个图像帧的第一区域的边界和第二区域的边界;确定所述第一区域比所述第二区域包括所述物品的更大部分;在所述移动设备的用户界面上显示指令,指示所述用户采取动作,使得所述物品将变得完全包括在所述第一区域的边界内并且在所述第一区域的边界内可见;以及检测所述物品被完全包括在所述第一区域的边界内并且在所述第一区域的边界内可见。
9.根据示例8所述的系统,其中所述操作还包括:自动去除所述图像帧的背景,其包括:访问所述物品的图像帧;检测所述第一区域内的所述物品的边界,所述物品的边界沿着用户界面上所述物品的轮廓,所述边界的内部部分仅包括所述物品,并且所述边界的外部部分包括所述图像帧的背景;区分所述边界的内部部分和所述边界的外部部分;估计第一二进制掩码,所述第一二进制掩码包括所述图像帧的所述边界的内部部分和所述边界的外部部分;计算包括所述边界的内部部分和所述边界的外部部分的所述图像帧的颜色直方图;计算包括所述边界的内部部分和所述边界的外部部分的所述图像帧的概率图;以及平滑包括所述边界的内部部分和所述边界的外部部分的所述概率图。
10.根据示例9所述的系统,其中所述操作还包括获得第二二进制掩码,将第一二进制值分配给所述图像帧内具有高于确定的阈值的RGB值的第一多个像素中的每个像素,并且将第二二进制值分配给所述图像帧内具有低于所述确定的阈值的RGB值的第二多个像素中的每个像素,并且获得第一无背景物品图像,将所述第二二进制掩码应用于所述图像帧。
11.根据示例8至10中任一项所述的系统,其中所述操作还包括执行手动掩码编辑,包括访问所述概率图,从所述移动设备接收用户输入,所述用户输入包括涂鸦,平滑所述涂鸦和缩放所述涂鸦,包括将所述第一二进制值分配给包括所述涂鸦的、具有高于所述确定的阈值的RGB值的第三多个像素中的每个像素,并且将所述第二二进制值分配给具有低于所述确定的阈值的RGB值的每个像素。
12.根据示例11所述的系统,其中所述操作还包括获得第三二进制掩码,包括从所述概率图区别出缩放后的涂鸦,向所述概率图添加或从其减去包括所述缩放后的涂鸦的像素的二进制值,以及获得第二无背景物品图像,将第三二进制掩码应用于所述第一无背景物品图像。
13.根据示例8至12中任一项所述的系统,其中所述操作还包括生成物品列表,从所述图像帧推断物品信息并且自动将所推断的物品信息应用于物品列表表单。
14.根据示例8至13中任一项所述的系统,其中所述操作还包括在增强现实环境中展示物品列表,包括在移动设备的用户界面上的表示层中显示来自所述图像帧的所述物品。
15.一种计算机可读硬件存储设备,其中存储有一组程序指令,所述程序指令在由计算机执行时使所述计算机执行操作,所述操作包括:捕获物品的图像,包括:引导用户将移动设备定位在相对所述物品的一方向上,使得所述物品被包括在所述移动设备的用户界面的区域的边界内;通过所述移动设备的相机检测所述物品并且捕获所述物品的至少一个图像帧,估计所述至少一个图像帧的第一区域的边界和第二区域的边界;确定所述第一区域比所述第二区域包括所述物品的更大部分;在所述移动设备的用户界面上显示指令,指示所述用户采取动作,使得所述物品将变得完全包括在所述第一区域的边界内并且在所述第一区域的边界内可见;以及检测所述物品被完全包括在所述第一区域的边界内并且在所述第一区域的边界内可见。
16.根据示例15所述的计算机可读硬件存储设备,还包括自动去除所述图像帧的背景,包括:访问所述物品的图像帧;检测所述第一区域内的所述物品的边界,所述物品的边界沿着用户界面上所述物品的轮廓,所述边界的内部部分仅包括所述物品,并且所述边界的外部部分包括所述图像帧的背景;区分所述边界的内部部分和所述边界的外部部分;估计第一二进制掩码,所述第一二进制掩码包括所述图像帧的所述边界的内部部分和所述边界的外部部分;计算包括所述边界的内部部分和所述边界的外部部分的所述图像帧的颜色直方图;计算包括所述边界的内部部分和所述边界的外部部分的所述图像帧的概率图;以及平滑包括所述边界的内部部分和所述边界的外部部分的所述概率图。
17.根据示例16所述的计算机可读硬件存储设备,还包括获得第二二进制掩码,将第一二进制值分配给所述图像帧内具有高于确定的阈值的RGB值的第一多个像素中的每个像素,并且将第二二进制值分配给所述图像帧内具有低于所述确定的阈值的RGB值的第二多个像素中的每个像素,并且获得第一无背景物品图像,将所述第二二进制掩码应用于所述图像帧。
18.根据示例15至17中任一项所述的计算机可读硬件存储设备,还包括执行手动掩码编辑,包括访问所述概率图,从所述移动设备接收用户输入,所述用户输入包括涂鸦,平滑所述涂鸦和缩放所述涂鸦,包括将所述第一二进制值分配给包括所述涂鸦的、具有高于所述确定的阈值的RGB值的第三多个像素中的每个像素,并且将所述第二二进制值分配给具有低于所述确定的阈值的RGB值的每个像素。
19.根据示例18所述的计算机可读硬件存储设备,还包括获得第三二进制掩码,包括从所述概率图区别出缩放后的涂鸦,向所述概率图添加或从其减去包括所述缩放后的涂鸦的像素的二进制值,以及获得第二无背景物品图像,将第三二进制掩码应用于所述第一无背景物品图像。
20.根据示例15至19中任一项所述的计算机可读硬件存储设备,还包括生成物品列表,从所述图像帧推断物品信息并且自动将所推断的物品信息应用于物品列表表单。
21.一种载有一组程序指令的载体介质,所述程序指令在由计算机执行时,使得所述计算机执行示例1至7中任一项所述的方法。
Claims (17)
1.一种用于创建物品列表的方法,包括:
捕获表示物品的第一图像;
将第一图像中的部分像素分类为背景像素;
基于所述分类修改第一图像,以生成表示所述物品的第二图像;
在显示器上显示第二图像;
接收定义所显示的第二图像上的涂鸦的数据;
基于所述涂鸦将第二图像中的第二部分像素分类为背景像素;
基于上述分类修改第二图像,以生成表示所述物品的第三图像;以及
在显示器上显示第三图像。
2.根据权利要求1所述的方法,其中,将第一图像中的部分像素分类为背景像素包括:针对所述部分像素中的每个像素,确定相应像素是否是第一图像的背景的一部分的概率。
3.根据权利要求2所述的方法,还包括:确定第一图像的颜色直方图,其中所述概率的确定基于颜色直方图。
4.根据权利要求1所述的方法,还包括:显示引导以将移动设备定位在相对所述物品的一方向上,使得所述物品被包括在所述移动设备的用户界面的区域的边界内。
5.根据权利要求1所述的方法,还包括:识别由第三图像表示的物品的类别;以及,根据所识别的类别生成所述物品的物品列表。
6.根据权利要求1所述的方法,其中,
显示第二图像包括:显示第二图像的二进制掩码,以及
接收定义所述涂鸦的数据包括:接收定义对所述二进制掩码的一个或多个改变的输入。
7.根据权利要求1所述的方法,还包括:使用域变换测地线滤波来平滑所述涂鸦,以及,缩放所述涂鸦,其中对所述第二部分像素的分类基于平滑且缩放后的涂鸦。
8.根据权利要求1所述的方法,其中,将第一图像中的部分像素分类为背景像素包括:生成第一图像的二进制掩码,平滑所述二进制掩码,其中对第一图像的所述修改基于平滑后的二进制掩码。
9.一种用于创建物品列表的系统,包括:
一个或多个处理器;以及
在计算机可读介质上可访问的可执行指令,所述指令在被执行时使所述一个或多个处理器执行操作,所述操作包括:
捕获表示物品的第一图像;
将第一图像中的部分像素分类为背景像素;
基于所述分类修改第一图像,以生成表示所述物品的第二图像;
在显示器上显示第二图像;
接收定义所显示的第二图像上的涂鸦的数据;
基于所述涂鸦将第二图像中的第二部分像素分类为背景像素;
基于上述分类修改第二图像,以生成表示所述物品的第三图像;以及
在显示器上显示第三图像。
10.根据权利要求9所述的系统,其中,将第一图像中的部分像素分类为背景像素包括:针对所述部分像素中的每个像素,确定相应像素是否是第一图像的背景的一部分的概率。
11.根据权利要求10所述的系统,其中,所述操作还包括:确定第一图像的颜色直方图,其中所述概率的确定基于颜色直方图。
12.根据权利要求9所述的系统,其中,所述操作还包括:显示引导以将移动设备定位在相对所述物品的一方向上,使得所述物品被包括在所述移动设备的用户界面的区域的边界内。
13.根据权利要求9所述的系统,其中,所述操作还包括:识别由第三图像表示的物品的类别;以及,根据所识别的类别生成所述物品的物品列表。
14.根据权利要求9所述的系统,其中,
显示第二图像包括:显示第二图像的二进制掩码,以及
接收定义所述涂鸦的数据包括:接收定义对所述二进制掩码的一个或多个改变的输入。
15.根据权利要求9所述的系统,其中,所述操作还包括:使用域变换测地线滤波来平滑所述涂鸦,以及,缩放所述涂鸦,其中对所述第二部分像素的分类基于平滑且缩放后的涂鸦。
16.根据权利要求9所述的系统,其中,将第一图像中的部分像素分类为背景像素包括:生成第一图像的二进制掩码,平滑所述二进制掩码,其中对第一图像的所述修改基于平滑后的二进制掩码。
17.一种计算机可读存储介质,其上存储有一组程序指令,所述程序指令在由计算机执行时,使得所述计算机执行权利要求1至8中任一项所述的方法。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562263433P | 2015-12-04 | 2015-12-04 | |
US62/263,433 | 2015-12-04 | ||
US15/361,973 US10270965B2 (en) | 2015-12-04 | 2016-11-28 | Automatic guided capturing and presentation of images |
US15/361,973 | 2016-11-28 | ||
CN201680070578.1A CN108292425B (zh) | 2015-12-04 | 2016-11-30 | 自动引导的图像捕获和展示 |
PCT/US2016/064057 WO2017095834A1 (en) | 2015-12-04 | 2016-11-30 | Automatic-guided image capturing and presentation |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680070578.1A Division CN108292425B (zh) | 2015-12-04 | 2016-11-30 | 自动引导的图像捕获和展示 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115115499A true CN115115499A (zh) | 2022-09-27 |
Family
ID=57589196
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680070578.1A Active CN108292425B (zh) | 2015-12-04 | 2016-11-30 | 自动引导的图像捕获和展示 |
CN202210844364.2A Pending CN115115499A (zh) | 2015-12-04 | 2016-11-30 | 自动引导的图像捕获和展示的方法和系统 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680070578.1A Active CN108292425B (zh) | 2015-12-04 | 2016-11-30 | 自动引导的图像捕获和展示 |
Country Status (5)
Country | Link |
---|---|
US (5) | US10270965B2 (zh) |
EP (1) | EP3384458A1 (zh) |
KR (2) | KR102123780B1 (zh) |
CN (2) | CN108292425B (zh) |
WO (1) | WO2017095834A1 (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10475113B2 (en) | 2014-12-23 | 2019-11-12 | Ebay Inc. | Method system and medium for generating virtual contexts from three dimensional models |
US10270965B2 (en) | 2015-12-04 | 2019-04-23 | Ebay Inc. | Automatic guided capturing and presentation of images |
US10636063B1 (en) * | 2016-11-08 | 2020-04-28 | Wells Fargo Bank, N.A. | Method for an augmented reality value advisor |
US10430987B1 (en) * | 2017-06-09 | 2019-10-01 | Snap Inc. | Annotating an image with a texture fill |
US10949578B1 (en) * | 2017-07-18 | 2021-03-16 | Pinar Yaman | Software concept to digitally try any object on any environment |
EP3496387A1 (en) * | 2017-12-05 | 2019-06-12 | Koninklijke Philips N.V. | Apparatus and method of image capture |
EP3815022A4 (en) * | 2018-06-29 | 2022-03-09 | Ghost House Technology, LLC | SYSTEM, APPARATUS AND METHOD FOR ITEM LOCATION, LIST CREATION, ROUTING, IMAGING AND DETECTION |
US11803664B2 (en) * | 2018-10-09 | 2023-10-31 | Ebay Inc. | Distributed application architectures using blockchain and distributed file systems |
US10445899B1 (en) | 2018-11-26 | 2019-10-15 | Capital One Services, Llc | System and method for recalibrating an augmented reality experience using physical markers |
US11880877B2 (en) | 2018-12-07 | 2024-01-23 | Ghost House Technology, Llc | System for imaging and detection |
EP4257035A3 (en) * | 2018-12-20 | 2024-01-03 | Coloplast A/S | Ostomy condition classification with masking, devices and related methods |
US10445915B1 (en) * | 2019-04-09 | 2019-10-15 | Coupang Corp. | Systems and methods for efficient management and modification of images |
JP7348754B2 (ja) * | 2019-06-03 | 2023-09-21 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
US11682068B2 (en) * | 2019-09-16 | 2023-06-20 | Mercari, Inc. | Automating the creation of listings using augmented reality computer technology |
US11386473B2 (en) * | 2019-10-24 | 2022-07-12 | Shopify Inc. | Systems and methods for providing product image recommendations |
FR3104296A1 (fr) * | 2019-12-06 | 2021-06-11 | Amadeus | Système de determination de produit optimisé |
US11069043B1 (en) * | 2020-03-13 | 2021-07-20 | Konica Minolta Business Solutions U.S.A., Inc. | Background noise reduction using a variable range of color values dependent upon the initial background color distribution |
US20220070388A1 (en) * | 2020-09-02 | 2022-03-03 | Shopify Inc. | Methods and devices for capturing an item image |
US20240161162A1 (en) * | 2022-11-11 | 2024-05-16 | Ebay Inc. | Guided capture methodologies |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5574511A (en) * | 1995-10-18 | 1996-11-12 | Polaroid Corporation | Background replacement for an image |
US5978519A (en) * | 1996-08-06 | 1999-11-02 | Xerox Corporation | Automatic image cropping |
KR100503039B1 (ko) * | 2002-11-25 | 2005-07-22 | 삼성테크윈 주식회사 | 사용자가 쉽게 증명 사진을 촬영할 수 있도록 디지털카메라의동작을 제어하는 방법 |
US8732025B2 (en) * | 2005-05-09 | 2014-05-20 | Google Inc. | System and method for enabling image recognition and searching of remote content on display |
CN101681438A (zh) * | 2007-03-02 | 2010-03-24 | 有机运动公司 | 跟踪三维对象的系统和方法 |
US8086502B2 (en) * | 2008-03-31 | 2011-12-27 | Ebay Inc. | Method and system for mobile publication |
US8437570B2 (en) * | 2008-05-23 | 2013-05-07 | Microsoft Corporation | Geodesic image and video processing |
US9547799B2 (en) * | 2008-07-17 | 2017-01-17 | Sharp Laboratories Of America, Inc. | Methods and systems for content-boundary detection |
US7991646B2 (en) * | 2008-10-30 | 2011-08-02 | Ebay Inc. | Systems and methods for marketplace listings using a camera enabled mobile device |
US9349143B2 (en) * | 2008-11-24 | 2016-05-24 | Ebay Inc. | System and method for generating an electronic catalog booklet for online computer users |
US8320666B2 (en) * | 2009-08-14 | 2012-11-27 | Genesis Group Inc. | Real-time image and video matting |
US8520975B2 (en) * | 2009-10-30 | 2013-08-27 | Adobe Systems Incorporated | Methods and apparatus for chatter reduction in video object segmentation using optical flow assisted gaussholding |
CN102411703A (zh) * | 2010-09-21 | 2012-04-11 | 索尼公司 | 检测图像序列中的特定对象的装置、方法和视频摄像设备 |
US8565532B2 (en) * | 2011-06-17 | 2013-10-22 | Adobe Systems Incorporated | Edge-based approach for interactive image editing |
US9153031B2 (en) * | 2011-06-22 | 2015-10-06 | Microsoft Technology Licensing, Llc | Modifying video regions using mobile device input |
KR101832959B1 (ko) | 2011-08-10 | 2018-02-28 | 엘지전자 주식회사 | 휴대 전자기기 및 이의 제어방법 |
US9449342B2 (en) | 2011-10-27 | 2016-09-20 | Ebay Inc. | System and method for visualization of items in an environment using augmented reality |
US8687104B2 (en) * | 2012-03-27 | 2014-04-01 | Amazon Technologies, Inc. | User-guided object identification |
CN102708370B (zh) * | 2012-05-17 | 2015-04-15 | 北京交通大学 | 一种多视角图像前景目标提取方法及装置 |
US9064184B2 (en) | 2012-06-18 | 2015-06-23 | Ebay Inc. | Normalized images for item listings |
KR102026717B1 (ko) | 2013-02-08 | 2019-10-04 | 삼성전자 주식회사 | 사진 촬영 가이드 방법 및 이를 구현하는 휴대 단말 |
US20150058150A1 (en) * | 2013-08-21 | 2015-02-26 | Ron Gura | Systems and methods for providing selling assistance |
WO2015044947A1 (en) | 2013-09-30 | 2015-04-02 | Yanai Danielle | Image and video processing and optimization |
JP5811416B2 (ja) * | 2013-10-09 | 2015-11-11 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9401027B2 (en) * | 2013-10-21 | 2016-07-26 | Nokia Technologies Oy | Method and apparatus for scene segmentation from focal stack images |
US9495755B2 (en) * | 2013-10-22 | 2016-11-15 | Nokia Technologies Oy | Apparatus, a method and a computer program for image processing |
KR101588935B1 (ko) * | 2013-11-21 | 2016-01-26 | 오테리 테크놀러지스 인코포레이티드 | 가상현실 이미지 프레젠테이션 및 3d 공간 내에서의 컨트롤을 위한 3d 기하학 데이터의 이용방법 |
KR101952569B1 (ko) * | 2014-02-19 | 2019-02-27 | 퀄컴 인코포레이티드 | 디바이스를 위한 이미지 편집 기법들 |
GB2523329A (en) * | 2014-02-20 | 2015-08-26 | Nokia Technologies Oy | Method, apparatus and computer program product for image segmentation |
US10235587B2 (en) | 2014-03-04 | 2019-03-19 | Samsung Electronics Co., Ltd. | Method and system for optimizing an image capturing boundary in a proposed image |
US10089740B2 (en) * | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
US20160335681A1 (en) * | 2014-05-13 | 2016-11-17 | David Benjamin Swanson | Selectively Shared and Custom-Branded/Re-branded Online Subscription Merchandising |
JP6518409B2 (ja) * | 2014-06-30 | 2019-05-22 | オリンパス株式会社 | 撮影装置及び撮影方法 |
US10609273B2 (en) * | 2014-07-31 | 2020-03-31 | Maxell, Ltd. | Image pickup device and method of tracking subject thereof |
US20160034944A1 (en) * | 2014-08-04 | 2016-02-04 | Oren Raab | Integrated mobile listing service |
US9807316B2 (en) * | 2014-09-04 | 2017-10-31 | Htc Corporation | Method for image segmentation |
WO2016207875A1 (en) * | 2015-06-22 | 2016-12-29 | Photomyne Ltd. | System and method for detecting objects in an image |
WO2017070286A1 (en) * | 2015-10-21 | 2017-04-27 | Wal-Mart Stores, Inc. | Apparatus and method for providing a virtual shopping space |
US10270965B2 (en) | 2015-12-04 | 2019-04-23 | Ebay Inc. | Automatic guided capturing and presentation of images |
US10762636B2 (en) * | 2017-06-29 | 2020-09-01 | HealthMyne, Inc. | Systems and methods for volumetric segmentation of structures in planar medical images |
-
2016
- 2016-11-28 US US15/361,973 patent/US10270965B2/en not_active Expired - Fee Related
- 2016-11-30 CN CN201680070578.1A patent/CN108292425B/zh active Active
- 2016-11-30 KR KR1020207005017A patent/KR102123780B1/ko active IP Right Grant
- 2016-11-30 EP EP16816075.2A patent/EP3384458A1/en not_active Withdrawn
- 2016-11-30 CN CN202210844364.2A patent/CN115115499A/zh active Pending
- 2016-11-30 KR KR1020187019034A patent/KR102081842B1/ko active IP Right Grant
- 2016-11-30 WO PCT/US2016/064057 patent/WO2017095834A1/en active Application Filing
-
2019
- 2019-03-25 US US16/363,158 patent/US10771685B2/en active Active
-
2020
- 2020-08-05 US US16/985,670 patent/US11258944B2/en active Active
-
2022
- 2022-02-18 US US17/675,086 patent/US11966995B2/en active Active
-
2024
- 2024-03-18 US US18/608,091 patent/US20240221108A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
KR102081842B1 (ko) | 2020-02-26 |
KR20200021555A (ko) | 2020-02-28 |
US20220239829A1 (en) | 2022-07-28 |
WO2017095834A1 (en) | 2017-06-08 |
US20190289199A1 (en) | 2019-09-19 |
US20200366834A1 (en) | 2020-11-19 |
US11966995B2 (en) | 2024-04-23 |
KR102123780B1 (ko) | 2020-06-16 |
US20240221108A1 (en) | 2024-07-04 |
US11258944B2 (en) | 2022-02-22 |
KR20180089494A (ko) | 2018-08-08 |
US10270965B2 (en) | 2019-04-23 |
US10771685B2 (en) | 2020-09-08 |
EP3384458A1 (en) | 2018-10-10 |
CN108292425B (zh) | 2022-08-09 |
US20170163882A1 (en) | 2017-06-08 |
CN108292425A (zh) | 2018-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11966995B2 (en) | Automatic guided image capturing and presentation of images | |
US11714873B2 (en) | Systems and methods for screenshot linking | |
KR101852581B1 (ko) | 이미지 평가 기법 | |
US10057328B2 (en) | Automatic population of a network accessible content collection | |
US20170083971A1 (en) | Garment filtering and presentation method using body scan information | |
US20130346235A1 (en) | Systems, Methods, and Computer Program Products for Caching of Shopping Items | |
CN111670452B (zh) | 销售清单创建方法 | |
US20200183987A1 (en) | Systems and Methods for Saving and Presenting a State of a Communication Session | |
JP2020502662A (ja) | 画像のインテリジェント自動クロッピング | |
KR20210107921A (ko) | 소셜 네트워킹 시스템을 사용하여 제3자 상점의 쇼핑 카트에 상품을 추가하기 위한 시스템 및 방법 | |
US10248982B2 (en) | Automated extraction of product data from production data of visual media content | |
US11995108B2 (en) | Systems, devices, and methods for content selection | |
US20150026012A1 (en) | Systems and methods for online presentation of storefront images | |
CN111241385B (zh) | 信息处理方法、装置以及计算机系统和介质 | |
US11086925B2 (en) | Fashion by trend user interfaces | |
WO2016022436A1 (en) | Facilitating intelligent and competitive consumer-favored online shopping experience at computing devices | |
TW201610814A (zh) | 情境式視野入口 | |
US10776860B2 (en) | Retail website user interface, systems, and methods for displaying trending looks | |
CN114117288A (zh) | 使用视觉交互的自动反馈系统 | |
US20240037575A1 (en) | Product exposure metric |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |