CN106203225A - 基于深度的图像元素删除 - Google Patents

基于深度的图像元素删除 Download PDF

Info

Publication number
CN106203225A
CN106203225A CN201610345004.2A CN201610345004A CN106203225A CN 106203225 A CN106203225 A CN 106203225A CN 201610345004 A CN201610345004 A CN 201610345004A CN 106203225 A CN106203225 A CN 106203225A
Authority
CN
China
Prior art keywords
image
data
depth
scanning device
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610345004.2A
Other languages
English (en)
Other versions
CN106203225B (zh
Inventor
克里斯托弗·约翰·科斯特洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NCR Voyix Corp
Original Assignee
NCR Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NCR Corp filed Critical NCR Corp
Publication of CN106203225A publication Critical patent/CN106203225A/zh
Application granted granted Critical
Publication of CN106203225B publication Critical patent/CN106203225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447—Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1452—Methods for optical code recognition including a method step for retrieval of the optical code detecting bar code edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)

Abstract

在本发明的各种实施例中，每个实施例都包括至少一个系统、方法和软件，用于实现基于深度的图像元素删除。有些实施例可在商店结账台实施，而其它实施例可在其它场景(如价格检查售货机或部署在商店或其它零售设施、图书馆结账终端等处的设备)内实施。有些实施例包括至少部分地基于深度数据来删除图像元素。

Description

基于深度的图像元素删除
技术领域
本发明涉及基于深度的图像元素删除。
背景技术
近年来，结账终端的扫描器(通常称为产品扫描器和条形码扫描器)开始从基于激光的扫描器转向基于图像或摄像头的扫描器。由于基于图像的扫描器捕捉整个视野的图像，因此，从捕捉的图像中分割出提交扫描的产品是一个问题。人们研究了一些图像处理技术，但是，由于产品和包装颜色繁多，摄像头视野内可能呈现的事物和物品变化多端，因此，这些图像处理技术很容易出错。
发明内容
在本发明的各种实施例中，每个实施例都包括至少一个系统、方法和软件，用于实现基于深度的图像元素删除。有些实施例可在商店结账台实施，而其它实施例可在其它场景(如价格检查售货机或部署在商店或其它零售设施、图书馆结账终端等处的设备)内实施。
一个方法实施例包括接收由一个产品扫描器的成像区所捕捉到的、包含至少一个图像及深度数据的图像数据所述至少一个图像中的每个图像可由扫描器内的一个高清摄像头捕捉，深度数据可由一个深度感测设备，如三维(3D)摄像头捕捉。在一些实施例中，其中一个扫描器摄像头可以是提供深度数据的3D摄像头，而在其它实施例中，可以在其它地方部署3D摄像头或其它深度感测设备，它们的扫描场与扫描器相同。所述方法通过从图像中删除深度数据中未包含其深度数据的像素及通过识别和删除位于图像骨架表示和至少一个形状线-框模型之间的相匹配的形状，对每个图像以进行处理。一旦对每个图像(可能包括一个或多个图像)都已经进行了处理，所述方法就会向另一个过程提供所述至少一个图像中的每个图像以进行进一步处理，如条形码读取、欺诈检测处理等。在一些实施例中，这种实例方法可由与扫描器连接的计算机执行(例如，自助服务终端(SST)或销售点(POS)终端的计算机)、由扫描器内的计算资源执行、由基于云端或网络的服务执行等。
根据本发明的第一个方面，提供一种方法，包括：接收由一个产品扫描器的成像区所捕捉到的、包含至少一个图像及深度数据的图像数据；对于所述至少一个图像中的每个图像：从图像中删除深度数据中未包含其相应像素的像素深度数据的像素；及识别和删除位于图像骨架表示和至少一个形状线-框模型之间的相匹配的形状；及向另一个过程提供所述至少一个图像中的每个图像以进行进一步处理。
所述方法任选进一步包括：获取各图像的骨架表示，所述获取包括：在图像上执行边缘检测以识别图像的主要形状；对其中所检测到的图像和边缘进行骨架变换，以获取骨架图像。
任选地，所述至少一个形状线-框模型包括人的胳膊、手和手指的形状线-框模型。
对于所述至少一个图像中的每个图像，所述方法任选进一步包括：识别至少一只胳膊、手和手指的皮肤颜色，胳膊、手和手指通过与所述至少一个图像匹配的线-框来识别；删除与所识别的皮肤颜色相匹配的像素。
与所识别的皮肤颜色相匹配任选按照概率匹配算法执行。
所述方法任选进一步包括：从所述至少一个图像中的每个图像中删除各自的背景。
进一步处理的步骤任选包括一个过程，所述过程将图像数据与通过条形码扫描所识别的产品图像数据进行比较，确定接收的图像数据是否代表了通过条形码扫描所识别的产品。
根据本发明的第二个方面，提供一种系统，包括：至少一个处理器、至少一个存储设备和图像数据接口；储存在所述至少一个存储设备内且可由所述至少一个处理器执行的指令集，用于执行数据处理活动，所述数据处理活动包括：经由图像数据接口，接收由一个产品扫描器的成像区所捕捉到的、包含至少一个图像及深度数据的图像数据；对于所述至少一个图像中的每个图像：从图像中删除经过校正的背景；从图像中删除深度数据中未包含其相应像素的像素深度数据的像素；及识别和删除位于图像骨架表示和至少一个形状线-框模型之间的相匹配的形状；及向另一个过程提供所述至少一个图像中的每个图像以进行进一步处理。
任选地，所述数据处理活动进一步包括：获取各图像的骨架表示，所述获取包括：在图像上执行边缘检测以识别图像的主要形状；对其中所检测到的图像和边缘进行骨架变换，以获取骨架图像。
所述至少一个形状线-框模型任选包括人的胳膊、手和手指的形状线-框模型。
任选地，对所述至少一个图像中的每个图像来说，所述数据处理活动进一步包括：识别至少一只胳膊、手和手指的皮肤颜色，胳膊、手和手指通过与所述至少一个图像匹配的线-框来识别；删除与所识别的皮肤颜色相匹配的像素。
任选地，与所识别的皮肤颜色相匹配按照概率匹配算法执行。
任选地，进一步处理的步骤包括一个过程，所述过程将图像数据与通过条形码扫描所识别的产品图像数据进行比较，确定接收的图像数据是否代表了通过条形码扫描所识别的产品。
根据本发明的第三个方面，提供一种方法，包括：接收由一个产品扫描器的成像区所捕捉到的、包含至少一个图像及深度数据的图像数据；对于所述至少一个图像中的每个图像：从图像中删除深度数据中未包含其相应像素的像素深度数据的像素；获取所述图像的骨架图像；在所述图像及至少一个形状线-框模型之间执行线-框匹配，以识别各图像内的匹配形状；及从各图像中删除匹配形状的像素；向另一个过程提供所述至少一个图像中的每个图像以进行进一步处理。
任选获取所述图像的骨架图像包括：在图像上执行边缘检测以识别图像的主要形状；及对其中所检测到的图像和边缘进行骨架变换，以获取骨架图像。
任选地，所述至少一个形状线-框模型包括人的胳膊、手和手指的形状线-框模型。
任选地，对所述至少一个图像中的每个图像来说，所述方法进一步包括：识别至少一只胳膊、手和手指的皮肤颜色，胳膊、手和手指通过与所述至少一个图像匹配的线-框进行识别；及删除与所识别的皮肤颜色相匹配的像素。
与所识别的皮肤颜色相匹配任选按照概率匹配算法执行。
所述方法任选进一步包括：从所述至少一个图像中的每个图像中删除各自的背景。
任选地，所述进一步处理的步骤包括一个过程，所述过程将图像数据与通过条形码扫描所识别的产品图像数据进行比较，确定接收的图像数据是否代表了通过条形码扫描所识别的产品。
附图说明
以下通过举例并参照附图，对本发明的上述内容和其他方面加以具体说明：
根据一个示例实施例，图1是系统的逻辑方框图；
根据一个示例实施例，图2是一张示意图，表示结账台的组件；
根据一个示例实施例，图3是方法的流程方框图；及
根据一个示例实施例，图4是计算设备的方框图。
具体实施方式
在本发明的各种实施例中，每个实施例都包括至少一个系统、方法和软件，用于实现基于深度的图像元素删除。有些实施例可在商店结账台实施，而其它实施例可在其它场景(如价格检查售货机或部署在商店或其它零售设施、图书馆结账终端等处的设备)内实施。
如上文所述，近年来，结账终端的扫描器已经从基于激光的扫描器转向基于图像或摄像头的扫描器。由于基于图像的扫描器捕捉整个视野的图像，因此，从捕捉的图像中分割出提交扫描的产品、证件等是一个问题。人们研究了一些图像处理技术，但是，由于产品和包装颜色繁多，摄像头视野内可能呈现的事物和物品变化多端，因此，这些图像处理技术很容易出错。
本发明的一些实施例旨在避免以前实施例的错误及实现新的功能，如结账终端(如人工辅助POS终端和自助结账终端)的欺诈检测。一些此类实施例为扫描器(如美国佐治亚州Duluth市NCR公司供应的NCR REALSCANTM 79双镜片成像扫描器/衡器)的扫描场增加了深度感测能力。可在各实施例中配备深度感测设备，提供深度感测能力。深度感测设备可以是扫描器的摄像头或是集成在扫描器内或与扫描器或POS终端连接的另一种设备，还可以是位于它们附近或与它们有一定关系的另一种设备。通常将深度感测设备定位以使其视野包括扫描器的扫描场。深度感测设备可以是深度感测摄像头、超声设备或其它能够感测深度的设备。深度感测设备的输出通常是深度测量矩阵，可视为和称为与扫描器摄像头的图像像素类似。扫描器的深度传感器和每个摄像头(可能包括一个、两个或多个摄像头)可互相进行校正，从而摄像头捕捉的图像的像素能够与深度感测设备的深度测量像素对齐或相关联。在一些实施例中，来自深度感测设备的深度测量像素，可能在一个与扫描器的一个或多个摄像头的分辨率所不同的分辨率上捕捉。在各种实施例的图像处理中，这可通过对所捕捉到的图像进行下采样来解决，将来自深度感测设备的一个深度测量像素计为提供了多个图像像素的深度测量，或采取类似方式。
在一些实施例中，深度数据可用于帮助识别和分离提交扫描的物品、所捕捉图像中的干扰(如胳膊、手和手指)及可能想要在一个或多个图像中保留或删除的其它物品。
在一个示例实施例中，当物品提交到扫描器的扫描场内时，一个或多个图像可与深度数据一起捕捉。每个摄像头可以采用已知背景来进行校正或配置。可以先删除每个图像的已知背景，例如，通过调零或删除与已知背景准确或大致匹配的图像像素来进行。接下来，在一些实施例中，删除未将深度数据像素与任何数值相关联，或将其与其它表明无法提供深度数据的数值相关联的图像像素。
此时，一个或多个图像的每个图像中剩下的像素数据可能仅包括提交扫描的物品及提交物品人员的胳膊、手和手指。然后，一些实施例可能在每个图像上执行边缘检测，以在存储器中得到图像副本，包括图像中剩下的每个物品的轮廓。然后，对存储器中的图像副本实施拓扑骨架变换，可以利用二维(2D)和3D线框形状模型中的一个或两者(例如胳膊、手和手指的线框形状模型)来识别其匹配。当识别出它们匹配时，删除对应的图像的像素。在一些实施例中，在删除像素之前，考虑这些删除的像素的颜色，以得到肤色的实际或估计色度值或灰度值。然后，在一些实施例中，在这些像素被删除之后，图像可进一步处理，以识别可能是胳膊、手和手指的皮肤的其它像素，例如，通过采用贝叶斯方法得到匹配置信度，它们可能实际上或大致匹配，还可以删除这些像素。
通过这种图像分割处理，可以对扫描器捕捉的图像准确地进行分割，删除大多数(如果并非全部的话)不相关像素。这样可以对提交扫描的物品进行分离，进行更准确的处理，例如，读取一个或多个产品条形码，与已知产品图像进行图像比较，确认提交产品与条形码读取的产品相匹配，进行图像识别，及开展许多用途的其它处理，如欺诈检测。
本文参照图形对该等及其他实施例加以描述。
在下文的详细描述中，引用了构成本文组成部分的附图，并在所述附图中以图示方式显示了其中可以实施发明主旨事项的特定实施例。该等实施例乃以足够的细节予以描述，以确保本领域的技术人员能够实施它们，并且需要了解的是，可以利用其他实施例，且可以在不偏离发明主旨事项范围的情况下做出结构、逻辑及电气改变。该等发明主旨事项的实施例在本文中可以单独及/或共同地被称为“发明”，其仅仅是为了方便而无意将本申请的范围主动限制为任何单个发明或发明概念(如果实际披露的多于一个的话)。
因此，下文的描述不应被视为具有限制意义，并且发明主旨事项的范围由所附权利要求予以界定。
在一个实施例中，本文描述的功能或算法可以以硬件、软件或软件和硬件的组合来实现。软件包括存储在诸如存储器或其他类型的存储设备等计算机可读媒体上的计算机可执行指令。此外，所描述的功能可对应于模块，其可以是软件、硬件、固件或其任何组合。多个功能以所期望的一个或多个模块来执行，并且所描述的实施例仅仅是示例。软件在数字信号处理器、ASIC、微处理器或在系统(例如个人计算机、服务器、路由器或能够处理数据的其他设备，包括网络互连设备)上操作的其他类型的处理器上执行。
某些实施例实现其中相关控制及数据信号在模块之间及通过模块传送的两个或多个具体互连的硬件模块或设备中的功能，或作为应用程序专用集成电路的一部分。因此，示范流程可适用于软件、固件及硬件实现。
根据一个示例实施例，图1是系统100的逻辑方框图。系统100是零售环境中的一个部署实例，虽然此处的各种实施例也适用于其他环境，如顾客服务亭和图书馆登记台、旅游自助服务机等。
系统100包括与终端104连接的扫描器102。扫描器102可以是产品扫描器、条形码扫描器或在一些实施例中，是类似的扫描设备。这种扫描器的一个实例是美国佐治亚州Duluth市NCR公司供应的NCR REALSCANTM79双镜片成像扫描器/衡器。这些现代扫描器利用一个或多个摄像头执行其扫描功能。这样，这些摄像头可用于捕捉提交的物品，如产品、证件等的图像。
终端104可以是收银员或出纳使用的现代收银机，或可以是自助结账终端或其它自助服务终端(SST)、顾客服务亭等。扫描器102可包括深度感测设备106，深度感测设备可位于扫描器内、附于其上，例如，位于点103处，或这样定位：使其视野与扫描器102的扫描场相同。深度感测设备106可与扫描器102、终端104、扫描器102和终端106两者连接或与它们中的任一个都不连接。在一些实施例中，深度感测设备106可与网络110连接，将数据传输到一个或多个扫描器102、终端106、数据库112，及服务器114上执行的一个或多个过程。因此，扫描器102、终端104、数据库112和服务器114也可通过有线或无线方式进行连接，在深度感测设备106之间及与其交换数据。
在操作中，深度感测设备106以与扫描器102的一个或多个摄像头同步的方式捕捉深度数据。然后，可对来自深度感测设备106的深度数据及来自扫描器102的一个或多个摄像头的图像进行分割处理。不同实施例中的这种分割处理可在扫描器102、终端104或服务器114上执行。不管在哪进行分割处理，深度数据和图像都是从扫描器102的摄像头和深度感测设备106接收。分割处理可用于不同的目的，例如，删除与特定用途不相关的图像元素，或为同一或不同的特定目的而分离图像中的某些元素。不同实施例的特定目的可以是不同的，但是，这些特定目的可能包括条形码读取、将一个图像与通过条形码读取所识别的某个产品的一个或多个已知图像进行比较、产品形状匹配，及其它目的。一些此类目的可能与条形码读取、欺诈检测等特别相关。
在一些实施例中，来自扫描器102摄像头的图像及来自深度感测设备106的深度数据可以与分割后处理数据一起储存在数据库112中供以后审查、处理、质量控制等。
根据一个示例实施例，图2是一张示意图，表示结账台200的组件。但要指出的是，结账台200是以大大简化的形式示意性示出的，并且示例组件与理解其中的不同实施例有关。相同的情况可能适用于结账台200的其他不同组件。需要注意的是，在某些实施例中，结账台200可能包括更多或更少的组件。
此外，仅出于说明目的，描绘包括在图2中的各个组件，以及组件的布置。但要指出的是，在不脱离本文内容的情况下(尤其针对自动及远程扫描器配置)，可能存在具有更多或更少组件的其他布置。
并且，本文和下文呈现的方法和扫描器可能包括结账台200上下文中所示的组件的所有或部分组合。此外，尽管结账台200被图解为包括扫描器208，但扫描器208可以是单独元件或其他实施例中的其他系统、设备和终端的元件。可能包括扫描器208的其他终端型设备的示例是自助服务终端(SST)、店员操作和自助图书馆结账台、计时终端，等等。
某些实施例中的方法在存储器和/或永久性电脑可读存储媒体中被编程为可执行指令，并在与组件和设备相关的一个或多个处理器中执行。一些所述组件可能是固件。
结账台200包括一个或多个POS显示器202，用于呈现连接到一个或多个POS显示器202的POS系统204的信息。一个或多个POS显示器202呈现的信息包括与零售环境和结账台操作有关的信息。结账台200还包括扫描器208。POS系统204通常是计算机，如图4所示和说明的计算设备形式的计算机。POS系统包括至少一个通信接口206，用于通过网络与扫描器208通信，及与其它设备，如深度感测设备240通信。
扫描器208可被称为产品扫描器或条形码扫描器，因为它执行的任务最常与该等设备关联在一起。在操作过程中，物品被置于扫描器208的扫描场内。然后，扫描器208的一个或多个成像设备218(例如一个或多个摄像头)扫描条形码，并将读取的信息传送到POS系统。然后，POS系统使用该数据识别置于扫描器208的扫描场内的物品，并执行其他功能。其他功能可能包括价格查询以及将物品添加到要购买物品的清单中，并在一个或多个POS显示器上呈现清单。其他功能还包括将扫描的物品识别为受控物品，针对该物品，必须执行年龄、身份与/或地址确认。可在一个或多个POS显示器上显示消息，消息还可以发送到扫描器208，说明需要扫描身份证件或其他证件。
在一些实施例中，扫描器208可以从深度感测设备240接收深度数据，深度感测设备在扫描器208的一个或多个扫描场内捕捉深度数据。在其它实施例中，深度数据可由POS系统204从深度感测设备240接收。在一些实施例中，不管POS系统204或扫描器208是否接收深度数据，深度感测设备240捕捉的深度数据与扫描器208的一个或多个成像设备218捕捉的图像同步或近似同步。由于深度数据和图像同步或近似同步捕捉，图像的像素可与深度数据的像素相关联。
扫描器208可能包括一个或多个扫描场，例如在杂货店和折扣零售商店经常看到的双镜片扫描器的两个扫描场。除了成像设备218，扫描器208可能包括其他不同组件。其他不同组件可能包括整合式衡器210，例如用于杂货经销店为产品称重的衡器，以及一个或两个扬声器212和显示器照明设备216，用于输出音频视觉信号，例如扫描成功(失败)的信号。扫描器208也可能包括扫描场照明设备220，基于对被扫描物品的探测，将打开、关闭和调整设备。
典型操作期间，根据在处理器222上执行的指令操作扫描器208。处理器222可以是应用集成电路(ASIC)、数字信号处理器、微处理器，或其他类型的处理器。指令可以是储存在一个或多个存储器224中的固件226或软件230。一个或多个存储器224可能是或可能包括易失性和非易失性存储器、写入保护存储器、一次写入存储器、随机存取存储器(RAM)、只读存储器(ROM)、安全存储器以及其他存储器和数据储存类型及设备。
可能储存在固件226中、或可能作为软件230而储存在存储器224中的指令，是根据储存在存储器224的配置设置来执行的。配置设置228配置扫描器208和其中的不同组件的操作。例如，配置设置208可配置扬声器212的音量、显示器照明216的输出，及扫描场照明220的亮度。配置设置还配置成像设备218和指令的解码算法、用于经由有线或无线连接将数据从扫描器208传输到POS系统或其他系统的一个或多个通信协议，及衡器210的操作参数(例如使用磅或公斤作为计量单位)。配置设置还配置一个实施例可能包括的特定扫描器208的其他设置。在某些实施例中，配置设置228可能包括固件版本、软件版本、图像处理参数等等。因此，当设置或更新配置时，配置设置228的设置或更新可能包括对于一个特定实施例的配置设置228中的任何一个配置设置的填充和更新，包括扫描器上呈现的固件和软件的更新。
扫描器208可以包括一个或多个通信接口214、232，使扫描器208经由有线以及/或者无线连接通过网络进行通信，以及与其他计算设备通信。在一些实施例中，通信接口232可在扫描器208上提供虚拟通信连接，利用终端或与扫描器配合的其他计算设备(如POS终端)的网络连接性，使扫描器通过网络通信。
在操作期间，扫描器208的一个或多个成像设备218捕捉图像，如静态图像和视频帧。这种静态图像和视频被传输到或储存在存储器224或扫描器208的其他数据存储设备、POS系统206内，或经由通信接口214、232中的一个通信接口通过网络传输到另一个设备，如图1的服务器114。与此同步的是，深度感测设备240可以捕捉深度数据，将该数据提供给这些相同地点中的一个地点或多个地点。然后，可以对图像数据和深度数据一起进行处理，按照此处所述的一种或多种方法(如图3的方法300)对图像进行分割。
根据一个示例实施例，图3是方法300的流程方框图。方法300是POS系统、扫描器、服务器或网或网络服务可以执行的方法实例，用于将图像分割用于各种用途，如条形码读取、欺诈检测、证件处理等。
方法300包括接收302产品扫描器成像区捕捉的含至少一个图像的图像数据及深度数据。对所述至少一个图像中的每个图像304来说，方法300进一步包括从图像中删除306深度数据中未包含其相应像素的像素深度数据的像素，以及识别和删除308位于图像骨架表示和至少一个形状线-框模型之间的相匹配的形状。然后，方法300向另一个过程提供310所述至少一个图像中的每个图像供进一步处理。
在一些实施例中，每个图像304的处理包括获取各图像的骨架表示。获取骨架表示可能包括：在图像上执行边缘检测以识别图像的主要形状，对其中所检测到的图像和边缘进行骨架变换，以获取骨架图像。在一些实施例中，所述至少一个形状线-框模型任选包括人的胳膊、手和手指的形状线-框模型。在一些此类实施例中，对所述至少一个图像中的每个图像来说，方法300进一步包括识别至少一只胳膊、手和手指的皮肤颜色，胳膊、手和手指通过与所述至少一个图像匹配的线-框来识别。然后，在这些实施例中，方法300可以删除与所识别的皮肤颜色相匹配的像素。在一些实施例中，匹配可以是基于像素颜色或灰度值的绝对匹配，而在其它实施例中，识别皮肤颜色的匹配是根据概率匹配算法来执行的。
在方法300的其它一些实施例中，在一个图像中所识别到的、但即将被删除的特征，可用于帮助识别另一个图像的特征。例如，一个扫描器可能包括两个或多个摄像头，每个摄像头获取一个图像，该图像经处理，从各图像中删除306像素。当来自摄像头的图像相对另一个图像进行定位时，例如，定位扫描器内的五个摄像头，捕捉提交扫描的物品的下面、前面、左面、右面和后面的图像，位于一个图像内的特征可在识别和定位其它图像的特征的过程中通知方法300。一个简单的例子是当物品提交用于扫描时，捕捉图像中的手和手指。手的一部分可能位于底部的图像的底部右侧区域。但是，并非该手的所有手指都位于底部的图像内。这种信息可用于聚焦右面的图像的底部右侧区域和前面的图像的底部右侧区域的搜索。此外，线-框模型匹配所识别的手指数量可以保留，从而如果五根手指全都位于图像内，则处理可以停止或继续，直到所有手指均定位。
在其它一些实施例中，手指相对另一只手指的尺寸可用于确定已经识别了哪只手指，用于通知该过程进一步寻找哪只或哪些手指及它们在哪里。例如，如果拇指位于手指的左边，可以假设其它手指位于拇指的右边。在处理中还可以假设：已经定位的手指是食指，食指右边的第一根手指将比食指长。这种信息可用于选择线-框模型和尺寸，以与候选骨架表示相匹配。此外，大多数抓握时手指间隔相对均匀。间隔距离还用于通知这些过程到哪个地方寻找下一根手指，例如，某一近似距离的右侧。由于提交扫描的物品通常具有均匀的表面，而手指、手和胳膊将从提交的物品处向外伸出，因此，深度数据还可与骨架表示一起用于定位手指、手和胳膊。
在这些实施例中，这些数据点或推断中的每一个帮助这些实施例实现高效的图像处理。例如，第一图像中手指相对第二或第三图像已知方向的地点、深度数据、与已知形状的线-模型匹配、相对手指尺寸，及可能间隔可用于向方法300通知图像内搜索需删除的特征的高概率区。同样，低概率区可以避免，或仅在高概率区未得到期望结果时才考虑搜索低概率区。此外，在一些实施例中，低概率区直接跳过即可。由于一次交易中可能向扫描器提交许多物品，因此，在许多实施例中，处理速度非常重要。通过这种概率推理，可以提高图像处理速度，帮助确保终端等实现高效率。
在方法300的这些和其它实施例中，方法300还包括从所述至少一个图像中的每个图像中删除各自的背景。根据各摄像头以前捕捉的一个或多个图像，这种背景通常是已知的。
根据一个示例实施例，图4是计算设备的方框图。在一个实施例中，多个该等计算机系统被用于一个分布式网络中，以在基于交易的环境中执行多个组件。一个面向对象、面向服务或面向其他的架构可能被用以实现该等功能，并在多个系统及组件之间进行通信。以计算机410形式存在的一个示例计算设备可能包括处理单元402、存储器404、可移动存储设备412，以及非可移动存储设备414。尽管示例计算设备被图示及描述为计算机410，但在不同的实施例中该计算设备可以不同形式存在。例如，该计算设备可以是智能手机、平板电脑或其他包含相同或类似元件(如图4、以及图1和图2所示及描述)的计算设备。智能手机、平板电脑和智能手表等设备通常统称为移动设备。此外，尽管各种数据存储元件被图示为计算机410的组成部分，但是，存储设备还可以或者替代地包括经由网络(例如互联网)可存取的基于云端的存储设备。
回到计算机410，存储器404可能包括易失性存储器406和非易失性存储器408。计算机410可能包括—或者能够存取包括各种电脑可读媒体的计算环境，例如易失性存储器406和非易失性存储器408，可移动存储设备412和非可移动存储设备414。计算机存储包括随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM)及电可擦可编程只读存储器(EEPROM)、闪存或其他存储器技术、光盘只读存储器(CD ROM)、数码多功能光碟(DVD)或其他光盘存储器、盒式磁带、磁带、磁盘存储器或其他磁存储设备，或者能够存储计算机可读指令的任何其他媒体。
计算机410可能包括或能够存取包括输入416、输出418，以及通信连接420的计算环境。输入416可以包括一个或多个触摸屏、触摸板、鼠标、键盘、摄像头，一个或多个设备-专用按钮，一个或多个集成在计算机内或经由有线或无线数据连接与计算机410连接的传感器，及其它输入设备。计算机410可使用通信连接420与一个或多个远程计算机，例如数据库服务器，网络服务器，及其它计算设备连接，从而在网络环境中操作。一个示例远程计算机可包括个人计算机(PC)、服务器、路由器、网络个人计算机、对等设备或其他共用网络节点等等。通信连接420可能是一个网络界面设备，如一个以太网卡或无限网卡，或者两者兼备，或者可连接至网络的电路。此处的网络可能包括一个或多个局域网(LAN)、广域网(WAN)、互联网及其他网络。在一些实施例中，通信连接420还可以或替代地包括一个收发器设备，例如可使计算机410从其它设备无线接收数据和传输数据给其它设备的设备。
存储在电脑可读媒体上的电脑可读指令可由计算机410的处理单元402执行。硬盘(磁盘或固态盘)、CD-ROM和RAM是包括永久性计算机可读媒体的物品的一些实例。例如，各种计算机程序425或应用程序(如实现本文图示及描述的一个或多个方法的一个或多个实用程序及模块，或者可在移动设备上执行的应用程序或通过网络浏览器可予存取的应用程序)可被存储在永久性计算机可读媒体中。
另一个系统实施例包括一个含至少一个处理器、至少一个存储设备和图像数据接口的系统。这种系统进一步包括储存在所述至少一个存储设备内且可由所述至少一个处理器执行的指令集，用于执行数据处理活动。在一些实施例中，所述数据处理活动包括经由图像数据接口，接收产品扫描器成像区捕捉的含至少一个图像的图像数据及深度数据。成像接口可以是数据通信设备或互连设备，通过这些设备，可从一个或多个成像设备(如摄像头)和至少一个深度感测设备接收图像数据和深度数据。
这种系统实施例的数据处理活动进一步包括，对所述至少一个图像中的每个图像来说，从图像中删除校正的背景和从图像中删除深度数据中未包含其相应像素的像素深度数据的像素。每个图像的处理进一步包括识别和删除位于图像骨架表示和至少一个形状线-框模型之间的相匹配的形状，及向另一个过程提供所述至少一个图像中的每个图像以进行进一步处理。
本领域的技术人员将容易理解，可以在不偏离如所附权利要求中表达的本发明主旨事项的原理和范围的情况下，在已经描述或图示的细节、材料及部件的布置和方法阶段方面作出各种其他改变，以便解释发明主旨事项的本质。

Claims (12)

1.一种方法(300)，包括：
接收包含由一个产品扫描器的成像区所捕捉到的至少一个图像及深度数据的图像数据(步骤302)；
对所述至少一个图像中的每个图像：
从图像中删除深度数据中未包含其相应像素的像素深度数据的像素(步骤306)；及
识别和删除位于图像骨架表示和至少一个形状线-框模型之间的相匹配的形状(步骤308)；及
向另一个过程提供所述至少一个图像中的每个图像以进行进一步处理(步骤310)。
2.权利要求1所述的方法，进一步包括：
获取各图像的骨架表示，所述获取包括：
在图像上执行边缘检测以识别图像的主要形状；及
对其中所检测到的图像和边缘进行骨架变换，以获取骨架图像。
3.权利要求1所述的方法，其中所述至少一个形状线-框模型包括人的胳膊、手和手指的形状线-框模型。
4.权利要求3所述的方法，其中对所述至少一个图像中的每个图像来说，所述方法进一步包括：
识别至少一只胳膊、手和手指的皮肤颜色，胳膊、手和手指通过与所述至少一个图像匹配的线-框来识别；及
删除与所识别的皮肤颜色相匹配的像素。
5.权利要求4所述的方法，其中与所识别的皮肤颜色相匹配按照概率匹配算法执行。
6.前述任一项权利要求所述的方法，进一步包括：
从所述至少一个图像中的每个图像中删除各自的背景。
7.前述任一项权利要求所述的方法，其中进一步处理包括一个过程，所述过程将图像数据与通过条形码扫描所识别的产品图像数据进行比较，确定接收的图像数据是否代表了通过条形码扫描所识别的产品。
8.一种系统，包括：
至少一个处理器(222)、至少一个存储设备(224)和图像数据接口；
储存在所述至少一个存储设备(224)内且可由所述至少一个处理器(222)执行的指令集，用于执行数据处理活动，所述数据处理活动包括：
经由图像数据接口，接收由一个产品扫描器的成像区所捕捉到的、包含至少一个图像及深度数据的图像数据；
对所述至少一个图像中的每个图像：
从图像中删除经过校正的背景；
从图像中删除深度数据中未包含其相应像素的像素深度数据的像素；及
识别和删除位于图像骨架表示和至少一个形状线-框模型之间的相匹配的形状；及
向另一个过程提供所述至少一个图像中的每个图像以进行进一步处理。
9.根据权利要求8所述的系统，所述数据处理活动进一步包括：
获取各图像的骨架表示，所述获取包括：
在图像上执行边缘检测以识别图像的主要形状；及
对其中所检测到的图像和边缘进行骨架变换，以获取骨架图像。
10.权利要求8或9所述的系统，其中所述至少一个形状线-框模型包括人的胳膊、手和手指的形状线-框模型。
11.一种方法，包括权利要求1至7中的任意一个技术特征或者技术特征的任意组合。
12.一种系统，包括权利要求8至10中的任意一个技术特征或者技术特征的任意组合。
CN201610345004.2A 2015-05-29 2016-05-23 基于深度的图像元素删除 Active CN106203225B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/725,486 2015-05-29
US14/725,486 US9792692B2 (en) 2015-05-29 2015-05-29 Depth-based image element removal

Publications (2)

Publication Number Publication Date
CN106203225A true CN106203225A (zh) 2016-12-07
CN106203225B CN106203225B (zh) 2019-06-07

Family

ID=55070775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610345004.2A Active CN106203225B (zh) 2015-05-29 2016-05-23 基于深度的图像元素删除

Country Status (3)

Country Link
US (1) US9792692B2 (zh)
EP (1) EP3098751A1 (zh)
CN (1) CN106203225B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017053874A1 (en) 2015-09-23 2017-03-30 Datalogic ADC, Inc. Imaging systems and methods for tracking objects
US10389810B2 (en) 2016-11-02 2019-08-20 Commvault Systems, Inc. Multi-threaded scanning of distributed file systems
US10922189B2 (en) 2016-11-02 2021-02-16 Commvault Systems, Inc. Historical network data-based scanning thread generation
US10825010B2 (en) * 2016-12-30 2020-11-03 Datalogic Usa, Inc. Self-checkout with three dimensional scanning
US10733405B2 (en) * 2018-01-31 2020-08-04 Ncr Corporation Real-time three-dimensional (3D) shape validation
CN117933970A (zh) * 2023-09-15 2024-04-26 浙江恒逸石化有限公司 丝路巡检设备的控制方法、装置、设备以及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1747559A (zh) * 2005-07-29 2006-03-15 北京大学 三维几何建模系统和方法
US20070217690A1 (en) * 2006-03-20 2007-09-20 Accenture Global Services Gmbh Image processing system for skin detection and localization
US7448542B1 (en) * 2008-05-05 2008-11-11 International Business Machines Corporation Method for detecting a non-scan at a retail checkout station
CN101686322A (zh) * 2008-09-24 2010-03-31 三星Techwin株式会社 数字摄像设备和跟踪方法
US20110215147A1 (en) * 2007-08-17 2011-09-08 Evolution Robotics Retail, Inc. Self checkout with visual recognition
US20130343601A1 (en) * 2012-06-22 2013-12-26 Charles Jia Gesture based human interfaces
CN103646247A (zh) * 2013-09-26 2014-03-19 惠州学院 一种乐谱识别方法
US20150086126A1 (en) * 2012-04-27 2015-03-26 Nec Corporation Image processing method, image processing system, image processing device, and image processing device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236736B1 (en) 1997-02-07 2001-05-22 Ncr Corporation Method and apparatus for detecting movement patterns at a self-service checkout terminal
CN101657825B (zh) * 2006-05-11 2014-02-19 普莱姆传感有限公司 根据深度图对人形进行建模
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
JP5166496B2 (ja) 2010-09-01 2013-03-21 東芝テック株式会社 コード読取装置及びプログラム
US9020838B2 (en) * 2011-11-30 2015-04-28 Ncr Corporation Augmented reality for assisting consumer transactions
EP2807475A4 (en) 2012-01-27 2015-10-07 Univ Tennessee Res Foundation METHODS AND APPARATUS FOR DETECTION OF AN ALTERNATING CURRENT ELECTROKINETIC BIOMARKER
US9275277B2 (en) 2013-02-22 2016-03-01 Kaiser Foundation Hospitals Using a combination of 2D and 3D image data to determine hand features information
JP6360350B2 (ja) * 2013-08-08 2018-07-18 東芝テック株式会社 情報処理装置、店舗システム及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1747559A (zh) * 2005-07-29 2006-03-15 北京大学 三维几何建模系统和方法
US20070217690A1 (en) * 2006-03-20 2007-09-20 Accenture Global Services Gmbh Image processing system for skin detection and localization
US20110215147A1 (en) * 2007-08-17 2011-09-08 Evolution Robotics Retail, Inc. Self checkout with visual recognition
US7448542B1 (en) * 2008-05-05 2008-11-11 International Business Machines Corporation Method for detecting a non-scan at a retail checkout station
CN101686322A (zh) * 2008-09-24 2010-03-31 三星Techwin株式会社 数字摄像设备和跟踪方法
US20150086126A1 (en) * 2012-04-27 2015-03-26 Nec Corporation Image processing method, image processing system, image processing device, and image processing device
US20130343601A1 (en) * 2012-06-22 2013-12-26 Charles Jia Gesture based human interfaces
CN103646247A (zh) * 2013-09-26 2014-03-19 惠州学院 一种乐谱识别方法

Also Published As

Publication number Publication date
US9792692B2 (en) 2017-10-17
EP3098751A1 (en) 2016-11-30
US20160350931A1 (en) 2016-12-01
CN106203225B (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
US10540551B2 (en) Generation of two-dimensional and three-dimensional images of items for visual recognition in checkout apparatus
JP7181922B2 (ja) 前景／背景処理を使用した在庫イベントの予測
US10055853B1 (en) Subject identification and tracking using image recognition
CN106203225A (zh) 基于深度的图像元素删除
US10133933B1 (en) Item put and take detection using image recognition
US10467454B2 (en) Synchronization of image data from multiple three-dimensional cameras for image recognition
US10803292B2 (en) Separation of objects in images from three-dimensional cameras
US10628695B2 (en) Fast item identification for checkout counter
CN106022784A (zh) 物品替代欺诈检测
US11514665B2 (en) Mapping optical-code images to an overview image
CN112585667A (zh) 智能平台柜台展示系统和方法
US11281888B2 (en) Separation of objects in images from three-dimensional cameras
JP2019174959A (ja) 商品棚位置登録プログラム、及び情報処理装置
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
US9851784B2 (en) Movement line conversion and analysis system, method and program
CN110705620A (zh) 一种基于翻拍识别的陈列图像检测方法、装置及存储介质
TW202115645A (zh) 自助結帳系統的後端商品上架方法
TW201108135A (en) Visual security for point of sale terminals
CN109857880B (zh) 一种基于模型的数据处理方法、装置及电子设备
US20230274410A1 (en) Retail shelf image processing and inventory tracking system
US20230274227A1 (en) Retail shelf image processing and inventory tracking system
US20230237558A1 (en) Object recognition systems and methods
US20230274226A1 (en) Retail shelf image processing and inventory tracking system
JP2016224884A (ja) 情報処理装置、及びプログラム
JP2024016551A (ja) 検査対象の異常を検知する方法、システム、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant