CN110264645A - 一种商品的自助收银方法和设备 - Google Patents

一种商品的自助收银方法和设备 Download PDF

Info

Publication number
CN110264645A
CN110264645A CN201910305807.9A CN201910305807A CN110264645A CN 110264645 A CN110264645 A CN 110264645A CN 201910305807 A CN201910305807 A CN 201910305807A CN 110264645 A CN110264645 A CN 110264645A
Authority
CN
China
Prior art keywords
image
commodity
region
code
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910305807.9A
Other languages
English (en)
Inventor
宋杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910305807.9A priority Critical patent/CN110264645A/zh
Publication of CN110264645A publication Critical patent/CN110264645A/zh
Priority to PCT/CN2020/072059 priority patent/WO2020211499A1/zh
Priority to US16/810,670 priority patent/US11113680B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0081—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader the reader being a portable scanner or data reader

Abstract

本说明书实施例提供一种商品的自助收银方法和自助收银台。所述方法包括获取由摄像头对放置在收银台上的商品进行拍摄得到的图像，然后将该图像分割为图像区域。在任一图像区域中检测商品码的码区；如果检测到码区，则识别码区中的编码，根据识别的编码确定该图像区域中包含的商品的类别；如果未检测到码区或者无法识别上述编码，则通过视觉识别，基于所述该图像区域识别出商品的类别；最后根据商品的类别，确定其计价结果。本说明书实施例可以兼顾商品条码方案的扫描速度和精度以及视觉识别方案的用户体验。

Description

一种商品的自助收银方法和设备
技术领域
本说明书涉及计算机技术领域，尤其涉及商品的自助收银方法和设备。
背景技术
技术的发展推动了零售领域的变革。新零售领域采用自助收银台来提升收银效率并减少人工成本。在一种方案下，顾客可以将商品的条形码对准收银台的机器扫描区域，由此识别商品的种类。
这种方案需要顾客自行找到商品条形码，并且协助机器读取条形码。用户参与度要求较高，并且商品收银只能单次操作，用户体验有较大提升空间。
发明内容
本说明书一个或多个实施例描述了自助收银方法和装置，其中利用编码识别和视觉识别相结合的方式，提高商品识别的效率和准确性，提升用户体验。
根据第一方面，本说明书实施例提供一种商品的自助收银方法，包括：
获取第一图像，所述第一图像由第一摄像头对放置在收银台上的至少一个商品进行拍摄得到；
对所述第一图像进行图像分割，得到至少一个图像区域，其中包括第一图像区域；
在所述第一图像区域中进行商品码的码区检测；
在检测到码区的情况下，识别所述码区中的编码，根据识别的编码确定所述第一图像区域中包含的第一商品的类别；
在未检测到码区或者无法识别上述编码的情况下，通过视觉识别，基于所述第一图像区域识别出所述第一商品的类别；
根据所述第一商品的类别，确定所述第一商品的计价结果。
在一种实施方式中，获取第一图像包括，控制所述第一摄像头拍摄所述至少一个商品，得到所述第一图像。
在另一种实施方式中，获取第一图像包括，从自助收银台接收所述第一图像。
根据不同实施例，所述第一图像是从所述至少一个商品的俯视方向、前视方向、左视方向、右视方向、后视方向和斜视方向之一拍摄，所述斜视方向为，拍摄方向与所述收银台垂直方向夹角30度-60度。
在一种实施方式中，对所述第一图像进行图像分割包括，利用图像分割模型，对所述第一图像进行图像分割；其中，所述图像分割模型利用分割样本图片预先训练得到，所述分割样本图片包含商品图像，并具有对商品轮廓进行标注的标注数据。
根据一种实施方式，所述商品码为条形码；在这样的情况下，在所述第一图像区域中进行码区检测包括：利用第一目标检测模型，在所述第一图像区域中检测条形码区域；其中，所述第一目标检测模型利用第一训练样本图片预先训练得到，所述第一训练样本图片包含商品图像，并具有框选出商品图像中的条形码区域的标注数据。
进一步的，在一个实施例中，识别所述码区中的编码包括：通过透视变换对检测到的条形码区域进行校正，得到校正条形码；对所述校正条形码进行编码识别。
根据另一种实施方式，所述商品码为二维码；在这样的情况下，在所述第一图像区域中进行码区检测包括：在所述第一图像区域中检测二维码的定位图形，在检测到至少两个定位图形的情况下，确定检测到二维码区域。
进一步的，在一个实施例中，所述识别所述码区中的编码包括：通过透视变换对检测到的二维码区域进行透视校正，得到校正二维码；基于所述至少两个定位图形，确定所述校正二维码中角点图形关系；基于所述角点图形关系，在所述校正二维码中提取编码特征，从而识别二维码编码。
在一种实施方式中，视觉识别包括：利用第二目标检测模型，基于所述第一图像区域确定所述第一商品的类别；其中，所述第二目标检测模型利用第二训练样本图片预先训练得到，所述第二训练样本图片包含商品图像，并具有框选出商品并标注出商品类别的标注数据。
在一种实施方式中，所述方法还包括：
获取第二图像，所述第二图像由第二摄像头对所述至少一个商品进行拍摄得到；
对所述第二图像进行图像分割，至少得到第二图像区域；
通过编码识别或视觉识别，确定所述第二图像区域对应的第二商品的类别；
根据所述第一摄像头和第二摄像头的相对位置关系，确定所述第一图像区域和第二图像区域对应于同一商品；
在商品计价结果中排除所述第一商品和所述第二商品之一的计价结果。
根据第二方面，提供一种商品的自助收银方法，所述方法包括：
获取多个图像，所述多个图像由多个摄像头分别对放置在收银台上的至少一个商品进行拍摄得到；
对所述多个图像分别进行图像分割，得到各个图像对应的图像区域；
根据所述多个摄像头的相对位置关系，从所述各个图像对应的图像区域中，确定出对应于同一商品的多个图像区域；
在所述多个图像区域中进行商品码的码区检测；
在任一图像区域中检测到码区的情况下，识别所述码区中的编码，根据识别的编码确定所述同一商品的类别；
在所述多个图像区域中均未检测到码区或者均未识别出编码的情况下，通过视觉识别，基于所述多个图像区域中的至少一个图像区域识别出所述同一商品的类别；
根据所述同一商品的类别，确定该商品的计价结果。
根据第三方面，提供一种商品的自助收银装置，所述装置包括：
图像获取单元，配置为获取第一图像，所述第一图像由第一摄像头对放置在收银台上的至少一个商品进行拍摄得到；
图像分割单元，配置为对所述第一图像进行图像分割，得到至少一个图像区域，其中包括第一图像区域；
码区检测单元，配置为在所述第一图像区域中进行商品码的码区检测；
编码识别单元，配置为在检测到码区的情况下，识别所述码区中的编码，根据识别的编码确定所述第一图像区域中包含的第一商品的类别；
视觉识别单元，配置为，在未检测到码区或者无法识别上述编码的情况下，通过视觉识别，基于所述第一图像区域识别出所述第一商品的类别；
计价单元，配置为根据所述第一商品的类别，确定所述第一商品的计价结果。
根据第四方面，提供一种商品的自助收银装置，所述装置包括：
图像获取单元，配置为获取多个图像，所述多个图像由多个摄像头分别对放置在收银台上的至少一个商品进行拍摄得到；
图像分割单元，配置为对所述多个图像分别进行图像分割，得到各个图像对应的图像区域；
区域关系确定单元，配置为根据所述多个摄像头的相对位置关系，从所述各个图像对应的图像区域中，确定出对应于同一商品的多个图像区域；
码区检测单元，配置为在所述多个图像区域中进行商品码的码区检测；
编码识别单元，配置为在任一图像区域中检测到码区的情况下，识别所述码区中的编码，根据识别的编码确定所述同一商品的类别；
视觉识别单元，配置为在所述多个图像区域中均未检测到码区或者均未识别出编码的情况下，通过视觉识别，基于所述多个图像区域中的至少一个图像区域识别出所述同一商品的类别；
计价单元，配置为根据所述同一商品的类别，确定该商品的计价结果。
根据第五方面，本说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面所述的方法。
根据第六方面，本说明书实施例提供一种自助收银台，包括：存储设备和处理器，所述处理器可通信地耦合到所述存储设备，存储设备存储有应用程序，所述处理器可用于执行应用程序，实现第一方面或第二方面所述的方法。
根据第七方面，本说明书实施例提供一种服务器，包括：存储设备，网络接口和处理器，所述处理器可通信地耦合到所述存储设备和网络接口，存储设备存储有服务器程序，所述处理器可用于执行服务器程序，实现第一方面或第二方面任一项所述的方法。
通过本说明书实施例提供的自助收银方法和自助收银台，可以兼顾商品条码方案的扫描速度和精度以及视觉识别方案的用户体验。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本说明书披露的自助收银系统的场景示意图；
图2示意了从下方看到的面板的底视图；
图3是本说明书实施例的自助收银台中计算设备的电子结构示意图；
图4是根据本说明书实施例的图像识别的服务器的结构图；
图5是根据本说明书实施例的商品识别和计价方法的流程示意图；
图6示出在一个示例中对条形码区域进行检测和识别的过程示意图；
图7a示例了二维码透视变换的效果示意图；
图7b示出了确定角点图形关系的各个子阶段；
图8示出在一个示例中摄像头的标定；
图9示出根据一个实施例的针对多个图像进行商品识别和计价的流程图；
图10示意了根据本说明书一个实施例的商品收银装置的示意性框图；
图11示意了根据本说明书另一实施例的商品收银装置的示意性框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
新零售领域广泛采用自助收银台来提升收银效率并减少人工成本。其中，基于机器视觉进行商品识别的方案由于其成本和精度而成为业界主流方案之一。但是，视觉方案是基于商品外观，通过机器学习算法来进行商品识别的。受到外部光照、商品摆放角度等条件影响，并不能保证100％的识别精度。另一方面，商品外包装都有商品条形码(barcode)可以明确标识商品。但是由于用户自助摆放，很难保证商品码被100％露出并识别出来。
因此，本说明书提出视觉识别和商品码识别相结合的混合方式。在进行商品识别的时候，可以首先识别商品条形码。如果能识别出来，就可以快速且准确的获得商品种类；如果检测不到商品条形码或者识别不出来商品条形码，就启动正常的视觉识别来检测商品。
图1为本说明书披露的自助收银系统的场景示意图。如图1所示，自助收银系统包括自助收银台12和服务器系统18。自助收银台和服务器系统可以通过网络16相连。
自助收银台12可以包括台面130和面板120，彼此相对设置。台面130位于下方，用于承载一件或多件商品132、134。面板120位于上方，为台面上的商品提供理想的照明环境，使得商品的光照稳定，有助于商品检测或识别算法的运行。
自助收银台可以配置有至少一个摄像头。摄像头可以对放置在收银台上的商品134、132进行摄像或者拍照，获取这些商品的视频或图像。视频或图像可以包括多件商品中各商品的视频或图像部分。为叙述简便起见，下文将仅以图像为例。本领域的技术人员意识到，本说明书中图像既可以是直接拍摄的图像，也可以是从视频中抽取的图像。
根据本说明书实施例的收银台，用户可以较为自由地将商品放置在收银台的台面130上。换言之，各商品在台面上的形态/位置可以不同。
自助收银台12将视频或图像通过网络发送给服务器系统。网络16可以是有线网、无线网、局域网、互联网等等。
服务器18通过商品码检测和/或视觉识别，根据图像确定各商品的类别。具体的，在一个例子中，服务器首先对图像进行分割，针对分割后的图像区域，检测并且识别其所携带的商品码。如果能从中正常读取商品码，则可以准确获取商品种类并完成识别。对于和某个商品相关、但不能从中读取出商品码的图像区域，启动视觉识别算法来检测其商品类别。
服务器系统或自助收银台，可以根据识别得到的商品类别，确定商品的计价结果。
本领域的技术人员意识到，商品码检测和视觉识别可以由单一的服务器实现。服务器系统也可以包括多台服务器，同时执行或者按要求分别执行相应的检测或识别工作。比如，图像的商品分割由服务器A执行，商品码检测由服务器B执行，视觉识别由服务器C执行。故此，在本说明书中服务器既可以指代单个的服务器本身，也可以是服务器集群。
此外，尽管图1中示例了由服务器根据商品图像进行商品识别的例子，但是，商品的识别和计价也可以由设置在收银台的计算设备来执行。此时，计算设备直接获取摄像头拍摄的图像，而不必将其发送至服务器。
通过以上所述的混合方式，本说明书的方案可以融合条码识别和视觉识别两种方案的优势，在保证用户体验的基础上实现自动收银。
应该理解的是，自助收银系统的总体架构、设置和操作以及各个部件仅仅是示例性的，并且不同配置的系统也可以用于实施本发明公开的方法示例。
图2示意了从下方看到的面板的底视图。面板可以是不透明的或者半透明的，以便遮挡来自天花板或者其它角度的外部光线，进而避免外部光线对商品光照情况产生不可控的影响。面板可以有多种形状，比如长方形、弧形，两侧有延伸盖板等。只要能遮挡或部分遮挡面板上方光源，任何面板形状都可以接受。
如图2所示，面板包括一个或多个光源121、122。光源可以是LED或者其他方式。光源可以位于面板的下表面上，也可以嵌入于面板中。光源使得自助收银台上摆放的商品光照稳定，有助于商品识别算法的运行。在具体应用场景中，光源的数量和布置情况可以有较多选择，双光源、4光源，甚至更多的光源都可以。布局方法也可以根据需求来定制。基于视觉的商品识别的一点关键就是需要获取清晰的图片，稳定且均匀的光照是良好保证。
光源可以采取可控光源的形式，根据工作环境的变化而调整光源的亮度。
自助收银台可以设置一个或一个以上摄像头124、125、126。摄像头可以是普通的RGB摄像头，也可以是3D摄像头。根据采用摄像头的视场(FOV)及商品放置台的大小，布置这些摄像头。多个摄像头可以从不同角度获取图像，从而有效避免遮挡。在只有一个摄像头的情况下，可以通过配置滑轨，使得摄像头在滑轨上滑动，从而得到不同角度下的商品图像。
在一个例子中，不同摄像头可以从商品的俯视方向、前视方向、左视方向、右视方向、后视方向中的至少一个方向获取商品的图像。为了获取前视、后视、左视或者右视方向的图像，摄像头可以安装在面板以外的其它物体上。
在一个例子中，摄像头还可以从商品的斜视方向获取图像。该斜视方向是指，拍摄方向与收银台台面垂直方向夹角在30度-60度的方向，其中拍摄方向是摄像头的视场FOV的中心线指向的方向。
为了实现自助收银，自助收银台还需要配备相应的计算设备。图3是本说明书实施例的自助收银台中计算设备的电子结构示意图。自助收银台的电子结构可包括多个电子器件或装置。如图3所示，处理器510控制计算设备的总体操作。LED控制器532可用于对多个LED灯(LED#1，LED#2，LED#N)进行控制，使得其提供均匀稳定的照明。CAM HUB 534是一种摄像头集线器，可用于控制两个或两个以上摄像头(camera)(CAM#1，CAM#2,CAM#N)获取图像。在可选的情况下，计算设备还可包括耦接至数据链路的网络/总线接口526，用于和服务器进行数据通信；网络/总线接口526还可以接收来自摄像头的图像；在无线连接的情况下，网络/总线接口526可包括无线收发器。电子设备还包括闪存FLASH 524。在一个例子中，FLASH524可存储软件，软件自FLASH中加载于DRAM 522中，并且由此控制CPU 510执行相应操作。
图4是根据本说明书实施例的图像识别的服务器的结构图。如图4所示，服务器可包括处理器702，该处理器表示用于控制服务器的总体操作的微处理器。数据总线715可利于在存储设备740、处理器702和网络接口714之间进行数据传输。
服务器还包括存储设备740，该存储设备可存储服务器程序。终端设备还可包括随机存取存储器(RAM)720和只读存储器(ROM)722。ROM 722可以以非易失性方式存储待执行的程序、实用程序或进程，比如操作系统。RAM720，也称为内存，可提供易失性数据存储，并存储运行操作系统和服务器程序的指令及其相关的数据。
在操作中，服务器程序自RAM740中加载于RAM720中，并且由此控制处理器702执行相应操作。
图5是根据本说明书实施例的商品识别和计价方法的流程示意图。该方法可以编译为软件，由图3所示的收银台计算设备，或图4所示的服务器实施。或者，也可以由上述收银台计算设备和服务器共同实施，其中，收银台计算设备和服务器各自执行该方法流程的一部分。
如图5所示，首先，在步骤501，获取第一图像，该第一图像由第一摄像头对放置在收银台上的至少一个商品进行拍摄得到。
如前所述，收银台中可布置有一个或多个摄像头，用于对商品进行拍摄。在仅布置一个摄像头的情况下，该摄像头拍摄的图像即为上述的第一图像。在布置多个摄像头的情况下，多个摄像头可以从不同角度对台面上放置的商品进行拍摄，产生多个图像。在这样的情况下，为了描述的清楚和简单，可以将其中任意的一个摄像头称为第一摄像头，将该摄像头拍摄的商品图像称为第一图像。应理解，本文中的“第一”、“第二”仅仅是为了在描述时进行区分，并不意在对出现顺序等其他方向进行限定。
在一个实施例中，该方法由收银台计算设备执行。在这样的情况下，在步骤501，计算设备控制收银台中的第一摄像头拍摄台面上放置的商品，得到上述第一图像。
在另一实施例中，该方法由服务器执行。在这样的情况下，收银台中的第一摄像头通过拍摄台面上的商品产生第一图像，计算设备经由图3所示的网络/总线接口将第一图像发送至服务器。相应的，在步骤501，服务器从自助收银台接收第一图像，从而获取该第一图像。
接着，在步骤502，对第一图像进行图像分割，得到至少一个图像区域。
图像的分割可以采用多种算法和/或模型来实现。
在一个实施例中，可以基于常规图像处理进行图像分割，这样的图像处理包括，基于像素灰度或对比度分析进行的物体边界识别(类似抠图工具中的边界识别方式)。基于如此识别的边界，可以将图像分割为若干图像区域。一般地，每个图像区域对应识别出的一个物体，在本实施例的场景中即对应一件商品。
一般而言，常规图像处理的方式适合于物体与背景色色差明显，背景色单一，物体边界清晰的情况。针对台面上商品进行拍摄的情况通常更为复杂，特别是在多件商品的情况下。因此，在一种实施方式中，预先训练图像分割模型，利用这样的模型对待分析的第一图像进行图像分割。
具体的，可以拍摄大量的商品图片，图片中可以包含一件或多件商品任意摆放的组合，将这样的商品图片分发给标注人员，由标注人员在图片中标注出商品的轮廓。这样的包含商品图像、并具有标注的商品轮廓的图片就可以作为分割样本图片，用于训练图像分割模型。图像分割模型可以采用例如基于Mask-RCNN的模型，基于条件随机场CRF的模型，等等。
在训练得到这样的图像分割模型之后，就可以利用该模型，对第一图像进行图像分割。一般地，通过图像分割，可以将第一图像分割为与图中的商品件数对应的图像区域。
为了描述的简单，下面以其中任意的一个图像区域，称为第一图像区域为例，进行描述。
于是，在步骤503，在第一图像区域中进行商品码码区检测；如果检测到码区，那么在步骤504，识别码区中的编码，根据识别的编码确定第一图像区域中包含的商品的类别；如果没有检测到码区，那么，在步骤505，通过视觉识别，基于第一图像区域识别出其中包含的商品的类别。
可以理解，目前在绝大多数的商品上都印有条形码，该条形码可以唯一地标识出商品的具体种类，或称为类别，商品售卖方预先将商品的类别与价格关联，于是，可以通过识别该条形码直接得到商品的类别和价格信息。此外，也有部分商品印有二维码。在一些情况下，也可以通过识别该二维码得到商品的类别和价格信息。因此，步骤503中的商品码码区检测，可以包括对条形码的检测，和对二维码的检测。下面结合这两种情况，描述以上步骤的具体实现方式。
在一个实施例中，上述商品码为条形码。为了对条形码区域进行检测，在一个实施例中，可以预先训练目标检测模型，利用该目标检测模型，在第一图像区域中检测条形码区域。
目标检测模型是图像识别中的常用模型，用于从图片中识别出特定的目标对象。一般地，目标检测模型基于对特定目标对象进行标注的图片样本进行训练而得到。在需要对条形码区域进行检测的情况下，可以利用标注出条形码的训练样本图片，训练得到专用于检测条形码区域的目标检测模型。
具体的，可以拍摄大量的商品图片，图片中可以包含一件或多件商品任意摆放的组合，将这样的商品图片分发给标注人员，由标注人员在图片中标注出商品的条形码区域。更具体的，标注人员可以用框选出条形码的最小矩形框标注出条形码区域。如此得到具有条形码标注框的商品图片，作为训练目标检测模型的训练样本图片。
在本领域中，已经基于各种网络结构和各种检测算法提出了各种各样的目标检测模型。例如，单阶段(one stage)检测模型可以从图片中直接确定出目标对象的类别概率和位置坐标，也就是直接识别出目标对象。单阶段检测模型的典型例子包括，SSD模型，Yolo模型等。两阶段(two stage)的检测模型首先在图片中生成候选区域，或称为兴趣区域ROI，然后在候选区域中进行目标识别和边框回归。两阶段的检测模型的典型例子包括，R-CNN模型，Fast R-CNN模型，Faster R-CNN模型等。还提出有其他目标检测模型。以上这些结构和算法的模型均可以用作对条形码进行检测的目标检测模型。
如此，通过预先训练的目标检测模型，在第一图像区域中检测条形码区域。如果检测到条形码区域，那么在步骤504，识别条形码区域中的编码。
在一个实施例中，对条形码编码的识别可以采用常规的条形码读码技术实现。
然而，不同于常规收银台中用户自主地将条形码贴近扫码窗，本说明书实施例的收银台允许用户随意地将多件商品摆放在台面上。如此，拍摄的图像中包含的条形码常常具有歪斜、扭曲等各种变形。为了提高条形码读码识别率，在一个实施例中，首先通过透视变换对检测到的条形码区域进行校正，得到校正条形码。透视变换可以通过利用投影变换矩阵进行变换操作而实现，如此得到具有规范形状和方向的校正条形码。然后可以对该校正条形码进行编码识别，得到其中的编码。
图6示出在一个示例中对条形码区域进行检测和识别的过程示意图。在图6中，左侧(a)部分示出对商品进行拍摄得到的原图的一部分。对这部分图像区域进行条形码检测，可以得到条形码区域。中间的(b)部分示意性示出了从原图中条形码区域得到的变形的条形码，右侧(c)部分示出对(b)部分进行透视变换后，得到的校正条形码。通过对(c)部分的校正条形码进行识别，可以得到商品对应的编码。
在另一实施例中，上述商品码为二维码。可以采用多种方式，在步骤503，对二维码区域进行检测。例如，在一个例子中，与条形码类似的，针对二维码训练目标检测模型，利用该目标检测模型，在第一图像区域中检测二维码区域。
在另一例子中，利用二维码自身的结构特点，直接在图像区域中进行检测。具体的，目前的二维码通常在左上、右上和左下角具有3个定位图形，定位图形具有特定的显著结构特点，例如，定位图形常常采用黑色方框内套一黑色方块的“回”字形结构。因此，可以利用以上的结构特点，在图像区域中检测定位图形。一般而言，二维码检测通常具有一定的容错性，允许在某个定位图形由于污损、遮挡等情况而无法检测时，利用两个定位图形恢复出二维码的图形关系。因此，在检测到至少两个定位图形的情况下，可以确定检测到二维码。
在确定检测到二维码的情况下，在步骤504，识别二维码区域中的编码信息。
如前所述，由于用户很随意地将商品放置在收银台上，因此，检测到的二维码区域往往也存在较大的形变，难以直接进行解码。因此，在一个实施例中，首先对二维码区域进行校正，确定图形关系，然后进行编码识别。
具体的，在一个实施例，首先通过透视变换对检测到的二维码区域进行透视校正，得到校正二维码。透视变换可以通过利用投影变换矩阵进行变换操作而实现。
图7a示例了二维码透视变换的效果示意图。如图中所示，通过透视变换，可以修正二维码区域的顶点，得到形状规范的方形二维码，即校正二维码。
然后，基于前述检测到的至少两个定位图形，确定校正二维码中角点图形关系。图7b示出了这一过程的各个子阶段。
如图7b所示，首先基于校正二维码再次进行定位图形的探测，即二次特征探测。由此，精确确定出定位图形的位置，以及对应的角点的位置。然后，确定探测出的两个定位图形的位置关系(对角关系还是同侧关系)，并基于该位置关系，进行虚拟角点定位，即定位出第三个定位图形对应的角点。最后，将第三个定位图形填充到虚拟角点对应的位置，对二维码进行角点图形关系的恢复。在检测到三个定位图形的情况下，可以省略图7b中的虚拟角点定位，通过二次探测和角点精细定位，确定出角点图形关系。
接着，基于得到的角点图形关系，在校正二维码中提取编码特征，从而识别二维码编码。
不管是条形码还是二维码，一旦识别出其中的编码，就可以准确地确定出商品的类别。
回到图5，如果在步骤503没有检测到码区，或者无法识别码区中的编码，那么，在步骤505，通过视觉识别，基于第一图像区域识别出其中包含的商品的类别。以上的视觉识别主要是通过机器学习训练目标检测模型，进而利用目标检测模型直接检测和识别商品类别的方案。
需要理解，由于检测的目标对象不同，需要的输出结果也不同，步骤505中视觉识别所采用的目标检测模型和前述用于检测条形码区域的目标检测模型并不相同。
为了训练用于视觉识别的目标检测模型，可以预先拍摄大量的商品图片，图片中可以包含一件或多件商品任意摆放的组合，将这样的商品图片分发给标注人员，由标注人员在图片中框选出商品，并标注出商品的类别。如此得到具有商品类别标注数据的商品图片，即可作为训练样本图片，训练用于视觉识别的目标检测模型。
在训练好这样的目标检测模型之后，就可以利用该目标检测模型，对前述的第一图像区域进行商品识别，直接输出该区域中包含的商品的类别。
一般而言，用于视觉识别的目标检测模型需要大量的样本图片进行训练，并且在利用该模型进行商品识别时，也需要进行更复杂的计算，耗费较多的计算资源。因此，在图5的过程中，优先采用准确度高、耗费计算资源少的商品码检测来识别商品，在未检测到商品码或者未能识别编码的情况下，启动视觉识别，以确保商品最终能够被识别。
一旦确定出第一图像区域中对应的商品的类别，在步骤506，根据该商品的类别，确定其计价结果。具体的，可以根据售卖方预先记录的商品类别与价格的关联数据，确定商品的价格。最终，计价结果可以包括，商品类别对应的商品名，商品价格等信息。
以上步骤503到506描述了针对第一图像中分割得到的任意的第一图像区域进行商品识别和计价的过程。可以理解，对于各个分割的图像区域均可以执行上述过程，从而对各个图像区域中的商品进行识别，进而进行计价。于是，可以得到第一图像中包含的各个商品的计价结果。
如前所述，为了避免商品之间的遮挡，可以在收银台中布置多个摄像头，从多个角度对商品进行拍摄，得到多个图像。以上的第一图像可以是多角度拍摄产生的多个图像中的任意一个。在得到多个图像的情况下，还可以综合多个图像，得到台面上商品的总体计价结果。
在一个实施例中，对于多个摄像头拍摄得到的多个图像中的各个图像，分别执行图5所示的流程，从而得到各个图像对应的商品计价结果。然后，根据多个摄像头之间的相对位置关系，确定各个图像中对应于同一商品的图像区域，从该图像对应的计价结果中去除该同一商品的计价，从而避免对同一商品重复多次计价。这个过程又称为“去重”。
具体的，假定多个图像除了包含前述的第一图像外，还包括另一图像，称为第二图像。该第二图像由第二摄像头对台面上的商品进行拍摄而得到。与图5类似的，可以对第二图像进行分割，得到与其中包含的商品件数相对应的各个图像区域。可以理解，第二图像中包含的商品件数有可能与第一图像不同。例如，如果台面上摆放了3件商品，其中一件沿着某个方向遮挡住了另一件商品，那么当第一摄像头沿着上述方向拍摄时，第一图像中仅包含2件商品。而第二摄像头从不同角度拍摄时，得到的第二图像可以包含3件商品。
为了描述的简单，假定对第二图像进行分割得到的图像区域中包含第二图像区域。对于该第二图像区域，与前述步骤503到506类似的，通过编码识别或视觉识别，确定该第二图像区域对应的商品类别。
接着，根据第一摄像头和第二摄像头的相对位置关系，确定第一图像区域和第二图像区域是否对应于同一商品。可以理解，多个摄像头在安装完成之后，可以进行位置的标定，得到标定信息。这样的标定信息可以示出两个摄像头，例如第一摄像头和第二摄像头之间的相对位置关系，以及拍摄的图片之间的交叠关系。
图8示出在一个示例中摄像头的标定。在图8的示例中，假定摄像头C1和C2均固定在照明面板上，朝向收银台面。在C1和C2的位置(包括朝向)固定之后，可以确定出收银台面对应的平面上、C1和C2的拍摄视场FOV的重叠区域。与FOV的重叠相对应的，C1拍摄的图片P1和C2拍摄的图片P2会具有相应的交叠范围，如阴影部分所示。在标定过程中，可以利用标记物标记台面，然后用固定好位置的摄像头拍摄台面，通过比对各摄像头拍摄的图片中标记物的位置，确定出各图片之间的交叠关系。
对于前述的第一摄像头和第二摄像头，可以根据如此标定的标定信息，确定出第一图像区域和第二图像区域是否落入图片之间的交叠区域，进而判断，第一图像区域和第二图像区域是否对应于同一商品。
如果第一图像区域和第二图像区域对应于同一商品，那么在商品计价结果中，仅需包含这两个区域之一对应商品的计价；或者说，在商品计价结果中排除两个图像区域之一对应商品的计价结果。
如此，在综合多个摄像头拍摄的多个图像得到商品计价结果的过程中，通过利用已知的摄像头相对位置关系，排除重复商品，避免同一商品重复计价。
以上是分别“纵向地”对多个图像进行商品识别处理，然后综合多个图像的处理结果的过程。根据另一种实施方式，也可以先“横向”地综合多个图像的图像区域，然后进行商品识别和计价。
图9示出根据一个实施例的针对多个图像进行商品识别和计价的流程图。与图5类似的，该方法流程可以由收银台中的计算设备来实施，也可以由服务器来实施。如图9所示，该方法流程包括以下步骤。
在步骤901，获取多个图像，该多个图像由多个摄像头分别对放置在收银台上的商品进行拍摄得到。如前所述，多个摄像头可以从不同角度不同位置对商品进行拍摄，得到上述多个图像。
然后，在步骤902，对上述多个图像分别进行图像分割，得到各个图像对应的图像区域。图像分割的方式可以参照前述对步骤502的描述，不再赘述。
接着，在步骤903，根据多个摄像头的相对位置关系，从各个图像对应的图像区域中，确定出对应于同一商品的多个图像区域。
如前所述，在多个摄像头位置关系已知的情况下，通过其标定信息，可以获知各个摄像头拍摄的图片之间的交叠关系。如此，可以确定出多个图像中各个图像区域中对应于同一商品的多个图像区域。
例如，在一个例子中，利用6个摄像头对台面上的4件商品进行拍摄，得到6个图像。通过图像分割，这6个图像的每个图像被分割为若干区域。由于某些角度下商品之间可能存在遮挡，因此每个摄像头拍到的商品数目可能不同，图像分割得到的图像区域的数目也可能不同。例如，6个图像中有5个图像都被分割为4个图像区域，而另一个图像被分割为3个图像区域。然后，根据这6个摄像头的位置关系，可以从这6个图像分割得到的图像区域中，获得对应于同一商品的图像区域。对于没有被遮挡的商品，其在6个图像中均有对应的图像区域，于是可以得到对应于该商品的6个图像区域；对于在某个图像中被遮挡的商品，可以得到对应于该商品的5个图像区域。
如此，从各个图像对应的图像区域中，确定出对应于同一商品的多个图像区域。然后，在步骤904，在该多个图像区域中进行商品码码区检测。商品码码区检测的具体执行方式可以参考前述结合步骤503的描述，不复赘述。
在同一商品对应的任一图像区域中检测到码区的情况下，在步骤905，识别码区中的编码，根据识别的编码确定该同一商品的类别。编码识别的具体执行方式可以参考前述结合步骤504的描述。
如果在该多个图像区域中均未检测到码区，或者均无法识别其中的编码，那么在步骤906，通过视觉识别，基于该多个图像区域中的至少一个图像区域识别出上述同一商品的类别。视觉识别的过程如前述结合步骤505所述。
于是，通过步骤905的编码识别或者步骤906的视觉识别，确定出上述同一商品的类别。接着，在步骤907，根据该同一商品的类别，确定该商品的计价结果。
在图9的方法流程中，首先横向地综合多个图像中对应于同一商品的多个图像区域，对这多个图像区域综合地进行商品识别和计价。采用这样的方式，不必在每个图像处理完毕之后再进行商品“去重”，并且只要任一图像区域中存在码区就进行编码识别，可以最大程度地减少视觉识别的启动比例，提高整体的识别效率。
综合以上，通过优先进行编码识别，然后进行视觉识别的综合方式，允许用户随意地将多件商品放置在收银台上进行计价，极大地提高用户体验。
本说明书披露的技术方案可以适用于超市、便利店。比如，在快速通道可以设置自助收银台，允许购买商品不多的用户通过自助收银的方式完成计价。如此，提升了用户的便利度，使得收银时间大为缩短。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书各实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图5和图9所描述的方法。
图10-图11示意了本说明书各实施例所描述的功能采用硬件、固件或者其组合或者与软件组合时的一些可能的方案。
图10示意了根据本说明书一个实施例的商品收银装置的示意性框图。该装置可以部署在图3所示的自助收银台的计算设备中，也可以部署在图4所示的服务器中。如图10所示，从功能模块的角度，该装置100包括：
图像获取单元101，配置为获取第一图像，所述第一图像由第一摄像头对放置在收银台上的至少一个商品进行拍摄得到；
图像分割单元102，配置为对所述第一图像进行图像分割，得到至少一个图像区域，其中包括第一图像区域；
码区检测单元103，配置为在所述第一图像区域中进行码区检测；
编码识别单元104，配置为在检测到码区的情况下，识别所述码区中的编码，根据识别的编码确定所述第一图像区域中包含的第一商品的类别；
视觉识别单元105，配置为，在未检测到码区或者无法识别上述编码的情况下，通过视觉识别，基于所述第一图像区域识别出所述第一商品的类别；
计价单元106，配置为根据所述第一商品的类别，确定所述第一商品的计价结果。
在一种实施方式中，所述图像获取单元101配置为，控制所述第一摄像头拍摄所述至少一个商品，得到所述第一图像。
在另一种实施方式中，所述图像获取单元101配置为，从自助收银台接收所述第一图像。
在不同实施例中，所述第一图像是从所述至少一个商品的俯视方向、前视方向、左视方向、右视方向、后视方向和斜视方向之一拍摄，所述斜视方向为，拍摄方向与所述收银台垂直方向夹角30度-60度。
在一种实施方式中，所述图像分割单元102配置为，利用图像分割模型，对所述第一图像进行图像分割；其中，所述图像分割模型利用分割样本图片预先训练得到，所述分割样本图片包含商品图像，并具有对商品轮廓进行标注的标注数据。
根据一种实施方式，所述码区为条形码区域；相应的，所述码区检测单元103配置为：利用第一目标检测模型，在所述第一图像区域中检测条形码区域；其中，所述第一目标检测模型利用第一训练样本图片预先训练得到，所述第一训练样本图片包含商品图像，并具有框选出商品图像中的条形码区域的标注数据。
进一步的，在一个实施例中，所述编码识别单元104配置为：通过透视变换对检测到的条形码区域进行校正，得到校正条形码；对所述校正条形码进行编码识别。
根据一种实施方式，所述码区为二维码区域；相应的，所述码区检测单元103配置为：在所述第一图像区域中检测二维码的定位图形，在检测到至少两个定位图形的情况下，确定检测到二维码区域。
进一步的，在一个实施例中，所述编码识别单元104配置为：
通过透视变换对检测到的二维码区域进行透视校正，得到校正二维码；
基于所述至少两个定位图形，确定所述校正二维码中角点图形关系；
基于所述角点图形关系，在所述校正二维码中提取编码特征，从而识别二维码编码。
在一种实施方式中，所述视觉识别单元105配置为：
利用第二目标检测模型，基于所述第一图像区域确定所述第一商品的类别；其中，所述第二目标检测模型利用第二训练样本图片预先训练得到，所述第二训练样本图片包含商品图像，并具有框选出商品并标注出商品类别的标注数据。
在一种实施方式中，所述图像获取单元101还配置为获取第二图像，所述第二图像由第二摄像头对所述至少一个商品进行拍摄得到；
所述图像分割单元102还配置为，对所述第二图像进行图像分割，至少得到第二图像区域；
所述编码识别单元104或视觉识别单元105还配置为，确定所述第二图像区域对应的第二商品的类别；
所述装置还包括(未示出)：关系确定单元，配置为根据所述第一摄像头和第二摄像头的相对位置关系，确定所述第一图像区域和第二图像区域对应于同一商品；排除单元，配置为在商品计价结果中排除所述第一商品和所述第二商品之一的计价结果。
图11示意了根据本说明书另一实施例的商品收银装置的示意性框图。该装置可以部署在图3所示的自助收银台的计算设备中，也可以部署在图4所示的服务器中。如图11所示，从功能模块的角度，该装置110包括：
图像获取单元111，配置为获取多个图像，所述多个图像由多个摄像头分别对放置在收银台上的至少一个商品进行拍摄得到；
图像分割单元112，配置为对所述多个图像分别进行图像分割，得到各个图像对应的图像区域；
区域关系确定单元113，配置为根据所述多个摄像头的相对位置关系，从所述各个图像对应的图像区域中，确定出对应于同一商品的多个图像区域；
码区检测单元114，配置为在所述多个图像区域中进行码区检测；
编码识别单元115，配置为在任一图像区域中检测到码区的情况下，识别所述码区中的编码，根据识别的编码确定所述同一商品的类别；
视觉识别单元116，配置为在所述多个图像区域中均未检测到码区或者均未识别出编码的情况下，通过视觉识别，基于所述多个图像区域中的至少一个图像区域识别出所述同一商品的类别；
计价单元117，配置为根据所述同一商品的类别，确定该商品的计价结果。
应当理解，这里描述的部署在自助收银台和服务器中的装置在很多方面可以利用前面描述的方法实施例或与之结合。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (27)

1.一种商品的自助收银方法，所述方法包括：
获取第一图像，所述第一图像由第一摄像头对放置在收银台上的至少一个商品进行拍摄得到；
对所述第一图像进行图像分割，得到至少一个图像区域，其中包括第一图像区域；
在所述第一图像区域中检测商品码的码区；
在检测到码区的情况下，识别所述码区中的编码，根据识别的编码确定所述第一图像区域中包含的第一商品的类别；
在未检测到码区或者无法识别上述编码的情况下，通过视觉识别，基于所述第一图像区域识别出所述第一商品的类别；
根据所述第一商品的类别，确定所述第一商品的计价结果。
2.根据权利要求1所述的方法，其中，获取第一图像包括，控制所述第一摄像头拍摄所述至少一个商品，得到所述第一图像。
3.根据权利要求1所述的方法，其中，获取第一图像包括，从自助收银台接收所述第一图像。
4.根据权利要求1所述的方法，其中，所述第一图像是从所述至少一个商品的俯视方向、前视方向、左视方向、右视方向、后视方向和斜视方向之一拍摄，所述斜视方向为，拍摄方向与所述收银台垂直方向夹角30度-60度。
5.根据权利要求1所述的方法，其中，对所述第一图像进行图像分割包括，利用图像分割模型，对所述第一图像进行图像分割；其中，所述图像分割模型利用分割样本图片预先训练得到，所述分割样本图片包含商品图像，并具有对商品轮廓进行标注的标注数据。
6.根据权利要求1所述的方法，其中，所述商品码为条形码；
在所述第一图像区域中检测商品码的码区包括：
利用第一目标检测模型，在所述第一图像区域中检测条形码区域；其中，所述第一目标检测模型利用第一训练样本图片预先训练得到，所述第一训练样本图片包含商品图像，并具有框选出商品图像中的条形码区域的标注数据。
7.根据权利要求6所述的方法，其中，识别所述码区中的编码包括：
通过透视变换对检测到的条形码区域进行校正，得到校正条形码；
对所述校正条形码进行编码识别。
8.根据权利要求1所述的方法，其中，所述商品码为二维码；
在所述第一图像区域中检测商品码的码区包括：
在所述第一图像区域中检测二维码的定位图形，在检测到至少两个定位图形的情况下，确定检测到二维码区域。
9.根据权利要求8所述的方法，其中，所述识别所述码区中的编码包括：
通过透视变换对检测到的二维码区域进行透视校正，得到校正二维码；
基于所述至少两个定位图形，确定所述校正二维码中角点图形关系；
基于所述角点图形关系，在所述校正二维码中提取编码特征，从而识别二维码编码。
10.根据权利要求1所述的方法，其中，通过视觉识别，基于所述第一图像区域识别出所述第一商品的类别，包括：
利用第二目标检测模型，基于所述第一图像区域确定所述第一商品的类别；其中，所述第二目标检测模型利用第二训练样本图片预先训练得到，所述第二训练样本图片包含商品图像，并具有框选出商品并标注出商品类别的标注数据。
11.根据权利要求1所述的方法，还包括：
获取第二图像，所述第二图像由第二摄像头对所述至少一个商品进行拍摄得到；
对所述第二图像进行图像分割，至少得到第二图像区域；
通过编码识别或视觉识别，确定所述第二图像区域对应的第二商品的类别；
根据所述第一摄像头和第二摄像头的相对位置关系，确定所述第一图像区域和第二图像区域对应于同一商品；
在商品计价结果中排除所述第一商品和所述第二商品之一的计价结果。
12.一种商品的自助收银方法，所述方法包括：
获取多个图像，所述多个图像由多个摄像头分别对放置在收银台上的至少一个商品进行拍摄得到；
对所述多个图像分别进行图像分割，得到各个图像对应的图像区域；
根据所述多个摄像头的相对位置关系，从所述各个图像对应的图像区域中，确定出对应于同一商品的多个图像区域；
在所述多个图像区域中检测商品码的码区；
在任一图像区域中检测到码区的情况下，识别所述码区中的编码，根据识别的编码确定所述同一商品的类别；
在所述多个图像区域中均未检测到码区或者均未识别出编码的情况下，通过视觉识别，基于所述多个图像区域中的至少一个图像区域识别出所述同一商品的类别；
根据所述同一商品的类别，确定该商品的计价结果。
13.一种商品的自助收银装置，所述装置包括：
图像获取单元，配置为获取第一图像，所述第一图像由第一摄像头对放置在收银台上的至少一个商品进行拍摄得到；
图像分割单元，配置为对所述第一图像进行图像分割，得到至少一个图像区域，其中包括第一图像区域；
码区检测单元，配置为在所述第一图像区域中检测商品码的码区；
编码识别单元，配置为在检测到码区的情况下，识别所述码区中的编码，根据识别的编码确定所述第一图像区域中包含的第一商品的类别；
视觉识别单元，配置为，在未检测到码区或者无法识别上述编码的情况下，通过视觉识别，基于所述第一图像区域识别出所述第一商品的类别；
计价单元，配置为根据所述第一商品的类别，确定所述第一商品的计价结果。
14.根据权利要求13所述的装置，其中，所述图像获取单元配置为，控制所述第一摄像头拍摄所述至少一个商品，得到所述第一图像。
15.根据权利要求13所述的装置，其中，所述图像获取单元配置为，从自助收银台接收所述第一图像。
16.根据权利要求13所述的装置，其中，所述第一图像是从所述至少一个商品的俯视方向、前视方向、左视方向、右视方向、后视方向和斜视方向之一拍摄，所述斜视方向为，拍摄方向与所述收银台垂直方向夹角30度-60度。
17.根据权利要求13所述的装置，其中，所述图像分割单元配置为，利用图像分割模型，对所述第一图像进行图像分割；其中，所述图像分割模型利用分割样本图片预先训练得到，所述分割样本图片包含商品图像，并具有对商品轮廓进行标注的标注数据。
18.根据权利要求13所述的装置，其中，所述码区为条形码区域；
所述码区检测单元配置为：
利用第一目标检测模型，在所述第一图像区域中检测条形码区域；其中，所述第一目标检测模型利用第一训练样本图片预先训练得到，所述第一训练样本图片包含商品图像，并具有框选出商品图像中的条形码区域的标注数据。
19.根据权利要求18所述的装置，其中，所述编码识别单元配置为：
通过透视变换对检测到的条形码区域进行校正，得到校正条形码；
对所述校正条形码进行编码识别。
20.根据权利要求13所述的装置，其中，所述码区为二维码区域；
所述码区检测单元配置为：
在所述第一图像区域中检测二维码的定位图形，在检测到至少两个定位图形的情况下，确定检测到二维码区域。
21.根据权利要求20所述的装置，其中，所述编码识别单元配置为：
通过透视变换对检测到的二维码区域进行透视校正，得到校正二维码；
基于所述至少两个定位图形，确定所述校正二维码中角点图形关系；
基于所述角点图形关系，在所述校正二维码中提取编码特征，从而识别二维码编码。
22.根据权利要求13所述的装置，其中，所述视觉识别单元配置为：
利用第二目标检测模型，基于所述第一图像区域确定所述第一商品的类别；其中，所述第二目标检测模型利用第二训练样本图片预先训练得到，所述第二训练样本图片包含商品图像，并具有框选出商品并标注出商品类别的标注数据。
23.根据权利要求13所述的装置，其中：
所述图像获取单元还配置为获取第二图像，所述第二图像由第二摄像头对所述至少一个商品进行拍摄得到；
所述图像分割单元还配置为，对所述第二图像进行图像分割，至少得到第二图像区域；
所述编码识别单元或视觉识别单元还配置为，确定所述第二图像区域对应的第二商品的类别；
所述装置还包括：
关系确定单元，配置为根据所述第一摄像头和第二摄像头的相对位置关系，确定所述第一图像区域和第二图像区域对应于同一商品；
排除单元，配置为在商品计价结果中排除所述第一商品和所述第二商品之一的计价结果。
24.一种商品的自助收银装置，所述装置包括：
图像获取单元，配置为获取多个图像，所述多个图像由多个摄像头分别对放置在收银台上的至少一个商品进行拍摄得到；
图像分割单元，配置为对所述多个图像分别进行图像分割，得到各个图像对应的图像区域；
区域关系确定单元，配置为根据所述多个摄像头的相对位置关系，从所述各个图像对应的图像区域中，确定出对应于同一商品的多个图像区域；
码区检测单元，配置为在所述多个图像区域中检测商品码的码区；
编码识别单元，配置为在任一图像区域中检测到码区的情况下，识别所述码区中的编码，根据识别的编码确定所述同一商品的类别；
视觉识别单元，配置为在所述多个图像区域中均未检测到码区或者均未识别出编码的情况下，通过视觉识别，基于所述多个图像区域中的至少一个图像区域识别出所述同一商品的类别；
计价单元，配置为根据所述同一商品的类别，确定该商品的计价结果。
25.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-12中任一项的所述的方法。
26.一种自助收银台，包括：存储设备和处理器，所述处理器可通信地耦合到所述存储设备，存储设备存储有应用程序，所述处理器可用于执行应用程序，实现权利要求1-12中任一项所述的方法。
27.一种服务器，包括：存储设备，网络接口和处理器，所述处理器可通信地耦合到所述存储设备和网络接口，存储设备存储有服务器程序，所述处理器可用于执行服务器程序，实现权利要求1-12中任一项所述的方法。
CN201910305807.9A 2019-04-16 2019-04-16 一种商品的自助收银方法和设备 Pending CN110264645A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910305807.9A CN110264645A (zh) 2019-04-16 2019-04-16 一种商品的自助收银方法和设备
PCT/CN2020/072059 WO2020211499A1 (zh) 2019-04-16 2020-01-14 一种商品的自助收银方法和设备
US16/810,670 US11113680B2 (en) 2019-04-16 2020-03-05 Self-service checkout counter checkout

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910305807.9A CN110264645A (zh) 2019-04-16 2019-04-16 一种商品的自助收银方法和设备

Publications (1)

Publication Number Publication Date
CN110264645A true CN110264645A (zh) 2019-09-20

Family

ID=67913615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910305807.9A Pending CN110264645A (zh) 2019-04-16 2019-04-16 一种商品的自助收银方法和设备

Country Status (2)

Country Link
CN (1) CN110264645A (zh)
WO (1) WO2020211499A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992140A (zh) * 2019-11-28 2020-04-10 浙江由由科技有限公司 一种用于识别模型的匹配方法和系统
CN111583557A (zh) * 2020-05-11 2020-08-25 湖北汽车工业学院 一种基于rfid的商场智能结算装置、系统及其方法
WO2020211499A1 (zh) * 2019-04-16 2020-10-22 创新先进技术有限公司 一种商品的自助收银方法和设备
CN112016339A (zh) * 2020-08-18 2020-12-01 中移（杭州）信息技术有限公司 二维码识别及缺损修复方法、装置、电子设备及存储介质
CN112308175A (zh) * 2020-02-26 2021-02-02 北京字节跳动网络技术有限公司 用于识别物品的方法和装置
CN112686220A (zh) * 2021-03-10 2021-04-20 浙江口碑网络技术有限公司 商品识别方法及装置、计算设备、计算机存储介质
US11113680B2 (en) 2019-04-16 2021-09-07 Advanced New Technologies Co., Ltd. Self-service checkout counter checkout
US11182759B2 (en) 2019-04-15 2021-11-23 Advanced New Technologies Co., Ltd. Self-service checkout counter

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210201258A1 (en) * 2019-12-27 2021-07-01 United Parcel Service Of America, Inc. System and method for delivery confirmation using a local device for optical scans
US11948044B2 (en) 2022-12-19 2024-04-02 Maplebear Inc. Subregion transformation for label decoding by an automated checkout system
CN115880676B (zh) * 2022-12-21 2024-04-09 南通大学 一种基于深度学习的自助售货机商品识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799850A (zh) * 2012-06-30 2012-11-28 北京百度网讯科技有限公司 一种条形码识别方法和装置
CN103226687A (zh) * 2012-01-30 2013-07-31 东芝泰格有限公司 商品读取装置及商品读取方法
CN106326802A (zh) * 2016-08-19 2017-01-11 腾讯科技（深圳）有限公司 二维码校正方法、装置及终端设备
CN107578582A (zh) * 2017-08-31 2018-01-12 昆山中骏博研互联网科技有限公司 一种批量商品计费系统及计费方法
CN108062837A (zh) * 2018-01-26 2018-05-22 浙江行雨网络科技有限公司 一种基于图像识别的无人值守超市商品结算系统
CN109190439A (zh) * 2018-09-21 2019-01-11 南京机灵侠软件技术有限公司 一种分光器端口线及其二维码标签的图像识别方法
CN109389068A (zh) * 2018-09-28 2019-02-26 百度在线网络技术（北京）有限公司 用于识别驾驶行为的方法和装置
CN109522967A (zh) * 2018-11-28 2019-03-26 广州逗号智能零售有限公司 一种商品定位识别方法、装置、设备以及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202904599U (zh) * 2012-05-09 2013-04-24 深圳普诺玛商业安全设备有限公司 用于收银判定的自动识别装置
JP5668042B2 (ja) * 2012-10-31 2015-02-12 東芝テック株式会社 商品読取装置、商品販売データ処理装置および商品読取プログラム
US9053615B2 (en) * 2013-03-14 2015-06-09 Wal-Mart Stores, Inc. Method and apparatus pertaining to use of both optical and electronic product codes
CN106529365B (zh) * 2016-12-05 2019-09-06 广东工业大学 自动计价机
KR102557313B1 (ko) * 2016-12-29 2023-07-19 주식회사 성우하이텍 차량용 범퍼빔 유닛
CN110264645A (zh) * 2019-04-16 2019-09-20 阿里巴巴集团控股有限公司 一种商品的自助收银方法和设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226687A (zh) * 2012-01-30 2013-07-31 东芝泰格有限公司 商品读取装置及商品读取方法
CN102799850A (zh) * 2012-06-30 2012-11-28 北京百度网讯科技有限公司 一种条形码识别方法和装置
CN106326802A (zh) * 2016-08-19 2017-01-11 腾讯科技（深圳）有限公司 二维码校正方法、装置及终端设备
CN107578582A (zh) * 2017-08-31 2018-01-12 昆山中骏博研互联网科技有限公司 一种批量商品计费系统及计费方法
CN108062837A (zh) * 2018-01-26 2018-05-22 浙江行雨网络科技有限公司 一种基于图像识别的无人值守超市商品结算系统
CN109190439A (zh) * 2018-09-21 2019-01-11 南京机灵侠软件技术有限公司 一种分光器端口线及其二维码标签的图像识别方法
CN109389068A (zh) * 2018-09-28 2019-02-26 百度在线网络技术（北京）有限公司 用于识别驾驶行为的方法和装置
CN109522967A (zh) * 2018-11-28 2019-03-26 广州逗号智能零售有限公司 一种商品定位识别方法、装置、设备以及存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11182759B2 (en) 2019-04-15 2021-11-23 Advanced New Technologies Co., Ltd. Self-service checkout counter
WO2020211499A1 (zh) * 2019-04-16 2020-10-22 创新先进技术有限公司 一种商品的自助收银方法和设备
US11113680B2 (en) 2019-04-16 2021-09-07 Advanced New Technologies Co., Ltd. Self-service checkout counter checkout
CN110992140A (zh) * 2019-11-28 2020-04-10 浙江由由科技有限公司 一种用于识别模型的匹配方法和系统
CN112308175A (zh) * 2020-02-26 2021-02-02 北京字节跳动网络技术有限公司 用于识别物品的方法和装置
CN111583557A (zh) * 2020-05-11 2020-08-25 湖北汽车工业学院 一种基于rfid的商场智能结算装置、系统及其方法
CN112016339A (zh) * 2020-08-18 2020-12-01 中移（杭州）信息技术有限公司 二维码识别及缺损修复方法、装置、电子设备及存储介质
CN112016339B (zh) * 2020-08-18 2023-12-29 中移（杭州）信息技术有限公司 二维码识别及缺损修复方法、装置、电子设备及存储介质
CN112686220A (zh) * 2021-03-10 2021-04-20 浙江口碑网络技术有限公司 商品识别方法及装置、计算设备、计算机存储介质
CN112686220B (zh) * 2021-03-10 2021-06-22 浙江口碑网络技术有限公司 商品识别方法及装置、计算设备、计算机存储介质

Also Published As

Publication number Publication date
WO2020211499A1 (zh) 2020-10-22

Similar Documents

Publication Publication Date Title
CN110264645A (zh) 一种商品的自助收银方法和设备
US11049279B2 (en) Device for detecting positional relationship among objects
US11587195B2 (en) Image processing methods and arrangements useful in automated store shelf inspections
US9704247B2 (en) Information processing method and system
US10007964B1 (en) Image processing methods and arrangements
EP2751748B1 (en) Methods and arrangements for identifying objects
CN101356831B (zh) 用于确定立体视觉中的分散视差场的方法
US20190065823A1 (en) Separation of objects in images from three-dimensional cameras
US11321598B2 (en) Multicolor barcode and color calibration method thereof
US10262432B1 (en) System and method for measuring and comparing items using computer vision
US11113680B2 (en) Self-service checkout counter checkout
KR20130056309A (ko) 텍스트 기반 3ｄ 증강 현실
CN109784323A (zh) 图像识别的方法、装置、电子设备和计算机存储介质
ES2754612T3 (es) Procedimiento de reconocimiento de caracteres en relieve, producto programa de ordenador y dispositivo correspondientes
CN108596137A (zh) 一种基于图像识别算法的商品扫描录入方法
CN111310706B (zh) 一种商品价签识别方法及装置、电子设备、存储介质
US11869256B2 (en) Separation of objects in images from three-dimensional cameras
JP6278842B2 (ja) 検査装置、検査方法およびプログラム
CN106203225B (zh) 基于深度的图像元素删除
US6614916B2 (en) Machine vision system and triggering method
JP6651169B2 (ja) 陳列状況判定システム
CN104881641B (zh) 基于移动设备的问卷和表格数字化识别方法及系统
EP3671410B1 (en) Method and device to control a virtual reality display unit
JP2020009466A (ja) 陳列状況判定システム
WO2015114021A1 (en) Image capture using client device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40014393

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200929

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200929

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190920