CN107273900A - 图像处理装置及其控制方法、终端设备 - Google Patents

图像处理装置及其控制方法、终端设备 Download PDF

Info

Publication number
CN107273900A
CN107273900A CN201710168531.5A CN201710168531A CN107273900A CN 107273900 A CN107273900 A CN 107273900A CN 201710168531 A CN201710168531 A CN 201710168531A CN 107273900 A CN107273900 A CN 107273900A
Authority
CN
China
Prior art keywords
image
images
commodity
parts
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710168531.5A
Other languages
English (en)
Inventor
澤田崇行
安永真明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Publication of CN107273900A publication Critical patent/CN107273900A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0081—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader the reader being a portable scanner or data reader
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/387—Payment using discounts or coupons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0238—Discounts or incentives, e.g. coupons or rebates at point-of-sale [POS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283—Price estimation or determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像处理装置及其控制方法、终端设备，其能够减轻对粘贴有用于减价的标签的商品的作业负担并可靠地进行减价处理，该图像处理装置包括：区域剪切部、掩模生成部、商品识别部及减价处理部。区域剪切部从输入图像中剪切与商品对应的部分图像。掩模生成部当从部分图像中搜索出第一图案图像时，根据第一图案图像生成减价信息，而且，基于第一图案图像已被检测出的位置生成第一掩模图案。商品识别部通过对部分图像通过第一掩模图案已进行屏蔽的掩模图像和与多个商品分别对应的登记图像的匹配，来指定与部分图像对应的商品从而取得与部分图像对应的商品信息。减价处理部根据商品信息所示的商品的价格和减价信息进行减价处理。

Description

图像处理装置及其控制方法、终端设备
本申请主张申请日为2016年04月07日、申请号为JP2016-077231的日本申请为优先权，并引用上述申请的内容，优先权的内容视为全部记载在本申请中。
技术领域
本发明的实施例涉及一种图像处理装置及其控制方法、终端设备。
背景技术
在超市等店铺中使用的POS(Point Of Sales：销售点)收银机(POS终端)中，通常是通过读取附加在商品上的条形码来登记顾客想购买的商品的。此外，近年来，出现有读取商品的外观图像(包装图像)并通过图像识别技术来自动识别商品的类型的POS终端。
不过，在大多店铺中，对特卖品、新鲜度降低的日用品(保质期近的食品)上为了快速销售避免废弃损失，而采取有粘贴表示减价率或减价额的减价标签并通过收银机进行减价的措施。作为其方法，有以下两种方法。
第一方法是将被称为密封(截至)标签的附加有减价后价格的条形码的减价条码标签覆盖粘贴在原条形码上并读取该减价标签后通过减价后价格进行结账的方法。第二方法是采用减价标签的方法。在第二方法中，通过条形码扫描仪读取原条形码后取得通常价格，之后通过收银员手动操作对减价标签所记载的减价率或者减价额进行减价处理。
在第一方法中，由于需要将减价条形码标签覆盖粘贴在条形码上，所以店铺服务员需要在粘贴标签时确认附加在商品上的条形码的位置并要充分注意，以使将条形码标签粘贴在恰当位置上。在第二方法中，在进行了读取条形码操作后，需要进一步进行用于实施与粘贴在商品上的减价标签对应的减价的操作。此外，在读取商品的包装图像的类型的POS终端中，当将减价标签粘贴在包装图像的特征的部分上时，由于有不能从包装图像中准确地识别商品的危险，所以需要充分注意减价标签的粘贴位置。
发明内容
鉴于上述问题，本发明所要解决的技术问题是，提供一种图像处理装置及控制方法、终端设备，其能够减轻对粘贴有用于减价的标签的商品的作业负担并可靠地进行减价处理。
为解决上述问题，本发明的一实施例，提供了一种图像处理装置，包括：区域剪切部、掩模生成部、商品识别部及减价处理部。区域剪切部从输入图像中剪切与商品对应的部分图像。掩模生成部当从所述部分图像中搜索出第一图案图像时，根据所述第一图案图像生成减价信息，而且，基于所述第一图案图像被检测出的位置生成第一掩模图案。商品识别部通过对所述部分图像通过所述第一掩模图案已进行屏蔽的掩模图像和与多个商品分别对应的登记图像的匹配，来指定与所述部分图像对应的商品从而取得与所述部分图像对应的商品信息。减价处理部根据所述商品信息所示的所述商品的价格和所述减价信息进行减价处理。
根据这样的构成，能够减轻对粘贴有用于减价的标签的商品的作业负担并可靠地进行减价处理。
对于图像处理装置，在一种可能的实施方式中，还包括：商品信息取得部，当从所述部分图像中搜索出第二图案图像时，取得与所述第二图案图像对应的商品信息，其中，所述商品识别部当从所述部分图像中所述第二图案图像未被搜索出时，基于所述掩模图像和所述登记图像的匹配取得与所述部分图像对应的商品信息。
根据这样的构成，即使没有搜索出第二图案图像，也能够通过掩模图像取得与所述部分图像对应的商品信息，从而店铺服务员无需考虑第一图案的粘贴位置能够减轻作业负担。
对于图像处理装置，在一种可能的实施方式中，所述掩模生成部当从所述部分图像中未搜索出所述第一图案图像而搜索出第三图案图像时，基于所述第三图案图像已被检测出的位置生成第三掩模图案，所述商品识别部当从所述部分图像中所述第二图案图像未被搜索出时，通过对所述部分图像通过所述第三掩模图案已进行屏蔽的掩模图像和与多个商品分别对应的登记图像的匹配，来指定与所述部分图像对应的商品从而取得与所述部分图像对应的商品信息。
根据这样的构成，只要搜索出第一图案图像和第三图案图像的任一图案图像就能够取得与部分图像对应的商品信息。
对于图像处理装置，在一种可能的实施方式中，所述区域剪切部从所述输入图像中剪切与多个商品分别对应的多个部分图像，所述减价处理部对与通过所述掩模生成部搜索出所述第一图案图像的部分图像对应的所述商品信息进行减价处理。
根据这样的构成，能够可靠地对与搜索出第一图案图像的部分图像对应的商品信息进行减价处理。
对于图像处理装置，在一种可能的实施方式中，所述商品识别部，包括：第一屏蔽部，基于所述第一掩模图案将所述部分图像的一部分转换成一样的像素值而生成掩模部分图像；局部特征点抽出部，针对所述掩模部分图像抽出局部特征点信息；特征点匹配部，对所述局部特征点信息和预先已词库登记的商品图像的局部特征点信息进行核对，并基于所述掩模部分图像和所述商品图像两者之间的局部特征点的对应状态，输出表现两者的相对位置关系的投影转换矩阵和与所述部分图像的内容对应的候选商品的商品信息；投影转换部，读取与所述候选商品的商品信息对应的登记图像，并生成基于所述投影转换矩阵将所述登记图像进行了投影转换的投影登记图像；第二屏蔽部，基于所述第一掩模图案，将所述投影登记图像的一部分转换成一样的像素值而生成掩模登记图像；以及详细匹配部，计算出所述掩模部分图像和所述掩模登记图像的相似度，并基于所述相似度和规定的判定阈值输出与所述部分图像对应的商品信息。
根据这样的构成，能够更准确地取得与所述部分图像对应的商品信息。
本发明的另一实施例，提供了一种基于图像处理装置的控制方法，包括以下步骤：区域剪切步骤，从输入图像中剪切与商品对应的部分图像；掩模生成步骤，当从所述部分图像中搜索出第一图案图像时，根据所述第一图案图像生成减价信息，而且，基于所述第一图案图像已被检测出的位置生成第一掩模图案；商品识别步骤，通过对所述部分图像通过第一掩模图案已屏蔽的掩模图像和与多个商品分别对应的登记图像的匹配，来指定与所述部分图像对应的商品从而取得与所述部分图像对应的商品信息；以及减价处理步骤，根据所述商品信息所示的所述商品的价格和所述减价信息进行减价处理。
根据这样的控制方法，能够减轻对粘贴有用于减价的标签的商品的作业负担并可靠地进行减价处理。
对于控制方法，在一种可能的实施方式中，商品信息取得步骤，当从所述部分图像中搜索出第二图案图像时，取得与所述第二图案图像对应的商品信息，其中，在所述商品识别步骤中，当从所述部分图像中所述第二图案图像未被搜索出时，基于所述掩模图像和所述登记图像的匹配取得与所述部分图像对应的商品信息。
根据这样的控制方法，即使没有搜索出第二图案图像，也能够通过掩模图像取得与所述部分图像对应的商品信息，从而店铺服务员无需考虑第一图案的粘贴位置能够减轻作业负担。
对于控制方法，在一种可能的实施方式中，在所述掩模生成步骤中，当从所述部分图像中未搜索出所述第一图案图像而搜索出第三图案图像时，基于所述第三图案图像已被检测出的位置生成第三掩模图案，在所述商品识别步骤中，当从所述部分图像中所述第二图案图像未被搜索出时，通过对所述部分图像通过所述第三掩模图案已进行屏蔽的掩模图像和与多个商品分别对应的登记图像的匹配，来指定与所述部分图像对应的商品从而取得与所述部分图像对应的商品信息。
根据这样的控制方法，只要搜索出第一图案图像和第三图案图像的任一图案图像就能够取得与部分图像对应的商品信息。
对于控制方法，在一种可能的实施方式中，在所述区域剪切步骤中，从所述输入图像中剪切与多个商品分别对应的多个部分图像，在所述减价处理步骤中，对与通过所述掩模生成步骤搜索出所述第一图案图像的部分图像对应的所述商品信息进行减价处理。
根据这样的控制方法，能够可靠地对与搜索出第一图案图像的部分图像对应的商品信息进行减价处理。
本发明的第三实施例，提供了一种终端设备，包括处理器和存储器，所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行上述的控制方法所对应的操作。
根据这样的构成，可以实现能够减轻对粘贴有用于减价的标签的商品的作业负担并可靠地进行减价处理的功能。
附图说明
下面，参照附图对本发明所涉及的图像处理装置及其控制方法、终端设备进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：
图1是表示当将本实施例中的图像处理装置作为POS终端进行了实现时的结账系统的构成的框图；
图2是表示在本实施例中的图像处理功能部的构成的框图；
图3是表示本实施例中的POS终端(处理器)的动作的流程图；
图4是表示本实施例中的POS终端(处理器)的动作的流程图；
图5是表示本实施例中的输入图像的一例的图；
图6是表示本实施例中的区域区分图像的一例的图；
图7(A)至图7(F)是用于对在本实施例中的图像处理功能部的处理进行说明的图；
图8(A)至图8(C)是表示在本实施例中的减价标签和标志标签的一例的图；
图9是表示粘贴在商品上的减价标签和标志标签的一例的图；以及
图10(A)和图10(B)是表示部分图像的特征点(区域)和已词库登记的商品的特征点(区域)的对应的图。
附图标记说明
11 POS终端 30 摄像头
40 区域识别部 41 区域剪切部
42 掩模生成部 43 第一屏蔽部
44 引导生成部 45 局部特征点抽出部
46 特征点匹配部 47 投影转换部
48 第二屏蔽部 49 详细匹配部
具体实施方式
以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。
下面，参照附图，对本实施例进行说明。
图1是表示将本实施例中的图像处理装置作为POS终端11(11-1……11-n)来进行实现时的结账系统的构成的框图。图像处理装置不限于POS终端11，可以在自助收银终端、半自助(分担制)结账系统中的商品登记机等设置有进行商品登记的功能的装置中进行实现。
图1所示的结账系统诸如是在超市等店铺中被使用的系统，且多个POS终端11(11-1……11-n)诸如通过LAN(Local Area Network：局域网)13等的网络连接。网络也可以采用互换网、无线LAN等别的通信网来替代LAN13。此外，结账系统在LAN13上连接管理系统整体的店铺服务器14、店员使用的计算机16等。
POS终端11将处理器20、ROM(Read Only Memory：只读存储器)21、RAM(RandomAccess Memory：随机存取存储器)22、存储单元23、扬声器24、货币存取装置25、扫描仪26、触摸面板27、打印机28、卡读写器29、摄像头30及通信单元31通过传输系统11k相互连接。
处理器20基于ROM21及RAM22所存储的操作系统、中间件及应用程序，为实现作为POS终端11的各种功能而控制各部。通过处理器20执行的应用程序诸如包含进行商品登记处理的商品登记处理程序、进行结账处理的结账处理程序等。商品登记处理程序包含根据通过摄像头30已摄像的商品的图像识别作为购买对象的商品并对商品进行登记的图像处理程序。处理器20通过执行图像处理程序，当在商品上粘贴有减价标签时，实现根据减价标签所示的减价信息进行减价处理的功能。
ROM21是存储固定的程序、数据的装置，并存储中间件、应用程序、处理器20进行各种处理时所参照的数据等。
RAM22被用作临时存储通过处理器20执行的各种程序、处理器20进行各种处理时所使用的数据等程序、数据用的工作区。
存储单元23诸如可以使用EEPROM(注册商标)(Electric Erasable ProgrammableRead Only Memory：电可擦除可编程只读存储器)、HDD(Hard Disk Drive：硬盘驱动器)或者SSD(Solid State Drive：固态硬盘)等。存储单元23存储通过处理器20执行的各种程序、处理器20进行各种处理时使用的数据或者通过在处理器20中的处理而生成的数据。存储单元23所存储的程序包括商品登记处理程序、结账处理程序。
此外，RAM22或者存储单元23存储为了商品登记而通过摄像头30摄像的商品的图像(输入图像)、根据输入图像所包含的商品的包装图像(部分图像)识别商品用的词库登记图像(局部特征点信息、商品登记图像)、用于识别粘贴在商品上的标签(减价标签、标志标签)的图案图像、识别附加在商品上的表示商品代码的条形码的数据、以及记录关于在商品登记处理中被登记的登记商品的数据的登记商品明细表等。
扬声器24输出警告音、信息语音等的声音。
货币存取装置25具有在处理器20的控制下处理从纸币/硬币投入口投入的纸币和硬币的机构、以及从纸币/硬币排出口排出纸币和硬币的机构。
扫描仪26当以附加在商品上的条形码进行相对的方式对准有商品时光学地读取条形码。
触摸面板27包括LCD(Liquid Crystal Display：液晶显示器)等显示装置和触摸传感器。显示装置显示用于通过店铺服务员(操作员)、顾客的触摸操作输入各种选择指示、各种信息的GUI(Graphical User Interface：图形用户界面)画面。
打印机28通过在票据纸张上打印各种字符串(文字列)、图像等来发放票据。打印机28诸如可以使用热敏打印机、针式打印机等。
在这里，票据并不特别被限定，例如，票据也可以是打印有可以开具电子发票的二维码或者提取码等的票据。
卡读写器29具有读取卡所记录的数据的功能和向卡写入数据的功能。卡不仅包括信用卡、电子货币卡、预付卡等结算用卡，还可以包括被称为成员卡、积分卡等的会员卡。
此外，除结算用卡进行结算外，也可以是微信支付、支付宝支付、百度钱包支付等的扫码支付也可以是公众号支付、Apple Pay、NFC(近距离通信)支付、扫描支付、支付圈、财付通、盛付通、银联、一网通支付等，或者未来出现的新的支付手段，关于结算支付方法，这里没有特别限定，只要是能够支付货款(服务费用)就可以。
摄像头30是摄像顾客想购买的登记对象的商品的图像的摄像装置。摄像头30根据来自处理器20的指示摄像诸如预先规定的摄像范围内所载置的商品，并输出已摄像的图像数据(输入图像)。摄像头30能够摄像包含摄像范围内所载置的多个商品的图像。
通信单元31控制与包含通过LAN13连接的店铺计算机14、计算机16的其他电子设备的通信。
图2是表示本实施例中的图像处理功能部39的构成的框图。处理器20通过执行图像处理程序，实现图像处理功能部39所包含的各功能部。图像处理功能部39(处理器20)根据输入图像所包含的与商品对应的部分图像识别商品，而且，识别附加在商品上的减价标签所示的减价信息。
图像处理功能部39包括区域识别部(区域识别步骤)40、区域剪切(裁剪)部(区域剪切步骤)41、掩模(mask)生成部(掩模生成步骤)42及商品识别部(商品识别步骤)(第一屏蔽部43、引导生成部44、局部特征点抽出部45、特征点匹配部46、投影转换部47、第二屏蔽部48及详细匹配部49)。
区域识别部40针对通过摄像头30所摄像的输入图像识别与输入图像所映入的各个商品对应的商品区域和商品区域以外的区域，并生成表示各个区域的区域区分图像。
区域剪切部41基于通过区域识别部40已生成的区域区分图像，从输入图像中剪切与注目(关注)商品(作为商品登记的对象的商品)对应的部分图像。
掩模生成部42针对部分图像搜索(探索)预先已登记的图案图像，并基于检测位置生成屏蔽图案。也就是说，掩模生成部42针对通过区域剪切部41已剪切的部分图像，搜索与预先登记完的减价标签对应的第一图案图像。掩模生成部42当第一图案图像已被检测出时有源(导通、激活)地输出表示需要减价处理的减价标志，而且，基于第一图案图像已被检测出的位置生成第一掩模图案。掩模生成部42当第一图案图像已被检测出时，生成从部分图像检测出的第一图案图像所示的减价信息。此外，掩模生成部42当从部分图像中第一图案图像未被搜索出，而搜索出与标志标签(后述)对应的第三图案图像时，基于第三图案图像已被检测出的位置生成第三掩模图案。此外，掩模生成部42搜索相当于部分图像的条形码(第二图案图像)的区域。
第一屏蔽部43基于通过掩模生成部42生成的掩模图案(第一/第三掩模图案)，将部分图像的一部分(相当于掩模图案的区域)转换成一样的像素值并生成掩模部分图像。掩模部分图像是粘贴有标签的区域(标签区域)为空白的部分图像。
引导生成部44当通过掩模生成部42从部分图像中第一图案图像未搜索出，而搜索出与标志标签(后述)对应的第三图案图像时，有源(导通)地输出指示引导再次摄像商品的引导标志，而且，生成引导信息
局部特征点抽出部45针对掩模部分图像抽出基于特征点匹配部46的特征点匹配所用的局部特征点信息。
特征点匹配部46对通过局部特征点抽出部45从部分图像中抽出的局部特征点信息和预先已词库登记的商品的局部特征点信息进行核对，基于两者间的局部特征点的对应状态，输出表现两者的相对位置关系的投影转换矩阵和针对部分图像的作为识别候选的商品(一致候选商品)的商品信息。
投影转换部47基于通过特征点匹配部46输出的一致候选商品的商品信息，读取与商品信息对应的登记图像(包装图像)，基于投影转换矩阵进行投影转换并生成投影登记图像。
第二屏蔽部48基于通过掩模生成部42已生成的掩模图案(第一/第三掩模图案)，将投影登记图像的一部分转换成一样的像素值并生成掩模登记图像。掩模登记图像是相当于部分图像中的粘贴有标签的区域(标签区域)的区域为空白的登记图像。
详细匹配部49计算出掩模部分图像和掩模登记图像的相似度，并取得与基于相似度和规定的判定阈值判定的部分图像对应的商品的商品信息。此外，详细匹配部49从部分图像的附加有条形码的区域(条形码区域)读取条形码所示的商品代码，并取得与商品代码对应的商品的商品信息。
此外，处理器20通过图像处理程序，实现根据通过详细匹配部49输出的商品信息所示的商品的价格和通过掩模生成部42输出的减价信息进行减价处理的减价处理部(未图示)。
接着，对在本实施例中的POS终端11的动作进行说明。图3及图4是表示在本实施例中的POS终端11(处理器20)的动作的流程图。
在本实施例中的POS终端11中，当对顾客想购买的商品进行登记时，在将商品载置在基于摄像头30的摄像范围内后指示执行摄像(执行商品登记)。例如，当通过对触摸面板27的操作商品摄像被指示时，则处理器20指示摄像头30摄像。摄像头30根据来自处理器20的指示执行摄像，并输出已摄像的图像数据(输入图像)。处理器20输入通过摄像头30已摄像的图像(ActA1)。
图5是表示本实施例中的输入图像的一例图。图5所示的输入图像诸如包含有四个商品的图像G1、G2、G3、G4。此外，图像G1、G3包含有表示粘贴在商品上的减价标签的标签图像D1、D2。
以下，处理器20通过图像处理功能部39将输入图像S0作为对象执行商品识别的处理。区域识别部40针对输入图像S0识别输入图像所映入的与各个商品对应的商品区域和商品区域以外的区域，并生成表示各个区域的区域区分图像(ActA2)。区域剪切部41取得通过区域识别部40已生成的区域区分图像S1(ActA3)，并将关于一个商品(注目商品)的与识别处理对应的减价标志和引导标志无源(截至)地进行初始化(ActA4)。此外，区域剪切部41基于区域区分图像从输入图像中剪切相当于作为识别对象的一个商品(注目商品)的部分图像S2(ActA5)。
图6是表示本实施例中的区域区分图像的一例图。在图6所示的区域区分图像中，包含有与诸如四个商品的图像G1、G2、G3、G4的各个图像分别对应的商品区域GP1、GP2、GP3、GP4和除商品区域以外的区域。此外，在图像G1、G3中，包含有与表示粘贴在商品上的减价标签的标签图像D1、D2的各个标签图像分别对应的标签区域DP1、DP2。图7(A)是表示基于图6所示的区域区分图像已被剪切的与商品区域GP3对应的注目商品的部分图像一例图。
掩模生成部42针对部分图像S2搜索相当于预先已登记的减价标签图像的图案图像(ActA6)。在已登记的减价标签中，包含诸如在店铺中使用的折扣额、折扣率等不同的、或者形状、尺寸不同的多个种类的减价标签。掩模生成部42从部分图像中搜索用于检测出多种类的减价标签的预先已登记的图案图像。
图8(A)、图8(B)及图8(C)是表示减价标签和标志标签的一例图。图8(A)和图8(C)是记载有折扣率的减价标签。图8(B)是记载有折扣额的减价标签。在图8(A)和图8(B)所示的减价标签中分别附加有标志标签F1、F2。标志标签F1、F2以能够容易地与减价标签分离的方式被形成。标志标签F1、F2在减价标签被粘贴在商品上时被分离，诸如被粘贴在与粘贴有减价标签的面不同的面上。也就是说，只要在通过摄像头30摄像商品的图像时，摄像粘贴有减价标签或者标志标签的任一标签的面就可以。
图9是表示粘贴在商品上的减价标签和标志标签的一例图。图9所示的减价标签D3诸如粘贴在顾客或服务员(店员)容易识别的位置。服务员可以不注意(考虑)粘贴位置而粘贴在任意位置上。标志标签F3诸如被粘贴在与粘贴有减价标签的面不同的面上，例如被粘贴在记载有条形码的面上。通过这样，通过由摄像头30摄像减价标签D3或者标志标签F3的任一标签的面，从而能够根据部分图像识别是作为折扣对象的商品。
在这里，掩模生成部42当从部分图像中检测出减价标签图像时(ActA7的Yes)，在导通减价标志的同时，输出与从部分图像检测出的图案图像(减价标签图像)对应的减价信息S5(ActA8)。减价信息S5诸如示出减价标签所记载的减价额或减价率。此外，掩模生成部42基于从部分图像检测出的图案图像(减价标签图像)的检测位置，生成与减价标签对应的第一掩模图案(ActA9)。图7(B)示出与图7(A)所示的部分图像对应的第一掩模图案的一例。
此外，掩模生成部42当从部分图像中减价标签图像未被搜索出(ActA7的No)，而搜索出标志标签时(ActA10的Yes)，导通引导标志S4。引导生成部44通过引导标志被导通从而生成引导信息S7并进行输出。引导生成部44诸如输出针对店铺服务员或顾客的引导。引导生成部44，通过在触摸面板27中的画面显示、来自扬声器24的语音信息来输出诸如以摄像减价标签的面的方式重新放置商品从而再次以进行基于图像处理功能部39的摄像的方式进行催促的引导。另外，当在最开始的摄像中摄像有多个商品时，也可以在触摸面板27中显示表示作为重新放置的对象的商品(检测出标志标签的商品)的图像。
在这里，店铺服务员或顾客能够重新放置载置在摄像范围中的商品并再次指示商品的摄像(商品的登记处理)。处理器20当诸如通过对触摸面板27的操作再次指示商品摄像时(ActA13的Yes)，则向摄像头30指示摄像，并对通过摄像头30已摄像的图像数据(输入图像)执行与上述同样的处理(ActA1～)。另一方面，当输入有未进行商品的摄像的指示时(ActA13的No)，掩模生成部42基于从部分图像中检测出的图案图像(标志标签图像)的检测位置，生成与标志标签对应的第三掩模图案(ActA14)。
另外，当检测出标志标签图像时，也可以辨别为在商品的任意地方粘贴有减价标签从而导通减价标志。在这里，虽然当商品摄像再次未被进行时未获得减价信息，但是当在执行减价处理之前减价标签是导通的却没有获得减价信息时，也可以能够输出催促店铺服务员确认的信息(引导)。
另一方面，掩模生成部42当从部分图像中没有搜索出图案图像(减价标签图像、标志标签图像)时(ActA10的No)，实际上生成在掩模处理中不使用的虚拟的掩模图案(ActA11)。
而且，掩模生成部42搜索相当于部分图像的条形码(第二图案图像)的区域。详细匹配部49当通过掩模生成部42检测出相当于条形码(第二图案图像)的区域(条形码区域)S17时(ActA15的Yes)，读取条形码所表示的商品代码并输出与商品代码对应的商品的商品信息S16。
也就是说，图像处理功能部39还包括商品信息取得部(商品信息取得步骤)，当从部分图像中搜索出第二图案图像时，取得与第二图案图像对应的商品信息，其中，商品信息取得部(商品信息取得步骤)当从部分图像中第二图案图像未被搜索出时，基于掩模图像和登记图像的匹配取得与部分图像对应的商品信息。通过这样，即使没有搜索出第二图案图像，也能够通过掩模图像取得与部分图像对应的商品信息，从而店铺服务员无需考虑第一图案的粘贴位置能够减轻作业负担。
这时，处理器20基于通过图像处理功能部39已取得的商品信息，取得商品的通常价格(ActA27)。处理器20当减价标志处于导通状态时(ActA28的Yes)，基于通过掩模生成部42已输出的减价信息S5执行减价处理(ActA29)。也就是说，处理器20计算出与减价信息所示的减价率或减价额对应的减价后的商品的价格，并将该减价后的价格记录到登记商品明细表中。另外，处理器20当减价标志未处于导通状态时(ActA28的No)，不进行减价处理而将商品信息记录在登记商品明细表中。处理器20如果对区域区分图像所包含的所有的部分图像的识别处理未完成(ActA30的No)，则重复执行与上述同样的处理(ActA3～)。
另一方面，当通过掩模生成部42未检测出相当于条形码(第二图案图像)的区域时(ActA15的No)，第一屏蔽部43基于通过掩模生成部42已生成的掩模图案S3(第一掩模图案或者第三掩模图案)，生成将部分图像的一部分转换成一样的像素值的掩模部分图像S6(ActA17)。图7(C)示出基于图7(B)所示的第一掩模图案生成的掩模部分图像的一例。
局部特征点抽出部45从通过第一屏蔽部43已生成的掩模部分图像中抽出特征匹配所用的表示特征点的局部特征点信息S8(ActA18)。特征点匹配部46对通过局部特征点抽出部45从部分图像中已抽出的局部特征点信息S8和预先已词库登记的商品的局部特征点信息S9进行核对(ActA19)。特征点匹配部46基于特征量空间内的距离小于等于规定的阈值的特征点对的数量计算出特征点对应率并进行记录。此外，特征点匹配部46生成以下公式所示的表示局部特征点组彼此之间的相对位置关系的投影转换矩阵并进行记录。特征点匹配部46关于已词库登记的多个商品的各个商品重复执行与部分图像的局部特征点信息的核对。
图10是表示部分图像的特征点(区域)和已词库登记的商品的特征点(区域)的对应的图。在图10所示的核对的例子中，作为与输入图像的对应点的数：C(＝19)、输入图像的特征点总数：A(＝20)、特征点对应率：C/A(＝19/20)被计算出。
特征点匹配部46，基于通过对已词库登记的多个商品的各个商品进行核对而获得的关于各部分图像的特征点对应率，确定到其上位N位(N：作为识别候选的规定的商品数)的商品的商品信息S11和与其各个商品对应的投影转换矩阵S10(ActA20)。
投影转换部47从到N位的商品信息中选择一个商品信息(ActA21)，基于通过特征点匹配部46已生成的投影转换矩阵将与该商品信息对应的商品的登记图像S12进行投影转换并生成投影登记图像S13(ActA22)。以下，示出采用了生成投影登记图像的投影转换矩阵(3×3矩阵)的转换式的一例。不过，(x、y)：是投影转换前的特征点的像素位置座标，(x’、y’)：是投影转换后的特征点的像素位置座标。
“公式1”
图7(D)示出商品的登记图像的一例。图7(D)所示的商品的登记图像通过投影转换象图7(E)所示那样被转换。也就是说，被转换成与输入图像(部分图像)相同方向、位置的投影登记图像。
接着，第二屏蔽部48基于通过掩模生成部42已生成的掩模图案S3将投影登记图像的一部分转换成一样的像素值而生成掩模登记图像S14(ActA23)。图7(F)示出相当于针对图7(E)所示的投影登记图像的标签区域的区域为空白的掩模登记图像的一例。
详细匹配部49基于诸如以下的图像间的相似度计算公式计算出掩模部分图像S6和掩模登记图像S14的相似度(ActA24)。不过，S：是图像P和图像Q的相似度、x、y：是像素位置的座标、P(x、y)：是座标(x、y)中的图像P的像素值、Q(x、y)：是座标(x、y)中的图像Q的像素值。此外，当掩模部分图像和掩模登记图像为彩色图像时，对应每个颜色分量计算出相似度。
“公式2”
以下同样地，关于到N位的所有的商品信息重复用于计算出相似度的处理(ActA21～A25)。
详细匹配部49当计算出与到N位的所有的商品信息对应的相似度时，则指定相似度最大且大于等于预设的规定的判定阈值S15的商品的商品信息S16并进行输出(ActA26)。
处理器20当减价标志处于导通状态时(ActA28的Yes)，与上述同样地，基于通过掩模生成部42已输出的减价信息S5执行减价处理(ActA29)。处理器20当减价标志未处于导通状态时(ActA28的No)，不进行减价处理。处理器20如果对区域区分图像所包含的所有的部分图像的识别处理未完成(ActA30的No)，则重复执行与上述同样的处理(ActA3～)。
这样，在本实施例中的POS终端11，能够根据通过摄像头30已摄像的商品的图像，当在商品上粘贴有减价标签时，在进行了与减价标签所示的折扣(减价率、减价额)对应的折扣处理后，作为顾客想购买的商品记录在登记商品明细表中。
在本实施例中的图像处理功能部39中，由于能够根据通过摄像头30已摄像的一枚输入图像，执行基于附加在商品上的条形码或者包装图像的商品的识别和与减价标签对应的折扣处理，所以能够使登记商品的结账操作变简单。此外，通过摄像多个商品，能够在对粘贴有减价标签的商品恰当地进行了折扣处理后总括地登记各个处理。此外，在图像处理功能部39中，能够通过除条形码或者粘贴有减价标签的区域外的商品的包装图像和登记商品的图像的核对来识别商品。因此，无论在商品的任意地方粘贴有减价标签都能够识别商品，并在店铺店员粘贴减价标签时无需注意粘贴位置从而不用费多余精力就能解决。此外，即使没有摄像粘贴有减价标签的商品的面时，如果能够检测出标志标签，则也能够向顾客或者店铺服务员通知存在减价标签，因此，能够抑制顾客的折扣受到损害的危险。这样，能够减轻关于粘贴有减价标签的商品的作业负担并可靠地进行减价处理。
根据以上那样，在本发明中，能够减轻对粘贴有用于减价的标签的商品的作业负担并可靠地进行减价处理。
在本发明中，只要搜索出第一图案图像和第三图案图像的任一图案图像就能够取得与部分图像对应的商品信息。
在本发明中，能够可靠地对与搜索出第一图案图像的部分图像对应的商品信息进行减价处理。
在本发明中，能够更准确地取得与所述部分图像对应的商品信息。
此外，在本发明中，提供了一种终端设备，包括处理器和存储器，所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行上述的控制方法所对应的操作。通过这样，可以实现能够减轻对粘贴有用于减价的标签的商品的作业负担并可靠地进行减价处理的功能。
虽然对本发明的几个实施例进行了说明，但是这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他的各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、替换、变更。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。

Claims (10)

1.一种图像处理装置，包括：
区域剪切部，从输入图像中剪切与商品对应的部分图像；
掩模生成部，当从所述部分图像中搜索出第一图案图像时，根据所述第一图案图像生成减价信息，而且，基于所述第一图案图像已被检测出的位置生成第一掩模图案；
商品识别部，通过对所述部分图像通过第一掩模图案已屏蔽的掩模图像和与多个商品分别对应的登记图像的匹配，来指定与所述部分图像对应的商品从而取得与所述部分图像对应的商品信息；以及
减价处理部，根据所述商品信息所示的所述商品的价格和所述减价信息进行减价处理。
2.根据权利要求1所述的图像处理装置，还包括：
商品信息取得部，当从所述部分图像中搜索出第二图案图像时，取得与所述第二图案图像对应的商品信息，
其中，所述商品识别部当从所述部分图像中所述第二图案图像未被搜索出时，基于所述掩模图像和所述登记图像的匹配取得与所述部分图像对应的商品信息。
3.根据权利要求2所述的图像处理装置，其中，
所述掩模生成部当从所述部分图像中未搜索出所述第一图案图像而搜索出第三图案图像时，基于所述第三图案图像已被检测出的位置生成第三掩模图案，
所述商品识别部当从所述部分图像中所述第二图案图像未被搜索出时，通过对所述部分图像通过所述第三掩模图案已进行屏蔽的掩模图像和与多个商品分别对应的登记图像的匹配，来指定与所述部分图像对应的商品从而取得与所述部分图像对应的商品信息。
4.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述区域剪切部从所述输入图像中剪切与多个商品分别对应的多个部分图像，
所述减价处理部对与通过所述掩模生成部搜索出所述第一图案图像的部分图像对应的所述商品信息进行减价处理。
5.根据权利要求1所述的图像处理装置，其中，
所述商品识别部，包括：
第一屏蔽部，基于所述第一掩模图案将所述部分图像的一部分转换成一样的像素值而生成掩模部分图像；
局部特征点抽出部，针对所述掩模部分图像抽出局部特征点信息；
特征点匹配部，对所述局部特征点信息和预先已词库登记的商品图像的局部特征点信息进行核对，并基于所述掩模部分图像和所述商品图像两者之间的局部特征点的对应状态，输出表现两者的相对位置关系的投影转换矩阵和与所述部分图像的内容对应的候选商品的商品信息；
投影转换部，读取与所述候选商品的商品信息对应的登记图像，并生成基于所述投影转换矩阵将所述登记图像进行了投影转换的投影登记图像；
第二屏蔽部，基于所述第一掩模图案，将所述投影登记图像的一部分转换成一样的像素值而生成掩模登记图像；以及
详细匹配部，计算出所述掩模部分图像和所述掩模登记图像的相似度，并基于所述相似度和规定的判定阈值输出与所述部分图像对应的商品信息。
6.一种基于图像处理装置的控制方法，包括以下步骤：
区域剪切步骤，从输入图像中剪切与商品对应的部分图像；
掩模生成步骤，当从所述部分图像中搜索出第一图案图像时，根据所述第一图案图像生成减价信息，而且，基于所述第一图案图像已被检测出的位置生成第一掩模图案；
商品识别步骤，通过对所述部分图像通过第一掩模图案已屏蔽的掩模图像和与多个商品分别对应的登记图像的匹配，来指定与所述部分图像对应的商品从而取得与所述部分图像对应的商品信息；以及
减价处理步骤，根据所述商品信息所示的所述商品的价格和所述减价信息进行减价处理。
7.根据权利要求6所述的控制方法，还包括以下步骤：
商品信息取得步骤，当从所述部分图像中搜索出第二图案图像时，取得与所述第二图案图像对应的商品信息，
其中，在所述商品识别步骤中，当从所述部分图像中所述第二图案图像未被搜索出时，基于所述掩模图像和所述登记图像的匹配取得与所述部分图像对应的商品信息。
8.根据权利要求7所述的控制方法，其中，
在所述掩模生成步骤中，当从所述部分图像中未搜索出所述第一图案图像而搜索出第三图案图像时，基于所述第三图案图像已被检测出的位置生成第三掩模图案，
在所述商品识别步骤中，当从所述部分图像中所述第二图案图像未被搜索出时，通过对所述部分图像通过所述第三掩模图案已进行屏蔽的掩模图像和与多个商品分别对应的登记图像的匹配，来指定与所述部分图像对应的商品从而取得与所述部分图像对应的商品信息。
9.根据权利要求6至9中任一项所述的控制方法，其中，
在所述区域剪切步骤中，从所述输入图像中剪切与多个商品分别对应的多个部分图像，
在所述减价处理步骤中，对与通过所述掩模生成步骤搜索出所述第一图案图像的部分图像对应的所述商品信息进行减价处理。
10.一种终端设备，包括处理器和存储器，其特征在于，
所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行如权利要求6至9任一项所述的控制方法所对应的操作。
CN201710168531.5A 2016-04-07 2017-03-21 图像处理装置及其控制方法、终端设备 Pending CN107273900A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP2016-077231 2016-04-07
JP2016077231A JP6736334B2 (ja) 2016-04-07 2016-04-07 画像処理装置

Publications (1)

Publication Number Publication Date
CN107273900A true CN107273900A (zh) 2017-10-20

Family

ID=58428086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710168531.5A Pending CN107273900A (zh) 2016-04-07 2017-03-21 图像处理装置及其控制方法、终端设备

Country Status (4)

Country Link
US (1) US20170293820A1 (zh)
EP (1) EP3229195A1 (zh)
JP (1) JP6736334B2 (zh)
CN (1) CN107273900A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958252A (zh) * 2017-11-23 2018-04-24 深圳码隆科技有限公司 一种商品识别方法和设备
CN108509847A (zh) * 2017-12-18 2018-09-07 上海云拿智能科技有限公司 货品分类系统及货品分类方法
CN109543057A (zh) * 2018-11-20 2019-03-29 广州逗号智能零售有限公司 基于智能收银台的商品识别方法、装置、设备及存储介质
CN111709505A (zh) * 2020-06-08 2020-09-25 虫极科技（北京）有限公司 短保质期商品的印刷标签、标签系统及管理方法
CN113661497A (zh) * 2020-04-09 2021-11-16 商汤国际私人有限公司 一种匹配方法、装置、电子设备及计算机可读存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11822341B2 (en) * 2017-12-28 2023-11-21 Sony Corporation Control device, control method, and mobile object to estimate the mobile object's self-position
KR101850315B1 (ko) * 2018-01-22 2018-05-31 주식회사 엑사스코프 하이브리드 상품 인식 기술이 적용된 셀프 체크 아웃 기기
JP7070674B2 (ja) * 2018-05-09 2022-05-18 日本電気株式会社 登録システム、登録方法及びプログラム
SG10201913798WA (en) * 2019-12-30 2021-07-29 Sensetime Int Pte Ltd Image processing method and apparatus, and electronic device
US11354883B2 (en) 2019-12-30 2022-06-07 Sensetime International Pte. Ltd. Image processing method and apparatus, and electronic device
JP7253573B2 (ja) * 2020-04-09 2023-04-06 センスタイム インターナショナル ピーティーイー．リミテッド マッチング方法、装置、電子機器及びコンピュータ可読記憶媒体
WO2024029533A1 (ja) * 2022-08-03 2024-02-08 京セラ株式会社 学習データ生成方法、学習済みモデル、情報処理装置、及び情報処理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110123114A1 (en) * 2009-11-24 2011-05-26 Samsung Electronics Co., Ltd. Character recognition device and method and computer-readable medium controlling the same
CN102385782A (zh) * 2010-09-02 2012-03-21 东芝泰格有限公司 商品信息处理装置及商品信息处理方法
US20130058541A1 (en) * 2011-09-06 2013-03-07 Toshiba Tec Kabushiki Kaisha Image processing apparatus and method
US20130243307A1 (en) * 2012-03-16 2013-09-19 Thomson Licensing Object identification in images or image sequences
CN104036304A (zh) * 2013-03-04 2014-09-10 东芝泰格有限公司 信息处理装置及其控制方法
US20150294460A1 (en) * 2014-04-15 2015-10-15 Gauss Surgical, Inc. Method for estimating a quantity of a blood component in a fluid canister
WO2016002697A1 (ja) * 2014-07-01 2016-01-07 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4970008B2 (ja) * 2006-11-27 2012-07-04 東芝テック株式会社 シール読取装置，データコード読取装置，特典シール
US8109439B2 (en) * 2008-04-08 2012-02-07 Toshiba Tec Kabushiki Kaisha Commodity registration processing apparatus
JP5259789B2 (ja) * 2010-08-31 2013-08-07 東芝テック株式会社 情報読取装置、商品販売情報処理装置、および貼付物
JP5320360B2 (ja) * 2010-09-02 2013-10-23 東芝テック株式会社 商品コード読取装置及びプログラム
JP5149950B2 (ja) * 2010-10-28 2013-02-20 東芝テック株式会社 商品情報読取装置及びプログラム
JP5502821B2 (ja) * 2011-08-30 2014-05-28 東芝テック株式会社 コード読取装置、販売データ処理装置およびプログラム
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
JP5681682B2 (ja) * 2012-09-06 2015-03-11 東芝テック株式会社 情報処理装置及びプログラム
WO2014049729A1 (ja) * 2012-09-26 2014-04-03 株式会社 東芝 動画像認識装置及び動画像認識方法
CN105074731B (zh) * 2012-12-19 2019-06-28 电装波动株式会社 信息码、信息码生成方法、信息码读取装置以及信息码应用系统
US20150371375A1 (en) * 2014-06-24 2015-12-24 Kabushiki Kaisha Toshiba Merchandise identification apparatus, method of recognizing discount of merchandise, and freshness degree label
JP6348784B2 (ja) * 2014-06-27 2018-06-27 東芝テック株式会社 情報処理装置及びプログラム
US9256775B1 (en) * 2014-12-23 2016-02-09 Toshiba Tec Kabushiki Kaisha Image recognition apparatus and commodity information processing apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110123114A1 (en) * 2009-11-24 2011-05-26 Samsung Electronics Co., Ltd. Character recognition device and method and computer-readable medium controlling the same
CN102385782A (zh) * 2010-09-02 2012-03-21 东芝泰格有限公司 商品信息处理装置及商品信息处理方法
US20130058541A1 (en) * 2011-09-06 2013-03-07 Toshiba Tec Kabushiki Kaisha Image processing apparatus and method
US20130243307A1 (en) * 2012-03-16 2013-09-19 Thomson Licensing Object identification in images or image sequences
CN104036304A (zh) * 2013-03-04 2014-09-10 东芝泰格有限公司 信息处理装置及其控制方法
US20150294460A1 (en) * 2014-04-15 2015-10-15 Gauss Surgical, Inc. Method for estimating a quantity of a blood component in a fluid canister
WO2016002697A1 (ja) * 2014-07-01 2016-01-07 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958252A (zh) * 2017-11-23 2018-04-24 深圳码隆科技有限公司 一种商品识别方法和设备
CN108509847A (zh) * 2017-12-18 2018-09-07 上海云拿智能科技有限公司 货品分类系统及货品分类方法
CN108509847B (zh) * 2017-12-18 2021-07-20 上海云拿智能科技有限公司 货品分类系统及货品分类方法
CN109543057A (zh) * 2018-11-20 2019-03-29 广州逗号智能零售有限公司 基于智能收银台的商品识别方法、装置、设备及存储介质
CN113661497A (zh) * 2020-04-09 2021-11-16 商汤国际私人有限公司 一种匹配方法、装置、电子设备及计算机可读存储介质
CN111709505A (zh) * 2020-06-08 2020-09-25 虫极科技（北京）有限公司 短保质期商品的印刷标签、标签系统及管理方法
CN111709505B (zh) * 2020-06-08 2024-04-16 虫极科技（北京）有限公司 短保质期商品的印刷标签、标签系统及管理方法

Also Published As

Publication number Publication date
EP3229195A1 (en) 2017-10-11
US20170293820A1 (en) 2017-10-12
JP2017187971A (ja) 2017-10-12
JP6736334B2 (ja) 2020-08-05

Similar Documents

Publication Publication Date Title
CN107273900A (zh) 图像处理装置及其控制方法、终端设备
US9076177B2 (en) System and method for providing commodity information, and storage medium containing related program
US20160364925A1 (en) Checkout system including a register machine and one or more payment machines
US9027833B2 (en) Commodity information display apparatus and method for displaying commodity information in different forms
CN108335436A (zh) 结账装置及控制方法、终端设备
EP3611683A1 (en) Checkout system
US10726682B2 (en) Checkout apparatus
US20170091743A1 (en) Checkout system, accounting machine, and control program
US20180240087A1 (en) Checkout system
CN109658641A (zh) 读取装置及控制方法
US20170083984A1 (en) Tax exemption processing system, information processing apparatus and method for simplifying management of taxable amount
JP2023162229A (ja) 監視装置及びプログラム
US20180158041A1 (en) Checkout system, registration device, settlement device, and control method
US20220058609A1 (en) Image analysis apparatus, monitoring system, and checkout system
JP7099559B2 (ja) 免税処理装置、免税処理方法およびプログラム
JP2023077805A (ja) 決済者監視装置及びそのプログラム、決済者監視方法
JP5894064B2 (ja) 帳票表示システム、帳票表示装置、及び帳票表示方法
CN206757809U (zh) 一种具有点钞功能的pos机
JP7214967B2 (ja) 商品情報取得装置、商品情報取得方法、およびプログラム
US20190066077A1 (en) Settlement terminal device and control method of settlement terminal device
JP6825312B2 (ja) 免税処理装置、免税処理方法およびプログラム
EP3525149A1 (en) Commodity sales data registration device and commodity sales data registration method
JP7415509B2 (ja) 取引データ処理装置、端末装置、取引データ処理システム及びプログラム
JP7189726B2 (ja) 読取装置及びプログラム
JP2022168090A (ja) 商品読取機および会計機

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171020