CN111753837A - 学习完毕模型生成方法及其装置、商品判别方法及其装置 - Google Patents

学习完毕模型生成方法及其装置、商品判别方法及其装置 Download PDF

Info

Publication number
CN111753837A
CN111753837A CN202010203532.0A CN202010203532A CN111753837A CN 111753837 A CN111753837 A CN 111753837A CN 202010203532 A CN202010203532 A CN 202010203532A CN 111753837 A CN111753837 A CN 111753837A
Authority
CN
China
Prior art keywords
product
image
divided
commodity
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010203532.0A
Other languages
English (en)
Inventor
堤弘法
府中谷洸介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ishida Co Ltd
Original Assignee
Ishida Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ishida Co Ltd filed Critical Ishida Co Ltd
Publication of CN111753837A publication Critical patent/CN111753837A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283—Price estimation or determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Economics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Nutrition Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)

Abstract

本发明涉及学习完毕模型生成方法及其装置、商品判别方法及其装置。本发明的计量系统(1)具备从包含商品的商品图像判别商品的种类的服务器(200)、和根据包含商品的对象图像判别商品的种类的计量器(100)。服务器(200)具备：获取商品图像和与商品的种类相关的商品信息的获取部；将商品图像分割为多个区域并获取多个分割图像的分割部；从多个分割图像中提取满足与商品的拍入量相关的规定条件的多个分割图像的提取部；以及根据通过提取部提取出的多个分割图像进行机器学习，生成判别模型的生成部。计量器(100)具备获取利用判别模型进行处理的处理结果，并根据处理结果判别商品的种类的判别部(33)。

Description

学习完毕模型生成方法及其装置、商品判别方法及其装置
技术领域
本发明的一个方面涉及学习完毕模型生成方法、学习完毕模型生成装置、商品判别方法、商品判别装置以及计量装置。
背景技术
目前，已知有根据包含商品的图像来判别商品的方法。例如，在专利文献1(日本特开2015-64628号公报)所记载的商品判别方法中，提取出商品的图像的特征量，并将该特征量与学习数据中的特征量进行比较，从而识别商品的种类。
发明内容
作为超市等中销售的商品，例如有沙拉、副食等。沙拉、副食等中混合有多个食品，并且形状不一定。这样，在商品的形状为不规则形状的情况下，难以获取商品的特征量。因此，商品的判别精度可能会降低。
本发明的一个方面的目的在于，提供实现提高商品的判别精度的学习完毕模型生成方法、学习完毕模型生成装置、商品判别方法、商品判别装置以及计量装置。
本发明的一个方面涉及的学习完毕模型生成方法是根据包含商品的商品图像判别所述商品的种类的判别模型的生成方法，包括：获取步骤，获取商品图像和与商品的种类相关的商品信息；分割步骤，将商品图像分割为多个区域，获取多个分割图像；提取步骤，根据与商品的拍入量相关的规定条件，从多个分割图像中提取规定的分割图像；以及生成步骤，使提取步骤中提取出的多个分割图像与商品信息建立关联而进行机器学习，从而生成判别模型。
本发明的一个方面涉及的学习完毕模型生成方法中，根据与商品的拍入量相关的规定条件从多个分割图像中提取规定的分割图像。分割图像中包括仅拍入了商品的图像、拍入了商品及商品以外的物品(容器、背景等)的图像、以及仅拍入了商品以外的物品的图像。在学习完毕模型生成方法中，根据规定条件从上述分割图像中提取分割图像，并根据提取出的分割图像进行机器学习。由此，在学习完毕模型生成方法中，能够进行基于适当的示教图像的机器学习。因此，在学习完毕模型生成方法中，能够生成实现提高商品的判别精度的判别模型。
在一个实施方式中，在提取步骤中，也可以从多个分割图像中提取满足规定条件的多个分割图像。在该方法中，能够根据适当的示教图像进行机器学习。因此，在学习完毕模型生成方法中，能够生成实现提高商品的判别精度的判别模型。
在一个实施方式中，在提取步骤中，也可以提取商品以外的拍入量在阈值以下的分割图像。换言之，在提取步骤中，提取商品的拍入量比阈值多的分割图像。在该方法中，提取商品的占有率高的分割图像。即，在学习完毕模型生成方法中，能够排除拍入了商品以外的容器或背景的分割图像。因此，在学习完毕模型生成方法中，能够根据拍入了商品的分割图像进行机器学习。因此，在学习完毕模型生成方法中，能够生成实现提高商品的判别精度的判别模型。
在一个实施方式中，在提取步骤中，也可以使用通过基于不包含商品的图像的机器学习而生成的提取模型，针对多个分割图像分别获取表示是不包含商品的分割图像的概率的非商品似然度，并提取非商品似然度在阈值以下的分割图像。在该方法中，能够适当地仅提取拍入了商品的分割图像。
在一个实施方式中，提取模型的生成也可以包括：第一步骤，获取不包含商品的非商品图像；第二步骤，将非商品图像分割为多个区域，获取多个非商品分割图像；以及第三步骤，根据多个非商品分割图像进行机器学习，生成提取模型。由此，在学习完毕模型生成方法中，能够适当地生成提取模型。
在一个实施方式中，也可以是在分割步骤中，以多个分割图像各自的区域呈矩形且全部为相同尺寸的方式分割商品图像；在第二步骤中，以多个非商品分割图像分别与分割图像为相同形状和相同尺寸的方式分割非商品图像。在该方法中，由于分割图像与非商品分割图像为相同形状和相同尺寸，因此，不需要进行用于转换图像的形状、大小的转换处理。因此，在学习完毕模型生成方法中，实现减轻处理负荷。
在一个实施方式中，也可以是在提取步骤中，在多个分割图像中提取商品以外的拍入量成为阈值以下的一个分割图像和商品以外的拍入量比阈值多的其他分割图像，使商品信息与一个分割图像建立对应，并使表示是商品以外的非商品信息与其他的分割图像建立对应；在生成步骤中，根据在提取步骤中提取出的一个分割图像和其他的分割图像进行机器学习，生成判别模型。在该方法中，根据标记有商品信息的分割图像和标记有非商品信息的其他图像进行机器学习。这样，由于是区别(分类)为拍入了商品的分割图像和商品的拍入量少(未拍入)的分割图像进行机器学习，因而能够生成实现提高商品的判别精度的判别模型。
在一个实施方式中，也可以是在提取步骤中，根据不包含商品的图像的像素的特征量，从多个分割图像中提取像素的包含比例在规定的阈值以下的分割图像。在该方法中，能够适当地仅提取拍入了商品的分割图像。
在一个实施方式中，也可以是在分割步骤中，以一个分割图像与其他分割图像至少一部分重叠的方式分割商品图像。在该方法中，在分割商品图像时，即使在一个分割图像中商品所包含的一个物品被切断的情况下，有时也会在其他分割图像中完整包含一个物品。因此，在学习完毕模型生成方法中，由于能够根据适当的示教图像进行机器学习，因而能够生成实现提高商品的判别精度的判别模型。
在一个实施方式中，也可以在分割步骤中，以相对于一个区域而使其他的区域在商品图像的像素的排列方向即第一方向或与第一方向正交的第二方向上移动规定量的方式，设定分割商品图像的区域。在该方法中，通过使区域移动规定量，能够以各像素被包含在沿移动方向排列的各区域中的次数均等的方式分割商品图像。
在一个实施方式中，也可以在分割步骤中，以多个分割图像各自的区域呈矩形且全部为相同尺寸的方式分割商品图像。在该方法中，由于分割图像全部为相同形状和相同尺寸，因此，不需要进行用于转换图像的形状、大小的转换处理。因此，在学习完毕模型生成方法中，实现减轻处理负荷。
在一个实施方式中，也可以包括切出步骤，将商品图像与不包含商品的基础图像进行比较，从商品图像切出至少包含商品整体且比商品图像小的商品区域；在分割步骤中，将商品区域分割为多个区域，获取多个分割图像。在该方法中，由于在商品图像中使用排除了商品以外的部分的商品区域进行分割，因而不需要分割不需要的区域。因此，在学习完毕模型生成方法中，实现减轻处理负荷。
本发明的一个方面涉及的学习完毕模型生成装置是根据包含商品的商品图像判别商品的种类的判别模型的生成装置，其具备：获取部，获取商品图像和与商品的种类相关的商品信息；分割部，将商品图像分割为多个区域，获取多个分割图像；提取部，根据与商品的拍入量相关的规定条件，从多个分割图像中提取多个分割图像；以及生成部，根据通过提取部提取出的多个分割图像进行机器学习，生成判别模型。
在本发明的一个方面涉及的学习完毕模型生成装置中，根据与商品的拍入量相关的规定条件从多个分割图像中提取规定的分割图像。分割图像中包括仅拍入了商品的图像、拍入了商品及商品以外的物品(容器、背景等)的图像、以及仅拍入了商品以外的物品的图像。在学习完毕模型生成装置中，根据规定条件从上述分割图像中提取分割图像，并根据提取出的分割图像进行机器学习。由此，在学习完毕模型生成装置中，能够根据适当的示教图像进行机器学习。因此，在学习完毕模型生成装置中，能够生成实现提高商品的判别精度的判别模型。
本发明的一个方面涉及的商品判别方法使用通过上述学习完毕模型生成方法生成的判别模型，根据包含商品的对象图像判别商品的种类，其包括：第一获取步骤，将对象图像分割为多个区域，获取多个分割对象图像；第二获取步骤，从多个分割对象图像中获取满足与商品的拍入量相关的规定条件的多个分割对象图像；以及判别步骤，针对在第二获取步骤中获取的多个分割对象图像，获取利用判别模型进行处理的处理结果，并根据处理结果判别商品的种类。
在本发明的一个方面涉及的商品判别方法中，使用上述判别模型判别商品的种类。因此，在商品判别方法中，实现提高商品的判别精度。另外，在商品判别方法中，从多个分割对象图像中获取满足与商品的拍入量相关的规定条件的多个分割对象图像。分割对象图像中包括仅拍入了商品的图像、拍入了商品及商品以外的物品(容器、背景等)的图像、以及仅拍入了商品以外的物品的图像。在商品判别方法中，从上述分割对象图像中获取满足规定条件的分割对象图像，并利用判别模型对获取的分割对象图像进行处理。由此，在商品判别方法中，能够根据适当的分割对象图像进行处理。因此，在商品判别方法中，实现提高商品的判别精度。
在一个实施方式中，也可以在第二获取步骤中，获取商品以外的拍入量在阈值以下的分割对象图像。在该方法中，获取商品的占有率高的图像。即，能够排除拍入了商品以外的容器或背景的图像。因此，在商品判别方法中，实现提高商品的判别精度。
在一个实施方式中，也可以在第二获取步骤中，使用通过基于不包含商品的图像的机器学习生成的获取模型，针对多个分割对象图像分别获取表示是不包含商品的分割对象图像的概率的非商品似然度，并获取非商品似然度在阈值以下的分割对象图像。在该方法中，能够适当地仅获取拍入了商品的分割对象图像。
在一个实施方式中，也可以在第一获取步骤中，以多个分割对象图像各自的区域呈矩形且全部为相同尺寸的方式分割对象图像。在该方法中，由于分割对象图像全部为相同形状和相同尺寸，因此，不需要进行用于转换图像的形状、大小的转换处理。因此，在商品判别方法中，实现减轻处理负荷。
本发明的一个方面涉及的商品判别方法使用通过上述学习完毕模型生成方法生成的判别模型，根据包含商品的对象图像判别商品的种类，其包括：分割图像获取步骤，将对象图像分割为多个区域，获取多个分割对象图像；以及判别步骤，针对在分割图像获取步骤中获取的多个分割对象图像，在利用判别模型进行处理的处理结果中，获取表示是商品的概率的商品似然度和表示是商品以外的概率的非商品似然度，并根据商品似然度判别商品的种类。
在本发明的一个方面涉及的商品判别方法中，使用上述判别模型判别商品的种类。因此，在商品判别方法中，实现提高商品的判别精度。另外，在商品判别方法中，在利用判别模型进行处理的处理结果中，获取表示是商品的概率的商品似然度和表示是商品以外的概率的非商品似然度，并根据商品似然度判别商品的种类。由此，在商品判别方法中，实现提高商品的判别精度。
在一个实施方式中，也可以在判别步骤中，针对多个分割对象图像分别利用判别模型进行处理而获取多个处理结果，并根据多个处理结果判别商品的种类。在该方法中，由于利用判别模型对各个分割对象图像进行处理，并得到多个处理结果，因而实现更进一步提高商品的判别精度。
在一个实施方式中，也可以在判别步骤中，根据表示商品为一个种类的概率的商品似然度的程度大小来对处理结果进行加权，并根据对处理结果赋予的权重的多数决多数决定的方式判别商品的种类。在该方法中，能够更高精度地判别商品。
在一个实施方式中，也可以在判别步骤中，在对象图像中包含多个商品的情况下，根据包含多个商品的每一个的各个区域的处理结果来判别多个商品各自的种类。在该方法中，能够判别对象图像所包含的多个商品各自的种类。
本发明的一个方面涉及的商品判别装置使用通过上述学习完毕模型生成方法生成的判别模型，根据包含商品的对象图像判别商品的种类，其具备：第一获取部，将对象图像分割为多个区域，获取多个分割对象图像；第二获取部，从多个分割对象图像中获取满足与商品的拍入量相关的规定条件的多个分割对象图像；以及判别部，针对通过第二获取部获取的多个分割对象图像，获取利用判别模型进行处理的处理结果，并根据处理结果判别商品的种类。
在本发明的一个方面涉及的商品判别装置中，使用上述判别模型判别商品的种类。因此，在商品判别装置中，实现提高商品的判别精度。另外，在商品判别装置中，从多个分割对象图像中获取满足与商品的拍入量相关的规定条件的多个分割对象图像。分割对象图像中包括仅拍入了商品的图像、拍入了商品及商品以外的物品(容器、背景等)的图像、以及仅拍入了商品以外的物品的图像。在商品判别装置中，从上述分割对象图像中获取满足规定条件的分割对象图像，并利用判别模型对获取的分割对象图像进行处理。由此，在商品判别装置中，能够根据适当的分割对象图像进行处理。因此，在商品判别装置中，实现提高商品的判别精度。
本发明的一个方面涉及的商品判别系统具备根据包含商品的商品图像判别商品的种类的判别模型的生成装置、和根据包含商品的对象图像判别商品的种类的判别装置，其中，生成装置具备：获取部，获取商品图像和与商品的种类相关的商品信息；分割部，将商品图像分割为多个区域，获取多个第一分割图像；提取部，从多个第一分割图像中提取满足与商品的拍入量相关的规定条件的多个第一分割图像；以及生成部，将通过提取部提取出的多个第一分割图像与商品信息建立关联来进行机器学习，生成判别模型，判别装置具备：第一获取部，将对象图像分割为多个区域，获取多个第二分割图像；第二获取部，从多个第二分割图像中获取满足与商品的拍入量相关的规定条件的多个第二分割图像；以及判别部，针对通过第二获取部获取的多个第二分割图像，获取利用判别模型进行处理的处理结果，并根据处理结果判别商品的种类。
在本发明的一个方面涉及的商品判别系统的生成装置中，从多个分割图像中获取满足与商品的拍入量相关的规定条件的多个第一分割图像。第一分割图像中包括仅拍入了商品的图像、拍入了商品及商品以外的物品(容器、背景等)的图像、以及仅拍入了商品以外的物品的图像。在生成装置中，从上述第一分割图像中提取满足规定条件的第一分割图像，并根据提取出的第一分割图像进行机器学习。由此，在生成装置中，能够根据适当的示教图像进行机器学习。因此，在生成装置中，能够生成实现提高商品的判别精度的判别模型。
另外，在商品判别系统的判别装置中，从多个第二分割图像中获取满足与商品的拍入量相关的规定条件的多个分割图像。在判别装置中，从第二分割图像中获取满足规定条件的第二分割图像，并利用判别模型对获取的第二分割图像进行处理。由此，在判别装置中，能够根据适当的第二分割图像进行处理。因此，在商品判别系统中，实现提高商品的判别精度。
本发明的一个方面涉及的计量装置使用通过上述学习完毕模型生成方法生成的判别模型，根据包含商品的对象图像判别商品的种类，并计算商品的价格，其具备：计量部，计量商品的重量；拍摄部，拍摄商品；判别部，针对通过拍摄部拍摄的对象图像，获取利用判别模型进行处理的处理结果，并根据处理结果判别商品的种类；以及计算部，根据计量部计量出的商品的重量和判别部判别出的商品的种类计算商品的价格。
在本发明的一个方面涉及的计量装置中，使用上述判别模型判别商品的种类。因此，在计量装置中，实现提高商品的判别精度。
根据本发明的一个方面，实现提高商品的判别精度。
附图说明
图1是表示一实施方式涉及的计量器的构成的图。
图2是表示计量器的立体图。
图3是表示计量装置的构成的图。
图4是表示控制装置的构成的图。
图5是表示判别部中的商品判别方法的图。
图6是表示包含商品的对象图像的图。
图7A是表示分割对象图像的图。
图7B是表示分割对象图像的图。
图7C是表示分割对象图像的图。
图7D是表示分割对象图像的图。
图8是表示神经网络的图。
图9是表示神经网络的图。
图10是表示通过学习完毕模型生成部生成提取模型的生成方法的图。
图11是表示不包含商品的非商品图像的图。
图12是表示通过学习完毕模型生成部生成判别模型的生成方法的图。
图13是表示包含商品的商品图像的图。
图14A是表示分割图像的图。
图14B是表示分割图像的图。
图14C是表示分割图像的图。
图14D是表示分割图像的图。
图15是表示包含商品的对象图像的图。
具体实施方式
以下，参照附图对本发明的优选实施方式详细进行说明。需要说明的是，在附图的说明中，对相同或相当的要素标注相同的附图标记，并省略重复的说明。
如图1所示，计量系统(商品判别系统)1具备计量器(商品判别装置)100和服务器(学习完毕模型生成装置)200。计量器100与服务器200以能够通信的方式连接。
计量器100具备计量装置2、控制装置3、显示装置4以及照相机(拍摄部)5。计量装置2与控制装置3以能够相互通信的方式连接。控制装置3与照相机5以能够通信的方式连接。计量装置2与显示装置4以能够通信的方式连接。
计量装置2为电子秤。计量装置2具有计量商品S(参照图6)的重量，并且发放粘贴于计量完的商品S上的标签LC的功能。在本实施方式中，商品S是放入容器P的食品(沙拉、副食)等。在此，容器P具有透明的盖部。盖部为有色或无色，由使光透过的材料形成。照相机5通过拍摄透过容器P的盖部的光，从而拍摄容器P中的商品S。
如图2所示，在本实施方式中，计量装置2被收纳于框体10中。框体10具有收纳部11、保持部12以及连结部13。收纳部11收纳计量装置2。收纳部11呈箱状。收纳部11中设置有使计量装置2的计量部21的计量台21a露出的第一开口部11a、和使计量装置2的操作部22露出的第二开口部11b。
保持部12中配置有控制装置3、照相机5、第一照明部6以及第二照明部7。保持部12配置于收纳部11上。控制装置3配置于保持部12上。连结部13连结收纳部11与保持部12。连结部13沿上下方向延伸。连结部13的背面配置有显示装置4。显示装置4例如是液晶显示器。显示装置4进行针对顾客的显示。
照相机5在计量装置2的计量台21a(后述)的上方配置于与计量台21a相对的位置处。照相机5将拍摄到的图像数据输出至控制装置3。另外，照相机5将拍摄到的图像数据输出至服务器200。
第一照明部6及第二照明部7例如是LED照明。第一照明部6及第二照明部7在计量装置2的计量台21a的上方配置于与计量台21a相对的位置处。第一照明部6和第二照明部7在框体10的宽度方向上隔开规定的间隔而配置。具体而言，第一照明部6和第二照明部7在框体10的宽度方向上配置于将照相机5夹在中间的位置处。
如图3所示，计量装置2具有控制单元20、计量部21、操作部22以及标签发放部23。
控制单元20是控制计量装置2中的各种动作的部分，其构成包括CPU(CentralProcessing Unit：中央处理器)、ROM(Read Only Memory：只读存储器)、RAM(RandomAccess Memory：随机存取存储器)等。控制单元20控制后述的触摸面板显示器22a的显示。
计量部21的构成包括计量台21a、未图示的测压元件、信号处理电路以及发送模块。计量台21a载置商品S。测压元件设置于计量台21a的下方。测压元件将通过在计量台21a上载置被计量物而产生的机械应变转换为电信号。信号处理电路将从测压元件输出的电信号放大并转换为数字信号。发送模块将数字信号输出至控制单元20。
操作部22包括触摸面板显示器22a和固定键22b。在触摸面板显示器22a中，通过控制单元20的控制而显示与计量装置2中计量的商品S相关的信息、计量装置2的操作所需的基本信息等。固定键22b中有作为计费秤所需的“单价”键、“定额”键、“皮重”键、“打印”键以及“调用”键等，它们与数字键一起适当地配置。
标签发放部23发放标签LC。标签发放部23根据从后述的输出部29输出的打印信息打印商品信息，并发放标签LC。在本实施方式中，标签发放部23发放所谓的无底纸标签。
控制单元20具有输入部25、存储部26、计算部27、控制部28以及输出部29。
输入部25输入从控制装置3输出的编号信息。输入部25将输入的编号信息输出至计算部27。
存储部26存储商品主档。商品主档中按商品S存储与商品S相关的商品关联信息。商品主档是使商品编号与商品名、单价、定额等对应的表格。商品主档能够更新(变更)。
计算部27计算商品S的价格。计算部27在接收到从输入部25输出的编号信息后，根据编号信息所包含的商品编号参照商品主档。计算部27从商品主档获取与商品编号对应的商品S的单价。计算部27根据从计量部21输出的计量值和商品的单价，计算商品S的价格(价钱)。计算部27在从控制部28接收到确定信息后，确定价格，并将打印信息输出至标签发放部23。打印信息中至少包含有表示商品名、重量、价格的信息。另外，计算部27将使触摸面板显示器22a显示计算的价格的显示信息输出至触摸面板显示器22a。
当在操作部22的固定键22b中按下了“打印”键时，控制部28使计算部27计算的价格确定。控制部28在判断为“打印”键被按下时，向输出部29输出确定信息。确定信息是在计算部27中指示确定价格的信息。输出部29将确定信息输出至计算部27。
如图4所示，控制装置3具备控制单元30和触摸面板显示器31。控制单元30控制触摸面板显示器31的显示。控制装置3既可以是控制单元30和触摸面板显示器31一体化的平板终端等，也可以是计算机。
控制单元30是控制控制装置3中的各种动作的部分，其构成包括CPU(CentralProcessing Unit：中央处理器)、ROM(Read Only Memory：只读存储器)、RAM(RandomAccess Memory：随机存取存储器)等。控制单元30具有输入部32、判别部(第一获取部、第二获取部)33、存储部34、控制部35以及输出部36。
输入部32输入从照相机5输出的图像数据。输入部32将所输入的图像数据输出至判别部33。另外，输入部32输入从服务器200发送来的学习完毕模型(判别模型、获取模型)并存储于存储部34中。
判别部33根据照相机5拍摄到的对象图像(对象图像数据)，判别载置于计量装置2上的商品S的种类。判别部33根据从输入部32输出的对象图像数据，检测在计量装置2的计量台21a上载置有商品S的情况。具体而言，判别部33根据从输入部32输出的对象图像数据与预先存储的基础图像(背景图像)的差分(背景差分)，检测载置有商品S的情况。详细而言，判别部33在对象图像数据相比基础图像的变化程度为阈值以上的情况下，判断为载置有商品S。
判别部33在判断为载置有商品S的情况下，判断商品S的载置是否稳定。即，判别部33判断商品S的位置是否已确定。判别部33例如通过连续的对象图像数据的帧间差分法判断商品S的载置是否已稳定。具体而言，判别部33在连续的对象图像数据中帧间的差分(例如，产生了一定以上的像素值的变化的像素个数)为阈值以下时，判断为商品S的载置已稳定。判别部33在判断为商品S的载置已稳定的情况下，根据判断为已稳定的对象图像数据中的图像判别商品S。
在本实施方式中，判别部33利用获取模型及判别模型判别商品S的种类。以下，对于判别部33判别商品S的种类的商品判别方法进行说明。如图5所示，作为商品判别方法，判别部33进行第一获取步骤S01、第二获取步骤S02以及判别步骤S03。
判别部33将对象图像数据分割为多个区域，获取多个分割对象图像(第二分割图像(第一获取步骤S01：图5)。如图6所示，判别部33将对象图像数据G1分割为多个区域A。具体而言，判别部33以多个分割对象图像各自的区域A呈矩形且全部为相同尺寸的方式分割对象图像数据G1。判别部33以一个分割对象图像与其他分割对象图像至少一部分重叠的方式分割对象图像数据G1。详细而言，判别部33以相对于一个区域A而使其他的区域A在对象图像数据G1的像素的排列方向即X方向(第一方向)或Y方向(与第一方向正交的第二方向)上移动规定量的方式，设定分割对象图像数据G1的区域A。规定量是与将移动方向上的区域A的宽度除以2以上的自然数后的宽度(1/2、1/3等)对应的量。2以上的自然数是能整除对象图像数据G1中的区域A的移动方向的像素数的值。
判别部33通过将对象图像数据G1进行分割，如图7A、图7B、图7C以及图7D所示获取分割对象图像G11、G12、G13、G14等。分割对象图像G11是没有拍入商品S等、即只拍入了背景B的图像。分割对象图像G12是拍入了容器P及背景B的图像。分割对象图像G13是拍入了商品S、容器P以及背景B的图像。分割对象图像G14是仅拍入了商品S的图像。
判别部33从多个分割对象图像中获取满足与商品S的拍入量相关的规定条件的多个分割对象图像(第二获取步骤S02：图5)。具体而言，判别部33获取商品S以外的拍入量为阈值以下的分割对象图像。换言之，判别部33获取商品S的拍入量比阈值多的分割对象图像。判别部33通过获取模型获取商品S以外的拍入量为阈值以下的分割对象图像。获取模型包括神经网络NW1。获取模型是与后述的提取模型相同的模型。
如图8所示，获取模型的神经网络NW1例如由作为输入层的第一层、作为中间层(隐藏层)的第二层、第三层以及第四层、以及作为输出层的第五层构成。第一层将以p个参数作为要素的输入值x＝(x0、x1、x2、……xp)直接输出至第二层。第二层、第三层以及第四层分别通过激活函数将总输入转换为输出并将该输出交给下一层。第五层也通过激活函数将总输入转换为输出，该输出是以一个参数作为要素的神经网络的输出值y＝y0。
在本实施方式中，神经网络NW1输入分割对象图像G11～G14的各像素的像素值，并输出表示处理结果的信息。神经网络NW1的输入层中设置有与分割对象图像G11～G14的像素数相应量的神经元。神经网络NW1的输出层中设置有用于输出与处理结果相关的信息的神经元。可以根据输出层的神经元的输出值(非商品似然度)，获取商品S以外的拍入量为阈值以下的分割对象图像。神经元的输出值例如是0～1的值。该情况下，神经元的值越大(值越接近于1)，则表示是商品S以外的拍入量在阈值以下的分割对象图像的可能性越低，神经元的值越小(值越接近于0)，则表示是商品S以外的拍入量在阈值以下的分割对象图像的可能性越高。即，在神经元值大的情况下，表示在分割对象图像中背景G等所占的比例大，在神经元值低的情况下，表示在分割对象图像中商品S所占的比例大。判别部33获取从神经网络NW1输出的神经元值，并获取神经元值在阈值以下的分割对象图像。
判别部33针对获取的多个分割对象图像，利用判别模型判别商品S的种类(判别步骤S03：图5)。判别模型包括神经网络NW2。
如图9所示，神经网络NW2例如由作为输入层的第一层、作为中间层(隐藏层)的第二层、第三层以及第四层、以及作为输出层的第五层构成。第一层将以p个参数作为要素的输入值x＝(x0、x1、x2、……xp)直接输出至第二层。第二层、第三层以及第四层分别通过激活函数将总输入转换为输出并将该输出交给下一层。第五层也通过激活函数将总输入转换为输出，该输出是以q个参数作为要素的神经网络NW2的输出值y＝(y0、y1、……、yq)。
在本实施方式中，神经网络NW2输入各分割对象图像的各像素的像素值，并按分割对象图像分别输出表示商品S的判别结果的信息。神经网络NW2的输入层中设置有与图像的像素数相应量的神经元。神经网络NW2的输出层中设置有用于输出与商品S的判别结果相关的信息的神经元。可以根据输出层的神经元的输出值(商品似然度)来判别商品S的种类。输出值y与商品S的商品似然度对应。例如，输出值y1与商品S1的商品似然度对应，输出值yi与商品Si的商品似然度对应。神经元的输出值例如是0～1的值。例如，在输出值y1的值为“0.8”的情况下，商品S1的商品似然度为“0.8”，在输出值y2的值为“0.2”的情况下，商品S2的商品似然度为“0.2”。该情况下，神经元的值越大(值越接近于1)，表示是对象图像数据G1的商品S的可能性越高，神经元的值越小(值越接近于0)，表示是对象图像数据G1的商品S的可能性越低。即，在神经元值大的情况下，表示是商品S的概率高，在神经元值小的情况下，表示是商品S的概率低。
判别部33将分割对象图像输入判别模型。判别部33根据向判别模型的神经网络NW2输入了分割对象图像这一情况，针对各分割对象图像，获取包含从神经网络NW2输出的输出值的判别结果。判别结果中包含商品主档中登记的全部种类的商品。
判别部33根据判别结果对候补的商品进行排序。具体而言，判别部33根据各分割对象图像的神经元值的大小进行加权，并根据对判别结果赋予的权重的多数决多数决定的方式对商品进行排序。判别部33针对全部种类的商品生成使商品编号与排序对应的判别信息。判别部33将判别处理中使用的图像数据的图像信息及判别信息输出至控制部35。
控制部35在从判别部33输出图像信息及判别信息后，使触摸面板显示器31显示图像信息及判别信息。控制部35根据在触摸面板显示器31中受理的输入控制触摸面板显示器31的显示。具体而言，控制部35使触摸面板显示器31中显示的一个画面显示基于图像信息的商品S的图像。控制部35使一个画面显示判别信息中的商品的候补中顺位高的商品的商品名。控制部35根据判别信息或者触摸面板显示器31中受理的输入，将表示商品编号的编号信息输出至输出部36。输出部36将编号信息输出至计量装置2。
存储部34存储商品主档。该商品主档包含与存储在计量装置2的存储部26中的商品主档相同的内容而构成。存储部34存储学习完毕模型。
如图1所示，服务器200具备通信部201和学习完毕模型生成部(获取部、分割部、提取部、生成部)202。服务器200是通过机器学习生成学习完毕模型的装置。服务器200由CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等构成。
通信部201与计量器100进行通信。通信部201接收从计量器100发送的图像数据，并输出至学习完毕模型生成部202。通信部201将从学习完毕模型生成部202输出的学习完毕模型发送至计量器100。
学习完毕模型生成部202获取机器学习中使用的学习数据，并使用所获取的学习数据进行机器学习而生成学习完毕模型。在本实施方式中，学习数据是示教图像。示教图像例如是在计量器100的照相机5中获取的图像数据。
学习完毕模型生成部202生成提取模型和判别模型。首先，对提取模型的生成方法进行说明。提取模型是与上述获取模型相同的模型。提取模型通过基于不包含商品的图像的机器学习而生成。以下，对通过学习完毕模型生成部202生成提取模型的生成方法进行说明。如图10所示，作为提取模型的生成方法，学习完毕模型生成部202进行第一步骤S11、第二步骤S12以及第三步骤S13。
学习完毕模型生成部202获取不包含商品的非商品图像作为示教图像(第一步骤S11：图10)。非商品图像可以包括背景B和容器P。学习完毕模型生成部202将非商品图像分割为多个区域，获取多个非商品分割图像(第二步骤S12：图10)。如图11所示，学习完毕模型生成部202将非商品图像数据G2分割为多个区域A1。具体而言，学习完毕模型生成部202以多个非商品分割图像各自的区域A1呈矩形且全部为相同尺寸的方式分割非商品图像数据G2。学习完毕模型生成部202以一个非商品分割图像与其他非商品分割图像至少一部分重叠的方式分割非商品图像数据G2。详细而言，学习完毕模型生成部202以相对于一个区域A1而使其他的区域A1在非商品图像数据G2的像素的排列方向即X方向或Y方向上移动规定量的方式，设定分割非商品图像数据G2的区域A1。规定量是与将移动方向上的区域A1的宽度除以2以上的自然数后的宽度对应的量。2以上的自然数是能整除非商品图像数据G2中的区域A的移动方向的像素数的值。
学习完毕模型生成部202根据所获取的多个非商品分割图像进行机器学习，生成提取模型(第三步骤S13：图10)。机器学习本身能够使用已知的机器学习算法进行。提取模型包括神经网络NW1(参照图8)。
学习完毕模型生成部202使用提取模型生成判别模型。以下，对通过学习完毕模型生成部202生成判别模型的生成方法(学习完毕模型生成方法)进行说明。如图12所示，作为判别模型的生成方法，学习完毕模型生成部202进行获取步骤S21、分割步骤S22、提取步骤S23以及生成步骤S24。
学习完毕模型生成部202获取商品图像和与商品的种类相关的商品信息(获取步骤S21：图12)。学习完毕模型生成部202获取例如在照相机5中获取的商品图像数据和表示商品图像数据中包含的商品(例如沙拉)的种类的商品信息。商品信息与上述商品主档中包含的信息对应，包括商品编号、商品名等。此外，商品图像除了通过照相机5获取的图像数据以外，也可以是样品图像等。
学习完毕模型生成部202将商品图像数据分割为多个区域，获取多个分割图像(第一分割图像)(分割步骤S22：图12)。如图13所示，学习完毕模型生成部202将商品图像数据G3分割为多个区域A2。具体而言，学习完毕模型生成部202以多个分割图像各自的区域A2呈矩形且全部为相同尺寸的方式分割商品图像数据G3。学习完毕模型生成部202以区域A2与区域A1成为相同形状和相同尺寸的方式分割商品图像数据G3。学习完毕模型生成部202以一个分割图像与其他分割图像至少一部分重叠的方式分割商品图像数据G3。详细而言，学习完毕模型生成部202以相对于一个区域A2而使其他的区域A2在商品图像数据G3的像素的排列方向即X方向或Y方向上移动规定量的方式，设定分割商品图像数据G3的区域A2。规定量是与将移动方向上的区域A的宽度除以2以上的自然数后的宽度对应的量。2以上的自然数是能整除商品图像数据G3中的区域A的移动方向的像素数的值。
学习完毕模型生成部202通过将商品图像数据G3进行分割，如图14A、图14B、图14C以及图14D所示，获取分割图像G31、G32、G33、G34等。分割图像G31是没有拍入商品S等、即只拍入了背景B的图像。分割图像G32是拍入了容器P及背景B的图像。分割图像G33是拍入了商品S、容器P以及背景B的图像。分割图像G34是仅拍入了商品S的图像。
学习完毕模型生成部202从多个分割图像中获取满足与商品S的拍入量相关的规定条件的多个分割图像(提取步骤：S23)。具体而言，学习完毕模型生成部202获取商品S以外的拍入量在阈值以下的分割图像。换言之，学习完毕模型生成部202获取商品S的拍入量比阈值多的分割图像。学习完毕模型生成部202通过提取模型获取商品S以外的拍入量在阈值以下的分割图像。学习完毕模型生成部202获取从提取模型的神经网络输出的神经元值，并获取神经元值在阈值以下的分割图像。学习完毕模型生成部202使所获取的分割图像与商品信息(商品的种类(商品名、商品编号等))相对应。即，学习完毕模型生成部202针对所获取的分割图像标记商品信息。
学习完毕模型生成部202将提取出的多个分割图像与商品信息建立关联而进行机器学习，并生成判别模型(生成步骤S24：图12)。机器学习本身可以使用已知的机器学习算法进行。如图9所示，学习完毕模型生成部202生成包含神经网络NW2的判别模型。判别模型也可以包含卷积神经网络。进而，判别模型也可以包含多个层级(例如8层以上)的神经网络。即，也可以通过深度学习生成判别模型。学习完毕模型生成部202在规定的时刻将获取模型(提取模型)和判别模型输出至通信部201。
如以上所说明，本实施方式涉及的计量系统1具备生成根据包含商品的商品图像判别商品的种类的判别模型的服务器200、和根据包含商品的对象图像判别商品的种类的计量器100。服务器200具有学习完毕模型生成部202。学习完毕模型生成部202获取商品图像和与商品的种类相关的商品信息(获取步骤)，将商品图像分割为多个区域，获取多个分割图像(分割步骤)。学习完毕模型生成部202从多个分割图像中提取满足与商品的拍入量相关的规定条件的多个分割图像(提取步骤)。学习完毕模型生成部202将提取出的多个分割图像与商品信息建立关联而进行机器学习，生成判别模型(生成步骤)。
这样，在本实施方式涉及的计量系统1中，服务器200的学习完毕模型生成部202从多个分割图像中提取满足与商品的拍入量相关的规定条件的多个分割图像。分割图像中包括仅拍入了商品的图像、拍入了商品以及商品以外的物品(容器、背景等)的图像、以及仅拍入了商品以外的物品的图像。在学习完毕模型生成部202中，从这样的分割图像中提取满足规定条件的分割图像，并根据提取出的分割图像进行机器学习。由此，在学习完毕模型生成部202中，能够根据适当的示教图像进行机器学习。因此，在服务器200中，能够生成实现提高商品的判别精度的判别模型。
另外，在本实施方式涉及的计量系统1中，控制装置3具有判别部33。判别部33将对象图像分割为多个区域，获取多个分割对象图像(第一获取步骤)，从多个分割对象图像中获取满足与商品的拍入量相关的规定条件的多个分割对象图像(第二获取步骤)。判别部33针对所获取的多个分割对象图像，获取利用判别模型进行了处理的处理结果，并根据处理结果判别商品的种类(判别步骤)。
这样，在本实施方式涉及的计量系统1中，控制装置3的判别部33从多个分割对象图像中提取满足与商品的拍入量相关的规定条件的多个分割对象图像。判别部33从分割对象图像中获取满足规定条件的分割对象图像，并针对获取的分割对象图像利用判别模型进行处理。由此，在计量器100中，能够根据适当的分割对象图像进行处理。因此，在计量系统1中，实现提高商品的判别精度。
在本实施方式涉及的计量系统1中，服务器200的学习完毕模型生成部202提取商品以外的拍入量在阈值以下的分割图像。换言之，学习完毕模型生成部202提取商品的拍入量比阈值多的分割图像。在该方法中，提取商品的占有率高的分割图像。即，在计量系统1中，能够排除拍入了商品以外的容器或背景的分割图像。因此，在计量系统1中，能够利用拍入了商品的分割图像进行机器学习。因此，在计量系统1中，能够生成实现提高商品的判别精度的判别模型。
在本实施方式涉及的计量系统1中，学习完毕模型生成部202使用通过基于不包含商品的图像的机器学习而生成的提取模型，针对多个分割图像分别获取表示是不包含商品的分割图像的概率的神经元值，并提取神经元值在阈值以下的分割图像。在该方法中，能够适当地仅提取拍入了商品的分割图像。
在本实施方式涉及的计量系统1中，学习完毕模型生成部202获取不包含商品的非商品图像，并将非商品图像分割为多个区域，获取多个非商品分割图像。学习完毕模型生成部202根据多个非商品分割图像进行机器学习，生成提取模型。由此，在计量系统1中，能够适当地生成提取模型。
在本实施方式涉及的计量系统1中，学习完毕模型生成部202以多个分割图像各自的区域呈矩形且全部为相同尺寸的方式分割商品图像。学习完毕模型生成部202以多个非商品分割图像分别与分割图像为相同形状和相同尺寸的方式分割非商品图像。在该方法中，由于分割图像与非商品分割图像为相同形状和相同尺寸，因此，不需要进行用于转换图像的形状、大小的转换处理。因此，在计量系统1中，实现减轻处理负荷。
在本实施方式涉及的计量系统1中，学习完毕模型生成部202以一个分割图像与其他分割图像至少一部分重叠的方式分割商品图像。在该方法中，在分割商品图像时，即使在一个分割图像中商品所包含的一个物品被切断的情况下，有时也会在其他分割图像中完整包含一个物品。因此，在计量系统1中，由于能够根据适当的示教图像进行机器学习，因而能够生成实现提高商品的判别精度的判别模型。
在本实施方式涉及的计量系统1中，学习完毕模型生成部202以相对于一个区域而使其他的区域在商品图像的像素的排列方向即X方向或Y方向上移动规定量的方式，设定分割商品图像的区域。在该方法中，通过使区域移动规定量，能够以各像素被包含在沿移动方向排列的各区域中的次数均等的方式分割商品图像。
在本实施方式涉及的计量系统1中，学习完毕模型生成部202以多个分割图像各自的区域呈矩形且全部为相同尺寸的方式分割商品图像。在该方法中，由于分割图像全部为相同形状和相同尺寸，因此，不需要进行用于转换图像的形状、大小的转换处理。因此，在计量系统1中，实现减轻处理负荷。
在本实施方式涉及的计量系统1中，判别部33获取商品以外的拍入量在阈值以下的分割对象图像。在该方法中，获取商品的占有率高的图像。即，能够排除拍入了商品以外的容器或背景的图像。因此，在计量系统1中，实现提高商品的判别精度。
在本实施方式涉及的计量系统1中，判别部33使用通过基于不包含商品的图像的机器学习而生成的获取模型，针对多个分割对象图像分别获取表示是不包含商品的分割对象图像的概率的神经元值，并获取神经元值在阈值以下的分割对象图像。在该方法中，能够适当地仅获取拍入了商品的分割对象图像。
在本实施方式涉及的计量系统1中，判别部33针对多个分割对象图像分别利用判别模型进行处理而获取多个处理结果，并根据多个处理结果判别商品的种类。在该方法中，针对各个分割对象图像利用判别模型进行处理，并得到多个处理结果，因此，实现更进一步提高商品的判别精度。
在本实施方式涉及的计量系统1中，判别部33根据表示商品为一个种类的概率的神经元值的程度大小对处理结果进行加权，并根据对处理结果赋予的权重的多数决多数决定的方式判别商品的种类。在该方法中，能够更高精度地判别商品。
在本实施方式涉及的计量系统1中，判别部33以多个分割对象图像各自的区域呈矩形且全部为相同尺寸的方式分割对象图像。在该方法中，由于分割对象图像全部为相同形状和相同尺寸，因此，不需要进行用于转换图像的形状、大小的转换处理。因此，在计量系统1中，实现减轻处理负荷。
以上，对本发明的实施方式进行了说明，但本发明并不限定于上述实施方式，在不脱离本发明的主旨的范围内能够进行各种变更。
在上述实施方式中，以判别部33将对象图像数据G1分割为多个区域A的形态为一例进行了说明。但是，判别部33也可以将商品图像与不包含商品的基础图像进行比较，从商品图像切出包含商品整体的、比商品图像小的商品区域(切出步骤)，将商品区域分割为多个区域，获取多个分割图像。具体而言，如图15所示，判别部33将作为商品图像的对象图像数据G1与基础图像进行比较，从对象图像数据G1切出最小限度包含有商品S的商品区域SA。基础图像是仅拍入了背景B的图像。判别部33将商品区域SA分割为多个区域，获取多个分割图像。在该方法中，由于在对象图像数据G1中使用排除了商品S以外的部分的商品区域SA进行分割，因而不需要分割不需要的区域。因此，实现减轻处理负荷。
在上述实施方式中，以判别部33为了设定分割对象图像数据G1的区域A而使其他区域A相对于一个区域A移动的规定量，是与将移动方向上的区域A的宽度除以2以上的自然数后的宽度(1/2、1/3等)对应的量的形态作为一例进行了说明。但是，判别部33也可以使规定量为一个像素。即，判别部33也可以以相对于一个区域A而使其他的区域A在对象图像数据G1的像素的排列方向即X方向或Y方向上移动一个像素的方式，设定分割对象图像数据G1的区域A。在学习完毕模型生成部202设定分割非商品图像数据G2的区域A1的情况、以及设定分割商品图像数据G3的区域A2的情况下也是相同的。
在上述实施方式中，以判别模型的神经网络NW2输入各分割对象图像的各像素的像素值，并按每个分割对象图像输出表示商品S的判别结果的信息的形态为一例进行了说明。但是，判别模型也可以是包含输入各分割对象图像的各像素的像素值，并按每个像素输出表示商品S的判别结果的信息的神经网络NW2的构成。
在上述实施方式中，以判别部33根据各分割对象图像的神经元值的大小进行加权，并根据对判别结果赋予的权重的多数决多数决定的方式对商品进行排序的形态为一例进行了说明。但是，判别部33中的商品的排序(判别)也可以是其他方法。例如，判别部33既可以仅使用阈值以上的神经元值对商品进行排序，也可以优先采用对象图像数据的中央部区域的分割对象图像的判别结果对商品进行排序。另外，判别部33也可以不采用各分割对象图像的神经元值中阈值以下的神经元值(阈值以下的商品似然度)。
另外，判别部33例如也可以在一个分割对象图像的神经元值(输出值)y2(商品S2的商品似然度)为“0.9”，其他分割对象图像的神经元值y2为“0.4”，并且，上述一个分割对象图像的神经元值y5(商品S5的商品似然)为“0.7”，与商品S2相关的神经元值的方差大的情况下，降低商品S2的权重。即，判别部33在与一个分割对象图像的一个商品对应的神经元值和与其他分割对象图像的一个商品对应的神经元值存在偏差(背离)(神经元值分散)，而且与一个分割对象图像的其他商品对应的神经元值大于规定值的情况下，降低一个商品的权重。
在上述实施方式中，以判别部33通过获取模型从多个分割对象图像中获取商品以外的拍入量在阈值以下的分割对象图像的形态为一例进行了说明。但是，判别部33也可以根据不包含商品的图像的像素的特征量，从多个分割对象图像中提取像素的包含比例在规定的阈值以下的分割对象图像。在该方法中，不使用获取模型，而且能够适当地仅提取拍入了商品的分割对象图像。
在上述实施方式中，以判别部33获取商品以外的拍入量在阈值以下的分割对象图像的形态为一例进行了说明。但是，判别部33也可以获取有无拍入分割对象图像的外缘部(外缘区域)中的商品以外的物品(容器、背景等)的情况，并在没有拍入商品以外的物品的情况下，获取该分割对象图像。由此，能够提取商品的占有率高的分割对象图像。
在上述实施方式中，以对象图像数据中包含一个商品S，判别部33判别一个商品S的种类的形态为一例进行了说明。但是，对象图像数据中也可以包含多个商品。该情况下，判别部33判别多个商品各自的种类。具体而言，判别部33根据对象图像数据与预先存储的基础图像的差分提取轮廓线(边缘)，根据边缘获取包含商品的区域。此时，即使在因为商品的一部分重叠等状况而商品为2个以上的情况下，有时也作为一个区域获取。因此，判别部33例如将区域的面积与容器的面积进行比较，获取每个商品的区域(按每个商品分割区域)。作为获取每个商品的区域的方法，也可以使用其他的方法。判别部33在获取多个区域的情况下，按每个区域判别商品的种类。
另外，在例如一个盘子等中装有多个商品的情况下，判别部33通过以下的处理分别判别多个商品的种类。判别部33在一个分割对象图像以及该一个分割对象图像附近的多个分割对象图像中的处理结果中采取多数决多数决定的方式，并将该结果作为包含上述一个分割对象图像和上述多个分割对象图像的区域的中心坐标处的结果(商品的种类)(对各分割对象图像的处理结果进行平滑化)。判别部33对所有的分割对象图像进行上述处理，得到各区域的中心坐标处的结果。判别部33通过将所获取的结果中的相同结果(商品)密集的区域汇总为一个，来判别多个商品各自的种类。此外，在包含多个商品的情况下，如上述实施方式那样，作为商品判别装置使用，而不是进行计量出售的计量器100。在例如托盘上载置有多个食品的情况下，商品判别装置能够判别多个食品各自的种类、或者检查便当的内容物。
在上述实施方式中，以学习完毕模型生成部202以多个分割图像各自的区域呈矩形且全部为相同尺寸的方式分割商品图像，并且以多个非商品分割图像分别与分割图像为相同形状和相同尺寸的方式分割非商品图像的形态作为一例进行了说明。但是，商品图像和非商品分割图像的形状及尺寸也可以不同。例如，分割图像的分辨率也可以比非商品分割图像高。该情况下，在将形状设为长方形的情况下，优选使纵横的比率(纵横比)一致。即，优选将分割图像与非商品分割图像形成为相似形。由此，不需要进行转换图像的比率的处理，因而实现减轻处理负荷。
在上述实施方式中，以学习完毕模型生成部202利用提取模型从多个分割图像中获取商品以外的拍入量在阈值以下的分割图像的形态为一例进行了说明。但是，学习完毕模型生成部202也可以根据不包含商品的图像的像素的特征量，从多个分割图像中提取像素的包含比例在规定的阈值以下的分割图像。在该方法中，不使用提取模型，而且能够适当地仅提取拍入了商品的分割图像。
在上述实施方式中，以学习完毕模型生成部202获取商品以外的拍入量在阈值以下的分割图像的形态为一例进行了说明。但是，学习完毕模型生成部202也可以获取有无拍入分割图像的外缘部(外缘区域)中的商品以外的物品(容器、背景等)的情况，并在没有拍入商品以外的物品的情况下，获取该分割图像。由此，能够提取商品的占有率高的分割图像。
在上述实施方式中，以学习完毕模型生成部202从多个分割图像中获取满足与商品S的拍入量相关的规定条件的多个分割图像，并将提取出的多个分割图像与商品信息建立关联来进行机器学习，从而生成判别模型的形态作为一例进行了说明。但是，学习完毕模型生成部202也可以在多个分割图像中提取商品以外的拍入量在阈值以下的一个分割图像和商品以外的拍入量比阈值多的其他分割图像，使商品信息与一个分割图像建立对应，并使表示商品以外的非商品信息与其他分割图像建立对应，根据提取出的一个分割图像和其他分割图像进行机器学习，从而生成判别模型。判别部33例如使用提取模型提取商品以外的拍入量比阈值多(商品的拍入量在阈值以下)的其他分割图像。
具体而言，学习完毕模型生成部202获取从提取模型的神经网络输出的神经元值，并根据神经元值提取商品S以外的拍入量在阈值以下的一个分割图像和商品以外的拍入量比阈值多的其他分割图像。即，学习完毕模型生成部202分类为商品S以外的拍入量在阈值以下的一个分割图像和商品以外的拍入量比阈值多的其他分割图像，并提取一个分割图像和其他分割图像。学习完毕模型生成部202在一个分割图像上标记商品信息(商品名)，并在其他分割图像上标记表示是商品以外的物品(背景、容器等)的非商品信息。学习完毕模型生成部202根据一个分割图像和其他分割图像进行机器学习，从而生成判别模型。机器学习本身可以使用已知的机器学习算法进行。
在上述实施方式中，以判别部33从多个分割对象图像中获取满足与商品S的拍入量相关的规定条件的多个分割对象图像，将分割对象图像输入判别模型并获取利用判别模型进行处理的处理结果，并根据处理结果判别商品S的种类的形态作为一例进行了说明。但是，判别部33也可以将对象图像数据分割为多个区域(分割图像获取步骤)，并将多个分割对象图像输入判别模型。即，判别部33将包含商品S以外的背景B等的所有分割对象图像输入判别模型。判别部33根据向判别模型的神经网络NW2输入了分割对象图像这一情况，针对各分割对象图像，获取包含从神经网络NW2输出的输出值的判别结果。
判别部33在利用判别模型进行处理的处理结果中，获取表示是商品的概率的商品似然度和表示是商品以外的物品的概率的非商品似然度。作为处理结果，例如针对每个分割图像，以1：(0.02；0.20、0.31、089、……)、2：(0.89；0.12、0.04、0.23、……)等的输出值的形式得到。在处理结果中，示出(非商品似然度；商品似然度)。即，在上述“1”的分割图像的处理结果中，非商品似然度为“0.02”，商品似然度为“0.20、0.31、0.89、……”。该情况下，“1”的分割图像的处理结果表示是商品似然度为“0.89”的商品的可能性高。在上述“2”的分割图像的处理结果中，非商品似然度为“0.89”，商品似然度为“0.12、0.04、0.23、……”。该情况下，上述“2”的分割图像的处理结果表示是背景的可能性高。判别部33提取两个种类的似然度中的商品似然度，并根据商品似然度来判别商品的种类。具体而言，首先，判别部33除去非商品似然度在阈值以上的分割图像(不用于判别)。接着，判别部33在剩余的分割图像的处理结果中，针对每个分割图像，提取值最大的商品似然度。判别部33根据提取出的商品似然度所表示的商品的多数决多数决定的方式来判别商品的种类。
在上述实施方式中，以计量器100具备控制装置3的形态为一例进行了说明。但是，计量器100也可以不具备控制装置3。该情况下，计量装置2只要具有控制装置3的功能即可。或者，也可以具备具有计量装置2及控制装置3的功能的一台装置。
在上述实施方式中，以计量器100的控制装置3具备判别部33，在控制装置3中判别商品的种类的形态为一例进行了说明。但是，控制装置3也可以不具备判别部33。例如，商品的种类的判别也可以由服务器200进行。该情况下，服务器200将判别结果发送至控制装置3。
在上述实施方式中，以计量系统1具备计量器100和服务器200的形态为一例进行了说明。但是，也可以不具备服务器200。该情况下，只要计量器100具备学习完毕模型生成部即可。或者，计量器100也可以获取由其他装置(计算机)生成的学习完毕模型，并存储于存储部中。
在上述实施方式中，对具备计量器100和服务器200的计量系统1进行了说明。但是，本发明也可以仅为服务器200。即，本发明也可以是根据包含商品的商品图像判别商品的种类的判别模型的生成装置。
在上述实施方式中，以控制装置3的触摸面板显示器31配置于框体10的保持部12上的形态为一例进行了说明。但是，触摸面板显示器31也可以配置于保持部12以外的位置。优选触摸面板显示器31配置于计量装置2的附近。
在上述实施方式中，以计量器100具备显示装置4的形态为一例进行了说明。但是，例如在顾客操作计量器100的情况下，也可以不具备显示装置4。
在上述实施方式中，以计量装置2及控制装置3设置于框体10中的形态为一例进行了说明。但是，计量器100的形态并不限定于此。也可以是计量装置2(计量台21a)与控制装置3分开设置的、所谓的分离秤的形态。
在上述实施方式中，对于计量收纳在容器P的商品S的重量的例子进行了说明。但是，商品S也可以是未收纳于容器P的果蔬等。

Claims (23)

1.一种学习完毕模型生成方法，是根据包含商品的商品图像来判别所述商品的种类的判别模型的生成方法，其特征在于，包括：
获取步骤，获取所述商品图像和与所述商品的种类相关的商品信息；
分割步骤，将所述商品图像分割为多个区域，获取多个分割图像；
提取步骤，根据与所述商品的拍入量相关的规定条件，从多个所述分割图像中提取规定的所述分割图像；以及
生成步骤，根据所述提取步骤中提取出的多个所述分割图像进行机器学习，生成所述判别模型。
2.根据权利要求1所述的学习完毕模型生成方法，其特征在于，
在所述提取步骤中，从多个所述分割图像中提取满足所述规定条件的多个所述分割图像，
在所述生成步骤中，将在所述提取步骤中提取出的所述分割图像与所述商品信息建立关联而进行机器学习，生成所述判别模型。
3.根据权利要求2所述的学习完毕模型生成方法，其特征在于，
在所述提取步骤中，提取所述商品以外的拍入量在阈值以下的所述分割图像。
4.根据权利要求2或3所述的学习完毕模型生成方法，其特征在于，
在所述提取步骤中，使用通过基于不包含所述商品的图像的机器学习而生成的提取模型，针对多个所述分割图像分别获取表示是不包含所述商品的所述分割图像的概率的非商品似然度，并提取所述非商品似然度在阈值以下的所述分割图像。
5.根据权利要求4所述的学习完毕模型生成方法，其特征在于，
所述提取模型的生成包括：
第一步骤，获取不包含所述商品的非商品图像；
第二步骤，将所述非商品图像分割为多个区域，获取多个非商品分割图像；以及
第三步骤，根据多个所述非商品分割图像进行机器学习，生成所述提取模型。
6.根据权利要求5所述的学习完毕模型生成方法，其特征在于，
在所述分割步骤中，以多个所述分割图像各自的所述区域呈矩形且全部为相同尺寸的方式分割所述商品图像；
在所述第二步骤中，以多个所述非商品分割图像分别与所述分割图像为相同形状和相同尺寸的方式分割所述非商品图像。
7.根据权利要求1所述的学习完毕模型生成方法，其特征在于，
在所述提取步骤中，在多个所述分割图像中提取所述商品以外的拍入量成为阈值以下的一个所述分割图像和所述商品以外的拍入量比阈值多的其他所述分割图像，使所述商品信息与一个所述分割图像建立对应，并使表示是所述商品以外的非商品信息与其他的所述分割图像建立对应，
在所述生成步骤中，根据在所述提取步骤中提取出的一个所述分割图像和其他的所述分割图像进行机器学习，生成所述判别模型。
8.根据权利要求1至7中任一项所述的学习完毕模型生成方法，其特征在于，
在所述分割步骤中，以一个所述分割图像与其他所述分割图像至少一部分重叠的方式分割所述商品图像。
9.根据权利要求8所述的学习完毕模型生成方法，其特征在于，
在所述分割步骤中，以相对于一个所述区域而使其他的所述区域在所述商品图像的像素的排列方向即第一方向或与所述第一方向正交的第二方向上移动规定量的方式，设定分割所述商品图像的所述区域。
10.根据权利要求1至5中任一项所述的学习完毕模型生成方法，其特征在于，
在所述分割步骤中，以多个所述分割图像各自的所述区域呈矩形且全部为相同尺寸的方式分割所述商品图像。
11.根据权利要求1至10中任一项所述的学习完毕模型生成方法，其特征在于，所述学习完毕模型生成方法包括：
切出步骤，将所述商品图像与不包含所述商品的基础图像进行比较，从所述商品图像切出至少包含所述商品整体且比所述商品图像小的商品区域，
在所述分割步骤中，将所述商品区域分割为多个所述区域，获取多个所述分割图像。
12.一种学习完毕模型生成装置，是根据包含商品的商品图像判别所述商品的种类的判别模型的生成装置，其特征在于，具备：
获取部，获取所述商品图像和与所述商品的种类相关的商品信息；
分割部，将所述商品图像分割为多个区域，获取多个分割图像；
提取部，根据与所述商品的拍入量相关的规定条件，从多个所述分割图像中提取多个所述分割图像；以及
生成部，根据通过所述提取部提取出的多个所述分割图像进行机器学习，生成所述判别模型。
13.一种商品判别方法，使用通过权利要求1至11中任一项所述的学习完毕模型生成方法生成的判别模型，根据包含商品的对象图像判别所述商品的种类，其特征在于，包括：
第一获取步骤，将所述对象图像分割为多个区域，获取多个分割对象图像；
第二获取步骤，从多个所述分割对象图像中，获取满足与所述商品的拍入量相关的规定条件的多个所述分割对象图像；以及
判别步骤，针对在所述第二获取步骤中获取的多个所述分割对象图像，获取利用所述判别模型进行处理的处理结果，并根据所述处理结果判别所述商品的种类。
14.根据权利要求13所述的商品判别方法，其特征在于，
在所述第二获取步骤中，获取所述商品以外的拍入量在阈值以下的所述分割对象图像。
15.根据权利要求13或14所述的商品判别方法，其特征在于，
在所述第二获取步骤中，使用通过基于不包含所述商品的图像的机器学习生成的获取模型，针对多个所述分割对象图像分别获取表示是不包含所述商品的所述分割对象图像的概率的非商品似然度，并获取所述非商品似然度在阈值以下的所述分割对象图像。
16.根据权利要求13至15中任一项所述的商品判别方法，其特征在于，
在所述第一获取步骤中，以多个所述分割对象图像各自的所述区域呈矩形且全部为相同尺寸的方式分割所述对象图像。
17.一种商品判别方法，使用通过权利要求7所述的学习完毕模型生成方法生成的判别模型，根据包含商品的对象图像判别所述商品的种类，其特征在于，包括：
分割图像获取步骤，将所述对象图像分割为多个区域，获取多个分割对象图像；以及
判别步骤，针对在所述分割图像获取步骤中获取的多个所述分割对象图像，在利用所述判别模型进行处理的处理结果中，获取表示是所述商品的概率的商品似然度和表示是所述商品以外的概率的非商品似然度，并根据所述商品似然度判别所述商品的种类。
18.根据权利要求13至17中任一项所述的商品判别方法，其特征在于，
在所述判别步骤中，针对多个所述分割对象图像分别利用所述判别模型进行处理并获取多个所述处理结果，并根据多个所述处理结果判别所述商品的种类。
19.根据权利要求13至18中任一项所述的商品判别方法，其特征在于，
在所述判别步骤中，根据表示所述商品为一个种类的概率的商品似然度的程度大小来对所述处理结果进行加权，并根据对所述处理结果赋予的权重的多数决定的方式判别所述商品的种类。
20.根据权利要求13至19中任一项所述的商品判别方法，其特征在于，
在所述判别步骤中，在所述对象图像中包含多个所述商品的情况下，根据包含多个所述商品的每一个的各个区域的所述处理结果来判别多个所述商品各自的种类。
21.一种商品判别装置，使用通过权利要求1至11中任一项所述的学习完毕模型生成方法生成的判别模型，根据包含商品的对象图像判别所述商品的种类，其特征在于，具备：
第一获取部，将所述对象图像分割为多个区域，获取多个分割对象图像；
第二获取部，从多个所述分割对象图像中，获取满足与所述商品的拍入量相关的规定条件的多个所述分割对象图像；以及
判别部，针对通过所述第二获取部获取的多个所述分割对象图像，获取利用所述判别模型进行处理的处理结果，并根据所述处理结果判别所述商品的种类。
22.一种商品判别系统，具备：从包含商品的商品图像判别所述商品的种类的判别模型的生成装置；和从包含所述商品的对象图像判别所述商品的种类的判别装置，其特征在于，
所述生成装置具备：
获取部，获取所述商品图像和与所述商品的种类相关的商品信息；
分割部，将所述商品图像分割为多个区域，获取多个第一分割图像；
提取部，从多个所述第一分割图像中提取满足与所述商品的拍入量相关的规定条件的多个所述第一分割图像；以及
生成部，将通过所述提取部提取出的多个所述第一分割图像与所述商品信息建立关联来进行机器学习，生成所述判别模型，
所述判别装置具备：
第一获取部，将所述对象图像分割为多个区域，获取多个第二分割图像；
第二获取部，从多个所述第二分割图像中获取满足与所述商品的拍入量相关的规定条件的多个所述第二分割图像；以及
判别部，针对通过所述第二获取部获取的多个所述第二分割图像，获取利用所述判别模型进行处理的处理结果，并根据所述处理结果判别所述商品的种类。
23.一种计量装置，使用通过权利要求1至11中任一项所述的学习完毕模型生成方法生成的判别模型，根据包含商品的对象图像判别所述商品的种类，并计算所述商品的价格，其特征在于，具备：
计量部，计量所述商品的重量；
拍摄部，拍摄所述商品；
判别部，针对通过所述拍摄部拍摄的所述对象图像，获取利用所述判别模型进行处理的处理结果，并根据所述处理结果判别所述商品的种类；以及
计算部，根据所述计量部计量出的所述商品的重量和所述判别部判别出的所述商品的种类计算所述商品的价格。
CN202010203532.0A 2019-03-28 2020-03-20 学习完毕模型生成方法及其装置、商品判别方法及其装置 Pending CN111753837A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019062949A JP7374453B2 (ja) 2019-03-28 2019-03-28 学習済みモデル生成方法、学習済みモデル生成装置、商品判別方法、商品判別装置、商品判別システム及び計量装置
JP2019-062949 2019-03-28

Publications (1)

Publication Number Publication Date
CN111753837A true CN111753837A (zh) 2020-10-09

Family

ID=70289523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010203532.0A Pending CN111753837A (zh) 2019-03-28 2020-03-20 学习完毕模型生成方法及其装置、商品判别方法及其装置

Country Status (4)

Country Link
US (1) US11669948B2 (zh)
EP (1) EP3726430A3 (zh)
JP (1) JP7374453B2 (zh)
CN (1) CN111753837A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7374453B2 (ja) * 2019-03-28 2023-11-07 株式会社イシダ 学習済みモデル生成方法、学習済みモデル生成装置、商品判別方法、商品判別装置、商品判別システム及び計量装置
DE102020111955A1 (de) * 2020-05-04 2021-11-04 Airbus Defence and Space GmbH Gesichtserkennung mit neuronalen Netzen
US11954932B2 (en) * 2020-10-16 2024-04-09 Bluebeam, Inc. Systems and methods for automatic detection of features on a sheet
US11720650B2 (en) * 2020-10-30 2023-08-08 Tiliter Pty Ltd. Methods and apparatus for training a classification model based on images of non-bagged produce or images of bagged produce generated by a generative model

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITMI20031449A1 (it) * 2003-07-15 2005-01-16 St Microelectronics Srl Metodo per classificare una immagine digitale
CN1912932A (zh) * 2005-08-08 2007-02-14 株式会社东芝 薄片识别设备和薄片识别方法
CN102043965A (zh) * 2009-10-21 2011-05-04 索尼公司 信息处理设备，信息处理方法和程序
US20130027424A1 (en) * 2011-07-26 2013-01-31 Sony Corporation Information processing apparatus, information processing method, and program
US20160026900A1 (en) * 2013-04-26 2016-01-28 Olympus Corporation Image processing device, information storage device, and image processing method
CN105373938A (zh) * 2014-08-27 2016-03-02 阿里巴巴集团控股有限公司 识别视频图像中的商品和展示其信息的方法、装置及系统
CN108303170A (zh) * 2018-02-01 2018-07-20 京东方科技集团股份有限公司 智能电子称的称重方法和智能电子称

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0942939A (ja) * 1995-07-28 1997-02-14 Tec Corp 物品認識装置
JP2002329188A (ja) * 2001-04-27 2002-11-15 Fuji Xerox Co Ltd データ分析装置
JP2013117861A (ja) * 2011-12-02 2013-06-13 Canon Inc 学習装置、学習方法およびプログラム
JP6177068B2 (ja) 2013-09-24 2017-08-09 株式会社ブレイン 店舗システム
JP6495764B2 (ja) * 2015-06-29 2019-04-03 株式会社東芝 画像認識装置、画像認識プログラム、画像認識方法
JP6702716B2 (ja) * 2015-12-21 2020-06-03 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR102433391B1 (ko) * 2016-01-14 2022-08-17 한국전자통신연구원 음식 검색 서비스 제공 장치 및 방법
JP6751882B2 (ja) * 2016-03-31 2020-09-09 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
CN107818554B (zh) * 2016-09-12 2023-04-21 索尼公司 信息处理设备和信息处理方法
JP2018169752A (ja) * 2017-03-29 2018-11-01 パナソニックＩｐマネジメント株式会社 商品認識システム、学習済みモデル、及び商品認識方法
JP6791362B2 (ja) * 2017-03-31 2020-11-25 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム
US11250570B2 (en) * 2017-03-31 2022-02-15 Nec Corporation Display rack image processing device, image processing method, and recording medium
JP7010641B2 (ja) * 2017-09-27 2022-01-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 異常診断方法および異常診断装置
US10643320B2 (en) * 2017-11-15 2020-05-05 Toyota Research Institute, Inc. Adversarial learning of photorealistic post-processing of simulation with privileged information
JP7374453B2 (ja) * 2019-03-28 2023-11-07 株式会社イシダ 学習済みモデル生成方法、学習済みモデル生成装置、商品判別方法、商品判別装置、商品判別システム及び計量装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITMI20031449A1 (it) * 2003-07-15 2005-01-16 St Microelectronics Srl Metodo per classificare una immagine digitale
CN1912932A (zh) * 2005-08-08 2007-02-14 株式会社东芝 薄片识别设备和薄片识别方法
CN102043965A (zh) * 2009-10-21 2011-05-04 索尼公司 信息处理设备，信息处理方法和程序
US20130027424A1 (en) * 2011-07-26 2013-01-31 Sony Corporation Information processing apparatus, information processing method, and program
US20160026900A1 (en) * 2013-04-26 2016-01-28 Olympus Corporation Image processing device, information storage device, and image processing method
CN105373938A (zh) * 2014-08-27 2016-03-02 阿里巴巴集团控股有限公司 识别视频图像中的商品和展示其信息的方法、装置及系统
CN108303170A (zh) * 2018-02-01 2018-07-20 京东方科技集团股份有限公司 智能电子称的称重方法和智能电子称

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YE HE等: "Food image analysis: Segmentation, identification and weight estimation", 2013 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME), pages 1 - 6 *
顾理琴;: "基于图像识别技术的食品种类检测方法", 食品研究与开发, no. 02, 20 January 2017 (2017-01-20) *

Also Published As

Publication number Publication date
JP7374453B2 (ja) 2023-11-07
EP3726430A2 (en) 2020-10-21
US20200311903A1 (en) 2020-10-01
US11669948B2 (en) 2023-06-06
EP3726430A3 (en) 2021-01-27
JP2020161077A (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
CN111753837A (zh) 学习完毕模型生成方法及其装置、商品判别方法及其装置
JP6709862B2 (ja) 畳み込みニューラルネットワーク画像認識技術による会計方法及び設備
US7416119B1 (en) Methods and apparatus for automatically determining and deducting weight of containers for products
EP2533217A1 (en) Commodity search device and commodity information processing device
JP2009163331A (ja) 商品販売データ処理装置及びコンピュータプログラム
EP3696518B1 (en) Weighing machine
CN105608808A (zh) 信息处理装置及其控制方法、店铺系统
Ragesh et al. Deep learning based automated billing cart
CN107533783A (zh) 产品登记装置、程序和控制方法
JP2009163330A (ja) 商品販売データ処理装置及びコンピュータプログラム
JP2021128388A (ja) データ生成装置、学習済みモデル生成装置、計量機及びデータ生成方法
JP2009163332A (ja) 商品販売データ処理装置及びコンピュータプログラム
CN112232334A (zh) 一种智能售货商品识别检测方法
US11599737B1 (en) System for generating tags
US20240029017A1 (en) Information processing device, information processing method, and recording medium
CN109584481A (zh) 一种自助称重售餐平台和系统
CN110868476A (zh) 一种推送信息确定方法和系统
CN117782290B (zh) 电子秤的防作弊系统
CN113256919B (zh) 商品候补提示系统及结算处理系统
WO2022260148A1 (ja) 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法
JP7398779B2 (ja) 計量機
CN109300263B (zh) 基于卷积神经网络的图像识别技术的结算方法和装置
WO2023248676A1 (ja) 推定方法及び推定装置
CN114882506A (zh) 目标信息识别模型的训练和目标信息的识别方法、装置
JP2024041228A (ja) 商品処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination