CN113256919A - 商品候补提示系统及结算处理系统 - Google Patents

商品候补提示系统及结算处理系统 Download PDF

Info

Publication number
CN113256919A
CN113256919A CN202110144104.XA CN202110144104A CN113256919A CN 113256919 A CN113256919 A CN 113256919A CN 202110144104 A CN202110144104 A CN 202110144104A CN 113256919 A CN113256919 A CN 113256919A
Authority
CN
China
Prior art keywords
product
candidate
unit
candidate group
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110144104.XA
Other languages
English (en)
Other versions
CN113256919B (zh
Inventor
堤弘法
府中谷洸介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ishida Co Ltd
Original Assignee
Ishida Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ishida Co Ltd filed Critical Ishida Co Ltd
Publication of CN113256919A publication Critical patent/CN113256919A/zh
Application granted granted Critical
Publication of CN113256919B publication Critical patent/CN113256919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/201—Price look-up processing, e.g. updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/01—Details for indicating

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了商品候补提示系统及结算处理系统，能够减少商品的选择所需要的时间。商品候补提示系统(10)是基于拍摄到的商品的图像提示商品的候补，以便让用户进行选择的商品候补提示系统。商品候补提示系统(10)具备获取部(13)、推定部(14)、存储部(12)以及提示部(15)。获取部(13)获取商品的图像。推定部(14)基于图像从商品组推定商品的候补。存储部(12)将过去从商品组选择的商品存储为选择信息。提示部(15)选出通过推定部(14)推定的商品的候补作为第一候补组，并且基于选择信息选出商品的候补作为第二候补组，提示第一候补组及第二候补组。

Description

商品候补提示系统及结算处理系统
技术领域
本发明涉及商品候补提示系统及结算处理系统。
背景技术
以往，已研发出如专利文献1(日本专利第6177068号公报)所示的系统，即，通过图像识别来识别食品等，从而减轻店铺的收银作业。专利文献1的店铺系统将从商品的图像中提取的特征量与学习数据中的特征量进行比较，由此识别商品的种类。并且，在专利文献1的店铺系统中，通过学习数据管理部将如下特征量追加在学习数据中，即，在店铺系统识别了种类的商品的特征量中准确度较高的特征量、以及手动将店铺系统所识别的商品的种类进行修订后的商品的特征量。
发明内容
但是，本发明人注意到了如下的问题，即，在上述专利文献1的店铺系统中，由于存在即使重复学习也难以根据图像识别的商品，所以针对这样的商品不能减轻店铺的收银作业。具体地，本发明人注意到了在考虑利用识别结果的情况下，无法基于识别结果来选择适当的商品，对于商品的选择依旧要花费时间的问题，并将其作为课题。
即，本发明的课题是提供一种商品候补提示系统及结算处理系统，能够减少商品的选择所需要的时间。
第一方面所涉及的商品候补提示系统是基于拍摄到的商品的图像提示所述商品的候补，以便让用户进行选择的商品候补提示系统。商品候补提示系统具备获取部、推定部、存储部以及提示部。获取部获取商品的图像。推定部基于图像从商品组推定商品的候补。存储部将过去从商品组选择的商品存储为选择信息。提示部选出通过推定部推定的商品的候补作为第一候补组，并且基于选择信息选出商品的候补作为第二候补组，提示第一候补组及第二候补组。
在第一方面所涉及的商品候补提示系统中，能够通过提示部提示基于图像选出的第一候补组以及基于过去选择的商品而选出的第二候补组。因此，与仅提示基于图像选出的第一候补组的情况相比，能够提高正确的商品包括在上位中的可能性。因此，第一方面所涉及的商品候补提示系统能够减少商品的选择所需要的时间。
关于第二方面所涉及的商品候补提示系统，选择信息是与如下的修订次数相关的信息：针对从过去从商品组选择的商品中的第一候补组之外选择的商品，对于每个商品将该选择作为修订动作而相关联地进行计数的修订次数。
在第二方面所涉及的商品候补提示系统中，作为选择信息是指，未从基于图像而选出的第一候补组中选择的商品被计数修订次数的信息。因此，选择信息是与因不被包括在第一候补组中而进行的修订动作相关联的信息。因此，即使是不包括在第一候补组中，通过包括在第二候补组的上位中，能够进一步提高正确的商品包括在上位中的可能性。
关于第三方面所涉及的商品候补提示系统，提示部基于选择信息按照作为修订动作的修订次数由多到少的顺序选出商品。
在第三方面所涉及的商品候补提示系统中，能够通过提示部将按照修订次数由多到少的顺序被选出的商品作为第二候补组来进行提示。由此，作为第一候补组不易被选出的商品容易包括在第二候补组的上位中。
关于第四方面所涉及的商品候补提示系统，提示部在修订次数的总数为自最近起的规定数以内或者在自最近起的规定期间内，按照修订次数由多到少的顺序选出商品。
在第四方面所涉及的商品候补提示系统中，提示部使用选择信息中的最近的修订次数选出商品。因此，提示部能够提示反映了实际状态的第二候补组。
关于第五方面所涉及的商品候补提示系统，推定部通过已学习模型推定商品的候补。在已学习模型更新时，修订次数被重置。
在第五方面所涉及的商品候补提示系统中，在已学习模型更新时，能够开始修订次数的计数。因此，随着已学习模型的更新而生成选择信息，所以能够提示反映了实际状态的第二候补组。
关于第六方面所涉及的商品候补提示系统，选择信息是与如下的选择次数相关的信息：针对过去从商品组选择的商品中的被选择的全部商品，对于每个商品将该选择作为选择动作而相关联地进行计数的选择次数。
在第六方面所涉及的商品候补提示系统中，能够通过提示部将基于所选择的众多商品排列而成的选择信息选出的商品作为第二候补组进行提示。因此，即使是不包括在第一候补组中，通过包括在第二候补组的上位中，能够提高正确的商品或者被选择的频次较多的商品包括在上位中的可能性。
关于第七方面所涉及的商品候补提示系统，提示部将第二候补组排列在第一候补组的下位进行提示。
在第七方面所涉及的商品候补提示系统中，能够从是正确的商品的可能性(概率)较高的商品开始依次地进行提示。因此，能够进一步减少商品的选择所需要的时间。
第八方面所涉及的商品候补提示系统还具备显示部，显示部具有显示提示部提示的第一候补组及第二候补组的画面。提示部在显示部的最初的一个画面中提示第一候补组的至少一部分和第二候补组的至少一部分。
在第八方面所涉及的商品候补提示系统中，在显示部中，在最初的一个画面中显示第一候补组及第二候补组。由此，正确的商品包括在最初的一个画面中的可能性(概率)变高，所以能够节省用户陆续点出下一画面的时间。
关于第九方面所涉及的商品候补提示系统，推定部通过已学习模型，基于根据图像推定的结果对候补的商品赋予位次。提示部将截止到规定的位次的商品作为第一候补组，按照位次由高到低的顺序进行提示。
在第九方面所涉及的商品候补提示系统中，在利用已学习模型根据图像赋予位次来推定商品的候补的情况下，正确的商品包括在上位中的概率较高。其中，提示部将推定部的上位的推定结果作为第一候补组，按照其位次由高到低的顺序进行提示，并且作为第二候补组，基于作为过去选择的商品的选择信息进行提示。因此，正确的商品包括在上位中的可能性进一步提高。
第十方面所涉及的结算处理系统具备拍摄部、商品候补提示系统、选择部、计量部以及计算部。拍摄部拍摄商品。商品候补提示系统基于通过拍摄部拍摄到的商品的图像提示商品的候补。选择部从通过商品候补提示系统提示的候补中选择商品。计量部计量商品的重量。计算部基于通过选择部选择的商品及通过计量部计量的重量计算商品的价格。
在第十方面所涉及的结算处理系统中，由于具备第一至第九方面的商品候补提示系统，所以能够减少选择拍摄到的图像的商品的时间。因此，能够高效地进行结算。
在本发明所涉及的商品候补提示系统及结算处理系统中，能够减少商品的选择所需要的时间。
附图说明
图1是表示实施方式所涉及的结算处理系统的示意图。
图2是结算处理系统所具有的价格确定装置的框图。
图3是在显示部中显示的商品的候补的例子。
图4是在显示部中显示的商品的价格的例子。
图5是表示实施方式所涉及的商品候补提示系统的框图。
图6是示意地表示学习模型的算法的神经网络的图。
图7是表示实施方式的结算处理系统的结算处理的流程图。
附图标记说明
10…商品候补提示系统；12…存储部；13…获取部；14…推定部；15…提示部；20…价格确定装置；22…拍摄部；24…计量部；26…显示部；29…选择部；31…计算部；40…结算处理系统；200…商品；I…图像。
具体实施方式
下面，对本发明的实施方式所涉及的商品候补提示系统10及结算处理系统40进行说明。另外，下面的说明只不过是本发明的商品候补提示系统及结算处理系统的实施方式，不限定本发明的技术范围。应该理解的是，在不脱离本发明的主旨及范围的情况下，能够对下面的实施方式进行各种变形。
(1)整体概要
参照图1说明商品候补提示系统10及结算处理系统40的概要。图1是示意地表示具备商品候补提示系统10的结算处理系统40的图。
如图1所示，结算处理系统40包括商品候补提示系统10和价格确定装置20。商品候补提示系统10基于拍摄到的商品的图像提示商品的候补，以便让用户进行选择。结算处理系统40通过价格确定装置20来确定用户从商品候补提示系统10提示的候补中选择的商品的价格。
商品候补提示系统10包括控制单元11。控制单元11经由网络NW以能够通信的方式与价格确定装置20进行连接。网络NW可以是LAN，也可以是因特网等WAN。另外，在另一个方式中，还可以是，控制单元11的功能的一部分或者全部被组入价格确定装置20中。此外，在又另一个方式中，控制单元11的功能的一部分或者全部被组入云端服务器中。即，控制单元11的各功能部的一部分或者全部也可以包括在云端服务器中。而且，云端服务器还可以是多个。所以，控制单元11的各功能部还可以分散地包括在多个云端服务器中。
还可以是，控制单元11经由网络NW以能够通信的方式与商店计算机100进行连接。商店计算机100是管理与在利用了结算处理系统40的店铺等中销售或提供的商品组相关的各种信息的计算机。与商品组相关的各种信息包括对每个商品记录有关商品的商品关联信息的商品台账。商品台账例如是商品名称、商品型号、单价等建立对应关系而成的表。
对于结算处理系统40，不限定其用途，例如可以在超市等店铺中利用。通过结算处理系统40进行了结算处理的商品例如是副食品等各种类型的商品200。另外，通过结算处理系统40进行了结算处理的商品(通过商品候补提示系统10提示的候补的商品)可以是面包、蔬菜等食品，也可以是食品以外的商品。
(2)价格确定装置
参照图1～图4对构成结算处理系统40的价格确定装置20进行说明。图2是价格确定装置20的框图。图3是在显示部26中显示的通过商品候补提示系统10提示的商品的候补的显示例。图4是在显示部26中显示的商品价格的显示例。
价格确定装置20被设置在商品的售货处等。价格确定装置20经由网络NW以能够通信的方式与商品候补提示系统10的控制单元11及商店计算机100进行连接。价格确定装置20经由网络NW从控制单元11接收放置在计量台24a上的商品200的候补。价格确定装置20(计量部24)具有计量放置在计量台24a上的商品200的重量的功能。价格确定装置20基于从控制单元11发送的商品的候补、从商店计算机100获取的商品的单价、计量部24计量的商品200的重量，从而确定商品200的价格。
如图1所示，价格确定装置20具备框体21、拍摄部22、光源23、计量部24、固定键25、显示部26以及控制单元27。如图2所示，控制单元27包括控制部28、选择部29、存储部30以及计算部31。显示部26包括选择部29。
(2-1)框体
如图1所示，框体21包括收纳部21a、保持部21b以及连接部21c。收纳部21a收纳计量部24。保持部21b被配置在收纳部21a上方。连接部21c连接收纳部21a和保持部21b。连接部21c沿上下方向延伸。
(2-2)拍摄部
图1及图2所示的拍摄部22拍摄商品200。拍摄部22设置于保持部21b。当商品200被放置在计量台24a上时，拍摄部22被后述的控制单元27的控制部28控制，拍摄商品200并获取图像I(参照图3)。拍摄部22例如是获取彩色图像的CCD图像传感器、COMS图像传感器等。拍摄部22还可以包括立体摄像机、获取商品200的温度图像的红外线摄像机等。拍摄部22将拍摄到的图像I，从价格确定装置20经由网络NW发送给商品候补提示系统10的控制单元11。
另外，拍摄部22还可以是独立于价格确定装置20的装置，还可以使用拍摄部22所具有的通信装置或拍摄部22所连接的网关将拍摄部22拍摄的图像I发送给控制单元11。
(2-3)光源
光源23照亮拍摄部22拍摄的商品200。光源23设置于保持部21b。一个或者多个光源23配置在拍摄部22的附近。
(2-4)计量部
计量部24计量商品的重量。计量部24设置于收纳部21a。计量部24包括计量台24a、未图示的负载传感器、信号处理电路以及发送模块。商品200被放置在计量台24a上。在计量台24a的下方设有负载传感器。负载传感器将在商品200被放置在计量台24a上时产生的机械性形变转换成电气信号。信号处理电路将负载传感器输出的信号放大并转换成数字信号，发送模块把数字信号发送给控制单元27。
(2-5)固定键
固定键25具有操作价格确定装置20所需要的各种按键。固定键25设置于收纳部21a。
(2-6)显示部
显示部26显示各种信息。本实施方式的显示部26是触摸屏式的显示器。显示部26可以具有一个画面，还可以具有多个画面。显示部26设置于收纳部21a。
如图3所示，在显示部26显示有通过拍摄部22拍摄的商品200的图像I以及基于该图像I通过商品候补提示系统10提示的商品的多个候补。在图3中，在左侧显示有图像I，在右侧显示有商品的候补。
另外，如图4所示，显示部26显示用户通过选择部29从商品的候补中(通过触摸)选择的商品名称、计量部24计量的商品200的重量值、从商店计算机100获取的商品的单价、以及计算部31计算出的商品200的价格。
(2-7)控制单元
如图1所示，控制单元27设置于收纳部21a。控制单元27通过计算机来实现。控制单元27具备控制运算装置和存储装置。控制运算装置能够使用CPU或者GPU这样的处理器。控制运算装置读出在存储装置中存储的程序，按照该程序进行规定的图像处理、运算处理。另外，控制运算装置能够按照程序将运算结果写入存储装置，并读出在存储装置中存储的信息。
控制单元27经由网络NW以能够通信的方式与控制单元11和商店计算机100进行连接。如图2所示，控制单元27包括控制部28、选择部29、存储部30、计算部31以及输出部。
(2-7-1)控制部
控制部28在基于计量部24的计量值检测出商品200被放置在计量部24的计量台24a上时，控制拍摄部22，使拍摄部22拍摄被放置在计量台24a上的商品200的图像。另外，还可以是，控制部28在检测出预先在存储部30中存储的计量台24a的基准图像(在商品未映入的状态下拍摄的图像)与当前拍摄的图像产生差异时，使拍摄部22拍摄被放置在计量台24a上的商品200的图像。另外，还可以是，控制部28不自动控制拍摄部22，而基于从固定键25等输入的操作，使拍摄部22拍摄商品200的图像。并且，控制部28控制显示部26的显示。
(2-7-2)选择部
选择部29从通过商品候补提示系统10提示的候补中选择商品。如图3所示，选择部29被包括在显示部26中。用户操作触摸屏式的显示器即显示部26的选择部29，从显示的商品的候补中选择正确的商品。
在图3中，选择部29是被记载为商品A～商品G的各选择按钮(被划区显示的各区域)。如果在显示部26显示的作为多个候补的商品A～商品G中具有正确的商品，则用户按下作为选择部29被记载有正确的商品的选择按钮，由此能够选择正确的商品。受理通过选择部29选择的商品作为与图像I对应的商品的输入。所以，与通过选择部29选择的商品相关的信息被发送给计算部。用户的选择结果从价格确定装置20经由网络NW被发送给商店计算机100。
另外，控制单元27将使拍摄部22拍摄的商品200的图像和与通过选择部29选择的商品相关的信息(人判断的正确的商品名称)的组，作为示教数据而输出。输出的示教数据被输入控制部11，并被存储在后述的存储部12的未图示的示教数据存储区域中。并且，控制部11在生成(构建)新的已学习模型时，对于原本存在的示教数据的至少一部分和新存储的示教数据的至少一部分，使生成前的学习模型进行学习。即，通过适当学习被追加的示教数据，从而更新为已学习模型。这样的学习是与结算处理分开进行的，例如在店铺关门时等进行。
(2-7-3)存储部
存储部30存储商品台账、商品识别所需要的信息。存储部30从商店计算机100获取商品台账。商品台账包括至少商品型号(ID)、商品名称、单价、定额等建立对应关系而成的数据表。商品台账能够被更新(变更)。
(2-7-4)计算部
计算部31基于通过选择部29选择的商品及通过计量部24计量的重量，计算商品的价格。具体地，计算部31在接收到与通过选择部29选择的商品相关的信息时，从商品台账读出与该商品相关的信息。这里，计算部31从商品台账获取与被选择的商品对应的商品的单价。计算部31从计量部24获取通过计量部24计量的重量值。并且，计算部31基于所获取的重量值和商品的单价计算商品的价格。计算部31将计算出的价格发送给显示部26。
(3)商品候补提示系统
参照图1～图6对商品候补提示系统10进行说明。图5是商品候补提示系统10的框图。图6是示意地表示控制单元11的存储部12所具有的已学习模型的算法的神经网络的图。
如图5所示，商品候补提示系统10具备上述的控制单元11和显示部26。控制单元11控制显示部26的显示。本实施方式的显示部26被安装在价格确定装置20中。控制单元11与显示部26是独立的部件，但也可以是一体化的平板终端等。
控制单元11通过计算机来实现。控制单元11具备控制运算装置和存储装置。控制运算装置能够使用CPU或者GPU这样的处理器。控制运算装置读出在存储装置中存储的程序，按照该程序进行规定的图像处理、运算处理。另外，控制运算装置能够按照程序将运算结果写入存储装置，并读出在存储装置中存储的信息。
控制单元11包括存储部12、获取部13、推定部14以及提示部15。
(3-1)存储部
存储部12具有商品台账存储区域12a、已学习模型存储区域12b以及选择信息存储区域12c来作为存储各种信息的存储区域。
商品台账存储区域12a存储商品台账。商品台账与在价格确定装置20的存储部30中存储的商品台账相同。但是，在存储部30中存储的商品台账是在上述的结算处理中使用的，所以期望始终更新为从商店计算机100得到的最新的商品台账。另一方面，在商品台账存储区域12a存储的商品台账是在后述的基于已学习模型的商品的推定结果中使用的，所以可以设为在已学习模型存储区域12b存储的已学习模型进行学习的时刻的商品台账。即，商品台账的内容可以在存储部30与商品台账存储区域12a之间随着销售商品的追加或者停售而产生不一致。
已学习模型存储区域12b存储已学习模型。已学习模型是通过机械学习而生成的模型。已学习模型经由存储介质、网络等来获取。
选择信息存储区域12c将过去从商品组中选择的商品存储为选择信息。所谓商品组是指汇集了在店铺等销售或提供的商品的商品组。关于选择信息，基于过去从商品组中选择的商品(已选择的结果)，对成为候补的商品赋予位次。
具体地，参照图1及图2，价格确定装置20的控制单元27经由网络NW向商店计算机100发送通过选择部29选择的商品。商店计算机100汇集来自各店铺的被选择的商品，将过去从商品组中选择的商品生成为选择信息。商店计算机100将这样生成的选择信息经由网络NW发送给控制单元11。商店计算机100在规定的定时发送选择信息。另外，商店计算机100还可以根据来自控制单元11的发送请求来发送选择信息。控制单元11将接收到的选择信息存储在存储部12的选择信息存储区域12c中。另外，控制单元11还可以将接收到的选择信息存储在云端服务器中。
本实施方式的选择信息是与如下的修订次数相关的信息：针对从过去从商品组选择的商品中的后述的第一候补组之外选择的商品，对于每个商品将该选择作为修订动作而相关联地进行计数的修订次数。
具体地，在通过选择部29选择的商品包括在第一候补组中的情况下，视为没有修订动作，修订次数不被计数。另一方面，在通过选择部29选择的商品未包括在第一候补组中的情况下，视为有修订动作，修订次数被计数。对每个商品记录这样被计数的修订次数，从而生成选择信息。这里，选择信息是商品按照修订次数由多到少的顺序排列而成的选择信息。
选择信息是在总数为自最近起的规定数以内或者在自最近起的规定期间内，商品按照修订次数由多到少的顺序排列而成的选择信息。作为例子，对使用自最近起的修订次数的总数为100(次)以内的修订次数(总数为自最近起的规定数以内的修订次数)作为选择信息的情况进行说明。在这种情况下，选择信息存储区域12c以能够确定针对全部商品的修订次数的合计(总数)是否是自最近起到100次为止的修订的方式，存储每个商品的修订次数。具体地，选择信息存储区域12c构成为对每个商品将进行了各修订的时期与各修订的记录一起存储、或者一面随时更新进行了各修订的位次(顺序)一面与各修订的记录一起存储。并且，通过按照修订次数由多到少的顺序对商品进行排列，从而生成选择信息。另外，规定次数可以根据针对第二候补组的显示应用了进行商品选择的结算处理的结果，适当地变更为适当的值，不限于100次。例如，规定次数可以少于100次(例如50次)，还可以多于100次(例如1000次)。
另外，例如还可以是，在自最近起的规定天数以内，通过按照修订次数由多到少的顺序对商品进行排列，从而生成选择信息。规定天数是考虑与商品相关的修订的追加频次(增加量)而适当设定的天数，例如设为2天～30天。在这种情况下，选择信息存储区域12c构成为以能够确定针对全部商品的进行修订的时期的方式，存储每个商品的修订次数。具体地，选择信息存储区域12c构成为对每个商品将进行了各修订的时期与各修订的记录一起存储。
另外，除了首次开始使用商品候补提示系统10的时候以外，还可以在规定的定时开始进行修订次数的计数。例如，在后述的已学习模型更新时开始进行修订次数的计数。即，也可以是，在已学习模型更新时，选择信息存储区域12c重置各商品的修订次数(还可以更新为0次)。通常，若已学习模型更新，则容易推定错误的商品可能变化，所以更新前的已学习模型的推定所涉及的修订未反映实际状态。
(3-2)获取部
获取部13获取商品200的图像I。商品200的图像I可以是通过拍摄部22拍摄的图像，还可以是从通过拍摄部22拍摄的图像中提取商品而成的图像。另外，商品200的图像I还可以是对通过拍摄部22拍摄的图像施加了图像处理(例如使拍摄到的图像的亮度值与已学习模型学习的图像的亮度值一致的校正等)后的图像。这里，获取部13获取从价格确定装置20经由网络NW被发送过来的图像I。
(3-3)推定部
推定部14基于图像I从商品组推定商品的候补。推定部14从获取部13获取在推定商品200时利用的图像I。
在本实施方式中，推定部14通过已学习模型推定商品的候补。已学习模型通过机械学习预测基于图像数据的图像所表示的商品并进行输出。已学习模型包括神经网络。已学习模型还可以是包括卷积神经网络的模型。另外，已学习模型还可以是包括多个层次(例如8层以上)的神经网络的模型。即，还可以通过深度学习来生成已学习模型。
如图6所示，神经网络例如由输入层、多层的中间层(隐藏层)以及输出层构成。输入层将以p个参数作为要素的输入值x(＝x0、x1、x2…xp)直接输出到中间层。中间层的各层利用激活函数将总输入转换为输出，将该输出转送至下一层。输出层利用激活函数将总输入转换为以q个参数作为要素的神经网络的输出向量y(＝y0、y1、…、yq)。各yi用于将是商品Si的可能性表述为数值，并按照每个商品Si进行输出。i表示对每个商品赋予的识别用的值，根据基于商品(的种类)的总数来确定的参数的要素数，使得与1～q的值的任一个对应。
这里，在神经网络中，输入图像的各像素的像素值，输出表示商品的推定结果的信息(输出向量y)。在神经网络的输入层设有图像的像素数的量的神经。在神经网络的输出层设有输出与商品的推定结果相关的信息用的神经。能够基于输出层的神经的输出值推定商品。神经的输出值例如是0～1的值。在这种情况下，神经的值越大(值越接近1)，是图像的商品的可能性越高，神经的值越小(值越接近0)，是图像的商品的可能性越低。即，在商品Si的神经值(yi或者基于yi计算出的值)较大的情况下，表示图像的商品是商品Si的概率较高，在商品Si的神经值较小的情况下，表示是商品Si的概率较低。
推定部14将图像I输入已学习模型。推定部14还可以将输入的图像标准化。为了图像的标准化，例如通过进行图像的缩小、放大、修剪等来实现。另外，推定部14还可以对输入的图像进行对比度的调整、颜色的变更、格式的变更等各种处理。推定部14根据向已学习模型的神经网络输入图像，获取包括从神经网络输出的输出值的推定结果。在推定结果中包括被登记在商品台账中的全部种类的商品。
推定部14基于推定结果对候补的商品赋予位次。即，推定部14对于可能成为候补的每个商品计算根据图像I推定的商品的似然度(基于上述的神经值的作为各商品的推定的准确度)。具体地，推定部14从神经值最大的商品开始依次赋予位次。推定部14对全部商品生成使商品型号与位次建立了对应关系的推定信息。推定部14将在推定处理中使用的图像的图像信息及推定信息发送给提示部15。
(3-4)提示部
提示部15选出通过推定部14推定的商品的候补(在推定部14推定的商品中、从似然度较大的商品开始排列而进入到规定的位次的商品)作为第一候补组，并且基于选择信息选出商品的候补(在推定部14未作为候补选出的商品中、从修订次数较大的商品开始排列而进入到规定的位次的商品)作为第二候补组，并提示第一候补组及第二候补组。第一候补组及第二候补组由被包括在商品台账中的商品构成，且不重复包括相同的商品。第一候补组及第二候补组分别由一个以上的商品构成。通过提示部15提示的商品的候补显示于显示部26。
本实施方式的第一候补组是基于通过推定部14(已学习模型)根据图像I推定的结果(似然度)，并基于对候补的商品赋予位次的结果来确定的。第一候补组是将通过推定部14推定的商品的位次中截止到规定的位次为止的商品按照位次由高到低的顺序进行排列而得到的。具体地，第一候补组是按照已学习模型输出的推定的准确度由高到低的顺序提取截止到规定的位次即第k位(个)为止的商品而得到的。更详细地，是从与已学习模型输出的各商品Si对应的神经值yi较大者开始，在赋予了第1位(个)、第2位(个)、…、第q位(个)这样的位次的商品Si中，提取第1～k位(个)的商品Si而得到的。
本实施方式的第二候补组是基于选择信息中除了在第一候补组中选出的商品之外的商品按照修订次数由多到少的顺序排列的方式而确定的。即，第二候补组是商品台账的商品中除了在第一候补组中选出的商品之外的商品按照修订次数由多到少的顺序排列而得到的。换言之，第二候补组是对从第一候补组漏掉的剩余商品，按照修订次数由多到少的顺序进行排列并提取而得到的。因此，如上所述，第一候补组和第二候补组不重复包括相同的商品。
这里，提示部15将第二候补组排列在第一候补组的下位来进行提示。在这种情况下，显示部26按照基于推定部14的似然度由高到低的顺序排列显示规定个(数)的商品，在其下位，按照基于选择信息的修订次数由多到少的顺序排列显示商品。这里，在显示部26能够同时显示的商品的数量上受限制，所以如后面所述，通过提示部15，在显示部26的最初画面显示的第二候补组，按照修订次数由多到少的顺序被限定为截止到规定数的商品。对于在显示部26的最初的一个画面中不能显示的第二候补组，被显示在通过(触摸)选择在显示部26显示的未图示的下页按钮(区域)而显示的下一后续的画面中。
另外，提示部15在显示部26的最初的一个画面中提示第一候补组的至少一部分和第二候补组的至少一部分。即，提示部15以显示部26能够同时显示第一候补组及第二候补组的方式进行提示。这里，在显示部26的最初的一个画面中提示第一候补组的全部和第二候补组的上位。
具体地，如上所述，提示部15将通过推定部14推定的商品的位次中第1～k个(k是任意的整数)作为第一候补组。并且，提示部15从选择信息存储区域12c读出选择信息，将选择信息中除了在第一候补组选出的商品之外赋予了位次的商品作为第二候补组。即，提示部15提示第一候补组的商品(按照似然度由高到低的顺序提取的第1～k个商品)作为第1～k个候补，提示第二候补组的商品(按照修订次数由多到少的顺序提取不包括在第一候补组中的商而品得到的商品)作为自第(k+1)个起的候补。
另外，也可以是，提示部15通过在显示部26分开区划地显示第一候补组的商品和第二候补组的商品的方式来进行提示。此外，还可以是，提示部15通过在显示部26以使视觉上不同的方式显示第一候补组的商品和第二候补组的商品的方式来进行提示。
已知在已学习模型对能够比较正确地推定的商品的图像(不难推定的商品的图像)进行推定的情况下，在已学习模型推定的商品中，截止到自似然度较高者起到特定的位次的商品，得到正解的可能性比较大，但是对于自特定的位次以后的商品，得到正解的可能性比较小。例如存在如下情况，即，对于某一商品组，在自上位起按照到第一个商品、到第二个商品、…、到第四个商品的方式依次包括在候补中的情况下，每当增加所包括的商品时，虽然随便哪个是正解的统计概率提高而达到约80％，但是在继续追加第五个、第六个商品作为候补时，随便哪个是正解的统计概率不再从80％提高(饱和)。在这种情况下，把k设定为4比较适合。在k是4的情况下，在图3的显示部26的最初的一个画面中，商品A～D(4个商品)是通过推定部14推定的商品的候补中的第1～4个，商品E～G(根据能够同时显示的商品的数量而确定的，该情况下是3个商品)是根据选择信息去除了商品A～D后的商品中的第1～3个。商品A～D是第一候补组，商品E～G是第二候补组。另外，在这种情况下，提示部15可以在商品D与商品E之间设置边界线，还可以以改变商品A～D的颜色和商品E～G的颜色的方式进行提示。另外，根据选择信息去除了商品A～D后的商品中的自第4个起的商品被显示在显示部26的下一画面中。此外，k的值是能够根据推定的商品组而变化的值，根据商品组，不限于4。
另外，在已学习模型对比较容易成为错误的推定的商品的图像(难推定的商品的图像)进行推定的情况下，是正解的商品被包括在基于已学习模型的推定的上位(第1～k个)的商品中的可能性极低。与此相对，在第二候补组中，由于包括过去被修订过的商品，所以包括容易推定错误的商品。因此，针对比较容易成为错误的推定的商品的图像，在第二候补组中包括正解的可能性变高。即，第一候补组和第二候补组成为互补的关系。
这样，根据图像I中包括的商品，不能说第一候补组的商品一定比第二候补组的商品成为正解的概率高。然而，通常已学习模型难推定的商品，相对于全部商品来说是极小部分(顶多也不到一半)。因此，在对全部商品进行综合考虑的情况下，商品包括在第一候补组中的统计概率高于包括在第二候补组中的统计概率。因此，如上所述构成为，在第一候补组的商品的下面显示第二候补组的商品。
(3-5)显示部
显示部26具有显示提示部15提示的第一候补组及第二候补组的画面。这里，显示部26是价格确定装置20的显示器。因此，与提示部15提示的图像I对应的商品的候补经由网络NW被发送给价格确定装置20的显示部26。
显示部26具有画面。如上所述，显示部26基于提示部15的输出(提示)，从最初的一个画面朝向下一画面，从是正确的商品的概率较高者起依次地排列显示候补的商品。在图3中，在各画面中显示商品的图像I，并且显示提示部15提示的商品的候补。在显示部26的各画面中，与图像I对应的商品的候补以使概率较高的商品位于上方的方式，沿上下方向排列而显示规定数量(例如，第一候补组中的4个和第二候补组中的3个共计7个)。这样，显示部26构成为假设通过提示部15被显示在最初的一个画面中的商品的候补不正确的情况下，用户能够选择正确的商品。
(4)商品候补提示方法及结算处理方法
参照图1～图7对商品候补提示方法及结算处理方法进行说明。图7是表示价格处理方法的流程图。另外，图7所示的流程图只不过是商品价格的确定处理的一例，可以在不矛盾的范围内适当变更。例如，图7的流程图不限定各步骤的顺序，可以在互不矛盾的范围内适当变更各步骤的顺序。
商品候补提示方法使用上述的商品候补提示系统10。结算处理方法使用上述的结算处理系统40。
首先，获取部13获取商品200的图像I(步骤S1)。该步骤S1例如按照下面所述的方式来实施。
在商品200被放置于计量台24a时，控制部28控制拍摄部22，使拍摄部22拍摄商品200。然后，经由网络NW，价格确定装置20的控制单元27向商品候补提示系统10的控制单元11发送图像I。获取部13获取被发送过来的图像I。
然后，通过推定部14，基于图像I从商品组中推定商品的候补(步骤S2)。这里，推定部14使用基于机械学习的已学习模型，基于根据图像I推定的结果，对候补的商品赋予位次。
然后，通过提示部15选出通过推定部14推定的商品的候补作为第一候补组，并且基于选择信息选出商品的候补作为第二候补组，提示第一候补组及第二候补组(步骤S3)。该步骤S3例如按照下面所述的方式来实施。
选出通过推定部14推定的商品的位次中的第1～k个(k是任意的整数)作为第一候补组。提示部15从存储部12读出选择信息，选出选择信息中除了在第一候补组中选出的商品之外的赋予了位次的商品作为第二候补组。并且，将第1～k个候补作为第一候补组的第1～k个商品，将自第(k+1)个起的候补作为第二候补组的位次由高到低的顺序的商品进行提示。
然后，将提示部15提示的第一候补组及第二候补组显示在显示部26中(步骤S4)。在该步骤S4中，控制单元11将通过提示部15提示的第一候补组及第二候补组发送给价格确定装置20的控制单元27。控制单元27使在显示部26显示商品的候补，以便让用户进行选择。
然后，通过选择部29从通过商品候补提示系统10提示的候补中选择商品(步骤S5)。这里，用户操作触摸屏式的显示器即显示部26，从在显示部26显示的商品的多个候补中按下记载有一个商品的选择部29。上述步骤S4及S5例如按照下面所述的方式来实施。
在显示部26的最初的一个画面中，如图3所示，与图像I对应的商品的候补以使概率较高的商品位于上方的方式，沿上下方向排列而显示7个。上位的4个商品A～D是第一候补组。第5～7个商品E～G是第二候补组。看到该显示的用户操作显示部26的选择部29，从商品A～G中选择正确的商品。例如，用户按下记载有正确的商品的选择部29，由此选择正确的商品。
并且，显示部26构成为假设推定部14的推定完全不正确的情况下，用户能够选择正确的商品。这里，在最初的一个画面中显示有第一候补组及第二候补组，所以当在商品A～D中没有正确的商品的情况下，用户能够确认在商品E～G中是否有正确的商品。当在显示部26中在图3的最初的一个画面中没有显示正确的商品的情况下，在下一个画面中显示第8～14个商品。这样，用户能够陆续点出下一画面直到点出包括正确的商品的画面为止。另外，在该例中，显示部26在一个画面中显示7个商品，但在画面中显示的商品的数量不受限定。并且，在各画面中显示的商品的数量可以固定，也可以不固定。
用户对商品的选择结果从价格确定装置20经由网络NW被发送给控制单元11。基于该选择结果生成上述的选择信息。具体地，在用户选择的商品不包括在第一候补组中的情况下，视为对推定部14的推定进行了修订，针对该商品计数一次修订次数。
另外，价格确定装置20的计量部24计量被放置在计量台24a上的商品200的重量(步骤S6)。在该步骤S6中，控制单元27获取商品200的重量值。
然后，基于通过选择部29选择的商品及通过计量部24计量的重量，计算商品200的价格(步骤S7)。在该步骤S7中，计算部31进行如下的计算，即，将从存储部30读出的在步骤S5中用户选择的商品的单价(从商店计算机100发送的商品的单价)与在步骤S6中获取的商品200的重量值相乘，将计算值确定为商品200的价格。最后，如图4所示，通过控制单元27将在步骤S7中确定的商品200的价格与商品200的重量值及单价一起显示在显示部26。
(5)特征
(5-1)本发明人得到了如下的见解：在推定部14根据某一特定的图像推定的商品的位次中，正确的商品被包括在4位以内的概率是80％以上。另外，该见解是关于根据某一特定的图像推定的商品的位次的见解，并且还得到了以高概率包括正确的商品的商品数量是有限的见解。根据该见解，即使是将推定部14推定的商品的上位之外的商品作为候补进行提示，由于正确的商品被包括的概率较低，所以本发明人想到了替代概率较低的商品，基于过去选择的商品来提示商品的候补。即，得到了提示第一候补组及第二候补组双方的构思，并完成了本实施方式所涉及的技术思想，第一候补组基于以较高的概率包括正确的商品的推定部14的上位的推定结果，第二候补组基于与过去选择的商品相关的选择信息。
即，本实施方式的商品候补提示系统10是基于拍摄到的商品的图像I提示商品的候补，以便让用户进行选择的商品候补提示系统。商品候补提示系统10具备获取部13、推定部14、存储部12以及提示部15。获取部13获取商品的图像I。推定部14基于图像I从商品组中推定商品的候补。存储部12的选择信息存储区域12c将过去从商品组中选择的商品存储为选择信息。提示部15选出推定部14推定的商品的候补作为第一候补组，并且基于选择信息选出商品的候补作为第二候补组，并提示第一候补组和第二候补组。
在本实施方式的商品候补提示系统10中，能够通过提示部15提示基于图像I选出的第一候补组以及基于过去选择的商品选出的第二候补组。因此，与仅提示基于图像I选出的第一候补组的情况相比，能够提高正确的商品包括在上位中的可能性。由此，通过利用推定部14的推定结果，并提示第二候补组，能够减少基于该推定结果无法选择适当的商品的问题。因此，第一方面所涉及的商品候补提示系统10能够减少商品的选择所需要的时间。
(5-2)在本实施方式的商品候补提示系统10中，选择信息是与如下的修订次数相关的信息：针对从过去从商品组选择的商品中的第一候补组之外选择的商品，对于每个商品将该选择作为修订动作而相关联地进行计数的修订次数。
这里，作为选择信息是指，未从基于图像I而选出的第一候补组中选择的商品被计数修订次数的信息。因此，选择信息是与因不被包括在第一候补组中而进行的修订动作相关联的信息。因此，即使是不包括在第一候补组中，通过包括在第二候补组的上位中，能够进一步提高正确的商品包括在上位中的可能性。
另外，在具有即使重复学习也难以根据图像I正确推定的商品、尚未学习的新商品等(下面，也称为“推定部14难推定的商品”)时，在推定部14推定的第一候补组中包括正确的商品的候补的概率降低。但是，这样的推定部14难推定的商品往往是从第一候补组之外选择的，所以被计数修订次数。因此，通过选出修订次数较多的商品作为第二候补组进行提示，能够补充推定部14难推定的商品。这里，在推定部14难推定的商品和销售数量较多的商品不一致的情况下，能够有效地补充推定部14难推定的商品。
(5-3)关于本实施方式的商品候补提示系统10，推定部14通过已学习模型推定商品的候补。在已学习模型更新时，修订次数被重置。
这里，在已学习模型更新时，能够开始修订次数的计数。因此，随着已学习模型的更新而生成选择信息，所以能够提示反映了实际状态的第二候补组。
(5-4)关于本实施方式的商品候补提示系统10，提示部15将第二候补组排列在第一候补组的下位进行提示。
这里，能够从是正确的商品的可能性(概率)较高的商品开始依次地进行提示。因此，能够进一步减少商品的选择所需要的时间。
(5-5)本实施方式的商品候补提示系统10还具备显示部26，显示部26具有显示提示部15提示的第一候补组及第二候补组的画面。提示部15在显示部26的最初的一个画面中提示第一候补组的至少一部分和第二候补组的至少一部分。
这里，在显示部26中，在最初的一个画面中显示第一候补组及第二候补组。由此，正确的商品包括在最初的一个画面中的可能性(概率)变高，所以能够节省用户陆续点出下一画面的时间。
(5-6)关于本实施方式的商品候补提示系统10，推定部14通过已学习模型，基于根据图像推定的结果，对候补的商品赋予位次。提示部15将截止到规定的位次的商品作为第一候补组，按照位次由高到低的顺序进行提示。
这里，在利用已学习模型根据图像I赋予位次来推定商品的候补的情况下，正确的商品包括在上位中的概率较高。并且，提示部15将推定部14的上位的推定结果作为第一候补组，按照其位次由高到低的顺序进行提示，并且作为第二候补组，基于作为过去选择的商品的选择信息进行提示。因此，正确的商品包括在上位中的可能性进一步提高。
(5-7)本实施方式的结算处理系统40具备拍摄部22、商品候补提示系统10、选择部29、计量部24以及计算部31。拍摄部22拍摄商品。商品候补提示系统10基于通过拍摄部22拍摄到的商品的图像I提示商品的候补。选择部29从通过商品候补提示系统10提示的候补中选择商品。计量部24计量商品的重量。计算部31基于通过选择部29选择的商品及通过计量部24计量的重量计算商品的价格。
在本实施方式的结算处理系统40中，由于具备上述商品候补提示系统10，所以能够减少选择拍摄到的图像的商品的时间。因此，能够高效地进行结算。
(6)变形例
下面示出上述实施方式的变形例。另外，各变形例的内容的一部分或者全部还可以在互不矛盾的范围内与其他变形例的内容进行组合。
(6-1)变形例A
在上述实施方式中，选择信息是商品按照修订次数由多到少的顺序排列而成的选择信息，但不限于此。在本变形例中，选择信息是对每个商品记录了修订次数的选择信息。例如，关于选择信息，在与修订次数无关而由商品排列而成的表中，记录针对各商品的修订次数。另外，还可以对选择信息设置标志。
另外，在本变形例中，提示部15基于选择信息，按照作为修订动作的修订次数由多到少的顺序选出商品。并且，提示部15在总数为自最近起的规定数以内或者在自最近起的规定期间内，按照修订次数由多到少的顺序选出商品。例如，提示部15根据选择信息，在自最近起的修订次数的总数为100次时，按照修订次数由多到少的顺序将商品排列，选出将在第一候补组中选出的商品去除后的商品作为第二候补组。
这样，关于本变形例的商品候补提示系统，提示部15基于选择信息按照作为修订动作的修订次数由多到少的顺序选出商品。
这里，通过提示部15能够提示按照修订次数由多到少的顺序选出的商品作为第二候补组。由此，不易作为第一候补组而被选出的商品容易包括在第二候补组的上位中。
并且，在本变形例的商品提示系统中，基于与对每个商品将该选择作为修订动作而相关联地进行计数的修订次数相关的选择信息，提示部15按照作为修订动作的修订次数由多到少的顺序选出商品。因此，每当修订次数增加时，能够减少按照修订次数由多到少的顺序对商品重新排列的时间。
并且，关于本变形例的商品候补提示系统，提示部15在总数为自最近起的规定数以内或者在自最近起的规定期间内，按照修订次数由多到少的顺序选出商品。
这里，提示部15使用选择信息中的最近的修订次数选出商品。例如，在商品组包括修订频次较少的长期销售商品和修订频次较多的新商品的情况下，虽然修订次数产生偏差，但提示部15选出修订频次较多的新商品作为第二候补组并置于上位。因此，提示部15能够提示反映了实际状态的第二候补组。
(6-2)变形例B
在上述实施方式中，选择信息是与将从第一候补组之外选择的商品作为修订动作而相关联地进行计数的修订次数相关的信息，但不限于此。在本变形例中，在推定部14推定的位次中，若选择了比规定位次更靠下位的商品，则该商品的修订次数被计数。规定位次可任意设定，例如设为5位。在这种情况下，若选择了推定部14推定的5位以下的商品，则该商品被视为在推定部14的推定中具有修订，修订次数被计数。另一方面，若选择了推定部推定的4位以上的商品，则该商品被视为在推定部14的推定中没有修订，修订次数不被计数。通过按照这样被计数的修订次数由多到少的顺序将商品排列，能够生成选择信息。
(6-3)变形例C
在上述实施方式中，选择信息是与如下的修订次数相关的信息：针对从过去从商品组选择的商品中的第一候补组之外选择的商品，对于每个商品将该选择作为修订动作而相关联地进行计数的修订次数，但不限于此。在本变形例中，选择信息是与如下的选择次数相关的信息：针对过去从商品组选择的商品中的被选择的全部商品，对于每个商品将该选择作为选择动作而相关联起地进行计数的选择次数。
具体地，选择信息是商品按照作为选择动作的选择次数由多到少的顺序排列而成的选择信息。即，选择信息是在商品组中按照销售数量由多到少的顺序排列而成的选择信息。选择信息是在总数为自最近起的规定数以内或者在自最近起的规定期间内，按照选择次数由多到少的顺序将商品排列而成的选择信息。
或者，选择信息是对每个商品记录了作为选择动作的选择次数的选择信息。例如，关于选择信息，在与选择次数无关而由商品排列而成的表中，记录针对各商品的选择次数。在这种情况下，提示部15基于选择信息按照作为选择动作的选择次数由多到少的顺序选出商品。并且，提示部15在总数为自最近起的规定数以内或者在自最近起的规定期间内，按照选择次数由多到少的顺序选出商品。
在本变形例中，能够提示基于所选择的众多商品排列而成的选择信息选出的商品作为第二候补组。因此，即使是不包括在第一候补组中时，通过包括在第二候补组的上位中，使得正确的商品或者被选择的频次较多的商品包括在上位中的可能性进一步提高。
例如，在尚未学习的新商品销售很好的情况下，能够通过第二候补组补充对推定部14难推定的商品。并且，至少能够通过第二候补组将被选择的频次较多的销售很好的商品显示在最初的一个画面中。因此，即使是正确的商品未包括在基于已学习模型的推定的第一候补组的商品中，与补充不好卖的商品的情况相比，不易发生作业者进入下一画面选出正确的商品的事例。因此，降低作业者的时间。
(6-4)变形例D
在上述实施方式中，提示部15将第二候补组排列在第一候补组的下位进行提示，但不限于此。提示部15只要提示第一候补组及第二候补组双方即可。在本变形例中，提示部15交替地排列提示第一候补组的商品和第二候补组的商品。
(6-5)变形例E
在上述实施方式中，第一候补组被设为在推定部14推定的商品的位次中第1～k个(k是任意的整数)的商品，但也可以不以个数划分。在本变形例中，第一候补组被设为神经值为阈值以上的商品。因此，根据推定部的神经值，第一候补组的数量不同。
(6-6)变形例F
在上述实施方式中，推定部14利用已学习模型推定与图像I对应的商品，但不限于此。推定部14也可以不利用已学习模型，而按照规则根据图像I推定商品。例如，也可以是，在控制单元11中，预先用程序记载图像与商品的关系，推定部14基于该程序推定与图像I对应的商品。
(6-7)变形例G
在上述实施方式中，商品候补提示系统10构成为能够经由网络NW与商店计算机100通信，但也可以省略商店计算机100。
并且，在上述实施方式中，商品候补提示系统10的控制单元11构成为从商店计算机100获取过去从商品组选择的商品的选择信息，但不限于此。在本变形例中，控制单元11构成为从价格确定装置20获取选择信息。
具体地，价格确定装置20的控制单元27将通过选择部29选择的商品经由网络NW发送给商品候补提示系统10的控制单元11。商品候补提示系统10的存储部12将过去从商品组选择的商品存储为选择信息。价格确定装置20在规定的定时发送选择信息。另外，价格确定装置20还可以根据来自控制单元11的发送请求发送选择信息。
这样，本变形例的商品候补提示系统基于在配置有结算处理系统40的店铺内选择的信息，提示商品的候补。
(6-8)变形例H
在上述实施方式中，推定部14从被登记在商品台账中的全部商品组，基于拍摄到的商品的图像推定商品的候补。在商品组中包括因缺货等原因而未交易的商品。在本变形例中，推定部从不包括没有交易的商品的商品组(由有交易的商品构成的商品组)，基于拍摄到的商品的图像I推定商品的候补。
具体地，商品台账存储区域12a存储收集了有交易的商品的商品台账。所谓有交易的商品是指在商品候补提示系统10工作时，在使用商品候补提示系统10的店铺等中销售/提供的商品、具有库存的商品等。另外，所谓销售/提供的商品，更具体地，是指作为销售/提供的商品而在店铺中管理的商品。此外，所谓具有库存的商品，更具体地，是指作为具有库存的商品而管理的商品。
例如，商店计算机100构成为经由网络NW向控制单元11发送各商品的与交易的有无相关的信息(下面，也称为“交易商品信息”)。交易商品信息总之是指与有交易的商品及没有交易的商品相关的信息。商店计算机100在规定的定时发送交易商品信息。并且，商店计算机100还可以根据来自控制单元11的发送请求发送交易商品信息。控制单元11基于从价格确定装置20发送过来的这些信息，改写在存储部12的商品台账存储区域12a中存储的商品台账。
另外，交易商品信息还可以不由商店计算机100，而由价格确定装置20发送给控制单元11。例如，超市等店铺的店员等针对作为触摸屏式的显示器的显示部26等输入装置，将当日被交易(被销售/提供)的商品输入价格确定装置20。并且，例如店员等针对显示部26等输入装置，将库存已断的商品适当输入价格确定装置20。价格确定装置20将输入的这些信息发送给控制单元11。控制单元11基于从价格确定装置20发送过来的这些信息，改写在存储部12的商品台账存储区域12a中存储的商品台账。
另外，还可以构成为，在商品台账的内容在存储部30与商品台账存储区域12a之间随着销售商品的追加或者停售而产生不一致的情况下，使推定部14获取收集了在存储部30中存储的有交易的商品的商品台账(与商品台账存储区域12a的商品台账的差)。
根据本变形例的商品候补提示系统及结算处理系统，没有交易的商品通过推定部14被推定为与图像I对应的商品的可能性降低。因此，能够通过推定部根据图像I精度良好地推定商品，所以能够提高正确的商品包括在第一候补组中的可能性。
(6-9)变形例I
在上述实施方式中，结算处理系统40计量商品200，通过将商品200的重量与商品200的单价相乘，由此确定商品200的价格，但不限于此。结算处理系统的价格确定装置也可以不具有商品200的计量功能。本变形例的结算处理系统基于商品200的选择结果和从商店计算机100获取的商品的价格的信息，确定商品200的价格。

Claims (10)

1.一种商品候补提示系统，基于拍摄到的商品的图像提示所述商品的候补，以便让用户进行选择，其特征在于，
所述商品候补提示系统具备：
获取部，获取所述商品的图像；
推定部，基于所述图像从商品组推定所述商品的候补；
存储部，将过去从商品组选择的商品存储为选择信息；以及
提示部，选出通过所述推定部推定的所述商品的候补作为第一候补组，并且基于所述选择信息选出所述商品的候补作为第二候补组，提示所述第一候补组及所述第二候补组。
2.根据权利要求1所述的商品候补提示系统，其特征在于，
所述选择信息是与如下的修订次数相关的信息：针对从过去从商品组选择的商品中的第一候补组之外选择的商品，对于每个商品将该选择作为修订动作而相关联地进行计数的修订次数。
3.根据权利要求2所述的商品候补提示系统，其特征在于，
所述提示部基于所述选择信息按照作为所述修订动作的修订次数由多到少的顺序选出商品。
4.根据权利要求3所述的商品候补提示系统，其特征在于，
所述提示部在所述修订次数的总数为自最近起的规定数以内或者在自最近起的规定期间内，按照所述修订次数由多到少的顺序选出商品。
5.根据权利要求3或4所述的商品候补提示系统，其特征在于，
所述推定部通过已学习模型推定所述商品的候补，
在已学习模型更新时，所述修订次数被重置。
6.根据权利要求1所述的商品候补提示系统，其特征在于，
所述选择信息是与如下的选择次数相关的信息：针对过去从商品组选择的商品中的被选择的全部商品，对于每个商品将该选择作为选择动作而相关联地进行计数的选择次数。
7.根据权利要求1至6中任一项所述的商品候补提示系统，其特征在于，
所述提示部将所述第二候补组排列在所述第一候补组的下位进行提示。
8.根据权利要求1至7中任一项所述的商品候补提示系统，其特征在于，
所述商品候补提示系统还具备显示部，所述显示部具有显示所述提示部提示的所述第一候补组及所述第二候补组的画面，
所述提示部在所述显示部的最初的一个画面中提示所述第一候补组的至少一部分和所述第二候补组的至少一部分。
9.根据权利要求1至8中任一项所述的商品候补提示系统，其特征在于，
所述推定部通过已学习模型，基于根据所述图像推定的结果对候补的商品赋予位次，
所述提示部将截止到规定的位次的商品作为所述第一候补组，按照位次由高到低的顺序进行提示。
10.一种结算处理系统，其特征在于，具备：
拍摄部，拍摄商品；
权利要求1至9中任一项所述的商品候补提示系统，基于通过所述拍摄部拍摄到的所述商品的图像提示所述商品的候补；
选择部，从通过所述商品候补提示系统提示的候补中选择所述商品；
计量部，计量所述商品的重量；以及
计算部，基于通过所述选择部选择的所述商品及通过所述计量部计量的重量，计算所述商品的价格。
CN202110144104.XA 2020-02-10 2021-02-02 商品候补提示系统及结算处理系统 Active CN113256919B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-020503 2020-02-10
JP2020020503A JP7457347B2 (ja) 2020-02-10 2020-02-10 商品候補提示システム及び会計処理システム

Publications (2)

Publication Number Publication Date
CN113256919A true CN113256919A (zh) 2021-08-13
CN113256919B CN113256919B (zh) 2023-04-07

Family

ID=74550564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110144104.XA Active CN113256919B (zh) 2020-02-10 2021-02-02 商品候补提示系统及结算处理系统

Country Status (4)

Country Link
US (1) US20210248578A1 (zh)
EP (1) EP3862959A1 (zh)
JP (1) JP7457347B2 (zh)
CN (1) CN113256919B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208154A (zh) * 2012-01-16 2013-07-17 东芝泰格有限公司 信息处理装置、店铺系统及信息处理方法
CN103577515A (zh) * 2012-07-23 2014-02-12 东芝泰格有限公司 商品识别装置及识别词库追加方法
CN103729383A (zh) * 2012-10-16 2014-04-16 阿里巴巴集团控股有限公司 商品信息的推送方法和装置
CN106529991A (zh) * 2016-10-17 2017-03-22 天津汇智物联科技有限公司 一种售货终端系统
CN106779963A (zh) * 2016-12-29 2017-05-31 江西博瑞彤芸科技有限公司 关联商品的商品信息设置方法
CN107437203A (zh) * 2017-08-07 2017-12-05 北京京东尚科信息技术有限公司 信息推送方法、装置、电子装置及计算机可读介质
JP2018041261A (ja) * 2016-09-07 2018-03-15 東芝テック株式会社 情報処理装置及びプログラム
US20190236360A1 (en) * 2018-01-30 2019-08-01 Mashgin Inc. Feedback loop for image-based recognition

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120209751A1 (en) * 2011-02-11 2012-08-16 Fuji Xerox Co., Ltd. Systems and methods of generating use-based product searching
JP5551143B2 (ja) * 2011-12-02 2014-07-16 東芝テック株式会社 店舗システムおよびプログラム
JP2015038719A (ja) * 2013-07-16 2015-02-26 東芝テック株式会社 情報処理装置及びプログラム
US20150025969A1 (en) * 2013-07-18 2015-01-22 Fetch Rewards, LLC Multisystem Interface for Roaming Self-Checkout
JP6177068B2 (ja) 2013-09-24 2017-08-09 株式会社ブレイン 店舗システム
JP2015079460A (ja) 2013-10-18 2015-04-23 東芝テック株式会社 情報処理装置およびプログラム
WO2015059837A1 (ja) * 2013-10-25 2015-04-30 楽天株式会社 情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、プログラム、及び情報記憶媒体
JP6348827B2 (ja) 2014-11-17 2018-06-27 東芝テック株式会社 情報処理装置、店舗システムおよびプログラム
JP6651816B2 (ja) 2015-11-30 2020-02-19 株式会社寺岡精工 商品販売データ処理装置
JP6306775B2 (ja) 2017-05-01 2018-04-04 東芝テック株式会社 情報処理装置、及びプログラム
US11238083B2 (en) * 2017-05-12 2022-02-01 Evolv Technology Solutions, Inc. Intelligently driven visual interface on mobile devices and tablets based on implicit and explicit user actions
US20200020000A1 (en) * 2018-07-16 2020-01-16 Ebay Inc. Generating product descriptions from user reviews
CN111554057A (zh) * 2019-02-12 2020-08-18 株式会社石田 计量机
JP7289448B2 (ja) * 2019-06-11 2023-06-12 株式会社イシダ 物品識別システム及び物品識別システムを備えた会計処理システム
JP7400334B2 (ja) * 2019-10-18 2023-12-19 富士フイルムビジネスイノベーション株式会社 生成装置、及び生成プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208154A (zh) * 2012-01-16 2013-07-17 东芝泰格有限公司 信息处理装置、店铺系统及信息处理方法
CN103577515A (zh) * 2012-07-23 2014-02-12 东芝泰格有限公司 商品识别装置及识别词库追加方法
CN103729383A (zh) * 2012-10-16 2014-04-16 阿里巴巴集团控股有限公司 商品信息的推送方法和装置
JP2018041261A (ja) * 2016-09-07 2018-03-15 東芝テック株式会社 情報処理装置及びプログラム
CN106529991A (zh) * 2016-10-17 2017-03-22 天津汇智物联科技有限公司 一种售货终端系统
CN106779963A (zh) * 2016-12-29 2017-05-31 江西博瑞彤芸科技有限公司 关联商品的商品信息设置方法
CN107437203A (zh) * 2017-08-07 2017-12-05 北京京东尚科信息技术有限公司 信息推送方法、装置、电子装置及计算机可读介质
US20190236360A1 (en) * 2018-01-30 2019-08-01 Mashgin Inc. Feedback loop for image-based recognition

Also Published As

Publication number Publication date
JP7457347B2 (ja) 2024-03-28
US20210248578A1 (en) 2021-08-12
JP2021125173A (ja) 2021-08-30
CN113256919B (zh) 2023-04-07
EP3862959A1 (en) 2021-08-11

Similar Documents

Publication Publication Date Title
CN108922026B (zh) 一种自动售货机的补货管理方法、装置和用户终端
CN108549851A (zh) 智能货柜内货品识别方法及装置、智能货柜
US20150025969A1 (en) Multisystem Interface for Roaming Self-Checkout
CN111344734A (zh) 餐饮服务管理系统及其操作方法
US20120312605A1 (en) Commodity search device and commodity information processing device
US11669948B2 (en) Learned model generating method, learned model generating device, product identifying method, product identifying device, product identifying system, and measuring device
CN109556695B (zh) 称重方法、称重装置、无人售货柜和无人售货方法
US20050097064A1 (en) Method and apparatus to determine product weight and calculate price using a camera
JP2018195017A (ja) 情報処理プログラム、情報処理方法及び情報処理装置
US6687680B1 (en) Electronic cash register system
JP2012234367A (ja) 情報提供システム、情報提供方法、プログラム及び情報記録媒体
US20130232034A1 (en) Coordinate supporting system, coordinate supporting apparatus and coordinate supporting method
JP2016033707A (ja) コーディネート提案装置及び方法
CN111612357A (zh) 一种为骑手匹配商家的方法、装置、存储介质和电子设备
US20120166356A1 (en) Information terminal and sales data display method
CN114140193A (zh) 商品推荐方法和装置
CN111401878B (zh) 结账方法、结账系统及计算机可读存储介质
CN113256919B (zh) 商品候补提示系统及结算处理系统
US20150248659A1 (en) Product information print device and product information print system
CN112070991A (zh) 物品识别系统以及具备物品识别系统的结账处理系统
TW202004588A (zh) 商品庫存資料建構與查詢方法及庫存管理伺服器
US20210073883A1 (en) Server apparatus, stock management system, and stock management method
US20230142288A1 (en) Information processing device, information processing method, and recording medium
CN110987140A (zh) 一种商品称重辅助设备及称重设备
US20160275445A1 (en) Scale system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant