JP2020201769A - 物品識別システム及び物品識別システムを備えた会計処理システム - Google Patents

物品識別システム及び物品識別システムを備えた会計処理システム Download PDF

Info

Publication number
JP2020201769A
JP2020201769A JP2019108928A JP2019108928A JP2020201769A JP 2020201769 A JP2020201769 A JP 2020201769A JP 2019108928 A JP2019108928 A JP 2019108928A JP 2019108928 A JP2019108928 A JP 2019108928A JP 2020201769 A JP2020201769 A JP 2020201769A
Authority
JP
Japan
Prior art keywords
article
type
image
unit
handled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019108928A
Other languages
English (en)
Other versions
JP7289448B2 (ja
Inventor
瑞生 岩渕
Mizuo Iwabuchi
瑞生 岩渕
太 万木
Futoshi Yurugi
太 万木
靖也 野々原
Seiya Nonohara
靖也 野々原
洸介 府中谷
Kosuke Fuchuya
洸介 府中谷
弘法 堤
Hironori Tsutsumi
弘法 堤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ishida Co Ltd
Original Assignee
Ishida Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ishida Co Ltd filed Critical Ishida Co Ltd
Priority to JP2019108928A priority Critical patent/JP7289448B2/ja
Priority to CN202010499016.7A priority patent/CN112070991A/zh
Priority to US16/894,139 priority patent/US20200394634A1/en
Priority to EP20178520.1A priority patent/EP3751456A1/en
Publication of JP2020201769A publication Critical patent/JP2020201769A/ja
Application granted granted Critical
Publication of JP7289448B2 publication Critical patent/JP7289448B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/201—Price look-up processing, e.g. updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0018—Constructional details, e.g. of drawer, printing means, input means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/01—Details for indicating
    • G07G1/06—Details for indicating with provision for the noting of the money to be paid
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】物品画像から物品の種類を精度良く推定可能な物品識別システムを提供する。【解決手段】物品識別システムは、撮像機と、推定部と、設定部と、を備える。撮像機は、物品を撮像し物品画像を取得する。推定部は、物品画像から物品の種類の推定に利用する第１情報を取得し、取得した第１情報に基づいて、物品の種類を物品種群の中から１又は複数推定する。設定部は、物品種群の中で、取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方を設定する。推定部は、取り扱いのある種類の物品を、取り扱いの無い種類の物品よりも優先的に、物品画像に対応する物品の種類として推定する。【選択図】図８

Description

本発明は、物品識別システム及びこれを具備する会計処理システムに関する。
従来、特許文献１（特開２０１１−１７０７４５号公報）のように、撮像機で対象物品を撮像し、物品画像から対象物品を推定する物品識別システムが知られている。このようなシステムが例えば店舗における精算処理に利用されることで、精算処理の省力化を図ることができる。
しかし、特許文献１（特開２０１１−１７０７４５号公報）の物品識別システムでは、例えばある物品（以後、物品Ａと呼ぶ）が欠品等の理由で取り扱われておらず、識別対象の物品が物品Ａである可能性が低い場合でも、撮像された物品画像が物品Ａの画像に類似していれば、対象物品が物品Ａであると判断される可能性がある。
本発明の課題は、物品画像から物品の種類を精度良く推定可能な物品識別システムを提供することにある。
第１観点に係る物品識別システムは、撮像機と、推定部と、設定部と、を備える。撮像機は、物品を撮像し物品画像を取得する。推定部は、物品画像から物品の種類の推定に利用する第１情報を取得し、取得した第１情報に基づいて、物品の種類を物品種群の中から１又は複数推定する。設定部は、物品種群の中で、取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方を設定する。推定部は、取り扱いのある種類の物品を、取り扱いの無い種類の物品よりも優先的に、物品画像に対応する物品の種類として推定する。
第１観点に係る物品識別システムでは、取り扱いの無い種類の物品が物品画像に対応する物品の種類として推定される可能性が低減されるため、物品画像から物品の種類を精度良く推定できる。
なお、ここで、取り扱いのある種類の物品とは、物品識別システムによる物品の種類の推定時に、物品識別システムが使用される店舗等において、販売・提供している物品や、在庫が有る物品等を意味する。取り扱いの無い種類の物品とは、物品識別システムによる物品の種類の推定時に、物品識別システムが使用される店舗等において、販売・提供していない物品や、在庫が無い物品等を意味する。
第２観点に係る物品識別システムは、撮像機と、推定部と、設定部と、を備える。撮像機は、物品を撮像し物品画像を取得する。推定部は、物品画像から物品の種類の推定に利用する第１情報を取得し、取得した第１情報に基づいて、物品の種類を物品種群の中から１又は複数推定する。設定部は、物品種群の中で、取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方を設定する。推定部は、取り扱いの無い種類の物品を、物品画像に対応する物品の種類として推定しない。
第２観点の物品識別システムでは、実際には取り扱われていない物品の種類が、物品画像に対応する物品の種類として推定される不具合の発生を抑制できる。
第３観点に係る物品識別システムは、第１観点又は第２観点の物品識別システムであって、推定部は、第１情報と物品の種類との関係を機械学習による学習済の識別器を有する。
第３観点の物品識別システムでは、機械学習を利用して、物品画像から物品の種類を精度よく推定できる。
第４観点に係る物品識別システムは、第３観点の物品識別システムであって、入力部を更に備える。入力部には、物品画像に対応する物品の種類が入力される。識別器は、入力部に対する入力に基づき、第１情報と物品の種類との関係を追加学習する。
第４観点の物品識別システムでは、物品画像に対応する物品の種類の入力に基づいて識別器が追加学習を行うため、物品の種類を高精度で推定可能な物品識別システムを実現できる。
第５観点に係る物品識別システムは、第１観点から第４観点のいずれかの物品識別システムであって、第１記憶部を更に備える。第１記憶部は、取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方を記憶する。設定部は、第１記憶部に記憶されている情報に基づき、取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方を設定する。
第６観点に係る物品識別システムは、第１観点から第５観点のいずれかの物品識別システムであって、第２記憶部を更に備える。第２記憶部は、物品の取り扱い予定に関するスケジュールを記憶する。設定部は、第２記憶部に記憶されているスケジュールに基づき、取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方を設定する。
第６観点の物品識別システムでは、例えば、季節、日付、曜日、時刻等により、ある種類の物品の取り扱い状態が変わる場合にも、その種類の物品の取り扱いを正しく認識することが容易である。
第７観点に係る会計処理システムは、第１観点から第６観点のいずれかの物品識別システムと、価格決定装置と、を備える。価格決定装置は、物品識別システムの推定部が推定した物品の種類に基づき、物品画像に写っている物品の価格を決定する。
第７観点の会計処理システムでは、精度良く推定された物品の種類に基づき会計処理を行うことができる。
本発明に係る物品識別システムでは、物品画像から物品の種類を精度良く推定できる。
本発明の実施形態に係る会計処理システムを示す模式図である。 図１の会計処理システムが具備する物品識別システムのコンピュータのブロック図である。 図２のコンピュータの推定部が有する識別器のアルゴリズムのニューラルネットワークを概念的に表した図である。 図２のコンピュータの推定部の、物品種群に含まれる全ての種類の物品が取り扱いのある種類の物品である場合の物品画像に対応する物品の種類の推定結果の例を示す。 図２のコンピュータの推定部の、物品Ｂが取り扱いの無い種類の物品である場合の物品画像に対応する物品の種類の推定結果の一例を示す。 図２のコンピュータの推定部の、物品Ｂが取り扱いの無い種類の物品である場合の物品画像に対応する物品の種類の推定結果の他の例を示す。 図１の会計処理システムが有する価格決定装置のブロック図である。 図１の価格決定装置のディスプレイに表示される物品の種類の推定結果の表示の例である。 図１の価格決定装置のディスプレイに表示される物品価格の表示の例である。 図１の会計処理システムの会計処理のフローチャートである。
本発明の実施形態に係る、物品識別システム１０及び物品識別システム１０を備えた会計処理システム４０について以下に説明する。
なお、以下の説明は、本発明の物品識別システム及び会計処理システムの実施形態に過ぎず、本発明の技術的範囲を限定するものではない。本発明の趣旨及び範囲から逸脱すること無く、以下の実施形態に種々の変形が可能なことが理解されるであろう。
（１）全体概要
物品識別システム１０及び会計処理システム４０の概要を、図１を参照して説明する。図１は、物品識別システム１０を有する会計処理システム４０を模式的に示す図である。
概して、物品識別システム１０は、物品を撮像して物品画像を取得し、取得した物品画像に基づいてその物品の種類を推定するシステムである。会計処理システム４０は、物品識別システム１０と、価格決定装置２０と、を有する。会計処理システム４０は、物品識別システム１０で推定した物品の種類の推定結果に基づき、価格決定装置２０で物品の価格を決定するシステムである。
会計処理システム４０は、用途を限定するものではないが、例えば、スーパーマーケット等の店舗で利用される。会計処理システム４０により会計処理が行われる物品は、例えば、惣菜などの物品２００（商品）である。なお、会計処理システム４０により会計処理が行われる物品（物品識別システム１０により物品の推定が行われる物品）は、パンや野菜等の食品であってもよいし、食品以外の物品であってもよい。
物品識別システム１０は、主に、撮像機５０と、コンピュータ３０と、を有する。コンピュータ３０は、ネットワークＮＷを介して、価格決定装置２０と通信可能に接続されている。ネットワークＮＷは、ＬＡＮであってもよいし、インターネット等のＷＡＮであってもよい。また、他の態様では、価格決定装置２０に、後述するコンピュータ３０の機能の一部又は全部が組み込まれていてもよい。
撮像機５０は、価格決定装置２０に組み込まれている。撮像機５０は、価格決定装置２０の計量台２８ａ（図１参照）の上に置かれた物品２００を撮像して、物品画像Ｉを取得する。撮像機５０の撮像した物品画像Ｉは、価格決定装置２０からインターネット等のネットワークＮＷを介してコンピュータ３０へと送信される。
なお、撮像機５０は、価格決定装置２０とは独立した装置であってもよく、撮像機５０が撮像した物品画像Ｉは、撮像機５０の有する通信装置や、撮像機５０が接続されるゲートウェイを用いてコンピュータ３０へと送信されてもよい。
コンピュータ３０は、取得した物品画像Ｉから物品の種類を推定する。コンピュータ３０は、物品画像Ｉに対して１の種類の物品を推定してもよいし、複数の種類の物品（物品の種類の複数の候補）を推定してもよい。コンピュータ３０の物品画像Ｉに対応する物品の種類の推定結果は、ネットワークＮＷを介して価格決定装置２０に送信される。
また、コンピュータ３０は、ネットワークＮＷを介して、ストアコンピュータ１００とも通信可能に接続されていてもよい。ストアコンピュータ１００は、会計処理システム４０が利用される店舗等で販売や提供している物品に関する各種情報を管理するコンピュータである。物品に関する各種情報には、物品の種類毎の、物品の単価（例えば、物品の所定重量あたりの価格）、物品の取り扱いの有無、物品の取り扱い予定に関するスケジュール等を含む。なお物品の取り扱いがあるとは、その種類の物品が、店舗等において、販売・提供されており、かつ、在庫があることを意味する。より具体的には、物品の取り扱いがあるとは、その種類の物品が、店舗等において、販売や提供されており、かつ、在庫があるとして管理されていることを意味する。また、物品の取り扱いが無いとは、その種類の物品が、店舗等において、現在は販売や提供されていない、又は、在庫が無いことを意味する。より具体的には、物品の取り扱いが無いとは、その種類の物品が、店舗等において、現在は販売や提供されていない、又は、在庫が無いとして管理されていることを意味する。物品の取り扱い予定に関するスケジュールは、ある物品が、例えば、所定の季節、所定の日時、所定の曜日、所定の時刻に取り扱われることを示す情報である。
価格決定装置２０は、物品の売り場等に設置されている。価格決定装置２０は、ネットワークＮＷを介して、コンピュータ３０及びストアコンピュータ１００と通信可能に接続されている。価格決定装置２０は、コンピュータ３０からネットワークＮＷを介して送信されてくる、計量台２８ａに戴置された物品２００の物品の種類の推定結果を受信する。価格決定装置２０は、計量台２８ａに戴置された物品２００の重量を計量する機能を有する。価格決定装置２０は、コンピュータ３０から送信されてくる物品の種類の推定結果と、ストアコンピュータ１００から取得される物品の単価の情報と、物品２００の重量とに基づき、物品２００の価格を決定する。
なお、本実施形態では、会計処理システム４０は、物品２００を計量し、物品２００の重量に物品２００の単価を乗ずることで物品２００の価格を決定するが、本開示の会計処理システムは、このようなシステムに限定されない。例えば、会計処理システムの価格決定装置は、物品２００の計量機能を有さなくてもよい。価格決定装置は、物品２００の物品の種類の推定結果と、ストアコンピュータ１００から取得される物品の価格の情報とに基づき、物品２００の価格を決定してもよい。
（２）物品識別システム
物品識別システム１０について、図１〜図４を主に参照しながら更に説明する。図２は、コンピュータ３０のブロック図である。図３は、コンピュータ３０の後述する推定部３６が有する識別器３６ａのアルゴリズムのニューラルネットワークを概念的に表した図である。図４Ａ〜図４Ｃは、物品画像Ｉに対応する物品の種類の推定結果の例を示す。
上述のように、物品識別システム１０は、撮像機５０と、コンピュータ３０と、を主に有する。なお、図１及び図２では、１台のコンピュータ３０を図示しているが、コンピュータ３０の機能は複数台のコンピュータにより実現されてもよい。
（２−１）撮像機
撮像機５０は、上述のように価格決定装置２０に組み込まれている。価格決定装置２０の本体２１から上方に延びるフレーム５４で支持されている。フレーム５４には、撮像機５０の他、物品２００を照らすための光源５２も設けられている（図１参照）。
撮像機５０は、価格決定装置２０の計量台２８ａの上に物品２００が置かれると、価格決定装置２０の後述する制御ユニット２２の制御部２２ａに制御されて、物品２００を撮像し物品画像Ｉを取得する。撮像機５０は、限定するものではないが、例えば、カラーの画像を取得するＣＣＤイメージセンサやＣＭＯＳイメージセンサである。撮像機５０は、ステレオカメラや、物品２００の温度画像を取得する赤外線カメラを含んでもよい。撮像機５０が取得した物品画像Ｉは、価格決定装置２０の制御ユニット２２の記憶部２２ｃに記憶される。また、撮像機５０が取得した物品画像Ｉは、価格決定装置２０から、ネットワークＮＷを介してコンピュータ３０へと送信される。
（２−２）コンピュータ
コンピュータ３０は、ＣＰＵ、記憶装置、及び入出力装置等を有するコンピュータである。コンピュータ３０は、各種プログラムや各種情報を記憶する記憶部３８を有する。記憶部３８は、各種情報を記憶する記憶領域として、例えば、物品画像記憶領域３８ａ、取扱物品記憶領域３８ｂ、及びスケジュール記憶領域３８ｃを有する。
コンピュータ３０は、ＣＰＵが記憶部３８に記憶されている物品識別用のプログラムを実行することで、画像取得部３２、設定部３４、推定部３６、及び入力部３７として機能する。これらの機能部３２，３４，３６，３７について詳細を説明する。
（２−２−１）画像取得部
画像取得部３２は、価格決定装置２０からネットワークＮＷを介して送信されてくる物品画像Ｉを取得する。画像取得部３２は、取得した物品画像Ｉを、記憶部３８の物品画像記憶領域３８ａに記憶する。
（２−２−２）設定部
設定部３４は、所定の物品種群（物品の種類の集まり）の中で、取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方を設定する。物品種群は、例えば、会計処理システム４０が利用される店舗等取り扱われる可能性のある種類の物品を含む、物品の種類の集まりである。
設定部３４による取り扱いのある種類の物品及び／又は取り扱いの無い種類の物品の設定は、後述する推定部３６による推定の際に利用される。なお、設定部３４が取り扱いのある種類の物品だけを設定する場合には、後述する推定部３６は、物品種群の中から１又は複数の物品の種類を推定する際に、設定された物品以外は取り扱いの無い種類の物品とみなせばよい。また、設定部３４が取り扱いの無い種類の物品だけを設定する場合には、後述する推定部３６は、物品種群の中から１又は複数の物品の種類を推定する際に、設定された物品以外は取り扱いのある種類の物品とみなせばよい。
設定部３４は、物品種群の中で、取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方を以下のようにして設定する。
例えば、ストアコンピュータ１００は、ネットワークＮＷを介して、コンピュータ３０に対して各種類の物品について取り扱いの有無に関する情報（以下、説明が煩雑になるのを避けるため取扱物品情報と呼ぶ場合がある）を送信するように構成される。取扱物品情報は、要するに、取り扱いのある物品の種類及び取り扱いの無い物品の種類に関する情報である。ストアコンピュータ１００は、所定のタイミングで取扱物品情報を送信する。また、ストアコンピュータ１００は、コンピュータ３０からの送信要求に応じて取扱物品情報を送信してもよい。コンピュータ３０は、受信した取扱物品情報を、記憶部３８の取扱物品記憶領域３８ｂに記憶する。設定部３４は、このようにして記憶部３８の取扱物品記憶領域３８ｂに記憶された取扱物品情報に基づいて、物品種群の中で、取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方を設定する。
なお、取扱物品情報は、ストアコンピュータ１００ではなく、価格決定装置２０からコンピュータ３０に送信されてもよい。例えば、スーパーマーケット等の店舗の店員等は、タッチパネル式のディスプレイ２６等の入力装置に対し、その日に取り扱われる（販売・提供される）物品の種類を価格決定装置２０に入力する。また、例えば、店員等は、在庫切れになった物品の種類を、タッチパネル式のディスプレイ２６等の入力装置に対し、価格決定装置２０に適宜入力する。価格決定装置２０は、入力されたこれらの情報を、コンピュータ３０に送信する。コンピュータ３０は、価格決定装置２０から送信されてきたこれらの情報に基づき、記憶部３８の取扱物品記憶領域３８ｂに記憶される取扱物品情報を書き換える。設定部３４は、記憶部３８の取扱物品記憶領域３８ｂに記憶されている取扱物品情報に基づき、取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方を設定する。
また、例えば、ストアコンピュータ１００は、ネットワークＮＷを介して、コンピュータ３０に対してある種類の物品について、取り扱い予定に関するスケジュール（以下、説明が煩雑になるのを避けるため単にスケジュールと呼ぶ場合がある）を送信するように構成される。ストアコンピュータ１００は、所定のタイミングでスケジュールを送信する。また、ストアコンピュータ１００は、コンピュータ３０からの送信要求に応じてスケジュールを送信してもよい。コンピュータ３０は、ストアコンピュータ１００から受信したスケジュールを記憶部３８のスケジュール記憶領域３８ｃに記憶する。設定部３４は、記憶部３８のスケジュール記憶領域３８ｃに記憶されているスケジュールに基づいて、取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方を設定する。この場合には、設定部３４は、スケジュールに基づいて設定を適宜変更する。なお、スケジュールは、取扱物品情報と同様に、ストアコンピュータ１００に代えて、価格決定装置２０から送信されてもよい。
なお、以上では、記憶部３８の取扱物品記憶領域３８ｂやスケジュール記憶領域３８ｃに記憶される情報は、ネットワークＮＷを介してコンピュータ３０に送信される。ただし、これに限定されるものではなく、記憶部３８の取扱物品記憶領域３８ｂやスケジュール記憶領域３８ｃに記憶される情報は、コンピュータ３０の図示しない入力装置に直接入力されてもよい。
（２−２−３）推定部
推定部３６は、物品画像Ｉから物品２００の種類の推定に利用する第１情報を取得し、取得した第１情報に基づいて、物品２００の種類を、物品種群の中から１又は複数推定する。第１情報は、物品画像Ｉに現れる物品２００の特徴を表す情報である。言い換えれば、第１情報は、物品画像Ｉの特徴量である。限定するものではないが、第１情報は、例えば、物品画像Ｉから把握される、物品２００又は物品２００の一部の、形状、寸法、数、色等の情報である。ただし、第１情報は、ここで例示した情報に限定されるものではなく、適宜選択されればよい。
本実施形態では、推定部３６は、物品画像Ｉから取得される第１情報と物品の種類との関係を機械学習による学習済みの識別器（分類器）３６ａを有する。推定部３６は、識別器３６ａを用いて、物品種群の中から物品画像Ｉに写っている物品の種類を推定する。
識別器３６ａは、入出力の関係を学習済みの関数近似器である。識別器３６ａには、例えば、ニューラルネットワーク、例えば畳み込みニューラルネットワークがアルゴリズムとして用いられる。本実施形態では、識別器３６ａは、図３のように入力層と、多層の中間層（隠れ層）と、出力層とを含む、ディープラーニングを利用する。なお、図３は説明のための図に過ぎず、中間層の層数等を何ら限定するものではない。なお、一般的な機械学習では、何を第１情報とするかを人が指定する必要があるが、ディープラーニングを利用する場合には、何を第１情報とするかを含めコンピュータ３０が自ら学習する。
識別器３６ａの学習方法には、教師あり学習が利用されることが好ましい。教師あり学習とは、入力データと正解データとがセットになった教師データを識別器３６ａに与えて識別器３６ａに学習をさせる手法である。ここでは、入力データは、物品種群に含まれる全ての種類の物品の物品画像である。正解データは、入力データの各物品画像に写っている物品の種類の情報である。通常、入力データは、各種類の物品について、多数準備される。教師あり学習を学習方法として用いるアルゴリズムとして、ニューラルネットワークやディープラーニング以外のアルゴリズム、例えばサポートベクタマシン、ランダムフォレスト、アダブースト等のアルゴリズムが用いられてもよい。
図３のようなニューラルネットワークが識別器３６ａのアルゴリズムに利用される場合を例に、推定部３６の学習済の識別器３６ａを用いた物品の推定処理について更に説明する。
推定部３６は、物品の推定を行う際、画像取得部３２が取得し、記憶部３８の物品画像記憶領域３８ａに記憶された物品画像Ｉを学習済の識別器３６ａに入力する。なお、推定部３６は、物品画像Ｉの正規化を行い、正規化した物品画像を識別器３６ａに入力してもよい。画像の正規化には、例えば、画像の縮小、拡大、トリミング等を含む。なお、識別器３６ａは、活性化関数を用いて、出力層において、物品画像Ｉに写っている物品が物品種群に含まれる各種類の物品である確率を出力する。具体的には、識別器３６ａの出力層は、物品種群に含まれる各物品の種類について、物品画像Ｉに写っている物品がその種類の物品である確率を表す０〜１の間の数字を出力する。なお、確率を表す数字は、物品種群に含まれる全ての物品の種類の数字を足すと１になるように決定される。確率を表す数字は、値が大きいほど、物品画像Ｉに写っている物品が、その数字に対応する種類の物品である可能性が高いことを意味する。したがって、推定部３６が、図３の識別器３６ａに物品画像Ｉを入力データとして入力すると、物品の種類のそれぞれについて、その物品画像Ｉに写っている物品が、その種類の物品である確率が得られる。例えば、具体例を挙げて説明すれば、推定部３６が、図３の識別器３６ａに、入力データとして、ある物品画像Ｉを入力した場合、図４Ａの“出力”の枠内に記載されているように、その物品画像Ｉに写っている物品が、（物品Ａ，物品Ｂ，物品Ｃ，・・・，物品Ｎ）である確率が、（０．６，０．２，０．１，０．０，・・・，０．０１）のような数値で得られる。この結果に基づき、推定部３６は、物品画像Ｉに写っている物品の種類の推定を行う。
例えば、設定部３４が、物品種群の物品の全てを取り扱われている物品に設定しているとする。あるいは、物品種群の物品のいずれもが、設定部３４により取り扱われていない物品に設定されていないとする。この場合、推定部３６は、物品画像Ｉに写っている物品の種類である確率の高い上位３つの物品の種類を、物品画像Ｉに対応する物品の種類（種類の候補）と推定する。なお、ここで物品画像Ｉに対応する物品の種類とは、物品画像Ｉに写っている物品の種類を意味する。
なお、ここでは、推定部３６が、物品画像Ｉに写っている物品の種類である確率の高い上位３つの物品の種類を、物品画像Ｉに対応する物品の種類として推定するとしたが、推定部３６による推定の態様はこのような態様に限定されない。例えば、推定部３６は、物品画像Ｉに写っている物品の種類である確率が所定の基準値より高い１又は複数の物品の種類を、物品画像Ｉに対応する物品の種類として推定してもよい。
また、推定部３６は、物品画像Ｉに写っている物品の種類である確率が一番高い種類の物品を、物品画像Ｉに写っている物品の種類と推定してもよい。
このような推定の態様は、例えば以下のように使い分けられてもよい。例えば、価格決定装置２０を店員が用いる場合には、推定部３６は、複数の物品の種類を、物品画像Ｉに対応する物品の種類の候補として推定する。一方で、価格決定装置２０を店舗等の顧客が用いる場合には、推定部３６は、単一の物品の種類を、物品画像Ｉに対応する物品種類の候補として推定する。
以下に、推定部３６が、物品画像Ｉに写っている物品の種類である確率の高い上位３つの物品の種類を、物品画像Ｉに対応する物品の種類と推定する場合を例に、推定部３６の機能を具体的に説明する。
例えば、図４Ａの例のように、設定部３４が、物品種群に含まれる全ての種類の物品Ａ，物品Ｂ，物品Ｃ，・・・，物品Ｎが、取り扱いのある種類の物品に設定しているとする（図４Ａの“取り扱い物品”の枠内参照）。この場合、推定部３６は、物品画像Ｉに写っている物品の種類である確率の高い順に、物品Ａ、物品Ｂ及び物品Ｃを、物品画像Ｉに対応する物品の種類の候補と推定する（図４Ａの“推定”の枠内参照）。
一方、設定部３４が、図４Ｂのように物品種群の中の一部の種類の物品を取り扱いのある種類の物品に設定していない場合、あるいは、物品種群の中の物品のいずれかが取り扱いの無い種類の物品に設定している場合、取り扱いのある種類の物品を、取り扱いの無い種類の物品よりも優先的に、物品画像Ｉに対応する物品の種類として推定する。
例えば、一の例では、推定部３６は、取り扱いの無い種類の物品を、物品画像Ｉに対応する物品の種類として推定しない。具体例を上げて説明する。
図４Ｂの例では、設定部３４は、物品種群に含まれる種類の物品Ａ，物品Ｂ，物品Ｃ，・・・，物品Ｎのうち、物品Ｂを取り扱いのある種類の物品に設定していない（図４Ｂの“取り扱い物品”の枠内参照）。この場合、推定部３６は、取り扱いの無い種類の物品Ｂを、物品画像Ｉに対応する物品の種類と推定しない。そこで、推定部３６は、物品画像Ｉに写っている物品の種類である確率の高い順に（ただし物品Ｂを除く）、物品Ａ，物品Ｃ，物品Ｄを、物品画像Ｉに対応する物品の種類と推定する（図４Ｂの“推定”の枠内参照）。
また、他の例では、推定部３６は、取り扱いの無い種類の物品については、出力値である確率の値を下げてもよい。例えば、推定部３６は、取り扱いの無い種類の物品については、出力値である確率の値に１より小さな所定の正の係数を乗ずることで、出力値である確率の値を下げる。このように構成する場合、取り扱いが無い物品の種類として管理されているものの、万が一その物品の取り扱いがあったような場合（例えば、管理上は在庫が無いことになっているが、実際には在庫があるような場合）に、その種類の物品が推定の対象から完全に除外されることを防止できる。具体例を上げて説明する。
図４Ｃの例では、設定部３４は、物品種群に含まれる種類の物品Ａ，物品Ｂ，物品Ｃ，・・・，物品Ｎのうち、物品Ｂを取り扱いのある種類の物品に設定していない（図４Ｃの“取り扱い物品”の枠内参照）。この場合、推定部３６は、取り扱いの無い種類の物品Ｂについては、識別器３６ａが出力した確率の値に係数（例えば、ここでは０．３）を乗ずる。そのため、図４Ｃの例においては、物品画像Ｉに写っている物品が物品Ｂである確率は、０．２×０．３＝０．０６となる。推定部３６は、係数を乗じた後の物品画像Ｉに写っている物品の種類である確率の値の高い順に、物品Ａ，物品Ｃ，物品Ｂを、物品画像Ｉに対応する物品の種類と推定する（図４Ｃの“推定”の枠内参照）。なお、図４Ｃの例では、候補と推定される物品の種類は図４Ａの場合と同一である。ただし、推定部３６は、物品画像Ｉに写っている物品が物品Ｃである確率が、物品Ｂである確率より高いと推定する。
推定部３６の推定結果（物品の種類の候補）は、ネットワークＮＷを介して価格決定装置２０に送信される。推定部３６による推定結果を受信した価格決定装置２０は、例えば、図６のような態様で、物品画像Ｉと、推定部３６による推定結果（物品Ａ，物品Ｃ，物品Ｄ）と、をディスプレイ２６に表示する。なお、推定部３６による推定結果は、例えば、確率の高い物品の種類ほど上方に来るよう、ディスプレイ２６に表示される。なお、図６は、図４Ｂで説明した例に対応している。
なお、推定部３６が、取り扱いのある種類の物品を、取り扱いの無い種類の物品よりも優先的に、物品画像Ｉに対応する物品の種類として推定するという概念は、推定部３６の物品の種類の推定の態様が異なる場合（識別器３６ａの出力する確率値が基準値より高い物品の種類が物品画像Ｉに対応する物品の種類として推定される場合や、識別器３６ａの出力する確率が一番高い物品の種類が物品画像Ｉに対応する物品の種類として推定される場合）にも同様に適用されればよい。例えば、推定部３６が、識別器３６ａの出力する確率値が一番高い物品の種類を物品画像Ｉに対応する物品の種類として推定するように構成されているとする。この場合に、仮に確率値が一番高い物品が取り扱いの無い種類の物品であれば、推定部３６は、次に確率値が高く、なおかつ取り扱いのある物品の種類を、物品画像Ｉに対応する物品の種類として推定してもよい。
また、推定部３６が、取り扱いの無い種類の物品を、物品画像Ｉに対応する物品の種類として推定しないという概念が、推定部３６の物品の種類の推定の態様が異なる場合にも同様に適用されてもよい。
（２−２−４）入力部
推定部３６による推定結果は、前述のように価格決定装置２０のディスプレイ２６に表示される。例えば、ディスプレイ２６には、図６のように、物品画像Ｉに対応する物品の種類の候補が、確率の高い物品の種類が上方にくるように、上下方向に並べて３つ表示される。これを見た価格決定装置２０のユーザは、タッチパネル式のディスプレイ２６を操作して、物品Ａ，物品Ｃ，物品Ｄの中から正しい物品の種類を選択する。例えば、ユーザは、正しい物品の種類の表示されている枠部分にタッチすることで、正しい物品の種類を選択する。また、タッチパネル式のディスプレイ２６は、仮に推定部３６による推定が全て正しくない場合には、ユーザが正しい物品の種類を選択できるように構成されてもよい。ユーザの物品の種類の選択結果は、価格決定装置２０から、ネットワークＮＷを介してコンピュータ３０に送信される。
入力部３７は、価格決定装置２０から送信されてくるユーザの物品の種類の選択結果を、物品画像Ｉに対応する物品の種類の入力として受け付ける。
このようにして入力部３７が受け付けた入力は、識別器３６ａの物品画像Ｉの第１情報と物品の種類との関係の追加学習（アクティブラーニング）に用いられることが好ましい。学習済の識別器３６ａが、入力部３７に対する入力に基づき物品画像Ｉの第１情報と物品の種類との関係を追加学習することで、識別器３６ａの正解率を高めることができる。
（３）価格決定装置
会計処理システム４０の価格決定装置２０について図５〜図７を主に参照して説明する。図５は、価格決定装置２０のブロック図である。図６は、価格決定装置２０のディスプレイ２６に表示される物品の種類の推定結果の表示の例である。図７は、ディスプレイ２６に表示される物品価格の表示の例である。
価格決定装置２０は、主に、各種情報が入力される固定キー２４と、タッチパネル式のディスプレイ２６と、計量器２８と、撮像機５０と、光源５２と、各種情報を記憶する記憶部２２ｃを含む制御ユニット２２と、を有する（図５参照）。固定キー２４、ディスプレイ２６、計量器２８及び制御ユニット２２は、価格決定装置２０の本体２１の部分に設けられる（図１参照）。以下に、固定キー２４と、ディスプレイ２６と、計量器２８と、制御ユニット２２と、について詳細を説明する。撮像機５０及び光源５２については前述したため必要な場合を除き説明は省略する。
（３−１）固定キー
固定キー２４は、価格決定装置２０の操作に必要な各種のキーを有する。
（３−２）ディスプレイ
ディスプレイ２６は、タッチパネル式のディスプレイである。ディスプレイ２６には、各種の情報が表示される。
例えば、ディスプレイ２６には、撮像機５０の撮像した物品画像Ｉと、コンピュータ３０から送信されてくる、推定部３６による物品画像Ｉに対応する物品の種類の推定結果とが表示される（図６参照）。価格決定装置２０のユーザは、上述のようにタッチパネル式のディスプレイ２６を操作して、表示される物品の種類の候補から正しい物品の種類を選択できる。ユーザの物品の種類の選択結果は、制御ユニット２２の記憶部２２ｃに記憶される。また、ユーザの選択結果は、価格決定装置２０から、ネットワークＮＷを介してコンピュータ３０に送信される。なお、推定部３６が物品画像Ｉに対応する物品の種類を１種類しか推定しない場合には、ユーザの選択なしに、推定部３６が推定した物品の種類が、物品画像Ｉに対応する物品の種類として記憶部２２ｃに記憶されてもよい。
また、ディスプレイ２６は、計量器２８が計量した物品２００の重量値や、上記のようにタッチパネル式のディスプレイ２６を用いてユーザが選択した種類の物品の単価や、制御ユニット２２の後述する算出部２２ｂが算出した物品２００の価格を表示する（図７参照）。
（３−３）計量器
計量器２８は、計量台２８ａと、図示しないロードセル、信号処理回路、及び送信モジュールを主に有する。計量台２８ａには、価格の算出対象の物品２００が戴置される。計量台２８ａの下方にはロードセルが設けられている。ロードセルは、計量台２８ａに物品２００が戴置された際に生じる機械的な歪を電気信号に変換する。信号処理回路は、ロードセルの出力する信号を増幅してデジタル信号に変換し、送信モジュールは、デジタル信号を制御ユニット２２に送信する。
（３−４）制御ユニット
制御ユニット２２は、価格決定装置２０の各部の動作の制御や、各種の演算処理を行うユニットである。制御ユニット２２は、図示しないＣＰＵ、記憶装置、及び入出力装置等を有する。
制御ユニット２２は、固定キー２４、ディスプレイ２６、計量器２８、撮像機５０、光源５２を含む価格決定装置２０の各種機器と電気的に接続されている。
制御ユニット２２は、記憶部２２ｃに記憶されるプログラムを実行することで、制御部２２ａと機能し、価格決定装置２０の各部の動作を制御する。例えば、制御部２２ａは、計量器２８の計量値に基づき、計量器２８の計量台２８ａに物品２００が置かれたことを検知すると、撮像機５０を制御して、撮像機５０に計量台２８ａに戴置された物品２００の画像を撮像させる。なお、制御部２２ａは、自動で撮像機５０を制御するのではなく、固定キー２４等から入力される操作に基づいて、撮像機５０に物品２００の画像を撮像させてもよい。また、制御部２２ａは、制御ユニット２２に計量器２８の送信モジュールからデジタル信号が送信されてくると、デジタル信号に基づいて導出される物品２００の重量値を記憶部２２ｃに記憶する。また、制御部２２ａは、ディスプレイ２６の表示を制御する。
制御ユニット２２は、ネットワークＮＷを介して、コンピュータ３０やストアコンピュータ１００と通信可能に接続されている。
前述のように撮像機５０の撮像した物品画像Ｉは、ネットワークＮＷを介して、制御ユニット２２からコンピュータ３０に送信される。また、前述のようにタッチパネル式のディスプレイ２６の入力される、物品画像Ｉに対応する物品の種類の選択は、ネットワークＮＷを介して、制御ユニット２２からコンピュータ３０に送信される。
また、制御ユニット２２は、ストアコンピュータ１００がネットワークＮＷを介して送信してくる、物品の種類別の物品の単価を受信する。受信した物品の単価は、記憶部２２ｃに記憶される。さらに、制御ユニット２２は、コンピュータ３０がネットワークＮＷを介して送信する、物品画像Ｉに対応する物品の種類の推定結果を受信する。受信した物品画像Ｉに対応する物品の種類の推定結果は、記憶部２２ｃに記憶される。また、制御部２２ａは、物品画像Ｉに対応する物品の種類の推定結果を、物品画像Ｉと共に、ディスプレイ２６に表示させる（図７参照）。
制御ユニット２２は、記憶部２２ｃに記憶されるプログラムを実行することで、算出部２２ｂとしても機能する。算出部２２ｂは、記憶部２２ｃから、ユーザがディスプレイ２６を操作して選択した物品の種類に対応する物品の単価（物品２００の物品の単価）と、物品２００の重量値と、を乗じる計算を行い、算出値を物品２００の価格として決定する。制御部２２ａは、決定された物品２００の価格を、物品２００の重量値及び物品２００の単価と共に、ディスプレイ２６に表示する（図７参照）。
（４）会計処理システムにおける物品価格の決定処理
会計処理システム４０における物品の価格の決定処理について、図８のフローチャートを参照しながら説明する。なお、図８のフローチャートは、物品価格の決定処理の一例に過ぎず、矛盾のない範囲で適宜変更されてもよい。例えば、図８のフローチャートは、各ステップの順序を限定するものではなく、互いに矛盾しない範囲で各ステップの順序は適宜変更されてもよい。
物品２００が計量台２８ａに置かれると、制御部２２ａは撮像機５０を制御して、撮像機５０に物品２００を撮像させ、撮像機５０に物品画像Ｉを取得させる（ステップＳ１）。
次に、ステップＳ２では、ネットワークＮＷを介して、制御ユニット２２がコンピュータ３０に物品画像Ｉを送信する。一方、画像取得部３２は、送信されてきた物品画像Ｉを取得する。
次に、ステップＳ３では、推定部３６が、物品画像Ｉから物品の種類の推定に利用する第１情報を取得し、取得した第１情報に基づいて、物品の種類を物品種群の中から１又は複数推定する。例えば、推定部３６は、機械学習により学習済の識別器３６ａを用いて、物品画像Ｉに対応する物品の種類を１又は複数推定する。なお、推定部３６は、設定部３４による、物品種群の中で取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方の設定結果を利用し、取り扱いのある種類の物品を、取り扱いの無い種類の物品よりも優先的に、物品画像Ｉに対応する物品の種類として推定する。推定部３６は、取り扱いの無い種類の物品を、物品画像Ｉに対応する物品の種類として推定しなくてもよい。具体的には前述のとおりである。
次に、ステップＳ４では、コンピュータ３０は、推定部３６による物品画像Ｉに対応する物品の種類の推定結果を、制御ユニット２２に送信する。制御ユニット２２は、推定部３６による物品画像Ｉに対応する物品の種類の推定結果を受信する。
次に、ステップＳ５では、制御部２２ａは、ディスプレイ２６に推定部３６による物品画像Ｉに対応する物品の種類の推定結果を表示する（ステップＳ５）。
次に、ステップＳ６では、価格決定装置２０のユーザが、タッチパネル式のディスプレイ２６を操作して、ディスプレイ２６に表示されている物品の種類の候補から１の物品の種類を選択する。選択結果は、記憶部２２ｃに記憶される。なお、図示は省略しているが、物品の種類の選択結果は、識別器３６ａの追加学習のためにコンピュータ３０に送信されることが好ましい。
ステップＳ７では、価格決定装置２０の計量器２８は、計量台２８ａに置かれた物品２００を計量し、制御ユニット２２は物品２００の重量値を取得する。物品２００の重量値は、記憶部２２ｃに記憶される。
次に、ステップＳ８では、算出部２２ｂは、記憶部２２ｃから、ステップＳ６でユーザが選択した種類の物品の単価（ストアコンピュータ１００から送信されてきた物品の単価）と、ステップＳ７で取得した物品２００の重量値と、を読み出し、これらを乗じる計算を行い、算出値を物品２００の価格に決定する。
次にステップＳ９では、制御部２２ａが、ステップＳ８で決定された物品２００の価格を、物品２００の重量値及び単価と共にディスプレイ２６に表示する。
（５）特徴
（５−１）
本実施形態の物品識別システム１０は、撮像機５０と、推定部３６と、設定部３４と、を備える。撮像機５０は、物品を撮像し物品画像Ｉを取得する。推定部３６は、物品画像Ｉから物品の種類の推定に利用する第１情報を取得し、取得した第１情報に基づいて、物品の種類を物品種群の中から１又は複数推定する。設定部３４は、物品種群の中で、取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方を設定する。推定部３６は、取り扱いのある種類の物品を、取り扱いの無い種類の物品よりも優先的に、物品画像Ｉに対応する物品の種類として推定する。
本実施形態の物品識別システム１０では、取り扱いの無い種類の物品が物品画像Ｉに対応する物品の種類として推定される可能性が低減されるため、物品画像Ｉから物品の種類を精度良く推定できる。
なお、取り扱いのある種類の物品とは、物品識別システム１０による識別時に、物品識別システム１０が使用される店舗等において、販売・提供している物品や、在庫が有る物品等を意味する。なお、販売・提供している物品とは、より具体的には、販売・提供しているとして店舗で管理されている物品である。また、在庫が有る物品とは、より具体的には、在庫が有るとして管理されている物品である。
また、取り扱いの無い種類の物品とは、物品識別システム１０による識別時に、物品識別システム１０が使用される店舗等において、販売・提供していない物品や、在庫が無い物品等を意味する。なお、販売・提供していない物品とは、より具体的には、販売・提供していないとして店舗で管理されている物品である。また、在庫が無い物品とは、より具体的には、在庫が無いとして管理されている物品である。
（５−２）
また、本実施形態の物品識別システム１０は、以下のように構成されてもよい。
物品識別システム１０は、撮像機５０と、推定部３６と、設定部３４と、を備える。撮像機５０は、物品を撮像し物品画像Ｉを取得する。推定部３６は、物品画像Ｉから物品の種類の推定に利用する第１情報を取得し、取得した第１情報に基づいて、物品の種類を物品種群の中から１又は複数推定する。設定部３４は、物品種群の中で、取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方を設定する。推定部３６は、取り扱いの無い種類の物品を、物品画像Ｉに対応する物品の種類として推定しない。
本実施形態の物品識別システム１０では、取り扱いの無い種類の物品が物品画像Ｉに対応する物品の種類として推定される可能性が低減されるため、物品画像Ｉから物品の種類を精度良く推定できる。
本実施形態の物品識別システム１０では、実際には取り扱われていない物品の種類が、物品画像Ｉに対応する物品として推定される不具合の発生を抑制できる。
（５−３）
本実施形態の物品識別システム１０は、推定部３６は、第１情報と物品の種類との関係を機械学習による学習済の識別器３６ａを有する。
本実施形態の物品識別システム１０では、機械学習を利用して、物品画像Ｉから物品の種類を精度よく推定できる。
（５−４）
本実施形態の物品識別システム１０は、入力部３７を備える。入力部３７には、物品画像Ｉに対応する物品の種類が入力される。識別器３６ａは、入力部３７に対する入力に基づき、第１情報と物品の種類との関係を追加学習する。
第３観点の物品識別システム１０では、物品画像Ｉに対応する物品の種類の入力に基づいて識別器３６ａが追加学習を行うため、物品の種類を高精度で推定可能な物品識別システム１０を実現できる。
（５−５）
本実施形態の物品識別システム１０は、第１記憶部の一例としての、記憶部３８の取扱物品記憶領域３８ｂを備える。記憶部３８の取扱物品記憶領域３８ｂは、取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方を記憶する。設定部３４は、記憶部３８の取扱物品記憶領域３８ｂに記憶されている情報に基づき、取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方を設定する。
（５−６）
本実施形態の物品識別システム１０は、第２記憶部の一例としての、記憶部３８のスケジュール記憶領域３８ｃを備える。記憶部３８のスケジュール記憶領域３８ｃは、物品の取り扱い予定に関するスケジュールを記憶する。設定部３４は、記憶部３８のスケジュール記憶領域３８ｃに記憶されているスケジュールに基づき、取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方を設定する。
本実施形態の物品識別システム１０では、例えば、季節、日付、曜日、時刻等により、ある種類の物品の取り扱い状態が変わる場合にも、その種類の物品の取り扱いを正しく認識することが容易である。
（５−７）
本実施形態の会計処理システム４０は、物品識別システム１０と、価格決定装置２０と、を備える。価格決定装置２０は、物品識別システム１０の推定部３６が推定した物品の種類に基づき、物品画像Ｉに写っている物品の価格を決定する。
本実施形態の会計処理システムでは、精度良く推定された物品の種類に基づき会計処理を行うことができる。
（６）変形例
以下に上記実施形態の変形例を示す。なお、各変形例の内容の一部又は全部は、互いに矛盾しない範囲で他の変形例の内容と組み合わされてもよい。
（６−１）変形例Ａ
上記実施形態では、推定部３６は、学習済の識別器３６ａを利用して、物品画像Ｉに対応する物品の種類を推定する。ただし、このような態様に限定されるものではなく、推定部３６は、識別器３６ａを利用せずにルールベースで物品画像Ｉの第１情報から物品の種類を推定してもよい。例えば、コンピュータ３０では、第１情報と物品の種類との関係が予めプログラムで記述され、推定部３６はこのプログラムに基づいて物品画像Ｉに対応する物品の種類を推定してもよい。
１０ 物品識別システム
２０ 価格決定装置
３４ 設定部
３６ 推定部
３６ａ 識別器
３７ 入力部
３８ｂ 取扱物品記憶領域（第１記憶部）
３８ｃ スケジュール記憶領域（第２記憶部）
４０ 会計処理システム
５０ 撮像機
Ｉ 物品画像
特開２０１１−１７０７４５号公報

Claims (7)

  1. 物品を撮像し物品画像を取得する撮像機と、
    前記物品画像から前記物品の種類の推定に利用する第１情報を取得し、取得した前記第１情報に基づいて、前記物品の種類を物品種群の中から１又は複数推定する推定部と、
    前記物品種群の中で、取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方を設定する設定部と、
    を備え、
    前記推定部は、前記取り扱いのある種類の物品を、前記取り扱いの無い種類の物品よりも優先的に、前記物品画像に対応する前記物品の種類として推定する、
    物品識別システム。
  2. 物品を撮像し物品画像を取得する撮像機と、
    前記物品画像から前記物品の種類の推定に利用する第１情報を取得し、取得した前記第１情報に基づいて、前記物品の種類を物品種群の中から１又は複数推定する推定部と、
    前記物品種群の中で、取り扱いのある種類の物品及び取り扱いの無い種類の物品の少なくとも一方を設定する設定部と、
    を備え、
    前記推定部は、前記取り扱いの無い種類の物品を、前記物品画像に対応する前記物品の種類として推定しない、
    物品識別システム。
  3. 前記推定部は、前記第１情報と前記物品の種類との関係を機械学習による学習済の識別器を有する、
    請求項１又は２に記載の物品識別システム。
  4. 前記物品画像に対応する前記物品の種類が入力される入力部、
    を更に備え、
    前記識別器は、前記入力部に対する入力に基づき、前記第１情報と前記物品の種類との関係を追加学習する、
    請求項３に記載の物品識別システム。
  5. 前記取り扱いのある種類の物品及び前記取り扱いの無い種類の物品の少なくとも一方を記憶する第１記憶部、
    を更に備え、
    前記設定部は、前記第１記憶部に記憶されている情報に基づき、前記取り扱いのある種類の物品及び前記取り扱いの無い種類の物品の少なくとも一方を設定する、
    請求項１から４のいずれか１項に記載の物品識別システム。
  6. 前記物品の取り扱い予定に関するスケジュールを記憶する第２記憶部、
    を更に備え、
    前記設定部は、前記第２記憶部に記憶されている前記スケジュールに基づき、前記取り扱いのある種類の物品及び前記取り扱いの無い種類の物品の少なくとも一方を設定する、
    請求項１から５のいずれか１項に記載の物品識別システム。
  7. 請求項１から６のいずれか１項に記載の物品識別システムと、
    前記物品識別システムの前記推定部が推定した前記物品の種類に基づき、前記物品画像に写っている前記物品の価格を決定する価格決定装置と、
    を備えた会計処理システム。
JP2019108928A 2019-06-11 2019-06-11 物品識別システム及び物品識別システムを備えた会計処理システム Active JP7289448B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019108928A JP7289448B2 (ja) 2019-06-11 2019-06-11 物品識別システム及び物品識別システムを備えた会計処理システム
CN202010499016.7A CN112070991A (zh) 2019-06-11 2020-06-04 物品识别系统以及具备物品识别系统的结账处理系统
US16/894,139 US20200394634A1 (en) 2019-06-11 2020-06-05 Article discrimination system and checkout processing system including article discrimination system
EP20178520.1A EP3751456A1 (en) 2019-06-11 2020-06-05 Article discrimination system and checkout processing system including article discrimination system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019108928A JP7289448B2 (ja) 2019-06-11 2019-06-11 物品識別システム及び物品識別システムを備えた会計処理システム

Publications (2)

Publication Number Publication Date
JP2020201769A true JP2020201769A (ja) 2020-12-17
JP7289448B2 JP7289448B2 (ja) 2023-06-12

Family

ID=71016430

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019108928A Active JP7289448B2 (ja) 2019-06-11 2019-06-11 物品識別システム及び物品識別システムを備えた会計処理システム

Country Status (4)

Country Link
US (1) US20200394634A1 (ja)
EP (1) EP3751456A1 (ja)
JP (1) JP7289448B2 (ja)
CN (1) CN112070991A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021054266A1 (ja) * 2019-09-17 2021-03-25 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
JP7457347B2 (ja) * 2020-02-10 2024-03-28 株式会社イシダ 商品候補提示システム及び会計処理システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014153894A (ja) * 2013-02-07 2014-08-25 Toshiba Tec Corp 情報処理装置及びプログラム
JP2016033695A (ja) * 2014-07-30 2016-03-10 東芝テック株式会社 認識辞書管理装置及びプログラム
JP2018128782A (ja) * 2017-02-07 2018-08-16 東芝テック株式会社 情報処理装置およびプログラム
JP2018169752A (ja) * 2017-03-29 2018-11-01 パナソニックＩｐマネジメント株式会社 商品認識システム、学習済みモデル、及び商品認識方法
JP2019070975A (ja) * 2017-10-10 2019-05-09 東芝テック株式会社 商品情報読取装置およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5510924B2 (ja) 2010-02-22 2014-06-04 株式会社ブレイン パンの識別装置とそのプログラム
JP5544332B2 (ja) * 2010-08-23 2014-07-09 東芝テック株式会社 店舗システムおよびプログラム
JP6108159B2 (ja) * 2013-03-04 2017-04-05 日本電気株式会社 情報処理システム、情報処理装置およびその制御方法と制御プログラム
US10062099B2 (en) * 2014-07-25 2018-08-28 Hewlett Packard Enterprise Development Lp Product identification based on location associated with image of product
JP6679344B2 (ja) * 2016-02-29 2020-04-15 東芝テック株式会社 計量システム
JP6745646B2 (ja) * 2016-05-31 2020-08-26 東芝テック株式会社 認識システム、情報処理装置、及びプログラム
JP6766839B2 (ja) * 2018-03-14 2020-10-14 オムロン株式会社 検査システム、画像識別システム、識別システム、識別器生成システム、及び学習データ生成装置
CN109816439A (zh) * 2019-01-14 2019-05-28 珠海格力电器股份有限公司 果蔬智能计价方法、装置、存储介质及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014153894A (ja) * 2013-02-07 2014-08-25 Toshiba Tec Corp 情報処理装置及びプログラム
JP2016033695A (ja) * 2014-07-30 2016-03-10 東芝テック株式会社 認識辞書管理装置及びプログラム
JP2018128782A (ja) * 2017-02-07 2018-08-16 東芝テック株式会社 情報処理装置およびプログラム
JP2018169752A (ja) * 2017-03-29 2018-11-01 パナソニックＩｐマネジメント株式会社 商品認識システム、学習済みモデル、及び商品認識方法
JP2019070975A (ja) * 2017-10-10 2019-05-09 東芝テック株式会社 商品情報読取装置およびプログラム

Also Published As

Publication number Publication date
CN112070991A (zh) 2020-12-11
EP3751456A1 (en) 2020-12-16
US20200394634A1 (en) 2020-12-17
JP7289448B2 (ja) 2023-06-12

Similar Documents

Publication Publication Date Title
US11562817B2 (en) Meal service management system and operating method therefor
US20190333039A1 (en) Produce and bulk good management within an automated shopping environment
US20160042315A1 (en) System and methods for order fulfillment, inventory management, and providing personalized services to customers
US10402870B2 (en) System and method for indicating queue characteristics of electronic terminals
KR102606359B1 (ko) 급식관리 시스템
US11308547B2 (en) Method and system for generating a store planogram and identifying a suspect customer
BR112019027187A2 (pt) sistema para agregação de metadados de eventos de comportamento do consumidor na loja, verificação de dados e análise de inteligência artificial dos mesmos para interpretação dos dados e desencadeamento de ação associada
JP7289448B2 (ja) 物品識別システム及び物品識別システムを備えた会計処理システム
JP2016218821A (ja) 販売情報利用装置、販売情報利用方法、およびプログラム
US10628792B2 (en) Systems and methods for monitoring and restocking merchandise
US11393015B1 (en) Interface for item acquisition
US20190311387A1 (en) Computer system, vacant seat detecting method, and program
JP2021128388A (ja) データ生成装置、学習済みモデル生成装置、計量機及びデータ生成方法
US20220164812A1 (en) Information processing device, information processing method, and recording medium
JP7457347B2 (ja) 商品候補提示システム及び会計処理システム
JP2021034064A (ja) 業務支援システム、業務支援装置、端末、業務支援方法、業務方法、及び、コンピュータプログラム
WO2023175765A1 (ja) 学習用データ生成装置、商品数確認装置、学習用データ生成方法、商品数確認方法、及び記録媒体
WO2022254958A1 (ja) 無人店舗の商品を管理する管理システム、管理方法及びプログラム
JP2023136801A (ja) 商品候補提示装置、電子秤、商品候補提示システム及び商品候補提示方法
KR20240023782A (ko) 인공 지능을 이용한 이사견적 제공 장치 및 방법
KR20200123069A (ko) 급식관리 시스템 및 이의 운영방법
JP2023064548A (ja) 判定システム、情報処理装置、方法、及びプログラム
JP2021034037A (ja) 業務支援システム、業務支援装置、端末、業務支援方法、業務方法、及び、コンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230519

R150 Certificate of patent or registration of utility model

Ref document number: 7289448

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150