JP2021125173A - 商品候補提示システム及び会計処理システム - Google Patents

Abstract

【課題】商品の選択に要する手間を減らすことができる商品候補提示システム及び会計処理システムを提供する。
【解決手段】商品候補提示システム（１０）は、撮像された商品の画像に基づいて、商品の候補をユーザに選択させるために提示する商品候補提示システムである。商品候補提示システム（１０）は、取得部（１３）と、推定部（１４）と、記憶部（１２）と、提示部（１５）と、を備える。取得部（１３）は、商品の画像を取得する。推定部（１４）は、画像に基づいて商品群から商品の候補を推定する。記憶部（１２）は、商品群から過去に選択された商品を選択情報として記憶する。提示部（１５）は、推定部（１４）で推定された商品の候補を第１候補群として選び出すとともに、選択情報に基づいて商品の候補を第２候補群として選び出して、第１候補群及び第２候補群を提示する。
【選択図】図５

Description

本発明は、商品候補提示システム及び会計処理システムに関する。

従来、特許文献１（特許第６１７７０６８号）のように、食品等を画像識別により識別して、店舗でのレジ打ち作業を軽減するシステムが開発されている。特許文献１の店舗システムは、商品の画像から抽出した特徴量を、学習データ中の特徴量と比較することにより、商品の種類を識別している。そして、特許文献１の店舗システムでは、学習データ管理部により、店舗システムが種類を識別した商品の特徴量の中で信頼度が高いもの、及び店舗システムが識別した商品の種類をマニュアルで訂正したものの特徴量を学習データに追加している。

しかしながら、上記特許文献１の店舗システムでは、学習を重ねても、画像から識別することが難しい商品があるため、このような商品に対しては店舗でのレジ打ち作業を軽減できないという問題に本発明者は着目した。具体的には、識別結果の利用を考えた場合、識別結果に基づいた適切な商品の選択ができず、依然として商品の選択に手間がかかってしまうという問題に本発明者は着目し、それを課題とした。

すなわち、本発明の課題は、商品の選択に要する手間を減らすことができる商品候補提示システム及び会計処理システムを提供することにある。

第１観点に係る商品候補提示システムは、撮像された商品の画像に基づいて、商品の候補をユーザに選択させるために提示する商品候補提示システムである。商品候補提示システムは、取得部と、推定部と、記憶部と、提示部と、を備える。取得部は、商品の画像を取得する。推定部は、画像に基づいて商品群から商品の候補を推定する。記憶部は、商品群から過去に選択された商品を選択情報として記憶する。提示部は、推定部で推定された商品の候補を第１候補群として選び出すとともに、選択情報に基づいて商品の候補を第２候補群として選び出して、第１候補群及び第２候補群を提示する。

第１観点に係る商品候補提示システムでは、提示部によって、画像に基づいて選び出された第１候補群と、過去に選択された商品に基づいて選び出された第２候補群と、を提示することができる。このため、画像に基づいて選ばれた第１候補群のみを提示する場合よりも、正しい商品が上位に含まれる可能性を高くすることができる。したがって、第１観点に係る商品候補提示システムは、商品の選択に要する手間を減らすことができる。

第２観点に係る商品候補提示システムは、選択情報は、商品群から過去に選択された商品のうち、第１候補群以外から選択された商品に対して、商品ごとにその選択を訂正動作として紐づけてカウントした訂正回数に関する情報である。

第２観点に係る商品候補提示システムでは、選択情報として、画像に基づいて選び出された第１候補群から選択されなかった商品が訂正回数としてカウントされたものである。このため、選択情報は、第１候補群に含まれなかったことによる訂正動作と紐づいたものである。したがって、第１候補群に含まれなくても、第２候補群の上位に含まれることによって、正しい商品が上位に含まれる可能性がより高くなる。

第３観点に係る商品候補提示システムは、提示部は、選択情報に基づいて、訂正動作としての訂正回数の多い順に商品を選び出す。

第３観点に係る商品候補提示システムでは、提示部によって、訂正回数の多い順に選び出された商品を第２候補群として提示できる。これにより、第１候補群として選び出されにくい商品が、第２候補群の上位に含まれやすくなる。

第４観点に係る商品候補提示システムは、提示部は、総数が直近から所定数以内、または、直近から所定期間内における訂正回数の多い順に商品を選び出す。

第４観点に係る商品候補提示システムでは、提示部は、選択情報における直近の訂正回数を用いて商品を選び出す。このため、提示部は、実態を反映させた第２候補群を提示できる。

第５観点に係る商品候補提示システムは、推定部は、学習済みモデルによって商品の候補を推定する。学習済みモデルの更新時に、訂正回数がリセットされる。

第５観点に係る商品候補提示システムでは、学習済みモデルの更新時に、訂正回数のカウントを開始できる。このため、学習済みモデルの更新に伴って選択情報が作成されるので、実態を反映させた第２候補群を提示できる。

第６観点に係る商品候補提示システムは、選択情報は、商品群から過去に選択された商品のうち、選択されたすべての商品に対して、商品ごとにその選択を選択動作として紐づけてカウントした選択回数に関する情報である。

第６観点に係る商品候補提示システムでは、提示部により、多く選択された商品が並べられた選択情報に基づいて選び出した商品を第２候補群として提示できる。したがって、第１候補群に含まれなくても、第２候補群の上位に含まれることによって、正しい商品又は選択される頻度の多い商品が上位に含まれる可能性が高くなる。

第７観点に係る商品候補提示システムは、提示部は、第２候補群を第１候補群の下位に並べて提示する。

第７観点に係る商品候補提示システムでは、正しい商品である可能性（確率）が高い商品から順に提示することができる。このため、商品の選択に要する手間をより減らすことができる。

第８観点に係る商品候補提示システムは、提示部が提示する第１候補群及び第２候補群を表示する画面を有する表示部をさらに備える。提示部は、表示部の最初の一画面に第１候補群の少なくとも一部と、第２候補群の少なくとも一部と、を提示する。

第８観点に係る商品候補提示システムでは、表示部において、最初の一画面に第１候補群及び第２候補群が表示される。これにより、最初の一画面に正しい商品が含まれる可能性（確率）が高くなるので、ユーザが次の画面を繰り出す手間を省くことができる。

第９観点に係る商品候補提示システムは、推定部は、学習済みモデルによって、画像から推定される結果に基づいて、候補の商品に対して順位をつける。提示部は、第１候補群として、所定の順位までの商品を順位が高い順に提示する。

第９観点に係る商品候補提示システムでは、学習済みモデルを利用して画像から順位をつけて商品の候補を推定する場合、上位に正しい商品が含まれている確率が高い。ここでは、提示部は、第１候補群として、推定部での上位の推定結果をその順位が高い順に提示するとともに、第２候補群として、過去に選択された商品としての選択情報に基づいて提示する。このため、正しい商品が上位に含まれる可能性がより高くなる。

第１０観点に係る会計処理システムは、撮像部と、商品候補提示システムと、選択部と、計量部と、算出部と、を備える。撮像部は、商品を撮像する。商品候補提示システムは、撮像部によって撮像された商品の画像に基づいて、商品の候補を提示する。選択部は、商品候補提示システムで提示された候補の中から商品を選択する。計量部は、商品の重量を計量する。算出部は、選択部で選択された商品及び計量部で計量された重量に基づき、商品の価格を算出する。

第１０観点に係る会計処理システムでは、第１から第９観点の商品候補提示システムを備えているので、撮像された画像の商品を選択する手間を減らすことができる。このため、効率良く会計を行うことができる。

本発明に係る商品候補提示システム及び会計処理システムでは、商品の選択に要する手間を減らすことができる。

実施形態に係る会計処理システムを示す模式図である。 会計処理システムが有する価格決定装置のブロック図である。 表示部に表示される商品の候補の例である。 表示部に表示される商品の価格の例である。 実施形態に係る商品候補提示システムのブロック図である。 学習モデルのアルゴリズムのニューラルネットワークを概念的に表した図である。 実施形態の会計処理システムの会計処理のフローチャートである。

本発明の実施形態に係る商品候補提示システム１０及び会計処理システム４０について以下に説明する。なお、以下の説明は、本発明の商品候補提示システム及び会計処理システムの実施形態に過ぎず、本発明の技術的範囲を限定するものではない。本発明の趣旨及び範囲から逸脱すること無く、以下の実施形態に種々の変形が可能なことが理解されるであろう。

（１）全体概要
商品候補提示システム１０及び会計処理システム４０の概要を、図１を参照して説明する。図１は、商品候補提示システム１０を備える会計処理システム４０を模式的に示す図である。

図１に示すように、会計処理システム４０は、商品候補提示システム１０と価格決定装置２０と、を含む。商品候補提示システム１０は、撮像された商品の画像に基づいて、商品の候補をユーザに選択させるために提示する。会計処理システム４０は、商品候補提示システム１０で提示された候補の中から、ユーザが選択した商品の価格を価格決定装置２０で決定する。

商品候補提示システム１０は、制御ユニット１１を含む。制御ユニット１１は、ネットワークＮＷを介して、価格決定装置２０と通信可能に接続されている。ネットワークＮＷは、ＬＡＮであってもよいし、インターネット等のＷＡＮであってもよい。また、他の態様では、価格決定装置２０に、制御ユニット１１の機能の一部又は全部が組み込まれていてもよい。さらに他の態様では、制御ユニット１１の機能の一部又は全部がクラウドサーバに組み込まれている。すなわち、制御ユニット１１の各機能部は、一部又は全部がクラウドサーバに含まれていてもよい。また、クラウドサーバは複数あってもよい。そのため、制御ユニット１１の各機能部は、複数のクラウドサーバに分散して含まれていてもよい。

制御ユニット１１は、ネットワークＮＷを介して、ストアコンピュータ１００とも通信可能に接続されていてもよい。ストアコンピュータ１００は、会計処理システム４０が利用される店舗等で販売や提供している商品群に関する各種情報を管理するコンピュータである。商品群に関する各種情報は、商品に係る商品関連情報が商品毎に記録された商品マスタを含む。商品マスタは、例えば、商品名、商品番号、単価等が対応付けられたテーブルである。

会計処理システム４０は、用途を限定するものではないが、例えば、スーパーマーケット等の店舗で利用される。会計処理システム４０により会計処理が行われる商品は、例えば、惣菜等の各種類の商品２００である。なお、会計処理システム４０により会計処理が行われる商品（商品候補提示システム１０により提示される候補の商品）は、パンや野菜等の食品であってもよいし、食品以外の商品であってもよい。

（２）価格決定装置
会計処理システム４０を構成する価格決定装置２０について図１〜図４を参照して説明する。図２は、価格決定装置２０のブロック図である。図３は、表示部２６に表示される商品候補提示システム１０で提示された商品の候補の表示の例である。図４は、表示部２６に表示される商品価格の表示の例である。

価格決定装置２０は、商品の売り場等に設置されている。価格決定装置２０は、ネットワークＮＷを介して、商品候補提示システム１０の制御ユニット１１及びストアコンピュータ１００と通信可能に接続されている。価格決定装置２０は、ネットワークＮＷを介して制御ユニット１１から、計量台２４ａに載置された商品２００の候補を受信する。価格決定装置２０（計量部２４）は、計量台２４ａに載置された商品２００の重量を計量する機能を有する。価格決定装置２０は、制御ユニット１１から送信される商品の候補と、ストアコンピュータ１００から取得される商品の単価と、計量部２４が計量した商品２００の重量とに基づき、商品２００の価格を決定する。

図１に示すように、価格決定装置２０は、筐体２１と、撮像部２２と、光源２３と、計量部２４と、固定キー２５と、表示部２６と、制御ユニット２７と、を備える。図２に示すように、制御ユニット２７は、制御部２８と、選択部２９と、記憶部３０と、算出部３１と、を含む。表示部２６は、選択部２９を含む。

（２−１）筐体
図１に示すように、筐体２１は、収容部２１ａと、保持部２１ｂと、連結部２１ｃと、を含む。収容部２１ａは、計量部２４を収容する。保持部２１ｂは、収容部２１ａ上に配置されている。連結部２１ｃは、収容部２１ａと保持部２１ｂとを連結している。連結部２１ｃは、上下方向に延びる。

（２−２）撮像部
図１及び図２に示す撮像部２２は、商品２００を撮像する。撮像部２２は、保持部２１ｂに設けられる。撮像部２２は、計量台２４ａの上に商品２００が載置されると、後述する制御ユニット２７の制御部２８に制御されて、商品２００を撮像し画像Ｉ（図３参照）を取得する。撮像部２２は、例えば、カラーの画像を取得するＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等である。撮像部２２は、ステレオカメラ、商品２００の温度画像を取得する赤外線カメラ等を含んでもよい。撮像部２２は、撮像した画像Ｉを、価格決定装置２０から、ネットワークＮＷを介して商品候補提示システム１０の制御ユニット１１へと送信する。

なお、撮像部２２は、価格決定装置２０とは独立した装置であってもよく、撮像部２２が撮像した画像Ｉは、撮像部２２の有する通信装置や、撮像部２２が接続されるゲートウェイを用いて制御ユニット１１へと送信されてもよい。

（２−３）光源
光源２３は、撮像部２２が撮像する商品２００を照らす。光源２３は、保持部２１ｂに設けられる。１または複数の光源２３が、撮像部２２の近傍に配置される。

（２−４）計量部
計量部２４は、商品の重量を計量する。計量部２４は、収容部２１ａに設けられる。計量部２４は、計量台２４ａと、図示しないロードセル、信号処理回路、及び送信モジュールと、を含む。計量台２４ａには、商品２００が載置される。計量台２４ａの下方には、ロードセルが設けられる。ロードセルは、計量台２４ａに商品２００が載置された際に生じる機械的な歪みを電気信号に変換する。信号処理回路は、ロードセルの出力する信号を増幅してデジタル信号に変換し、送信モジュールは、デジタル信号を制御ユニット２７に送信する。

（２−５）固定キー
固定キー２５は、価格決定装置２０の操作に必要な各種のキーを有する。固定キーは、収容部２１ａに設けられる。

（２−６）表示部
表示部２６は、各種の情報を表示する。本実施形態の表示部２６は、タッチパネル式のディスプレイである。表示部２６は、１つの画面を有してもよく、複数の画面を有してもよい。表示部２６は、収容部２１ａに設けられる。

図３に示すように、表示部２６には、撮像部２２で撮像された商品２００の画像Ｉと、この画像Ｉに基づいて、商品候補提示システム１０で提示された商品の複数の候補とが表示される。図３では、左側に画像Ｉが表示され、右側に商品の候補が表示されている。

また、図４に示すように、表示部２６は、選択部２９により商品の候補の中からユーザが（タッチすることにより）選択した商品名、計量部２４が計量した商品２００の重量値、ストアコンピュータ１００から取得される商品の単価、及び算出部３１が算出した商品２００の価格を表示する。

（２−７）制御ユニット
図１に示すように、制御ユニット２７は、収容部２１ａに設けられる。制御ユニット２７は、コンピュータにより実現されるものである。制御ユニット２７は、制御演算装置と記憶装置とを備える。制御演算装置には、ＣＰＵ又はＧＰＵといったプロセッサを使用できる。制御演算装置は、記憶装置に記憶されているプログラムを読み出し、このプログラムに従って所定の画像処理や演算処理を行う。さらに、制御演算装置は、プログラムに従って、演算結果を記憶装置に書き込んだり、記憶装置に記憶されている情報を読み出したりすることができる。

制御ユニット２７は、ネットワークＮＷを介して、制御ユニット１１やストアコンピュータ１００と通信可能に接続されている。図２に示すように、制御ユニット２７は、制御部２８と、選択部２９と、記憶部３０と、算出部３１と、出力部と、を含む。

（２−７−１）制御部
制御部２８は、計量部２４の計量値に基づき、計量部２４の計量台２４ａに商品２００が載置されたことを検知すると、撮像部２２を制御して、撮像部２２に計量台２４ａに載置された商品２００の画像を撮像させる。なお、制御部２８は、記憶部３０に予め記憶されている計量台２４ａのベース画像（商品が映り込んでいない状態で撮像された画像）と、現在撮像している画像とに差が生じたことを検知した際に、撮像部２２に計量台２４ａに載置された商品２００の画像を撮像させてもよい。また、制御部２８は、自動で撮像部２２を制御するのではなく、固定キー２５等から入力される操作に基づいて、撮像部２２に商品２００の画像を撮像させてもよい。また、制御部２８は、表示部２６の表示を制御する。

（２−７−２）選択部
選択部２９は、商品候補提示システム１０で提示された候補の中から商品を選択する。図３に示すように、選択部２９は、表示部２６に含まれる。ユーザは、タッチパネル式のディスプレイである表示部２６の選択部２９を操作して、表示される商品の候補の中から正しい商品を選択する。

図３では、選択部２９は、商品Ａ〜商品Ｇと記載された各選択ボタン（区画して表示される各領域）である。表示部２６に表示された複数の候補としての商品Ａ〜商品Ｇの中に正しい商品があれば、ユーザは、選択部２９として正しい商品が記載された選択ボタンを押すことで、正しい商品を選択できる。選択部２９で選択された商品を、画像Ｉに対応する商品の入力として受け付ける。このため、選択部２９で選択された商品に関する情報は、算出部に送信される。ユーザの選択結果は、価格決定装置２０から、ネットワークＮＷを介してストアコンピュータ１００に送信される。

なお、制御ユニット２７は、撮像部２２に撮像させた商品２００の画像と、選択部２９で選択された商品に関する情報（人間が判断した正解の商品名）との組を、教師データとして出力する。出力された教師データは、制御部１１に入力され、後述する記憶部１２の図示しない教師データ記憶領域に記憶される。そして、制御部１１は、新たな学習済みモデルを生成（構築）する際、元々存在した教師データの少なくとも一部と、新たに記憶された教師データの少なくとも一部とについて、生成前の学習モデルに学習させる。すなわち、追加された教師データを適宜学習することにより、学習済みモデルは更新される。このような学習は、会計処理とは別に行われるものであり、例えば店舗の閉店時等に行われる。

（２−７−３）記憶部
記憶部３０は、商品マスタや商品識別に必要な情報を記憶する。記憶部３０は、ストアコンピュータ１００から商品マスタを取得する。商品マスタは、少なくとも商品番号（ＩＤ）と、商品名、単価、定額等とが対応付けられたデータテーブルを含む。商品マスタは、更新（変更）可能である。

（２−７−４）算出部
算出部３１は、選択部２９で選択された商品及び計量部２４で計量された重量に基づき、商品の価格を算出する。具体的には、算出部３１は、選択部２９で選択された商品に関する情報を受信すると、その商品に関する情報を商品マスタから読み出す。ここでは、算出部３１は、選択された商品に対応する商品の単価を商品マスタから取得する。算出部３１は、計量部２４から計量された重量値を取得する。そして、算出部３１は、取得した重量値と、商品の単価とに基づいて、商品の価格を算出する。算出部３１は、算出した価格を、表示部２６に送信する。

（３）商品候補提示システム
商品候補提示システム１０について、図１〜図６を参照して説明する。図５は、商品候補提示システム１０のブロック図である。図６は、制御ユニット１１の記憶部１２が有する学習済みモデルのアルゴリズムのニューラルネットワークを概念的に表した図である。

図５に示すように、商品候補提示システム１０は、上述した制御ユニット１１と、表示部２６と、を備えている。制御ユニット１１は、表示部２６の表示を制御する。本実施形態の表示部２６は、価格決定装置２０に組み込まれている。制御ユニット１１と表示部２６とは、別部材であるが、一体化されたタブレット端末等であってもよい。

制御ユニット１１はコンピュータにより実現されるものである。制御ユニット１１は、制御演算装置と記憶装置とを備える。制御演算装置には、ＣＰＵ又はＧＰＵといったプロセッサを使用できる。制御演算装置は、記憶装置に記憶されているプログラムを読み出し、このプログラムに従って所定の画像処理や演算処理を行う。さらに、制御演算装置は、プログラムに従って、演算結果を記憶装置に書き込んだり、記憶装置に記憶されている情報を読み出したりすることができる。

制御ユニット１１は、記憶部１２と、取得部１３と、推定部１４と、提示部１５と、を含む。

（３−１）記憶部
記憶部１２は、各種情報を記憶する記憶領域として、商品マスタ記憶領域１２ａと、学習済みモデル記憶領域１２ｂと、選択情報記憶領域１２ｃと、を有する。

商品マスタ記憶領域１２ａは、商品マスタを記憶する。商品マスタは、価格決定装置２０の記憶部３０に記憶されている商品マスタと同様である。ただし、記憶部３０に記憶されている商品マスタは、上述した会計処理に用いるため、ストアコンピュータ１００から得た最新の商品マスタに常に更新されているのが望ましい。一方、商品マスタ記憶領域１２ａに記憶されている商品マスタは、後述する学習済みモデルによる商品の推定結果に用いられるため、学習済みモデル記憶領域１２ｂに記憶されている学習済みモデルが学習を行った時点の商品マスタとしてもよい。すなわち、商品マスタの内容は、記憶部３０と商品マスタ記憶領域１２ａとの間で、販売商品の追加又は廃止に伴う不一致が生じていてもよい。

学習済みモデル記憶領域１２ｂは、学習済みモデルを記憶する。学習済みモデルは、機械学習によって生成されたモデルである。学習済みモデルは、記憶媒体、ネットワーク等を介して取得されている。

選択情報記憶領域１２ｃは、商品群から過去に選択された商品を選択情報として記憶する。商品群とは、店舗等で販売や提供している商品を集めたものである。選択情報は、商品群から過去に選択された商品（既に選択された結果）に基づいて、候補となる商品に順位をつけたものである。

具体的には、図１及び図２を参照して、価格決定装置２０の制御ユニット２７は、ネットワークＮＷを介してストアコンピュータ１００に、選択部２９で選択された商品を送信する。ストアコンピュータ１００は、各店舗からの選択された商品を集約して、商品群から過去に選択された商品を選択情報として生成する。ストアコンピュータ１００は、このように生成した選択情報を、ネットワークＮＷを介して制御ユニット１１に送信する。ストアコンピュータ１００は、所定のタイミングで選択情報を送信する。また、ストアコンピュータ１００は、制御ユニット１１からの送信要求に応じて選択情報を送信してもよい。制御ユニット１１は、受信した選択情報を、記憶部１２の選択情報記憶領域１２ｃに記憶する。なお、制御ユニット１１は、受信した選択情報を、クラウドサーバに記憶してもよい。

本実施形態の選択情報は、商品群から過去に選択された商品のうち、後述する第１候補群以外から選択された商品に対して、商品ごとにその選択を訂正動作として紐づけてカウントした訂正回数に関する情報である。

具体的には、選択部２９で選択された商品が第１候補群に含まれている場合には、訂正動作がなかったとして、訂正回数がカウントされない。一方、選択部２９で選択された商品が第１候補群に含まれていない場合には、訂正動作があったとして、訂正回数がカウントされる。商品ごとにこのようにカウントされた訂正回数を記録して、選択情報を生成する。ここでは、選択情報は、訂正回数の多い順に商品が並べられている。

選択情報は、総数が直近から所定数以内、または、直近から所定期間内において、訂正回数の多い順に商品が並べられたものである。例として、直近から訂正回数の総数１００（回））以内の訂正回数（総数が直近から所定数以内の訂正回数）を選択情報として利用する場合について説明する。この場合、選択情報記憶領域１２ｃは、全商品に対する訂正回数の合計（総数）が直近から１００回までの訂正であるか否かを特定できる態様で、商品ごとの訂正回数を記憶している。詳細には、選択情報記憶領域１２ｃは、商品ごとに、各訂正の行われた時期を各訂正の記録と合わせて記憶する、又は、各訂正の行われた順番（順序）を都度更新しながら各訂正の記録と合わせて記憶するように構成されている。そして、訂正回数が多い順に商品を並べることにより、選択情報を生成する。なお、所定回数は、第２候補群の表示に対して商品選択を行う会計処理を運用した結果によって適切な値に適宜変更されてもよく、１００回に限られない。例えば、所定回数は、１００回より少なくてもよく（例えば、５０回）、１００回より多くてもよい（例えば、１０００回）。

また例えば、直近から所定日数以内において、訂正回数が多い順に商品を並べることにより、選択情報を生成してもよい。所定日数は、商品に関する訂正の追加の頻度（増加量）を考慮して適宜設定される日数であり、例えば２日〜３０日とする。この場合、選択情報記憶領域１２ｃは、全商品に対する訂正が行われた時期を特定できる態様で、商品ごとの訂正回数を記憶するように構成されている。詳細には、選択情報記憶領域１２ｃは、商品ごとに、各訂正の行われた時期を各訂正の記録と合わせて記憶するように構成されている。

なお、初めて商品候補提示システム１０を使用開始するときの他にも、所定のタイミングで、訂正回数のカウントを開始してもよい。例えば、後述する学習済みモデルの更新時に、訂正回数のカウントを開始する。すなわち、学習済みモデルの更新時に、選択情報記憶領域１２ｃは、各商品の訂正回数をリセットしても（０回に更新しても）よい。一般に、学習済みモデルが更新されると、推定を間違えやすい商品が変わり得るので、更新前の学習済みモデルの推定に係る訂正は実態を反映していないためである。

（３−２）取得部
取得部１３は、商品２００の画像Ｉを取得する。商品２００の画像Ｉは、撮像部２２で撮像された画像であってもよく、撮像部２２で撮像された画像から商品が抽出されたものであってもよい。また、商品２００の画像Ｉは、撮像部２２で撮像された画像に画像処理（例えば、撮像された画像の輝度値を、学習済みモデルが学習した画像の輝度値に合わせる補正等）が加えられたものであってもよい。ここでは、取得部１３は、価格決定装置２０からネットワークＮＷを介して送信されてくる画像Ｉを取得する。

（３−３）推定部
推定部１４は、画像Ｉに基づいて商品群から商品の候補を推定する。推定部１４は、取得部１３から、商品２００の推定に利用する画像Ｉを取得する。

本実施形態では、推定部１４は、学習済みモデルによって商品の候補を推定する。学習済みモデルは、画像データに基づく画像が示す商品を機械学習によって予測して出力する。学習済みモデルは、ニューラルネットワークを含む。学習済みモデルは、畳み込みニューラルネットワークを含むものであってもよい。さらに、学習済みモデルは、複数の階層（例えば８層以上）のニューラルネットワークを含むものであってもよい。すなわち、ディープラーニングによって学習済みモデルが生成されてもよい。

図６に示すように、ニューラルネットワークは、例えば、入力層と、多層の中間層（隠れ層）と、出力層と、で構成されている。入力層は、ｐ個のパラメータを要素とする入力値ｘ（＝ｘ０、ｘ１、ｘ２、・・・ｘｐ）をそのまま中間層に出力する。中間層のそれぞれは、活性化関数により総入力を出力に変換してその出力を次の層に渡す。出力層は、活性化関数により総入力を、ｑ個のパラメータを要素とするニューラルネットワークの出力ベクトルｙ（＝ｙ０、ｙ１、・・・、ｙｑ）に変換する。各ｙｉは、商品Ｓｉである可能性を数値として表現したものであり、商品Ｓｉごとに出力される。ｉは、商品ごとに付与される識別のための値であり、商品（の種類）の総数に基づいて決定されるパラメータの要素数から、１〜ｑの値のいずれかと対応させる。

ここでは、ニューラルネットワークは、画像の各画素の画素値を入力して、商品の推定結果を示す情報（出力ベクトルｙ）を出力する。ニューラルネットワークの入力層には、画像の画素数分のニューロンが設けられる。ニューラルネットワークの出力層には、商品の推定結果に係る情報を出力するためのニューロンが設けられる。出力層のニューロンの出力値に基づいて、商品を推定することができる。ニューロンの出力値は、例えば０〜１の値である。この場合、ニューロンの値が大きいほど（値が１に近い程）、画像の商品である可能性が高く、ニューロンの値が小さい程（値が０に近い程）、画像の商品である可能性が低いことを示している。すなわち、商品Ｓｉのニューロン値（ｙｉ、又はｙｉに基づいて算出される値）が大きい場合、画像の商品は商品Ｓｉである確率が高く、商品Ｓｉのニューロン値が小さい場合、商品Ｓｉである確率が低いことを示している。

推定部１４は、画像Ｉを、学習済みモデルに入力する。推定部１４は、入力させる画像を正規化してもよい。画像の正規化には、例えば、画像の縮小、拡大、トリミング等を行うことで行われる。また、推定部１４は、入力する画像に対して、コントラストの調整、色の変更、フォーマットの変更等の各種の処理を行ってもよい。推定部１４は、学習済みモデルのニューラルネットワークに画像を入力したことに応じて、ニューラルネットワークから出力された出力値を含む推定結果を取得する。推定結果には、商品マスタに登録されている全ての種類の商品が含まれる。

推定部１４は、推定結果に基づいて、候補の商品に対して順位をつける。すなわち、推定部１４は、画像Ｉから推定される商品の尤度（上述したニューロン値に基づく、各商品である推定の確からしさ）を候補となりうる商品ごとに算出する。具体的には、推定部１４は、ニューロン値が最も大きい商品から順に順位をつける。推定部１４は、全ての商品について、商品番号と順位とを対応付けた推定情報を生成する。推定部１４は、推定処理に使用した画像の画像情報及び推定情報を提示部１５に送信する。

（３−４）提示部
提示部１５は、推定部１４で推定された商品の候補（推定部１４が推定した商品の内、尤度の大きいものから並べて所定の順位までに入る商品）を第１候補群として選び出すとともに、選択情報に基づいて商品の候補（推定部１４が候補として選び出さなかった商品の内、訂正回数の大きいものから並べて所定の順位までに入る商品）を第２候補群として選び出して、第１候補群及び第２候補群を提示する。第１候補群及び第２候補群は、商品マスタに含まれる商品で構成され、同じ商品を重複して含まない。第１候補群及び第２候補群のそれぞれは、１以上の商品で構成される。提示部１５で提示する商品の候補は、表示部２６に表示される。

本実施形態の第１候補群は、推定部１４（学習済みモデル）によって画像Ｉから推定される結果（尤度）に基づいて、候補の商品に対して順位をつけたものに基づいて決定される。第１候補群は、推定部１４で推定された商品の順位のうち、所定の順位までの商品を順位が高い順に並べたものである。具体的には、第１候補群は、学習済みモデルが出力する推定の確からしさが大きい順に所定の順位であるｋ位（番目）までの商品を抽出したものである。詳細には、学習済みモデルの出力した各商品Ｓｉに対応するニューロン値ｙｉが大きいものから、１位（番目）、２位（番目）、…、ｑ位（番目）と順位をつけた商品Ｓｉにおいて、１〜ｋ位（番目）までの商品Ｓｉを抽出したものである。

本実施形態の第２候補群は、選択情報のうち、第１候補群で選び出された商品を除いて、訂正回数の多い順に並べたものに基づいて決定される。すなわち、第２候補群は、商品マスタの商品のうち、第１候補群で選び出された商品を除いて、訂正回数の多い順に並べたものである。言い換えると、第２候補群は、第１候補群から漏れた残りの商品について、訂正回数の多い順に並べて抽出したものである。そのため、上述したように、第１候補群と第２候補群とは、同一の商品を重複して含まない。

ここでは、提示部１５は、第２候補群を第１候補群の下位に並べて提示する。この場合、表示部２６は、推定部１４に基づく尤度が高い順に所定個（数）の商品を並べて表示し、その下位に、選択情報に基づく訂正回数の多い順に商品を並べて表示する。ここで、表示部２６に同時に表示可能な商品の数には制限があるため、後述するように、提示部１５により、表示部２６の最初の画面に表示される第２候補群は、訂正回数の多い順に所定数までの商品に限定される。表示部２６の最初の一画面に表示しきれなかった第２候補群については、表示部２６に表示される図示しない次頁送りボタン（領域）を（タッチして）選択することによって表示される次以降の画面に表示される。

また、提示部１５は、表示部２６の最初の一画面に第１候補群の少なくとも一部と、第２候補群の少なくとも一部と、を提示する。すなわち、提示部１５は、表示部２６が第１候補群及び第２候補群を同時に表示できるように提示する。ここでは、表示部２６の最初の一画面に、第１候補群の全てと、第２候補群の上位と、を提示する。

具体的には、上述したように、提示部１５は、推定部１４で推定された商品の順位のうち、１〜ｋ（ｋは任意の整数）番目までを第１候補群とする。また提示部１５は、選択情報記憶領域１２ｃから選択情報を読み出して、選択情報のうち、第１候補群で選び出された商品を除いて順位をつけたものを第２候補群とする。すなわち、提示部１５は、１〜ｋ番目の候補として、第１候補群の商品（尤度が高い順に抽出された１〜ｋ番目の商品）を提示し、（ｋ＋１）番目以降の候補として、第２候補群の商品（第１候補群に含まれない商品を、訂正回数が多い順に抽出した商品）を提示する。

なお、提示部１５は、表示部２６に、第１候補群の商品と、第２候補群の商品とを、区画を分けて表示させることにより提示してもよい。また提示部１５は、表示部２６に、第１候補群の商品と、第２候補群の商品とを、視覚的に異なるように表示させることにより提示してもよい。

比較的正しく推定できる商品の画像（苦手でない商品の画像）に対して学習済みモデルが推定を行う場合、学習済みモデルの推定する商品は、尤度の高い方から特定の順位の商品までは、正解となる可能性が高いが、特定の順位以降の商品については、正解となる可能性が低いことがわかっている。例えば、ある商品群に対して、上位から１番目の商品まで、２番目の商品まで、…、４番目の商品までと順に候補に含めていく場合、含める商品を増やす度に、いずれかが正解である統計的な確率が向上して８０％程度に到達するが、５番目、６番目の商品をさらに候補として加えても、いずれかが正解である統計的な確率がさして８０％から向上しない（飽和する）ことがある。この場合、ｋを４と設定するのが好適である。ｋが４の場合、図３の表示部２６の最初の一画面において、商品Ａ〜Ｄ（４つの商品）は、推定部１４で推定された商品の候補の１〜４番であり、商品Ｅ〜Ｇ（同時に表示できる商品の数から決まり、この場合３つの商品）は、選択情報から商品Ａ〜Ｄを除いた商品の１〜３番である。商品Ａ〜Ｄは第１候補群であり、商品Ｅ〜Ｇは第２候補群である。また、この場合、提示部１５は、商品Ｄと商品Ｅとの間に境界線を設けてもよいし、商品Ａ〜Ｄの色と商品Ｅ〜Ｇの色とを変えるように提示してもよい。なお、選択情報から商品Ａ〜Ｄを除いた商品の４番目以降は、表示部２６の次の画面に表示される。また、ｋの値は、推定する商品群によって変わりうる値であり、商品群によっては４に限らない。

また、比較的誤った推定となりやすい商品の画像（苦手な商品の画像）に対して学習済みモデルが推定を行う場合、学習済みモデルの推定に基づく上位（１〜ｋ番目）の商品に正解となる商品が含まれる可能性は、極めて低くなる。これに対して、第２候補群には、過去に訂正された商品が含まれるため、推定を誤りやすい商品が含まれていることになる。そのため、比較的誤った推定となりやすい商品の画像に対しては、第２候補群に正解が含まれる可能性が高くなる。すなわち、第１候補群と第２候補群とは、補完的な関係となっている。

このように、画像Ｉに含まれる商品によっては、必ずしも第１候補群の商品が第２候補群の商品より正解となる確率が高いとはいえない。ただ、一般に、学習済みモデルが苦手な商品は、全商品に対して極一部（多くとも半分未満）である。そのため、全ての商品について総合して考えた場合には、第１候補群に商品が含まれる統計的な確率は、第２候補群に含まれる統計的な確率よりも高くなる。したがって、上述したように、第１候補群の商品の下に、第２候補群の商品を表示するように構成する。

（３−５）表示部
表示部２６は、提示部１５が提示する第１候補群及び第２候補群を表示する画面を有する。ここでは、表示部２６は、価格決定装置２０のディスプレイである。このため、提示部１５が提示する画像Ｉに対応する商品の候補は、ネットワークＮＷを介して価格決定装置２０の表示部２６に送信される。

表示部２６は、画面を有している。上述したように、表示部２６は、提示部１５の出力（提示）に基づいて、最初の一画面から次の画面に向けて、順に、正しい商品である確率が高い方から候補の商品が並んで表示される。図３では、各画面において、商品の画像Ｉを表示するととともに、提示部１５が提示する商品の候補を表示する。表示部２６の各画面には、画像Ｉに対応する商品の候補が、確率の高い商品が上方にくるように、上下方向に並べて所定数（例えば、第１候補群から４つと、第２候補群から３つとの計７つ）表示される。このように、表示部２６は、仮に提示部１５によって最初の一画面に表示される商品の候補が正しくない場合には、ユーザが正しい商品を選択できるように構成されている。

（４）商品候補提示方法及び会計処理方法
商品候補提示方法及び会計処理方法について、図１〜図７を参照しながら説明する。図７は、価格処理方法を示すフローチャートである。なお、図７に示すフローチャートは、商品価格の決定処理の一例に過ぎず、矛盾のない範囲で適宜変更されてもよい。例えば、図７のフローチャートは、各ステップの順序を限定するものではなく、互いに矛盾しない範囲で各ステップの順序は適宜変更されてもよい。

商品候補提示方法は、上述した商品候補提示システム１０を用いる。会計処理方法は、上述した会計処理システム４０を用いる。

まず、取得部１３は、商品２００の画像Ｉを取得する（ステップＳ１）。このステップＳ１は、例えば以下のように実施される。

商品２００が計量台２４ａに載置されると、制御部２８は撮像部２２を制御して、撮像部２２に商品２００を撮像させる。次いで、ネットワークＮＷを介して、価格決定装置２０の制御ユニット２７が商品候補提示システム１０の制御ユニット１１に画像Ｉを送信する。取得部１３は、送信されてきた画像Ｉを取得する。

次に、推定部１４により、画像Ｉに基づいて商品群から商品の候補を推定する（ステップＳ２）。ここでは、推定部１４は、機械学習による学習済みモデルを用いて、画像Ｉから推定される結果に基づいて、候補の商品に対して順位をつける。

次に、提示部１５により、推定部１４で推定された商品の候補を第１候補群として選び出すとともに、選択情報に基づいて商品の候補を第２候補群として選び出して、第１候補群及び第２候補群を提示する（ステップＳ３）。このステップＳ３は、例えば以下のように実施される。

推定部１４で推定された商品の順位のうち、１〜ｋ（ｋは任意の整数）番目までを第１候補群として選び出す。提示部１５は、記憶部１２から選択情報を読み出して、選択情報のうち、第１候補群で選び出された商品を除いて順位をつけたものを第２候補群として選び出す。そして、１〜ｋ番目の候補を、第１候補群の１〜ｋ番目の商品とし、（ｋ＋１）番目以降の候補を、第２候補群の順位の高い順の商品として提示する。

次に、提示部１５が提示する第１候補群及び第２候補群を表示部２６に表示する（ステップＳ４）。このステップＳ４では、制御ユニット１１は、提示部１５により提示された第１候補群及び第２候補群を、価格決定装置２０の制御ユニット２７に送信する。制御ユニット２７は、商品の候補をユーザに選択させるために表示部２６に表示する。

次に、選択部２９により、商品候補提示システム１０で提示された候補の中から商品を選択する（ステップＳ５）。ここでは、ユーザが、タッチパネル式のディスプレイである表示部２６を操作して、表示部２６に表示されている商品の複数の候補から１の商品が記載された選択部２９を押す。上記ステップＳ４及びＳ５は、例えば以下のように実施される。

表示部２６の最初の一画面に、図３のように、画像Ｉに対応する商品の候補が、確率の高い商品が上方にくるように、上下方向に並べて７つ表示させる。上位４つの商品Ａ〜Ｄは、第１候補群である。５〜７番目の商品Ｅ〜Ｇは、第２候補群である。これを見たユーザは、表示部２６の選択部２９を操作して、商品Ａ〜Ｇの中から正しい商品を選択する。例えば、ユーザは、正しい商品が記載された選択部２９を押すことで、正しい商品を選択する。

また、表示部２６は、仮に推定部１４による推定が全て正しくない場合には、ユーザが正しい商品を選択できるように構成されている。ここでは、最初の一画面に第１候補群及び第２候補群が表示されているので、商品Ａ〜Ｄに正しい商品がない場合には、商品Ｅ〜Ｇの中から正しい商品がないかユーザは確認する。表示部２６において図３の最初の一画面に正しい商品が表示されない場合には、次の画面に、８〜１４番目の商品を表示する。このように、ユーザは、正しい商品が含まれる画面まで、順次画面を繰り出すことが可能である。なお、この例では、表示部２６は、１つの画面に７つの商品を表示しているが、画面に表示する商品の数は限定されるものではない。また、各画面に表示する商品の数は、一定であってもよく、一定でなくてもよい。

ユーザの商品の選択結果は、価格決定装置２０から、ネットワークＮＷを介して制御ユニット１１に送信される。この選択結果に基づいて、上述した選択情報が生成される。詳細には、ユーザが選択した商品が第１候補群に含まれていない場合には、推定部１４での推定に対して訂正を行ったとして、その商品に対して１回の訂正回数をカウントする。

また、価格決定装置２０の計量部２４は、計量台２４ａに置かれた商品２００の重量を計量する（ステップＳ６）。このステップＳ６では、制御ユニット２７は商品２００の重量値を取得する。

次に、選択部２９で選択された商品及び計量部２４で計量された重量に基づき、商品２００の価格を算出する（ステップＳ７）。このステップＳ７では、算出部３１は、記憶部３０から読み出したステップＳ５でユーザが選択した商品の単価（ストアコンピュータ１００から送信されてきた商品の単価）と、ステップＳ６で取得した商品２００の重量値と、を乗じる計算を行い、算出値を商品２００の価格に決定する。最後に、制御ユニット２７により、図４に示すように、ステップＳ７で決定された商品２００の価格を、商品２００の重量値及び単価と共に表示部２６に表示する。

（５）特徴
（５−１）
ある特定の画像から推定部１４で推定される商品の順位において、４位以内に正しい商品が含まれる確率は８０％以上であるという知見を本発明者は得た。なお、この知見は、ある特定の画像から推定される商品の順位についてのものであるが、高確率で正しい商品が含まれる商品数は限られるという知見も得ている。この知見から、推定部１４で推定される商品の上位以外を候補として提示しても正しい商品が含まれる確率は低いので、確率の低い商品の代わりに、過去に選択された商品に基づいて商品の候補を提示することに本発明者は想到した。すなわち、高い確率で正しい商品が含まれる推定部１４での上位の推定結果による第１候補群と、過去に選択された商品に関する選択情報による第２候補群と、の両方を提示することに着想を得て、本実施形態に係る技術的思想を完成させた。

すなわち、本実施形態の商品候補提示システム１０は、撮像された商品の画像Ｉに基づいて、商品の候補をユーザに選択させるために提示する商品候補提示システムである。商品候補提示システム１０は、取得部１３と、推定部１４と、記憶部１２と、提示部１５と、を備える。取得部１３は、商品の画像Ｉを取得する。推定部１４は、画像Ｉに基づいて商品群から商品の候補を推定する。記憶部１２の選択情報記憶領域１２ｃは、商品群から過去に選択された商品を選択情報として記憶する。提示部１５は、推定部１４で推定された商品の候補を第１候補群として選び出すとともに、選択情報に基づいて商品の候補を第２候補群として選び出して、第１候補群及び第２候補群を提示する。

本実施形態の商品候補提示システム１０では、提示部１５によって、画像Ｉに基づいて選び出された第１候補群と、過去に選択された商品に基づいて選び出された第２候補群と、を提示することができる。このため、画像Ｉに基づいて選ばれた第１候補群のみを提示する場合よりも、正しい商品が上位に含まれる可能性を高くすることができる。これにより、推定部１４での推定結果を利用しつつ、第２候補群を提示することによってその推定結果に基づいた適切な商品の選択ができないという問題を減らすことができる。したがって、第１観点に係る商品候補提示システム１０は、商品の選択に要する手間を減らすことができる。

（５−２）
本実施形態の商品候補提示システム１０は、選択情報は、商品群から過去に選択された商品のうち、第１候補群以外から選択された商品に対して、商品ごとにその選択を訂正動作として紐づけてカウントした訂正回数に関する情報である。

ここでは、選択情報として、画像Ｉに基づいて選び出された第１候補群から選択されなかった商品が訂正回数としてカウントされたものである。このため、選択情報は、第１候補群に含まれなかったことによる訂正動作と紐づいたものである。したがって、第１候補群に含まれなくても、第２候補群の上位に含まれることによって、正しい商品が上位に含まれる可能性がより高くなる。

また、学習を重ねても画像Ｉから正しく推定することが難しい商品、学習していない新商品等（以下、「推定部１４の苦手な商品」とも言う）があると、推定部１４で推定する第１候補群に正しい商品の候補が含まれる確率が低くなる。しかし、このような推定部１４の苦手な商品は、第１候補群以外から選択されることが多いので、訂正回数としてカウントされる。このため、訂正回数の多い商品を第２候補群として選び出して提示することにより、推定部１４の苦手な商品を補完することができる。ここでは、推定部１４の苦手な商品と販売数の多い商品とが一致しない場合に、推定部１４の苦手な商品を効果的に補完することができる。

（５−３）
本実施形態の商品候補提示システム１０は、推定部１４は、学習済みモデルによって商品の候補を推定する。学習済みモデルの更新時に、訂正回数がリセットされる。

ここでは、学習済みモデルの更新時に、訂正回数のカウントを開始できる。このため、学習済みモデルの更新に伴って選択情報が作成されるので、実態を反映させた第２候補群を提示できる。

（５−４）
本実施形態の商品候補提示システム１０は、提示部１５は、第２候補群を第１候補群の下位に並べて提示する。

ここでは、正しい商品である可能性（確率）が高い商品から順に提示することができる。このため、商品の選択に要する手間をより減らすことができる。

（５−５）
本実施形態の商品候補提示システム１０は、提示部１５が提示する第１候補群及び第２候補群を表示する画面を有する表示部２６をさらに備える。提示部１５は、表示部２６の最初の一画面に第１候補群の少なくとも一部と、第２候補群の少なくとも一部と、を提示する。

ここでは、表示部２６において、最初の一画面に第１候補群及び第２候補群が表示される。これにより、最初の一画面に正しい商品が含まれる可能性（確率）が高くなるので、ユーザが次の画面を繰り出す手間を省くことができる。

（５−６）
本実施形態の商品候補提示システム１０は、推定部１４は、学習済みモデルによって、画像から推定される結果に基づいて、候補の商品に対して順位をつける。提示部１５は、第１候補群として、所定の順位までの商品を順位が高い順に提示する。

ここでは、学習済みモデルを利用して画像Ｉから順位をつけて商品の候補を推定する場合、上位に正しい商品が含まれている確率が高い。そして、提示部１５は、第１候補群として、推定部１４での上位の推定結果をその順位が高い順に提示するとともに、第２候補群として、過去に選択された商品としての選択情報に基づいて提示する。このため、正しい商品が上位に含まれる可能性がより高くなる。

（５−７）
本実施形態の会計処理システム４０は、撮像部２２と、商品候補提示システム１０と、選択部２９と、計量部２４と、算出部３１と、を備える。撮像部２２は、商品を撮像する。商品候補提示システム１０は、撮像部２２によって撮像された商品の画像Ｉに基づいて、商品の候補を提示する。選択部２９は、商品候補提示システム１０で提示された候補の中から商品を選択する。計量部２４は、商品の重量を計量する。算出部３１は、選択部２９で選択された商品及び計量部２４で計量された重量に基づき、商品の価格を算出する。

本実施形態の会計処理システム４０では、上記商品候補提示システム１０を備えているので、撮像された画像の商品を選択する手間を減らすことができる。このため、効率良く会計を行うことができる。

（６）変形例
以下に上記実施形態の変形例を示す。なお、各変形例の内容の一部又は全部は、互いに矛盾しない範囲で他の変形例の内容と組み合わされてもよい。

（６−１）変形例Ａ
上記実施形態では、選択情報は、訂正回数が多い順に商品が並べられたものであるが、これに限定されない。本変形例では、選択情報は、商品ごとに訂正回数が記録されたものである。例えば、選択情報は、訂正回数と関係なく商品が並べられたテーブルにおいて、各商品に対する訂正回数が記録されている。なお、選択情報には、フラグを立ててもよい。

また本変形例では、提示部１５は、選択情報に基づいて、訂正動作としての訂正回数の多い順に商品を選び出す。また、提示部１５は、総数が直近から所定数以内、または、直近から所定期間内における訂正回数の多い順に商品を選び出す。例えば、提示部１５は、選択情報から、直近から訂正回数の総数が１００回において、訂正回数が多い順に商品を並べ、第１候補群で選び出された商品を除いたものを第２候補群として選び出す。

このように、本変形例の商品候補提示システムは、提示部１５は、選択情報に基づいて、訂正動作としての訂正回数の多い順に商品を選び出す。

ここでは、提示部１５によって、訂正回数の多い順に選び出された商品を第２候補群として提示できる。これにより、第１候補群として選び出されにくい商品が、第２候補群の上位に含まれやすくなる。

また、本変形例の商品提示システムは、商品ごとにその選択を訂正動作として紐づけてカウントした訂正回数に関する選択情報に基づいて、提示部１５は、訂正動作としての訂正回数の多い順に商品を選び出している。このため、訂正回数が増えるたびに訂正回数が多い順に商品を並び替える手間を減らすことができる。

また本変形例の商品候補提示システムは、提示部１５は、総数が直近から所定数以内、または、直近から所定期間内における訂正回数の多い順に商品を選び出す。

ここでは、提示部１５は、選択情報における直近の訂正回数を用いて商品を選び出す。例えば、商品群が、訂正頻度が少ないロングセラー商品と訂正頻度の多い新商品とを含む場合、訂正回数に偏りが生じるが、提示部１５は、訂正頻度の多い新商品を第２候補として上位に選び出す。このため、提示部１５は、実態を反映させた第２候補群を提示できる。

（６−２）変形例Ｂ
上記実施形態では、選択情報は、第１候補群以外から選択された商品を訂正動作として紐づけてカウントした訂正回数に関する情報であるが、これに限定されない。本変形例では、推定部１４が推定した順位において、所定順位よりも下位の商品が選択されると、その商品の訂正回数がカウントされる。所定順位は、任意に設定可能であり、例えば、５位とする。この場合、推定部１４が推定した５位以下の商品が選択されると、その商品は推定部１４での推定に訂正があったとして、訂正回数がカウントされる。一方、推定部が推定した４位以上の商品が選択されると、その商品は推定部１４での推定に訂正がなかったとして、訂正回数がカウントされない。このようにカウントされる訂正回数が多い順に商品を並べることにより、選択情報を生成できる。

（６−３）変形例Ｃ
上記実施形態では、選択情報は、商品群から過去に選択された商品のうち、第１候補群以外から選択された商品に対して、商品ごとにその選択を訂正動作として紐づけてカウントした訂正回数に関する情報であるが、これに限定されない。本変形例では、選択情報は、商品群から過去に選択された商品のうち、選択されたすべての商品に対して、商品ごとにその選択を選択動作として紐づけてカウントした選択回数に関するものである。

具体的には、選択情報は、選択動作としての選択回数の多い順に商品が並べられたものである。すなわち、選択情報は、商品群において販売数が多い順に並べられたものである。選択情報は、総数が直近から所定数以内、または、直近から所定期間内において、選択回数の多い順に商品が並べられたものである。

あるいは、選択情報は、選択動作としての選択回数が商品ごとに記録されたものである。例えば、選択情報は、選択回数と関係なく商品が並べられたテーブルにおいて、各商品に対する選択回数が記録されている。この場合、提示部１５は、選択情報に基づいて、選択動作としての選択回数の多い順に商品を選び出す。また、提示部１５は、総数が直近から所定数以内、または、直近から所定期間内における選択回数の多い順に商品を選び出す。

本変形例では、多く選択された商品が並べられた選択情報に基づいて選び出した商品を第２候補群として提示できる。したがって、第１候補群に含まれなくても、第２候補群の上位に含まれることによって、正しい商品又は選択される頻度の多い商品が上位に含まれる可能性が高くなる。

例えば学習していない新商品がよく売れている場合には、第２候補群により、推定部１４の苦手な商品を補完できる。また、少なくとも、第２候補群により、選択される頻度の多いよく売れている商品を最初の一画面に表示することができる。したがって、学習済みモデルの推定に基づく第１候補群の商品に正しい商品が含まれなかったとしても、あまり売れていない商品を補完する場合と比較して、作業者が次の画面に遷移して正しい商品を選び出す事例が生じにくくなる。そのため、作業者の手間が低減する。

（６−４）変形例Ｄ
上記実施形態では、提示部１５は、第２候補群を第１候補群の下位に並べて提示するが、これに限定されない。提示部１５は、第１候補群及び第２候補群の両方を提示すればよい。本変形例では、提示部１５は、第１候補群の商品と、第２候補群の商品とを交互に並べて提示する。

（６−５）変形例Ｅ
上記実施形態では、第１候補群は、推定部１４で推定された商品の順位のうち、１〜ｋ（ｋは任意の整数）番目の商品としているが、個数で区切らなくてもよい。本変形例では、第１候補群は、ニューロン値が閾値以上の商品とする。このため、推定部でのニューロン値によって、第１候補群の数は異なる。

（６−６）変形例Ｆ
上記実施形態では、推定部１４は、学習済みモデルを利用して、画像Ｉに対応する商品を推定するが、これに限定されない。推定部１４は、学習済みモデルを利用せずにルールベースで画像Ｉから商品を推定してもよい。例えば、制御ユニット１１では、画像と商品との関係が予めプログラムで記述され、推定部１４はこのプログラムに基づいて画像Ｉに対応する商品を推定してもよい。

（６−７）変形例Ｇ
上述した実施形態では、商品候補提示システム１０は、ネットワークＮＷを介してストアコンピュータ１００と通信可能に構成されているが、ストアコンピュータ１００は省略されてもよい。

また、上述した実施形態では、商品候補提示システム１０の制御ユニット１１は、商品群から過去に選択された商品である選択情報をストアコンピュータ１００から取得するように構成されているが、これに限定されない。本変形例では、制御ユニット１１は、選択情報を価格決定装置２０から取得するように構成されている。

具体的には、価格決定装置２０の制御ユニット２７は、選択部２９で選択された商品を、ネットワークＮＷを介して商品候補提示システム１０の制御ユニット１１に送信する。商品候補提示システム１０の記憶部１２は、商品群から過去に選択された商品を選択情報として記憶する。価格決定装置２０は、所定のタイミングで選択情報を送信する。また、価格決定装置２０は、制御ユニット１１からの送信要求に応じて選択情報を送信してもよい。

このように、本変形例の商品候補提示システムは、会計処理システム４０が配置される店舗内で選択された情報に基づいて、商品の候補を提示する。

（６−８）変形例Ｈ
上記実施形態では、推定部１４は、商品マスタに登録されている全ての商品群から、撮像された商品の画像に基づいて、商品の候補を推定している。商品群には、欠品等の理由で取り扱われていない商品が含まれる。本変形例では、推定部は、取り扱いの無い商品を含まない商品群（取り扱いのある商品からなる商品群）から、撮像された商品の画像Ｉに基づいて、商品の候補を推定する。

具体的には、商品マスタ記憶領域１２ａは、取り扱いのある商品を集めた商品マスタを記憶する。取り扱いのある商品とは、商品候補提示システム１０の動作時に、商品候補提示システム１０が使用される店舗等において、販売・提供している商品や、在庫が有る商品等を意味する。なお、販売・提供している商品とは、より具体的には、販売・提供しているとして店舗で管理されている商品である。また、在庫が有る商品とは、より具体的には、在庫が有るとして管理されている商品である。

例えば、ストアコンピュータ１００は、ネットワークＮＷを介して、制御ユニット１１に対して各商品について取り扱いの有無に関する情報（以下、「取扱商品情報」とも言う）を送信するように構成される。取扱商品情報は、要するに、取り扱いのある商品及び取り扱いの無い商品に関する情報である。ストアコンピュータ１００は、所定のタイミングで取扱商品情報を送信する。また、ストアコンピュータ１００は、制御ユニット１１からの送信要求に応じて取扱商品情報を送信してもよい。制御ユニット１１は、価格決定装置２０から送信されてきたこれらの情報に基づき、記憶部１２の商品マスタ記憶領域１２ａに記憶される商品マスタを書き換える。

なお、取扱商品情報は、ストアコンピュータ１００ではなく、価格決定装置２０から制御ユニット１１に送信されてもよい。例えば、スーパーマーケット等の店舗の店員等は、タッチパネル式のディスプレイである表示部２６等の入力装置に対し、その日に取り扱われる（販売・提供される）商品を価格決定装置２０に入力する。また、例えば、店員等は、在庫切れになった商品を、表示部２６等の入力装置に対し、価格決定装置２０に適宜入力する。価格決定装置２０は、入力されたこれらの情報を、制御ユニット１１に送信する。制御ユニット１１は、価格決定装置２０から送信されてきたこれらの情報に基づき、記憶部１２の商品マスタ記憶領域１２ａに記憶される商品マスタを書き換える。

また、商品マスタの内容が、記憶部３０と商品マスタ記憶領域１２ａとの間で、販売商品の追加又は廃止に伴う不一致が生じている場合、推定部１４を、記憶部３０に記憶される取り扱いのある商品を集めた商品マスタ（商品マスタ記憶領域１２ａの商品マスタとの差分）を取得するように構成してもよい。

本変形例の商品候補提示システム及び会計処理システムによれば、推定部１４により、取り扱いの無い商品が画像Ｉに対応する商品として推定される可能性が低減される。したがって、推定部で画像Ｉから商品を精度良く推定できるので、第１候補群に正しい商品が含まれる可能性を向上できる。

（６−９）変形例Ｉ
上述した実施形態では、会計処理システム４０は、商品２００を計量し、商品２００の重量に商品２００の単価を乗ずることで商品２００の価格を決定するが、これに限定されない。会計処理システムの価格決定装置は、商品２００の計量機能を有さなくてもよい。本変形例の会計処理システムは、商品２００の選択結果と、ストアコンピュータ１００から取得される商品の価格の情報とに基づき、商品２００の価格を決定する。

１０ ：商品候補提示システム
１２ ：記憶部
１３ ：取得部
１４ ：推定部
１５ ：提示部
２０ ：価格決定装置
２２ ：撮像部
２４ ：計量部
２６ ：表示部
２９ ：選択部
３１ ：算出部
４０ ：会計処理システム
２００ ：商品
Ｉ ：画像

特許第６１７７０６８号

Claims (10)

1. 撮像された商品の画像に基づいて、前記商品の候補をユーザに選択させるために提示する商品候補提示システムであって、
   前記商品の画像を取得する取得部と、
   前記画像に基づいて商品群から前記商品の候補を推定する推定部と、
   商品群から過去に選択された商品を選択情報として記憶する記憶部と、
   前記推定部で推定された前記商品の候補を第１候補群として選び出すとともに、前記選択情報に基づいて前記商品の候補を第２候補群として選び出して、前記第１候補群及び前記第２候補群を提示する提示部と、
   を備える、
   商品候補提示システム。
2. 前記選択情報は、商品群から過去に選択された商品のうち、前記第１候補群以外から選択された商品に対して、商品ごとにその選択を訂正動作として紐づけてカウントした訂正回数に関する情報である、
   請求項１に記載の商品候補提示システム。
3. 前記提示部は、前記選択情報に基づいて、前記訂正動作としての訂正回数の多い順に商品を選び出す、
   請求項２に記載の商品候補提示システム。
4. 前記提示部は、総数が直近から所定数以内、または、直近から所定期間内における前記訂正回数の多い順に商品を選び出す、
   請求項３に記載の商品候補提示システム。
5. 前記推定部は、学習済みモデルによって前記商品の候補を推定し、
   学習済みモデルの更新時に、前記訂正回数がリセットされる、
   請求項３または４に記載の商品候補提示システム。
6. 前記選択情報は、商品群から過去に選択された商品のうち、選択されたすべての商品に対して、商品ごとにその選択を選択動作として紐づけてカウントした選択回数に関する情報である、
   請求項１に記載の商品候補提示システム。
7. 前記提示部は、前記第２候補群を前記第１候補群の下位に並べて提示する、
   請求項１〜６のいずれか１項に記載の商品候補提示システム。
8. 前記提示部が提示する前記第１候補群及び前記第２候補群を表示する画面を有する表示部をさらに備え、
   前記提示部は、前記表示部の最初の一画面に前記第１候補群の少なくとも一部と、前記第２候補群の少なくとも一部と、を提示する、
   請求項１〜７のいずれか１項に記載の商品候補提示システム。
9. 前記推定部は、学習済みモデルによって、前記画像から推定される結果に基づいて、候補の商品に対して順位をつけ、
   前記提示部は、前記第１候補群として、所定の順位までの商品を順位が高い順に提示する、
   請求項１〜８のいずれか１項に記載の商品候補提示システム。
10. 前記商品を撮像する撮像部と、
    前記撮像部によって撮像された前記商品の画像に基づいて、前記商品の候補を提示する請求項１〜９のいずれか１項に記載の商品候補提示システムと、
    前記商品候補提示システムで提示された候補の中から前記商品を選択する選択部と、
    前記商品の重量を計量する計量部と、
    前記選択部で選択された前記商品及び前記計量部で計量された重量に基づき、前記商品の価格を算出する算出部と、
    を備える、
    会計処理システム。

Images