JP2018169752A - 商品認識システム、学習済みモデル、及び商品認識方法 - Google Patents

Abstract

【課題】商品の特定に要する時間を低減すること。
【解決手段】商品認識システム（１００）は、入力部（１１）と、特定部（１２）と、出力部（１３）と、を備える。入力部（１１）には、対象商品の画像を含む画像情報と、区分情報と、が入力される。区分情報は、少なくとも商品の重量情報により区分けされた複数の商品群（Ｇ１０）のうち対象商品の属する商品群（Ｇ１０）を選択するための情報である。特定部（１２）は、画像情報及び区分情報に基づいて、対象商品の属する商品群（Ｇ１０）から対象商品を特定する。出力部（１３）は、特定した対象商品の識別情報を出力する。
【選択図】図１

Description

本発明は、一般に商品認識システム、学習済みモデル、及び商品認識方法に関し、より詳細には、入力された対象商品の画像を含む画像情報に基づいて対象商品を特定する商品認識システム、学習済みモデル、及び商品認識方法に関する。

特許文献１には、物体（商品）の種別等を認識する情報処理装置（商品認識システム）が開示されている。特許文献１に記載の情報処理装置は、撮像手段と、認識手段とを備える。撮像手段は、撮像部にかざされた物体を撮像する。認識手段は、撮像された物体の特徴量と、予め辞書に登録された各商品の照合用特徴量とを比較し、その類似度に基づいて各商品の中から物体の候補となる商品候補を認識（特定）する。

特開２０１６−３８７９２号公報

しかしながら、特許文献１に記載の商品認識システムでは、特定対象となる商品の数が増えるにつれて、商品の特定に要する時間が増大するという問題があった。

本発明は、上記の点に鑑みてなされており、商品の特定に要する時間を低減することのできる商品認識システム、学習済みモデル、及び商品認識方法を提供することを目的とする。

第１の態様に係る商品認識システムは、入力部と、特定部と、出力部と、を備える。前記入力部には、対象商品の画像を含む画像情報と、区分情報と、が入力される。前記区分情報は、少なくとも商品の重量情報により区分けされた複数の商品群のうち前記対象商品の属する商品群を選択するための情報である。前記特定部は、前記画像情報及び前記区分情報に基づいて、前記対象商品の属する商品群から前記対象商品を特定する。前記出力部は、特定した前記対象商品の識別情報を出力する。

第２の態様に係る商品認識システムでは、第１の態様において、前記特定部は、前記画像情報と、前記区分情報と、前記画像情報を入力データとして機械学習することで得られた予測モデルとを用いて、前記対象商品を特定するように構成されている。

第３の態様に係る商品認識システムでは、第２の態様において、前記特定部は、選択処理と、特定処理と、を実行するように構成されている。前記選択処理は、前記区分情報のうち前記重量情報に基づいて前記対象商品の属する商品群を選択する処理である。前記特定処理は、前記選択処理で選択された商品群に対応する前記予測モデルを用いて前記対象商品を特定する処理である。

第４の態様に係る商品認識システムでは、第３の態様において、前記予測モデルは複数である。前記複数の予測モデルは、前記複数の商品群にそれぞれ割り当てられており、対応する商品群に属する商品の画像を入力データとして機械学習可能に構成されている。

第５の態様に係る商品認識システムでは、第３又は第４の態様において、前記対象商品の一部は、前記複数の商品群のうちの２以上の商品群に紐付けられている。

第６の態様に係る商品認識システムでは、第５の態様において、前記特定部は、前記２以上の商品群に紐付けられた対象商品については、前記２以上の商品群ごとに対象商品の候補を特定するように構成されている。前記出力部は、前記特定部で特定された２以上の対象商品の候補のうち前記重量情報により選択される対象商品の前記識別情報を出力するように構成されている。

第７の態様に係る商品認識システムは、第１〜第６のいずれかの態様において、計測装置を更に備える。前記計測装置は、載置部と、計測部と、を有する。前記載置部には、前記対象商品が載せられる。前記計測部は、前記載置部に載せられた前記対象商品の重量を計測し、計測した前記対象商品の重量を前記重量情報として出力する。前記計測部は、前記載置部に載せられた前記対象商品の重量を複数の計測点にて計測するように構成されている。

第８の態様に係る商品認識システムでは、第７の態様において、前記対象商品は複数である。前記計測部は、前記載置部に載せられた前記複数の対象商品の重量を個別に計測するように構成されている。

第９の態様に係る商品認識システムでは、第７又は第８の態様において、前記計測部は、前記載置部に加わる圧力に基づいて前記対象商品の重量を計測するように構成されている。

第１０の態様に係る学習済みモデルは、ニューラルネットワークの重み付け係数に基づく演算を行い、前記ニューラルネットワークの出力層から対象商品を特定する情報を出力するように、コンピュータシステムを機能させるためのモデルである。前記演算は、前記ニューラルネットワークの入力層に入力された画像情報に対して行われる。前記重み付け係数は、少なくとも前記対象商品の重量情報により区分けされた複数の商品群のうち前記対象商品の属する商品群における商品の画像を入力データとした学習により得られる。

第１１の態様に係る商品認識方法は、認識処理と、出力処理と、を含む。前記認識処理は、対象商品の画像を含む画像情報、及び区分情報に基づいて、前記対象商品の属する商品群から前記対象商品を特定する処理である。前記区分情報は、少なくとも商品の重量情報により区分けされた複数の商品群のうち前記対象商品の属する商品群を選択するための情報である。前記出力処理は、前記認識処理により特定した前記対象商品の識別情報を出力する処理である。

本発明は、商品の特定に要する時間を低減することができる、という利点がある。

図１は、本発明の一実施形態に係る商品認識システムのブロック図である。 図２は、同上の商品認識システムにおける認識装置、撮像装置、及び計測装置の概略図である。 図３は、同上の計測装置の載置部を示す概略平面図である。 図４は、同上の商品認識システムにおける特定部の構成を示すブロック図である。 図５は、同上の商品認識システムにおける予測ブロックのニューラルネットワークの概略図である。 図６は、同上の商品認識システムにおける認識モードでの動作説明図である。

（１）概要
以下、実施形態に係る商品認識システム１００の概要について図１及び図２を用いて説明する。本実施形態の商品認識システム１００は、例えばコンビニエンスストアなどの店舗に設置されている、いわゆる無人レジに採用される。本実施形態の商品認識システム１００は、対象商品の画像を含む画像情報が入力されると、入力された画像情報の表す対象商品を特定し、特定した対象商品の識別情報を出力するシステムである。ここで、「対象商品」とは、顧客が購入したい商品であり、特定する対象の商品という意味である。画像情報は、例えば撮像装置２で対象商品を撮像することにより得られる。例えば、商品認識システム１００は、撮像装置２により撮像された画像にトマトが含まれている場合、対象商品がトマトであると特定し、トマトの識別情報を出力する。識別情報は、商品を識別するための情報（商品識別コード）であって、例えば日本国で用いられているＪＡＮ（Japanese Article Number）コード等である。この種の商品識別コードには、ＪＡＮコードの他、欧州等で用いられているＥＡＮ（European Article Number）コード、及び米国等で用いられているＵＰＣ（Universal Product Code）等がある。

一例として、商品認識システム１００は、対象商品の識別情報を、例えばＰＯＳ（Point Of Sales）システムなどの販売システムに送信する。販売システムは、商品の販売処理を行うためのシステムである。商品認識システム１００及び販売システムが導入された店舗では、顧客は、例えば撮像装置２の撮像領域に購入したい商品（対象商品）を置いた後、販売システムにて対象商品の精算等を行う。このとき、商品認識システム１００は、撮像装置２で得られた画像情報から対象商品を特定し、特定した対象商品の識別情報を販売システムに送信する。これにより、販売システムでの対象商品の精算等が可能になる。したがって、顧客が店舗で対象商品を購入する過程において、店員の介入が必須でなくなる。その結果、商品認識システム１００によれば、顧客の買物に掛かる店員及び顧客の手間を軽減することができる。

本実施形態の商品認識システム１００は、入力部１１と、特定部１２と、出力部１３と、を備えている。入力部１１には、対象商品の画像を含む画像情報と、区分情報と、が入力される。区分情報は、少なくとも商品の重量情報により区分けされた複数の商品群Ｇ１０のうち対象商品の属する商品群Ｇ１０を選択するための情報である。本実施形態では、商品認識システム１００が扱う全ての商品は、商品の重量により複数の商品群Ｇ１０に区分けされている。つまり、対象商品は、対象商品の重量に応じて属する商品群Ｇ１０が異なってくる。

特定部１２は、画像情報及び区分情報に基づいて、対象商品の属する商品群Ｇ１０から対象商品を特定するように構成されている。言い換えれば、特定部１２は、画像情報のみに基づいて全ての商品から対象商品を特定するように構成されてはいない。そして、出力部１３は、特定した対象商品の識別情報を出力するように構成されている。

つまり、本実施形態の商品認識システム１００は、全ての商品から対象商品を特定するのではなく、全ての商品群Ｇ１０のうちの一部の商品群Ｇ１０から対象商品を特定する。したがって、本実施形態の商品認識システム１００は、全ての商品から対象商品を特定する場合と比較して、商品の特定に要する時間を低減することができる。

（２）詳細
以下、本実施形態の商品認識システム１００について図１〜図６を用いて詳細に説明する。本実施形態の商品認識システム１００は、図１に示すように、認識装置１と、撮像装置２と、計測装置３と、を備えている。認識装置１は、入力部１１と、特定部１２と、出力部１３と、を備えている。本実施形態の商品認識システム１００では、図２に示すように、認識装置１、撮像装置２、及び計測装置３は１つの装置として一体に構成されている。

撮像装置２は、例えばＣＣＤ（Charge-Coupled Device）センサ、又はＣＭＯＳ（Complementary MOS）センサ等を備えて構成されている。撮像装置２は、計測装置３の載置部３１に置かれた対象商品を撮像し、撮像した対象商品の画像データ（背景画像のデータを含む）を含む画像信号を認識装置１に出力する。本実施形態では、撮像装置２は、図２に示すように、載置部３１の上方から載置部３１を俯瞰する位置にある。そして、撮像装置２の撮像領域は、載置部３１における対象商品が置かれる平面全体である。

計測装置３は、載置部３１と、計測部３２と、を有している。載置部３１には、対象商品が載せられる。計測部３２は、載置部３１に載せられた対象商品の重量を計測し、計測した対象商品の重量を重量情報として出力するように構成されている。そして、本実施形態では、計測部３２は、載置部３１に載せられた対象商品の重量を複数の計測点４３にて計測するように構成されている。本実施形態では、載置部３１は、感圧型のセンサシート４で構成されている。このセンサシート４では、図３に示すように、複数の行電極４１と、複数の列電極４２とが格子状（グリッド状）に配列されている。そして、このセンサシートにおいて、行電極４１と列電極４２との交点が計測点４３となる。つまり、このセンサシート４は、複数の計測点４３を有している。したがって、載置部３１に対象商品が載せられると、複数の計測点４３に圧力が加わる。計測部３２は、複数の計測点４３の圧力分布に基づいて、対象商品の重量を計測する。

つまり、本実施形態では、計測部３２は、載置部３１に加わる圧力に基づいて、対象商品の重量を計測するように構成されている。また、本実施形態では、計測部３２は、対象商品が複数である場合、複数の計測点４３の圧力分布に基づいて、載置部３１に載せられた複数の対象商品の重量を個別に計測するように構成されている。

例えば、図３に示す例では、センサシート４における第１領域Ａ１、第２領域Ａ２、及び第３領域Ａ３に、それぞれ第１商品Ｐ１、第２商品Ｐ２、及び第３商品Ｐ３が置かれている。この場合、計測部３２は、第１領域Ａ１に位置する複数の計測点４３での圧力分布に基づいて、第１商品Ｐ１の重量を計測する。また、計測部３２は、第２領域Ａ２に位置する複数の計測点４３での圧力分布に基づいて、第２商品Ｐ２の重量を計測する。更に、計測部３２は、第３領域Ａ３に位置する複数の計測点４３での圧力分布に基づいて、第３商品Ｐ３の重量を計測する。

入力部１１は、撮像装置２からの画像信号、及び計測装置３からの重量信号が入力される入力インタフェースである。画像信号は、撮像装置２で撮像された対象商品の画像を含む画像情報を含む。ここでは、画像情報は、対象商品の画像に関するデータだけでなく、対象商品の周囲の背景画像に関するデータも含む。また、画像情報は、対象商品が１つである場合は、１つの対象商品の画像に関するデータを含み、対象商品が複数である場合は、複数の対象商品の画像に関するデータを含む。重量信号は、計測装置３で計測された対象商品の重量情報を含む。ここでは、重量情報は、対象商品の重量に関するデータである。重量信号は、対象商品が１つである場合は、１つの対象商品の重量情報を含み、対象商品が複数である場合は、複数の対象商品の各々の重量情報を含む。本実施形態では、この対象商品の重量情報が区分情報に相当する。入力部１１は、入力された画像情報を、後述する特定部１２の予測ブロック１２２に出力する。また、入力部１１は、入力された対象商品の重量情報を、後述する特定部１２の選択ブロック１２１に出力する。

特定部１２は、例えば、ＣＰＵ（Central Processing Unit）及びメモリを主構成とするコンピュータシステムにて構成されている。そして、ＣＰＵがメモリに格納されているプログラムを実行することにより、コンピュータシステムが特定部１２として機能する。プログラムは、ここでは特定部１２のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて提供されてもよい。

特定部１２は、画像情報と、区分情報（本実施形態では、対象商品の重量情報）と、予測モデル（本実施形態では、後述するニューラルネットワークＮ１の重み付け係数）とを用いて、対象商品を特定するように構成されている。予測モデルは、画像情報を入力データとして機械学習（ここでは、ディープラーニング技術により機械学習）することで得られる。言い換えれば、予測モデルは、商品の画像を含む画像情報から機械学習アルゴリズムによって生成される学習済みモデルである。

特定部１２は、図４に示すように、選択ブロック１２１と、予測ブロック１２２と、学習ブロック１２３と、を有している。選択ブロック１２１は、入力部１１に入力された対象商品の重量情報に基づいて、複数の商品群Ｇ１０から対象商品の属する商品群Ｇ１０を選択するように構成されている。既に述べたように、商品認識システム１００が扱う全ての商品は、商品の重量により複数の商品群Ｇ１０に区分けされている。

本実施形態では、商品認識システム１００が扱う全ての商品は、７つの商品群Ｇ１〜Ｇ７に区分けされている。第１商品群Ｇ１には、５０［ｇ］未満の重量の商品が属し、第２商品群Ｇ２には、３０［ｇ］以上１００［ｇ］未満の重量の商品が属し、第３商品群Ｇ３には、７０［ｇ］以上２００［ｇ］未満の重量の商品が属している。第４商品群Ｇ４には、１５０［ｇ］以上５００［ｇ］未満の重量の商品が属し、第５商品群Ｇ５には、４００［ｇ］以上１０００［ｇ］未満の重量の商品が属し、第６商品群Ｇ６には、８００［ｇ］以上２０００［ｇ］未満の重量の商品が属している。また、第７商品群Ｇ７には、１５００［ｇ］以上の重量の商品が属している。

また、選択ブロック１２１は、複数の商品群Ｇ１０ごとに、予測ブロック１２２のニューラルネットワークＮ１の重み付け係数を記憶している。そして、選択ブロック１２１は、対象商品の属する商品群Ｇ１０に対応する重み付け係数を読み出し、読み出した重み付け係数をニューラルネットワークＮ１に与える。例えば、対象商品の重量が３００［ｇ］である場合、選択ブロック１２１は、第４商品群Ｇ４に対応する重み付け係数を読み出し、読み出した重み付け係数をニューラルネットワークＮ１に与える。

予測ブロック１２２は、図５に示すように、１つの入力層Ｌ１と、複数の中間層Ｌ２と、１つの出力層Ｌ３とを有するニューラルネットワークＮ１で構成されている。入力層Ｌ１、複数の中間層Ｌ２、及び出力層Ｌ３は、いずれも複数のニューロン（ノード）ＮＥ１で構成されている。また、複数の中間層Ｌ２及び出力層Ｌ３の各々のニューロンＮＥ１は、１以上前の層の複数のニューロンＮＥ１と結合している。更に、複数の中間層Ｌ２及び出力層Ｌ３の各々のニューロンＮＥ１への入力値は、１以上前の層の複数のニューロンＮＥ１の各々の出力値に、それぞれ固有の重み付け係数が乗算された値の総和である。

ニューラルネットワークＮ１の入力層Ｌ１には、入力部１１に入力された画像情報を所定のサイズに正規化した画像情報が入力される。正規化処理は、入力部１１で実行されてもよいし、特定部１２で実行されてもよい。ニューラルネットワークＮ１の出力層Ｌ３は、基本的に、商品認識システム１００が扱う対象の商品に対応する複数のニューロンＮＥ１を含んでいる。具体的には、出力層Ｌ３のニューロンＮＥ１の数は、各商品群Ｇ１０に属する商品の数のうち最大の数以上であればよい。例えば、複数の商品群Ｇ１０のうち第４商品群Ｇ１０に属する商品の数が最も多く、その数が「５５」であったとする。この場合、出力層Ｌ３のニューロンＮＥ１の数は、「５５」であってもよいし、新たに追加される商品の数を想定して、例えば「６０」であってもよい。出力層Ｌ３では、複数のニューロンＮＥ１のうち、入力層Ｌ１に入力された画像情報に応じた１以上のニューロンＮＥ１が発火する（つまり、閾値を超える）。そして、出力層Ｌ３における複数のニューロンＮＥ１の出力値が、出力部１３に対象商品の特定情報として出力される。

ここで、ニューラルネットワークＮ１の重み付け係数は、選択ブロック１２１から与えられた重み付け係数に設定される。言い換えれば、ニューラルネットワークＮ１の重み付け係数は、複数の商品群Ｇ１０のうち、選択ブロック１２１にて選択された対象商品が属する商品群Ｇ１０に対応する重み付け係数である。このため、ニューラルネットワークＮ１の出力層Ｌ３にて発火するニューロンＮＥ１は、全ての商品のうちの１以上の商品に対応するニューロンＮＥ１ではなく、選択された商品群Ｇ１０に属する複数の商品のうちの１以上の商品に対応するニューロンＮＥ１である。

学習ブロック１２３は、予測ブロック１２２での対象商品の特定情報に応じて、対象商品の属する商品群Ｇ１０の重み付け係数を更新する。具体的には、学習ブロック１２３には、ニューラルネットワークＮ１の出力層Ｌ３における複数のニューロンＮＥ１の出力値と、教師データとが入力される。ここで、教師データは、商品の画像に紐付けられた商品を表すデータ（つまり、正解を表すデータ）であり、人の手により画像情報に含められる。例えば、入力部１１に入力される画像情報に商品としてパンの画像が含まれる場合、この画像情報に対応する教師データは、商品がパンであることを表すデータである。

学習ブロック１２３は、例えばこれらの入力データを用いて損失関数を算出する。そして、学習ブロック１２３は、例えば確率的勾配効果法などを用いて、算出した損失関数が最小値となる重み付け係数を算出し、算出した重み付け係数を選択ブロック１２１に与える。選択ブロック１２１では、対象商品が属する商品群Ｇ１０の現在の重み付け係数を、学習ブロック１２３から与えられた重み付け係数に更新する。このようにして、学習ブロック１２３は、予測ブロック１２２での対象商品の特定の精度が向上するように、対象商品が属する商品群Ｇ１０の重み付け係数の最適化を図る。

上述のように、本実施形態では、特定部１２は、選択ブロック１２１による選択処理と、予測ブロック１２２による特定処理と、を実行するように構成されている。選択処理は、区分情報のうち重量情報に基づいて対象商品の属する商品群Ｇ１０を選択する処理である。特定処理は、選択処理で選択された商品群Ｇ１０に対応する予測モデルを用いて対象商品を特定する処理である。

そして、本実施形態では、予測モデルは、複数である。ここで、複数の予測モデルは、いずれもニューラルネットワークＮ１の重み付け係数であり、それぞれ互いに異なる重み付け係数を有している。複数の予測モデルは、複数の商品群Ｇ１０にそれぞれ割り当てられている。また、複数の予測モデルは、それぞれ対応する商品群Ｇ１０に属する商品の画像を入力データとして機械学習可能に構成されている。

本実施形態では、対象商品の一部は、複数の商品群Ｇ１０のうち２以上の商品群Ｇ１０に紐付けられる。具体的には、第１商品群Ｇ１に属する対象商品のうち３０［ｇ］以上５０［ｇ］以下の重量の対象商品は、第２商品群Ｇ２にも属している。つまり、この対象商品は、２つの商品群Ｇ１０（第１商品群Ｇ１及び第２商品群Ｇ２）に紐付けられるといえる。本実施形態では、上記の対象商品以外にも、７０［ｇ］以上１００［ｇ］以下の重量の対象商品が第２商品群Ｇ２及び第３商品群Ｇ３に属し、１５０［ｇ］以上２００［ｇ］以下の重量の対象商品が第３商品群Ｇ３及び第４商品群Ｇ４に属している。また、４００［ｇ］以上５００［ｇ］以下の重量の対象商品が第４商品群Ｇ４及び第５商品群Ｇ５に属し、８００［ｇ］以上１０００［ｇ］以下の重量の対象商品が第５商品群Ｇ５及び第６商品群Ｇ６に属している。更に、１５００［ｇ］以上２０００［ｇ］以下の重量の対象商品は、第６商品群Ｇ６及び第７商品群Ｇ７に属している。

そして、特定部１２は、２以上の商品群Ｇ１０に紐付けられた対象商品については、２以上の商品群Ｇ１０ごとに対象商品の候補を特定するように構成されている。例えば、商品の重量が４０［ｇ］である場合、特定部１２は、第１商品群Ｇ１に対応する予測モデルを用いて対象商品の候補を特定し、かつ、第２商品群Ｇ２に対応する予測モデルを用いて対象商品の候補を特定する。つまり、特定部１２は、第１商品群Ｇ１に属する対象商品についての特定情報と、第２商品群Ｇ２に属する対象商品についての特定情報とを出力部１３に出力する。

出力部１３は、例えばデコーダであり、特定部１２から対象商品の特定情報が入力されると、特定情報に応じた対象商品の識別情報を出力する。具体的には、出力部１３は、ニューラルネットワークＮ１の出力層Ｌ３の複数のニューロンＮＥ１のうち、最も出力値の大きい（つまり、特定の度合いが最も高い）ニューロンＮＥ１に対応する対象商品の識別情報を出力する。本実施形態では、出力部１３は、識別情報として商品識別コード（ＪＡＮコード、ＥＡＮコード、及びＵＰＣ等）を、例えば販売システムに対して出力する。

ここで、出力部１３は、特定部１２から２以上の対象商品の特定情報が入力された場合、重量情報に基づいて、これらの特定情報から１の特定情報を選択する。そして、出力部１３は、選択した１の特定情報に基づいて、対象商品の識別情報を出力する。つまり、出力部１３は、特定部１２で特定された２以上の対象商品の候補のうち重量情報により選択される対象商品の識別情報を出力するように構成されている。

例えば、対象商品の重量が４５０［ｇ］である場合、特定部１２は、第４商品群Ｇ４から対象商品を特定した特定情報と、第５商品群Ｇ５から対象商品を特定した特定情報との２つの特定情報を出力する。ここで、第４商品群Ｇ４から特定された対象商品の重量が３５０［ｇ］であり、第５商品群Ｇ５から特定された対象商品の重量が４８０［ｇ］である場合、出力部１３は、対象商品の重量に近い第５商品群Ｇ５から特定された対象商品の識別情報を出力する。

（３）動作
以下、本実施形態の商品認識システム１００の動作について説明する。本実施形態の商品認識システム１００は、認識モードと、学習モードとの２つの動作モードを有している。認識モードは、特定部１２の選択ブロック１２１及び予測ブロック１２２を用いて、入力部１１に入力された画像情報に基づいて対象商品を特定（つまり、認識）するモードである。学習モードは、特定部１２の選択ブロック１２１、予測ブロック１２２、及び学習ブロック１２３を用いて、入力部１１に入力される教師データを含む画像情報から機械学習し、ニューラルネットワークＮ１の重み付け係数を設定するモードである。学習モードでは、ニューラルネットワークＮ１の重み付け係数は、複数の商品群Ｇ１０ごとに設定される。

（３．１）学習モード
まず、学習モードについて説明する。学習モードは、例えば学習用のセンターで実行される。つまり、認識モードを実行する場所（例えば、コンビニエンスストアなどの店舗）と、学習モードを実行する場所とは互いに異なっていてもよい。まず、第１商品群Ｇ１について予測モデル（ニューラルネットワークＮ１の重み付け係数）の学習を行う。具体的には、第１商品群Ｇ１に対応するニューラルネットワークＮ１の重み付け係数を初期化し、第１商品群Ｇ１に属する全ての商品の画像情報（教師データを含む）を、予測ブロック１２２に入力する。このとき、正規化された画像における商品の位置、大きさ、角度を変更した多数の画像情報を、商品ごとに用意するのが好ましい。以下では、予測モデルの学習に用いる画像情報を「学習用の画像情報」という。

ニューラルネットワークＮ１の入力層Ｌ１には、学習用の画像情報が入力される。そして、予測モデルは、入力層Ｌ１に入力された学習用の画像情報から機械学習することで、商品を特定するために必要な商品の画像の特徴量を学習する。つまり、対象商品の特定に必要な商品の画像の特徴量は、人が与える特徴量ではなく、予測モデルが学習することにより自発的に取得した特徴量である。

予測モデルの学習が一旦完了すると、次に、テスト用の画像情報を予測ブロック１２２に入力する。ここで、「テスト用の画像情報」とは、予測モデルの学習における商品群Ｇ１０に属する商品の画像を含む画像情報であるが、学習用の画像情報とは異なる情報である。このテスト用の画像情報の入力に対して、ニューラルネットワークＮ１が所定以上の精度で商品を特定できるか否かを試験する。

複数のテスト用画像を用いて試験を行い、予測ブロック１２２が所定以上の精度で商品を特定できない場合は、更に多くの学習用の画像情報を入力部１１に入力して予測モデルの再学習を実行し、その後、複数のテスト用の画像情報にて再試験を行う。試験又は再試験を行い、予測ブロック１２２が所定以上の精度で商品を特定できる場合は、第１商品群Ｇ１についての予測モデルの学習を終了し、次に第２商品群Ｇ２について予測モデルの学習を行う。

以下、上記と同じ手順を踏むことにより、全ての商品群Ｇ１０の予測モデルについて学習を行う。学習モードにおいては、予測モデルの学習の開始及び終了のトリガ、学習用の画像情報、及びテスト用の画像情報は、人の手により商品認識システム１００に与えられる。学習モードで学習が完了した予測モデルは、学習済みモデルとして、複数の商品群Ｇ１０ごとに選択ブロック１２１に記憶される。

（３．２）認識モード
次に、認識モードについて説明する。まず、顧客は、購入したい商品（対象商品）を計測装置３の載置部３１に置く。すると、計測装置３の計測部３２により、載置部３１に置かれた対象商品の重量が計測される。そして、対象商品の重量情報が入力部１１に入力される。また、撮像装置２により、載置部３１に置かれた対象商品を含む画像が撮像される。そして、画像情報が入力部１１に入力される。撮像装置２による撮像、及び計測部３２による計測は、いずれも対象商品を載置部３１に置くことをトリガとして実行されてもよいし、例えば押釦スイッチを押すなどの顧客による操作をトリガとして実行されてもよい。

図６に示すように、入力部１１に入力された対象商品の重量情報は、特定部１２の選択ブロック１２１に入力される。選択ブロック１２１は、入力された対象商品の重量情報に基づいて、対象商品が属する商品群Ｇ１０を選択する。そして、選択ブロック１２１は、選択した商品群Ｇ１０に対応する予測モデル（重み付け係数）をメモリから読み出し、読み出した予測モデルを予測ブロック１２２に出力する。

予測ブロック１２２は、入力部１１に入力された画像情報と、選択ブロック１２１から入力された予測モデルとを用いて、特定処理を実行する。そして、予測ブロック１２２は、特定処理により得られた特定情報を出力部１３に出力する。出力部１３は、予測ブロック１２２から入力された特定情報に基づいて、特定された対象商品の識別情報を出力する。

以下、具体例について説明する。例えば、顧客が林檎を購入したい場合、顧客は、林檎を計測装置３の載置部３１に置く。このとき、計測部３２により、林檎の重量が３００［ｇ］と計測されたとする。また、撮像装置２により、林檎を含む画像が撮像される。その後、選択ブロック１２１は、林檎の重量に基づいて、林檎の属する商品群Ｇ１０である第４商品群Ｇ４を選択する。そして、第４商品群Ｇ４に対応する予測モデルを読み出し、読み出した予測モデルを予測ブロック１２２に出力する。予測ブロック１２２は、林檎の画像を含む画像情報と、第４商品群Ｇ４に対応する予測モデルとを用いて、特定処理を実行する。そして、予測ブロック１２２は、特定処理により対象商品が林檎であると特定し、特定情報を出力部１３に出力する。出力部１３は、予測ブロック１２２から入力された特定情報に基づいて、林檎の識別情報を出力する。

次に、載置部３１に複数の対象商品が置かれた場合の動作について説明する。この場合、計測部３２は、複数の計測点４３の圧力分布に基づいて、複数の対象商品の重量を個別に計測する。そして、入力部１１には、複数の対象商品の重量情報が個別に入力される。また、図３に示すように、計測部３２は、複数の計測点４３の圧力分布に基づいて、複数の対象商品が置かれた領域を区別することができる。つまり、入力部１１には、複数の対象商品の位置情報が個別に入力される。

したがって、入力部１１（又は特定部１２）では、複数の対象商品の位置情報に基づいて、撮像装置２で撮像された画像から、複数の対象商品を個別に表した複数の画像情報を生成することが可能である。そして、特定部１２は、生成した複数の画像情報と、複数の対象商品の重量情報とに基づいて、複数の対象商品ごとに特定処理を実行する。これにより、特定部１２は、複数の対象商品を個別に特定することが可能である。

（４）変形例
本実施形態では、複数の商品群Ｇ１０は、それぞれ互いに商品の重量の区分が重なり合う重複区分を有しているが、重複区分を有さないように区分けされていてもよい。例えば、第１〜第４商品群Ｇ１〜Ｇ４は、それぞれ５０［ｇ］未満、５０［ｇ］以上１００［ｇ］未満、１００［ｇ］以上２００［ｇ］未満、２００［ｇ］以上５００［ｇ］未満に区分けされていてもよい。また、第５〜第７商品群Ｇ５〜Ｇ７は、それぞれ５００［ｇ］以上１０００［ｇ］未満、１０００［ｇ］以上２０００［ｇ］未満、２０００［ｇ］以上に区分けされていてもよい。

この場合、入力部１１（又は特定部１２）は、対象商品の重量に応じて、下限値及び上限値を設定してもよい。例えば、対象商品の重量が４５［ｇ］であれば、この対象商品の重量の下限値は３５［ｇ］、上限値は５５［ｇ］に設定される。そして、特定部１２は、対象商品の重量の下限値及び上限値に対応する２つの商品群Ｇ１０（ここでは、第１商品群Ｇ１と第２商品群Ｇ２）について、それぞれ対象商品の候補を特定する特定処理を実行する。つまり、特定部１２は、対象商品が２以上の商品群Ｇ１０に紐付けられている場合と同様に、２以上の商品群Ｇ１０ごとに対象商品の候補を特定することになる。この場合も、出力部１３は、特定部１２で特定された２以上の対象商品の候補のうち重量情報により選択される対象商品の識別情報を出力する。

本実施形態では、商品認識システム１００が取り扱う全ての商品は、７つの商品群Ｇ１０に区分けされているが、７つ未満の商品群Ｇ１０に区分けされてもよいし、８以上の商品群Ｇ１０に区分けされてもよい。また、商品認識システム１００が取り扱う全ての商品は、商品群Ｇ１０ごとに属する商品の数が均等になるように、複数の商品群Ｇ１０に区分けされてもよい。

本実施形態では、複数の商品群Ｇ１０は、区分情報である対象商品の重量情報に基づいて区分けされているが、区分情報を限定する趣旨ではない。例えば、複数の商品群Ｇ１０は、対象商品の重量情報の他に、対象商品の体積情報、対象商品の大きさ情報、顧客情報、時間情報などの区分情報に基づいて、更に細かく区分けされていてもよい。例えば、対象商品の体積情報であれば、計測部３２は、複数の計測点４３の圧力分布に基づいて計測することが可能である。

ここで、「顧客情報」は、顧客が属する対象商品の購買層に関する情報である。例えば、重量情報に基づく商品群Ｇ１０が同一であっても、顧客情報が「男性」である対象商品（例えば、髭剃りなど）と、顧客情報が「女性」である対象商品（例えば、化粧品など）とは、互いに異なる商品群Ｇ１０に区分けされる。

また、「時間情報」は、顧客が対象商品を購入する時間帯に関する情報である。例えば、重量情報に基づく商品群Ｇ１０が同一であっても、時間情報が「朝」である対象商品（例えば、牛乳など）と、時間情報が「昼」である対象商品（例えば、弁当など）とは、互いに異なる商品群Ｇ１０に区分けされてもよい。その他、「時間情報」は、顧客が対象商品を購入する季節に関する情報であってもよい。例えば、重量情報に基づく商品群Ｇ１０が同一であっても、時間情報が「夏」である対象商品（例えば、西瓜など）と、時間情報が「冬」である対象商品（例えば、蟹など）とは、互いに異なる商品群Ｇ１０に区分けされてもよい。

本実施形態では、対象商品として林檎などの果物、トマトなどの野菜を挙げているが、対象商品を果物、野菜に限定する趣旨ではない。対象商品は、例えば医薬品、日用品、電化製品、書物など、載置部３１に置いて計測部３２により計測可能な商品であり、かつ撮像装置２により撮像可能な商品であればよい。

本実施形態では、計測装置３の載置部３１はセンサシート４で構成されているが、計測装置３の構成を限定する趣旨ではない。例えば、計測装置３の載置部３１は、ロードセル、又は電磁平衡式センサなどで構成されていてもよい。つまり、計測装置３は、１つの商品、又は複数の商品の重量を計測可能な構成であればよい。

本実施形態では、撮像装置２は、載置部３１における対象商品が置かれる平面全体を撮像する構成であるが、載置部３１のうち一部の領域のみを撮像する構成であってもよい。例えば、載置部３１には、柵で囲まれる等して商品を載置するための特定領域が設定されているとする。この場合、撮像装置２は、特定領域を撮像可能に構成されていればよい。

予測モデルの学習は、ＣＰＵ（Central Processing）だけでなく、ＧＰＵ（Graphics Processing Unit）により行われてもよい。更に、予測モデルの学習は、単一のＣＰＵ又はＧＰＵで行われるだけでなく、１以上ＣＰＵ又は１以上のＧＰＵで分散して行われてもよい。

予測モデルは、定期的、又は不定期に再学習を行うことにより再学習されてもよい。この場合、全ての商品群Ｇ１０について再学習を行うのではなく、新たに商品が追加される等して変化の生じた商品群Ｇ１０についてのみ再学習を行うのが好ましい。商品認識システム１００では、再学習が行われた予測モデルを既存の予測モデルに上書きすることにより、予測モデルを更新するのが好ましい。

本実施形態では、認識装置１、撮像装置２、及び計測装置３は、１つの装置として一体に構成されているが、２以上の装置に分散して構成されていてもよい。この場合、認識装置１は、有線通信又は無線通信により撮像装置２及び計測装置３と通信可能に構成されていればよい。その他、認識装置１は、例えばクラウド（クラウドコンピューティング）に実装されていてもよい。

また、商品認識システム１００の各構成要素（入力部１１、特定部１２、及び出力部１３）は、２つ以上の装置に分散して設けられてもよい。例えば、入力部１１及び出力部１３と、特定部１２とが、それぞれ店舗に設置された装置とクラウドとに分散して設けられてもよい。

本実施形態の商品認識システム１００は、認識装置１と、撮像装置２と、計測装置３と、を備えているが、撮像装置２及び計測装置３は備えていなくてもよい。つまり、商品認識システム１００は、入力部１１、特定部１２、及び出力部１３を備えていればよく、システム外の撮像装置２及び計測装置３から画像信号及び重量信号を取得する構成であればよい。

本実施形態では、商品認識システム１００を、例えばコンビニエンスストアなどの店舗に設置されている、いわゆる無人レジに採用することを想定しているが、商品認識システム１００の用途を限定する趣旨ではない。例えば、商品認識システム１００は、駅の売店、スーパーマーケットの無人レジに採用されてもよい。つまり、商品認識システム１００は、店員の手を介さずに商品の販売を行う販売手法を利用する店舗において、適宜採用することが可能である。もちろん、商品認識システム１００は、上記のように店員の操作を必要とせずに商品の購入が可能な販売システムと併せて使用されなくてもよく、例えば、いわゆる有人レジのようにレジカウンタに店員が居る状況で使用されてもよい。

また、商品認識システム１００と同様の機能は、商品認識方法、又は学習済みモデル等で具現化されてもよい。一態様に係る商品認識方法は、認識処理と、出力処理と、を含む。認識処理は、対象商品の画像を含む画像情報、及び区分情報に基づいて、対象商品の属する商品群Ｇ１０から対象商品を特定する処理である。区分情報は、少なくとも商品の重量情報により区分けされた複数の商品群Ｇ１０のうち対象商品の属する商品群Ｇ１０を選択するための情報である。出力処理は、認識処理により特定した対象商品の識別情報を出力する処理である。

また、一態様に係る学習済みモデルは、ニューラルネットワークＮ１の重み付け係数に基づく演算を行い、ニューラルネットワークＮ１の出力層Ｌ３から対象商品を特定する情報を出力するように、コンピュータシステムを機能させるためのモデルである。上記演算は、ニューラルネットワークＮ１の入力層Ｌ１に入力された画像情報に対して行われる。重み付け係数は、少なくとも対象商品の重量情報により区分けされた複数の商品群Ｇ１０のうち対象商品の属する商品群における商品の画像を入力データとした学習により得られる。

（まとめ）
以上述べたように、第１の態様に係る商品認識システム（１００）は、入力部（１１）と、特定部（１２）と、出力部（１３）と、を備える。入力部（１１）には、対象商品の画像を含む画像情報と、区分情報と、が入力される。区分情報は、少なくとも商品の重量情報により区分けされた複数の商品群（Ｇ１０）のうち対象商品の属する商品群（Ｇ１０）を選択するための情報である。特定部（１２）は、画像情報及び区分情報に基づいて、対象商品の属する商品群（Ｇ１０）から対象商品を特定する。出力部（１３）は、特定した対象商品の識別情報を出力する。

この構成によれば、区分情報により対象商品の属する商品群（Ｇ１０）を絞り込むことで、全ての商品から対象商品を特定する場合と比較して、特定すべき商品の種類の数を低減することができる。つまり、特定部（１２）が対象商品を特定する処理を実行する際に、全ての商品が処理の対象となるのではなく、複数の商品群（Ｇ１０）のうちの一部の商品群（Ｇ１０）に属する商品のみが処理の対象になる。したがって、この構成によれば、全ての対象商品から対象商品を特定する場合と比較して、対象商品を特定する処理の負荷が軽減され、商品の特定に要する時間を低減することができる、という利点がある。

第２の態様に係る商品認識システム（１００）では、第１の態様において、特定部（１２）は、画像情報と、区分情報と、画像情報を入力データとして機械学習することで得られた予測モデルとを用いて、対象商品を特定するように構成されている。

この構成によれば、機械学習により得られた予測モデルを用いることで、対象商品を特定する処理を容易に実現し易い、という利点がある。ただし、この構成は必須ではなく、特定部（１２）は、例えば予測モデルを用いないパターンマッチングにより、対象商品を特定するように構成されていてもよい。

第３の態様に係る商品認識システム（１００）では、第２の態様において、特定部（１２）は、選択処理と、特定処理と、を実行するように構成されている。選択処理は、区分情報のうち重量情報に基づいて対象商品の属する商品群（Ｇ１０）を選択する処理である。特定処理は、選択処理で選択された商品群（Ｇ１０）に対応する予測モデルを用いて対象商品を特定する処理である。

この構成によれば、区分情報として比較的計測し易い商品の重量情報を用いるので、対象商品の属する商品群（Ｇ１０）を選択する精度を向上することができる、という利点がある。ただし、この構成は必須ではなく、特定部（１２）は、選択処理において、重量情報以外の区分情報に基づいて対象商品の属する商品群（Ｇ１０）を選択するように構成されていてもよい。

第４の態様に係る商品認識システム（１００）では、第３の態様において、予測モデルは複数である。複数の予測モデルは、複数の商品群（Ｇ１０）にそれぞれ割り当てられており、対応する商品群（Ｇ１０）に属する商品の画像を入力データとして機械学習可能に構成されている。

この構成によれば、商品認識システム１００が取り扱う商品に新たな商品が追加された場合に、予測モデルの再学習に必要な時間を短くすることができる、という利点がある。つまり、予測モデルが１つである場合、新たな商品が追加されると、新たな商品を含めた全ての商品について予測モデルの再学習を行う必要があり、再学習に要する時間が長くなってしまう。そして、商品認識システム１００を採用する店舗によっては、新たな商品が追加される頻度は比較的多いため、その都度、全ての商品について予測モデルの再学習を行っていたのでは非常に効率が悪い。

一方、複数の予測モデルが複数の商品群（Ｇ１０）にそれぞれ割り当てられている場合、新たな商品が追加された場合でも、新たな商品の属する商品群（Ｇ１０）に対応する予測モデルについてのみ再学習を行えばよい。つまり、この構成では、他の予測モデルについての再学習が不要であることから、予測モデルの再学習に必要な時間を短くすることができる。ただし、この構成は必須ではなく、複数の予測モデルの一部は、機械学習可能に構成されていなくてもよい。

第５の態様に係る商品認識システム（１００）では、第３又は第４の態様において、対象商品の一部は、複数の商品群（Ｇ１０）のうちの２以上の商品群（Ｇ１０）に紐付けられる。

この構成によれば、例えば野菜、果物、及び弁当など商品の重量にばらつきがある場合でも、対象商品を特定し易い、という利点がある。例えば、胡瓜の重量が平均１００［ｇ］であり、胡瓜が第２商品群Ｇ２のみに属する商品であると仮定する。この場合、比較的大きい胡瓜であれば、重量が１００［ｇ］を超える可能性がある。そして、特定部（１２）は、重量が１００［ｇ］を超えた胡瓜については、第３商品群Ｇ３に属する商品として対象商品を特定する処理を実行するため、対象商品が胡瓜であると特定できない可能性がある。一方、対象商品が２以上の商品群（Ｇ１０）に紐付けられている場合、例えば上記の例であれば胡瓜が第２商品群Ｇ２及び第３商品群Ｇ３に紐付けられていれば、特定部（１２）は、対象商品が胡瓜であると特定することが可能である。

また、この構成によれば、例えば原材料の値上がり等により商品の単価当たりの重量を減らす場合でも、対象商品を特定し易い、という利点がある。ただし、この構成は必須ではなく、対象商品は、１つの商品群（Ｇ１０）のみに紐付けられていてもよい。

第６の態様に係る商品認識システム（１００）では、第５の態様において、特定部（１２）は、２以上の商品群（Ｇ１０）に紐付けられた対象商品については、２以上の商品群（Ｇ１０）ごとに対象商品の候補を特定するように構成されている。出力部（１３）は、特定部（１２）で特定された２以上の対象商品の候補のうち重量情報により選択される対象商品の識別情報を出力するように構成されている。

この構成によれば、２以上の商品群（Ｇ１０）のいずれにも属する対象商品について、商品を特定する精度を向上することが可能である、という利点がある。ただし、この構成は必須ではなく、出力部（１３）は、特定部（１２）で特定された２以上の対象商品の識別情報を全て出力するように構成されていてもよい。

第７の態様に係る商品認識システム（１００）は、第１〜第６のいずれかの態様において、計測装置（３）を更に備える。計測装置（３）は、載置部（３１）と、計測部（３２）と、を有する。載置部（３１）には、対象商品が載せられる。計測部（３２）は、載置部（３１）に載せられた対象商品の重量を計測し、計測した対象商品の重量を重量情報として出力する。計測部（３２）は、載置部（３１）に載せられた対象商品の重量を複数の計測点にて計測するように構成されている。

この構成によれば、複数の計測点のうち対象商品の重量を計測した計測点の位置に基づいて、載置部（３１）における対象商品の位置情報を計測することも可能である、という利点がある。ただし、この構成は必須ではなく、計測部（３２）は、載置部（３１）に載せられた対象商品の重量を１点で計測するように構成されていてもよい。

第８の態様に係る商品認識システム（１００）では、第７の態様において、対象商品は複数である。計測部（３２）は、載置部（３１）に載せられた複数の対象商品の重量を個別に計測するように構成されている。

この構成によれば、複数の対象商品の重量情報（区分情報）を纏めて取得することができるので、載置部（３１）に１つずつ対象商品を置かずとも、載置部（３１）に複数の対象商品を纏めて置くことが可能である。また、この構成によれば、載置部（３１）に１つずつ対象商品を置いて対象商品を特定することなく、載置部（３１）に複数の対象商品を纏めて置いて複数の対象商品を纏めて特定することができる、という利点がある。ただし、この構成は必須ではなく、計測部（３２）は、載置部（３１）に載せられた１つの対象商品の重量のみを計測するように構成されていてもよい。

第９の態様に係る商品認識システム（１００）では、第７又は第８の態様において、計測部（３２）は、載置部（３１）に加わる圧力に基づいて対象商品の重量を計測するように構成されている。

この構成によれば、載置部（３１）に加わる圧力分布に基づいて、画像情報のうち対象商品が存在する画像領域を限定することができるので、対象商品の特定に要する時間を更に低減することができる、という利点がある。ただし、この構成は必須ではなく、計測部（３２）は、例えばロードセル、又は電磁平衡式センサなどを用いて、圧力以外の物理量に基づいて対象商品の重量を計測するように構成されていてもよい。

第１０の態様に係る学習済みモデルは、以下のように構成されるモデルである。すなわち、学習済みモデルは、ニューラルネットワーク（Ｎ１）の重み付け係数に基づく演算を行い、ニューラルネットワーク（Ｎ１）の出力層（Ｌ３）から対象商品を特定する情報を出力するように、コンピュータシステムを機能させるためのモデルである。上記演算は、ニューラルネットワーク（Ｎ１）の入力層（Ｌ１）に入力された画像情報に対して行われる。重み付け係数は、少なくとも対象商品の重量情報により区分けされた複数の商品群（Ｇ１０）のうち対象商品の属する商品群における商品の画像を入力データとした学習により得られる。

この構成によれば、全ての商品から対象商品を特定する場合と比較して、商品の特定に要する時間を低減することができる、という利点がある。

第１１の態様に係る商品認識方法は、認識処理と、出力処理と、を含む。認識処理は、対象商品の画像を含む画像情報、及び区分情報に基づいて、対象商品の属する商品群（Ｇ１０）から対象商品を特定する処理である。区分情報は、少なくとも商品の重量情報により区分けされた複数の商品群（Ｇ１０）のうち対象商品の属する商品群（Ｇ１０）を選択するための情報である。出力処理は、認識処理により特定した対象商品の識別情報を出力する処理である。

この構成によれば、全ての商品から対象商品を特定する場合と比較して、商品の特定に要する時間を低減することができる、という利点がある。

以上、実施形態に係る商品認識システム１００、学習済みモデル、及び商品認識方法について説明した。ただし、以上に説明した実施形態は、本発明の様々な実施形態の一つに過ぎない。上記の実施形態は、本発明の目的を達成できれば、設計等に応じて種々の変更が可能である。

１１ 入力部
１２ 特定部
１３ 出力部
３ 計測装置
３１ 載置部
３２ 計測部
４３ 計測点
１００ 商品認識システム
Ｇ１０ 商品群
Ｌ１ 入力層
Ｌ３ 出力層
Ｎ１ ニューラルネットワーク

Claims (11)

1. 対象商品の画像を含む画像情報と、少なくとも商品の重量情報により区分けされた複数の商品群のうち前記対象商品の属する商品群を選択するための区分情報と、が入力される入力部と、
   前記画像情報及び前記区分情報に基づいて、前記対象商品の属する商品群から前記対象商品を特定する特定部と、
   特定した前記対象商品の識別情報を出力する出力部と、を備える
   商品認識システム。
2. 前記特定部は、前記画像情報と、前記区分情報と、前記画像情報を入力データとして機械学習することで得られた予測モデルとを用いて、前記対象商品を特定するように構成されている
   請求項１記載の商品認識システム。
3. 前記特定部は、
   前記区分情報のうち前記重量情報に基づいて前記対象商品の属する商品群を選択する選択処理と、
   前記選択処理で選択された商品群に対応する前記予測モデルを用いて前記対象商品を特定する特定処理と、を実行するように構成されている
   請求項２記載の商品認識システム。
4. 前記予測モデルは複数であって、
   前記複数の予測モデルは、前記複数の商品群にそれぞれ割り当てられており、対応する商品群に属する商品の画像を入力データとして機械学習可能に構成されている
   請求項３記載の商品認識システム。
5. 前記対象商品の一部は、前記複数の商品群のうちの２以上の商品群に紐付けられる
   請求項３又は４に記載の商品認識システム。
6. 前記特定部は、前記２以上の商品群に紐付けられた対象商品については、前記２以上の商品群ごとに対象商品の候補を特定するように構成され、
   前記出力部は、前記特定部で特定された２以上の対象商品の候補のうち前記重量情報により選択される対象商品の前記識別情報を出力するように構成されている
   請求項５記載の商品認識システム。
7. 前記対象商品が載せられる載置部と、
   前記載置部に載せられた前記対象商品の重量を計測し、計測した前記対象商品の重量を前記重量情報として出力する計測部と、を有する計測装置を更に備え、
   前記計測部は、前記載置部に載せられた前記対象商品の重量を複数の計測点にて計測するように構成されている
   請求項１乃至６のいずれか１項に記載の商品認識システム。
8. 前記対象商品は複数であって、
   前記計測部は、前記載置部に載せられた前記複数の対象商品の重量を個別に計測するように構成されている
   請求項７記載の商品認識システム。
9. 前記計測部は、前記載置部に加わる圧力に基づいて前記対象商品の重量を計測するように構成されている
   請求項７又は８に記載の商品認識システム。
10. ニューラルネットワークの入力層に入力された画像情報に対して、前記ニューラルネットワークの重み付け係数に基づく演算を行い、前記ニューラルネットワークの出力層から対象商品を特定する情報を出力するように、コンピュータシステムを機能させるための学習済みモデルであって、
    前記重み付け係数は、少なくとも前記対象商品の重量情報により区分けされた複数の商品群のうち前記対象商品の属する商品群における商品の画像を入力データとした学習により得られる
    学習済みモデル。
11. 対象商品の画像を含む画像情報、及び少なくとも商品の重量情報により区分けされた複数の商品群のうち前記対象商品の属する商品群を選択するための区分情報に基づいて、前記対象商品の属する商品群から前記対象商品を特定する認識処理と、
    前記認識処理により特定した前記対象商品の識別情報を出力する出力処理と、を含む
    商品認識方法。

Images