JP2021128388A - データ生成装置、学習済みモデル生成装置、計量機及びデータ生成方法 - Google Patents

Abstract

【課題】商品の推定精度の高い学習済みモデルを効率的に生成することができるデータ生成装置、学習済みモデル生成装置、計量機及びデータ生成方法を提供する。【解決手段】データ生成装置２００は、商品が含まれる画像と、画像に含まれる商品の種類を示すクラスと、が対応付けられている教師データを複数記憶している記憶部２０２と、記憶部２０２に記憶されている複数の教師データの中から、所定数の教師データを抽出して、複数の当該教師データを含むデータセットを生成するデータ生成部２０３と、を備え、データ生成部２０３は、データセットに含まれる教師データにおいて、クラスごとの教師データの数が均等となるようにデータセットを生成する。【選択図】図１

Description

本発明は、データ生成装置、学習済みモデル生成装置、計量機及びデータ生成方法に関する。

従来のデータ生成装置として、例えば、特許文献１に記載の装置が知られている。特許文献１に記載のデータ生成装置は、多クラスの教師つき学習において用いられる教師データに含まれるクラスごとのデータ数の偏りを補正するサンプリング装置であり、教師データのデータ数をクラスごとに集計するデータ集計手段と、データ集計手段によって集計されたデータ数と所定の基準値との差に基づいて、教師データのデータ数をクラスごとに調整するデータ調整手段と、を備えている。

特開２０１０−２０４９６６号公報

学習済みモデルを生成するためには、問題（画像）と正解（商品の種類）とをセットした教師データを用意し、大量の教師データを繰り返し学習させることが必要となる。ここで、大量の教師データを１つずつ用いて学習済みモデルに機械学習を行わせると、膨大な処理時間が必要となるため効率的ではない。そこで、複数の教師データを含むデータセットを生成し、データセットを用いて学習済みモデルに機械学習を行わせることにより、学習済みモデルにおいて、一度に大量の教師データの機械学習を行わせることが考えられる。

しかしながら、一般に、複数の教師データのクラスごとの数は同じではないため、ランダムに教師データを抽出してデータセットを生成すると、相対的に数の少ない教師データがデータセットに含まれ難い。すなわち、データセットにおいて、商品ごとの教師データの数に不均衡が生じる。そうすると、データ数の少ない教師データの商品については、学習が十分に行われないため、学習済みモデルにおける商品の推定精度が低下するおそれがある。

上記問題点に関して、特許文献１に記載の装置では、教師データのデータ数をクラスごとに調整するために、集計されたデータ数が基準値に満たないクラスがあった場合には、そのクラスに属するデータのデータ数を基準値と一致するまで増加させたり、集計されたデータ数が基準値を超えるクラスがあった場合には、そのクラスに属するデータのデータ数を基準値と一致するまで減少させたりしている。しかしながら、データ数を増加させることは、教師データを記憶する記憶部の容量を圧迫することになり、データ数を減少させることは、機械学習の機会を損失することなる。

本発明の一側面は、商品の推定精度の高い学習済みモデルを効率的に生成することができるデータ生成装置、学習済みモデル生成装置、計量機及びデータ生成方法を提供することを目的とする。

本発明の一側面に係るデータ生成装置は、商品の種類を推定する学習済みモデルの機械学習に用いられるデータセットを生成するデータ生成装置であって、商品が含まれる画像と、画像に含まれる商品の種類を示すクラスと、が対応付けられている教師データを複数記憶している記憶部と、記憶部に記憶されている複数の教師データの中から、所定数の教師データを抽出して、複数の当該教師データを含むデータセットを生成する生成部と、を備え、生成部は、データセットに含まれる教師データにおいて、クラスごとの教師データの数が均等となるようにデータセットを生成する。

本発明の一側面に係るデータ生成装置では、生成部は、データセットに含まれる教師データにおいて、クラスごとの教師データの数が均等となるようにデータセットを生成する。これにより、データ生成装置では、所定数の教師データを抽出した場合において、クラスごとの教師データの数に偏りが生じない。そのため、１つのデータセットによって、クラスごとの学習機会（回数）適切に担保しつつ、複数のクラスについて効率的に機械学習を行わせることができる。したがって、データ生成装置によって生成されたデータセットを用いて学習済みモデルに機械学習を行わせることによって、商品の種類ごとに推定精度に偏りが生じることを抑制でき、効率的に推定精度が高い学習済みモデルを生成させることができる。その結果、商品の推定精度の高い学習済みモデルを効率的に生成することができる。なお、「均等」とは、平等で差がないことであり、教師データの数が一致する場合だけではなく、クラスごとの教師データの数の差が所定の範囲内に収まることも意味する。

一実施形態においては、記憶部は、教師データの画像が学習済みモデルによって種類の推定が行われた画像である場合において、学習済みモデルの推定結果と、教師データに含まれるクラスに基づく種類とが不一致であった場合、教師データにおいて当該画像と不一致であったことを示す不一致情報とを対応付けて記憶しており、生成部は、所定数の教師データを記憶部から抽出する場合、不一致情報に基づいて教師データに優先度を設定し、各クラスにおいて優先度が高い教師データを、優先度が低い教師データよりも高い確率で抽出してもよい。この構成では、学習済みモデルにおいて推定精度が低い（推定を誤り易い）画像を含む教師データを優先的にデータセットに含めることができる。そのため、当該データセットを用いて学習済みモデルに機械学習を行わせることにより、学習済みモデルにおける商品の推定精度の向上を図ることができる。

一実施形態においては、生成部は、不一致情報と、学習済みモデルにおける種類の推定に係る自信度と、に基づいて優先度を設定してもよい。学習済みモデルにおいて一の商品の自信度が高いにも関わらず、学習済みモデルが一の商品の推定を誤った場合には、当該一の商品に係る教師データ（商品が含まれる画像）について優先的に学習させる必要がある。そのため、データ生成装置では、不一致情報と自信度とに基づいて優先度を設定することにより、学習済みモデルの機械学習に有効なデータセットを生成することができる。

一実施形態においては、生成部は、記憶部に記憶されている全ての教師データの数に対して、クラスごとの教師データの数が占める割合を取得する取得部と、取得部によって取得された割合を逆数にした値に基づいて抽出確率を算出し、抽出確率に基づいて、記憶部から所定数の教師データを抽出する抽出部と、を有していてもよい。この構成では、クラスの教師データの数が少ないほど、抽出確率が高くなる。そのため、データ生成装置では、データセットにおいて、含まれる教師データの組み合わせについては任意（アトランダム）性を保ちつつ、クラスごとの教師データを均等に含ませることができる。

一実施形態においては、生成部は、所定数に応じて記憶部から抽出するクラスごとの教師データの抽出数を設定し、抽出数に基づいて教師データを抽出してもよい。例えば、所定数が「１００」であり、商品の種類が「Ａ」、「Ｂ」、「Ｃ」の３種類である場合、生成部は、例えば、「Ａ：３３」、「Ｂ：３３」、「Ｃ：３４」等のように抽出数を設定する。これにより、データ生成装置では、データセットにおいて、クラスごとの教師データを均等に含ませることができる。

一実施形態においては、生成部は、抽出した教師データの画像を分割して複数の分割画像を生成し、複数の分割画像のうちの１つの分割画像を含めることによりデータセットを生成してもよい。この構成では、１つの教師データの画像を更に分割した分割画像を含めたデータセットを取得するため、より多くの画像を機械学習に用いらせることが可能となる。

一実施形態においては、生成部は、抽出した教師データの画像に対して所定規則の画像処理を施してデータセットを生成すると共に、画像処理を、データセットを生成する度に、所定規則の範囲内で確率的に異ならせてもよい。この構成では、一のデータセットに含まれる教師データと他のデータセットに含まれる教師データとが同じであったとしても、一のデータセットと他のデータセットとに含まれる画像が異なる。そのため、毎回異なる画像を機械学習に用いらせることが可能となる。

本発明の一側面に係る学習済みモデル生成装置は、上記データ生成装置によって生成されたデータセットに基づいて学習済みモデルを生成する学習済みモデル生成装置であって、データセットを用いて機械学習を行う学習部と、学習部による学習結果に基づいて、学習済みモデルを生成するモデル生成部と、を備える。

本発明の一側面に係る学習済みモデル生成装置では、上記データ生成装置によって生成されたデータセットに基づいて学習済みモデルを生成する。そのため、学習済みモデル生成装置では、商品の種類ごとの学習機会の偏りが生じることを抑制できる。したがって、学習済みモデル生成装置では、商品の種類ごとに推定精度に偏りが生じることを抑制でき、効率的に推定精度が高い学習済みモデルを生成することができる。その結果、学習済みモデル生成装置では、商品の推定精度の高い学習済みモデルを効率的に生成することができる。

本発明の一側面に係る計量機は、上記学習済みモデル生成装置によって生成された学習済みモデルを用いて、商品が含まれる対象画像から商品の種類を推定して価格を算出する計量機であって、載置部に載置された商品を撮像する撮像部と、載置部に載置された商品の重量を計量する計量部と、計量部で計量された前記商品の重量に基づいて、商品の価格を算出する算出部と、撮像部によって撮像された商品を含む対象画像に対して、学習済みモデルによる処理を行った処理結果を取得し、処理結果に基づいて商品の種類を推定する推定部と、を備え、算出部は、推定部によって推定された商品の価格を算出する。

本発明の一側面に係る計量機では、上記学習済みモデル生成装置によって生成された学習済みモデルを用いて、商品が含まれる対象画像から商品の種類を推定する。そのため、計量機では、商品の推定精度の向上が図れる。

本発明の一側面に係るデータ生成方法は、商品の種類を推定する学習済みモデルの機械学習に用いられるデータセットを生成するデータ生成方法であって、商品が含まれる画像と、画像に含まれる商品の種類を示すクラスと、が対応付けられている教師データを複数記憶する記憶ステップと、記憶部に記憶されている複数の教師データの中から、所定数の教師データを抽出して、複数の当該教師データを含むデータセットを生成する生成ステップと、を含み、生成ステップでは、データセットに含まれる教師データにおいて、クラスごとの教師データの数が均等となるようにデータセットを生成する。

本発明の一側面に係るデータ生成方法では、生成ステップでは、データセットに含まれる教師データにおいて、クラスごとの教師データの数が均等となるようにデータセットを生成する。これにより、データ生成方法では、所定数の教師データを抽出した場合において、クラスごとの教師データの数に偏りが生じない。そのため、１つのデータセットによって、複数のクラスについて効率的に機械学習を行わせることができる。したがって、データ生成方法によって生成されたデータセットを用いて学習済みモデルに機械学習を行わせることによって、クラスごとの学習機会（回数）を適切に担保しつつ、商品の種類ごとに推定精度に偏りが生じることを抑制でき、効率的に推定精度が高い学習済みモデルを生成させることができる。その結果、商品の推定精度の高い学習済みモデルを効率的に生成することができる。

本発明の一側面は、学習済みモデルにおける商品の推定精度の向上が図れる。

図１は、一実施形態に係る計量システムの構成を示す図である。 図２は、計量機を示す斜視図である。 図３は、計量装置の構成を示す図である。 図４は、制御装置の構成を示す図である。 図５は、商品を含む対象画像を示す図である。 図６（ａ）、図６（ｂ）、図６（ｃ）及び図６（ｄ）は、分割対象画像を示す図である。 図７は、ニューラルネットワークを示す図である。 図８は、ニューラルネットワークを示す図である。 図９は、データ生成プログラムを示す図である。

以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明は省略する。

［全体構成］
図１に示されるように、計量システム１は、計量機１００と、データ生成装置２００と、学習済みモデル生成装置３００と、を備えている。計量機１００、データ生成装置２００及び学習済みモデル生成装置３００は、通信可能に接続されている。計量システム１は、学習済みモデルを用いたシステムであり、計量機１００は、学習済みモデルの運用フェーズに用いられる装置であり、データ生成装置２００及び学習済みモデル生成装置３００は、学習済みモデルの学習フェーズに用いられる装置である。

［計量機：運用フェーズ］
計量機１００は、計量装置２と、制御装置３と、表示装置４と、カメラ（撮像部）５と、を備えている。計量装置２と制御装置３とは、互いに通信可能に接続されている。制御装置３とカメラ５とは、通信可能に接続されている。計量装置２と表示装置４とは、通信可能に接続されている。

計量装置２は、電子秤である。計量装置２は、商品Ｓ（図５参照）の重量を計量すると共に、計量した商品Ｓに貼り付けるラベルＬＣを発行する機能を有している。本実施形態では、商品Ｓは、容器Ｐに入れられた食品（サラダ、惣菜）等である。ここで、容器Ｐは、透明な蓋部を有する。蓋部は、有色又は無色であり、光を透過する材料で形成されている。カメラ５は、容器Ｐの蓋部を透過した光を撮像することにより、容器Ｐ中の商品Ｓを撮像する。

図２に示されるように、本実施形態では、計量装置２は、筐体１０に収容されている。筐体１０は、収容部１１と、保持部１２と、連結部１３と、を有している。収容部１１は、計量装置２を収容する。収容部１１は、箱状を呈している。収容部１１には、計量装置２の計量部２１の計量台２１ａを露出させる第１開口部１１ａ、及び、計量装置２の操作部２２を露出させる第２開口部１１ｂが設けられている。

保持部１２には、制御装置３、カメラ５、第１照明部６及び第２照明部７が配置されている。保持部１２は、収容部１１上に配置されている。制御装置３は、保持部１２上に配置されている。連結部１３は、収容部１１と保持部１２とを連結している。連結部１３は、上下方向に沿って延在している。連結部１３の背面には、表示装置４が配置されている。表示装置４は、例えば、液晶ディスプレイである。表示装置４は、客に対する表示を行う。

カメラ５は、計量装置２の計量台２１ａ（後述）の上方において、計量台２１ａに対向する位置に配置されている。カメラ５は、撮像した画像データを制御装置３に出力する。

第１照明部６及び第２照明部７は、例えば、ＬＥＤ照明である。第１照明部６及び第２照明部７は、計量装置２の計量台２１ａの上方において、計量台２１ａに対向する位置に配置されている。第１照明部６と第２照明部７とは、筐体１０の幅方向において、所定の間隔をあけて配置されている。具体的には、第１照明部６と第２照明部７とは、筐体１０の幅方向において、カメラ５を間に挟む位置に配置されている。

図３に示されるように、計量装置２は、制御ユニット２０と、計量部２１と、操作部２２と、ラベル発行部２３と、を有している。

制御ユニット２０は、計量装置２における各種動作を制御する部分であり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含んで構成されている。制御ユニット２０は、後述するタッチパネルディスプレイ２２ａの表示を制御する。

計量部２１は、計量台（載置部）２１ａと、図示しないロードセル、信号処理回路、及び送信モジュールと、を含んで構成されている。計量台２１ａは、商品Ｓが載置される。ロードセルは、計量台２１ａの下方に設けられている。ロードセルは、計量台２１ａに被計量物が載置されることにより発生する機械的歪を電気信号に変換する。信号処理回路は、ロードセルから出力される電気信号を増幅してデジタル信号に変換する。送信モジュールは、デジタル信号を制御ユニット２０に出力する。

操作部２２は、タッチパネルディスプレイ２２ａと、固定キー２２ｂと、を含んでいる。タッチパネルディスプレイ２２ａには、制御ユニット２０の制御により、計量装置２において計量される商品Ｓに係る情報、計量装置２の操作に必要な基本的な情報等が表示される。固定キー２２ｂには、料金秤として必要な「単価」キー、「定額」キー、「風袋」キー、「印字」キー、及び、「呼出」キー等があり、これらが数字キーと共に適宜配置されている。

ラベル発行部２３は、ラベルＬＣを発行する。ラベル発行部２３は、後述する出力部２９から出力された印字情報に基づいて、商品情報を印字して、ラベルＬＣを発行する。本実施形態では、ラベル発行部２３は、いわゆる台紙レスラベルを発行する。

制御ユニット２０は、入力部２５と、記憶部２６と、算出部２７と、制御部２８と、出力部２９と、を有している。

入力部２５は、制御装置３から出力された番号情報を計量装置２に入力する。入力部２５は、入力した番号情報を算出部２７に出力する。

記憶部２６は、商品マスタを記憶している。商品マスタには、商品Ｓに係る商品関連情報を商品Ｓ毎に記憶している。商品マスタは、商品番号と、商品名、単価、定額等とが対応付けられたテーブルである。商品マスタは、更新（変更）可能である。

算出部２７は、商品Ｓの価格を算出する。算出部２７は、入力部２５から出力された番号情報を受け取ると、番号情報に含まれる商品番号に基づいて商品マスタを参照する。算出部２７は、商品番号に対応する商品Ｓの単価を商品マスタから取得する。算出部２７は、計量部２１から出力された計量値と、商品の単価とに基づいて、商品Ｓの価格（値段）を算出する。算出部２７は、制御部２８から確定情報を受け取ると、価格を確定して、印字情報をラベル発行部２３に出力する。印字情報には、少なくとも商品名、重量、価格を示す情報が含まれている。また、算出部２７は、算出した価格をタッチパネルディスプレイ２２ａに表示させる表示情報を、タッチパネルディスプレイ２２ａに出力する。

制御部２８は、操作部２２の固定キー２２ｂにおいて「印字」キーが押下された場合、算出部２７によって算出された価格を確定させる。制御部２８は、「印字」キーが押下されたと判断した場合には、出力部２９に確定情報を出力する。確定情報は、算出部２７において価格の確定を指示する情報である。出力部２９は、確定情報を算出部２７に出力する。

図４に示されるように、制御装置３は、制御ユニット３０と、タッチパネルディスプレイ３１と、を備えている。制御ユニット３０は、タッチパネルディスプレイ３１の表示を制御する。制御装置３は、制御ユニット３０とタッチパネルディスプレイ３１とが一体化されたタブレット端末等であってもよし、コンピュータであってもよい。

制御ユニット３０は、制御装置３における各種動作を制御する部分であり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含んで構成されている。制御ユニット３０は、入力部３２と、推定部３３と、記憶部３４と、制御部３５と、出力部３６と、を有している。

入力部３２は、カメラ５から出力された画像データを制御装置３に入力する。入力部３２は、入力した画像データを推定部３３に出力する。また、入力部３２は、学習済みモデル生成装置３００から送信された学習済みモデルを制御装置３に入力して記憶部３４に記憶させる。

推定部３３は、カメラ５によって撮像された対象画像（対象画像データ）に基づいて、計量装置２（計量台（載置部）２１ａ）に載置された商品Ｓの種類を推定する。推定部３３は、入力部３２から出力された対象画像データに基づいて、計量装置２の計量台２１ａに商品Ｓが載置されたことを検出する。具体的には、推定部３３は、入力部３２から出力された対象画像データと、予め記憶されているベース画像（例えば、商品が載置されていない状態で撮像された背景画像）との差分（背景差分）に基づいて、商品Ｓが載置されたことを検出する。詳細には、推定部３３は、対象画像データにおいてベース画像からの変化度合が閾値以上である場合には、商品Ｓが載置されたと判断する。

推定部３３は、商品Ｓが載置されたと判断した場合、商品Ｓの載置が安定したか否かを判断する。すなわち、推定部３３は、商品Ｓの位置が定まったか否かを判断する。推定部３３は、例えば、連続する対象画像データのフレーム間差分法によって、商品Ｓの載置が安定したか否かを判断する。具体的には、推定部３３は、連続する対象画像データにおいて、フレーム間の差分（例えば、一定以上の画素値の変化が生じた画素の個数）が閾値以下になった場合には、商品Ｓの載置が安定したと判断する。推定部３３は、商品Ｓの載置が安定したと判断した場合、安定したと判断した対象画像データにおける画像に基づいて、商品Ｓを推定する。これにより、商品を載置する作業者の（動く）手等が含まれていない状態の画像データに対して、商品を推定することができる。

本実施形態では、推定部３３は、学習済みモデルによって商品Ｓの種類を推定する。推定部３３は、対象画像データを複数の領域に分割して、複数の分割対象画像を取得する。図６に示されるように、推定部３３は、対象画像データＧ１を複数の領域Ａに分割する。具体的には、推定部３３は、複数の分割対象画像のそれぞれについて、領域Ａが矩形状を呈すると共に全て同寸法になるように対象画像データＧ１を分割する。推定部３３は、一の分割対象画像と他の分割対象画像との少なくとも一部が重畳するように対象画像データＧ１を分割する。詳細には、推定部３３は、一の領域Ａに対して、対象画像データＧ１の画素の配列方向であるＸ方向（第１方向）又はＹ方向（第１方向に直交する第２方向）において他の領域Ａが所定量だけ移動するように、対象画像データＧ１を分割する領域Ａを設定する。所定量は、移動方向における領域Ａの幅を２以上の自然数で分割した幅（１／２、１／３等）に対応する量である。２以上の自然数は、対象画像データＧ１における領域Ａの移動方向の画素数を割り切れる値である。なお、推定部３３は、対象画像データＧ１を複数の領域Ａに分割する際、分割の位置を毎回変更してもよい。

推定部３３は、対象画像データＧ１を分割することにより、図６（ａ）、図６（ｂ）、図６（ｃ）及び図６（ｄ）に示されるように、分割対象画像Ｇ１１，Ｇ１２，Ｇ１３，Ｇ１４等を取得する。分割対象画像Ｇ１１は、商品Ｓ等が写り込んでいない、すなわち背景Ｂのみが写り込んでいる画像である。分割対象画像Ｇ１２は、容器Ｐ及び背景Ｂが写り込んでいる画像である。分割対象画像Ｇ１３は、商品Ｓ、容器Ｐ及び背景Ｂが写り込んでいる画像である。分割対象画像Ｇ１４は、商品Ｓのみが写り込んでいる画像である。

推定部３３は、複数の分割対象画像の中から、商品Ｓの写り込み量に関する所定条件を満たす複数の分割対象画像を取得する。具体的には、推定部３３は、商品Ｓ以外の写り込み量が閾値以下となる分割対象画像を取得する。言い換えれば、推定部３３は、商品Ｓの写り込み量が閾値よりも多い分割対象画像を取得する。推定部３３は、取得モデルによって、商品Ｓ以外の写り込み量が閾値以下となる分割対象画像を取得する。取得モデルは、ニューラルネットワークＮＷ１を含む。

図７に示されるように、取得モデルのニューラルネットワークＮＷ１は、例えば、入力層である第１層と、中間層（隠れ層）である第２層、第３層、及び第４層と、出力層である第５層とで構成される。第１層は、ｐ個のパラメータを要素とする入力値ｘ＝（ｘ０，ｘ１，ｘ２，…ｘｐ）をそのまま第２層に出力する。第２層、第３層、及び第４層のそれぞれは、活性化関数により総入力を出力に変換してその出力を次の層に渡す。第５層も活性化関数により総入力を出力に変換し、この出力は、１個のパラメータを要素とするニューラルネットワークの出力値ｙ＝ｙ_０である。

本実施形態では、ニューラルネットワークＮＷ１は、分割対象画像Ｇ１１〜Ｇ１４の各画素の画素値を入力して、処理結果を示す情報を出力する。ニューラルネットワークＮＷ１の入力層には、分割対象画像Ｇ１１〜Ｇ１４の画素数分のニューロンが設けられる。ニューラルネットワークＮＷ１の出力層には、処理結果に係る情報を出力するためのニューロンが設けられる。出力層のニューロンの出力値（非商品尤度）に基づいて、商品Ｓ以外の写り込み量が閾値以下となる分割対象画像を取得することができる。ニューロンの出力値であるｙ_０は、例えば、０〜１の値である。この場合、ニューロンの値が大きい程（値が１に近い程）、商品Ｓ以外の写り込み量が閾値以下となる（商品Ｓの写り込み量が閾値以上となる）分割対象画像である可能性が低く、ニューロンの値が小さい程（値が０に近い程）、商品Ｓ以外の写り込み量が閾値以下となる（商品Ｓの写り込み量が閾値以上となる）分割対象画像である可能性が高いことを示している。すなわち、ニューロン値が大きい場合、分割対象画像において背景Ｇ等が占める割合が大きく、ニューロン値が低い場合、分割対象画像において商品Ｓの占める割合が多いことを示している。推定部３３は、ニューラルネットワークＮＷ１から出力されたニューロン値を取得し、ニューロン値が閾値以下となる（分割画像の全体に対して商品Ｓの占める領域の割合が多い）分割対象画像を取得する。

推定部３３は、取得した複数の分割対象画像に対して、学習済みモデルによって、商品Ｓの種類を推定する。学習済みモデルは、ニューラルネットワークＮＷ２を含む。

図８に示されるように、ニューラルネットワークＮＷ２は、例えば、入力層である第１層と、中間層（隠れ層）である第２層、第３層、及び第４層と、出力層である第５層とで構成される。第１層は、ｐ個のパラメータを要素とする入力値ｘ＝（ｘ０，ｘ１，ｘ２，…ｘｐ）をそのまま第２層に出力する。第２層、第３層、及び第４層のそれぞれは、活性化関数により総入力を出力に変換してその出力を次の層に渡す。第５層も活性化関数により総入力を出力に変換し、この出力は、ｑ個のパラメータを要素とするニューラルネットワークＮＷ２の出力値ｙ＝（ｙ_０，ｙ_１，…，ｙ_ｑ）である。

本実施形態では、ニューラルネットワークＮＷ２は、各分割対象画像の各画素の画素値を入力して、分割対象画像毎に商品Ｓの推定結果を示す情報を出力する。ニューラルネットワークＮＷ２の入力層には、画像の画素数分のニューロンが設けられる。ニューラルネットワークＮＷ２の出力層には、商品Ｓの推定結果に係る情報を出力するためのニューロンが設けられる。出力層のニューロンの出力値（商品尤度）に基づいて、商品Ｓの種類を推定することができる。出力値ｙは、商品Ｓの商品尤度に対応している。具体的には、推定対象（選択候補）となる商品Ｓ_ｉごとの出力値ｙ_ｉの組が出力される。ｉは、各商品Ｓ_ｉの種類（クラス）に対応して付与される。例えば、出力値ｙ_１が商品Ｓ_１の商品尤度に対応し、出力値ｙ_ｉが商品Ｓ_ｉの商品尤度に対応している。ニューロンの出力値は、例えば、０〜１の値である。例えば、出力値ｙ_１の値が「０．８」の場合には、商品Ｓ_１の商品尤度が「０．８」であり、出力値ｙ_２の値が「０．２」の場合には、商品Ｓ_２の商品尤度が「０．２」である。この場合、ニューロンの値が大きい程（値が１に近い程）、対象画像データＧ１の商品Ｓ_ｉである可能性が高く、ニューロンの値が小さい程（値が０に近い程）、対象画像データＧ１の商品Ｓ_ｉである可能性が低いことを示している。すなわち、ニューロン値が大きい場合、商品Ｓ_ｉである確率が高く、ニューロン値が低い場合、商品Ｓ_ｉである確率が低いことを示している。

推定部３３は、分割対象画像を、学習済みモデルに入力する。推定部３３は、学習済みモデルのニューラルネットワークＮＷ２に分割対象画像を入力したことに応じて、各分割対象画像について、ニューラルネットワークＮＷ２から出力された出力値を含む推定結果を取得する。推定結果には、商品マスタに登録されている全ての種類の商品が含まれる。

推定部３３は、推定結果に基づいて、候補の商品に対して順位を付ける。具体的には、推定部３３は、各分割対象画像のニューロン値の大きさに基づいて重み付けを行い、推定結果に対して付与された重み付けの多数決に基づいて、商品に順位を付ける。推定部３３は、全ての種類の商品について、商品番号と順位とを対応付けた推定情報を生成する。推定部３３は、推定処理に使用した画像データの画像情報及び推定情報を制御部３５に出力する。

制御部３５は、推定部３３から画像情報及び推定情報が出力されると、画像情報及び推定情報をタッチパネルディスプレイ３１に表示させる。制御部３５は、タッチパネルディスプレイ３１において受け付けた入力に基づいて、タッチパネルディスプレイ３１の表示を制御する。具体的には、制御部３５は、タッチパネルディスプレイ３１に表示される一の画面において、画像情報に基づく商品Ｓの画像を表示させる。制御部３５は、一の画面において、推定情報における商品の候補のうち、順位が上位の（１以上の所定数の）商品の商品名を表示させる。制御部３５は、商品の候補のうち、順位が下位の（上記所定数以外の）商品の商品名を、一の画面とは異なる他の画面に表示させる。一の画面から他の画面へ遷移は、作業者の操作によって行われる。制御部３５は、推定情報又はタッチパネルディスプレイ３１において受け付けた入力に基づいて、商品番号を示す番号情報を出力部３６に出力する。出力部３６は、番号情報を計量装置２に出力する。

制御部３５は、画像情報及び推定情報をタッチパネルディスプレイ３１に表示させたことに応じて、タッチパネルディスプレイ３１において商品を修正する入力を受け付けた場合には、画像情報及び推定情報に、不一致情報を対応付ける。すなわち、制御部３５は、推定情報における商品の候補のうち、最も（又は、上位から所定数までの順位の）商品Ｓである確率が高い商品以外の商品を指定する入力（商品Ｓを修正する入力）を受け付けた場合には、不一致情報を付与する。制御部３５は、画像情報に基づく商品Ｓの画像と、画像に含まれる商品の種類を示すクラス（商品名／画像に対するラベルデータ）と、を対応付けた教師データを、出力部３６に出力する。制御部３５は、不一致情報を付与した場合には、教師データに不一致情報を対応付けて、出力部３６に出力する。出力部３６は、教師データをデータ生成装置２００に送信する。

制御部３５は、商品を推定しないことが事前に設定されている場合（種類の推定ができない（不要である）商品である場合）には、教師データを出力部３６に出力しない（データ生成装置２００に送信しない）。制御部３５は、計量装置２において計量台２１ａに商品が載置される前に、操作部２２において、所定の商品の計量が選択されている場合には、画像情報及び推定情報を破棄する。所定の商品は、例えば、「バイキング商品（複数の商品を客が自由に取って容器に盛り付けた商品）」等の定額の商品であり、価格の推定が不要である商品である。制御部３５は、所定の商品である場合には、画像情報及び商品情報を含む教師データを出力部３６に出力しない。このように、推定が不要である商品については、教師データを出力部３６に出力しないように構成する場合、データ生成装置２００は、推定が不要な商品について学習を行うことがない。

記憶部３４は、商品マスタを記憶する。この商品マスタは、計量装置２の記憶部２６に記憶されている商品マスタと同じ内容を含んで構成されている。記憶部３４は、学習済みモデルを記憶する。

［データ生成装置：学習フェーズ］
図１に示されるように、データ生成装置２００は、通信部２０１と、記憶部２０２と、データ生成部（取得部、抽出部）２０３と、を備えている。データ生成装置２００は、学習済みモデル生成装置３００において機械学習に用いられるデータセットを生成する装置である。データ生成装置２００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成されている。

通信部２０１は、計量機１００及びデータ生成装置２００と通信を行う。通信部２０１は、計量機１００から送信された教師データを受信して、記憶部２０２に出力する。通信部２０１は、データ生成部２０３から出力されたデータセットを学習済みモデル生成装置３００に送信する。

記憶部２０２は、商品が含まれる画像と、画像に含まれる商品の種類を示すクラスと、が対応付けられている教師データを記憶する（記憶ステップ）。記憶部２０２は、通信部２０１から出力された教師データをクラスごとに記憶する。記憶部２０２は、教師データの画像が計量機１００において学習済みモデルによって種類の推定が行われた画像である場合において、学習済みモデルの推定結果と種類とが不一致であった場合、教師データにおいて当該画像と不一致であったことを示す不一致情報とを対応付けて記憶している。

なお、記憶部２０２は、教師データの総数が閾値（例えば、５０００）以上となった場合、古い教師データから削除してもよいし、データ生成部２０３による抽出対象から除外されるようにしてもよい。また、削除の基準となる閾値は商品の種類（クラス）ごとに（望ましくは同じ値が）設定されていてもよい。このように構成すれば、各クラスの教師データについて、各々十分な数を確保しつつ、削除により必要以上の教師データを記憶して記憶部２０２の容量を圧迫することを抑制すること、又は、記憶部２０２が抽出対象から当該教師データを除外することにより具材の配分の変更などにより現在の商品の写り込み方とは必ずしも一致しなくなってきている古い教師データについて学習して推定の精度が下がることを抑制することができる。

データ生成部２０３は、記憶部２０２に記憶されている複数の教師データの中から、所定数の教師データを抽出して、複数の教師データを含むデータセットを生成する（生成ステップ）。所定数は、学習済みモデルが機械学習を行う装置（学習済みモデル生成装置３００）の処理能力（性能）等に応じて適宜設定される。本実施形態では、所定数は、例えば、「１００」である。

データ生成部２０３は、データセットに含まれる教師データにおいて、クラスごとの教師データの数が均等となるようにデータセットを生成する。「均等」とは、平等で差がないことであり、教師データの数が一致する場合だけではなく、クラスごとの教師データの数の差が所定の範囲内に収まることも意味する。具体的には、例えば、データセットに含まれる教師データの数が「１００」であり、クラスの種類が「Ａ」、「Ｂ」、「Ｃ」の３種類である場合、データセットに「Ａ：３３」、「Ｂ：３３」、「Ｃ：３４」の教師データが含まれている場合、クラスごとの教師データの数が均等であることを意味する。なお、所定の範囲とは、少なくとも、データセットに含まれるクラスごとの教師データの数の内、最大数のものと最小数のものとが、多くとも２倍以内となることである。詳細には、例えば、教師データの数が「１００」であり、クラスの種類が（１００未満且つ）５０を超える場合、データセットに含まれるクラスごとの教師データの数は１又は２とする。

データ生成部２０３は、記憶部２０２に記憶されている教師データにおいて、不一致情報と、学習済みモデルにおける商品の種類の推定に係る自信度と、に基づいて、教師データに優先度を設定する。学習済みモデルには、商品の種類ごとに、推定に係る自信度が設定されている。自信度は、例えば、「１〜１０」の１０段階に設定されている。自信度「１」は、最も自信がないこと（商品の種類を推定し難いこと）を示しており、自信度「１０」は、最も自信があること（商品の種類を推定し易いこと）を示している。

データ生成部２０３は、教師データにおいて、自信度が高く、且つ、不一致情報が対応づけられている場合には、当該教師データに対して優先度を高く設定する。すなわち、データ生成部２０３は、学習済みモデルにおいて、商品の種類の推定に自信があるにも関わらず、商品の種類の推定を誤った商品を含む画像の教師データについては、優先度を高く設定する。優先度は、例えば、「１〜１０」のように１０段階に設定されてもよいし、「０：優先度低」、「１：優先度高」のように「０」か「１」で設定してもよいし、「優先度：低」、「優先度：中」、「優先度：高」のように設定してもよい。

データ生成部２０３は、記憶部２０２に記憶されている全ての教師データの数に対して、クラスごとの教師データの数が占める割合を取得する。データ生成部２０３は、取得した割合を逆数にした値に基づいて抽出確率を算出し、抽出確率に基づいて、記憶部２０２から所定数の教師データを抽出する。データ生成部２０３は、例えば、全ての教師データの数が「９００」であり、記憶部２０２に３種種類「Ａ」、「Ｂ」、「Ｃ」のクラスの教師データが記憶されており、各クラスの教師データの数が「Ａ：３００」、「Ｂ：２００」、「Ｃ：４００」である場合、抽出確率を、「Ａ：１／３００」、「Ｂ：１／２００」、「Ｃ：１／４００」と算出する。データ生成部２０３は、算出した抽出確率に基づいて、記憶部２０２の全ての教師データの中から、所定数の教師データをランダムに抽出する。データ生成部２０３は、各クラスにおいて、同じ教師データを抽出し得る。

また、データ生成部２０３は、所定数の教師データを記憶部２０２から抽出する場合、各クラスにおいて優先度が高い教師データを、優先度が低い教師データよりも高い確率で抽出する。データ生成部２０３は、抽出確率に基づいて教師データを抽出する際、そのクラスにおいて優先度が高い教師データを、優先度が低い教師データよりも高い確率で抽出する。具体的には、データ生成部２０３は、例えば、抽出確率に基づいて「Ａ」のクラスの教師データを抽出する際、記憶部２０２において、「Ａ」のクラスにおいて優先度が高い教師データと優先度が低い教師データとが記憶されている場合、優先度が高い教師データを高い確率で抽出する。

データ生成部２０３は、記憶部２０２から教師データを抽出すると、抽出した教師データの画像を分割して複数の分割画像を生成する。データ生成部２０３は、計量機１００の推定部３３と同じ方法によって分割画像を生成し得る。すなわち、データ生成部２０３は、抽出した教師データの画像について、領域が矩形状を呈すると共に全て同寸法になるように当該画像を分割する。データ生成部２０３は、例えば、一の分割画像と他の分割画像との少なくとも一部が重畳するように画像を分割する。データ生成部２０３は、分割した複数の分割画像のうちの１つの分割画像を含む教師データでデータセットを生成する。データ生成部２０３は、生成したデータセットを通信部２０１に出力する。

データ生成部２０３は、分割画像に対して、画像処理を施してもよい。データ生成部２０３は、分割画像の縮小・拡大、コントラストの調整、色の変更、及びフォーマットの変更等の各種の処理を行ってもよい。データ生成部２０３は、画像処理を施した分割画像を含むデータセットを生成する。

続いて、データ生成装置２００（データ生成方法）を実現させるためのデータ生成プログラムＰＧについて説明する。図９に示されるように、データ生成プログラムＰＧは、コンピュータ読み取り可能な記録媒体Ｒに記録され得る。記録媒体Ｒに格納されたデータ生成プログラムＰＧは、通信モジュールＰ１、記憶モジュールＰ２、及び、データ生成モジュールＰ３を備える。通信モジュールＰ１、記憶モジュールＰ２、及び、データ生成モジュールＰ３をコンピュータに実行させることにより、データ生成プログラムＰＧが機能する。通信モジュールＰ１、記憶モジュールＰ２、及び、データ生成モジュールＰ３実行することにより実現される機能はそれぞれ、通信部２０１、記憶部２０２及びデータ生成部２０３の機能と同様である。

データ生成プログラムＰＧは、記録媒体Ｒにおけるプログラム記録領域に記録されている。記録媒体Ｒは、例えば、例えばＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭ、半導体メモリ等の記録媒体によって構成されている。データ生成プログラムＰＧは、搬送波に重畳されたコンピュータデータ信号として通信ネットワークを介して提供されてもよい。

［学習済みモデル生成装置：学習フェーズ］
図１に示されるように、学習済みモデル生成装置３００は、通信部３０１と、学習部３０２と、モデル生成部３０３と、を備えている。学習済みモデル生成装置３００は、機械学習によって学習済モデルを生成する装置である。学習済みモデル生成装置３００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成されている。

通信部３０１は、計量機１００及びデータ生成装置２００と通信を行う。通信部３０１は、データ生成装置２００から送信されたデータセットを受信して、学習部３０２に出力する。通信部３０１は、モデル生成部３０３から出力された学習済みモデルを計量機１００に送信する。

学習部３０２は、データセットを用いて機械学習を行う。学習部３０２は、通信部３０１から出力されたデータセットを入力し、機械学習を行う。学習部３０２は、教師データの画像（分割画像）とクラスとを関連付けて機械学習を行う。学習部３０２は、データセットに含まれる所定数の教師データを同時に学習する。機械学習自体は、既知の機械学習アルゴリズムを用いて行うことができる。

モデル生成部３０３は、学習部３０２による学習結果に基づいて、学習済みモデルを生成する。モデル生成部３０３は、図８に示されるように、ニューラルネットワークＮＷ２を含む学習済みモデルを生成する。学習済みモデルは、畳み込みニューラルネットワークを含むものであってもよい。更に、学習済みモデルは、複数の階層（例えば、８層以上）のニューラルネットワークを含むものであってもよい。すなわち、ディープラーニングによって推定モデルが生成されてもよい。学習部３０２は、所定のタイミングで、学習済みモデルを通信部３０１に出力する。

［本実施形態の作用効果］
以上説明したように、本実施形態に係る計量システム１のデータ生成装置２００では、データ生成部２０３は、データセットに含まれる教師データにおいて、クラスごとの教師データの数が均等となるようにデータセットを生成する。これにより、データ生成装置２００では、所定数の教師データを抽出した場合において、クラスごとの教師データの数に偏りが生じない。そのため、１つのデータセットによって、クラスごとの学習機会（回数）を適切に担保しつつ、複数のクラスについて効率的に機械学習を行わせることができる。したがって、データ生成装置２００によって生成されたデータセットを用いて学習済みモデルに機械学習を行わせることによって、商品の種類ごとに推定精度に偏りが生じることを抑制でき、効率的に推定精度が高い学習済みモデルを生成させることができる。その結果、商品の推定精度の高い学習済みモデルを効率的に生成することができる。

また、従来のデータ生成装置では、教師データのデータ数をクラスごとに調整するために、集計されたデータ数が基準値に満たないクラスがあった場合には、そのクラスに属するデータのデータ数を基準値と一致するまで増加させたり、集計されたデータ数が基準値を超えるクラスがあった場合には、そのクラスに属するデータのデータ数を基準値と一致するまで減少させたりしている。しかしながら、データ数を増加させることは、教師データを記憶する記憶部の容量を圧迫することになり、データ数を減少させることは、機械学習の機会を損失することなる。

これに対して、本実施形態に係るデータ生成装置２００では、教師データを増減させることなく、クラスごとの教師データの数が均等となるようにデータセットを生成する。したがって、データ生成装置２００では、記憶部２０２を大容量にする必要がない。また、教師データを無駄に減少させないため、効率的に機械学習を行わせることができる。

本実施形態に係るデータ生成装置２００では、記憶部２０２は、教師データの画像が学習済みモデルによって種類の推定が行われた画像である場合において、学習済みモデルの推定結果と、教師データに含まれるクラスに基づく種類とが不一致であった場合、教師データにおいて当該画像と不一致であったことを示す不一致情報とを対応付けて記憶している。データ生成部２０３は、所定数の教師データを記憶部から抽出する場合、不一致情報に基づいて教師データに優先度を設定し、各クラスにおいて優先度が高い教師データを、優先度が低い教師データよりも高い確率で抽出する。この構成では、学習済みモデルにおいて推定精度が低い（推定を誤り易い）画像を含む教師データを優先的にデータセットに含めることができる。そのため、当該データセットを用いて学習済みモデルに機械学習を行わせることにより、学習済みモデルにおける商品の推定精度の向上を図ることができる。

本実施形態に係るデータ生成装置２００では、データ生成部２０３は、不一致情報と、学習済みモデルにおける種類の推定に係る自信度と、に基づいて優先度を設定する。学習済みモデルにおいて一の商品の自信度が高いにも関わらず、学習済みモデルが一の商品の推定を誤った場合には、当該一の商品に係る教師データ（商品が含まれる画像）について優先的に学習させる必要がある。そのため、データ生成装置２００では、不一致情報と自信度とに基づいて優先度を設定することにより、学習済みモデルの機械学習に有効なデータセットを生成することができる。

本実施形態に係るデータ生成装置２００では、データ生成部２０３は、記憶部２０２に記憶されている全ての教師データの数に対して、クラスごとの教師データの数が占める割合を取得するする。データ生成部２０３は、取得した割合を逆数にした値に基づいて抽出確率を算出し、抽出確率に基づいて、記憶部２０２から所定数の教師データを抽出する。この構成では、クラスの教師データの数が少ないほど、抽出確率が高くなる。そのため、データ生成装置２００では、データセットにおいて、含まれる教師データの組み合わせについては任意（アトランダム）性を保ちつつ、クラスごとの教師データを均等に含ませることができる。

本実施形態に係るデータ生成装置２００では、データ生成部２０３は、抽出した教師データの画像を分割して複数の分割画像を生成し、複数の分割画像のうちの１つの分割画像を含めることによりデータセットを生成する。この構成では、１つの教師データの画像を更に分割した分割画像を含めたデータセットを取得するため、より多くの画像を機械学習に用いることが可能となる。

本実施形態に係る学習済みモデル生成装置３００では、データ生成装置２００によって生成されたデータセットに基づいて学習済みモデルを生成する。そのため、学習済みモデル生成装置３００では、商品の種類ごとの学習機会の偏りが生じることを抑制できる。したがって、学習済みモデル生成装置３００では、商品の種類ごとに推定精度に偏りが生じることを抑制でき、効率的に推定精度が高い学習済みモデルを生成することができる。その結果、学習済みモデル生成装置３００では、商品の推定精度の高い学習済みモデルを効率的に生成することができる。

本実施形態に係る計量機１００では、学習済みモデル生成装置３００によって生成された学習済みモデルを用いて、商品が含まれる対象画像から商品の種類を推定する。そのため、計量機１００では、商品の推定精度の向上が図れる。

本実施形態に係る計量機１００では、制御部３５は、商品を推定しないことが事前に設定されている場合（商品の推定ができない商品である場合）には、教師データを出力部３６に出力しない（データ生成装置２００に送信しない）。これにより、データ生成装置２００の記憶部２０２において、記憶が不要である教師データ（学習に使用されない教師データ）を記憶しない。そのため、データ生成部２０３において、商品の推定に寄与しない教師データがデータセットに含まれることを回避できる。したがって、学習済みモデル生成装置３００では、商品の推定精度の高い学習済みモデルを効率的に生成することができる。

［変形例］
以上、本発明の実施形態について説明してきたが、本発明は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。

上記実施形態では、 計量機１００がラベル発行部２３を備える形態を一例に説明した。しかし、計量機１００は、ラベル発行部２３を備えていなくてもよい。ラベル発行部２３を備える構成では、発行されたラベルを商品に貼付し、商品を客がレジに持っていって会計を行う。ラベル発行部２３を備えない構成では、算出部２７は、制御部２８から確定情報を受け取ると、価格を確定して、商品名、重量及び価格を示す情報をレジに出力する。この際、レジが複数設けられている場合には、操作部２２において上記情報の出力先のレジを選択できるようにしてもよい。具体的には、商品名が確定した後に、送信先のレジの候補と対応するボタンを操作部２２（タッチパネルディスプレイ２２ａ）に表示させ、作業者に選択させることにより、選択されたレジに上記情報を出力するように構成してもよい。この構成では、ラベルの貼付作業及びラベルのスキャン作業を省略することができる。そのため、作業効率の向上が図れる。

上記実施形態では、計量機１００が制御装置３を備える形態を一例に説明した。しかし、計量機１００は、制御装置３を備えていなくてもよい。この場合、計量装置２が、制御装置３の機能を有していればよい。あるいは、計量装置２及び制御装置３の機能を有する１台の装置を備えていてもよい。

上記実施形態では、計量機１００の制御装置３が推定部３３を備え、制御装置３において商品の種類を推定する形態を一例に説明した。しかし、制御装置３は、推定部３３を備えていなくてもよい。例えば、商品の種類の推定は、学習済みモデル生成装置３００で行われてもよい。この場合、学習済みモデル生成装置３００は、推定結果を制御装置３に送信する。

上記実施形態では、計量システム１が計量機１００と、学習済みモデル生成装置３００と、を備える形態を一例に説明した。しかし、学習済みモデル生成装置３００を備えていなくてもよい。この場合、計量機１００がデータ生成装置２００及び学習済みモデル生成装置３００に相当する装置を備えていればよい。

上記実施形態では、計量機１００と、データ生成装置２００と、学習済みモデル生成装置３００と、を備える計量システム１について説明した。しかし、本発明は、データ生成装置２００のみであってもよい。すなわち、本発明は、商品の種類を推定する学習済みモデルの機械学習に用いられるデータセットを生成するデータ生成装置であればよい。

上記実施形態では、制御装置３のタッチパネルディスプレイ３１が、筐体１０の保持部１２上に配置されている形態を一例に説明した。しかし、タッチパネルディスプレイ３１は、保持部１２以外の位置に配置されていてもよい。タッチパネルディスプレイ３１は、計量装置２の近くに配置されていることが好ましい。

上記実施形態では、計量機１００が表示装置４を備えている形態を一例に説明した。しかし、例えば、客が計量機１００を操作する場合には、表示装置４を備えていなくてもよい。

上記実施形態では、計量装置２及び制御装置３が筐体１０に設けられている形態を一例に説明した。しかし、計量機１００の形態はこれに限定されない。計量装置２（計量台２１ａ）と、制御装置３とが別体に設けられる、いわゆる分離秤の形態であってもよい。

上記実施形態では、容器Ｐに収容された商品Ｓに対して重量を計量する例を説明した。しかし、商品Ｓは、容器Ｐに収容されない青果等であってもよい。

上記実施形態では、計量機１００の推定部３３が、対象画像データを複数の領域に分割して商品を推定する形態を一例に説明した。しかし、推定部３３は、対象画像データ（分割していない画像）から商品を推定してもよい。

上記実施形態では、推定部３３が、対象画像データＧ１を複数の領域Ａに分割する形態を一例に説明した。しかし、推定部３３は、商品画像と商品を含まないベース画像とを比較して、商品画像から、商品の全体が含まれる、商品画像よりも小さい商品領域を切り出し（切出ステップ）、商品領域を複数の領域に分割して、複数の分割画像を取得してもよい。この方法では、対象画像データＧ１において商品Ｓ以外の部分を除外した商品領域ＳＡを用いて分割するため、不要な領域を分割する必要がない。したがって、処理負荷の軽減が図れる。

上記実施形態では、推定部３３が、対象画像データＧ１を分割する領域Ａを設定するために、一の領域Ａに対して他の領域Ａを移動させる所定量として、移動方向における領域Ａの幅を２以上の自然数で分割した幅（１／２、１／３等）に対応する量である形態を一例に説明した。しかし、推定部３３は、所定量は、一画素であってもよい。すなわち、推定部３３は、推定部３３は、一の領域Ａに対して、対象画像データＧ１の画素の配列方向であるＸ方向又はＹ方向において他の領域Ａが一画素ずつ移動するように、対象画像データＧ１を分割する領域Ａを設定してもよい。モデル生成部３０３が、非商品画像データＧ２を分割する領域Ａ１を設定する場合、及び、商品画像データＧ３を分割する領域Ａ２を設定する場合についても同様である。

上記実施形態では、推定モデルのニューラルネットワークＮＷ２が、各分割対象画像の各画素の画素値を入力して、分割対象画像毎に商品Ｓの推定結果を示す情報を出力する形態を一例に説明した。しかし、学習済みモデルは、各分割対象画像の各画素の画素値を入力して、画素毎に、商品Ｓの推定結果を示す情報を出力するニューラルネットワークＮＷ２を含む構成であってもよい。

上記実施形態では、推定部３３が、各分割対象画像のニューロン値の大きさに基づいて重み付けを行い、推定結果に対して付与された重み付けの多数決に基づいて、商品に順位を付ける形態を一例に説明した。しかし、推定部３３における商品の順位付け（推定）は、他の方法であってもよい。例えば、推定部３３は、閾値以上のニューロン値のみを用いて商品に順位付けを行ってよいし、対象画像データの中央部の領域の分割対象画像の推定結果を優先的に採用して商品に順位付けを行ってもよい。また、推定部３３は、各分割対象画像のニューロン値において、閾値以下のニューロン値（閾値以下の商品尤度）は採用しなくてもよい。

また、推定部３３は、例えば、一の分割対象画像のニューロン値（出力値）ｙ_２（商品Ｓ_２の商品尤度）が「０．９」であり、他の分割対象画像のニューロン値ｙ_２が「０．４」であり、且つ、上記一の分割対象画像のニューロン値ｙ_５（商品Ｓ_５の商品尤度）が「０．７」であり、商品Ｓ_２に係るニューロン値の分散が大きい場合には、商品Ｓ_２の重み付けを低くしてもよい。すなわち、推定部３３は、一の分割対象画像の一の商品に対応するニューロン値と他の分割対象画像の一商品に対応するニューロン値とにばらつき（乖離）があり（ニューロン値が分散しており）、且つ、一の分割対象画像の他の商品に対応するニューロン値が所定値よりも大きい場合には、一の商品の重み付けを低くする。

上記実施形態では、推定部３３が、取得モデルによって複数の分割対象画像の中から、商品以外の写り込み量が閾値以下となる分割対象画像を取得する形態を一例に説明した。しかし、推定部３３は、商品が含まれていない画像の画素の特徴量に基づいて、複数の分割対象画像の中から、画素の含まれる割合が所定の閾値以下となる分割対象画像を抽出してもよい。この方法では、取得モデルを使用せずに、商品が写り込んでいる分割対象画像のみを適切に抽出することができる。

上記実施形態では、推定部３３が、商品以外の写り込み量が閾値以下となる分割対象画像を取得する形態を一例に説明した。しかし、推定部３３は、分割対象画像の外縁部（外縁領域）における商品以外（容器、背景等）の写り込みの有無を取得し、商品以外の写り込みが無い場合には、当該分割対象画像を取得してもよい。これにより、商品の占有率が高い分割対象画像を抽出することができる。

上記実施形態では、対象画像データに一つの商品Ｓが含まれており、推定部３３が、一つの商品Ｓの種類を推定する形態を一例に説明した。しかし、対象画像データに複数の商品が含まれていてもよい。この場合、推定部３３は、複数の商品のそれぞれの種類を推定する。具体的には、推定部３３は、対象画像データと、予め記憶されているベース画像との差分に基づいて、輪郭線（エッジ）を抽出し、エッジに基づいて商品が含まれる領域を取得する。このとき、商品の一部が重なっている等の状況により、商品が２個以上である場合であっても、一つの領域として取得される場合がある。そのため、推定部３３は、例えば、領域の面積と容器の面積とを比較して、商品毎の領域を取得する（商品毎に領域を分割する）。商品毎の領域を取得する方法としては、他の方法を用いてもよい。推定部３３は、複数の領域を取得すると、領域毎に商品の種類を推定する。

また、推定部３３は、例えば、一つの皿等に複数の商品が載っている場合、以下の処理により複数の商品の種類をそれぞれ推定する。推定部３３は、一つの分割対象画像、及び、当該一つの分割対象画像の近傍の複数の分割対象画像における処理結果において多数決を取り、その結果を、上記一つの分割対象画像と上記複数の分割対象画像とを含む領域の中心座標での結果（商品の種類）とする（各分割対象画像の処理結果を平滑化する）。推定部３３は、全ての分割対象画像について上記処理を行い、各領域の中心座標での結果を得る。推定部３３は、取得した結果のうち、同じ結果（商品）が密集する領域を一つにまとめることにより、複数の商品それぞれの種類を推定する。なお、複数の商品が含まれる場合、上記実施形態のように、計り売りを行う計量機１００ではなく、商品推定装置として用いられる。商品推定装置は、例えば、トレー上に複数の食品が載置されたている場合に、複数の食品のそれぞれの種類を推定したり、お弁当の内容物の検査を行ったりすることができる。

上記実施形態では、制御部３５が、タッチパネルディスプレイ３１において商品を修正する入力を受け付けた場合には、画像情報及び推定情報に、不一致情報を対応付ける形態を一例に説明した。しかし、制御部３５は、他の画面に表示された商品（順位が下位の商品）が選択された場合に、画像情報及び推定情報に不一致情報を対応付けてもよい。他の画面への遷移は、作業者の操作によって行われる。そのため、一の画面に該当する商品が表示されなかった場合、作業者が画面を遷移させる操作を行う必要があるため、手間がかかる。そのため、制御部３５は、他の画面に表示された商品が選択された場合には、画像情報及び推定情報に不一致情報を対応付ける。この構成では、データ生成装置２００において、学習済みモデルにおいて推定精度が低い（推定を誤り易い）画像を含む教師データの優先度が高く設定される。そのため、データ生成装置２００では、当該教師データの抽出確率が高くなる。したがって、学習済みモデルにおいて推定精度が低い商品の学習機会が増えるため、学習済みモデルにおける商品の推定精度の向上を図ることができる。

上記実施形態では、データセットに含まれる教師データの数が「１００」であり、クラスの種類が「Ａ」、「Ｂ」、「Ｃ」の３種類である場合を一例に説明した。すなわち、データセットに含まれる教師データの数よりも、クラス数が少ない形態を一例に説明した。しかし、データセットに含まれる教師データの数及びクラス数は、これに限定されない。例えば、クラス数は、データセットに含まれる教師データの数と同等、又は、当該教師データの数よりも多くてもよい。データセットに含まれる教師データの数とクラス数とがほぼ同等である（データセット中の教師データの数が、クラスの数に対して±２０％以内、より好ましくは±１０％以内とし、さらに好ましくはデータセット中の教師データの数が、クラスの数と同数とする）場合、統計的には、１回のデータセットに、少なくとも各クラスの教師データが１つ含まれ得る。そのため、データセットに含まれる教師データの数とクラス数とをほぼ同等にすることが好ましい。

上記実施形態では、データ生成部２０３が、記憶部２０２から教師データを抽出すると、抽出した教師データの画像を分割して複数の分割画像を生成し、分割画像を含むデータセットを生成する形態を一例に説明した。しかし、データ生成部２０３は、教師データの画像をそのままデータセットに含めてもよい。また、データ生成部２０３は、抽出した教師データの画像に対して所定規則の画像処理を施してデータセットを生成すると共に、画像処理を、データセットを生成する度に、所定規則の範囲内で確率的に異ならせてもよい。

具体的には、上記実施形態では、商品は、容器に入れられた食品（サラダ、総菜）等である例を示した。この場合、一般に、容器に含まれる食材は、盛り付けられる度に輪郭の形が変わるため、特定の輪郭を有さない不定形の食材となる。このような食材に対しては、分割画像を生成し、背景の写り込みが多い分割画像を取り除くことにより、食品の写り込みの多い（さらには、分割画像中の全域を食品が占める）分割画像のみを学習することが好適である。このように構成すれば、食品の周囲（容器等の背景）の特徴を学習することが低減するので、食品の特徴のみに基づいて推定を行う学習済みモデルを生成することができる。この場合、生成した学習済みモデルの判断する画像についても、学習時と同様に、分割を行った上で背景の写り込みが多い分割画像を取り除き、食品の写り込みの多い分割画像のみを抽出して、当該抽出した分割画像について推定を行うよう構成している。この際、データ生成部２０３は、データセットを生成する度に、所定規則として最終的な分割画像の大きさは変えずに、分割される切り出し位置（画像の全領域に占める分割画像の位置）を確率的に変えて（所定規則の範囲内で）、分割画像を抽出（生成）し、学習モデルに学習させる（「多様化処理」の一例）。これにより、原画像が同じであっても、学習モデルが学習するデータは異なるものになり、生成される学習済みモデルの推定の精度が向上する。

一方、上記実施形態とは異なり、輪郭が比較的はっきりした食材（パン）に対しては、上記した分割画像を生成する過程を経る必然性はない。この場合、学習の段階では、上記実施形態に記載した画像の分割は行わずに、教師データ中の画像をそのまま入力して、又は、商品の部分（輪郭及びその内側）のみを切り出した画像を入力して学習させ、学習済みモデルを生成してもよい。生成された学習済みモデルに商品の推定を行わせる場合は、学習時と同じ態様となるように、カメラが撮像した画像をそのまま、又は、商品の部分のみを切り出した画像に対して推定を行うよう構成する。ここで、学習の際に、各教師データの画像（又は、切り出した画像）に対して、（食材のサイズの個体差を反映した）拡大、縮小、（食材のおかれ方のばらつきを反映した）回転、（食材の色味や焼き具合等のばらつきを反映した）色味及びコントラストの変化を所定の閾値の範囲に限定して、ランダムに加えた後に学習させてもよい。この際、データ生成部２０３は、データセットを生成する度に、所定規則としての拡大、縮小、回転、色味及びコントラストの変化量を、各々一定の閾値（上限値及び下限値であり）の範囲内（所定規則の範囲内）において確率的に変化させて、学習に用いる画像に施した後に、学習モデルに学習させる（「多様化処理」の一例）。これにより、原画像が同じであっても、学習モデルが学習するデータは異なるものになり、生成される学習済みモデルの推定の精度が向上する。

なお、学習済みモデルが推定を行う際に実施する画像処理は、学習済みモデルを生成する際に少なくとも実施する必要がある。一方で、学習済みモデルを生成する際に実施する画像処理は、必ずしも学習済みモデルが推定を行う際に実施する必要はない。例えば、上記「多様化処理」は、必ずしも学習済みモデルが推定を行う際に実施する必要はない。

上記実施形態では、データ生成部２０３が、抽出確率を算出し、抽出確率に基づいて、記憶部２０２から所定数の教師データを抽出してデータセットを生成する形態を一例に説明した。しかし、データ生成部２０３によるデータセットの生成方法はこれに限定されない。データ生成部２０３は、所定数に応じて記憶部２０２から抽出するクラスごとの教師データの抽出数を設定し、抽出数に基づいて教師データを抽出してもよい。データ生成部２０３は、所定数が「Ｎ」であり、クラスの数が「Ｍ」である場合、各クラスの教師データの抽出数を「Ｎ／Ｍ」に設定する。データ生成部２０３は、「Ｎ／Ｍ」において小数点以下の数が発生した場合には、各クラスからランダムに教師データを抽出してもよいし、上記の抽出確率に基づいて教師データを抽出してもよい。例えば、所定数が「１００」であり、商品の種類が「Ａ」、「Ｂ」、「Ｃ」の３種類である場合、データ生成部２０３は、例えば、「Ａ：３３」、「Ｂ：３３」、「Ｃ：３４」等のように抽出数を設定する。これにより、データ生成装置２００では、データセットにおいて、クラスごとの教師データを均等に含ませることができる。

また、データ生成部２０３は、「Ｎ／Ｍ」において小数点以下の数が発生した場合、毎回、均等の確率で教師データを割り当ててもよい。具体的には、データ生成部２０３は、例えば、第１のデータセット「Ａ：３４」、「Ｂ：３３」、「Ｃ：３３」、第２のデータセット「Ａ：３３」、「Ｂ：３４」、「Ｃ：３３」、第３のデータセット「Ａ：３３」、「Ｂ：３３」、「Ｃ：３４」のように、均等の確率で各クラスの教師データをデータセットに割り当てる。これにより、データ生成装置２００では、複数のデータセットを生成した場合、クラスごとの教師データを均等に含ませることができる。なお、均等の確率で各クラスの教師データをデータセットに割り当てるとは、同一のクラスの抽出数が複数回連続して同数になることを禁止しない。

５…カメラ（撮像部）、２１…計量部、２１ａ…計量台（載置部）、２７…算出部、３３…推定部、１００…計量機、２００…データ生成装置、２０２…記憶部、２０３…データ生成部、３００…学習済みモデル生成装置、３０２…学習部、３０３…モデル生成部。

Claims (10)

1. 商品の種類を推定する学習済みモデルの機械学習に用いられるデータセットを生成するデータ生成装置であって、
   前記商品が含まれる画像と、前記画像に含まれる前記商品の種類を示すクラスと、が対応付けられている教師データを複数記憶している記憶部と、
   前記記憶部に記憶されている複数の前記教師データの中から、所定数の前記教師データを抽出して、複数の当該教師データを含む前記データセットを生成する生成部と、を備え、
   前記生成部は、前記データセットに含まれる前記教師データにおいて、前記クラスごとの前記教師データの数が均等となるように前記データセットを生成する、データ生成装置。
2. 前記記憶部は、前記教師データの前記画像が学習済みモデルによって前記種類の推定が行われた画像である場合において、前記学習済みモデルの推定結果と、前記教師データに含まれる前記クラスに基づく前記種類とが不一致であった場合、前記教師データにおいて当該画像と不一致であったことを示す不一致情報とを対応付けて記憶しており、
   前記生成部は、前記所定数の前記教師データを前記記憶部から抽出する場合、前記不一致情報に基づいて前記教師データに優先度を設定し、各前記クラスにおいて前記優先度が高い前記教師データを、前記優先度が低い前記教師データよりも高い確率で抽出する、請求項１に記載のデータ生成装置。
3. 前記生成部は、前記不一致情報と、前記学習済みモデルにおける前記種類の推定に係る自信度と、に基づいて前記優先度を設定する、請求項２に記載のデータ生成装置。
4. 前記生成部は、
   前記記憶部に記憶されている全ての前記教師データの数に対して、前記クラスごとの前記教師データの数が占める割合を取得する取得部と、
   前記取得部によって取得された前記割合を逆数にした値に基づいて抽出確率を算出し、前記抽出確率に基づいて、前記記憶部から前記所定数の前記教師データを抽出する抽出部と、を有する、請求項１〜３のいずれか一項に記載のデータ生成装置。
5. 前記生成部は、前記所定数に応じて前記記憶部から抽出する前記クラスごとの前記教師データの抽出数を設定し、前記抽出数に基づいて前記教師データを抽出する、請求項１〜３のいずれか一項に記載のデータ生成装置。
6. 前記生成部は、抽出した前記教師データの前記画像を分割して複数の分割画像を生成し、複数の前記分割画像のうちの１つの前記分割画像を含む前記教師データで前記データセットを生成する、請求項１〜５のいずれか一項に記載のデータ生成装置。
7. 前記生成部は、抽出した前記教師データの前記画像に対して所定規則の画像処理を施して前記データセットを生成すると共に、前記画像処理を、前記データセットを生成する度に、前記所定規則の範囲内で確率的に異ならせる、請求項１〜５のいずれか一項に記載のデータ生成装置。
8. 請求項１〜７のいずれか一項に記載のデータ生成装置によって生成された前記データセットに基づいて学習済みモデルを生成する学習済みモデル生成装置であって、
   前記データセットを用いて機械学習を行う学習部と、
   前記学習部による学習結果に基づいて、前記学習済みモデルを生成するモデル生成部と、を備える、学習済みモデル生成装置。
9. 請求項８に記載の学習済みモデル生成装置によって生成された前記学習済みモデルを用いて、商品が含まれる対象画像から前記商品の種類を推定して価格を算出する計量機であって、
   載置部に載置された前記商品を撮像する撮像部と、
   前記載置部に載置された前記商品の重量を計量する計量部と、
   前記計量部で計量された前記商品の重量に基づいて、前記商品の価格を算出する算出部と、
   前記撮像部によって撮像された前記商品を含む前記対象画像に対して、前記学習済みモデルによる処理を行った処理結果を取得し、前記処理結果に基づいて前記商品の種類を推定する推定部と、を備え、
   前記算出部は、前記推定部によって推定された前記商品の価格を算出する、計量機。
10. 商品の種類を推定する学習済みモデルの機械学習に用いられるデータセットを生成するデータ生成方法であって、
    前記商品が含まれる画像と、前記画像に含まれる前記商品の種類を示すクラスと、が対応付けられている複数の教師データを記憶部に記憶させる記憶ステップと、
    前記記憶部に記憶されている複数の前記教師データの中から、所定数の前記教師データを抽出して、複数の当該教師データを含む前記データセットを生成する生成ステップと、を含み、
    前記生成ステップでは、前記データセットに含まれる前記教師データにおいて、前記クラスごとの前記教師データの数が均等となるように前記データセットを生成する、データ生成方法。

Images