JP2019200533A - 計数装置、会計システム、学習装置、及び、制御方法 - Google Patents

Abstract

【課題】より高い信頼性で物品の個数を認識し得る計数装置などを提供する。【解決手段】計数装置３は、１以上の第一物品を撮像して第一画像を生成するカメラ３１と、画像に映っている１以上の物品の個数を認識する認識モデル３４に、第一画像を入力することで出力される、第一画像に映っている１以上の第一物品の個数を出力する計数部３２とを備え、認識モデル３４は、１以上の物品が映っている第二画像と、第二画像に映っている１以上の物品の個数との組み合わせで構成された１以上の組を教師データとした機械学習により構築された認識モデル３４である。【選択図】図２

Description

本発明は、計数装置、会計システム、学習装置、及び、制御方法に関する。

従来、商品に取り付けられた無線タグを読み取る際の、無線タグの認識の信頼性を向上させる技術が開示されている（特許文献１参照）。

特許文献１に開示される技術によれば、情報を読み取ることができた無線タグの個数が、画像から得られる無線タグの個数と一致した場合に限り認識処理を進めるので、無線タグの認識の信頼性を向上させることができる。

特開２００６−３５０８０６号公報

しかしながら、画像から得られる無線タグの個数が、現実の無線タグの個数と一致するとは限らない。そのため、特許文献１に開示された技術では、画像から得られる無線タグの個数が現実の無線タグの個数と異なる場合であっても、情報を読み取ることができた無線タグの個数と一致する場合には、認識処理が進められてしまうという問題がある。

そこで、本発明は、より高い信頼性で物品の個数を認識し得る計数装置などを提供する。

本発明の一態様に係る計数装置は、１以上の第一物品を撮像して第一画像を生成するカメラと、画像に映っている１以上の物品の個数を認識する認識モデルに、前記第一画像を入力することで出力される、前記第一画像に映っている前記１以上の第一物品の個数を出力する計数部とを備え、前記認識モデルは、１以上の物品が映っている第二画像と、前記第二画像に映っている前記１以上の物品の個数との組み合わせで構成された１以上の組を教師データとした機械学習により構築された認識モデルである。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の計数装置は、より高い信頼性で物品の個数を認識することができる。

図１は、実施の形態における、計数装置を含む会計システムの外観を示す模式図である。 図２は、実施の形態における、計数装置を含む会計システムの機能構成を示すブロック図である。 図３は、実施の形態における会計システムで使用される買物かごの外観を示す模式図である。 図４は、実施の形態における学習部による機械学習のための教師データを示す説明図である。 図５は、実施の形態における計数装置の制御方法を示すフロー図である。 図６は、実施の形態における会計システムの制御方法を示すフロー図である。 図７は、実施の形態の変形例における学習装置の機能構成を示すブロック図である。 図８は、実施の形態の変形例における学習装置の制御方法を示すフロー図である。

本発明の一態様に係る計数装置は、１以上の第一物品を撮像して第一画像を生成するカメラと、画像に映っている１以上の物品の個数を認識する認識モデルに、前記第一画像を入力することで出力される、前記第一画像に映っている前記１以上の第一物品の個数を出力する計数部とを備え、前記認識モデルは、１以上の物品が映っている第二画像と、前記第二画像に映っている前記１以上の物品の個数との組み合わせで構成された１以上の組を教師データとした機械学習により構築された認識モデルである。

上記態様によれば、計数装置は、機械学習により構築された認識モデルを用いるので、より高い信頼性で物品の個数を認識することができる。個数の認識に用いる認識モデルの教師データは、１以上の物品が映っている画像である第二画像と、第二画像に映っている１以上の物品の個数とであり、言い換えれば、情報量が比較的多い情報、例えば、物品の種類又は寸法を示す情報などを含んでいない。また、上記教師データは、画像及び個数以外の種類の情報を含まないものであってもよい。よって、上記画像及び個数以外の種類の情報を教師データとして用いる場合と比較して、教師データとして必要な情報の種類が少ないという利点がある。また、物品の種類を示す情報を教師データとして用いないので、物品の種類に依存しない機械学習がなされ、教師データに含まれる物品と異なる物品の個数の認識を支障なく行うことができる利点がある。

例えば、前記認識モデルは、前記教師データである前記１以上の組それぞれに属する前記第二画像を入力データとし、当該組に属する前記個数を出力データとして、機械学習により構築された認識モデルであってもよい。

上記態様によれば、認識モデルは、入力された第二画像のみに基づいて、その第二画像に含まれる物品の個数を出力することができる。よって、計数装置は、画像と異なる情報の入力を必要とせずに、より高い信頼性で物品の個数を認識することができる。

例えば、前記認識モデルは、畳み込みニューラルネットワークモデルであってもよい。

上記態様によれば、計数装置は、機械学習により構築された畳み込みニューラルネットワークモデルを用いて、物品の計数を行う。画像についての認識の精度が高い畳み込みニューラルネットワークモデルを用いることで、計数装置は、より高い信頼性で物品の個数を認識することができる。

例えば、前記計数装置は、さらに、前記機械学習により前記認識モデルを構築する学習部を備えてもよい。

上記態様によれば、計数装置は、当該計数装置の学習部によって構築する認識モデルを用いて物品の個数を認識する。言い換えれば、計数装置は、計数装置と異なる、機械学習のための他の装置を用いることなく、認識モデルを構築することができる。よって、計数装置は、機械学習のための他の装置を用いることなく、より高い信頼性で物品の個数を認識することができる。

また、本発明の一態様に係る会計システムは、上記の計数装置と、前記計数装置とは独立に前記１以上の第一物品の個数を計数する会計計数部と、前記会計計数部により計数された前記１以上の第一物品の個数である第一数と、前記計数装置の前記計数部が出力した前記１以上の第一物品の個数である第二数とが一致すると判定した場合に、前記１以上の第一物品の会計処理を行う会計処理部とを備える。

上記態様によれば、会計システムは、計数装置が出力した物品の個数と、会計のために独立に計数された物品の個数とが一致する場合にのみ、会計処理を行う。これにより、会計システムは、より高い信頼性で物品の個数を認識し、さらに、認識により得た高い信頼性を有する個数に基づいて会計処理を行うことができる。

例えば、前記学習部は、前記教師データに含まれる前記第二画像として前記第一画像を用い、かつ、前記教師データに含まれる前記１以上の物品の個数として前記第一数を用いて、機械学習によって前記認識モデルを更新してもよい。

上記態様によれば、会計システムは、会計処理の際に取得した物品の画像と、その個数とを用いて、計数装置が有する認識モデルを更新する。これにより、認識モデルの教師データを増やし、計数装置による物品の個数の認識の精度をより高くすることができる。

例えば、前記会計システムは、前記第一数と前記第二数とが一致しないと前記会計処理部が判定した場合に、報知を行う報知部を備えてもよい。

上記態様によれば、会計システムは、計数装置が出力した物品の個数と、会計のために独立に計数された物品の個数とが一致しない場合に、報知によりユーザに注意を促すことができる。

例えば、前記会計処理部は、さらに、前記第一数と前記第二数とが一致しないと前記会計処理部が判定した場合に、前記第一数と前記第二数とについての正誤情報を取得し、前記第一数が誤りであることを前記正誤情報が示している場合には、（ａ）前記会計計数部に、前記第一数の修正をさせ、（ｂ）前記学習部に、前記修正後の前記第一数を、前記教師データに含まれる前記１以上の物品の個数として用いて、機械学習によって前記認識モデルを更新させてもよい。

上記態様によれば、会計システムは、会計計数部による計数の結果を修正した上で、認識モデルを更新する。これにより、会計計数部による計数の結果に誤りが含まれていた場合でも、正しい計数結果を用いて認識モデルの教師データを増やし、計数装置による物品の個数の認識の精度をより高くすることができる。

例えば、前記会計処理部は、さらに、前記第一数と前記第二数とが一致しないと前記会計処理部が判定した場合に、前記第一数と前記第二数とについての正誤情報を取得し、前記第一数が正しく、かつ、前記第二数が誤りであることを前記正誤情報が示している場合には、前記学習部に、前記教師データに含まれる前記１以上の物品の個数として前記第一数を用いて、機械学習によって前記認識モデルを更新させてもよい。

上記態様によれば、会計システムは、会計計数部による計数の結果を用いないで、認識モデルを更新する。これにより、会計計数部による計数の結果に誤りが含まれていた場合でも、正しい計数結果を用いて認識モデルの教師データを増やし、計数装置による物品の個数の認識の精度をより高くすることができる。

また、本発明の一態様に係る学習装置は、画像に映っている１以上の物品の個数を認識する認識モデルを構築する学習部を備え、前記学習部は、１以上の物品が映っている第二画像と、前記第二画像に映っている前記１以上の物品の個数との組み合わせで構成された１以上の組を教師データとした機械学習により、前記認識モデルを構築する。

これによれば、学習装置は、情報量が比較的多い情報、例えば、物品の種類又は寸法を示す情報などを教師データとして用いることがない。また、学習装置は、物品が映っている画像及び画像に映っている物品の個数以外の種類の情報を教師データとして用いることがないように構成されてもよい。よって、教師データとして必要な情報の種類が削減される利点がある。また、物品の種類を示す情報を教師データとして用いないで機械学習を行うので、物品の種類に依存しない学習がなされ、学習に用いた物品と異なる物品の認識を行うことができる利点がある。

また、本発明の一態様に係る計数装置の制御方法は、カメラにより、１以上の第一物品を撮像して第一画像を生成し、画像に映っている１以上の物品の個数を認識する認識モデルに、前記第一画像を入力することで出力される、前記第一画像に映っている前記１以上の第一物品の個数を出力し、前記認識モデルは、１以上の物品が映っている第二画像と、前記第二画像に映っている前記１以上の物品の個数との組み合わせで構成された１以上の組を教師データとした機械学習により構築された認識モデルである。

これにより、上記計数装置と同様の効果を奏する。

また、本発明の一態様に係る会計システムの制御方法は、会計システムの制御方法であって、請求項１１に記載の計数装置の制御方法を実行し、前記計数装置とは独立に前記１以上の第一物品の個数を計数し、計数された前記１以上の第一物品の個数である第一数と、前記計数装置の制御方法によって出力された前記１以上の第一物品の個数である第二数とが一致すると判定した場合に、前記１以上の第一物品の会計処理を行う。

これにより、上記会計システムと同様の効果を奏する。

また、本発明の一態様に係る学習装置の制御方法は、１以上の物品が映っている画像を取得し、前記画像に映っている１以上の物品の個数を認識する認識モデルを構築し、前記構築の際には、１以上の物品が映っている第二画像と、前記第二画像に映っている前記１以上の物品の個数との組み合わせで構成された１以上の組を教師データとした機械学習により、前記認識モデルを構築する。

これにより、上記学習装置と同様の効果を奏する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
本実施の形態において、より高い信頼性で物品の個数を認識する計数装置などについて説明する。

図１は、本実施の形態における、計数装置３を含む会計システム１の外観を示す模式図である。図２は、本実施の形態における、計数装置３を含む会計システム１の機能構成を示すブロック図である。図３は、本実施の形態における買物かご８の外観を示す模式図である。なお、以下の説明において、図面中に示す座標軸を用いた説明を行う場合もある。その際、Ｚ軸のプラス方向を上といい、Ｚ軸のマイナス方向を下ということもある。

会計システム１は、例えばコンビニエンスストア又はスーパーマーケットなどの小売店の店舗に設置され、顧客が物品を購入する際に会計処理を行うシステムであり、例えばレジスタ装置である。なお、会計システム１は、顧客に応対する店員が使用するものであってもよいし、顧客自身が使用するものであってもよい。なお、物品を、商品と表現してもよい。

図１に示されるように、会計システム１は、計数装置３と、会計装置５と、カウンタ台７と、買物かご８とを備える。

計数装置３は、買物かご８に収容されている１以上の物品９の個数を計数する装置である。計数装置３は、機械学習を利用して、より高い信頼性で、買物かご８に収容されている１以上の物品９の個数を計数する。

会計装置５は、顧客が購入する１以上の物品９の会計処理を行う装置である。会計装置５は、買物かご８に収容されている１以上の物品９それぞれの物品情報を買物かご８から取得し、上記１以上の物品９についての会計処理を行う。

カウンタ台７は、顧客が１以上の物品９を購入する際に使用される作業台である。カウンタ台７には、上面７１の長手方向（Ｘ軸方向）の略中央部に開口する凹所７２が形成されている。凹所７２は、買物かご８が載置されるためのスペースである。図１では、買物かご８が凹所７２内に載置された状態を示しているが、買物かご８は、凹所７２に固定されているわけではなく、買物かご８が載置されていないこともある。

買物かご８は、顧客が購入する１以上の物品９が収容されるかごである。買物かご８は、顧客が店内を移動する際に顧客とともに移動され、顧客が購入しようとする１以上の物品９が収容され得る。買物かご８は、買物かご８に収容されている１以上の物品９それぞれの物品情報を取得し、取得した物品情報を会計装置５に提供する。

ここで、会計装置５が、買物かご８による物品情報の読み取りだけに基づいて会計処理を行うと、物品情報の読み取り漏れがあった場合に、会計処理が正常に行われないという問題が発生する。

そこで、会計システム１では、計数装置３がより高い信頼性で物品の個数を認識するとともに、その認識された個数と、計数装置３とは独立に会計装置５により計数された個数とを用いて、会計処理の信頼性を向上する。

以降において、図２を参照しながら、計数装置３と、会計装置５と、買物かご８との機能を説明する。

図２に示されるように、計数装置３は、カメラ３１と、計数部３２と、学習部３３とを備える。

カメラ３１は、１以上の物品９を撮像して画像（第一画像に相当）を生成する撮像装置である。カメラ３１が設置される位置及び向きは、買物かご８に収容されている１以上の物品９を撮像することができれば任意であるが、例えば、買物かご８の真上の位置に、下向きに設置される（図１参照）。なお、計数装置３は、複数のカメラ３１を備えてもよい。

計数部３２は、カメラ３１が生成した画像に映っている１以上の物品９の個数を出力する。計数部３２は、認識モデル３４を保有しており、カメラ３１が生成した画像を認識モデル３４に入力することで出力される、当該画像に映っている１以上の物品９の個数を出力する。認識モデル３４は、計数部３２が予め保有しているものであってもよいし、学習部３３によって構築され提供されたものであってもよい。

学習部３３は、機械学習により認識モデル３４を構築する。学習部３３は、認識モデル３４を構築したら、構築した認識モデル３４を計数部３２に提供する。なお、学習部３３は、必須の構成要素ではなく、計数装置３に備えられていなくてもよい。

認識モデル３４は、画像に映っている１以上の物品９の個数を認識するための認識モデルである。認識モデル３４は、１以上の物品が映っている画像（第二画像に相当）と、上記画像に映っている１以上の物品の個数との組み合わせで構成された１以上の組を教師データとした機械学習により構築された認識モデルである。言い換えれば、認識モデル３４は、１以上の組であって、上記１以上の組それぞれが１以上の物品９が映っている画像（第二画像に相当）と、上記画像に映っている１以上の物品９の個数との組である１以上の組を教師データとした機械学習により構築された認識モデルである。より具体的には、認識モデル３４は、上記教師データである１以上の組それぞれに属する画像を入力データとし、当該組に属する個数を出力データとして、機械学習により構築された認識モデルである。認識モデル３４の構築の際には、例えば、既知の数量の物品を配置したＣＧ（computer graphics）画像が教師データとして用いられる。

また、学習部３３は、機械学習により認識モデル３４を更新する。学習部３３が更新に用いる教師データに含まれる画像として、カメラ３１が生成した画像が用いられる。また、学習部３３が更新に用いる教師データに含まれる個数として、会計計数部５１が出力した個数が用いられる。

また、学習部３３による認識モデル３４の更新は、リアルタイムに行われることを要せず、画像と、当該画像が撮影された時刻に会計計数部５１が出力した個数とを教師データとして、事後的に行われてもよい。さらに、認識モデル３４の更新の際に、会計計数部５１が出力した個数を用いず、既知の数量の物品を配置したＣＧ画像を教師データとして用いて更新してもよい。

なお、認識モデル３４は、例えば、ニューラルネットワークモデル、より具体的には、畳み込みニューラルネットワークモデル（ＣＮＮ（Convolutional Neural Network））である。認識モデル３４が畳み込みニューラルネットワークモデルである場合、学習部３３は、教師データに基づく機械学習によって、畳み込み層のフィルタの係数（重み）などを決定する。

会計装置５は、会計計数部５１と、会計処理部５２と、報知部５３と、表示画面５４とを備える。

会計計数部５１は、顧客が購入する１以上の物品９の会計処理のために、１以上の物品９の計数を行う。会計計数部５１は、計数装置３の計数部３２とは独立に、買物かご８に収容されている１以上の物品９の個数を計数する。言い換えれば、会計計数部５１は、計数装置３の計数部３２が実行する計数処理とは異なる計数方法によって、買物かご８に収容されている１以上の物品９の個数を計数する。例えば、会計計数部５１は、買物かご８がＲＦＩＤ（Radio Frequency IDentifier）リーダによって、１以上の物品９それぞれに取り付けられているＲＦＩＤタグから無線で読み取った物品情報に基づいて、１以上の物品９の個数を取得する。また、会計計数部５１は、買物かご８が有するバーコードリーダによって、１以上の物品９それぞれに取り付けられているバーコードから読み取った物品情報に基づいて、１以上の物品９の個数を取得してもよい。また、物品情報の読み取りは買物かご８によるものに限らず、カウンタ台７に設置されたＲＦＩＤリーダにより読み取りを行ってもよい。さらには、カメラ３１とは別に設けられたカメラによって認識された１以上の物品９の個数を取得してもよい。

会計処理部５２は、買物かご８に収容されている１以上の物品９の会計処理を行う。会計処理部５２は、会計計数部５１により計数された１以上の物品９の個数（第一数に相当）と、計数装置３の計数部３２が出力した１以上の物品９の個数（第二数に相当）とが一致するか否かを判定する。そして、会計処理部５２は、第一数と第二数とが一致すると判定した場合に、１以上の物品９の会計処理を行う。一方、第一数と第二数とが一致しないと判定した場合には、会計処理部５２は、報知部５３を制御して報知を行う。

また、会計処理部５２は、第一数と第二数とについての正誤情報を取得する。この正誤情報の取得は、報知部５３が報知をする場合には、その報知の後になされ得る。正誤情報は、第一数又は第二数が、買物かご８に実際に収容されている１以上の物品９の個数と一致している、つまり正しいか、又は、一致していない、つまり誤りであるかを示す情報である。会計処理部５２は、取得した正誤情報を学習部３３に提供する。正誤情報を利用した学習部３３による処理については、後で説明する。

報知部５３は、会計処理部５２による判定の結果に基づいて報知を行う。具体的には、報知部５３は、第一数と第二数とが一致しないと会計処理部５２が判定した場合に、報知を行う。

表示画面５４は、会計処理部５２による制御に基づいて各種情報を示す画像を表示する表示装置である。具体的には、表示画面５４は、報知部５３による報知に係る画像を表示する。

次に、学習部３３による認識モデル３４の更新処理について説明する。上記のとおり、学習部３３は、機械学習により認識モデル３４を更新する。学習部３３は、教師データに含まれる個数として、会計計数部５１により計数された個数を用いる。具体的には、学習部３３は、第一数と第二数とが一致すると会計処理部５２が判定した場合には、教師データとして第一数を用いた機械学習により認識モデル３４を更新する。

また、学習部３３は、第一数と第二数とが一致しないと会計処理部５２が判定した場合には、さらに、会計処理部５２が取得した正誤情報に基づく認識モデル３４の更新処理をする。

具体的には、会計処理部５２は、第一数と第二数とが一致しないと判定した場合には、さらに、正誤情報に基づく判定を行う。第一数が誤りであることを正誤情報が示している場合には、会計処理部５２は、（ａ）会計計数部５１に、第一数の修正をさせ、（ｂ）学習部３３に、修正後の第一数を、教師データに含まれる１以上の物品９の個数として用いて、機械学習によって認識モデル３４を更新させる。また、第一数が正しく、かつ、第二数が誤りであることを正誤情報が示している場合には、学習部３３に、教師データに含まれる１以上の物品９の個数として第一数を用いて、機械学習によって認識モデル３４を更新させる。

買物かご８は、収容体８１と、読取部８２を備える。

収容体８１は、顧客が購入しようとする１以上の物品９を収容し得る。

読取部８２は、収容体８１に収容された１以上の物品９の物品情報を読み取る読取装置である。読取部８２が物品情報を取得する方法には、さまざまな方法がある。一例として、図３に示されるように、読取部８２がＲＦＩＤリーダを備え、１以上の物品９それぞれに取り付けられているＲＦＩＤタグ９ａから無線で物品情報を取得する方法がある。ただし、これに限られず、他にもバーコード又は二次元バーコードを読み取る方法などがあり得る。なお、読取部８２は、買物かご８に備えられている場合に限らず、カウンタ台７に備えられてもよい。

なお、計数装置３と会計装置５と買物かご８とが有する各機能は、それぞれ、プロセッサがメモリを用いて所定のプログラムを実行することで実現されてもよいし、専用ハードウェアで実現されてもよい。計数装置３と会計装置５との両方が一のプロセッサを用いて実現されてもよい。

次に、学習部３３による学習の方法を説明する。

図４は、本実施の形態における学習部３３による機械学習のための教師データを示す説明図である。

図４には、教師データの一例として、ｎ組（ｎは１より大きい整数）の画像と個数とで構成される教師データＴ１、・・・、Ｔｎが示されている。

教師データＴ１、・・・、Ｔｎは、１以上の物品９が撮像された画像Ｉ１、・・・、Ｉｎと、画像Ｉ１、・・・、Ｉｎそれぞれに映っている１以上の物品９の個数Ｎ１、・・・、Ｎｎとのみを含む。言い換えれば、教師データＴ１、・・・、Ｔｎは、画像Ｉ１、・・・、Ｉｎと個数Ｎ１、・・・、Ｎｎとの他には情報を有しない。より具体的には、教師データＴ１、・・・、Ｔｎは、物品９の種別を示す情報、画像上における物品９の寸法を示す情報などを有しない。教師データの組の数ｎは、特に限定されないが、例えば数万〜数十万程度である。ｎが大きいほど、認識モデル３４を用いて計数部３２が出力する１以上の物品９の個数の精度がより高い傾向がある。

学習部３３は、図４に示される教師データＴ１、・・・、Ｔｎを用いて、画像Ｉ１、・・・、Ｉｎの特徴などを機械学習し、画像Ｉ１、・・・、Ｉｎのみが入力されたときに、個数Ｎ１、・・・、Ｎｎを出力するように認識モデル３４を構築する。認識モデル３４が畳み込みニューラルネットワークモデルである場合、畳み込み層のフィルタの係数（重み）などを決定することで、認識モデル３４の構築がなされる。

以上のように構成された計数装置３及び会計システム１の制御方法について以降で説明する。

図５は、本実施の形態における計数装置３の制御方法を示すフロー図である。

ステップＳ１０１において、計数部３２は、カメラ３１が生成した画像を取得する。

ステップＳ１０２において、計数部３２は、認識モデル３４に、ステップＳ１０１で取得した画像を入力する。

ステップＳ１０３において、計数部３２は、ステップＳ１０２で画像を入力したことに応じて認識モデル３４が出力する、入力した画像に映っている１以上の物品９の個数を取得する。

ステップＳ１０４において、計数部３２は、ステップＳ１０３で取得した、上記画像に映っている１以上の物品９の個数を出力する。

以上の一連の処理により、計数装置３は、より高い信頼性で物品９の個数を認識することができる。

図６は、本実施の形態における会計システム１の制御方法を示すフロー図である。図６に示される一連の処理は、図５に示される計数装置３の処理が終わった後になされる。

ステップＳ２０１において、会計処理部５２は、会計計数部５１から買物かご８に収容されている１以上の物品９の個数（第一数）を取得する。

ステップＳ２０２において、会計処理部５２は、計数装置３つまり計数部３２が上記ステップＳ１０４で出力した、カメラ３１が取得した画像に映っている１以上の物品９の個数（第二数）を取得する。

ステップＳ２０３において、会計処理部５２は、ステップＳ２０１で取得した個数（第一数）と、ステップＳ２０２で取得した個数（第二数）とが一致するか否かを判定する。両個数が一致する場合（ステップＳ２０３でＹｅｓ）には、ステップＳ２０４に進み、そうでない場合（ステップＳ２０３でＮｏ）には、ステップＳ２１１に進む。

ステップＳ２０４において、会計処理部５２は、１以上の物品９の会計処理を行う。

ステップＳ２０５において、学習部３３は、認識モデル３４の更新処理を行う。更新処理には、教師データに含まれる物品９の画像としてステップＳ１０１でカメラ３１が取得した画像を用い、物品９の個数として第一数を用いる。ステップＳ２０５を終えたら、図６に示される一連の処理を終了する。

ステップＳ２１１において、報知部５３は、報知を行う。例えば、報知部５３は、第一数と第二数とが一致しないことを示す画像を表示画面５４に表示する。このとき、第一数及び第二数の一方又は両方が正しいか（若しくは誤りであるか）を示す正誤情報の提供をユーザに促すメッセージを、さらに表示してもよい。

ステップＳ２１２において、会計処理部５２は、ユーザから正誤情報を取得する。ユーザからの正誤情報の取得は、ステップＳ２１１においてメッセージが表示された場合には、その表示されたメッセージに応じてユーザが入力する正誤情報を取得することでなされる。

ステップＳ２１３において、会計処理部５２は、ステップＳ２１２で取得した正誤情報が、第一数が誤りであることを示しているか否かを判定する。第一数が誤りであることを正誤情報が示している場合（ステップＳ２１３でＹｅｓ）には、ステップＳ２１４に進み、そうでない場合（ステップＳ２１３でＮｏ）には、ステップＳ２２１に進む。

ステップＳ２１４において、会計処理部５２は、会計計数部５１に、第一数の修正をさせる。

ステップＳ２１５において、会計処理部５２は、学習部３３に、修正後の第一数を、教師データに含まれる１以上の物品９の個数として用いて、機械学習によって認識モデル３４を更新させる。ステップＳ２１５を終えたら、図６に示される一連の処理を終了する。

ステップＳ２２１において、会計処理部５２は、ステップＳ２１２で取得した正誤情報が、第二数が誤りであることを示しているか否かを判定する。第二数が誤りであることを正誤情報が示している場合（ステップＳ２２１でＹｅｓ）には、ステップＳ２２２に進み、そうでない場合（ステップＳ２２１でＮｏ）には、図６に示される一連の処理を終了する。

ステップＳ２２２において、会計処理部５２は、学習部３３に、教師データに含まれる１以上の物品９の個数として第一数を用いて、機械学習によって認識モデル３４を更新させる。ステップＳ２２２を終えたら、図６に示される一連の処理を終了する。

図６に示される一連の処理により、会計システム１は、計数装置３により認識された個数と、計数装置３とは独立に会計装置５により計数された個数とを用いて、高い信頼性で会計処理を行う。また、正誤情報を用いて、計数装置３の認識モデルを更新し、計数装置３による計数の精度を向上できる利点がある。

（実施の形態の変形例）
本変形例において、上記実施の形態における計数装置３のうちの学習機能だけを有する学習装置３Ａについて説明する。

図７は、本変形例における学習装置３Ａの機能構成を示すブロック図である。学習装置３Ａは、計数装置３のうちの学習機能だけを有する装置である。

学習装置３Ａは、学習部３３Ａを備える。

学習部３３Ａは、機械学習により認識モデル３４Ａを構築し出力する。学習部３３Ａは、１以上の物品９が映っている画像と、画像に映っている１以上の物品９の個数とのみを教師データ３５として取得する。そして、学習部３３Ａは、教師データ３５に基づいて機械学習により認識モデル３４Ａを構築する。学習部３３Ａが認識モデル３４Ａを構築する機械学習の処理の詳細は、学習部３３と同様であるので詳細な説明を省略する。

図８は、本変形例における学習装置３Ａの制御方法を示すフロー図である。

ステップＳ３０１において、学習部３３Ａは、教師データを取得する。教師データは、図４に示される教師データＴ１、・・・、Ｔｎである。

ステップＳ３０２において、学習部３３Ａは、ステップＳ３０１で取得した教師データを用いて、機械学習により認識モデル３４Ａを構築し、出力する。

図８に示される一連の処理により、学習装置３Ａは、認識モデル３４Ａを構築し、出力することができる。

学習装置３Ａは、計数装置３又は会計システム１とは独立に設けられてもよい。そのため、学習装置３Ａが構築して出力した認識モデル３４Ａを、複数の計数装置３の計数部３２に提供することができる。このようにすれば、上記の実施の形態における計数装置３が複数存在する場合に、複数の計数装置３の学習部３３が個別に認識モデル３４を構築する必要がなくなり、計数装置３の処理負荷の低減、装置構成の単純化、低コスト化などの利点がある。また、複数の計数装置３が共通の学習部３３Ａを用いるようにすれば、複数の計数装置３の間で計数部３２による計数結果に生じ得る差異が抑制される利点がある。

なお、上記の実施の形態では、買物かご８にＲＦＩＤリーダによって１以上の物品９それぞれに取り付けられているＲＦＩＤタグを読み取ることによって個数を取得する方法を説明したが、ＲＦＩＤリーダは、凹所７２に設置されていてもよい。この場合、会計計数部５１は、凹所７２に設置されたＲＦＩＤリーダから上記個数を取得する。

以上のように、上記の実施の形態に係る計数装置は、機械学習により構築された認識モデルを用いるので、より高い信頼性で物品の個数を認識することができる。その際、計数装置は、１以上の物品が映っている画像（第二画像）と、第二画像に映っている１以上の物品の個数とを教師データとして用いる。言い換えれば、計数装置は、上記画像及び個数以外の種類の情報、例えば、物品の種類又は寸法を示す情報などを教師データとして用いることがない。よって、教師データとして必要な情報の種類が削減される利点がある。また、物品の種類を示す情報を教師データとして用いないで機械学習を行うので、物品の種類に依存しない学習がなされ、学習に用いた物品と異なる物品の個数の認識を行うことができる利点がある。

また、計数装置は、入力された画像のみに基づいて、その画像に含まれる物品の個数を出力することができる。よって、計数装置は、画像と異なる情報の入力を必要とせずに、より高い信頼性で物品の個数を認識することができる。

また、計数装置は、機械学習により構築された畳み込みニューラルネットワークモデルを用いて、物品の計数を行う。画像についての認識の精度が高い畳み込みニューラルネットワークモデルを用いることで、計数装置は、より高い信頼性で物品の個数を認識することができる。

また、計数装置は、当該計数装置の学習部によって構築する認識モデルを用いて物品の個数を認識する。言い換えれば、計数装置は、計数装置と異なる、機械学習のための装置を用いることなく、認識モデルを構築することができる。よって、計数装置は、他の機械学習のための装置を用いずに、より高い信頼性で物品の個数を認識することができる。

また、上記の実施の形態及に係る会計システムは、計数装置が出力した物品の個数と、会計のために独立に計数された物品の個数とが一致する場合にのみ、会計処理を行う。これにより、会計システムは、より高い信頼性で物品の個数を認識し、さらに、認識により得た高い信頼性を有する個数に基づいて会計処理を行うことができる。

また、会計システムは、会計処理の際に取得した物品の画像と、その個数とを用いて、計数装置が有する認識モデルを更新する。これにより、認識モデルの教師データを増やし、計数装置による物品の個数の認識の精度をより高くすることができる。

また、会計システムは、計数装置が出力した物品の個数と、会計のために独立に計数された物品の個数とが一致しない場合に、報知によりユーザに注意を促すことができる。

また、会計システムは、会計計数部による計数の結果を修正した上で、認識モデルを更新する。これにより、会計計数部による計数の結果に誤りが含まれていた場合でも、正しい計数結果を用いて認識モデルの教師データを増やし、計数装置による物品の個数の認識の精度をより高くすることができる。

また、会計システムは、会計計数部による計数の結果を用いないで、認識モデルを更新する。これにより、会計計数部による計数の結果に誤りが含まれていた場合でも、正しい計数結果を用いて認識モデルの教師データを増やし、計数装置による物品の個数の認識の精度をより高くすることができる。

また、上記変形例に係る学習装置は、情報量が比較的多い情報、例えば、物品の種類又は寸法を示す情報などを教師データとして用いることがない。また、学習装置は、物品が映っている画像及び画像に映っている物品の個数以外の種類の情報を教師データとして用いることがないように構成されてもよい。よって、教師データとして必要な情報の種類が削減される利点がある。また、物品の種類を示す情報を教師データとして用いないで機械学習を行うので、物品の種類に依存しない学習がなされ、学習に用いた物品と異なる物品の認識を行うことができる利点がある。

なお、上記実施の形態及び変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態及び変形例の計数装置及び会計システムなどを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、計数装置の制御方法であって、カメラにより、１以上の第一物品を撮像して第一画像を生成し、画像に映っている１以上の物品の個数を認識する認識モデルに、前記第一画像を入力することで出力される、前記第一画像に映っている前記１以上の第一物品の個数を出力し、前記認識モデルは、１以上の物品が映っている第二画像と、前記第二画像に映っている前記１以上の物品の個数との組み合わせで構成された１以上の組を教師データとした機械学習により構築された認識モデルである制御方法を実行させる。

また、このプログラムは、コンピュータに、会計システムの制御方法であって、上記の計数装置の制御方法を実行させ、前記計数装置とは独立に前記１以上の第一物品の個数を計数し、計数された前記１以上の第一物品の個数である第一数と、前記計数装置の制御方法によって出力された前記１以上の第一物品の個数である第二数とが一致すると判定した場合に、前記１以上の第一物品の会計処理を行う制御方法を実行させる。

また、このプログラムは、コンピュータに、学習装置の制御方法であって、１以上の物品が映っている画像を取得し、前記画像に映っている１以上の物品の個数を認識する認識モデルを構築し、前記構築の際には、１以上の物品が映っている第二画像と、前記第二画像に映っている前記１以上の物品の個数との組み合わせで構成された１以上の組を教師データとした機械学習により、前記認識モデルを構築する制御方法を実行させる。

以上、一つまたは複数の態様に係る計数装置及び会計システムなどについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本発明は、より高い信頼性で物品の個数を認識する計数装置及び会計システムに利用可能である。より具体的には、コンビニエンスストア、スーパーマーケット、百貨店、ドラッグストア、家電量販店、又はホームセンターなどの小売店の店舗に導入されるレジスタ装置に利用可能である。

１ 会計システム
３ 計数装置
３Ａ 学習装置
５ 会計装置
７ カウンタ台
８ 買物かご
９ 物品
９ａ ＲＦＩＤタグ
３１ カメラ
３２ 計数部
３３、３３Ａ 学習部
３４、３４Ａ 認識モデル
３５、Ｔ１、Ｔｎ 教師データ
５１ 会計計数部
５２ 会計処理部
５３ 報知部
５４ 表示画面
７１ 上面
７２ 凹所
８１ 収容体
８２ 読取部
Ｉ１、Ｉｎ 画像
Ｎ１、Ｎｎ 個数

Claims (13)

1. １以上の第一物品を撮像して第一画像を生成するカメラと、
   画像に映っている１以上の物品の個数を認識する認識モデルに、前記第一画像を入力することで出力される、前記第一画像に映っている前記１以上の第一物品の個数を出力する計数部とを備え、
   前記認識モデルは、１以上の物品が映っている第二画像と、前記第二画像に映っている前記１以上の物品の個数との組み合わせで構成された１以上の組を教師データとした機械学習により構築された認識モデルである
   計数装置。
2. 前記認識モデルは、前記教師データである前記１以上の組それぞれに属する前記第二画像を入力データとし、当該組に属する前記個数を出力データとして、機械学習により構築された認識モデルである
   請求項１に記載の計数装置。
3. 前記認識モデルは、畳み込みニューラルネットワークモデルである
   請求項１又は２に記載の計数装置。
4. 前記計数装置は、さらに、
   前記機械学習により前記認識モデルを構築する学習部を備える
   請求項１〜３のいずれか１項に記載の計数装置。
5. 請求項１〜４のいずれか１項に記載の計数装置と、
   前記計数装置とは独立に前記１以上の第一物品の個数を計数する会計計数部と、
   前記会計計数部により計数された前記１以上の第一物品の個数である第一数と、前記計数装置の前記計数部が出力した前記１以上の第一物品の個数である第二数とが一致すると判定した場合に、前記１以上の第一物品の会計処理を行う会計処理部とを備える
   会計システム。
6. 前記学習部は、前記教師データに含まれる前記第二画像として前記第一画像を用い、かつ、前記教師データに含まれる前記１以上の物品の個数として前記第一数を用いて、機械学習によって前記認識モデルを更新する
   請求項４を引用する請求項５に記載の会計システム。
7. 前記会計システムは、
   前記第一数と前記第二数とが一致しないと前記会計処理部が判定した場合に、報知を行う報知部を備える
   請求項５又は６に記載の会計システム。
8. 前記会計処理部は、さらに、
   前記第一数と前記第二数とが一致しないと前記会計処理部が判定した場合に、前記第一数と前記第二数とについての正誤情報を取得し、
   前記第一数が誤りであることを前記正誤情報が示している場合には、
   （ａ）前記会計計数部に、前記第一数の修正をさせ、
   （ｂ）前記学習部に、前記修正後の前記第一数を、前記教師データに含まれる前記１以上の物品の個数として用いて、機械学習によって前記認識モデルを更新させる
   請求項６に記載の会計システム。
9. 前記会計処理部は、さらに、
   前記第一数と前記第二数とが一致しないと前記会計処理部が判定した場合に、前記第一数と前記第二数とについての正誤情報を取得し、
   前記第一数が正しく、かつ、前記第二数が誤りであることを前記正誤情報が示している場合には、
   前記学習部に、前記教師データに含まれる前記１以上の物品の個数として前記第一数を用いて、機械学習によって前記認識モデルを更新させる
   請求項６又は８に記載の会計システム。
10. 画像に映っている１以上の物品の個数を認識する認識モデルを構築する学習部を備え、
    前記学習部は、１以上の物品が映っている第二画像と、前記第二画像に映っている前記１以上の物品の個数との組み合わせで構成された１以上の組を教師データとした機械学習により、前記認識モデルを構築する
    学習装置。
11. 計数装置の制御方法であって、
    カメラにより、１以上の第一物品を撮像して第一画像を生成し、
    画像に映っている１以上の物品の個数を認識する認識モデルに、前記第一画像を入力することで出力される、前記第一画像に映っている前記１以上の第一物品の個数を出力し、
    前記認識モデルは、１以上の物品が映っている第二画像と、前記第二画像に映っている前記１以上の物品の個数との組み合わせで構成された１以上の組を教師データとした機械学習により構築された認識モデルである
    制御方法。
12. 会計システムの制御方法であって、
    請求項１１に記載の計数装置の制御方法を実行し、
    前記計数装置とは独立に前記１以上の第一物品の個数を計数し、
    計数された前記１以上の第一物品の個数である第一数と、前記計数装置の制御方法によって出力された前記１以上の第一物品の個数である第二数とが一致すると判定した場合に、前記１以上の第一物品の会計処理を行う
    制御方法。
13. 学習装置の制御方法であって、
    １以上の物品が映っている画像を取得し、
    前記画像に映っている１以上の物品の個数を認識する認識モデルを構築し、
    前記構築の際には、１以上の物品が映っている第二画像と、前記第二画像に映っている前記１以上の物品の個数との組み合わせで構成された１以上の組を教師データとした機械学習により、前記認識モデルを構築する
    制御方法。

Images