JP2020021378A - 物品判別システム、買物支援システム、買物支援方法、物品判別方法、及びプログラム - Google Patents

Abstract

【課題】判別対象の物品の種類が増えても、物品を判別するまでに要する時間が長くなりにくくすること。【解決手段】物品判別システム１００は、撮像部２と、判別部３１と、を備える。撮像部２は、運搬機器１に配置された物品を撮像する。判別部３１は、物品を判別する。判別部３１は、第１分類部３１１と、複数の第２分類部３１２と、を有する。第１分類部３１１は、物品に関する情報に基づいて、物品を複数のカテゴリのうちの１以上のカテゴリに分類する。複数の第２分類部３１２は、複数のカテゴリごとに設けられて、機械学習された分類器を用いて、撮像部２で撮像された物品の画像に基づいて、１以上のカテゴリに分類された物品を更に分類する。【選択図】図１

Description

本開示は、一般に物品判別システム、買物支援システム、買物支援方法、物品判別方法、及びプログラムに関する。より詳細には、本開示は、運搬機器に配置される物品を判別する物品判別システム、買物支援システム、買物支援方法、物品判別方法、及びプログラムに関する。

特許文献１には、買物かご内の商品の識別を行う商品管理システムが記載されている。この商品管理システムでは、サーバと無線通信を行う通信機器が買物かごに設けられている。通信機器は、買物かご内の動画を撮像する撮像部と、撮像部で撮像された動画をサーバに送信する無線通信部と、を有する。サーバは、動画に基づいて買物かごに投入された商品の位置を追跡する物体認識部と、動画に基づいて商品の画像認識を行い商品を識別する画像認識部と、を有する。そして、物体認識部は、画像認識部によって商品が識別されるまで、商品の位置を追跡し続ける。

特開２０１６−５７８１３号公報

特許文献１に記載の商品管理システム（物品判別システム）では、判別対象の商品（物品）の種類が増えるにつれて、物品を判別するまでに要する時間が長くなる、という問題があった。

本開示は、判別対象の物品の種類が増えても、物品を判別するまでに要する時間が長くなりにくい、物品判別システム、買物支援システム、買物支援方法、物品判別方法、及びプログラムに関する。

本開示の一態様に係る物品判別システムは、撮像部と、判別部と、を備える。前記撮像部は、運搬機器に配置された物品を撮像する。前記判別部は、前記物品を判別する。前記判別部は、第１分類部と、複数の第２分類部と、を有する。前記第１分類部は、前記物品に関する情報に基づいて、前記物品を複数のカテゴリのうちの１以上のカテゴリに分類する。前記複数の第２分類部は、前記複数のカテゴリごとに設けられて、機械学習された分類器を用いて、前記撮像部で撮像された前記物品の画像に基づいて、前記１以上のカテゴリに分類された前記物品を更に分類する。

本開示の一態様に係る買物支援システムは、上記の物品判別システムと、販売システムと、を備える。前記販売システムは、前記物品の販売処理を行うためのシステムである。

本開示の一態様に係る買物支援方法は、第１ステップと、第２ステップと、を有する物品判別方法により物品を判別し、前記物品判別方法により判別された前記物品の販売処理を行う。前記第１ステップは、運搬機器に配置される前記物品に関する情報に基づいて、前記物品を複数のカテゴリのうちの１以上のカテゴリに分類するステップである。前記第２ステップは、前記１以上のカテゴリに分類された前記物品について、機械学習された分類器を用いて、前記物品を撮像した画像に基づいて、前記第１ステップよりも更に前記物品を分類するステップである。

本開示の一態様に係る物品判別方法は、運搬機器に配置される物品を判別する物品判別方法であって、第１ステップと、第２ステップと、を有する。前記第１ステップは、前記物品に関する情報に基づいて、前記物品を複数のカテゴリのうちの１以上のカテゴリに分類するステップである。前記第２ステップは、前記１以上のカテゴリに分類された前記物品について、機械学習された分類器を用いて、前記物品を撮像した画像に基づいて、前記第１ステップよりも更に前記物品を分類するステップである。

本開示の一態様に係るプログラムは、１以上のプロセッサに、上記の物品判別方法を実行させるためのプログラムである。

本開示は、判別対象の物品の種類が増えても、物品を判別するまでに要する時間が長くなりにくい、という利点がある。

図１は、本開示の一実施形態に係る物品判別システム及び買物支援システムの構成を示す概略ブロック図である。 図２は、同上の物品判別システムにおける判別部の構成を示す概略ブロック図である。 図３は、同上の物品判別システムにおいて用いられる買物かごに商品を投入した状態の断面図である。 図４Ａ及び図４Ｂは、同上の買物かごの外観斜視図である。 図５は、同上の買物支援システムを適用したカウンタ台の一部省略した外観斜視図である。 図６Ａ〜図６Ｃは、それぞれ同上の物品判別システムにおける差分画像の取得方法の一例を説明するための図である。 図７は、同上の物品判別システムの推論フェーズでの動作を示すフローチャートである。 図８Ａは、本開示の一実施形態の第１変形例に係る物品判別システムにおいて、買物かごの構成を示す概略ブロック図である。図８Ｂは、本開示の一実施形態の第２変形例に係る物品判別システムにおいて、買物かごの構成を示す概略ブロック図である。 図９は、本開示の一実施形態の第３変形例に係る物品判別システム及び買物支援システムにおいて、販売システムの構成を示す概略ブロック図である。 図１０は、本開示の一実施形態の第４変形例に係る物品判別システムにおける判別部の構成を示す概略ブロック図である。

（１）概要
まず、本実施形態に係る物品判別システム１００の概要について、図１〜図４Ｂを参照して説明する。本実施形態の物品判別システム１００は、運搬機器１に配置される物品Ａ１を判別するシステムである。本開示でいう「運搬機器」は、例えば店舗等の施設にて物品Ａ１を運搬、つまり「運びうつす」ための機器であって、物品Ａ１を保持した状態で物品Ａ１を運搬機器１ごと移動させることが可能な機器である。具体的には、運搬機器１は、例えば物品Ａ１を収容することで物品Ａ１を保持するかご及び食器等の容器、又は物品Ａ１を載せることで物品Ａ１を保持するカート、トレイ、皿及び台車等である。

本実施形態では、運搬機器１が、買物かごである場合を例に説明する。以下、特に断りのない限り、運搬機器１を「買物かご１」ともいう。買物かご１は、例えばコンビニエンスストア、スーパーマーケット、百貨店、ドラッグストア、家電量販店及びホームセンター等の小売店の店舗で用いられる。このような買物かご１は、店舗で販売されている物品Ａ１としての商品の運搬に使用される。以下、特に断りのない限り、物品Ａ１を「商品Ａ１」ともいう。

ここで想定する物品判別システム１００は、販売システム５と共に、店舗に導入されて客の買物を支援するための買物支援システム２００を構成する。販売システム５は、商品としての物品Ａ１の販売処理を行うためのシステムである。本実施形態では、販売システム５は、店舗装置５１を備えている。店舗装置５１は、例えば店舗のカウンタ台５３（図５参照）に設置されており、精算処理等の機能を有する装置である。買物かご１は、カウンタ台５３に置かれた際に、後述する通信部３３（図１参照）にて、買物かご１に収容されている１以上の商品Ａ１の商品情報（物品情報）を店舗装置５１に送信する。これにより、店舗装置５１では、買物かご１から受信した商品情報に基づいて、１以上の商品Ａ１についての精算処理が可能になる。

本開示でいう「商品情報（物品情報）」は、判別された商品（物品）Ａ１に関する情報である。物品Ａ１が商品であれば、物品情報は商品情報（商品識別コード）であって、例えば日本国で用いられているＪＡＮ（Japanese Article Number）コード等である。また、物品情報は、物品Ａ１の品種（種類）を識別する情報に限らず、同一品種の物品Ａ１を個別に識別するシリアル情報等の情報を含んでいてもよい。これにより、同一品種の物品Ａ１が複数ある場合にも、これら同一品種の複数の物品Ａ１の各々を物品情報にて特定可能である。以下、特に断りのない限り、商品Ａ１の物品情報を「商品情報」という。

上記買物かご１が導入された店舗では、客（ユーザ）は、商品Ａ１を店内でピックアップして買物かご１に収容し、店舗装置５１にて精算を行う、という一連の処理で、商品Ａ１の購入を済ませることができる。したがって、上記買物かご１が導入された店舗では、店舗の従業員（店員）及び客の手間を軽減しつつ、例えば精算処理の開始から、商品Ａ１が客に渡るまでに掛かる時間を短縮でき、客の買物に掛かる時間を短縮できる。

ここで、本実施形態の物品判別システム１００は、以下の構成を採用することで、買物かご（運搬機器）１に収容された商品（物品）Ａ１を判別している。すなわち、物品判別システム１００は、撮像部２と、判別部３１と、を備えている。

撮像部２は、買物かご（運搬機器）１に設けられている。買物かご１は、図３〜図４Ｂに示すように、載置部１１と、突出部１２と、撮像部２と、を有している。載置部１１は、買物かご１の本体であって、運搬対象の商品Ａ１が配置される載置面１０を有している。以下、特に断りのない限り、載置部１１を「本体１１」ともいう。突出部１２は、本体１１に設けられている一対の把持部のうちの１つであって、本体（載置部）１１から載置面１０と交差する向きに突出する。ここでは、載置面１０と交差する向きは、図３における上向き、すなわち、載置面１０から本体１１の開口部１１０に向かう向きである。また、以下、特に断りのない限り、突出部１２を「把持部１２」ともいう。

そして、撮像部２は、一対の把持部１２のうちの一方の把持部１２に保持され、少なくとも載置面１０を撮像範囲とする。つまり、撮像部２は、買物かご（運搬機器）１に配置された商品Ａ１、言い換えれば載置面１０に配置された商品Ａ１、又は載置面１０に配置された商品Ａ１の上に更に載せ置かれた商品Ａ１を撮像することが可能である。

判別部３１は、買物かご１が有する処理部であって、買物かご１に配置された商品Ａ１を判別する。以下、特に断りのない限り、判別部３１を「処理部３１」ともいう。判別部３１は、図２に示すように、第１分類部３１１と、複数の第２分類部３１２と、を有している。本実施形態では、判別部３１は、“ｎ”個の第２分類部３１２を有している（“ｎ”は２以上の整数）。

第１分類部３１１は、商品（物品）Ａ１に関する情報に基づいて、商品Ａ１を複数のカテゴリＣ_１，…，Ｃ_ｎのうちの１以上のカテゴリに分類する。本開示でいう「カテゴリ」は、商品Ａ１の特徴に基づく分類であって、例えば飲料品、菓子、若しくは日用品などの商品Ａ１の品種、商品Ａ１の形状、又は商品Ａ１のサイズなどである。つまり、第１分類部３１１は、商品Ａ１に関する情報に基づいて、商品Ａ１の特徴を抽出し、抽出した商品Ａ１の特徴に基づいて商品Ａ１がいずれのカテゴリに含まれるかを分類する。本実施形態では、第１分類部３１１は、複数のカテゴリＣ_１，…，Ｃ_ｎのうちいずれか１つのカテゴリに商品Ａ１を分類する。

複数の第２分類部３１２は、それぞれ複数のカテゴリＣ_１，…，Ｃ_ｎごとに設けられている。言い換えれば、複数の第２分類部３１２は、それぞれ複数のカテゴリＣ_１，…，Ｃ_ｎと１対１に対応している。そして、複数の第２分類部３１２の各々は、機械学習された分類器を用いて、撮像部２で撮像された商品（物品）Ａ１の画像に基づいて、１以上のカテゴリに分類された商品Ａ１を更に分類する。本実施形態では、第２分類部３１２での商品Ａ１の分類は、商品Ａ１の判別に相当する。例えば、任意の第２分類部３１２が飲料品のカテゴリに対応している場合、この第２分類部３１２は、撮像部２で撮像された商品Ａ１の画像に基づいて、この商品Ａ１がどのような飲料品であるかを判別する。具体例として、撮像部２で撮像された商品Ａ１が固有の名称が付された炭酸水であれば、上記の第２分類部３１２は、商品Ａ１が上記固有の名称が付された炭酸水であると判別する。

上述のように、本実施形態では、まず第１分類部３１１により、商品（物品）Ａ１を１以上のカテゴリに分類する。そして、本実施形態では、１以上のカテゴリに分類された商品（物品）Ａ１に対して、撮像部２で撮像された商品Ａ１の画像に基づく商品Ａ１の分類処理（判別処理）を実行している。このため、本実施形態では、１つの分類器により全てのカテゴリＣ_１，…，Ｃ_ｎの商品Ａ１を対象として判別処理を行う場合と比較して、第１分類部３１１及び第２分類部３１２の各々の分類器での処理負担が小さくて済む。その結果、本実施形態では、判別対象の商品Ａ１の種類が増えても、商品Ａ１を判別するまでに要する時間が長くなりにくい、という利点がある。

（２）詳細
以下、本実施形態に係る物品判別システム１００の構成について詳しく説明する。本実施形態の物品判別システム１００は、図１に示すように、買物かご１と、処理部３１と、を備えている。本実施形態では、処理部３１は、買物かご１の構成要素の１つである。本実施形態では、運搬機器１として、コンビニエンスストアで用いられる買物かご１を例に説明する。また、本実施形態では、物品Ａ１として、コンビニエンスストアで取り扱われる商品Ａ１を例に説明する。

（２．１）買物支援システム
まず、本実施形態に係る買物かご１を用いた買物支援システム２００の全体構成について、図１を参照して説明する。買物支援システム２００は、物品判別システム１００と、店舗装置５１を含む販売システム５と、を備えている。また、販売システム５は、袋詰装置５２を更に備えている。

本実施形態では、店舗装置５１は、店舗（コンビニエンスストア）のカウンタ台５３に設置されている（図５参照）。カウンタ台５３は、販売システム５による販売処理を行うために買物かご（運搬機器）１が配置される台である。店舗装置５１は、買物かご１との通信機能を有しており、買物かご１がカウンタ台５３の精算スペースに置かれた際に、買物かご１と通信することにより、買物かご１から商品情報を取得する。

ここで、買物かご１では、客が商品Ａ１を店内でピックアップして買物かご１に投入する際に、この商品Ａ１を判別することにより、この商品Ａ１に関する商品情報を取得する。そして、買物かご１は、取得した商品Ａ１の商品情報を後述する記憶部３２に記憶している。そのため、買物かご１に１以上の商品Ａ１が投入されると、１以上の商品Ａ１の商品情報が買物かご１の記憶部３２に記憶されることになる。そして、買物かご１は、カウンタ台５３の精算スペースに置かれたときに、記憶部３２に記憶している１以上の商品Ａ１の商品情報を、店舗装置５１に対して通信部３３にて送信する。

店舗装置５１は、このようにして買物かご１から送信される商品情報を取得することで、買物かご１に収容された１以上の商品Ａ１の商品情報を取得することができる。そして、店舗装置５１は、買物かご１から取得した商品情報に基づいて、１以上の商品Ａ１についての精算処理を実行する。その結果、買物かご１が導入された店舗では、店舗の従業員（店員）及び客の手間を軽減しつつ、例えば精算処理の開始から、商品Ａ１が客に渡るまでに掛かる時間を短縮でき、客の買物に掛かる時間を短縮できる。

袋詰装置５２は、買物かご１から、持ち帰り用の容器に商品Ａ１を移す「袋詰め」を行う装置である。持ち帰り用の容器は、例えば、袋、かご、箱、カート又はバッグ等である。本実施形態では、一例として、持ち帰り用の容器が、ポリエチレン製又はポリプロピレン製の買物袋（いわゆるレジ袋）である場合を想定する。すなわち、精算処理が完了した商品は、買物かご１から持ち帰り用の容器（ここでは買物袋）に移し替えられた状態で、客に持ち帰られることになる。そのため、買物かご１から買物袋に商品Ａ１を移し替える「袋詰め」の作業が必要である。本実施形態では、このような「袋詰め」の作業を、袋詰装置５２が自動的に行うので、店員又は客が行う必要がない。

袋詰装置５２は、一例として、カウンタ台５３に内蔵されている。袋詰装置５２は、例えば、買物かご１の本体１１の底板を開閉する機構を有している。袋詰装置５２は、カウンタ台５３の精算スペースに買物かご１が置かれたときに、買物かご１の本体１１の底板を開放し、買物かご１の本体１１の底から商品Ａ１を排出する。買物かご１の底から商品Ａ１が排出されると、袋詰装置５２は、カウンタ台５３内で商品Ａ１を買物袋に収容する。これにより、カウンタ台５３の精算スペースに買物かご１が置かれた状態で、カウンタ台５３内では商品Ａ１の袋詰めが完了する。その後、精算スペースから買物かご１が撤去された状態で、袋詰装置５２が、袋詰めされた状態、つまり買物袋に収容された状態の商品Ａ１を、カウンタ台５３の精算スペース上に排出する。これにより、客においては、カウンタ台５３上に置かれている、袋詰めされた状態の商品Ａ１を持ち帰ることが可能になる。

ところで、袋詰装置５２は、店舗装置５１と通信することによって店舗装置５１と連動している。すなわち、袋詰装置５２は、店舗装置５１との通信機能を有している。本実施形態では、買物支援システム２００は、精算スペースに買物かご１が置かれると、まず、店舗装置５１にて買物かご１と通信を行い、店舗装置５１にて買物かご１から商品情報を取得する。店舗装置５１は、商品情報の取得が完了すると、袋詰装置５２に対して袋詰開始信号を送信する。袋詰装置５２は、店舗装置５１から袋詰開始信号を受信すると、商品Ａ１の「袋詰め」を開始する。その後、店舗装置５１での精算処理が完了し、かつ精算スペースから買物かご１が撤去されると、店舗装置５１は、袋詰装置５２に対して排出開始信号を送信する。袋詰装置５２は、店舗装置５１から排出開始信号を受信すると、袋詰めされた状態の商品Ａ１を精算スペース上に排出する。

この買物支援システム２００によれば、カウンタ台５３の精算スペースに買物かご１が置かれることで商品Ａ１の袋詰めが開始し、客が精算処理を行っている間に商品Ａ１の袋詰めを完了させ、精算処理の完了後に商品Ａ１を客に受け渡すことができる。したがって、客が買物かご１をカウンタ台５３の精算スペースに置いた後、袋詰めされた状態の商品Ａ１を受け取るまでの間に、精算処理以外では客及び店員が介在する必要がない。その結果、商品情報の読み取り及び袋詰め等の作業を客又は店員が行う従来の買物に比較して、買物に係る客及び店員の手間が軽減されることになる。

本実施形態に係る買物支援システム２００においては、精算スペースからの買物かご１の回収（撤去）は、基本的に客自身が行う。具体的には、袋詰装置５２は、買物かご１から商品Ａ１の排出が完了すると買物かご１の底板を閉じる。その後、例えば店舗装置５１により、表示又は音声等の手段により、買物かご１の回収を促すための通知が行われる。この通知を受けて、客は、精算スペースに置かれている空の買物かご１を、かご置場に移動させる。かご置場には、給電装置が設置されており、買物かご１は、給電装置に対してスタックされた状態でかご置場に返却される。

ここにおいて、買物かご１は、図１に示すように、撮像部２、及び処理部３１等を含む電気回路３の動作用の電源として、二次電池（バッテリ）４を備えている。二次電池４は、一例としてリチウムイオン電池である。二次電池４は、撮像部２及び電気回路３に電力を供給することで、撮像部２及び電気回路３を動作させる。つまり、買物かご１の使用中における買物かご１（撮像部２及び電気回路３）の動作用の電力は、二次電池４によって賄われるため、買物かご１の使用後には、買物かご１の（二次電池４の）充電が必要になる。そこで、本実施形態では、かご置場に置かれた買物かご１の充電を給電装置にて行う。

本実施形態では、かご置場に複数の買物かご１が一列にスタックされた状態（積み重ねられた状態）で、給電装置が複数の買物かご１の充電を行うように構成される。つまり、本実施形態では、縦方向（鉛直方向）に積み重ねられた状態の複数の買物かご１を対象として、かご置場に置かれた１台の給電装置にて充電を行う。各買物かご１は、給電装置からの電力供給を受けて、充電回路３５にて二次電池４を充電する。

（２．２）買物かご
次に、買物かご１の構成について図１〜図４Ｂを参照して説明する。買物かご１は、本体１１と、撮像部２と、電気回路３と、二次電池４と、を備えている。本実施形態では、撮像部２、電気回路３、及び二次電池４は、いずれも一対の把持部１２のうちの一方の把持部１２に内蔵されており、互いに電気的に接続されている。図１は、買物かご１の回路構成を表しており、本体１１の図示は省略している。

本体１１は、少なくとも上面が開口した箱状である。本体１１は、一対の把持部１２と、開口部１１０の周囲に設けられた鍔部１３と、を有している。本体１１の底板の上面は、複数の商品Ａ１が配置される載置面１０となっている。したがって、本体１１内には、複数の商品Ａ１を収容可能である。鍔部１３は、本体１１の上端部に連続しており、本体１１の開口部１１０を囲む枠状に形成されている。

一対の把持部１２は、可倒式であって、各々の根元部分が鍔部１３に支持されている。つまり、一対の把持部１２は、本体１１に設けられている。一対の把持部１２は、客が買物かご（運搬機器）１を運搬する（持ち運ぶ）際に掴まれる部位である。本実施形態では、一対の把持部１２は、各々の根元部分を軸として回転することで、図４Ａに示す第１位置と、図４Ｂに示す第２位置との間で移動可能に構成されている。

第１位置では、一対の把持部１２の各々の持ち手部分が開口部１１０の上方に位置するように、一対の把持部１２の各々が直立している。このため、一対の把持部１２が第１位置にある場合、客は一対の把持部１２を掴んで買物かご１を持ち運ぶことが可能である。つまり、第１位置は、買物かご（運搬機器）１を運搬する場合、言い換えれば買物かご１が使用状態にある場合の位置である。

第２位置では、一対の把持部１２の各々の持ち手の部分が鍔部１３に近い位置まで倒れている。このため、一対の把持部１２が第２位置にある場合、客は一対の把持部１２を掴んで買物かご１を持ち運ぶことができない。つまり、第２位置は、買物かご（運搬機器）１を運搬しない場合、言い換えれば買物かご１が使用状態にない場合の位置である。

一対の把持部１２は、買物かご１がかご置場にスタックされている状態においては、第２位置にある。そして、一対の把持部１２は、客が買物かご１をかご置場から取り出す際に、客の手により第２位置から第１位置に移動する。

撮像部２は、例えばＣＣＤ（Charge-Coupled Device）イメージセンサ等の固体撮像素子を有する。撮像部２は、買物かご１の内部を撮像することにより、買物かご１に収容されている商品Ａ１の画像を撮像する。つまり、撮像部２は、少なくとも載置面１０を撮像範囲とする。撮像部２で撮像されることで得られる画像は、処理部３１に送信される。

図４Ａ及び図４Ｂに示すように、一対の把持部１２のうちの一方の把持部１２の持ち手の部分１２１からは、持ち手の部分１２１の長手方向において間隔を空けて一対の突起１２２が突出している。一対の突起１２２は、一対の把持部１２が第１位置にある場合に、図４Ａにおける下向き（つまり、開口部１１０から載置面１０に向かう向き）に突出する。そして、撮像部２は、一対の突起１２２のうちの一方の突起１２２の下端に設けられている。このため、客が持ち手の部分１２１を掴んで買物かご１を持ち運ぶ際に、客の手が撮像部２の撮像範囲に入り込みにくくなっている。

本実施形態では、撮像部２は、買物かご（運搬機器）１に商品（物品）Ａ１が配置されたことを検知する検知部としても機能する。つまり、載置面１０に商品Ａ１が配置されると、撮像部２の撮像範囲に商品Ａ１が入り込むことになる。このため、処理部３１は、撮像部２の撮像範囲に商品Ａ１が入り込むことにより、撮像部２からの電気信号に所定量以上の変化が生じると、この変化が生じたタイミングの画像を取得する。言い換えれば、撮像部２は、検知部（撮像部２）にて商品Ａ１が買物かご１に配置されたことを検知すると、撮像する。なお、検知部（撮像部２）は、商品Ａ１が載置面１０の上方にある所定の領域（ここでは、本体１１の内部）に入ったことを検知すると、撮像するように構成されていてもよい。

電気回路３は、二次電池４からの電力供給を受けて動作する種々の回路モジュールを含んでいる。本実施形態では、電気回路３は、図１に示すように、処理部３１と、記憶部３２と、通信部３３と、センサ３４と、充電回路３５と、を有している。

処理部３１は、例えばプロセッサ及びメモリを含むコンピュータ（マイクロコントローラを含む）を有する。すなわち、コンピュータは、メモリに記録された適宜のプログラムをプロセッサにて実行することにより、処理部３１の一部として機能する。処理部３１は、少なくとも撮像部２及び通信部３３を制御する機能を有している。

本実施形態では、処理部３１は、判別部３１としての機能を有している。つまり、処理部３１は、撮像部２からの画像を入力データとして機械学習された分類器に入力することにより、撮像部２からの画像に含まれる商品Ａ１を判別し、判別した商品Ａ１の商品情報を取得する。分類器は、例えば店舗で取り扱う複数の商品Ａ１の画像を入力データとして機械学習することで得られる。分類器は、例えばＳＶＭ（Support Vector Machine）等の線形分類器の他、ニューラルネットワークを用いた分類器、又は多層ニューラルネットワークを用いた深層学習（ディープラーニング）により生成される分類器を含み得る。

本実施形態では、処理部３１は、図２に示すように、第１分類部３１１と、複数（ここでは、“ｎ”個）の第２分類部３１２と、を有している。また、本実施形態では、第１分類部３１１及び複数の第２分類部３１２は、それぞれ互いに異なる学習済みのニューラルネットワークを用いた分類器を有している。学習済みのニューラルネットワークは、例えばＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）、又はＢＮＮ（Bayesian Neural Network：ベイズニューラルネットワーク）等を含み得る。

第１分類部３１１及び複数の第２分類部３１２は、いずれもＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field-Programmable Gate Array）等の集積回路に、学習済みのニューラルネットワークを実装することで実現されている。本実施形態では、第１分類部３１１及び複数の第２分類部３１２は、いずれも１枚の基板に実装されているが、複数の基板に分かれて実装されてもよい。

第１分類部３１１は、撮像部２で撮像された商品Ａ１が写っている画像を入力データとして、商品Ａ１を複数のカテゴリＣ_１，…，Ｃ_ｎのうちの１つのカテゴリに分類する。つまり、本実施形態では、撮像部２で撮像された商品Ａ１が写っている画像が、商品（物品）Ａ１に関する情報である。言い換えれば、商品Ａ１に関する情報は、撮像部２で撮像された商品Ａ１の画像情報を含んでいる。本実施形態では、複数のカテゴリＣ_１，…Ｃ_ｎは、商品Ａ１の品種である。つまり、第１分類部３１１は、飲料品又は日用品などの店舗が取り扱う商品Ａ１の複数の品種のうちのいずれかの品種に、商品Ａ１を分類する。

複数の第２分類部３１２は、それぞれ複数のカテゴリＣ_１，…，Ｃ_ｎに１対１に対応している。また、複数の第２分類部３１２の各々は、撮像部２で撮像された商品Ａ１が写っている画像を入力データとして、商品Ａ１（言い換えれば、商品Ａ１の商品情報）を判別する（つまり、分類する）。

図２において、“３１２”の隣に付している“［Ｃ_１］，…，［Ｃ_ｎ］”は、それぞれ第２分類部３１２が対応する商品Ａ１のカテゴリを表している。例えば、第２分類部３１２［Ｃ_２］は、カテゴリＣ_２に対応する第２分類部３１２である。また、図２において、“Ｂ_１１，…，Ｂ_１ｍ，…Ｂ_ｎｍ”は、それぞれ商品Ａ１の商品情報を表している（“ｍ”は、２以上の整数）。例えば、カテゴリＣ_２に対応する第２分類部３１２は、撮像部２で撮像された商品Ａ１が写っている画像を入力データとして、商品Ａ１の商品情報が、“Ｂ_２１，…，Ｂ_２ｍ”のうちのいずれかの商品情報であると判別する。なお、“ｍ”の数値は、複数の第２分類部３１２ごとに異なっていてもよい。

ここで、処理部３１は、全ての第２分類部３１２を用いるのではなく、第１分類部３１１で商品Ａ１が分類されたカテゴリに対応した第２分類部３１２を用いて、商品Ａ１を判別する。例えば、第１分類部３１１において商品Ａ１がカテゴリＣ_３に分類された場合、処理部３１では、カテゴリＣ_３に対応する第２分類部３１２が、撮像部２で撮像された商品Ａ１が写っている画像を入力データとして、商品Ａ１を判別する。

本実施形態では、第１分類部３１１及び複数の第２分類部３１２は、それぞれ撮像部２からの画像をそのまま用いるのではなく、差分画像を用いている。言い換えれば、複数の第２分類部３１２の各々は、差分画像に基づき、商品（物品）Ａ１を分類する。前記検知部にて検知された第１時点と、前記第１時点よりも前の第２時点とのそれぞれで前記撮像部に撮像された画像の差分の画像である差分画像に基づき、前記物品を分類する。本開示でいう「差分画像」は、検知部（撮像部２）にて検知された第１時点と、第１時点よりも前の第２時点とのそれぞれで撮像部２で撮像された画像の差分の画像である。つまり、処理部３１は、撮像部２からの画像をバッファに記憶しておき、撮像部２から新たに画像が送信されるごとにバッファに記憶してある画像との差分である差分画像を生成する。生成した差分画像は、バッファに上書きされ、次に撮像部２で撮像された画像との差分の画像を生成する際に用いられる。なお、買物かご１に商品Ａ１が投入される前においては、バッファには、背景画像（商品Ａ１が投入されていない載置面１０の画像）が記憶される。

例えば、図６Ａに示すように商品Ａ１として飲料品Ａ１１が載置面１０に配置されている状態で、図６Ｂに示すように商品Ａ１として食料品Ａ１２が買物かご１に投入されたと仮定する。この場合、処理部３１は、食料品Ａ１２が買物かご１に投入される前においては、差分画像として飲料品Ａ１１が載置面１０に配置されている画像をバッファに記憶している。そして、処理部３１は、食料品Ａ１２が買物かご１に投入されると、食料品Ａ１２が買物かご１に投入された時点（第１時点）の画像と、バッファに記憶してある画像（第２時点の画像）との差分である差分画像を生成する。この場合、差分画像は、図６Ｃに示すように、食料品Ａ１２のみが載置面１０に配置された画像となる。そして、処理部３１は、食料品Ａ１２が買物かご１に投入された時点の画像（図６Ｂ参照）をバッファに上書きする。

以下、商品Ａ１が買物かご１に投入されるごとに上記の処理を繰り返すことにより、処理部３１には、新たに買物かご１に投入された商品Ａ１のみが撮像範囲に含まれる画像が入力データとして処理部３１に入力される。このため、処理部３１は、買物かご１に複数の商品Ａ１が投入されることで複数の商品Ａ１が重なって配置される場合においても、複数の商品Ａ１を１つずつ判別することが可能である。

記憶部３２は、一例としてＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の書き換え可能な不揮発性メモリ、又はＲＡＭ（Random Access Memory）等の揮発性メモリである。また、記憶部３２は、不揮発性メモリ及び揮発性メモリの組み合わせで実現されてもよい。記憶部３２は、少なくとも処理部３１で取得した商品Ａ１の商品情報を記憶する。記憶部３２は、複数の商品Ａ１の商品情報を記憶可能である。そのため、処理部３１が複数の商品Ａ１の商品情報を取得した場合、これら複数の商品Ａ１についての商品情報が記憶部３２に記憶される。

通信部３３は、例えば赤外線又は可視光等の光を媒体とする光無線通信、又は電波を媒体とする無線通信にて、店舗装置５１との通信を行う。通信部３３は、少なくとも記憶部３２に記憶されている商品Ａ１の商品情報を店舗装置５１に送信する機能を有する。

センサ３４は、例えば加速度センサであって、把持部１２の加速度を検知する。センサ３４は、一対の把持部１２が第１位置にあるか第２位置にあるか、つまり買物かご１が使用状態にあるか否かを検知するために用いられる。具体的には、センサ３４の検知結果に基づいて、処理部３１が一対の把持部１２が第１位置にあるか第２位置にあるかを判定する。

例えば、かご置場に買物かご１がスタックされることで、一対の把持部１２が初期位置（第２位置）にあると仮定する。この場合、客が買物かご１を使用するために一対の把持部１２を直立させると、センサ３４にて所定以上の加速度を検知することになる。すると、処理部３１は、一対の把持部１２が第２位置から第１位置に移動したと判定する。その後、処理部３１は、センサ３４にて所定以上の加速度を検知するごとに、一対の把持部１２が一方の位置から他方の位置に移動したと判定する。なお、かご置場に買物かご１が戻され、給電装置からの電力供給を受けて充電回路３５にて二次電池４の充電を開始すると、処理部３１は、一対の把持部１２の位置を初期位置（第２位置）にリセットする。

そして、本実施形態では、処理部３１は、センサ３４の検知結果に基づき一対の把持部１２が第１位置にあると判定すると、撮像部２を起動させる。一方、処理部３１は、センサ３４の検知結果に基づき一対の把持部１２が第２位置にあると判定すると、撮像部２を停止させる。つまり、撮像部２は、把持部１２が第１位置にあると撮像可能な状態となり、把持部１２が第２位置にあると撮像できない状態となる。

充電回路３５は、給電装置からの電力供給を受けて、二次電池４の充電を行う。ここでは、充電回路３５は、給電装置から印加される直流電圧を降圧するＤＣ／ＤＣコンバータを含んでいる。

（３）動作
以下、本実施形態の物品判別システム１００の動作について説明する。以下では、まず、物品判別システム１００の使用前において、機械学習により、第１分類部３１１及び複数の第２分類部３１２で用いられる学習済みのニューラルネットワークを構築する学習フェーズについて説明する。次に、物品判別システム１００を使用する推論フェーズについて説明する。

（３．１）学習フェーズ
学習フェーズにおける機械学習は、例えば学習用のセンターで実行される。つまり、推論フェーズにて物品判別システム１００を使用する場所（例えば、コンビニエンスストアなどの店舗）と、学習フェーズにて機械学習を実行する場所とは互いに異なっていてもよい。学習用のセンターでは、１以上のプロセッサを用いて、第１分類部３１１及び複数の第２分類部３１２の各々で用いるニューラルネットワークの機械学習を行う。機械学習を行うに当たり、各ニューラルネットワークの重み付け係数は、初期化されている。本開示でいう「プロセッサ」は、例えばＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）等の汎用のプロセッサの他に、ニューラルネットワークでの演算に特化した専用のプロセッサを含み得る。

（３．１．１）第１分類部
まず、第１分類部３１１の学習用データセットを用いて、第１分類部３１１で用いるニューラルネットワークの機械学習を行う。本開示でいう「学習用データセット」は、ニューラルネットワークの入力層に入力される学習用の画像（以下、単に「学習用画像」という）と、学習用画像に対応する教師データとの組み合わせを１つの学習用データとした、複数の学習用データの集合である。学習用画像は、商品Ａ１が写った画像である。なお、画像における商品Ａ１の位置、大きさ、及び角度を変更した多数の学習用画像を、商品Ａ１ごとに用意するのが好ましい。

第１分類部３１１の学習用データセットには、物品判別システム１００が取り扱う全ての商品（物品）Ａ１についての学習用データが含まれる。また、第１分類部３１１の学習用データにおいては、教師データは、学習用画像に写っている商品Ａ１が分類されるカテゴリの情報である。

１以上のプロセッサは、複数の学習用データの各々について、ニューラルネットワークの入力層に学習用画像を入力して演算を実行する。そして、１以上のプロセッサは、ニューラルネットワークの出力層の複数のニューロンの出力値と、教師データとを用いて、バックプロパゲーション（誤差逆伝播法）処理を実行する。ここで、出力層の複数のニューロンは、それぞれ複数のカテゴリＣ_１，…，Ｃ_ｎに対応している。バックプロパゲーション処理においては、１以上のプロセッサは、出力層の複数のニューロンのうち、教師データと対応するニューロンの出力値の最大化を図るように、ニューラルネットワークの重み付け係数を更新する。

１以上のプロセッサは、全ての学習用データについてバックプロパゲーション処理を実行することにより、第１分類部３１１で用いるニューラルネットワークの重み付け係数の最適化を図る。これにより、第１分類部３１１で用いるニューラルネットワークの学習が完了する。

（３．１．２）第２分類部
次に、複数の第２分類部３１２の各々について、第２分類部３１２の学習用データセットを用いて、第２分類部３１２で用いるニューラルネットワークの機械学習を行う。第２分類部３１２の学習用データセットには、物品判別システム１００が取り扱う全ての商品（物品）Ａ１のうち、第２分類部３１２が対応するカテゴリの全ての商品Ａ１についての学習用データが含まれる。例えば、カテゴリＣ_１に対応する第２分類部３１２の学習用データセットには、カテゴリＣ_１に分類される全ての商品Ａ１についての学習用データが含まれる。また、第２分類部３１２の学習用データにおいては、教師データは、学習用画像に写っている商品Ａ１の商品情報（物品情報）である。

１以上のプロセッサは、複数の学習用データの各々について、ニューラルネットワークの入力層に学習用画像を入力して演算を実行する。そして、１以上のプロセッサは、ニューラルネットワークの出力層の複数のニューロンの出力値と、教師データとを用いて、バックプロパゲーション処理を実行する。ここで、出力層の複数のニューロンは、それぞれ第２分類部３１２が対応するカテゴリに分類される複数の商品Ａ１の商品情報に対応している。バックプロパゲーション処理においては、１以上のプロセッサは、出力層の複数のニューロンのうち、教師データと対応するニューロンの出力値の最大化を図るように、ニューラルネットワークの重み付け係数を更新する。

１以上のプロセッサは、全ての学習用データについてバックプロパゲーション処理を実行することにより、第２分類部３１２で用いるニューラルネットワークの重み付け係数の最適化を図る。これにより、第２分類部３１２で用いるニューラルネットワークの学習が完了する。以下、１以上のプロセッサは、上記の処理を全ての第２分類部３１２に対して実行する。これにより、全ての第２分類部３１２の各々で用いるニューラルネットワークの学習が完了する。

（３．２）推論フェーズ
次に、本実施形態の物品判別システム１００の推論フェーズでの動作について図７を用いて説明する。まず、かご置場にスタックされている買物かご１の一対の把持部１２を客が手に持つことで、一対の把持部１２が第２位置から第１位置へ移動する。これにより、処理部３１は、センサ３４の検知結果に基づき、一対の把持部１２が第１位置にあると判定し、撮像部２を起動させる。

その後、客が店舗内を移動しながら、購入したい商品Ａ１を買物かご１に投入する。処理部３１は、検知部（撮像部２）にて買物かご１に商品Ａ１が投入されたこと（つまり、載置面１０に商品Ａ１が配置されたこと）を検知すると（Ｓ１００：Ｙｅｓ）、撮像部２に撮像させる（Ｓ１０１）。これにより、処理部３１は、買物かご１に商品Ａ１が投入された時点（第１時点）における、載置面１０に商品Ａ１が配置された画像を取得する。

その後、処理部３１は、ステップＳ１０１にて取得した画像と、ステップＳ１０１の前に予めバッファに記憶してある画像（第２時点における画像）との差分画像を生成することで、差分画像を取得する（Ｓ１０２）。

処理部３１は、差分画像を入力データとして第１分類部３１１に入力することで、差分画像に含まれる商品Ａ１を、複数のカテゴリＣ_１，…，Ｃ_ｎのうちの１つのカテゴリに分類する（Ｓ１０３）。次に、処理部３１は、第１分類部３１１で商品Ａ１が分類されたカテゴリに対応する第２分類部３１２を選択する。そして、処理部３１は、この第２分類部３１２に差分画像を入力データとして入力することで、差分画像に含まれる商品Ａ１をさらに分類する（Ｓ１０４）。本実施形態では、第２分類部３１２での商品Ａ１の分類が、商品Ａ１の判別に相当する。これにより、処理部３１は、商品Ａ１を判別し、判別した商品Ａ１の商品情報を取得する（Ｓ１０５）。

つまり、処理部３１は、ステップＳ１００において買物かご１に投入された商品Ａ１の商品情報を取得する。そして、処理部３１は、取得した商品Ａ１の商品情報を記憶部３２に記憶させる（Ｓ１０６）。このように、物品判別システム１００では、買物かご１に投入された商品Ａ１について、投入されたタイミングにおける商品Ａ１に関する情報を用いて判別する。

以下、客が購入したい商品Ａ１を全て買物かご１に投入し、買物かご１をカウンタ台５３に配置するまで、つまり、一対の把持部１２が第２位置にあると処理部３１が判定するまで、買物かご１では、ステップＳ１００〜Ｓ１０６の処理を繰り返す。そして、一対の把持部１２が第２位置にあると処理部３１が判定すると、処理部３１は、撮像部２を停止させる。

買物かご１をカウンタ台５３に配置すると、処理部３１は、買物かご１の記憶部３２に記憶している１以上の商品Ａ１の商品情報を、通信部３３を介して店舗装置５１へ送信する。これにより、店舗装置５１は、買物かご１に投入された１以上の商品Ａ１の商品情報を取得する。

ここで、本実施形態では、カウンタ台５３は、カウンタ台５３に配置された買物かご（運搬機器）１の載置面１０を撮像範囲とする撮像装置５５を備えている。撮像装置５５は、図５に示すように、カウンタ台５３の上面に設置されたアーチ５４に取り付けられている。アーチ５４は、一対の支柱５４１と、梁５４２と、を有している。一対の支柱５４１は、カウンタ台５３に配置された買物かご１を挟むようにしてカウンタ台５３の上面に設置されており、上面から上方に起立している。梁５４２は、一対の支柱５４１の各々の上端部を繋いでいる。撮像装置５５は、梁５４２の長手方向の中間部に取り付けられている。

店舗装置５１は、処理部３１と同様に、店舗にて取り扱う複数の商品Ａ１を判別するための分類器を有している。この分類器は、処理部３１の第１分類部３１１及び複数の第２分類部３１２の各々の分類器とは異なり、載置面１０に配置された複数の商品Ａ１を含む画像を入力データとしながら、複数の商品Ａ１を個別に判別可能であることが好ましい。そして、店舗装置５１は、撮像装置５５により撮像された画像を入力データとして分類器に入力することにより、買物かご１に配置された１以上の商品Ａ１を判別し、１以上の商品Ａ１の商品情報を取得する。つまり、販売システム５（店舗装置５１）は、撮像装置５５により撮像された画像に基づき、買物かご（運搬機器）１に配置された商品（物品）Ａ１を判別する。

そして、店舗装置５１は、店舗装置５１にて取得した１以上の商品Ａ１の商品情報と、買物かご１から取得した１以上の商品Ａ１の商品情報とが一致すれば、精算処理を実行する。一方、店舗装置５１は、店舗装置５１にて取得した１以上の商品Ａ１の商品情報と、買物かご１から取得した１以上の商品Ａ１の商品情報とが一致しなければ、一致した商品Ａ１についてのみ販売処理を実行する。一致しない商品Ａ１については、例えば店員を介して精算処理を別途行うことで、対応する。このように、本実施形態では、買物かご１と、販売システム５とでそれぞれ商品Ａ１の判別処理を実行することで、商品Ａ１の判別精度を向上させている。

ここで、学習フェーズで用いる１以上のプロセッサの性能、学習に要する時間、及び学習に要するコスト等を考慮すると、１つの分類器（例えば、ニューラルネットワーク）で判別可能な商品（物品）Ａ１の数には限界がある。一方、本実施形態では、第１分類部３１１及び複数の第２分類部３１２を用いることにより、商品Ａ１を複数の段階に分けて判別している。このため、本実施形態では、１つの分類器が判別対象とする商品Ａ１の数を少なくすることができる。

一例として、判別対象の商品Ａ１が１０００種類であると仮定する。この場合、本実施形態では、例えば第１分類部３１１にて、１０００種類の商品Ａ１を５つのカテゴリに分類することが可能である。そして、この場合、５つのカテゴリにそれぞれ対応する複数の第２分類部３１２は、いずれも概ね２００種類の商品Ａ１を判別対象とするような分類器を備えていればよい。この場合、第１分類部３１１及び複数の第２分類部３１２の各々では、１つの分類器で１０００種類の商品Ａ１を判別する場合と比較して、処理負担が小さくて済む。

このように、本実施形態では、１つの分類器により全てのカテゴリＣ１，…，Ｃｎの商品Ａ１を対象として判別処理を行う場合と比較して、第１分類部３１１及び第２分類部３１２の各々の分類器での処理負担が小さくて済む。その結果、本実施形態では、判別対象の商品Ａ１の種類が増えても、第１分類部３１１及び複数の第２分類部３１２の各々での処理負担は大きくなりにくいので、商品Ａ１を判別するまでに要する時間が長くなりにくい、という利点がある。

（４）変形例
上述の実施形態は、本開示の様々な実施形態の一つに過ぎない。上述の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、物品判別システム１００と同様の機能は、物品判別方法、コンピュータプログラム、又はプログラムを記録した記録媒体等で具現化されてもよい。また、買物支援システム２００と同様の機能は、買物支援方法、コンピュータプログラム、又はプログラムを記録した記録媒体等で具現化されてもよい。

一態様に係る買物支援方法は、第１ステップＳ１（図７のステップＳ１０３に相当）と、第２ステップＳ２（図７のステップＳ１０４に相当）と、を有する物品判別方法により商品（物品）Ａ１を判別し、物品判別方法により判別された商品Ａ１の販売処理を行う。第１ステップＳ１は、買物かご（運搬機器）１に配置される商品Ａ１に関する情報に基づいて、商品Ａ１を複数のカテゴリＣ_１，…，Ｃ_ｎのうちの１以上のカテゴリに分類するステップである。第２ステップＳ２は、１以上のカテゴリに分類された商品Ａ１について、機械学習された分類器を用いて、商品Ａ１を撮像した画像に基づいて、第１ステップＳ１よりも更に商品Ａ１を分類するステップである。

一態様に係る物品判別方法は、買物かご（運搬機器）１に配置される商品（物品）Ａ１を判別する物品判別方法であって、第１ステップＳ１と、第２ステップＳ２と、を有している。第１ステップＳ１は、買物かご１に配置される商品Ａ１に関する情報に基づいて、商品Ａ１を複数のカテゴリＣ_１，…，Ｃ_ｎのうちの１以上のカテゴリに分類するステップである。第２ステップＳ２は、１以上のカテゴリに分類された商品Ａ１について、機械学習された分類器を用いて、商品Ａ１を撮像した画像に基づいて、第１ステップＳ１よりも更に商品Ａ１を分類するステップである。

一態様に係るプログラムは、１以上のプロセッサに、上記の物品判別方法を実行させるためのプログラムである。

以下、上述の実施形態の変形例を列挙する。以下の種々の変形例は、適宜組み合わせて適用可能である。

（４．１）第１変形例
第１変形例の物品判別システム１００は、図８Ａに示すように、電気回路３が重量センサ３６を備えている点で、上述の実施形態の物品判別システム１００と相違する。重量センサ３６は、例えば感圧型のセンサシートであって、買物かご１の載置面１０に設けられている。重量センサ３６は、載置面１０に配置された商品Ａ１の重量（質量）を計測するように構成されている。本変形例では、商品Ａ１が配置される前の重量センサ３６の計測値と、商品Ａ１が配置された時点の重量センサ３６の計測値との差分を、商品Ａ１の重量としている。

そして、本変形例では、第１分類部３１１が、重量センサ３６で計測された商品Ａ１の重量に基づいて、商品Ａ１を複数のカテゴリＣ_１，…，Ｃ_ｎのうちの１以上のカテゴリに分類する点で、上述の実施形態の物品判別システム１００と相違する。つまり、本変形例では、第１分類部３１１にて商品（物品）Ａ１を分類する際に用いる、商品Ａ１に関する情報は、商品Ａ１の重量情報を含んでいる。

本変形例では、複数のカテゴリＣ_１，…，Ｃ_ｎは、それぞれ商品Ａ１の重量区分に相当する。例えば、カテゴリＣ_１，Ｃ_２，Ｃ_３には、それぞれ１０［ｇ］未満の重量の商品Ａ１、１０［ｇ］以上５０［ｇ］未満の重量の商品Ａ１、及び５０［ｇ］以上１００［ｇ］未満の重量の商品Ａ１が属する。そして、本変形例では、第１分類部３１１は、単に重量センサ３６で計測された商品Ａ１の重量に基づいて、複数の重量区分のうちのいずれの重量区分に商品Ａ１が分類されるかを特定すればよい。このため、本変形例では、第１分類部３１１は、学習済みのニューラルネットワーク等の機械学習された分類器が不要である。

（４．２）第２変形例
第２変形例の物品判別システム１００は、図８Ｂに示すように、電気回路３が位置測定部３７を備えている点で、上述の実施形態の物品判別システム１００と相違する。位置測定部３７は、例えばＢＬＥ（Bluetooth Low Energy：登録商標）又はＷｉ−Ｆｉ（登録商標）等の通信方式を用いて、店舗内に設置された発信機との間で無線通信を行うことにより、買物かご（運搬機器）１の店舗における位置を測定する。ここで、位置測定部３７が測定するのは買物かご１の位置であるが、商品（物品）Ａ１が買物かご１に投入された時点での買物かご１の位置は、実質的に商品Ａ１の位置に相当する。つまり、位置測定部３７は、商品Ａ１が買物かご１に配置された際の商品Ａ１の位置を測定している、といえる。

そして、本変形例では、第１分類部３１１が、位置測定部３７で計測された商品Ａ１の位置に基づいて、商品Ａ１を複数のカテゴリＣ_１，…，Ｃ_ｎのうちの１以上のカテゴリに分類する点で、上述の実施形態の物品判別システム１００と相違する。つまり、本変形例では、第１分類部３１１にて商品（物品）Ａ１を分類する際に用いる、商品Ａ１に関する情報は、商品Ａ１が買物かご１に配置された際の商品Ａ１の位置情報を含んでいる。

本変形例では、複数のカテゴリＣ_１，…，Ｃ_ｎは、それぞれ店舗内において商品Ａ１が陳列されている陳列棚に相当する。例えば、カテゴリＣ_１，Ｃ_２，Ｃ_３には、それぞれ第１陳列棚に陳列されている商品Ａ１、第２陳列棚に陳列されている商品Ａ１、及び第３陳列棚に陳列されている商品Ａ１が属する。そして、本変形例では、第１分類部３１１は、単に位置測定部３７で測定された商品Ａ１の位置に基づいて、複数の陳列棚のうちのいずれの陳列棚に商品Ａ１が分類されるかを特定すればよい。このため、本変形例では、第１分類部３１１は、学習済みのニューラルネットワーク等の機械学習された分類器が不要である。

（４．３）第３変形例
第３変形例の物品判別システム１００は、図９に示すように、特定部６を備えている点で、上述の実施形態の物品判別システム１００と相違する。特定部６は、例えばカウンタ台５３に設けられたリーダであって、商品（物品）Ａ１に付された電子タグを読み取るように構成されている。電子タグは、例えばＲＦＩＤ（Radio Frequency Identification）又はＩｒＤＡ（Infrared Data Association）等の通信規格に対応するのが好ましい。特定部６は、買物かご（運搬機器）１をカウンタ台５３に載せた際に、商品Ａ１に付された電子タグを読み取ることにより、商品Ａ１の商品情報を取得する。つまり、特定部６は、商品Ａ１に対応付けられた情報（ここでは、電子タグの有する情報）に基づいて、商品Ａ１を特定する。

本変形例では、仮に処理部（判別部）３１では判別しにくい商品Ａ１が存在する場合でも、このような商品Ａ１を特定部６により特定する（判別する）ことができる、という利点がある。つまり、電子タグは、物品判別システム１００にて取り扱う全ての商品Ａ１に対して付されなくてもよく、処理部３１では判別しにくい商品Ａ１にのみ付されていればよい。具体的には、電子タグは、例えば弁当など、撮像部２で撮像された画像のみでは判別しにくい商品Ａ１に付されていればよい。

（４．４）第４変形例
第４変形例の物品判別システム１００では、図１０に示すように、処理部（判別部）３１が複数の第３分類部３１３を更に備えている点で、上述の実施形態の物品判別システム１００と相違する。図１０に示す例では、カテゴリＣ_ｎに対応する第２分類部３１２に対して、複数の第３分類部３１３が設けられている。もちろん、複数の第２分類部３１２の各々に対して、複数の第３分類部３１３が設けられてもよい。この場合、複数の第３分類部３１３の数は、複数の第２分類部３１２ごとに異なっていてもよい。

複数の第３分類部３１３の各々は、例えば機械学習された分類器を用いて、撮像部２で撮像された商品（物品）Ａ１の画像に基づいて、第２分類部３１２により分類された商品Ａ１を更に分類する。つまり、本変形例では、処理部３１は、第１分類部３１１、複数の第２分類部３１２、及び複数の第３分類部３１３を用いることにより、商品Ａ１を３段階に分けて判別する。

一例として、第１分類部３１１は、商品Ａ１の形状により区分けされた複数のカテゴリＣ_１，…，Ｃ_ｎのうちの１つのカテゴリに商品Ａ１を分類する。次に、第１分類部３１１で商品Ａ１が分類されたカテゴリに対応する第２分類部３１２は、商品Ａ１の品種により区分けされた複数の小カテゴリのうちの１つの小カテゴリに商品Ａ１を更に分類する。そして、第２分類部３１２で商品Ａ１が分類された小カテゴリに対応する第３分類部３１３は、商品Ａ１を判別する。このように、処理部３１は、商品Ａ１の有する複数の特徴に基づいて、複数の段階に分けて商品Ａ１を細かく分類することで、商品Ａ１を判別してもよい。

（４．５）その他の変形例
以下、第１変形例〜第４変形例以外の変形例を列挙する。以下の種々の変形例は、上述の実施形態、及び第１変形例〜第４変形例と適宜組み合わせて適用可能である。

本開示における物品判別システム１００は、例えば処理部（判別部）３１等に、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における物品判別システム１００としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的な記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。更に、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１ないし複数の電子回路で構成される。

上述の実施形態では、第１分類部３１１は、複数のカテゴリＣ_１，…，Ｃ_ｎのうちいずれか１つのカテゴリに商品（物品）Ａ１を分類しているが、複数のカテゴリに商品Ａ１を分類してもよい。そして、例えば処理部３１は、第１分類部３１１での推定確率の大小に応じて、１つの第２分類部３１２を用いるか、複数の第２分類部３１２を用いるかを決定してもよい。ここでいう「推定確率」は、商品Ａ１が複数のカテゴリＣ_１，…，Ｃ_ｎのうちの一のカテゴリに属すると推定される確率の最大値である。例えば、複数のカテゴリが３つ（第１カテゴリ、第２カテゴリ、及び第３カテゴリ）であって、商品Ａ１が第１カテゴリ、第２カテゴリ、及び第３カテゴリに属すると推定される確率がそれぞれ５％、８５％、及び１０％であると仮定する。この場合、推定確率は、８５％である。

一例として、第１分類部３１１での推定確率が９０％以上であれば、処理部３１は、１つの第２分類部３１２を用いて商品Ａ１を判別する。また、一例として、第１分類部３１１での推定確率が３０％程度であれば、処理部３１は、商品Ａ１が属すると推定される確率の高い上位２以上のカテゴリに対応する２以上の第２分類部３１２を用いて、商品Ａ１を判別する。そして、処理部３１は、２以上の第２分類部３１２の判別結果のうち、最も確率の高い第２分類部３１２の判別結果を採用する。

上述の実施形態において、第１分類部３１１及び複数の第２分類部３１２の各々で用いられるニューラルネットワークは、例えば新たな商品（物品）Ａ１が追加された場合に再学習してもよい。一例として、再学習により生成される学習済みモデル（つまり、ニューラルネットワークで用いられる重み係数の集合）は、サーバにアップロードされる。買物かご（運搬機器）１の処理部（判別部）３１は、サーバと通信することにより学習済みモデルをダウンロードし、第１分類部３１１及び複数の第２分類部３１２の各々で用いられるニューラルネットワークを更新する。

上述の実施形態において、処理部（判別部）３１は、買物かご（運搬機器）１に投入された商品（物品）Ａ１の数を判別する分類器を更に有していてもよい。この態様では、例えば買物かご１に複数の商品Ａ１が一時に投入された場合に、差分画像を用いて分類器で複数の商品Ａ１が投入されたことを判別することが可能である。複数の商品Ａ１が投入されたと判別した場合、処理部３１は、例えば「商品を再度、１つずつ買物かごに投入してください」等の音声メッセージを再生することで、１つずつ商品Ａ１を投入し直すように客に促すことが可能となる。この分類器は、例えば１ないし複数の商品Ａ１が写った画像を学習用画像、学習用画像に写っている商品Ａ１の数を教師データとする学習用データセットを用いて、機械学習を行うことで生成可能である。

上述の実施形態では、把持部１２の持ち手の部分１２１から突出する突起１２２に撮像部２が設けられているが、これに限定する趣旨ではない。例えば、把持部１２の持ち手の部分１２１に撮像部２が設けられていてもよい。

上述の実施形態では、買物かご１は、１つの撮像部２を備えているが、これに限定する趣旨ではない。例えば、買物かご１は、複数の撮像部２からなるステレオカメラを備えていてもよい。この場合、処理部３１は、ステレオカメラから載置面１０と直交する方向における奥行き情報（深度情報）を取得することができ、商品Ａ１の判別精度を向上することが可能である。

上述の実施形態では、撮像部２は、買物かご（運搬機器）１に設けられているが、これに限定する趣旨ではない。例えば、撮像部２は、店舗の天井又は壁など、買物かご１以外の場所に設けられていてもよい。この態様では、撮像部２は、無線通信により通信部３３を介して処理部（判別部）３１との間で情報を送受可能な構成である。この態様では、処理部３１は、例えば撮像部２で撮像された画像から商品Ａ１が写っている領域を切り出して適切なサイズに正規化する正規化処理を行い、処理後の画像を入力データとすればよい。なお、正規化処理は、例えば撮像部２など、処理部３１以外で行ってもよい。

上述の実施形態では、センサ３４は加速度センサであるが、これに限定する趣旨ではない。例えば、センサ３４は、本体１１の鍔部１３に設けられて、一対の把持部１２のうちの少なくとも１つの把持部１２と接触することでオン／オフする物理スイッチであってもよい。この態様では、一対の把持部１２がセンサ３４と接触する位置（つまり、第１位置）にあるか、一対の把持部１２がセンサ３４から離れた位置（つまり、第２位置）にあるかを、センサ３４のオン／オフにより判定することが可能である。また、センサ３４は、本体１１の鍔部１３に設けられて、一対の把持部１２のうちの少なくとも１つの把持部１２が接触する際の圧力を検知する感圧センサであってもよい。この態様でも、一対の把持部１２がセンサ３４と接触する位置（つまり、第１位置）にあるか、一対の把持部１２がセンサ３４から離れた位置（つまり、第２位置）にあるかを、センサ３４が圧力を感知するか否かにより判定することが可能である。

上述の実施形態では、処理部３１は、センサ３４を用いて一対の把持部１２の位置を検知し、検知結果に応じて撮像部２を起動又は停止させているが、これに限定する趣旨ではない。例えば、買物かご１はセンサ３４を有していなくてもよい。また、撮像部２は、常に起動していてもよい。

上述の実施形態では、買物かご１と販売システム５（店舗装置５１）との間の通信方式は無線通信であるが、有線通信であってもよい。有線通信の場合、無線通信の場合と比較して、買物かご１から販売システム５（店舗装置５１）に対して、より多くの情報を一時に送信することが可能である。

上述の実施形態では、買物かご１をカウンタ台５３に配置した時点で、買物かご１の記憶部３２に記憶されている１以上の商品Ａ１の商品情報を店舗装置５１へ送信しているが、これに限定する趣旨ではない。例えば、処理部３１は、商品Ａ１の商品情報を取得した時点で、通信部３３を用いた無線通信により、商品Ａ１の商品情報を店舗装置５１へ送信してもよい。つまり、店舗装置５１は、買物かご１に投入された商品Ａ１の商品情報をリアルタイムに収集し、収集した１以上の商品Ａ１の商品情報をメモリに記憶させてもよい。

この態様では、客がカウンタ台５３に買物かご１を配置すると、店舗装置５１は、買物かご１の識別子（アドレス）を取得するのが好ましい。具体的には、店舗装置５１は、カウンタ台５３に設けられたリーダにより買物かご１に付された電子タグを読み取ることで、買物かご１の識別子を取得する。電子タグは、例えばＲＦＩＤ又はＩｒＤＡ等の通信規格に対応するのが好ましい。そして、店舗装置５１は、買物かご１の識別子に紐付けられた１以上の商品Ａ１の商品情報をメモリから読み出し、読み出した１以上の商品Ａ１の商品情報を参照して精算処理を実行する。つまり、店舗内に複数の買物かご１が存在する場合、店舗装置５１では、複数の買物かご１の各々から送信される１以上の商品Ａ１の商品情報を、送信元の買物かご１の識別子と紐付けてメモリに記憶する。そして、店舗装置５１は、カウンタ台５３に買物かご１が配置された際に、この買物かご１の識別子を参照することで、この買物かご１に投入された１以上の商品Ａ１についての精算処理を実行する。

この態様では、精算処理が完了すると、店舗装置５１は、精算処理の対象であった買物かご１に投入された１以上の商品Ａ１の商品情報をメモリから抹消する。そして、客が、かご置場に買物かご１を戻すと、処理部３１は、把持部１２が第２位置にあると判定して、撮像部２の動作を停止させる。このとき、処理部３１は、記憶部３２に記憶してある１以上の商品Ａ１の商品情報を抹消する。処理部３１が１以上の商品Ａ１の商品情報を抹消するタイミングは、精算処理が完了した時点であってもよい。

また、上述の実施形態では、販売システム５は、カウンタ台５３に搭載されているが、これに限定する趣旨ではない。例えば、販売システム５（店舗装置５１）は、店舗に設置されているコンピュータシステムにて実現されていてもよい。この場合、買物かご１の処理部３１は、通信部３３を用いて販売システム５と通信することにより、買物かご１をカウンタ台５３に配置することなく精算処理を完了させることも可能である。そして、この場合、客は、カウンタ台５３に買物かご１を置く必要がないので、例えば、カウンタ台５３の前に赴くことなく買物を済ませることも可能である。

上述の実施形態では、撮像部２が検知部として機能しているが、これに限定する趣旨ではない。例えば、検知部として、透過型の光センサ、反射型の光センサ、又は超音波センサを買物かご１に搭載してもよい。この場合、処理部３１は、上述の光センサ又は超音波センサにより、買物かご１の開口部１１０を商品Ａ１が通過したことを検知すると、載置面１０に商品Ａ１が配置されたと判定すればよい。

上述の実施形態では、カウンタ台５３にアーチ５４及び撮像装置５５が設けられているが、これに限定する趣旨ではない。例えば、カウンタ台５３は、アーチ５４及び撮像装置５５を備えていなくてもよい。この場合、販売システム５は、商品Ａ１を判別する処理を実行しない。つまり、上述の実施形態において、商品Ａ１を判別する処理は、買物かご１で完結してもよい。

上述の実施形態では、処理部（判別部）３１は、買物かご（運搬機器）１に設けられているが、これに限定する趣旨ではない。例えば、処理部３１は、店舗装置５１が備えていてもよい。この場合、買物かご（運搬機器）１では、撮像部２で撮像された画像（差分画像）を、通信部３３を介して店舗装置５１へ送信すればよい。そして、店舗装置５１にて、撮像部２で撮像された画像に基づき、商品（物品）Ａ１を判別して商品Ａ１の商品情報（物品情報）を取得すればよい。

また、処理部（判別部）３１は、サーバシステム又はクラウド（クラウドコンピューティング）等により実現されてもよい。例えば、買物かご（運搬機器）１は、撮像部２で撮像された画像（差分画像）を、通信部３３を介してサーバシステムへ送信してもよい。そして、サーバシステムにて、撮像部２で撮像された画像に基づき、商品（物品）Ａ１を判別して商品Ａ１の商品情報（物品情報）を取得してもよい。

上述の実施形態では、第１分類部３１１及び複数の第２分類部３１２は、いずれも買物かご（運搬機器）１に設けられているが、これに限定する趣旨ではない。例えば、第１分類部３１１が買物かご１に設けられ、複数の第２分類部３１２が店舗装置５１に設けられていてもよい。また、店舗内に複数の店舗装置５１が設置されている場合、複数の第２分類部３１２は、それぞれ複数の店舗装置５１に分かれて設けられてもよい。この態様では、複数の店舗装置５１のうち、第１分類部３１１で商品Ａ１が分類されたカテゴリに対応する第２分類部３１２を有する店舗装置５１は、第２分類部３１２での分類結果を、精算処理が行われる店舗装置５１に送信すればよい。

上述の実施形態において、買物支援システム２００は、店員の操作を必要とせずに商品の購入が可能な態様に限らず、例えば、いわゆる有人レジのようにカウンタ台５３に店員が居る状況で使用されてもよい。その他、買物支援システム２００は、例えば店員がいない店舗で使用されてもよい。

上述の実施形態では、物品判別システム１００は、買物かご（運搬機器）１に配置された商品（物品）Ａ１を判別するために用いられているが、この用途に限定する趣旨ではない。例えば、物品判別システム１００は、物流倉庫においてピッキングすることで、かご（運搬機器）１に配置された物品Ａ１を判別するために用いられてもよい。その他、物品判別システム１００は、工場においてピッキングすることで、運搬機器（例えば、かご又はトレイ等）１に配置された物品Ａ１を判別するために用いられてもよい。

上述の実施形態において、買物かご（運搬機器）１は、人が運ぶだけでなく、例えばロボットが運んでもよい。

（まとめ）
以上述べたように、第１の態様に係る物品判別システム（１００）は、撮像部（２）と、判別部（３１）と、を備える。撮像部（２）は、運搬機器（１）に配置された物品（Ａ１）を撮像する。判別部（３１）は、物品（Ａ１）を判別する。判別部（３１）は、第１分類部（３１１）と、複数の第２分類部（３１２）と、を有する。第１分類部（３１１）は、物品（Ａ１）に関する情報に基づいて、物品（Ａ１）を複数のカテゴリ（Ｃ_１，…，Ｃ_ｎ）のうちの１以上のカテゴリに分類する。複数の第２分類部（３１２）は、複数のカテゴリ（Ｃ_１，…，Ｃ_ｎ）ごとに設けられて、機械学習された分類器を用いて、撮像部（２）で撮像された物品（Ａ１）の画像に基づいて、１以上のカテゴリに分類された物品（Ａ１）を更に分類する。

この態様によれば、判別対象の物品（Ａ１）の種類が増えても、物品（Ａ１）を判別するまでに要する時間が長くなりにくい、という利点がある。

第２の態様に係る物品判別システム（１００）では、第１の態様において、物品（Ａ１）に関する情報は、撮像部（２）で撮像された物品（Ａ１）の画像情報を含む。

この態様によれば、物品（Ａ１）に関する情報を取得するために撮像部（２）以外の手段を用意する必要がない、という利点がある。

第３の態様に係る物品判別システム（１００）では、第１又は第２の態様において、物品（Ａ１）に関する情報は、物品（Ａ１）の重量情報を含む。

この態様によれば、撮像部（２）で撮像された物品（Ａ１）の画像情報を用いる場合と比較して、物品（Ａ１）を１以上のカテゴリに分類しやすい、という利点がある。

第４の態様に係る物品判別システム（１００）では、第１〜第３のいずれかの態様において、物品（Ａ１）に関する情報は、物品（Ａ１）が運搬機器（１）に配置された際の物品（Ａ１）の位置情報を含む。

この態様によれば、撮像部（２）で撮像された物品（Ａ１）の画像情報を用いる場合と比較して、物品（Ａ１）を１以上のカテゴリに分類しやすい、という利点がある。

第５の態様に係る物品判別システム（１００）は、第１〜第４のいずれかの態様において、物品（Ａ１）に対応付けられた情報に基づいて物品（Ａ１）を特定する特定部（６）を更に備える。

この態様によれば、仮に判別部（３１）で判別しきれない物品（Ａ１）が存在する場合でも、このような物品（Ａ１）を特定することができる、という利点がある。

第６の態様に係る物品判別システム（１００）では、第１〜第５のいずれかの態様において、撮像部（２）は、運搬機器（１）に設けられており、物品（Ａ１）が配置される載置面（１０）を少なくとも撮像範囲とする。

この態様によれば、撮像部（２）で撮像された画像に物品（Ａ１）の全体が含まれやすく、物品（Ａ１）を判別しやすい、という利点がある。

第７の態様に係る物品判別システム（１００）は、第１〜第６のいずれかの態様において、検知部（撮像部（２））を更に備える。検知部は、運搬機器（１）に物品（Ａ１）が配置されたことを検知する。撮像部（２）は、検知部にて物品（Ａ１）が運搬機器（１）に配置されたことを検知すると、撮像する。

この態様によれば、撮像部（２）が物品（Ａ１）の存否に依らず常に撮像する場合と比較して、物品（Ａ１）の写った画像に基づいて物品（Ａ１）を判別しやすい、という利点がある。

第８の態様に係る物品判別システム（１００）では、第７の態様において、複数の第２分類部（３１２）の各々は、差分画像に基づき、物品（Ａ１）を分類する。差分画像は、検知部にて検知された第１時点と、第１時点よりも前の第２時点とのそれぞれで撮像部（２）に撮像された画像の差分の画像である。

この態様によれば、運搬機器（１）に複数の物品（Ａ１）が重ねて配置される場合でも、物品（Ａ１）ごとに判別しやすい、という利点がある。

第９の態様に係る買物支援システム（２００）は、第１〜第８のいずれかの態様の物品判別システム（１００）と、販売システム（５）と、を備える。販売システム（５）は、物品（Ａ１）の販売処理を行うためのシステムである。

この態様によれば、判別対象の物品（Ａ１）の種類が増えても、物品（Ａ１）を判別するまでに要する時間が長くなりにくい、という利点がある。

第１０の態様に係る買物支援方法は、第１ステップ（Ｓ１）と、第２ステップ（Ｓ２）と、を有する物品判別方法により物品（Ａ１）を判別し、物品判別方法により判別された物品（Ａ１）の販売処理を行う。第１ステップ（Ｓ１）は、運搬機器（１）に配置される物品（Ａ１）に関する情報に基づいて、物品（Ａ１）を複数のカテゴリ（Ｃ_１，…，Ｃ_ｎ）のうちの１以上のカテゴリに分類するステップである。第２ステップ（Ｓ２）は、１以上のカテゴリに分類された物品（Ａ１）について、機械学習された分類器を用いて、物品（Ａ１）を撮像した画像に基づいて、第１ステップ（Ｓ１）よりも更に物品（Ａ１）を分類するステップである。

この態様によれば、判別対象の物品（Ａ１）の種類が増えても、物品（Ａ１）を判別するまでに要する時間が長くなりにくい、という利点がある。

第１１の態様に係る物品判別方法は、運搬機器（１）に配置される物品（Ａ１）を判別する物品判別方法であって、第１ステップ（Ｓ１）と、第２ステップ（Ｓ２）と、を有する。第１ステップ（Ｓ１）は、運搬機器（１）に配置される物品（Ａ１）に関する情報に基づいて、物品（Ａ１）を複数のカテゴリ（Ｃ_１，…，Ｃ_ｎ）のうちの１以上のカテゴリに分類するステップである。第２ステップ（Ｓ２）は、１以上のカテゴリに分類された物品（Ａ１）について、機械学習された分類器を用いて、物品（Ａ１）を撮像した画像に基づいて、第１ステップ（Ｓ１）よりも更に物品（Ａ１）を分類するステップである。

この態様によれば、判別対象の物品（Ａ１）の種類が増えても、物品（Ａ１）を判別するまでに要する時間が長くなりにくい、という利点がある。

第１２の態様に係るプログラムは、１以上のプロセッサに、第１１の態様に係る物品判別方法を実行させるためのプログラムである。

この態様によれば、判別対象の物品（Ａ１）の種類が増えても、物品（Ａ１）を判別するまでに要する時間が長くなりにくい、という利点がある。

第２〜第８の態様に係る構成については、物品判別システム（１００）に必須の構成ではなく、適宜省略可能である。

１ 買物かご（運搬機器）
１０ 載置面
２ 撮像部
３１ 処理部（判別部）
３１１ 第１分類部
３１２ 第２分類部
５ 販売システム
６ 特定部
１００ 物品判別システム
２００ 買物支援システム
Ａ１ 商品（物品）
Ｃ_１，…，Ｃ_ｎ カテゴリ
Ｓ１ 第１ステップ
Ｓ２ 第２ステップ

Claims (12)

1. 運搬機器に配置された物品を撮像する撮像部と、
   前記物品を判別する判別部と、を備え、
   前記判別部は、
   前記物品に関する情報に基づいて、前記物品を複数のカテゴリのうちの１以上のカテゴリに分類する第１分類部と、
   前記複数のカテゴリごとに設けられて、機械学習された分類器を用いて、前記撮像部で撮像された前記物品の画像に基づいて、前記１以上のカテゴリに分類された前記物品を更に分類する複数の第２分類部と、を有する、
   物品判別システム。
2. 前記物品に関する情報は、前記撮像部で撮像された前記物品の画像情報を含む、
   請求項１記載の物品判別システム。
3. 前記物品に関する情報は、前記物品の重量情報を含む、
   請求項１又は２に記載の物品判別システム。
4. 前記物品に関する情報は、前記物品が前記運搬機器に配置された際の前記物品の位置情報を含む、
   請求項１〜３のいずれか１項に記載の物品判別システム。
5. 前記物品に対応付けられた情報に基づいて前記物品を特定する特定部を更に備える、
   請求項１〜４のいずれか１項に記載の物品判別システム。
6. 前記撮像部は、前記運搬機器に設けられており、前記物品が配置される載置面を少なくとも撮像範囲とする、
   請求項１〜５のいずれか１項に記載の物品判別システム。
7. 前記運搬機器に前記物品が配置されたことを検知する検知部を更に備え、
   前記撮像部は、前記検知部にて前記物品が前記運搬機器に配置されたことを検知すると、撮像する、
   請求項１〜６のいずれか１項に記載の物品判別システム。
8. 前記複数の第２分類部の各々は、前記検知部にて検知された第１時点と、前記第１時点よりも前の第２時点とのそれぞれで前記撮像部に撮像された画像の差分の画像である差分画像に基づき、前記物品を分類する、
   請求項７記載の物品判別システム。
9. 請求項１〜８のいずれか１項に記載の物品判別システムと、
   前記物品の販売処理を行うための販売システムと、を備える、
   買物支援システム。
10. 運搬機器に配置される物品に関する情報に基づいて、前記物品を複数のカテゴリのうちの１以上のカテゴリに分類する第１ステップと、
    前記１以上のカテゴリに分類された前記物品について、機械学習された分類器を用いて、前記物品を撮像した画像に基づいて、前記第１ステップよりも更に前記物品を分類する第２ステップと、
    を少なくとも有する物品判別方法により前記物品を判別し、
    前記物品判別方法により判別された前記物品の販売処理を行う、
    買物支援方法。
11. 運搬機器に配置される物品を判別する物品判別方法であって、
    前記物品に関する情報に基づいて、前記物品を複数のカテゴリのうちの１以上のカテゴリに分類する第１ステップと、
    前記１以上のカテゴリに分類された前記物品について、機械学習された分類器を用いて、前記物品を撮像した画像に基づいて、前記第１ステップよりも更に前記物品を分類する第２ステップと、を有する、
    物品判別方法。
12. １以上のプロセッサに、
    請求項１１記載の物品判別方法を実行させるための、
    プログラム。

Images