JP2019133232A - 商品管理サーバ、自動レジシステム、商品管理プログラムおよび商品管理方法 - Google Patents

Abstract

【課題】 データ通信量および演算処理量を抑制しつつ、買物カゴに対して出し入れされる商品の識別率を向上し、自動的に管理・精算を可能とする商品管理サーバ、自動レジシステム、商品管理プログラムおよび商品管理方法を提供する。【解決手段】 買物カゴに対して出し入れされる商品を管理する商品管理サーバ１であって、手位置検出手段から手位置データを取得する手位置データ取得部４１と、手が買物カゴの外部から内部へ、または内部から外部へ移動したかを判定する手動作判定部４２と、手が買物カゴの内外へ移動した場合、手画像群データを取得する手画像群データ取得部４３と、内部へ移動した手に商品が把持されている場合、商品を買物カゴデータ記憶部３３に登録し、外部に移動した手に商品が把持されている場合、登録されている商品を削除する購入商品管理部４６とを有する。【選択図】 図１

Description

本発明は、店舗で買い物をする際に購入者が買物カゴに出し入れする商品を自動的に管理・精算可能にするための商品管理サーバ、自動レジシステム、商品管理プログラムおよび商品管理方法に関するものである。

近年、買物カゴに収めた商品を自動的に精算する自動レジシステムが開発されている。例えば、特開２０１６−５７８１３号公報には、商品の商品情報を管理するサーバと、商品が投入あるいは取り出される買い物かごとを有する商品管理システムであって、買い物かごに設けられた通信機器は、買い物かご内の動画を撮像する撮像部と、撮像部で撮像された動画をサーバに送信する無線通信部とを有し、サーバは、動画に基づいて、買い物かごに投入された商品の物体認識を行い、商品の位置を追跡する物体認識部と、動画に基づいて、商品の画像認識を行い、商品を識別する画像認識部とを有し、物体認識部は、少なくとも画像認識部によって商品が識別されるまで、商品の位置を追跡し続ける、商品管理システムが開示されている（特許文献１）。

特開２０１６−５７８１３号公報

しかしながら、上記特許文献１では、買い物が行われている間中、買い物かご内の動画をサーバへ送信し続ける必要がある。また、当該サーバでは、受信した全ての動画について、物体認識処理および画像認識処理を行う必要がある。このため、データ通信量および演算処理量が膨大であり、サーバに多大な負荷がかかるという問題があるため実用性がない。

また、上記特許文献１では、商品が買い物かごに投入されてから識別されるまでの間、商品の位置を追跡し続ける必要がある。このため、買い物かごに次々と商品が投入され、追跡中の商品が他の商品等に隠れてしまった場合には、商品の識別ができなくなってしまうという新たな課題が存在している。

本発明は、このような問題点を解決するためになされたものであって、データ通信量および演算処理量を抑制しつつ、買物カゴに対して出し入れされる商品の識別率を向上し、自動的に管理・精算を可能とする商品管理サーバ、自動レジシステム、商品管理プログラムおよび商品管理方法を提供することを目的としている。

本発明に係る商品管理サーバは、データ通信量および演算処理量を抑制しつつ、買物カゴに対して出し入れされる商品の識別率を向上し、自動的に管理するという課題を解決するために、買物カゴに対して出し入れされる商品を管理する商品管理サーバであって、前記買物カゴの開口部近傍に設けられた手位置検出手段から、手の位置を示す手位置データを取得する手位置データ取得部と、前記手位置データに基づいて、前記手が前記買物カゴの外部から内部へ、または内部から外部へ移動したか否かを判定する手動作判定部と、前記手が前記買物カゴの外部から内部へ、または内部から外部へ移動した場合、前記買物カゴの開口部近傍に設けられた撮像手段から、前記手の画像群からなる手画像群データを取得する手画像群データ取得部と、前記手画像群データに基づいて、前記買物カゴの外部から内部へ移動した手に前記商品が把持されている場合、前記商品を買物カゴデータ記憶部に登録し、前記買物カゴの内部から外部へ移動した手に前記商品が把持されている場合、前記買物カゴデータ記憶部に登録されている前記商品を削除する購入商品管理部と、を有する。

また、本発明の一態様として、商品に相当する商品領域のみを高精度に抽出し、商品の誤認率を低減するという課題を解決するために、前記手画像群データのオプティカルフローに基づいて、上下方向に移動する上下移動領域を抽出するとともに、前記上下移動領域のうち、前記手以外の領域を前記商品に相当する商品領域として抽出する商品領域抽出部を有していてもよい。

さらに、本発明の一態様として、上下移動領域のうち、手以外の領域を正確に特定するという課題を解決するために、前記商品領域抽出部は、前記上下移動領域のうち、前記手の形状に類似する形状を有する領域および／または前記手の色情報に類似する色情報を有する領域を除外することにより、前記商品領域を抽出してもよい。

また、本発明の一態様として、商品の識別率をさらに向上するという課題を解決するために、前記商品領域に基づいて前記商品を識別する商品識別部を有しており、前記商品識別部は、下記（ａ），（ｂ）のうち、いずれか一方または双方のモードを用いて商品を識別してもよい。
（ａ）前記商品領域に含まれる識別コードに基づいて、前記商品を識別する識別コードモード；
（ｂ）深層学習によって得られた、前記商品ごとの商品判別式のそれぞれに、前記商品領域に係る数値データを入力したときの出力値に基づいて、前記商品を識別する深層学習モード。

さらに、本発明の一態様として、買い物客の手が、買物カゴの外部から内部へ移動したのか、買物カゴの内部から外部へ移動したのかを自動的かつ高精度に判定するという課題を解決するために、前記手位置検出手段は、前記買物カゴの開口部近傍に上下二段に設けられ、通光状態または遮光状態を検出する上段検出面と下段検出面とから構成されており、前記手動作判定部は、前記上段検出面が通光状態から遮光状態に変化した後、前記下段検出面が通光状態から遮光状態に変化した場合、前記手が買物カゴの外部から内部へ移動したと判定し、前記下段検出面が遮光状態から通光状態に変化した後、前記上段検出面が遮光状態から通光状態に変化した場合、前記手が買物カゴの内部から外部へ移動したと判定してもよい。

また、本発明の一態様として、動画像からほぼ同じ枚数の手画像群データを取得するとともに、上下動する手に対応する領域を高精度に抽出するという課題を解決するために、前記手動作判定部は、前記上段検出面と前記下段検出面との間の距離と、前記上段検出面が通光状態から遮光状態に変化した後に前記下段検出面が通光状態から遮光状態に変化するまでの時間とに基づいて、前記手が買物カゴの外部から内部へ移動したときの下方移動速度を算出し、前記上段検出面と前記下段検出面との間の距離と、前記下段検出面が遮光状態から通光状態に変化した後に前記上段検出面が遮光状態から通光状態に変化するまでの時間とに基づいて、前記手が買物カゴの内部から外部へ移動したときの上方移動速度を算出してもよい。

本発明に係る自動レジシステムは、データ通信量および演算処理量を抑制しつつ、買物カゴに対して出し入れされる商品の識別率を向上し、自動的に精算するという課題を解決するために、上述のいずれかの態様の商品管理サーバと、前記手位置検出手段および前記撮像手段が設けられた買物カートと、前記買物カゴデータ記憶部に登録された前記商品を精算するレジ装置とを有する。

本発明に係る商品管理プログラムは、データ通信量および演算処理量を抑制しつつ、買物カゴに対して出し入れされる商品の識別率を向上し、自動的に管理するという課題を解決するために、買物カゴに対して出し入れされる商品を管理する商品管理プログラムであって、前記買物カゴの開口部近傍に設けられた手位置検出手段から、手の位置を示す手位置データを取得する手位置データ取得部と、前記手位置データに基づいて、前記手が前記買物カゴの外部から内部へ、または内部から外部へ移動したか否かを判定する手動作判定部と、前記手が前記買物カゴの外部から内部へ、または内部から外部へ移動した場合、前記買物カゴの開口部近傍に設けられた撮像手段から、前記手の画像群からなる手画像群データを取得する手画像群データ取得部と、前記手画像群データに基づいて、前記買物カゴの外部から内部へ移動した手に前記商品が把持されている場合、前記商品を買物カゴデータ記憶部に登録し、前記買物カゴの内部から外部へ移動した手に前記商品が把持されている場合、前記買物カゴデータ記憶部に登録されている前記商品を削除する購入商品管理部としてコンピュータを機能させるものである。

本発明に係る商品管理方法は、データ通信量および演算処理量を抑制しつつ、買物カゴに対して出し入れされる商品の識別率を向上し、自動的に管理するという課題を解決するために、買物カゴに対して出し入れされる商品を管理する商品管理方法であって、前記買物カゴの開口部近傍に設けられた手位置検出手段から、手の位置を示す手位置データを取得する手位置データ取得ステップと、前記手位置データに基づいて、前記手が前記買物カゴの外部から内部へ、または内部から外部へ移動したか否かを判定する手動作判定ステップと、前記手が前記買物カゴの外部から内部へ、または内部から外部へ移動した場合、前記買物カゴの開口部近傍に設けられた撮像手段から、前記手の画像群からなる手画像群データを取得する手画像群データ取得ステップと、前記手画像群データに基づいて、前記買物カゴの外部から内部へ移動した手に前記商品が把持されている場合、前記商品を買物カゴデータ記憶部に登録し、前記買物カゴの内部から外部へ移動した手に前記商品が把持されている場合、前記買物カゴデータ記憶部に登録されている前記商品を削除する購入商品管理ステップと、を有する。

本発明によれば、データ通信量および演算処理量を抑制しつつ、買物カゴに対して出し入れされる商品の識別率を向上し、自動的に管理し精算することができる。

本発明に係る商品管理サーバを含む自動レジシステムの一実施形態を示す全体構成図である。 本実施形態の手位置検出手段であって、（ａ）上段検出面と下段検出面との配置、および（ｂ）ビームセンサと反射板との配置を示す図である。 本実施形態における商品データの一例を示す図である。 本実施形態における買物カゴデータの一例を示す図である。 本実施形態において、（ａ）手が買物カゴの外部から内部へ移動する動作、および（ｂ）手が買物カゴの内部から外部へ移動する動作を示す図である。 本実施形態において、（ａ）買物カートの移動時、（ｂ）買物カゴに商品を入れる時、および（ｃ）買物カゴから商品を出す時におけるオプティカルフローの一例を示す図である。 本実施形態において、上下移動領域から商品領域を抽出する様子を示す図である。 本実施形態の商品管理サーバおよび商品管理プログラムによって実行される商品管理方法を示すフローチャートである。 本実施形態において、手の動作を判定する処理を示すフローチャートである。

以下、本発明に係る商品管理サーバ、自動レジシステム、商品管理プログラムおよび商品管理方法の一実施形態について、図面を用いて説明する。

本実施形態の自動レジシステム１００は、買物カゴ１０に入れられた商品を自動的に精算するものであり、図１に示すように、買物カゴ１０を移動させる買物カート１１と、買物カゴ１０に対して出し入れされる商品を管理する商品管理サーバ１と、買物カゴ１０内の商品を精算するレジ装置１２とによって構成されている。以下、各構成について詳細に説明する。

レジ装置１２は、ＰＯＳ（Point Of Sale）レジによって構成されており、買物カゴ１０に入れられた商品を精算するものである。本実施形態において、レジ装置１２は、商品の商品名・価格・数量等を商品管理サーバ１から受信する通信機能や、購入した商品の合計金額を集計し精算する精算機能、および商品名や合計金額等を表示する表示機能等を有している。

買物カート１１は、買物カゴ１０を載置して移動させるものである。本実施形態において、買物カート１１は、図１に示すように、無線ＬＡＮ等を介して商品管理サーバ１と通信するための通信ユニット１３と、買物カゴ１０の開口部近傍に設けられた手位置検出手段１４および撮像手段１５とを有している。なお、本実施形態では、買物カート１１と買物カゴ１０とが別体に構成されているが、この構成に限定されるものではなく、買物カート１１の一部を買物カゴ１０としてもよい。

手位置検出手段１４は、買物カゴ１０の開口部近傍における手の位置を検出するものである。本実施形態において、手位置検出手段１４は、図２（ａ）に示すように、買物カゴ１０の開口部近傍に上下二段に設けられており、通光状態または遮光状態を検出する上段検出面１４ａと下段検出面１４ｂとから構成されている。

上段検出面１４ａおよび下段検出面１４ｂのそれぞれは、図２（ｂ）に示すように、発光素子と受光素子とが一体化されたビームセンサ１４１と、発光素子から出力された赤外光を発光素子へ反射させる反射板１４２とから構成されている。そして、買物カート１１の上端縁における一辺に沿ってビームセンサ１４１が上下二列に並列されているとともに、各ビームセンサ１４１と対向する位置には買物カート１１の上端縁に沿って複数の反射板１４２が設けられている。なお、図２（ｂ）では、見易くするために一列のみ図示している。

これにより、赤外光が買物カゴ１０の開口部を覆うように平面状に往復された状態となるため、上段検出面１４ａおよび下段検出面１４ｂとして機能する。すなわち、上段検出面１４ａおよび下段検出面１４ｂは、買物カゴ１０の開口部に何もなければ、通光状態を検出する一方、買物カゴ１０の開口部を物体が通過したとき、遮光状態を検出する。そして、通光状態または遮光状態という情報が、手の位置を示す手位置データとして、後述する手位置データ取得部４１によって取得される。

なお、本実施形態において、手位置検出手段１４は、ビームセンサ１４１と反射板１４２とからなる上段検出面１４ａおよび下段検出面１４ｂによって構成されているが、手の位置を検出できるものであれば、この構成に限定されるものではない。例えば、手のジェスチャーによってコンピュータを操作するＬｅａｐ Ｍｏｔｉｏｎ（登録商標）等のように、二基の赤外線カメラと赤外線ＬＥＤとからなる入力デバイスを手位置検出手段１４としてもよい。

撮像手段１５は、手や商品を撮像するものである。本実施形態において、撮像手段１５は、図１に示すように、ビデオカメラ１５ａとストロボ光源１５ｂとから構成されており、買物カゴ１０の開口部近傍における動画像を略水平方向から撮像するように設置されている。そして、手が買物カゴ１０の開口部を上下に通過するたびに、後述する手画像群データ取得部４３が短い動画像を切り出すとともに、当該動画像からストロボ光源１５ｂが発光された瞬間の静止画を複数抽出し、手の画像群からなる手画像群データとして取得するようになっている。

なお、本実施形態において、撮像手段１５は、ビデオカメラ１５ａとストロボ光源１５ｂとによって構成されているが、この構成に限定されるものではない。すなわち、手の動作を画像群として取得できるものであれば、高速度で連写可能な高感度カメラ等でもよい。この場合、手を高速度で連写して得られた一連の静止画像群が、手画像群データとして取得される。

商品管理サーバ１は、購入する商品を自動的に管理するものである。本実施形態において、商品管理サーバ１は、サーバ等のコンピュータによって構成されており、図１に示すように、主として、買物カート１１やレジ装置１２との間で通信を行う通信手段２と、本実施形態の商品管理プログラム１ａや各種データを記憶するとともに、演算処理手段４が各種の演算処理を行う際のワーキングエリアとして機能する記憶手段３と、記憶手段３にインストールされた商品管理プログラム１ａを実行することにより、各種の演算処理を実行する演算処理手段４とから構成されている。以下、各構成手段について詳細に説明する。

通信手段２は、無線通信モジュール等から構成されており、商品管理サーバ１に通信機能を実装するためのものである。本実施形態において、通信手段２は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信によって、上述した手位置データや手画像群データを買物カート１１から受信したり、購入した商品に関する各種のデータをレジ装置１２へ送信するようになっている。

記憶手段３は、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等で構成されており、各種データを記憶するとともに、演算処理手段４が各種処理を行う際のワーキングエリアとして機能するものである。本実施形態において、記憶手段３は、図１に示すように、プログラム記憶部３１と、商品データ記憶部３２と、買物カゴデータ記憶部３３と、商品判別式記憶部３４とを有している。

プログラム記憶部３１には、本実施形態の商品管理サーバ１を制御するための商品管理プログラム１ａがインストールされている。そして、演算処理手段４が、当該商品管理プログラム１ａを実行することにより、商品管理サーバ１としてのコンピュータを後述する各構成部として機能させるようになっている。

なお、商品管理プログラム１ａの利用形態は、上記構成に限られるものではない。例えば、ＣＤ−ＲＯＭやＵＳＢメモリ等のように、コンピュータで読み取り可能な非一時的な記録媒体に商品管理プログラム１ａを記憶させておき、当該記録媒体から直接読み出して実行してもよい。また、外部サーバ等からクラウドコンピューティング方式やＡＳＰ（Application Service Provider）方式等で利用してもよい。

商品データ記憶部３２は、店舗で取り扱っている全ての商品に関する各種のデータである商品データを記憶するものである。本実施形態において、商品データとしては、図３に示すように、各商品を識別する商品ＩＤに対応付けて、商品名、価格および商品基準値が記憶されている。なお、商品基準値は、後述する深層学習モードにおいて、商品を識別する際に使用するものであり、各商品が最低限満たすべき閾値である。

買物カゴデータ記憶部３３は、買物カゴ１０に入れられた商品に関する各種のデータである買物カゴデータを記憶するものである。本実施形態において、買物カゴデータとしては、図４に示すように、買物カゴ１０に入れられた商品のそれぞれについて、商品名、価格および数量が記憶されるようになっている。

商品判別式記憶部３４は、画像処理によって商品を識別する際に用いる商品判別式を記憶するものである。本実施形態において、商品判別式記憶部３４には、店舗で取り扱っている全ての商品について、深層学習（Deep Learning）によって得られた、商品ごとの商品判別式が記憶されている。そして、後述する深層学習モードにおいて、商品を識別する際に使用されるようになっている。

つぎに、演算処理手段４は、ＣＰＵ（Central Processing Unit）等によって構成されており、記憶手段３にインストールされた商品管理プログラム１ａを実行することにより、図１に示すように、手位置データ取得部４１と、手動作判定部４２と、手画像群データ取得部４３と、商品領域抽出部４４と、商品識別部４５と、購入商品管理部４６と、購入商品送信部４７として機能するようになっている。以下、各構成部についてより詳細に説明する。

手位置データ取得部４１は、手の位置を示す手位置データを取得するものである。本実施形態において、手位置データ取得部４１は、買物カート１１に設けられた手位置検出手段１４としての上段検出面１４ａおよび下段検出面１４ｂのそれぞれから、通光状態であるか遮光状態であるかを手位置データとして取得し、手動作判定部４２に順次提供するようになっている。

手動作判定部４２は、手位置データに基づいて、手が買物カゴ１０の外部から内部へ移動したか否か、または内部から外部へ移動したか否かを判定するものである。本実施形態において、手動作判定部４２は、手位置データ取得部４１によって取得された上段検出面１４ａおよび下段検出面１４ｂの各手位置データを常時監視する。そして、通光状態または遮光状態に変化があった場合、当該変化に基づいて手の動作を判定する。

具体的には、手動作判定部４２は、図５（ａ）に示すように、上段検出面１４ａが通光状態から遮光状態に変化した後、下段検出面１４ｂが通光状態から遮光状態に変化した場合、手が買物カゴ１０の外部から内部へ移動したと判定する。これにより、買物カゴ１０に商品を入れる場合の動作や、商品を戻すために買物カゴ１０に手を入れる場合の動作が検出される。

一方、手動作判定部４２は、図５（ｂ）に示すように、下段検出面１４ｂが遮光状態から通光状態に変化した後、上段検出面１４ａが遮光状態から通光状態に変化した場合、手が買物カゴ１０の内部から外部へ移動したと判定する。これにより、買物カゴ１０に商品を入れた後に手を出す場合の動作や、買物カゴ１０から商品を取り出す場合の動作が検出される。

また、本実施形態において、手動作判定部４２は、手が買物カゴ１０の外部から内部へ移動したときの下方移動速度と、手が買物カゴ１０の内部から外部へ移動したときの上方移動速度とを算出するようになっている。

具体的には、手動作判定部４２は、以下の４つの時刻ｔ１，ｔ２，ｔ３，ｔ４を記録する。
上段検出面１４ａが通光状態から遮光状態に変化した時刻（ｔ１）
下段検出面１４ｂが通光状態から遮光状態に変化した時刻（ｔ２）
下段検出面１４ｂが遮光状態から通光状態に変化した時刻（ｔ３）
上段検出面１４ａが遮光状態から通光状態に変化した時刻（ｔ４）

そして、手動作判定部４２は、上段検出面１４ａと下段検出面１４ｂとの間の距離Ｓと、上段検出面１４ａが通光状態から遮光状態に変化した後に、下段検出面１４ｂが通光状態から遮光状態に変化するまでの時間（ｔ２−ｔ１）とに基づいて、下記式（１）を用いて下方移動速度Ｖｄを算出するようになっている。
Ｖｄ＝Ｓ／（ｔ２−ｔ１） ・・・式（１）

また、手動作判定部４２は、上段検出面１４ａと下段検出面１４ｂとの間の距離Ｓと、下段検出面１４ｂが遮光状態から通光状態に変化した後に、上段検出面１４ａが遮光状態から通光状態に変化するまでの時間（ｔ４−ｔ３）とに基づいて、下記式（２）を用いて上方移動速度Ｖｕを算出するようになっている。
Ｖｕ＝Ｓ／（ｔ４−ｔ３） ・・・式（２）

なお、本実施形態において、手動作判定部４２は、上段検出面１４ａが通光状態であって、下段検出面１４ｂが遮光状態である場合、買物カゴ１０内の商品が下段検出面１４ｂを遮光したままとなっているか、誤った手位置データが出力されている可能性があるため、エラー信号を出力するようになっている。

手画像群データ取得部４３は、手の画像群からなる手画像群データを取得するものである。本実施形態において、手画像群データ取得部４３は、手が買物カゴ１０の開口部を通過するたびに、短時間の動画像を撮像手段１５から取得し、当該動画像から手画像群データを抽出する。具体的には、手が買物カゴ１０の外部から内部へ移動した場合、上記時刻ｔ２から数秒程度の動画像を切り出し、手が買物カゴ１０の内部から外部へ移動した場合には、上記時刻ｔ４から数秒程度の動画像を切り出すようになっている。

なお、本実施形態において、手画像群データ取得部４３が切り出す動画像の長さは、手動作判定部４２によって算出された手の移動速度に応じて決定される。すなわち、上方移動速度または下方移動速度が大きい場合、動画像の切り出し時間を短くし、上方移動速度または下方移動速度が小さい場合、動画像の切り出し時間を長くするようになっている。これにより、いずれの動画像からも、ほぼ同じ枚数の静止画像が手画像群データとして抽出されるため、後述のオプティカルフローが適切に算出される。

商品領域抽出部４４は、手画像群データから商品に相当する商品領域を抽出するものである。本実施形態において、商品領域抽出部４４は、まず、図６に示すように、連続する手画像群データの中で対応する各点の動きをベクトルで表してなるオプティカルフローを算出する。なお、図６は、買物カゴ１０の開口部の直上近傍におけるオプティカルフローを水平方向の視線方向で算出したイメージ図であり、矢印の位置における方向と大きさが各点における移動方向と移動速度を示している。

つぎに、商品領域抽出部４４は、手画像群データのオプティカルフローに基づいて、上下方向に移動する上下移動領域を抽出する。具体的には、商品領域抽出部４４は、手画像群データの各点におけるオプティカルフローを参照し、移動方向の主成分が上方向または下方向である領域を上下移動領域として抽出する。このとき、商品領域抽出部４４は、オプティカルフローの移動方向と移動速度が、手動作判定部４２によって算出された方向と速度（上方移動速度または下方移動速度）と略同一の場合のみ、上下移動領域として抽出する。これにより、上下動する手に対応する領域が高精度に抽出される。

つづいて、商品領域抽出部４４は、抽出した上下移動領域のうち、手以外の領域を商品領域として抽出する。具体的には、商品領域抽出部４４は、図７に示すように、上下移動領域のうち、手の形状に類似する形状を有し、かつ、手の色情報に類似する色情報を有する領域を手領域として特定し、当該手領域を上下移動領域から除外する。そして、手領域以外の領域が残っていれば、当該領域を商品領域として抽出するようになっている。

なお、手の形状に類似する形状を有する領域を特定する方法としては、例えば、買物カゴ１０に出し入れされる手の形状として、商品を把持した状態や、開いた状態等の数パターンを予め基準データとして記憶させておく。そして、当該基準データと上下移動領域とを比較し、類似度が所定の閾値より高い領域を手に相当する手領域として特定すればよい。

また、本実施形態では、手の形状に類似する形状を有し、かつ、手の色情報に類似する色情報を有する領域を手に相当する手領域と推定しているが、この構成に限定されるものではなく、手の形状に類似する形状を有する領域、または手の色情報に類似する色情報を有する領域を手領域として推定してもよい。この場合、例えば、形状による推定の確信度と、色情報による推定の確信度とを算出し、当該確信度の高い方を手領域としてもよい。

商品識別部４５は、商品領域に基づいて商品を識別するものである。本実施形態において、商品識別部４５は、下記（ａ），（ｂ）の双方のモードを使い分けながら商品を識別するようになっている。
（ａ）識別コードモード：商品領域に含まれる識別コードに基づいて、商品を識別するモード
（ｂ）深層学習モード：深層学習によって得られた、商品のカテゴリーごとの商品判別式のそれぞれに、商品領域に係る数値データを入力したときの出力値に基づいて、商品を識別するモード

具体的には、商品識別部４５は、商品領域からバーコード等の識別コードが検出された場合には、識別コードモードで商品を識別し、商品領域からバーコード等の識別コードが検出されなければ、深層学習モードで商品を識別するようになっている。

識別コードモードにおいて、商品識別部４５は、商品領域から識別コードを読み取ることによって商品ＩＤを特定する。そして、当該商品ＩＤを商品データ記憶部３２に登録されている商品データに照会することにより、商品を識別するようになっている。

なお、識別コードとしては、ＪＡＮコード等の視認可能なバーコードに限定されるものではなく、商品を識別しうるコードであればよい。例えば、ブラックライト（紫外線）に反応する特殊なインクで印刷された、いわゆる目に見えないバーコードや、電子透かし方式のバーコード等を用いてもよい。このようなバーコードであれば、商品の全表面に渡って多数印刷することができ、識別コードの検出率が向上する。

一方、深層学習モードにおいて、商品識別部４５は、多層のニューラルネットワークを用いて商品を識別する。本実施形態において、ニューラルネットワークは、畳み込み層やプーリング層を含み、ライブラリを用いて構築された多段の畳み込みニューラルネットワークであり、どの商品に分類されるかが予め分かっている画像データを教師データとして深層学習させたものである。

具体的には、まず、商品ごとに切り出した画像を多数準備し、全ての画像において画素数を統一化する。そして、各画素における濃淡値の平均値が０、標準偏差が１となるように正規化し、当該正規化した画像における各画素の正規化した数値データ群を学習に使用し、商品判別式を特定する。

なお、商品判別式に用いられる線形近似式としては、例えば、下記式（３）によって表されるような、多変量解析で使用される線形判別関数がある。
ｚ_１＝ａ_１１ｘ_１＋ａ_１２ｘ_２＋ａ_１３ｘ_３＋ａ_１４ｘ_４＋ｂ_１ ・・・式（３）
ただし、各符号は以下を表す。
ｚ_１：出力変数
ｘ_１，ｘ_２，ｘ_３，ｘ_４：入力変数
ａ_１１，ａ_１２，ａ_１３，ａ_１４：重み
ｂ_１：任意の変数

上記式（３）において、２×２画素の画像を入力する場合、画素数が４つであるため、各画素の濃淡値を入力値としたときの出力値が、当該画像の商品を表す商品値となるように、各重みを修正する作業が「学習」にあたる。なお、各重みは、一般的な画像処理で用いられるデータセットを用いて、識別精度を向上させた後、実際の商品画像から教師データと試験用データを作成し、学習・試験実験を繰り返すことにより導出される。

また、ニューラルネットワークは、多くのユニットが網目状に接続された構造であり、各ユニットの中には非線形の活性化関数等があるため、全体像は極めて複雑となる。しかしながら、一つのユニットを単純な線形近似式で表現すれば、上記式（３）を商品判別式として多数個並べて一つの段を構成し、任意の段における各ユニットからの出力値を次の段の入力値として網目状に接続することにより、最終段では多くの出力値が得られる。そして、当該出力値が最大となる商品判別式の商品が識別結果として得られる。

以上より、深層学習モードにおいて、商品識別部４５は、まず、商品判別式記憶部３４に記憶されている商品ごとの商品判別式のそれぞれに、商品領域に係る数値データ群（各画素の濃度値等）を入力し出力値を算出する。そして、当該出力値が最大となる商品を商品領域に含まれる商品として特定する。

また、本実施形態では、商品を誤認識してしまうのを防止するため、商品ごとに最低限満たすべき出力値の閾値が商品基準値として商品データ記憶部３２に設定されている。これにより、商品識別部４５は、出力値が最大となる商品であっても、当該出力値が商品基準値未満である場合は、該当する商品が存在しないものと判定し、後述するエラー処理を実行させるようになっている。

なお、エラー処理としては、例えば、手画像群データ取得部４３によって切り出された動画像の前後の時間帯における動画像を余分に記録しておき、当該動画像について上述した処理を繰り返して商品を識別してもよい。あるいは、買物カート１１に取り付けられているスピーカーやディスプレイ（図示せず）から、商品の識別に失敗した旨を警告し、識別処理を再実行したり、ユーザに商品の情報を手入力させてもよい。

購入商品管理部４６は、購入しようとする商品を管理するものである。本実施形態において、購入商品管理部４６は、手画像群データに基づいて、買物カゴ１０の外部から内部へ移動した手に商品が把持されている場合、当該商品が買物カゴ１０に入れられたものと判定し、当該商品を買物カゴデータ記憶部３３に登録する。一方、購入商品管理部４６は、手画像群データに基づいて、買物カゴ１０の内部から外部へ移動した手に商品が把持されている場合、当該商品が買物カゴ１０から取り出されたものと判定し、買物カゴデータ記憶部３３に登録されている当該商品を削除する。

具体的には、購入商品管理部４６は、商品識別部４５によって商品が識別された場合、手動作判定部４２による判定結果を参照し、手の移動方向が内方向であれば、識別された商品の商品名および価格を商品データ記憶部３２から読み出し、その数量とともに買物カゴデータ記憶部３３に登録する。一方、手の移動方向が外方向であれば、識別された商品に関するデータを買物カゴデータ記憶部３３から削除する。これにより、買物カゴ１０に入れられている商品と買物カゴデータとが常に対応するように更新される。

購入商品送信部４７は、購入しようとする商品のデータをレジ装置１２へ送信するものである。本実施形態において、購入商品送信部４７は、買物カゴデータ記憶部３３に記憶されている全ての商品について、商品名、価格および数量を通信手段２を介してレジ装置１２へ送信するようになっている。

つぎに、本実施形態の商品管理サーバ１、自動レジシステム１００、商品管理プログラム１ａおよび商品管理方法の作用について、図８を参照しつつ説明する。

本実施形態の自動レジシステム１００を用いて商品を自動精算する場合、買物カート１１に載置された買物カゴ１０に対して商品を出し入れする。このとき、手位置データ取得部４１が、手位置検出手段１４から手位置データを取得すると（ステップＳ１）、当該手位置データに基づいて、手動作判定部４２が手の動作を判定する（ステップＳ２）。以下、ステップＳ２に係る手動作判定処理について、図９を参照しつつ説明する。

まず、手が買物カゴ１０から離れた状態では、上段検出面１４ａおよび下段検出面１４ｂが通光状態にあるため、手動作判定部４２は、上段検出面１４ａが通光状態から遮光状態に変化したか否かを判定する（ステップＳ２１）。当該判定の結果、上段検出面１４ａが通光状態から遮光状態に変化した場合（ステップＳ２１：ＹＥＳ）、手動作判定部４２は、当該変化した時刻（ｔ１）を記録する（ステップＳ２２）。

つづいて、手動作判定部４２は、さらに下段検出面１４ｂが通光状態から遮光状態に変化したか否かを判定する（ステップＳ２３）。当該判定の結果、下段検出面１４ｂも通光状態から遮光状態に変化した場合（ステップＳ２３：ＹＥＳ）、手動作判定部４２は、当該変化した時刻（ｔ２）を記録するとともに（ステップＳ２４）、手が買物カゴ１０の外部から内部へ移動したと判定する（ステップＳ２５）。その後、手動作判定部４２は、上記式（１）を用いて手の下方移動速度を算出した後（ステップＳ２６）、本処理を終了する。

一方、上記ステップＳ２１における判定の結果、上段検出面１４ａが通光状態から遮光状態に変化しない場合（ステップＳ２１：ＮＯ）、あるいは上記ステップＳ２３における判定の結果、下段検出面１４ｂが通光状態から遮光状態に変化しない場合（ステップＳ２３：ＮＯ）、手が買物カゴ１０の内部にあり、上段検出面１４ａおよび下段検出面１４ｂが遮光状態の可能性がある。

そこで、手動作判定部４２は、下段検出面１４ｂが遮光状態から通光状態に変化したか否かを判定する（ステップＳ２７）。当該判定の結果、下段検出面１４ｂが遮光状態から通光状態に変化した場合（ステップＳ２７：ＹＥＳ）、手動作判定部４２は、当該変化した時刻（ｔ３）を記録する（ステップＳ２８）。

つづいて、手動作判定部４２は、さらに上段検出面１４ａが遮光状態から通光状態に変化したか否かを判定する（ステップＳ２９）。当該判定の結果、上段検出面１４ａも遮光状態から通光状態に変化した場合（ステップＳ２９：ＹＥＳ）、手動作判定部４２は、当該変化した時刻（ｔ４）を記録するとともに（ステップＳ３０）、手が買物カゴ１０の内部から外部へ移動したと判定する（ステップＳ３１）。その後、手動作判定部４２は、上記式（２）を用いて手の上方移動速度を算出した後（ステップＳ３２）、本処理を終了する。

一方、上記ステップＳ２７における判定の結果、下段検出面１４ｂが遮光状態から通光状態に変化しない場合（ステップＳ２７：ＮＯ）、あるいは上記ステップＳ２９における判定の結果、上段検出面１４ａが遮光状態から通光状態に変化しない場合（ステップＳ２９：ＮＯ）、手の動作がなかったものとして、本処理を終了する。以上のような手動作判定処理によって、買い物客の手が、買物カゴ１０の外部から内部へ移動したのか、買物カゴ１０の内部から外部へ移動したのかが自動的かつ高精度に判定される。

図８へと戻り、手動作判定部４２によって、手が買物カゴ１０の外部から内部へ移動したと判定された場合、または手が買物カゴ１０の内部から外部へ移動したと判定された場合（ステップＳ３：ＹＥＳ）、手画像群データ取得部４３が、撮像手段１５から動画像を切り出し、手画像群データを取得する（ステップＳ４）。これにより、買物カゴ１０に手を出し入れするときの手画像群データが確実に取得される。また、手が映り込んでいない無駄な画像データは取得されないため、データ通信量および演算処理量が抑制される。

また、本実施形態において、手画像群データ取得部４３は、手動作判定部４２によって算出された上方移動速度または下方移動速度に応じた長さで動画像を切り出す。このため、いずれの動画像からも、ほぼ同じ枚数の手画像群データが抽出されるため、オプティカルフローが適切に算出される。

一方、ステップＳ３における判定の結果、手が買物カゴ１０に対して内外に移動していなければ（ステップＳ３：ＮＯ）、精算の指示がない限り（ステップＳ１２：ＮＯ）、ステップＳ１の処理に戻る。これにより、買物カゴ１０に対する手の動作が常に監視される。

つぎに、商品領域抽出部４４が、ステップＳ４で取得された手画像群データのオプティカルフローに基づいて、上下方向に移動する上下移動領域を抽出する（ステップＳ５）。これにより、買物カゴ１０に対して上方または下方へ移動する手の領域が抽出される。また、本実施形態において、商品領域抽出部４４は、オプティカルフローの移動方向および移動速度が、手動作判定部４２によって算出された方向および速度と略同一の場合のみ、上下移動領域として抽出する。これにより、上下動する手に対応する領域が高精度に抽出される。

つづいて、商品領域抽出部４４は、ステップＳ５で抽出した上下移動領域から手領域を除外し、手以外の領域があるか否かを判定する（ステップＳ６）。このとき、本実施形態では、上下移動領域のうち、手の形状に類似する形状を有し、かつ、手の色情報に類似する色情報を有する領域を手領域として特定するため、手以外の領域が正確に特定される。

ステップＳ６における判定の結果、手以外の領域があれば（ステップＳ６：ＹＥＳ）、商品領域抽出部４４が当該領域を商品領域として抽出する（ステップＳ７）。これにより、商品に相当する商品領域のみが高精度に抽出されるため、商品の誤認率が低減する。一方、手以外の領域がなければ（ステップＳ６：ＮＯ）、精算の指示がない限り（ステップＳ１２：ＮＯ）、ステップＳ１の処理に戻る。これにより、商品を把持していない手画像群データについては、商品の識別処理が実行されないため、演算処理量が低減する。

つづいて、商品識別部４５が、ステップＳ７で抽出された商品領域に基づいて商品を識別する（ステップＳ８）。このとき、本実施形態において、商品識別部４５は、商品領域から識別コードが検出されれば、識別コードモードで商品を識別し、商品領域から識別コードが検出されなければ、深層学習モードで商品を識別するため、商品の識別率が向上する。

つぎに、購入商品管理部４６が、手動作判定部４２によって判定された手の移動方向に基づき、外部から内部への移動であれば（ステップＳ９：内方向）、商品識別部４５によって識別された商品を買物カゴデータ記憶部３３に登録する（ステップＳ１０）。一方、手の移動方向が内部から外部への移動であれば（ステップＳ９：外方向）、購入商品管理部４６が、商品識別部４５によって識別された商品を買物カゴデータ記憶部３３から削除する（ステップＳ１１）。これにより、買物カゴ１０に出し入れされた商品が、ほぼリアルタイムで買物カゴデータ記憶部３３内の買物カゴデータに反映され、購入しようとする商品が自動的に管理される。

一方、ステップＳ８における識別処理の結果、商品を識別できなかった場合（ステップＳ８：ＮＯ）、各種のエラー処理が実行される（ステップＳ１２）。これにより、全ての商品について、正確な買物カゴデータが登録されるため、正確に精算することが可能となる。

その後、精算の指示がない限り（ステップＳ１３：ＮＯ）、上述したステップＳ１からステップＳ１２までの処理が繰り返される。一方、精算が指示されると、購入商品送信部４７が、買物カゴデータ記憶部３３に記憶されている全ての商品について、商品名、価格および数量をレジ装置１２へ送信する。これにより、レジ装置１２では、買物カゴ１０に入れられた商品を一つ一つ確認することなく全商品の合計額を算出し、自動的かつ正確に精算することが可能になる。

以上のような本実施形態の商品管理サーバ１、自動レジシステム１００、商品管理プログラム１ａおよび商品管理方法によれば、以下のような効果を奏する。
１．データ通信量および演算処理量を抑制しつつ、買物カゴ１０に対して出し入れされる商品の識別率を向上し、自動的に管理することができる。
２．商品に相当する商品領域のみを高精度に抽出し、商品の誤認率を低減することができる。
３．上下移動領域のうち、手以外の領域を正確に特定し、商品領域を高精度に抽出することができる。
４．商品を識別するためのモードを複数使い分けることで、商品の識別率をさらに向上することができる。
５．買い物客の手が、買物カゴ１０の外部から内部へ移動したのか、内部から外部へ移動したのかを自動的かつ高精度に判定することができる。
６．手の上方移動速度または下方移動速度を用いることにより、動画像からほぼ同じ枚数の手画像群データを取得するとともに、上下動する手に対応する領域を高精度に抽出することができる。
７．データ通信量および演算処理量を抑制しつつ、買物カゴ１０に対して出し入れされる商品の識別率を向上し、自動的に精算することができる。

なお、本発明に係る商品管理サーバ１、自動レジシステム１００、商品管理プログラム１ａおよび商品管理方法は、上述した実施形態に限定されるものではなく、適宜変更することができる。

例えば、上述した本実施形態において、手位置検出手段１４は、ビームセンサ１４１と反射板１４２とからなる上段検出面１４ａおよび下段検出面１４ｂによって構成されているが、上述したとおり、二基の赤外線カメラと赤外線ＬＥＤとからなる入力デバイスを手位置検出手段１４としてもよい。この場合、赤外線ＬＥＤによって照らされた手が二基の赤外線カメラで撮影され、画像解析して得られた手の三次元位置が手位置データとして出力される。そして、当該三次元位置の時系列データを用いることにより、手の移動方向や移動速度が特定される。

また、上記構成の場合、動画像を切り出す基準時刻（上述の時刻ｔ２，ｔ４）としては、買物カゴ１０の開口部を被覆するような仮想平面を三次元的に設定し、当該仮想平面よりも下側に手先の位置が到達したときの時刻を上記時刻ｔ２とし、仮想平面よりも上側に手先の位置が到達したときの時刻を上記時刻ｔ４としてもよい。

さらに、上記構成の場合、手位置検出手段１４を構成する赤外線カメラを撮像手段１５として兼用してもよい。この場合、手画像群データ取得部４３は、赤外線カメラからの赤外画像データを手画像群データとして取得することとなる。

１ 商品管理サーバ
１ａ 商品管理プログラム
２ 通信手段
３ 記憶手段
４ 演算処理手段
１０ 買物カゴ
１１ 買物カート
１２ レジ装置
１３ 通信ユニット
１４ 手位置検出手段
１４ａ 上段検出面
１４ｂ 下段検出面
１５ａ ビデオカメラ
１５ｂ ストロボ光源
１５ 撮像手段
３１ プログラム記憶部
３２ 商品データ記憶部
３３ 買物カゴデータ記憶部
３４ 商品判別式記憶部
４１ 手位置データ取得部
４２ 手動作判定部
４３ 手画像群データ取得部
４４ 商品領域抽出部
４５ 商品識別部
４６ 購入商品管理部
４７ 購入商品送信部
１００ 自動レジシステム
１４１ ビームセンサ
１４２ 反射板

Claims (9)

1. 買物カゴに対して出し入れされる商品を管理する商品管理サーバであって、
   前記買物カゴの開口部近傍に設けられた手位置検出手段から、手の位置を示す手位置データを取得する手位置データ取得部と、
   前記手位置データに基づいて、前記手が前記買物カゴの外部から内部へ、または内部から外部へ移動したか否かを判定する手動作判定部と、
   前記手が前記買物カゴの外部から内部へ、または内部から外部へ移動した場合、前記買物カゴの開口部近傍に設けられた撮像手段から、前記手の画像群からなる手画像群データを取得する手画像群データ取得部と、
   前記手画像群データに基づいて、前記買物カゴの外部から内部へ移動した手に前記商品が把持されている場合、前記商品を買物カゴデータ記憶部に登録し、前記買物カゴの内部から外部へ移動した手に前記商品が把持されている場合、前記買物カゴデータ記憶部に登録されている前記商品を削除する購入商品管理部と、
   を有する、商品管理サーバ。
2. 前記手画像群データのオプティカルフローに基づいて、上下方向に移動する上下移動領域を抽出するとともに、前記上下移動領域のうち、前記手以外の領域を前記商品に相当する商品領域として抽出する商品領域抽出部を有する、請求項１に記載の商品管理サーバ。
3. 前記商品領域抽出部は、前記上下移動領域のうち、前記手の形状に類似する形状を有する領域および／または前記手の色情報に類似する色情報を有する領域を除外することにより、前記商品領域を抽出する、請求項２に記載の商品管理サーバ。
4. 前記商品領域に基づいて前記商品を識別する商品識別部を有しており、
   前記商品識別部は、下記（ａ），（ｂ）のうち、いずれか一方または双方のモードを用いて商品を識別する、請求項２または請求項３に記載の商品管理サーバ；
   （ａ）前記商品領域に含まれる識別コードに基づいて、前記商品を識別する識別コードモード；
   （ｂ）深層学習によって得られた、前記商品ごとの商品判別式のそれぞれに、前記商品領域に係る数値データを入力したときの出力値に基づいて、前記商品を識別する深層学習モード。
5. 前記手位置検出手段は、前記買物カゴの開口部近傍に上下二段に設けられ、通光状態または遮光状態を検出する上段検出面と下段検出面とから構成されており、
   前記手動作判定部は、
   前記上段検出面が通光状態から遮光状態に変化した後、前記下段検出面が通光状態から遮光状態に変化した場合、前記手が買物カゴの外部から内部へ移動したと判定し、
   前記下段検出面が遮光状態から通光状態に変化した後、前記上段検出面が遮光状態から通光状態に変化した場合、前記手が買物カゴの内部から外部へ移動したと判定する、
   請求項１から請求項４のいずれかに記載の商品管理サーバ。
6. 前記手動作判定部は、
   前記上段検出面と前記下段検出面との間の距離と、前記上段検出面が通光状態から遮光状態に変化した後に前記下段検出面が通光状態から遮光状態に変化するまでの時間とに基づいて、前記手が買物カゴの外部から内部へ移動したときの下方移動速度を算出し、
   前記上段検出面と前記下段検出面との間の距離と、前記下段検出面が遮光状態から通光状態に変化した後に前記上段検出面が遮光状態から通光状態に変化するまでの時間とに基づいて、前記手が買物カゴの内部から外部へ移動したときの上方移動速度を算出する、
   請求項５に記載の商品管理サーバ。
7. 請求項１から請求項６のいずれかに記載の商品管理サーバと、前記手位置検出手段および前記撮像手段が設けられた買物カートと、前記買物カゴデータ記憶部に登録された前記商品を精算するレジ装置とを有する、自動レジシステム。
8. 買物カゴに対して出し入れされる商品を管理する商品管理プログラムであって、
   前記買物カゴの開口部近傍に設けられた手位置検出手段から、手の位置を示す手位置データを取得する手位置データ取得部と、
   前記手位置データに基づいて、前記手が前記買物カゴの外部から内部へ、または内部から外部へ移動したか否かを判定する手動作判定部と、
   前記手が前記買物カゴの外部から内部へ、または内部から外部へ移動した場合、前記買物カゴの開口部近傍に設けられた撮像手段から、前記手の画像群からなる手画像群データを取得する手画像群データ取得部と、
   前記手画像群データに基づいて、前記買物カゴの外部から内部へ移動した手に前記商品が把持されている場合、前記商品を買物カゴデータ記憶部に登録し、前記買物カゴの内部から外部へ移動した手に前記商品が把持されている場合、前記買物カゴデータ記憶部に登録されている前記商品を削除する購入商品管理部
   としてコンピュータを機能させる、商品管理プログラム。
9. 買物カゴに対して出し入れされる商品を管理する商品管理方法であって、
   前記買物カゴの開口部近傍に設けられた手位置検出手段から、手の位置を示す手位置データを取得する手位置データ取得ステップと、
   前記手位置データに基づいて、前記手が前記買物カゴの外部から内部へ、または内部から外部へ移動したか否かを判定する手動作判定ステップと、
   前記手が前記買物カゴの外部から内部へ、または内部から外部へ移動した場合、前記買物カゴの開口部近傍に設けられた撮像手段から、前記手の画像群からなる手画像群データを取得する手画像群データ取得ステップと、
   前記手画像群データに基づいて、前記買物カゴの外部から内部へ移動した手に前記商品が把持されている場合、前記商品を買物カゴデータ記憶部に登録し、前記買物カゴの内部から外部へ移動した手に前記商品が把持されている場合、前記買物カゴデータ記憶部に登録されている前記商品を削除する購入商品管理ステップと、
   を有する、商品管理方法。

Images