JP2021507203A - 重量モニタリングに基づく商品検知システムおよび商品検知方法 - Google Patents

Abstract

本発明は、重量モニタリングに基づく商品検知システム及び商品検知方法を提供する。商品検知システムは、商品データベース生成手段３０１と、重量値取得手段３０２と、取り出しおよび載せ置き状態判断手段３０３と、商品データベースアップデート手段３０４と、を備える。商品検知方法は、商品データベース生成ステップＳ１０１と、重量値取得ステップＳ１０２と、取り出しおよび載せ置き状態判断ステップＳ１０３と、商品データベースアップデートステップＳ１０４と、を備える。本発明によれば、商品棚に置かれた商品のリアルタイム重量検知値をリアルタイムにモニタリングでき、リアルタイムに各々のフレームプレートにおける重量変化を検知でき、商品棚上のすべてのフレームプレートにおける重量変化からどのような商品が取り出されまたは載せ置かれたかを推定でき、取り出されまたは載せ置かれた商品の種類および数量を判定できる。【選択図】図８

Description

本発明は、小売業における商品検知の技術分野に関し、具体的には、重量モニタリングに基づく商品検知システムおよび商品検知方法に関する。

既存の小売業におけるショッピング方法によれば、各々のスーパーマーケットやコンビニエンスストアでは専門の販売員やレジ係を必要とし、人件費が高い。一方、電子決済技術、身元検知（ＩＤ認識）技術およびクラウドコンピューティング技術の発展にともない、無人スーパーマーケットプロジェクトは技術の面において非常に高い実行可能性が備えられた。無人スーパーマーケットプロジェクトにおいて、急いで解決すべき基本問題の一つはユーザにより選択購入された商品についての判断および記録の問題であり、具体的には、サーバは、ユーザのための自動決済が便利であるように、ユーザにより商品棚から取り出された商品の種類、取り出された商品の数量および単価などを正確に判定するが必要がある。

従来技術には、ＲＦＩＤ技術を利用してユーザにより選択購入された商品を検知するものがあり、このような方法によれば、各々の商品にＲＦＩＤ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｄｅｖｉｃｅｓ）タグを設け、セキュリティシステムが設置された出入口においてＲＦＩＤリーダライタを設ける必要があり、ユーザがセキュリティシステムの設置された出入口から出る際にその消費内容が記録される。しかしながら、このような従来技術には次のような問題がある。まず、ハードウェアのコストが高い。一つのＲＦＩＤタグの価格はおよそ０．５〜１人民元であるため、タグの使用によって商品のコストが高くなり、スーパーマーケットの競争力が低下する。たとえば、コストが５人民元である商品についていえば、ＲＦＩＤタグを取り付けることにより、そのコストは１０〜２０％高められる。続いて、商品に対する検知がシールドされたり、除去されたりされる可能性があるため、ユーザがＲＦＩＤリーダーを騙す場合があり、商品が紛失してしまうことが生じる。続いて、このような従来の方法によれば、スーパーマーケットのセキュリティシステムが設置された出入口においてのみ決済できるため、仮に、ユーザが店から出る前に食用可能な商品を食べて、包装をスーパーマーケットに残す場合には、ＲＦＩＤリーダーはユーザの実際の消費金額を検知できず、確定できない。すなわち、従来の方法によれば、なんら技術的制限手段もなく、消費者の高度な自主性およびモラルに依存されるため、無人スーパーマーケットの営業におけるリスクが大きい。

本発明は、上記問題点に鑑みてなされたものであって、従来技術における商品棚からの商品の取り出しや商品棚への商品の載せ置きの状態に対する検知の正確度が低く、モニタリングの誤差が大きく、コストが高く、商品が容易に紛失される技術課題を解決可能な重量モニタリングに基づく商品検知技術を提供することを目的とする。

上記目的を達成するための本発明に係る重量モニタリングに基づく商品検知システムは、
商品データベースを生成する商品データベース生成手段と、
各々のフレームプレートのリアルタイム重量検知値をリアルタイムに取得する重量値取得手段と、
各々のフレームプレートの重量検知値の変化有無を判断し、重量検知値が小さくなった場合には、当該フレームプレート上の商品が取り出されたと判断し、重量検知値が大きくなった場合には、当該フレームプレート上に商品が載せ置かれたと判断する取り出しおよび載せ置き状態判断手段と、
前記リアルタイム重量検知値を前記商品データベースに記憶させることにより前記商品データベースにおける各々のフレームプレートの重量検知値をアップデートする商品データベースアップデート手段と、
を備える。

さらに、異なる実施例において、上記重量モニタリングに基づく商品検知システムは、
少なくとも一つのフレームプレートを含み、一つのフレームプレートには少なくとも一つの商品が載せ置かれている商品棚と、
各々のフレームプレートの下方に設けられ、上記重量値取得手段に接続されている重量検知装置と、
をさらに備える。

さらに、異なる実施例において、上記商品データベース生成手段は、
商品データベースについて初期化処理を行う初期化手段と、
各々の商品の重量値および商品情報を入力しかつ上記商品データベースに記憶させる情報記録手段と、
各々のフレームプレートに商品が載せ置かれた後の重量検知値を取得しかつ上記商品データベースに記憶させる検知値初期化手段と、
を備える。

さらに、異なる実施例において、上記取り出しおよび載せ置き状態判断手段は、
リアルタイムに取得した各々のフレームプレートのリアルタイム重量検知値と上記商品データベースに記憶された同一フレームプレートの重量検知値との差分を算出して各々のフレームプレートの重量差分値として記憶する重量差分値算出手段と、
少なくとも一つのフレームプレートの重量差分値を０と比較し、重量差分値が０よりも小さい場合、当該フレームプレート上の商品が取り出されたと判断し、重量差分値が０よりも大きい場合、当該フレームプレート上に商品が載せ置かれたと判断する重量差分値判定手段と、
フレームプレートの重量差分値が０より大きいか小さい場合、当該フレームプレートのフレームプレート番号および当該フレームプレートの重量差分値を記憶するフレームプレート情報記憶手段と、
を備える。

さらに、異なる実施例において、同一のフレームプレート上のすべての商品の種類が同じで重量も同じ出る場合、
上記取り出しおよび載せ置き状態判断手段は、
当該フレームプレートのフレームプレート番号および当該フレームプレートに対応する商品情報に基づいて取り出された商品の種類を判断する商品種類判断手段と、
フレームプレートの重量差分値の絶対値と当該フレームプレートに対応する商品の単品重量値との比の値を算出し、当該比の値を整数に四捨五入した整数値を取り出された商品の数量として取得する商品数量算出手段と、
をさらに備える。

さらに、異なる実施例において、上記量モニタリングに基づく商品検知システムは、
商品を取り出しまたは載せ置いたユーザの身元を判断するショッピングユーザ判断システムと、
各々のユーザにより取り出された商品の種類および数量を記録するショッピング情報記録手段と、
をさらに備える。

さらに、異なる実施例において、上記ショッピング情報記録手段は、
ユーザの身元が識別された際、上記ユーザの身元情報に基づいて当該ユーザのショッピングデータベースを生成するショッピングデータベース生成手段と、
商品が取り出された際、取り出された商品の種類、数量および商品を取り出したユーザの身元情報に基づいてショッピング情報を生成し当該ユーザのショッピングデータベースに記憶し、商品が載せ置かれた際、載せ置かれた商品の種類、数量および商品を載せ置いたユーザの身元情報に基づいて返還情報を生成し当該ユーザのショッピングデータベースから前記返還情報に対応するショッピング情報を削除するショッピングデータベースアップデート手段と、
を備える。

上記目的を達成するための本発明に係る重量モニタリングに基づく商品検知方法は、
商品データベースを生成する商品データベース生成ステップと、
各々のフレームプレートのリアルタイム重量検知値をリアルタイムに取得する重量値取得ステップと、
各々のフレームプレートの重量検知値の変化有無を判断し、重量検知値が小さくなった場合には、当該フレームプレート上の商品が取り出されたと判断し、重量検知値が大きくなった場合には、当該フレームプレート上に商品が載せ置かれたと判断する取り出しおよび載せ置き状態判断ステップと、
上記リアルタイム重量検知値を前記商品データベースに記憶させることにより前記商品データベースにおける各々のフレームプレートの重量検知値をアップデートした後、上記重量値取得ステップに処理を移行する商品データベースアップデートステップと、
を備える。

さらに、異なる実施例において、上記データベース生成ステップの前に、
少なくとも一つの商品を少なくとも一つの商品棚の少なくとも一つのフレームプレート上に載せ置き、同一のフレームプレート上の同じ種類の商品は同じ重量値を有し、各々の重量値は一種の商品のみに対応する商品棚設置ステップと、
各々のフレームプレートの下方に重量センサーを設け、上記重量値取得手段に接続されているセンサー設置ステップと、
をさらに備える。

さらに、異なる実施例において、上記商品データベース生成ステップは、
商品データベースについて初期化処理を行う初期化ステップと、
各々の商品の重量値および商品情報を入力しかつ上記商品データベースに記憶させる情報記録ステップと、
各々のフレームプレートに商品が載せ置かれた後の重量検知値を取得しかつ上記商品データベースに記憶させる検知値初期化ステップと、
を備える。

さらに、異なる実施例において、上記取り出しおよび載せ置き状態判断ステップは、
リアルタイムに取得した各々のフレームプレートのリアルタイム重量検知値と上記商品データベースに記憶された同一フレームプレートの重量検知値との差分を算出して各々のフレームプレートの重量差分値として記憶する重量差分値算出ステップと、
少なくとも一つのフレームプレートの重量差分値を０と比較し、重量差分値が０よりも小さい場合、当該フレームプレート上の商品が取り出されたと判断し、重量差分値が０よりも大きい場合、当該フレームプレート上に商品が載せ置かれたと判断する重量差分値判定ステップと、
フレームプレートの重量差分値が０より大きいか小さい場合、当該フレームプレートのフレームプレート番号および当該フレームプレートの重量差分値を記憶する情報記憶ステップと、
を備える。

さらに、異なる実施例において、
同一のフレームプレート上のすべての商品の種類が同じで重量も同じ出る場合、
前記取り出しおよび載せ置き状態判断ステップは、
当該フレームプレートのフレームプレート番号および当該フレームプレートに対応する商品情報に基づいて取り出された商品の種類を判断する商品種類判断ステップと、
フレームプレートの重量差分値の絶対値と当該フレームプレートに対応する商品の単品重量値との比の値を算出し、当該比の値を整数に四捨五入した整数値を取り出された商品の数量として取得する商品数量算出ステップと、
を備える。

さらに、異なる実施例において、上記重量モニタリングに基づく商品検知方法は、
商品を取り出しまたは載せ置いたユーザの身元を判断するショッピングユーザ判断ステップと、
各々のユーザにより取り出された商品の種類および数量を記録するショッピング情報記録ステップと、
をさらに備えることを特徴とする請求項８に記載の重量モニタリングに基づく商品検知。

さらに、異なる実施例において、上記ショッピング情報記録ステップは、
ユーザの身元が識別された際、上記ユーザの身元情報に基づいて当該ユーザのショッピングデータベースを生成するショッピングデータベース生成ステップと、
商品が取り出された際、取り出された商品の種類、数量および商品を取り出したユーザの身元情報に基づいてショッピング情報を生成し当該ユーザのショッピングデータベースに記憶し、商品が載せ置かれた際、載せ置かれた商品の種類、数量および商品を載せ置いたユーザの身元情報に基づいて返還情報を生成し当該ユーザのショッピングデータベースから上記返還情報に対応するショッピング情報を削除するショッピングデータベースアップデートステップと、
備える。

本発明に係る重量モニタリングに基づく商品検知システムおよび商品検知方法によれば、商品棚に置かれた商品のリアルタイム重量検知値をリアルタイムにモニタリングでき、リアルタイムに各々のフレームプレートにおける重量変化を検知でき、商品棚上のすべてのフレームプレートにおける重量変化からどのような商品が取り出されまたは載せ置かれたかを推定でき、取り出されまたは載せ置かれた商品の種類および数量を判定できる。さらに、ユーザのリアルタイムの位置および予め設けた各々の商品の載せ置き位置に合わせて、商品を取り出しまたは載せ置いたユーザの身元を判定でき、ショッピングデータベースを生成して、ユーザにより取り出された商品の種類および数量を記録でき、ユーザのショッピングが終わると便利に自動的に決済することができる。

本発明の実施例に係る無人スーパーマーケットの平面図である。 本発明の実施例に係る商品棚の全体構造を示す図である。 本発明の実施例に係るトレイおよびフレームプレートの構造を示す図である。 本発明の実施例に係るフレームプレートの構造を示す図である。 本発明の実施例に係るユーザＩＤ識別システムの構成のブロック図である。 本発明の実施例に係るユーザ位置決めシステムの構成のブロック図である。 本発明の実施例に係る密閉空間内の映像センサーの分布図である。 本発明の実施例に係る重量モニタリングに基づく商品検知システムの構成のブロック図である。 本発明の実施例に係るショッピングユーザ判断システムの構成のブロック図である。 本発明の実施例に係るショッピング情報記録手段の構成のブロック図である。 本発明の実施例に係る決済システムの構成のブロック図である。 本発明の実施例に係る重量モニタリングに基づく商品検知方法のフロチャートである。 本発明の実施例に係るデータベース生成ステップのフロチャートである。 本発明の実施例に係る取り出しおよび載せ置き状態判断ステップのフロチャートである。 本発明の実施例に係るショッピング情報記録ステップのフロチャートである。

以下は、この技術案をより明確させ且つ理解易くなるように、図面を参照して本発明の好ましい実施例を説明する。本発明は、異なる形態の実施例により現れる。その保護範囲は、明細書に記載されている実施例に限られない。

図において、構成が同一である部品は、同一な数字記号で示し、各構成又は機能が類似である部品は、類似な数字記号で示している。本発明に記載されている向きを示す、例えば、上、下、前、後、左、右、内、外、上面、下面、側面、頂部、底部、前端、後端、末端などの用語は、図における方向のみであり、本発明の解釈及び説明に用いられるのみであり、本発明の保護範囲を限定することではない。

ある部品が他の部品にあると記載されている場合に、上記部品がそのまま上記他の部品に配置してもよく、中間部品を介して上記部品が上記中間部品に配置し、且つ上記中間部品が他の部品に配置してもよい。一つの部品が他の部品「に取り付けられる」又は「に接続される」と記載されている場合に、両者は、直接的に「取り付けられる」又は「接続される」と理解されてもよく、又は一つの部品が中間部品を介して間接的に他の部品に「取り付けられる」又は「接続される」と理解されてもよい。

本実施例は、無人スーパーマーケットに用いられる無人販売システムにおける一部としての重量モニタリングに基づく商品検知システムに関する。図１〜３に示されるように、上記無人販売システムは、内部に複数の商品棚２が設けられている密閉空間１を備え、各商品棚２はブラケット３及びブラケット３上に脱着可能に取り付けられる複数のトレイ４を含み、複数のトレイ４は異なる高度で互いに平行し、又は同一な高度で互いに揃っている。トレイ４毎に、複数の並列に設けられているフレームプレート５が設けられ、フレームプレート５毎に少なくとも一種の商品が置かれている。ユーザにとって本実施例のフレームプレート５に置かれている商品を便利に取り出す又は載せ置くことが必要であるので、フレームプレート５のユーザに向ける一端をフレームプレート５の前端とする。

各フレームプレート５とトレイ４との間には重量検知装置６が設けられ、好ましくは直方体形状の重量センサーであり、その一端の下表面はトレイ４に接続されており、他の一端の上表面はフレームプレート５に接続されている。各重量検知装置６はその上方のフレームプレート５およびフレームプレート５の上表面に載せ置かれた商品の重量値をリアルタイムに取得し、上記重量値の変化を速やかに検知する。

本実施例では、各フレームプレート５は、開口する箱体であり、一種又は複数の種類の商品を置くことができる。上記商品は標準商品であり、同一な種類の商品の外観及び重量値は同じであり、或いは近似である。同一のフレームプレート５に載せ置かれる同一種類の商品は同じ重量値を有し、異なる種類の商品は異なる重量値を有し、各重量値は一種の商品のみに対応する。重量検知装置６はフレームプレート５およびその上表面の商品のリアルタイム重量検知値を正確に取得でき、各フレームプレート５の重量値の増加量または減少量を含む変化量をその都度正確に検知できる。ある商品がユーザにより取り出されると、当該商品の位置するフレームプレート５下方の重量検知装置６により取得される重量値データは小さくなり、一方で、ある商品が元の位置に載せ置かれると、当該商品の位置するフレームプレート５下方の重量検知装置６により取得される重量値データは大きくなり、このように、重量検知装置６は比較的に正確な重量変化値を取得できる。

図４に示されるように、本実施例では、フレームプレート５は、フレームプレート基板５１、フレームプレートバッフル５２およびバッフル切り欠き５３を備える。フレームプレート５全体は直方体に近似し、前端の高度が低く、フレームプレート基板５１は矩形であり、商品の載せ置きに用いられる。フレームプレートバッフル５２は矩形、台形または楔形の形状を有し、異なる種類の商品の離隔に用いられ、商品の混同を防止し、商品が滑り落ちないことを保証し、各フレームプレート基板上における商品の重量値が変化する際に、重量検知装置６が正確に検知できることを確保する。

本実施例では、三つの互いに接続されているフレームプレートバッフル５２を含み、フレームプレート基板５１の左右両側および後方のエッジ部に接続されている。フレームプレート基板５１の左右両側に設けられたフレームプレートバッフル５２は台形または楔形であり、その前端部分の高さが低く、ユーザによる商品の取り出しや載せ置きが便利である。また、フレームプレート基板５１の後方に設けられたフレームプレートバッフル５２は矩形であり、商品が滑り落ちることを防止し、異なるフレームプレート基板上の商品が互いに干渉することも防止でき、商品重量値のモニタリングに影響を与えないようにする。できるだけスペースの無駄を低減するため、フレームプレートバッフル５２はできるだけフレームプレート基板５１と垂直状態を維持する。

フレームプレートバッフル５２はフレームプレート基板５１のエッジ部に接続され、かつフレームプレート基板５１の上表面から突出している。バッフル切り欠き５３は二つの対応設置されているフレームプレートバッフル５２の間に形成され、バッフル切り欠き５３はフレームプレート基板５１の前方に設けられ、商品棚の前方を向かっているユーザは、手を当該バッフル切り欠き５３を介してフレームプレート基板５１の上方に載せ置かれた商品の空間に延ばすことができ、商品の取り出しや載せ置きが便利である。

本実施例は、さらに、サーバ又はコンピューターなどのデータ処理機器７を備える。データ処理機器７は、内部に複数のデータ処理ソフトウェアがインストールされ、データ線を介して複数のハードウェアに接続される複数の機能モジュールを有し、ソフトウェアとハードウェアが混在する態様で多種の機能を実現できる。

図１及び図５に示されるように、本実施例は、さらに、各ユーザのＩＤ情報を識別するユーザＩＤ識別システム１００を備える。ユーザＩＤ識別システム１００は、セキュリティシステム１０１及びＩＤ識別装置１０２を備える。本実施例の上記密閉空間１は絶対的な密閉される空間でなく、相対的な封鎖される空間である。密閉空間１には一つ又は複数の出入口が設けられ、一つのユーザ入口１０３及び一つのユーザ出口１０４が設けられていることが望ましい。すべてのユーザは、ユーザ入口１０３を介して当該密閉空間１に入り、且つユーザ出口１０４から当該密閉空間１を離れる。

図１及び図５に示されるように、密閉空間１の各出入口にはセキュリティシステム１０１が設けられていて、ここで、自動ゲートが設けられていることが望ましい。ユーザのＩＤ情報を取得するＩＤ識別装置１０２は、データ処理機器７に接続されているスキャンコード装置１０２１と、データ処理機器７におけるＩＤ取得手段１０２２とを備える。スキャンコード装置１０２１は、ユーザ入口１０３のセキュリティシステム１０１の内部又は外部に設けられていて、ここで、自動ゲートの外側の表面に設けられていることが望ましい。スキャンコード装置１０２１は、ＩＤ識別コードをスキャンし、ここで、２次元コードをスキャンすることが望ましい。ＩＤ取得手段１０２２は、データ処理機器７における一つの機能モジュールであり、上記ＩＤ識別コードに基づいてユーザのＩＤ情報を取得することができる。ユーザ出口１０４のセキュリティシステム１０１にはＩＤ識別装置１０２を設ける必要がない。

本実施例では、各ユーザは、無人スーパーマーケットに対応して利用される専用アプリケーションソフト（ＡＰＰ）を携帯通信端末（例えば、携帯機器やタブレットパソコンなど）にダウンロードして、アプリケーションソフト（ＡＰＰ）においてアカウントを登録し、支払ソフトウェアに関連付けられる。或いは、各ユーザは、支払ソフトウェア（例えば、ウィーチャットやアリペイ）を携帯通信端末にダウンロードし、また、支払ソフトウェアにおいて、無人スーパーマーケットにマッピングして利用されるアプレットを埋め込み、支払ソフトウェアにおいてアカウントを登録する。専用アプリケーションソフト（ＡＰＰ）又は支払ソフトウェアでは、ユーザＩＤ情報、銀行口座情報、支払パスワードなどを含むユーザの登録情報及び電子支払情報が設置されている。登録完了の場合に、ユーザＩＤ情報がデータ処理機器７のユーザデータベースに記憶されている。

携帯通信端末におけるアプリケーションソフト（ＡＰＰ）は、ユーザのＩＤ情報などを記憶している２次元コードを生成することができる。あるユーザが外部から密閉空間１に入りたい場合に、アプリケーションソフトで生成される２次元コードをスキャンコード装置１０２１のスキャン端に対向させる。スキャンコード装置１０２１は、コードをスキャンした後、当該２次元コードの復号処理を行って、復号結果をデータ処理機器７に伝送する。２次元コードが識別される可能であり、且つ識別されたＩＤ情報と予めユーザデータベースに記憶されているＩＤ情報が合致する場合に、当該ユーザのＩＤが正当であることと判断され、セキュリティシステム１０１が開き、当該ユーザが密閉空間１に入ることを許可する。ユーザ入口１０３のセキュリティシステム１０１には、例えば赤外線センサーなどのセンサー装置が設けられている。セキュリティシステム１０１は、当該ユーザが密閉空間１に入った後、人がセキュリティシステム箇所を通り過ぎたことを検知して、自動的に閉じる。ユーザ出口１０４のセキュリティシステム１０１は、ショッピングが終わりユーザが密閉空間１を離れる場合に、人が密閉空間１の内部からセキュリティシステム１０１の近くに寄ることを検知する際に自動的に開き、ユーザが密閉空間１を離れた後、人がセキュリティシステム箇所を通り過ぎた際に自動的に閉じる。

データ処理機器７は、ＩＤ取得手段１０２２が上記ＩＤ識別コードに基づいてユーザのＩＤ情報を取得した後、当該ユーザのショッピング情報データベースを生成でき、ユーザのショッピング中のショッピングの動作ごとにショッピング情報を取得して当該ショッピング情報データベースをアップデートする。ユーザに携帯されている携帯通信端末はアプリケーションソフト（ＡＰＰ）を介してデータ処理機器７との間にリアルタイムデータの交換を行うので、ユーザのショッピング情報データベースが携帯通信端末にけるアプリケーションソフト（ＡＰＰ）に表示され、ショッピングカートの画面が形成されることで、ユーザが自分のショッピング記録及びその後の決済を知っている。

図６に示されるように、本実施例では、さらに、各対象物の密閉空間１におけるリアルタイム位置を取得する対象物位置決めシステム２００を備える。上記対象物は、ユーザ及びその延伸部の全部又は一部である。対象物位置決めシステム２００は、ユーザ全体又は一部（例えば、頭部、手部など）の座標セットを取得する。対象物位置決めシステム２００は、データ処理機器７に接続される三次元映像取得装置２０１と、データ処理機器７に配置する対象物座標取得手段２０２とを備える。

図７に示されるように、三次元映像取得装置２０１は、リアルタイムで少なくとも１フレームの三次元映像を取得するための少なくとも一つの映像センサー２０１１を備える。映像センサー２０１１は、密閉空間１の頂部に均一的に分布し、そのレンズが下方に向けて、レンズの中心軸が水平面に対して垂直にしてもよく、一定の傾きの角度があってもいい。映像センサー２０１１の視野範囲は、密閉空間１の全部の底面を覆う。ユーザは、無人スーパーマーケットで動作又はショッピングを行っている場合に、常に映像センサーに監視される。この場合に、映像センサーに取得された三次元映像は、当該ユーザの身体及びその延伸部の全部又は一部の映像であるユーザ映像を含む。当該密閉空間内に人がなければ、各時点での三次元映像が前の時点での三次元映像と同一であり、当該時点での三次元映像は、背景であると判断され、如何なるユーザ映像を含まない。

各映像センサー２０１１は、並列に設けられる深度画像センサー２０１２、ＲＧＢ画像センサー２０１３、及び三次元映像整合手段２０１４を備える。深度画像センサー２０１２は、複数のフレームの深度画像を連続に取得し、ＲＧＢ画像センサー２０１３は、複数のフレームのＲＧＢ画像を連続に取得し、三次元映像整合手段２０１４は、同一の時点で取得した１フレームの深度画像及び１フレームのＲＧＢ画像を１フレームの三次元映像に整合する。

上記の二つのセンサーは、同期的に取得（同時に取得し且つ取得頻度が同じである）を行い、映像センター２０１１は一秒ごとに同じフレーム数のＲＧＢ画像および深度画像を取得でき、三次元映像整合手段２０１４は一秒ごとに複数のフレームの三次元映像を連続に取得し且つデータ処理機器７の対象物座標取得手段２０２に伝送することができる。

対象物座標取得手段２０２は、データ処理機器７における一つの機能モジュールであり、上記密閉空間の内部では三次元座標系を作成し、連続の複数のフレームに含まれるユーザ映像の三次元映像に基づいてリアルタイムで上記ユーザの上記三次元座標系における座標セット又は座標を取得する。対象物座標取得手段２０２は、座標系作成手段２０２１、パラメーター取得手段２０２２、背景除去手段２０２３、及び対象物座標算出手段２０２４を備える。座標系作成手段２０２１は、上記密閉空間において三次元座標系を作成し、ここで、密閉空間の底面（無人スーパーマーケットの地面）の中心点を座標系の原点とし、水平方向にＸ軸及びＹ軸を設け、垂直方向にＺ軸を設けることが望ましい。

ユーザ身体の全部又は一部が三次元座標系において大きい空間を占めるので、一つの座標セットでユーザの位置を示す可能である。位置の精確制御及び簡易計算を考えれば、当該座標セットにおける一つの特定の点の座標でユーザの位置を示す可能であり、例えば、当該ユーザ座標セットにおける最高の一点（Ｚ軸の数値が最も大きい点）の座標でユーザの位置を示す可能である。

パラメーター取得手段２０２２は、連続する複数のフレームに含んでいるユーザ映像の三次元映像に対して処理を行って、各フレームの三次元映像の各画素点の位置パラメーター及びカラーパラメーターを取得する。上記位置パラメーターは、ｘ、ｙ、ｚであり、当該画素点の上記三次元座標系における位置座標を示す。上記カラーパラメーターは、ｒ、ｇ、ｂであり、それぞれに当該画素点の三原色の強度を示す。データ処理機器７は、あるユーザがある映像センサーの視野内に入った後に、毎秒ごとに複数のフレームの三次元映像を取得してもいい。各フレームの三次元映像はユーザ映像及び背景映像を含み、各画素点は、ユーザの一部である可能性があり、背景の一部である可能性がある。

異なる映像センサーから取得した三次元映像において、ユーザ身体及びその延伸部の同じ部位を示す画素点は、カラーパラメーターｒ、ｇ、ｂが同じである。位置が異なる映像センサーとユーザとの間の距離が異なるので、各映像センサーが直接的に取得した一次位置パラメーターは、ユーザ身体及びその延伸部における一点が当該映像センサーに対する位置座標である。だから、座標変換を行って、位置が異なる映像センサーにより取得された一次位置パラメーターを、上記密閉空間内で作成した三次元座標系における位置パラメーターに変換する。

パラメーター取得手段２０２２は、センサー座標取得手段２０２２１、相対座標取得手段２０２２２、及び座標補正手段２０２２３を備える。センサー座標取得手段２０２２１は、当該フレームの三次元映像を取得する映像センサーの中心点（つまり、並列して設けられる深度画像センサー２０１２及びＲＧＢ画像センサー２０１３のレンズ中心点の連結線の中間点）の、上記密閉空間内で作成された上記三次元座標系における座標を取得する。相対座標取得手段２０２２２は、上記映像センサーの中心点を第２の原点として第２の三次元座標系を作成し、Ｘ軸、Ｙ軸及びＺ軸の方向が上記三次元座標系と同じであり、上記三次元映像から各画素点の上記第２の三次元座標系における座標を取得する。座標補正手段２０２２３は、上記映像センサー中心点の上記三次元座標系における座標及び上記三次元映像における各画素点の第２の三次元座標系における座標に基づいて、上記三次元映像の各画素点の上記三次元座標系における座標を算出し且つ補正して、ユーザ及びその延伸部の各画素点の位置パラメーターを取得する。

連続に取得されたＭフレームの三次元映像において、各フレームの三次元映像が一人のユーザのみの映像を含んでいて、異なる三次元映像にそれぞれに属し且つ位置パラメーターが同じであるＮ個の画素点は、カラーパラメーターが同じであり、且つＮが０．９＊Ｍより大きく且つＭ以下である場合に、背景除去手段２０２３により当該Ｎ個の画素点が背景画素点であると判定され、上記Ｍフレームの三次元映像からＮ個の上記背景画素点が除去されて、Ｍフレームの背景がない三次元映像である当該ユーザの映像が取得される。連続に取得された三次元映像において、異なる三次元映像にそれぞれに属し且つ位置パラメーターが同じである画素点は、カラーパラメーターが同じであり、又は大部分が（例えば、９０％）同じである場合に、画素点の位置が背景であると判断され、当該画素点を対応の三次元映像から除去することができる。

対象物座標算出手段２０２４には、対象物がユーザ及びその延伸部の全てであれば、上記Ｍフレームの背景がない三次元映像におけるすべての画素点の位置パラメーターのセットは、上記ユーザ及びその延伸部の全ての座標セットである。ここで、上記座標セットにおいて、パラメーターｚが最も大きい画素点の位置パラメーターはユーザの座標に定義されている。連続に取得された三次元映像から背景画素点を除去した後に、余りの画素点は当該ユーザ全体の行進の軌跡を示す。連続に取得されたＭフレームの三次元映像では、各フレームの三次元映像が複数のユーザの映像を含まれば、先にＭフレームのそれぞれから一人のユーザのみの全部又は一部を含む三次元映像を切り取る。

対象物がユーザ及びその延伸部の一部であれば、上記ユーザの一部（例えば、頭部、肩部、肘部、腕部、手部など）の座標セットを取得してもいい。深度画像センサー２０１２及びＲＧＢ画像センサー２０１３には、それぞれに一つのレンズが設けられている。二つのレンズの中心軸を水平面に対して垂直として設ければ、二つのレンズが下方に向けて密閉空間内の商品及びユーザを見ることができる。二つのレンズは、一般的な場合に、ユーザの頭部及び肩部の位置座標セットを捉えることができ、ユーザが手を伸ばしている場合に、ユーザのアーム部、肘部、腕部、手部の位置座標セットを捉えることができる。ある時点の当該ユーザの頭部、肩部、肘部、腕部、手部が折線又は曲線に連結されることで、ユーザの手部と頭部の位置が対応関係に作成される。つまり、リアルタイムで手部の位置を取得することができ、同時に当該手部がどのユーザに属するかを判断することができる。

更に、映像センサー２０１１の視野範囲は、出入口の外部の一部の空間を覆ってもいい。ユーザが出入口の外部にいる場合に、当該ユーザの映像が映像センサー２０１１により取得される。ユーザの上記無人販売システムを利用する全部の過程は、出入口のＩＤ識別の過程と、密閉空間１に入る過程と、密閉空間１内で歩く又は留まる過程と、密閉空間１を離れる過程とを備え、全部の過程が映像センサー２０１１に監視され、ＩＤが特定されたユーザ及びその身体の一部が密閉空間１にいるリアルタイム位置をリアルタイムで取得することができる。スキャンコード装置１０２１がユーザの２次元コードを読み取る場合に、データ処理機器７が当該ユーザのＩＤ情報を取得できる。映像センサー２０１１は、スキャンコード装置１０２１がコードを読み取る時点から、位置決め及びリアルタイムで当該ユーザ位置を追従することを始め、当該ユーザがある商品棚にマッチングするか否かを監視している。映像センサー２０１１が当該ユーザのリアルタイムの三次元映像を取得できない場合に、当該ユーザのショッピングが終わったと判断して、決済を行う。

本実施例は、リアルタイムで各種の商品の取り出しや載せ置きの状態を検知する重量モニタリングに基づく商品検知システム３００を備える。上記取り出しや載せ置きの状態は、商品の置かれている状態、取り出された状態、及び元の位置に載せ置かれた状態を含む。図８に示されるように、重量モニタリングに基づく商品検知システム３００は、商品データベース生成手段３０１と、重量値取得手段３０２と、取り出しや載せ置き状態判断手段３０３と、商品データベースアップデート手段３０４と、を備える。上述の四つの手段は、データ処理機器７における機能モジュールであり、重量検知装置６が設けられている商品棚２と協力に動作し、各フレームプレート５のリアルタイムの重量検知値を監視でき、取り出され又は載せ置かれた商品があるか否かを判断できる。商品検知システム３００は、いずれの一種の商品が取り出され又は載せ置かれたときに、取り出された又は載せ置かれた商品の種類及び数量を取得する。

商品データベース生成手段３０１は、各商品の商品情報及び商品が置かれている各フレームプレートの重量検知値を含む商品データベースを生成する。上記商品情報は、商品の種類、単品の重量値及び商品に対応するフレームプレート番号及び商品棚番号を備え、さらに、商品の番号商品名、型番、内容量及び単価などを備える。

商品データベース生成手段３０１は、初期化手段３０１１、情報記録手段３０１２及び検知値初期化手段３０１３を備える。初期化手段３０１１は、商品データベースに対して初期化処理を行って、データ処理機器７におけるメモリに商品データベースを作成する。情報記録手段３０１２は、各商品の重量値及び商品情報を記録して、それを上記商品データベースに記憶し、キーボード又はスキャンコード装置を利用して無人スーパーマーケットの商品棚における各種商品の重量値を上記商品データベースに記録する。検知値初期化手段３０１３は各フレームプレートに商品が置かれた重量検知値を取得して、それを上記商品データベースに記憶する。

無人スーパーマーケットの配置の過程において、各フレームプレート５に同じな種類、同じな重量の複数の商品が置かれた後、商品情報がデータ処理機器７に記録され、且つ商品データベースに記憶する。あるブランドの飲物を例として、あるフレームプレートに８缶のあるブランドの飲物が置かれている場合に、フレームプレートの重量が１００グラムであり、１缶の飲物の重量が２００グラムであり、初期化された後の商品データベースにおいて当該フレームプレートの検知重量値が１７００グラムであり、当該ブランドの飲み物に対応する製品名称（ある冷たいお茶）、正味重量（１９５ｍｌ）、産地（広東）、単価（５人民元）、単品重量値（２００グラム）、商品棚番号（１）、フレームプレート番号（１−１２）、商品番号（０２５）などの情報も上記商品データベース内に記憶されている。

重量値取得手段３０２は、データ線を介して各フレームプレート５内の重量検知装置６にそれぞれに接続されて、リアルタイムで各フレームプレート５のリアルタイム重量検知値を取得する。取得時間間隔が０．１〜０．２秒であることが望ましい。上記リアルタイム重量検知値が重量センサーの検知数値であり、商品がフレームプレート５に置かれる前に、各フレームプレートの重量を示し、商品がフレームプレート５に置かれた後に、当該フレームプレート及び当該フレームプレートに置かれた商品の総重量値を示し、商品がフレームプレート５から取り出された又はフレームプレート５に戻された場合に、リアルタイム重量検知値が変化する。

誤差が小さくなるように、フレームプレート５に商品が置かれる前に、先に補正処理を行う必要であり、多種の異なる重量の規格分銅を利用して重量センサーの検知値Ｘとフレームプレートに置かれた品物の実際の重量値Ｙとの間の対応関係を算出する。例えば、まずフレームプレートを空かせて、重量検知装置６（重量センサー）の検知値Ｘ０を取得する。この場合にフレームプレートの商品重量Ｙ０が０グラムである。重量値が５００グラム、１０００グラムである基準分銅はそれぞれにフレームプレートに置かれて、重量検知装置６（重量センサー）の検知値Ｘ１、Ｘ２を取得し、対応するフレームプレートにおける商品の重量Ｙ１が５００グラムであり、Ｙ２が１０００グラムである。Ｙ（商品重量値）＝ｋ×Ｘ（センサー値）＋ｂである式を利用して、３組のパラメーターｋ、ｂの数値を算出して記憶し、その中の偏差が小さいパラメーター組み合わせを選択する。次のリアルタイムのモニタリングにおいて、重量検知装置６（重量センサー）がリアルタイムでセンサー値を取得し、パラメーターｋ、ｂの数値を結合して、各フレームプレートの既存商品の総重量を算出することができる。

取り出しや載せ置き状態判断手段３０３は、各フレームプレートの重量検知値が変化するか否かを判断する。小さくなる場合に、当該フレームプレートから商品が取り出されたことと判断し、大きくなる場合に、商品が当該フレームプレートに置かれていることと判断し、変化しない場合に、当該フレームプレート上の商品が完全に変化しないことを説明し、重量値取得手段３０２が新たにリアルタイムで取得する。取り出す／戻す状態判断手段３０３は、重量差分値算出手段３０３１、重量差分値判断手段３０３２、及びフレームプレート情報記録手段３０３３を備える。

重量差分値算出手段３０３１は、リアルタイムで取得する各フレームプレートのリアルタイム重量検知値と上記商品データベースに記憶されている同一なフレームプレートの重量検知値との差を算出して、各フレームプレートの重量差として記録する。例えば、上記の例において、上記あるブランドの飲物が置かれているフレームプレートの重量は変化し、１３００グラム又は１９００グラムとなり、重量差がそれぞれ−４００グラム又は２００グラムに記録されている。

重量差分値判断手段３０３２は、少なくとも一つのフレームプレートの重量差と０を比較して、フレームプレートの重量差が０よりも小さい場合に、当該フレームプレート上の商品が取り出されたことと判断し、あるフレームプレートの重量差が０よりも大きい場合に、当該フレームプレートに品物が置かれていることと判断するが、当該品物はユーザが商品棚から取り出された商品であるか、ユーザに携帯されている品物であるかを特定できない。例えば、上記の例において、重量差が−４００グラムであり、つまり商品が取り出されたことと判定でき、重量差が２００グラムであり、つまり、商品が商品棚に置かれたことと判定できる。

あるフレームプレートの重量差が０よりも大きく又は０よりも小さい場合に、フレームプレート情報記録手段３０３３は、当該フレームプレートのフレームプレート番号及び当該フレームプレートの重量差を記録する。例えば、上記の例における重量差が−４００グラムである場合に、当該フレームプレートの重量が減少することと分かり、当該フレームプレートの番号（１−１２）を記録する。上記の例における重量差が２００グラムである場合に、当該フレームプレートの初期状態での重量検知値が１７００グラムであることと分かり、この場合に、当該フレームプレートに置かれている品物は必ず元の商品棚の商品でないので、他のフレームプレートの商品又はユーザに携帯された品物であるかもしれない。この場合に、警報信号を選択的に生成する可能であり、管理員又はユーザに対して注意を喚起し、また、必要である場合に、当該フレームプレートのフレームプレート番号をある表示器に表示して、管理員又はユーザが早速に処理を行うことができる。

取り出しや載せ置き状態判断手段３０３は、商品種類判断手段３０３４及び商品数量算出手段３０３５を備える。フレームプレートの重量差が０よりも小さい場合に、商品種類判断手段３０３４は、当該フレームプレート番号及び上記商品データベースに記憶されている当該フレームプレートに対応する商品情報に基づいて取り出された商品の種類を判定する。例えば、当該フレームプレートの番号（１−１２）が既知であり、各フレームプレートに一種の商品が置かれている場合に、当該商品の種類がある冷たいお茶であることと判断でき、単品重量値（２００グラム）、内容量（１９５ｍｌ）、産地（広東）、単価（５人民元）などという他の商品情報を対応に見出すことができる。当該フレームプレートに複数種の商品が置かれている場合に、重量差により取り出された商品の可能な種類及び数量を初歩的に判定するのみである。

フレームプレートの重量差が０よりも小さい場合に、各フレームプレートに一種の商品だけを置かれば、商品数量算出手段３０３５は、フレームプレートの重量差の絶対値と、上記商品データベースに記憶されている当該フレームプレートにおける単一商品重量との比の値を算出し、四捨五入方法を利用して当該比の値を丸めて、取得した整数が取り出された商品の数量である。例えば、上記の例における重量差が−４００グラムであり、その絶対値が４００グラムであり、単品重量値（２００克）との比の値が２であるので、当該比の値が、取り出された商品の数量である。同じな種類の複数の商品は、小さい重量差がある可能でありので、そのまま算出した後の比の値が整数であるとは限らなく、ある整数に近い可能である。だから、四捨五入方法を利用して当該比の値を丸めることで、取り出された商品の種類及び数量を判断できる。

望んでいる状態で、ユーザの素質が高いと、商品が戻された場合に、当該商品を当該商品の商品棚に正確に戻すことができる。フレームプレートの重量差が０よりも大きい場合に、商品種類判断手段３０３４は、当該フレームプレート番号及び当該フレームプレートに対応する商品情報に基づき戻された商品の種類を判定する。商品数量算出手段３０３５は、当該フレームプレートの重量差の絶対値と当該フレームプレートに対応する商品の単品重量値の比の値を算出し、四捨五入法を利用している当該比の値を丸めて、取得した整数が、戻された商品の数量である。

商品データベースアップデート手段３０４は、上記リアルタイム重量検知値を上記商品データベースに記憶して、新な重量検知値を形成することで、上記商品データベースにおける各フレームプレートの重量検知値をアップデートし、後の呼び出し及び判定を待つ。

本実施例の上記重量モニタリングによる商品検知システム３００の良好な効果は、リアルタイムで商品棚における商品のリアルタイム重量検知値を監視し、リアルタイムで各フレームプレートの重量の変化を検知し、商品棚の全てのフレームプレートに基づき、どの種類の商品が取り出された又は戻されたことを推定し、取り出された又は戻された商品の種類及び数量を判断できる重量モニタリングによる商品検知技術案を提供する。

図９に示されるように、本実施例では、データ処理機器７における機能モジュールであるショッピングユーザ判断システム５００を備える。ショッピングユーザ判断システム５００は、いずれの種類の商品が取り出され又は載せ置かれた場合に、上記ユーザのＩＤ情報及び上記ユーザのリアルタイム位置に基づいて商品を取り出した又は商品を載せ置いたユーザＩＤを判断する。ショッピングユーザ判断システム５００は、商品情報記憶手段５０１、フレームプレート座標記憶手段５０２、フレームプレートとユーザとのマッチング判断手段５０３、及び商品とユーザとのマッチング判断手段５０４を備える。

重量モニタリングによる商品検知システム３００における商品データベース生成手段３０１及び商品データベースアップデート手段３０４により生成された又はアップデートされた商品データベースは、商品情報記憶手段５０１に記憶されている。上記商品データベースは、各商品情報を備える。

対象物位置決めシステム２００は、上記密閉空間において三次元座標系を作成する。対象物位置決めシステム２００は、商品棚２及びフレームプレート５の位置が特定されたので、座標系を作成した後に、各商品棚２及び各フレームプレート５の座標を取得でき、商品棚の座標セット及びフレームプレートの座標セットをフレームプレート座標記憶手段５０２に記憶し、フレームプレートの上方の、商品が置かれているフレームプレート空間の高度（例えば、３０ＣＭ）が設けられることで、上記フレームプレート空間の座標セットを取得することができる。

対象物座標取得手段２０２は、各ユーザの手部のリアルタイム座標セットを取得できる。フレームプレートとユーザとのマッチング判断手段５０３は、あるフレームプレート５の上方のフレームプレート空間の座標セットとあるユーザの手部の座標セットが共通部分を有する場合に、当該フレームプレートと当該ユーザがマッチングすると判断する。この場合に、当該ユーザは手部を当該フレームプレートの上方のフレームプレート空間に伸ばしていると考えられる。そして、同時に当該フレームプレートの重量検知値が大きくなれば、商品が商品棚に載せ置かれたことであり、同時に当該フレームプレートの重量検知値が小さくなれば、ユーザにより当該商品棚から商品が取り出されたことである。

商品がフレームプレートから取り出されまたは載せ置かれた際、且つ同じ時点でユーザと当該フレームプレートがマッチングする場合に、商品とユーザのマッチング判断手段５０４は当該商品と当該ユーザがマッチングして、当該商品が当該時点で当該ユーザにより当該フレームプレートから取り出された又は当該フレームプレートへ載せ置かれたと判断し、さらに商品を取り出し又は商品を載せ置いた当該ユーザのＩＤを特定できる。

図１０に示されるように、本実施例では、データ処理機器７における機能モジュールであるショッピング情報記録手段６００をさらに備える。ショッピング情報記録手段６００は、各ユーザのＩＤ情報に基づいて、少なくとも一つのショッピング情報データベースを生成し、各ユーザにより取り出された少なくとも一つの商品の種類及び数量を記録する。ショッピング情報記録手段６００は、ショッピング情報データベース生成手段６０１及びショッピング情報データベースアップデート手段６０２を備える。

ユーザのＩＤがユーザＩＤ識別システム１００により識別された場合に、ＩＤ取得手段１０２２がユーザのＩＤ情報を取得し、ショッピング情報データベース生成手段６０１が上記ユーザのＩＤ情報に基づいてデータ処理機器７において当該ユーザのショッピング情報データベースを生成する。初期状態でのショッピング情報データベースには、如何なるショッピング情報がない。

ショッピング情報データベースアップデート手段６０２は、取り出された商品の種類と数量、及び商品を取り出したユーザのＩＤ情報に基づいて１グループのショッピング情報を生成して、当該ショッピング情報を当該ユーザのショッピング情報データベースに記憶する。当該ショッピング情報は、当該時点で取り出された商品の種類と数量、及び当該商品の商品情報（例えば、商品名、型番、内容量及び単価など）を含む。ユーザが密閉空間１で複数回で商品を取り出した後に、そのショッピング情報データベースに複数グループのショッピング情報を備え、ユーザに携帯されている携帯通信端末とデータ処理機器７が無線通信方式で接続され且つデータ交換が行われるので、ショッピング情報データベースにおけるショッピング情報もユーザの携帯通信端末のＡＰＰ画面に表示され、ユーザの買い物箱を構成する。

商品とあるユーザとがマッチングすれば、重量モニタリングによる商品検知システム３００があるフレームプレート５のリアルタイム重量検知値が大きくなり且つ当該フレームプレートの重量差が０よりも大きいことを検知する場合に、商品が当該フレームプレートに置かれたことと判断し、且つ、当該商品が購買した商品であるか否かを判断できる。

本実施例では、商品種類判断手段３０５をさらに含み、当該ユーザのショッピング情報データベースにおいて各々のショッピング情報を検索し、購買した商品の重量値と当該フレームプレートの重量差とがマッチングするか否かを判断し、総重量が当該フレームプレートの重量差と同じである一つ又は複数の購買した商品を有するか否かを判断する。有すれば、当該品物の可能な種類及び数量を初歩的に判定する可能である。例えば、当該フレームプレートの重量差が２００グラムであり、且つ購買した商品において二つの１００グラムの商品Ａしかない場合に、当該フレームプレートに載せ置かれた商品は、二つの商品Ａであることを初歩的に判断することができる。また、ユーザにより間違って載せ置かれた場合、すなわちユーザがあるフレームプレートに属さない商品を当該フレームプレート上に載せ置かれた場合、商品種類判断手段３０５は当該ユーザのショッピング情報データベースにおけるショッピング情報に基づいて当該商品の可能な種類及び数量を判断できる。フレームプレート５のスペースが小さいため、通常ユーザは誤って大量の商品を載せ置く可能性がなく、本実施例は簡単な載せ置き間違いについて良好な判断能力を有する。その他の実施例において、映像モニタリングに基づく商品検知システムをさらに設置でき、複数のカメラにより商品棚の前方空間を撮像し、各々商品の取り出されまたは載せ置きの過程をモニタリングし、重量モニタリングに基づく商品検知システムに協力動作することにより、取り出されまたは載せ置かれた商品の種類及び数量をさらに判断する。

さらに、上記商品検知システムは、載せ置かれた商品の種類とリアルタイム重量検知値が大きくなるフレームプレートにおける既存商品の種類とが一致するか否かを判断できる。一致しない場合に、管理員又はユーザに対して注意を喚起するように、警報信号を選択的に生成する可能である。

重量モニタリングに基づく商品検知システム３００が載せ置かれた商品の種類を判断できない場合に、フレームプレートに載せ置かれた商品が当該フレームプレートにおける既有商品でなく、ユーザの携帯された品物（例えば、傘、携帯機器等）であるかもしれないことと判断される。この場合に、管理員又はユーザに対して注意を喚起するように、警報信号を選択的に生成する可能である。必要であれば、当該フレームプレートのフレームプレート番号を表示装置に表示して、管理員又はユーザが早速に処理を行うことができる。

図１１に示されるように、本実施例では、データ処理機器７における機能モジュールであり、上記ユーザのショッピング情報データベースにおけるすべての商品の種類及び数量に基づいて料金の決済を行う決済システム７００をさらに備える。ユーザは、ショッピングが終わった後に、自分で出入口のセキュリティシステムを介して密閉空間１から離れてもいい。対象物位置決めシステム２００の映像センサー２０１１が当該ユーザのリアルタイム三次元映像を取得できない場合に、当該ユーザのショッピングが終わったと判断されて、決済システム７００が当該ユーザの料金を決済する。

決済システム７００は、総額算出手段７０１及び支払手段７０２を備える。総額算出手段７０１は、上記ユーザが上記密閉空間から離れる場合に、上記ユーザのショッピング情報データベースにおけるすべての商品の種類及び数量に基づいて総額を算出する。それぞれの種類の商品の単価が商品情報としてデータ処理機器７に記憶されておくので、複数の種類の商品単価と数量を乗算した積の合計金額は、当該ユーザの支払うべき総額である。さらに、他の実施例では、ユーザが商品の割引を利用したり、クーポンやギフト券などを使用したりできるので、ユーザが支払う必要がある総額は、複数の種類の商品の単価と数量を乗算した積の合計金額からクーポン及び／又はギフト券及び／又は割引の金額を差し引いたものである。支払手段７０２は、決済システム７００の自己の支払ソフトウェア又は第三者の支払ソフトウェアであり、上記ユーザの銀行口座又は電子口座から金額を差し引いて、差し引いた料金の金額と当該ユーザの支払う必要がある総額が同じである。

本実施例は、重量モニタリングに基づく商品検知方法をさらに提供し、すなわち、上記重量モニタリングに基づく商品検知システム３００の実現方法を提供する。図１２に示されるように、以下のようなステップＳ１０１〜Ｓ１０８を備える。

ステップＳ１０１は、商品データベース生成ステップであり、各商品の商品情報及び商品が置かれている各フレームプレートの重量検知値を含む商品データベースを生成する。上記商品情報は、商品の種類、単品の重量値及び商品に対応するフレームプレート番号を備える。図１３に示されるように、商品データベース生成ステップＳ１０１は、具体的には以下のようなステップＳ１０１１〜Ｓ１０１３を含む。初期化ステップＳ１０１１では、商品データベースについて初期化処理を行う。情報記録ステップＳ１０１２では、各々の商品の重量値および商品情報を入力しかつ上記商品データベースに記憶させる。重量検知値初期化ステップＳ１０１３では、初期状態において各々のフレームプレートに商品が載せ置かれた後の重量検知値を取得しかつ前記商品データベースに記憶させる。あるブランドの飲物を例として、あるフレームプレートの重量が１００グラムであり、フレームプレートに８缶のあるブランドの飲物が置かれ、１缶の飲物の重量が２００グラムであり、初期化された後の商品データベースにおいて当該フレームプレートの検知重量値が１７００グラムであり、当該ブランドの飲み物に対応する製品名称（ある冷たいお茶）、内容量（１９５ｍｌ）、産地（広東）、単価（５人民元）、単品重量値（２００グラム）、商品棚番号（１）、フレームプレート番号（１−１２）、商品番号（０２５）などの情報も上記商品データベース内に記憶される。

ステップＳ１０２は、重量値取得ステップであり、各々のフレームプレートのリアルタイム重量検知値をリアルタイムに取得する。上記重量検知値は当該フレームプレートおよび当該フレームプレート上の商品のリアルタイム重量値である。重量値取得ステップＳ１０２において、リアルタイム重量検知値を取得する時間間隔は０．１〜０．５秒である。

ステップＳ１０３は、取り出しおよび載せ置き状態判断ステップであり、各々のフレームプレートの重量検知値の変化有無を判断し、重量検知値が小さくなった場合には、当該フレームプレート上の商品が取り出されたと判断し、重量検知値が大きくなった場合には、当該フレームプレート上に商品が載せ置かれたと判断する。また、完全に変化してないと判断する場合、当該フレームプレート上の商品は完全に変化してないことである。続いて、重量値取得ステップＳ１０２に処理を移行し、新たにリアルタイム重量検知値を取得する。

図１４に示されるように、取り出しおよび載せ置き状態判断ステップＳ１０３は、以下のようなステップＳ１０３１〜Ｓ１０３３を含む。重量差分値算出ステップＳ１０３１では、リアルタイムに取得した各々のフレームプレートのリアルタイム重量検知値と前記商品データベースに記憶された同一フレームプレートの重量検知値との差分を算出して各々のフレームプレートの重量差分値として記憶する。例えば、上記の例において、上記あるブランドの飲物が置かれているフレームプレートの重量は変化し、１３００グラム又は１９００グラムとなり、重量差がそれぞれ−４００グラム又は２００グラムに記録されている。重量差分値判断ステップＳ１０３２では、少なくとも一つのフレームプレートの重量差と０を比較して、フレームプレートの重量差が０よりも小さい場合に、当該フレームプレート上の商品が取り出されたことと判断し、あるフレームプレートの重量差が０よりも大きい場合に、当該フレームプレートに品物が置かれていることと判断するが、当該品物はユーザが商品棚から取り出された商品であるか、ユーザに携帯されている品物であるかを特定できない。例えば、上記の例において、重量差が−４００グラムであり、つまり商品が取り出されたことと判定でき、重量差が２００グラムであり、つまり、商品が商品棚に置かれたことと判定できる。情報記録ステップＳ１０３３では、あるフレームプレートの重量差が０よりも大きく又は０よりも小さい場合に、当該フレームプレートのフレームプレート番号及び当該フレームプレートの重量差を記録する。例えば、上記の例における重量差が−４００グラムである場合に、当該フレームプレートの重量が減少することと分かり、当該フレームプレートの番号（１−１２）を記録する。上記の例における重量差が２００グラムである場合に、当該フレームプレートの初期状態での重量検知値が１７００グラムであることと分かり、この場合に、当該フレームプレートに置かれている商品は必ず元の商品棚の商品でないので、他のフレームプレートの商品又はユーザの携帯された品物（例えば傘、携帯装置など）であるかもしれない。この場合に、警報信号を選択的に生成する可能であり、管理員又はユーザに対して注意を喚起する。

図１４に示されるように、あるフレームプレート上の商品が取り出された場合、取り出しや載せ置き状態判断ステップＳ１０３は、以下のようなステップＳ１０３４〜Ｓ１０３５を含むことができる。商品種類判断ステップＳ１０３４では、フレームプレートの重量差が０よりも小さい場合に、当該フレームプレート番号及び上記商品データベースに記憶されている当該フレームプレートに対応する商品情報に基づいて取り出された商品の種類を判定する。例えば、当該フレームプレートの番号（１−１２）が既知であり、各フレームプレートに一種の商品が置かれている場合に、当該商品の種類がある冷たいお茶であることと判断でき、単品重量値（２００グラム）、内容量（１９５ｍｌ）、産地（広東）、単価（５人民元）などという他の商品情報を対応に見出すことができる。商品数量算出ステップＳ１０３５では、フレームプレートの重量差の絶対値と、上記商品データベースに記憶されている当該フレームプレートにおける単一商品重量との比の値を算出し、四捨五入方法を利用して当該比の値を丸めて、取得した整数が取り出された商品の数量である。例えば、上記の例における重量差が−４００グラムであり、その絶対値が４００グラムであり、単品重量値（２００グラム）との比の値が２であるので、当該比の値が、取り出された商品の数量である。同じな種類の複数の商品は、小さい重量差がある可能でありので、そのまま算出した後の比の値が整数であるとは限らなく、ある整数に近い可能である。だから、四捨五入方法を利用して当該比の値を丸めることで、取り出された商品の種類及び数量を判断できる。

ステップＳ１０４は、商品データベースアップデートステップであり、上記リアルタイム重量検知値を前記商品データベースに記憶させることにより上記商品データベースにおける各々のフレームプレートの重量検知値をアップデートした後、上記重量値取得ステップＳ１０２へ処理を移行する。そして、あるフレームプレートの重量検知値が変化すると上述のステップを繰り返す。上述のステップＳ１０２〜Ｓ１０３は、判断が終わるたびに、新な重量検知値により元の重量検知値に替えて商品データベースに新たに記憶させ、次の判定を待つ。

図１２に示されるように、重量モニタリングに基づく商品検知方法は、ユーザの身元情報（ＩＤ情報）を識別するユーザＩＤ識別ステップＳ１０５と、上記密閉空間におけるユーザのリアルタイム位置を取得するユーザ位置決めステップＳ１０６と、任意の商品が取り出されまたは載せ置かれた際に、ユーザのＩＤ情報およびリアルタイム位置に基づいて商品を取り出しまたは載せ置いたユーザの身元を判断し、任意のフレームプレートの重量検知値が変化し、かつ当該フレームプレートの上方のフレームプレート空間の座標セットとあるユーザの手部の座標セットが共通部分を有する場合に、当該ユーザにより当該フレームプレートから商品を取り出されまたは商品を当該フレームプレートに載せ置かれたと判断し、一回の購買行為を完了するショッピングユーザ判断ステップＳ１０７と、各々のユーザの身元情報に基づいてショッピング情報データベースを生成し、購買行為がある際、ユーザにより取り出された商品の種類および数量を記録するショッピング情報記録ステップＳ１０８と、をさらに有してもよい。

図１５に示されるように、ショッピング情報記録ステップＳ１０８は、ユーザの身元が識別された際、上記ユーザの身元情報に基づいて当該ユーザのショッピングデータベースを生成するショッピングデータベース生成ステップＳ１０８１と、商品が取り出された際、取り出された商品の種類、数量および商品を取り出したユーザの身元情報に基づいてショッピング情報を生成し当該ユーザのショッピングデータベースに記憶し、商品が載せ置かれた際、載せ置かれた商品の種類、数量および商品を載せ置いたユーザの身元情報に基づいて返還情報を生成し当該ユーザのショッピングデータベースから上記返還情報に対応するショッピング情報を削除するショッピングデータベースアップデートステップＳ１０８２と、を備える。データ処理機器において、各々のユーザに対応するショッピング情報データベースがあり、ある商品がユーザにより取り出された際、当該商品の商品情報及び取り出された数量をショッピング情報として当該ユーザのショッピング情報データベースに記録され、ショッピング終了後のユーザによる決済を便利にする。また、ある商品がユーザにより元の位置に載せ置かれた際、当該商品の商品情報及び載せ置かれた数量は返還情報を生成し当該ユーザのショッピングデータベースから上記返還情報に対応するショッピング情報を削除する。

上記の例において、ユーザにより２缶の飲物が取り出された後、商品データベースにおけるフレームプレート（１−１２）に対応するリアルタイム重量値は既に１３００グラムにアップデートされ、ユーザのショッピング情報データベースには２缶の飲物（ある冷たいお茶）の商品情報及び数量が記憶される。その後、仮に重量値取得手段により取得したフレームプレート（１−１２）のリアルタイム重量検知値が１５００グラムで、フレームプレート（１−１２）の重量差分値が２００グラムである場合、取り出しおよび載せ置き状態判断ステップＳ１０３では、商品が当該フレームプレート上に載せ置かれたと判断し、データベースアップデートステップＳ１０４では、商品データベースにおけるフレームプレート（１−１２）に対応するリアルタイム重量値を１５００グラムに更新する。続いて、ショッピングユーザ判断ステップＳ１０７では、商品を載せ置いたユーザの身元を判断し、ショッピング情報記録ステップＳ１０８では、当該ユーザのショッピング情報データベースにおいて２００グラムの商品が一種類しかない場合、載せ置かれた商品はユーザにより前に取り出された１缶の飲物（ある冷たいお茶）であると判断でき、当該ユーザのショッピング情報データベースから当該飲物（ある冷たいお茶）の数量を２から１に減らす。同様に、フレームプレート（１−１２）の重量差分値が４００グラムであれば、当該ユーザのショッピング情報データベースから当該飲物（ある冷たいお茶）の数量を１から０に減らすか、または、当該ユーザのショッピング情報データベースから当該飲物（ある冷たいお茶）の購買記録である商品情報および数量をすべて削除する。

対象物位置決めシステム２００の映像センサー２０１１があるユーザのリアルタイム三次元映像を取得できない場合、データ処理機器７は当該ユーザは既に無人スーパーマーケット（密閉空間１）の範囲を離れ、決済システム７００は当該ユーザのショッピング情報データベースに記録されたすべてのデータ情報に基づいてユーザの決済および支払いを自動的に完成させる。

本発明に係る重量モニタリングに基づく商品検知システムおよび商品検知方法によれば、商品棚に置かれた商品のリアルタイム重量検知値をリアルタイムにモニタリングでき、リアルタイムに各々のフレームプレートにおける重量変化を検知でき、商品棚上のすべてのフレームプレートにおける重量変化からどのような商品が取り出されまたは載せ置かれたかを判断でき、取り出されまたは載せ置かれた商品の種類および数量を判断できる。さらに、商品を取り出しまたは載せ置いたユーザの身元を判定でき、ショッピング情報データベースを生成して、ユーザにより取り出された商品の種類および数量を記録でき、ユーザのショッピングが終わると便利に自動的に決済することができる。

以上は、本発明の望ましい実施態様のみであり、当業者がより正確に本発明を理解し且つ実現するためであるが、本発明の範囲を制限するためでない。当業者にとって、その範囲を逸脱しない限りにおいて様々な修正や変更を行うことができる。これらの修正や変更も本発明の範囲と見なされる。

１ 密閉空間、
２ 商品棚、
３ ブラケット、
４ トレイ、
５ フレームプレート、
６ 重量検知装置、
７ データ処理機器、
５１ フレームプレート基板、
５２ フレームプレートバッフル、
５３ バッフル切り欠き、
５４ フレームプレート嵌合溝、
１００ ユーザＩＤ識別システム、
１０１ セキュリティシステム、
１０２ ＩＤ識別装置、
１０２１ スキャンコード装置、
１０２２ ＩＤ取得手段、
１０３ ユーザ入口、
１０４ ユーザ出口、
２００ 対象物位置決めシステム、
２０１ 三次元映像取得装置、
２０２ 対象物座標取得手段、
２０１１ 映像センサー、
２０１２ 深度画像センサー、
２０１３ ＲＧＢ画像センサー、
２０１４ 三次元映像整合手段、
２０２１ 座標系作成手段、
２０２２ パラメーター取得手段、
２０２３ 背景除去手段、
２０２４ 対象物座標算出手段、
２０２２１ センサー座標取得手段、
２０２２２ 相対座標取得手段、
２０２２３ 座標補正手段、
３００ 重量モニタリングに基づく商品検知システム、
３０１ 商品データベース生成手段、
３０２ 重量値取得手段、
３０３ 取り出しや載せ置き状態判断手段、
３０４ 商品データベースアップデート手段、
３０５ 商品種類判断手段、
３０１１ 初期化手段、
３０１２ 情報記録手段、
３０１３ 検知値初期化手段、
３０３1 重量差分値算出手段、
３０３２ 重量差分値判定手段、
３０３３ フレームプレート情報記憶手段、
３０３４ 商品種類判断手段、
３０３５ 商品数量算出手段、
５００ ショッピングユーザ判断システム、
５０１ 商品情報記憶手段、
５０２ フレームプレート座標記憶手段、
５０３ フレームプレートとユーザのマッチング判断手段、
５０４ 商品とユーザのマッチング判断手段、
６００ ショッピング情報記録手段、
６０１ ショッピング情報データベース生成手段、
６０２ ショッピング情報データベースアップデート手段、
７００ 決済システム、
７０１ 総額算出手段、
７０２ 支払手段。

Claims (14)

1. 重量モニタリングに基づく商品検知システムであって、
   商品データベースを生成する商品データベース生成手段と、
   各々のフレームプレートのリアルタイム重量検知値をリアルタイムに取得する重量値取得手段と、
   各々のフレームプレートの重量検知値の変化有無を判断し、重量検知値が小さくなった場合には、当該フレームプレート上の商品が取り出されたと判断し、重量検知値が大きくなった場合には、当該フレームプレート上に商品が載せ置かれたと判断する取り出しおよび載せ置き状態判断手段と、
   前記リアルタイム重量検知値を前記商品データベースに記憶させることにより前記商品データベースにおける各々のフレームプレートの重量検知値をアップデートする商品データベースアップデート手段と、
   を備える重量モニタリングに基づく商品検知システム。
2. 少なくとも一つのフレームプレートを含み、一つのフレームプレートには少なくとも一つの商品が載せ置かれている商品棚と、
   各々のフレームプレートの下方に設けられ、前記重量値取得手段に接続されている重量検知装置と、
   をさらに備えることを特徴とする請求項１に記載の重量モニタリングに基づく商品検知システム。
3. 前記商品データベース生成手段は、
   商品データベースについて初期化処理を行う初期化手段と、
   各々の商品の重量値および商品情報を入力しかつ前記商品データベースに記憶させる情報記録手段と、
   各々のフレームプレートに商品が載せ置かれた後の重量検知値を取得しかつ前記商品データベースに記憶させる検知値初期化手段と、
   を備えることを特徴とする請求項１に記載の重量モニタリングに基づく商品検知システム。
4. 前記取り出しおよび載せ置き状態判断手段は、
   リアルタイムに取得した各々のフレームプレートのリアルタイム重量検知値と前記商品データベースに記憶された同一フレームプレートの重量検知値との差分を算出して各々のフレームプレートの重量差分値として記憶する重量差分値算出手段と、
   少なくとも一つのフレームプレートの重量差分値を０と比較し、重量差分値が０よりも小さい場合、当該フレームプレート上の商品が取り出されたと判断し、重量差分値が０よりも大きい場合、当該フレームプレート上に商品が載せ置かれたと判断する重量差分値判定手段と、
   フレームプレートの重量差分値が０より大きいか小さい場合、当該フレームプレートのフレームプレート番号および当該フレームプレートの重量差分値を記憶するフレームプレート情報記憶手段と、
   を備えることを特徴とする請求項１に記載の重量モニタリングに基づく商品検知システム。
5. 同一のフレームプレート上のすべての商品の種類が同じで重量も同じ出る場合、
   前記取り出しおよび載せ置き状態判断手段は、
   当該フレームプレートのフレームプレート番号および当該フレームプレートに対応する商品情報に基づいて取り出された商品の種類を判断する商品種類判断手段と、
   フレームプレートの重量差分値の絶対値と当該フレームプレートに対応する商品の単品重量値との比の値を算出し、当該比の値を整数に四捨五入した整数値を取り出された商品の数量として取得する商品数量算出手段と、
   をさらに備えることを特徴とする請求項４に記載の重量モニタリングに基づく商品検知システム。
6. 商品を取り出しまたは載せ置いたユーザの身元を判断するショッピングユーザ判断システムと、
   各々のユーザにより取り出された商品の種類および数量を記録するショッピング情報記録手段と、
   をさらに備えることを特徴とする請求項１に記載の重量モニタリングに基づく商品検知システム。
7. 前記ショッピング情報記録手段は、
   ユーザの身元が識別された際、前記ユーザの身元情報に基づいて当該ユーザのショッピングデータベースを生成するショッピングデータベース生成手段と、
   商品が取り出された際、取り出された商品の種類、数量および商品を取り出したユーザの身元情報に基づいてショッピング情報を生成し当該ユーザのショッピングデータベースに記憶し、商品が載せ置かれた際、載せ置かれた商品の種類、数量および商品を載せ置いたユーザの身元情報に基づいて返還情報を生成し当該ユーザのショッピングデータベースから前記返還情報に対応するショッピング情報を削除するショッピングデータベースアップデート手段と、
   を備えることを特徴とする請求項６に記載の重量モニタリングに基づく商品検知システム。
8. 重量モニタリングに基づく商品検知方法であって、
   商品データベースを生成する商品データベース生成ステップと、
   各々のフレームプレートのリアルタイム重量検知値をリアルタイムに取得する重量値取得ステップと、
   各々のフレームプレートの重量検知値の変化有無を判断し、重量検知値が小さくなった場合には、当該フレームプレート上の商品が取り出されたと判断し、重量検知値が大きくなった場合には、当該フレームプレート上に商品が載せ置かれたと判断する取り出しおよび載せ置き状態判断ステップと、
   前記リアルタイム重量検知値を前記商品データベースに記憶させることにより前記商品データベースにおける各々のフレームプレートの重量検知値をアップデートした後、前記重量値取得ステップに処理を移行する商品データベースアップデートステップと、
   を備えることを特徴とする映像モニタリングに基づく商品検知方法。
9. 少なくとも一つの商品を少なくとも一つの商品棚の少なくとも一つのフレームプレート上に載せ置き、同一のフレームプレート上の同じ種類の商品は同じ重量値を有し、各々の重量値は一種の商品のみに対応する商品棚設置ステップと、
   各々のフレームプレートの下方に重量センサーを設け、前記重量値取得手段に接続されているセンサー設置ステップと、
   をさらに備えることを特徴とする請求項８に記載の重量モニタリングに基づく商品検知方法。
10. 前記商品データベース生成ステップは、
    商品データベースについて初期化処理を行う初期化ステップと、
    各々の商品の重量値および商品情報を入力しかつ前記商品データベースに記憶させる情報記録ステップと、
    各々のフレームプレートに商品が載せ置かれた後の重量検知値を取得しかつ前記商品データベースに記憶させる検知値初期化ステップと、
    を備えることを特徴とする請求項８に記載の重量モニタリングに基づく商品検知方法。
11. 前記取り出しおよび載せ置き状態判断ステップは、
    リアルタイムに取得した各々のフレームプレートのリアルタイム重量検知値と前記商品データベースに記憶された同一フレームプレートの重量検知値との差分を算出して各々のフレームプレートの重量差分値として記憶する重量差分値算出ステップと、
    少なくとも一つのフレームプレートの重量差分値を０と比較し、重量差分値が０よりも小さい場合、当該フレームプレート上の商品が取り出されたと判断し、重量差分値が０よりも大きい場合、当該フレームプレート上に商品が載せ置かれたと判断する重量差分値判定ステップと、
    フレームプレートの重量差分値が０より大きいか小さい場合、当該フレームプレートのフレームプレート番号および当該フレームプレートの重量差分値を記憶する情報記憶ステップと、
    を備えることを特徴とする請求項８に記載の重量モニタリングに基づく商品検知方法。
12. 同一のフレームプレート上のすべての商品の種類が同じで重量も同じ出る場合、
    前記取り出しおよび載せ置き状態判断ステップは、
    当該フレームプレートのフレームプレート番号および当該フレームプレートに対応する商品情報に基づいて取り出された商品の種類を判断する商品種類判断ステップと、
    フレームプレートの重量差分値の絶対値と当該フレームプレートに対応する商品の単品重量値との比の値を算出し、当該比の値を整数に四捨五入した整数値を取り出された商品の数量として取得する商品数量算出ステップと、
    を備えることを特徴とする請求項１１に記載の重量モニタリングに基づく商品検知方法。
13. 商品を取り出しまたは載せ置いたユーザの身元を判断するショッピングユーザ判断ステップと、
    各々のユーザにより取り出された商品の種類および数量を記録するショッピング情報記録ステップと、
    をさらに備えることを特徴とする請求項８に記載の重量モニタリングに基づく商品検知方法。
14. 前記ショッピング情報記録ステップは、
    ユーザの身元が識別された際、前記ユーザの身元情報に基づいて当該ユーザのショッピングデータベースを生成するショッピングデータベース生成ステップと、
    商品が取り出された際、取り出された商品の種類、数量および商品を取り出したユーザの身元情報に基づいてショッピング情報を生成し当該ユーザのショッピングデータベースに記憶し、商品が載せ置かれた際、載せ置かれた商品の種類、数量および商品を載せ置いたユーザの身元情報に基づいて返還情報を生成し当該ユーザのショッピングデータベースから前記返還情報に対応するショッピング情報を削除するショッピングデータベースアップデートステップと、
    備えることを特徴とする請求項１３に記載の重量モニタリングに基づく商品検知方法。