JP2019530923A - 会計方法、装置及びシステム - Google Patents

会計方法、装置及びシステム Download PDF

Info

Publication number
JP2019530923A
JP2019530923A JP2019512641A JP2019512641A JP2019530923A JP 2019530923 A JP2019530923 A JP 2019530923A JP 2019512641 A JP2019512641 A JP 2019512641A JP 2019512641 A JP2019512641 A JP 2019512641A JP 2019530923 A JP2019530923 A JP 2019530923A
Authority
JP
Japan
Prior art keywords
product
customer
shopping
hand
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019512641A
Other languages
English (en)
Other versions
JP6743291B2 (ja
Inventor
一黎 ▲呉▼
一黎 ▲呉▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yi Tunnel Beijing Technology Co Ltd
Original Assignee
Yi Tunnel Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yi Tunnel Beijing Technology Co Ltd filed Critical Yi Tunnel Beijing Technology Co Ltd
Priority claimed from PCT/CN2017/115444 external-priority patent/WO2019033635A1/zh
Publication of JP2019530923A publication Critical patent/JP2019530923A/ja
Application granted granted Critical
Publication of JP6743291B2 publication Critical patent/JP6743291B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G07G1/14—Systems including one or more distant stations co-operating with a central processing unit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Abstract

会計方法は、予め登録した顧客を認識して顔データ及び支払口座番号を含む顧客の身分情報を取得するステップと、ショッピング場所において身分情報が取得された顧客をリアルタイムで追跡してその顧客の位置を取得するステップと、該顧客の位置がショッピング場所における商品の位置と一致するか否かを判断し、一致である場合、該顧客を商品に対する取得動作または返還動作に関連づけて、取得動作または返還動作と、取得動作または返還動作に対応する商品を認識した後、該顧客の買物リストを生成するステップと、買物リストに基づいて会計を行うステップと、を含む。【選択図】図１

Description

本発明は、コンピューター技術分野に属し、特に会計方法、装置、及びシステムに関する。
顧客は、スーパーマーケットや商店等のショッピング場所で自分の好きまたは必要な商品を見るとき、ショッピング場所の運営者と会計を行うことで、その商品を入手できる。通常に、レジカウンターで並ぶように会計を行う。
人工知能技術の発展に伴い、会計方法は、変化している。例えば、ショッピング場所に入って、自分の好きまたは必要な商品を選別した後、レジカウンターで並んで決済を待つことなく、直ちに離れることができる。すなわち、通常の「ジャスト・ウォーク・アウト」（Ｊｕｓｔ Ｗａｌｋ Ｏｕｔ）と呼ぶ会計方式がある。
先行技術において、「ジャスト・ウォーク・アウト」という会計方式は、主にＲＦＩＤ（無線周波数認識、Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）技術により実現されている。応用する場合、商品には、電池を必要としない小さい無線周波数モジュールが貼り付けられている。レジカウンターは、該商品がＲＦＩＤ検出装置が設けられたレジカウンター（またはレジ領域）を通るとき、該商品に無線信号を送信する。該小さい無線周波数モジュールは、該信号を受信した後レジカウンターに１つの信号をフィードバックする。該フィードバック信号には商品のＩＤ情報が携帯されている。それに基づいて、レジカウンターが帳票を生成して会計を行う。しかし、該方法は、以下の欠点がある。即ち、商品ごとに小さい無線周波数モジュールが貼り付けられる必要があるので、ショッピング場所の係員にとって、作業量が極めて大きく且つコストが高い。また、小さい無線周波数モジュールが商品から落下したり、自身が破損したり、人為的に損害されたりすると、レジカウンターがその商品を認識できないため、店側に損害を与えることになる。なお、金属商品にＲＦＩＤが貼り付けられると、信号がシールドされてしまうという問題がある。
先行技術におけるＲＦＩＤタグの貼付による作業量が大きく、ＲＦＩＤタグが破損しやすいという問題を解決するために、本発明の一側面による会計方法は、予め登録した顧客を認識して、顔データ及び支払口座番号を含む該顧客の身分情報を取得するステップＳ１と、ショッピング場所において身分情報が取得された該顧客をリアルタイムで追跡して該顧客の位置を取得するステップＳ２と、該顧客の位置がショッピング場所における商品の位置と一致するか否かを判断し、一致である場合、該顧客を前記商品に対する取得動作または返還動作に関連付けて、取得動作または返還動作と、取得動作または返還動作に対応する商品とを認識した後、該顧客の買物リストを生成するステップＳ３と、前記買物リストに基づいて会計を行うステップＳ４と、を含む。
上記の会計方法において、ステップＳ３における該顧客の位置がショッピング場所における商品の位置と一致するか否かを判断することは、具体的に、前記商品が載置される商品棚に取り付けられた前方に向いて撮像する前向き撮像ヘッドの位置を前記商品の位置とし、前記前向き撮像ヘッドに撮像された、該顧客を含む画像に示される該顧客の身分情報が前記ステップＳ１において取得した身分情報と同一である場合、該顧客の位置がショッピング場所における商品の位置と一致すると判断することを含むことが好ましい。
上記の会計方法において、ステップＳ３における取得動作または返還動作を認識することは、具体的に、前記商品が載置される商品棚の前の該顧客の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に対して時間軸に沿って１本の手部の運動軌跡を作成し、手部の運動軌跡が予め設定された仮想動作境界線の外から内に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、該動作を返還動作として認識し、手部の運動軌跡が前記仮想動作境界線の内から外に移動する運動軌跡であって、且つ手には商品を持っていることを検出したとき、該動作を取得動作として認識することを、含んでおり、前記仮想動作境界線の外は、前記商品棚から離れる方向であり、前記仮想動作境界線の内は、前記商品棚に近づく方向であることが好ましい。
上記の会計方法において、ステップＳ３における取得動作または返還動作に対応する商品を認識することは、具体的に、複数の撮像ヘッドに１対１で対応して取得された、商品を含む複数のフレームの手部画像に対して目標検出を行うことで、複数の、商品を含む矩形領域に対応する画像である矩形領域画像を対応的に取得するステップＳ３１と、複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである事前訓練された１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数のフレームの手部画像の１次分類結果を取得するステップＳ３２と、前記１次分類結果を１回目の分類結果とするステップＳ３３と、前記１回目の分類結果を認識しようとする商品とするステップＳ３４と、を含むことが好ましい。
上記の会計方法において、ステップＳ３２の後、ステップＳ３４の前に、１次分類結果が類似する商品であると、複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品組における商品で訓練されたモデルである事前訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数のフレームの手部画像の２次分類結果を取得し、２次分類結果を１回目の分類結果とし、そうではない場合、ステップＳ３３に移行するステップをさらに含むことが好ましい。
本発明の他の側面による会計装置は、登録する際に顧客の入力した身分情報を受信し、ショッピング場所に入ろうとする該顧客の身分情報を取得する登録モジュールと、前記登録モジュールに接続され、ショッピング場所において前記登録モジュールにより身分情報が取得された該顧客をリアルタイムで追跡して該顧客の位置を取得するリアルタイム追跡モジュールと、前記リアルタイム追跡モジュールに接続され、前記リアルタイム追跡モジュールにより取得された該顧客の位置がショッピング場所における商品の位置と一致するか否かを判断し、一致である場合、該顧客を前記商品に対する取得動作又は返還動作に関連付けて、取得動作又は返還動作と、取得動作又は返還動作に対応する商品とを認識した後、該顧客の買物リストを生成する買物リスト生成モジュールと、前記買物リスト生成モジュールに接続され、前記買物リスト生成モジュールにより生成された買物リストに基づいて会計を行うための会計モジュールと、を備える。
上記の会計装置において、前記買物リスト生成モジュールは、前記商品が載置される商品棚に取り付けられた前方に向いて撮像する前向き撮像ヘッドの位置を前記商品の位置とし、前記前向き撮像ヘッドに撮像された、顧客を含む画像に示される顧客の身分情報が前記登録モジュールによって取得された身分情報と同一である場合、顧客の位置がショッピング場所における商品の位置と一致すると判断する関連ユニットと、前記商品が載置される商品棚の前の該顧客の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に対して時間軸に沿って１本の手部の運動軌跡を作成し、手部の運動軌跡が予め設定された仮想動作境界線の外から内に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を返還動作として認識し、手部の運動軌跡が仮想動作境界線の内から外に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を取得動作として認識し、前記仮想動作境界線の外が、商品棚から離れる方向であり、前記仮想動作境界線の内が、商品棚に近づく方向である、動作認識ユニットと、前記取得動作又は返還動作に対応する商品を認識する商品認識ユニットと、前記関連ユニットにより確認された該顧客の身分情報と、前記動作認識ユニットにより認識された取得動作又は返還動作と、前記商品認識ユニットにより認識された取得動作又は返還動作に対応する商品とに基づいて、該顧客の買物リストを生成する買物リスト生成ユニットと、を備えることが好ましい。
上記の会計装置において、前記商品認識ユニットは、前記動作認識ユニットにより取得された、商品を含む複数のフレームの手部画像に対して目標検出を行うことで、複数の矩形領域画像を対応的に取得し、前記矩形領域画像が商品を含む矩形領域に対応する画像であり、前記複数のフレームの手部画像が複数の撮像ヘッドに１対１で対応する、目標検出サブユニットと、複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである事前訓練された１級分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数のフレームの手部画像の１次分類結果を取得する第１分類サブユニットと、前記１次分類結果を１回目の分類結果とする確認ユニットと、前記１回目の分類結果を認識しようとする商品とする結果認定ユニットと、を備えることが好ましい。
本発明の他の側面による会計装置は、ショッピング場所の頂部から下に向いて撮像し、ショッピング場所内で身分情報が既に取得された顧客をリアルタイムで追跡する頂部撮像ヘッドと、商品棚の前方に向いて撮像して商品が載置される商品棚の前の該顧客の画像を取得する前向き撮像ヘッドと、下に向いて撮像して該顧客の手部画像を取得する下向き撮像ヘッドと、プロセッサと、プロセッサが実行可能なコマンドを記憶するメモリとを備え、前記プロセッサは、予め登録された該顧客を認識して顔データ及び支払口座番号を含む該顧客の身分情報を取得し、前記頂部撮像ヘッドを制御して身分情報が取得された該顧客をリアルタイムで追跡してその顧客の位置を取得し、該顧客の位置が前向き撮像ヘッドを制御して取得されたショッピング場所における商品の位置と一致するか否かを判断し、一致である場合、該顧客を商品に対する取得動作又は返還動作に関連付けて、前記下向き撮像ヘッドにより取得された手部画像に基づいて取得動作又は返還動作と、取得動作又は返還動作に対応する商品とを認識した後、該顧客の買物リストを生成し、前記買物リストに基づいて会計を行うように構成される。
また他の側面による会計システムは、クライアント端末及び会計装置を含み、前記クライアント端末は、登録する際に顧客の入力した身分情報を受信して前記会計装置に送信し、また、前記会計装置の発行する買物リストを受信し、前記会計装置は、上記の会計装置である。
本発明の実施例は、上記技術案により以下のような有益な効果をもたらすことができる。
運営コストは低い。即ち、ＲＦＩＤ方案に比べて、ＲＦＩＤの貼付による作業量を節約できる。
適用範囲は広い。即ち、任意の商品に適用され、商品形態、材質等の属性に制約されない。
ユーザの体験はよい。即ち、顧客は、商品を取得した後、直ちに関連情報を取得することができる。
本発明の実施例による会計方法のフローチャートである。 本発明の実施例による畳み込みニューラルネットワーク画像認識技術による会計方法のフローチャートである。 本発明の実施例による他の畳み込みニューラルネットワークによる画像認識方法のフローチャートである。 本発明の実施例による会計装置の構造模式図である。 本発明の実施例による会計装置用商品棚の構造模式図である。
本発明の目的、技術案及びメリットがより明瞭になるように、以下、図面を参照して本発明の実施形態をさらに詳しく説明する。
図１を参照して、本発明の実施例に係る会計方法は、以下のステップを含んでいる。
ステップＳ１において、予め登録した顧客を認識して顧客の身分情報を取得する。
具体的には、顧客は、商店やスーパーマーケットなどのショッピング場所内に入る前に、その携帯電話やタブレットコンピュータなどの移動体通信機器に、該会計方法に対応するＡｐｐ（Ａｐｐｌｉｃａｔｉｏｎ、アプリケーションソフトウェア）をインストールして顧客の登録を完了させる必要がある。登録する際に取得に必要な顧客の身分情報（ＩＤ）は、顔データと、支払口座番号とを含むが、これらに限定されない。例えば、氏名、携帯電話番号、身分証番号、性別、職業をさらに含んでもよい。支払口座番号は、銀行口座番号であってもよく、例えば、余額宝、ウィーチャット支払い、ＱＱ財布、京東財布等の第三者支払口座番号であってもよい。また、ウィーチャット（ＷｅＣｈａｔ）における該会計方法に対応する小さいプログラム（または、小さいウィーチャットプログラムと称する）を利用して顧客の登録を完了させてもよく、該会計方法に対応するウィーチャットオフィシャルアカウント（ＷｅＣｈａｔ Ｏｆｆｉｃｉａｌ Ａｃｃｏｕｎｔ）を注目することで顧客の登録を完了させてもよい。そして、顧客は、該Ａｐｐ、小さいプログラム、オフィシャルアカウントからショッピング場所の入口にある２次元コードへの走査、または顧客の持っている移動体通信機器におけるＡｐｐに対する商店の走査により生成された２次元コードで顧客ＩＤに対する商店の検証を実現し、つまり、顧客が登録済ユーザの一員であることを認識した。これにより、該顧客に対応する身分情報を取得できる。換言すれば、ショッピング場所内に入る顧客が誰であるかを認識することができる。顧客の身分情報が取得された後、ショッピング場所のドアロックが自動的に開くことができる。顧客は、ドアが自動的に開いた後、裏押し又は外に引く又は平押しするようにドアを開き、その後ショッピング場所内に入って商品を選別する。顧客が登録完了しない場合、顧客が非登録ユーザであることが認識されることができる。ショッピング場所内のドアロックが継続して閉じ、顧客がショッピング場所内に入ることができない。他の実施例において、ショッピング場所の入口には、指紋認識器、顔認識器などの生体認識器が設けられてもよい。生物認識技術によりショッピング場所において顧客ＩＤへの認定を実現する。顧客が該Ａｐｐに登録した際に、顧客の生体データ、例えば指紋データが取得される。ショッピング場所のドアは、顧客の身分情報が取得された後、係員によって開くことができる。
ステップＳ２において、ショッピング場所内で身分情報が既に取得された顧客をリアルタイムで追跡してその顧客の位置を取得する。
顧客は、ショッピング場所に入る際に身分の認識が行わなければならない。その後認識された顧客は、ショッピング場所内で自由に移動し、商品を取得、返還する。ショッピング場所内の各顧客の身分情報を随時に把握しようとする場合、顧客がショッピング場所に入る際に身分確認が行われた後に、ショッピング場所における該顧客の軌跡の継続追跡が行われ、すなわち顧客のリアルタイム位置決めが行われる必要がある。
具体的には、ショッピング場所内の頂部に、顧客がショッピング場所に移動する映像ストリームを撮像する頂部撮像ヘッドが配置されている。映像ストリームを分析することによって、映像ストリームにおける前後フレーム間の差異を比較してショッピング場所における顧客のリアルタイム位置決めを実現する。複数の頂部撮像ヘッドは、撮像範囲が全店面を覆うように天井部に配置され、その撮像方向が斜め下向きである。入店時に顧客の身分が認識され、入店後、天井上の頂部撮像ヘッドが上から下に向いて撮像し、該顧客の画像をリアルタイムで取得し、該画像を該顧客の身分情報にバインドする。即ち、店内に移動する顧客の身分情報を知ることができる。該顧客がショッピング場所内において異なる位置へ移動することにつれて、他の頂部撮像ヘッドは、該顧客への追跡を常に保持し、該顧客のショッピング場所における位置決めを実現する。
ステップＳ３において、該顧客の位置がショッピング場所における商品の位置と一致すると、この顧客を前記商品に対する取得動作または返還動作に関連付けて、取得動作または返還動作に対応する商品を認識した後、この顧客の買物リストを生成する。
具体的には、入店後、顧客は、店内に移動する。顧客は、自分が好む商品に当たると、商品が載置される商品棚前に滞在し、該商品が買おうとする商品に所属することを表明するように商品に対する取得動作を行い、又は、該商品が買おうとする商品に所属しないことを表明するように商品に対して返還動作を行う。ステップ１０２で顧客の現在位置を取得できるため、現在位置が商品の所在位置と一致すると、商品棚上の商品に対して取得動作又は返還動作を行う人を該顧客と表記する。換言すれば、この顧客を商品棚上の商品に対する取得動作又は返還動作に関連付ける。これにより、どの顧客が該商品棚の前に該商品棚上の商品に対して取得動作又は返還動作を行ったかを知ることができる。取得動作又は返還動作に対応する商品がどの商品であるかを認識した後、該顧客に対応する買物リストを生成する。商品の位置は、商品棚に設けられた前方に向いて撮像した撮像ヘッドの位置によって表わされることができる。顧客が商品棚の前に移動して商品を選別するとき、前方に向いて撮像した撮像ヘッドが顧客の画像を撮像する。画像に含まれる顧客情報が認識された顧客の身分情報と一致すると、顧客の位置が商品の位置と一致すると判断する。顧客が商品に対して取得動作を行うと、その顧客の買物リストに該商品を対応的に追加し、顧客が商品に対して返還動作を行うと、買物リストに該商品を対応的に取り除き、つまり、買物リストが顧客の取得動作又は返還動作に応じてリアルタイムで更新されている。
商品への動作が、取得かまたは返還かを如何に判断する方法は、以下のようになる。
商品棚の前の取得された顧客の連続した複数のフレームの手部画像に基づいて、時間軸上に１本の手部の運動軌跡を作成し、手部の運動軌跡に基づいて顧客が商品に対して取得動作であるか返還動作であるかを行うことが判断する。例えば、撮像範囲が商品棚を覆うように、撮像ヘッドは、商品棚の上部に配置し、その撮像角度を下向きさせる。撮像ヘッドの数は複数であることが好ましい。このようにして、多角度から撮像することを保証でき、商品認識の確度を高めることができる。撮像ヘッドは、１秒毎に複数のフレーム、例えば３０フレームの画像を撮像する。撮像ヘッドが取得した顧客の手部画像を１フレームずつ検出し、各フレームの手部画像における手部の位置をマークして保存し、１フレームずつ前述の操作を繰り返すことで、時間軸上に１本の手部の運動軌跡が得られる。各フレームの画像中の手部の位置が得られるだけでなく、あるフレームの手部画像に基づいて、手に商品を持っているか否か、及び商品の種別を確認することができる。
具体的には、手部画像には、商品棚と一定の距離、例えば１０ｃｍ、２０ｃｍの間隔をあける１つの仮想動作境界線が付されている。手部の運動軌跡が商品棚から離れた位置から動作境界線を通って商品棚に近い位置に動くことを検出した場合、簡単に言えば、動作境界線外から動作境界線内に動いて、かつ、手に商品を持っていることを検出した場合、手部動作が商品の返還動作であると認定される。手部の運動軌跡が商品棚に近い位置から動作境界線を通って商品棚から離れた位置に動くことを検出した場合、簡単に言えば、動作境界線内から動作境界線外に動いて、かつ、手に商品を持っていることを検出した場合、手部動作が商品の取得動作であると認定される。
撮像ヘッドは、ビデオデータを継続的に取得し、１秒毎に複数のフレーム、例えば数十フレームの手部画像を取得する。１秒ごとに１フレームの手部画像が取られ、手部位置が切り出されてもよい。手中の商品の分類（又は認識と称する）は、事前訓練された下記の分類モデルで実現することができる。
図２を参照して、取得動作又は返還動作に対応する商品を認識する方法は、次のステップを採用することができる。
ステップＳ３１において、商品を含む複数のフレームの手部画像に対して目標検出を行うことで、複数の矩形領域画像を対応的に取得する。ここで、該矩形領域画像は、商品を含む矩形領域に対応する画像であり、複数のフレームの手部画像は、複数の撮像ヘッドに１対１で対応している。
具体的には、手部画像に目標検出を行う時に、手部画像に１つの商品を含む矩形枠（または矩形領域と称する）を切り出す。該矩形枠に対応する画像は、商品の分類を行うための画像である。複数のフレームのの手部画像を取得するために、複数の撮像ヘッドを配置する必要がある。該撮像ヘッドは、商品の真上に配置されてもよい。その際、真上方向から下に向いて撮像する。該撮像ヘッドは、商品の斜め上方に配置されてもよい。その際、斜め下に向いて商品を撮像する。また、該撮像ヘッドは、一部が商品の真上に配置され、他の部分が商品の斜め上方に配置されてもよい。なお、各撮像ヘッドは、どの位置に配置されても、地面からの距離が等しくてもよく、等しくなくてもよい。本実施例はこれに限定されない。
ステップＳ３２において、複数の矩形領域画像と、事前訓練された１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数のフレームの手部画像の１次分類結果を取得する。ここで、該１次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである。
具体的には、データを事前に取得してデータセットを作成する。データを取得するのは、１）ショッピング場所における全ての商品を各角度及び各姿勢で撮像して大量の写真を取得することと、２）そしてこれらの写真に関して注記を行い、例えば、写真中の商品の位置、大きさ及び類別を注記することと、を含む。データセットに含まれるデータとは、前述のこれらの写真及びこれらの写真に関して行われた注記である。１次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されたモデルであり、ショッピング場所における全ての商品のデータを用いて訓練される。訓練する時に勾配降下の方式で行うことができる。
訓練済みの１次分類モデルは、各矩形領域画像中の商品を分類し、プライマリー分類結果を得る。該プライマリー分類結果は、１つのｎ次元ベクトルである。ｎは、ショッピング場所における商品の総数を表す。ベクトルにおける各元素の意味は、１次分類モデルは分類しようとする商品がｎ個の商品の中の各商品に属することを認定する確率を表している。ベクトルのうちどの要素の値が最大であることは、モデルは、分類しようとする商品がその要素に対応する商品であると認定することを意味する。矩形領域画像が５枚である場合、プライマリー分類結果の数は、５つのｎ次元ベクトルである。
１次分類モデルを訓練しているときに、１次分類モデルが出力したプライマリー分類結果を１次線形回帰モデルの入力とし、該プライマリー分類結果に対応する手部画像に含まれる商品の正しい分類を１次線形回帰モデルの出力とすることで、１次線形回帰モデルを訓練する。訓練済みの１次線形回帰モデルによって複数のプライマリー分類結果をデータ融合して１つの１次分類結果を得る。該１次分類結果は、１次線形回帰モデルによって画像中の商品がショッピング場所における商品の中のどの類別に属することを予測した結果を示している。
ステップＳ３３において、１次分類結果を１回目の分類結果とする。
ショッピング場所における商品は多種である。該多種の商品の中ではいくらかの外観が類似し、また視覚上で混同しやすい商品が存在しており、これらの商品を類似商品と呼ぶ。例えば、ゴールデンデリシャスリンゴ（Ｇｏｌｄｅｎ Ｄｅｌｉｃｉｏｕｓ Ａｐｐｌｅ）と黄色い雪梨（Ｓｎｏｗｆｌａｋｅ Ｐｅａｒ）がある。分類しようとする一個の商品が類似する商品である場合に、１次分類モデルによって該商品を的確に分類するのが難しい。例えば、ゴールデンデリシャスリンゴを黄色い雪梨と混同し、ゴールデンデリシャスリンゴを黄色い雪梨に分類してしまう。したがって、図３を参照して、ステップＳ３２の後、下記のステップＳ３５を実行する必要がある。そうではない場合、ステップＳ３３に移行し、つまり、会計のため、１次分類結果を直接に１回目の分類結果とする。
具体的には、ステップＳ３５において、１次分類結果が類似する商品である場合、複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品組における商品で訓練されたモデルである事前訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数のフレームの手部画像の２次分類結果を取得し、２次分類結果を１回目の分類結果とする。
具体的には、ステップＳ３２に作成したデータセットにおける類似する商品のデータにより２次分類モデルを訓練する。訓練する時に勾配降下の方式により行うことができる。２次分類モデルは、訓練する時に使うデータという点において１次分類モデルとは異なる。１次分類モデルに用いられるデータは、ショッピング場所における全ての商品のデータであり、２次分類モデルに用いられるデータは、ショッピング場所における類似する商品のデータである。
訓練済みの２次分類モデルによって、各矩形領域画像中の商品を分類し、セカンダリー分類結果を得る。該セカンダリー分類結果も１つのｍ次元ベクトルであり、ベクトル中の各元素の意味は、２次分類モデルの分類しようとする一個の商品がｍ個の類似する商品の中の各商品に属することを認定する確率を表している。矩形領域画像が５枚である時に、セカンダリー分類結果の数は５つのｍ次元ベクトルであり、ｍはｎ以下であり、且つショッピング場所における類似する商品の総数を表している。
実際において、ショッピング場所における類似する商品は複数組がある。例えば、１組の類似する商品は、ゴールデンデリシャスリンゴと黄色い雪梨を含み、他の組の類似する商品には、ばら売りの塩とばら売りの白糖を含み、また他の組の類似する商品は、ソーダ灰と普通の小麦粉を含んでいる。全ての組の類似する商品に対して１つの２次分類モデルを訓練することができる。商品分類の正確率をさらに高めるために、各組の類似する商品に対して１つの２次分類モデルを訓練するとき、１次分類結果が類似する商品であれば、該１次分類結果に対応する２次分類モデルを使用する。
２次分類モデルを訓練するとき、２次分類モデルが出力するセカンダリー分類結果を２次線形回帰モデルの入力とし、該セカンダリー分類結果に対応する画像中に含まれる商品の正確な分類を２次線形回帰モデルの出力とするように、２次線形回帰モデルを訓練する。訓練された２次線形回帰モデルによって、複数のセカンダリー分類結果のデータ融合を行い、１つのセカンダリー分類結果を得るとともに、これを１回目の分類結果とする。該セカンダリー分類結果は、２次線形回帰モデルによって画像中の商品がショッピング場所における商品の中のどの類別に属することを予測した結果を表している。
ステップＳ３４において、１回目の分類結果を認識しようとする商品とする。
１回目の分類結果を取得した後、１回目の分類結果に対応する商品の価格を取得すれば、顧客が選んだ商品に対し支払うべきの費用は確定できる。
ステップＳ４において、顧客がショッピング場所を離れるとき、その顧客の買物リストに基づいて会計を行う。
顧客は、商品を選別した後、ショッピング場所のドアを通ってショッピング場所を離れる。内から外に向いてショッピング場所のドアを通うと、その顧客がショッピング場所を離れる状態に判断し、この顧客の買物リストに基づいて会計を行い、例えば顧客登録する際に入力された支払口座番号から買物リストに対応する費用を差し引く。
顧客が購入した商品を照合するために、認識結果をリアルタイムでクライアントに送信する。例えば、各商品の認識結果は、クラウドエンドサーバにアップロードされる。その後、クラウドエンドサーバは、認識結果を顧客の携帯電話にインストールされたＡｐｐに送信する。該Ａｐｐは、認識結果を仮想ショッピングカーに付加し、買物リストを生成することで、商品が取得又は返還された後、直ちに顧客を知らせる。顧客は、店の出口に来て離れると、店の出口で最終の支払いループを完成する。
図４を参照して、本発明の他の実施例による会計装置は、
登録する際に顧客の入力した身分情報を受信し、ショッピング場所に入ろうとする顧客の身分情報を取得する登録モジュール４０１と、
登録モジュール４０１に接続され、ショッピング場所において登録モジュールにより身分情報が取得された顧客をリアルタイムで追跡して該顧客の位置を取得するリアルタイム追跡モジュール４０２と、
リアルタイム追跡モジュール４０２に接続され、リアルタイム追跡モジュールにより取得された該顧客の位置がショッピング場所における商品の位置と一致するか否かを判断し、一致である場合、該顧客を商品に対する取得動作又は返還動作に関連付けて、取得動作又は返還動作と、取得動作又は返還動作に対応する商品とを認識した後、該顧客の買物リストを生成する買物リスト生成モジュール４０３と、
買物リスト生成モジュール４０３に接続され、買物リスト生成モジュール４０３により生成された買物リストに基づいて会計を行うための会計モジュール４０４と、を備える。
具体的には、買物リスト生成モジュール４０３は、商品が載置される商品棚に取り付けられた前方に向いて撮像する前向き撮像ヘッドの位置を商品の位置とし、前向き撮像ヘッドに撮像された、顧客を含む画像に示される顧客の身分情報が登録モジュールの取得した身分情報と同一である場合、顧客の位置がショッピング場所における商品の位置と一致すると判断する関連ユニットと、商品が載置される商品棚の前の該顧客の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に対して時間軸に沿って１本の手部の運動軌跡を作成し、手部の運動軌跡が予め設定された仮想動作境界線の外から内に移動し且つ手に商品を持っていることを検出したとき、該動作を返還動作として認識し、手部の運動軌跡が仮想動作境界線の内から外に移動し且つ手に商品を持っていることを検出したとき、該動作を取得動作として認識し、仮想動作境界線の外は、商品棚から離れる方向であり、仮想動作境界線の内は、商品棚に近づく方向である、動作認識ユニットと、取得動作又は返還動作に対応する商品を認識する商品認識ユニットと、関連ユニットにより確認された該顧客の身分情報、動作認識ユニットにより認識された取得動作又は返還動作、商品認識ユニットにより認識された取得動作又は返還動作に対応する商品に基づいて、該顧客の買物リストを生成する買物リスト生成ユニットと、を備えている。
具体的には、前記商品認識ユニットは、前記動作認識ユニットにより取得された、商品を含む複数のフレームの手部画像に対して目標検出を行うことで、複数の矩形領域画像を対応的に取得する目標検出サブユニットと、複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである事前訓練された１級分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて複数のフレームの手部画像の１次分類結果を取得する第１分類サブユニットと、前記１次分類結果を１回目の分類結果とする確認ユニットと、前記１回目の分類結果を認識しようとする商品とする結果認定ユニットと、を備えている。ここで、該矩形領域画像は、商品を含む矩形領域に対応する画像であり、複数のフレームの手部画像は、複数の撮像ヘッドに１対１で対応している。
なお、登録モジュール４０１の具体的な説明については、上記実施例におけるステップＳ１の関連内容を参照可能であり、リアルタイム追跡モジュール４０２の具体的な説明については、上記実施例におけるステップＳ２の関連内容を参照可能であり、買物リスト生成モジュール４０３の具体的な説明については、上記実施例におけるステップＳ３およびステップＳ３１、３２、３３、３４、３５の関連内容を参照可能であり、ここで省略する。
本発明の別の一実施例には、畳み込みニューラルネットワーク画像認識技術による会計装置が提供されている。前記会計装置は、ショッピング場所の頂部から下に向いて撮像し、ショッピング場所内で身分情報が既に取得された顧客をリアルタイムで追跡する頂部撮像ヘッドと、商品棚の前方に向いて撮像して商品が載置される商品棚の前の顧客の画像を取得する前向き撮像ヘッド５１と、下に向いて撮像して顧客の手部画像を取得する下向き撮像ヘッド５２と、プロセッサと、プロセッサが実行可能なコマンドを記憶するメモリとを備えている。
ここで、プロセッサは、予め登録された顧客を認識して顔データ及び支払口座番号を含む顧客の身分情報を取得し、前記頂部撮像ヘッドを制御して身分情報が取得された顧客をリアルタイムで追跡してその顧客の位置を取得し、該顧客の位置が前向き撮像ヘッドを制御して取得されたショッピング場所における商品の位置と一致するか否かを判断し、一致である場合、該顧客を商品に対する取得動作又は返還動作に関連付けて、前記下向き撮像ヘッドにより取得された手部画像に基づいて取得動作又は返還動作と、取得動作又は返還動作に対応する商品とを認識した後、該顧客の買物リストを生成し、前記買物リストに基づいて会計を行うように構成される。
図５を参照して、会計方法、会計装置及び下記の会計システムにおいて、商品を的確に認識するとともに、撮像する際に、各載置ステージ５３上の貨物の配列状況がより明瞭かつ正確に見られるために、商品が載置される商品棚（又は会計装置用商品棚と称する）は、支持に用いられ、床面上に載置される台座５６を含んでいる。コラム５５は、台座５６に設けられ、鉛直に設けられてもよく、例えば、コラム５５と台座５６との組合体がＬ型となるように台座５６の一端に設けられてもよく、コラム５５と台座５６との組合体が逆Ｔ型となるように台座５６の上面の中間部に設けられてもよく、傾斜的に設けられてもよい。本実施例はこれに限定されない。複数の載置ステージ５３は、鉛直方向（コラム５５が台座５６に立設されているとき、鉛直方向はコラム５５の長手方向である）に沿ってコラム５５の同じ側に順次設けられており、任意の隣り合う２つの載置ステージ５３の間に安置しようとする貨物を収納する空間が形成されるように隙間を空けている。貨物は、各載置ステージ５３に取り付けられる。コラム５５から離れる載置ステージ５３の一端は、自由端である。任意の隣り合う２つの載置ステージ５３のうち、上方に位置する載置ステージ５３の自由端は、下方に位置する載置ステージの自由端よりもコラム５５に近いように位置している。すなわち、複数の載置ステージ５３の幅（すなわち、図６において載置ステージ５３の水平方向における長さ）は、上から下に向いて広くなっている。最も下方に位置する載置ステージ５３の幅は最も広く、最も上方に位置する載置ステージ５３の幅は最も狭い。このように、上から下に向いて貨物を撮像する際に各載置ステージ５３上の貨物の配列状況がより明瞭、正確に見られる。
実際において、載置ステージ５３の数に応じて商品棚を呼ぶことができる。載置ステージ５３が複数である場合、商品棚を多層商品棚と呼ぶことができる。載置ステージ５３の数は、３個または４個であるのが好ましい。
載置ステージ５３は、平板であってもよい。載置ステージ５３が１つの連続体であり、貨物を載せるとき、貨物を載置ステージ５３上に置くことで、比較的重く、吊り下げにくい貨物の載置が可能となる。
他の実施例において、載置ステージ５３は、横杆と、複数の掛杆と、を含んでいる。横杆は、コラム５５の上に水平に設けられ、複数の掛杆は、互いに平行かつ互いに間隔を空けるように横杆に垂直に設けられる。このとき、載置ステージ５３は、１つの不連続体であり、貨物を載せるとき、貨物を掛杆の下方に掛け、すなわち貨物が載置ステージ５３の下方に位置する。このように、比較的軽く、包装の変形しやすい貨物の載置が便利になる。
この商品棚は、特にジャスト・ウォーク・アウト（Ｊｕｓｔ Ｗａｌｋ Ｏｕｔ）のショッピング場所に適用される。コラム５５の上部に前向き撮像ヘッド５１及び下向き撮像ヘッド５２が設けられ、前向き撮像ヘッド５１の撮像方向が、商品棚の前方（図６における左側）に向いて撮像し、つまり、商品棚の前方に位置して貨物を選別している顧客を撮像する。下向き撮像ヘッド５２は、載置ステージ５３の上方に位置し、その撮像方向が、載置ステージ５３の上方から下に向いて撮像し、つまり、載置ステージ５３上の貨物を撮像する。該撮像ヘッドの撮像範囲は、商品棚上の貨物を覆う。
下向き撮像ヘッド５２の数は複数であることが好ましい。このように、顧客の選別した貨物が撮像されたのが確保できる。複数の下向き撮像ヘッド５２は、載置ステージ５３の長手方向Ｌに沿って、載置ステージ５３の上方に順次に分布され、それぞれの高さが等しくてもよく、等しくなくてもよい。複数の下向き撮像ヘッド５２は、載置ステージ５３の幅方向Ｗに沿って、載置ステージ５３の上方に順次に分布され、それぞれの高さが等しくてもよく、等しくなくてもよい。複数の下向き撮像ヘッド５２のうちの一部は、載置ステージの長手方向Ｌに沿って載置ステージ５３の上方に順次に分布され、複数の下向き撮像ヘッド５２のうちの他の一部は、載置ステージの幅方向Ｗに沿って載置ステージ５３の上方に順次に分布される。本実施例はこれに限定されない。好ましくは、下向き撮像ヘッドの数は４個であり、載置ステージ５３の長手方向Ｌに２個が順次に分布され、載置ステージ５３の幅方向Ｗに２個が順次に分布される。
本発明のまた他の実施例による会計システムは、クライアント端末及び会計装置を含み、クライアント端末は、登録時に顧客の入力した身分情報を受信して会計装置に送信し、また、会計装置の発行する買物リストを受信する。会計装置は、前記の会計装置である。具体的な内容は、ここで省略する。
以上のように、本発明の実施例は、以下のような有益な効果をもたらすことができる。
運営コストは低い。即ち、ＲＦＩＤ方案に比べて、ＲＦＩＤの貼付による作業量を節約できる。
適用範囲は広い。即ち、任意の商品に適用され、商品形態、材質等の属性に制約されない。
ユーザの体験はよい。即ち、顧客は、商品を取得した後、直ちに関連情報を取得することができる。
技術常識からわかるように、本発明は、その技術的な主旨又は必要な特徴から逸脱しない実施案によって実現することができる。したがって、上記開示された実施案は、各側面については、例示に過ぎず、唯一のものではない。本発明の範囲内に又は本発明の範囲と均等する範囲内の変更のすべては、本発明に含まれる。

Claims (10)

  1. 予め登録した顧客を認識して、顔データ及び支払口座番号を含む該顧客の身分情報を取得するステップＳ１と、
    ショッピング場所において身分情報が取得された該顧客をリアルタイムで追跡して該顧客の位置を取得するステップＳ２と、
    該顧客の位置がショッピング場所における商品の位置と一致するか否かを判断し、一致である場合、該顧客を前記商品に対する取得動作または返還動作に関連付けて、取得動作または返還動作と、取得動作または返還動作に対応する商品を認識した後、該顧客の買物リストを生成するステップＳ３と、
    前記買物リストに基づいて会計を行うステップＳ４と、を含むことを特徴とする会計方法。
  2. ステップＳ３において、該顧客の位置がショッピング場所における商品の位置と一致するか否かを判断することは、具体的に、
    前記商品が載置される商品棚に取り付けられた前方に向いて撮像する前向き撮像ヘッドの位置を前記商品の位置とし、前記前向き撮像ヘッドに撮像された、該顧客を含む画像に示される該顧客の身分情報が前記ステップＳ１において取得した身分情報と同一である場合、該顧客の位置がショッピング場所における商品の位置と一致すると判断することを含むことを特徴とする請求項１に記載の会計方法。
  3. ステップＳ３において、取得動作または返還動作を認識することは、具体的に、
    前記商品が載置される商品棚の前の該顧客の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に対して時間軸に沿って１本の手部の運動軌跡を作成し、
    手部の運動軌跡が予め設定された仮想動作境界線の外から内に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を返還動作として認識し、
    手部の運動軌跡が前記仮想動作境界線の内から外に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を取得動作として認識すること、を含んでおり、
    前記仮想動作境界線の外は、前記商品棚から離れる方向であり、前記仮想動作境界線の内は、前記商品棚に近づく方向であることを特徴とする請求項１または２に記載の会計方法。
  4. ステップＳ３において、取得動作または返還動作に対応する商品を認識することは、具体的に、
    複数の撮像ヘッドに１対１で対応して取得された、商品を含む複数のフレームの手部画像に対して目標検出を行うことで、複数の、商品を含む矩形領域に対応する画像である矩形領域画像を対応的に取得するステップＳ３１と、
    複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである事前訓練された１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数のフレームの手部画像の１次分類結果を取得するステップＳ３２と、
    前記１次分類結果を１回目の分類結果とするステップＳ３３と、
    前記１回目の分類結果を認識しようとする商品とするステップＳ３４と、を含むことを特徴とする請求項１に記載の会計方法。
  5. ステップＳ３２の後、ステップＳ３４の前に、
    １次分類結果が類似する商品である場合、複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品組における商品で訓練されたモデルである事前訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数のフレームの手部画像の２次分類結果を取得し、２次分類結果を１回目の分類結果とし、そうではない場合、ステップＳ３３に移行するステップをさらに含むことを特徴とする請求項４に記載の会計方法。
  6. 登録する際に顧客の入力した身分情報を受信し、ショッピング場所に入ろうとする顧客の身分情報を取得する登録モジュールと、
    前記登録モジュールに接続され、ショッピング場所において前記登録モジュールにより身分情報が取得された該顧客をリアルタイムで追跡して該顧客の位置を取得するリアルタイム追跡モジュールと、
    前記リアルタイム追跡モジュールに接続され、前記リアルタイム追跡モジュールにより取得された該顧客の位置がショッピング場所における商品の位置と一致するか否かを判断し、一致である場合、該顧客を前記商品に対する取得動作又は返還動作に関連付けて、取得動作又は返還動作と、取得動作又は返還動作に対応する商品を認識した後、該顧客の買物リストを生成する買物リスト生成モジュールと、
    前記買物リスト生成モジュールに接続され、前記買物リスト生成モジュールにより生成された買物リストに基づいて会計を行うための会計モジュールと、を備えることを特徴とする会計装置。
  7. 前記買物リスト生成モジュールは、
    前記商品が載置される商品棚に取り付けられた前方に向いて撮像する前向き撮像ヘッドの位置を前記商品の位置とし、前記前向き撮像ヘッドに撮像された、該顧客を含む画像に示される該顧客の身分情報が前記登録モジュールによって取得された身分情報と同一である場合、該顧客の位置がショッピング場所における商品の位置と一致すると判断する関連ユニットと、
    前記商品が載置される商品棚の前の該顧客の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に対して時間軸に沿って１本の手部の運動軌跡を作成し、手部の運動軌跡が予め設定された仮想動作境界線の外から内に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を返還動作として認識し、手部の運動軌跡が仮想動作境界線の内から外に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を取得動作として認識し、前記仮想動作境界線の外が、商品棚から離れる方向であり、前記仮想動作境界線の内が、商品棚に近づく方向である、動作認識ユニットと、
    前記取得動作又は返還動作に対応する商品を認識する商品認識ユニットと、
    前記関連ユニットにより確認された該顧客の身分情報と、前記動作認識ユニットにより認識された取得動作又は返還動作と、前記商品認識ユニットにより認識された取得動作又は返還動作に対応する商品とに基づいて、該顧客の買物リストを生成する買物リスト生成ユニットと、を備えることを特徴とする請求項６に記載の会計装置。
  8. 前記商品認識ユニットは、
    前記動作認識ユニットにより取得された、商品を含む複数のフレームの手部画像に対して目標検出を行うことで、複数の矩形領域画像を対応的に取得し、前記矩形領域画像が商品を含む矩形領域に対応する画像であり、前記複数のフレームの手部画像が複数の撮像ヘッドに１対１で対応する、目標検出サブユニットと、
    複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである事前訓練された１級分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数のフレームの手部画像の１次分類結果を取得する第１分類サブユニットと、
    前記１次分類結果を１回目の分類結果とする確認ユニットと、
    前記１回目の分類結果を認識しようとする商品とする結果認定ユニットと、を備えることを特徴とする請求項６に記載の会計装置。
  9. ショッピング場所の頂部から下に向いて撮像し、ショッピング場所内で身分情報が既に取得された顧客をリアルタイムで追跡する頂部撮像ヘッドと、
    商品棚の前方に向いて撮像して、商品が載置される商品棚の前の該顧客の画像を取得する前向き撮像ヘッドと、
    下に向いて撮像して該顧客の手部画像を取得する下向き撮像ヘッドと、
    プロセッサと、
    プロセッサが実行可能なコマンドを記憶するメモリとを備え、
    前記プロセッサは、
    予め登録された該顧客を認識して、顔データ及び支払口座番号を含む該顧客の身分情報を取得し、前記頂部撮像ヘッドを制御して身分情報が取得された該顧客をリアルタイムで追跡して該顧客の位置を取得し、該顧客の位置が前向き撮像ヘッドを制御して取得されたショッピング場所における商品の位置と一致するか否かを判断し、一致である場合、該顧客を商品に対する取得動作又は返還動作に関連付けて、下向き撮像ヘッドにより取得された手部画像に基づいて取得動作又は返還動作と、取得動作又は返還動作に対応する商品を認識した後、該顧客の買物リストを生成し、前記買物リストに基づいて会計を行うように構成されることを特徴とする会計装置。
  10. クライアント端末と会計装置を含み、
    前記クライアント端末は、登録する際に顧客の入力した身分情報を受信して前記会計装置に送信し、前記会計装置の発行する買物リストを受信し、
    前記会計装置は、請求項６〜９のいずれ一項に記載の会計装置であることを特徴とする会計システム。
JP2019512641A 2017-08-16 2017-12-11 会計方法、装置及びシステム Active JP6743291B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201710701938.X 2017-08-16
CN201710701938 2017-08-16
CN201711213100.2 2017-11-28
CN201711213100.2A CN109409175B (zh) 2017-08-16 2017-11-28 结算方法、装置和系统
PCT/CN2017/115444 WO2019033635A1 (zh) 2017-08-16 2017-12-11 结算方法、装置和系统

Publications (2)

Publication Number Publication Date
JP2019530923A true JP2019530923A (ja) 2019-10-24
JP6743291B2 JP6743291B2 (ja) 2020-08-19

Family

ID=65463329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019512641A Active JP6743291B2 (ja) 2017-08-16 2017-12-11 会計方法、装置及びシステム

Country Status (4)

Country Link
US (1) US10963947B2 (ja)
EP (1) EP3671529A4 (ja)
JP (1) JP6743291B2 (ja)
CN (2) CN109409175B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022528023A (ja) * 2020-03-09 2022-06-08 ▲図▼▲霊▼通▲諾▼（北京）科技有限公司 会計方法、装置及びシステム
JP7349923B2 (ja) 2020-02-03 2023-09-25 東芝テック株式会社 取引処理システム
JP7368982B2 (ja) 2019-09-05 2023-10-25 東芝テック株式会社 販売管理システム及び販売管理方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299715B (zh) * 2017-07-24 2021-07-13 图灵通诺（北京）科技有限公司 基于卷积神经网络的图像识别技术的结算方法和装置
US11087273B1 (en) * 2017-12-14 2021-08-10 Amazon Technologies, Inc. Item recognition system using reference images
US11562614B2 (en) * 2017-12-25 2023-01-24 Yi Tunnel (Beijing) Technology Co., Ltd. Method, a device and a system for checkout
CN112639862A (zh) * 2018-06-29 2021-04-09 鬼屋技术有限责任公司 物品定位、清单创建、路线规划、成像和检测的系统、设备和方法
CN108921098B (zh) * 2018-07-03 2020-08-18 百度在线网络技术（北京）有限公司 人体运动分析方法、装置、设备及存储介质
US11880877B2 (en) 2018-12-07 2024-01-23 Ghost House Technology, Llc System for imaging and detection
CN109948515B (zh) * 2019-03-15 2022-04-15 百度在线网络技术（北京）有限公司 物体的类别识别方法和装置
CN110009836A (zh) * 2019-03-29 2019-07-12 江西理工大学 基于高光谱摄像技术的深度学习的系统及方法
CN110379483A (zh) * 2019-06-12 2019-10-25 北京大学 针对疾病人群的饮食监督与推荐方法
CN110390271A (zh) * 2019-06-28 2019-10-29 联想(北京)有限公司 一种无人售货方法和设备
CN110472962A (zh) * 2019-08-13 2019-11-19 广州云徙科技有限公司 一种基于图像识别的无人支付方法以及无人支付货架系统
US11393253B1 (en) 2019-09-16 2022-07-19 Amazon Technologies, Inc. Using sensor data to determine activity
JP7366660B2 (ja) * 2019-09-17 2023-10-23 東芝テック株式会社 画像処理装置および画像処理プログラム
JP6982259B2 (ja) * 2019-09-19 2021-12-17 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
CN110781752A (zh) * 2019-09-27 2020-02-11 上海数烨数据科技有限公司 一种动态视觉智能柜多品类场景下的物体识别方法
CN110992140A (zh) * 2019-11-28 2020-04-10 浙江由由科技有限公司 一种用于识别模型的匹配方法和系统
JP7380168B2 (ja) * 2019-12-13 2023-11-15 トヨタ自動車株式会社 自律走行ユニット、情報処理方法及びプログラム
CN116385011A (zh) * 2019-12-20 2023-07-04 刘净 基于量子ai遥感视觉的智能交易方法及系统
CN111311304A (zh) * 2020-01-17 2020-06-19 西安奥卡云数据科技有限公司 一种基于视频的智能无人超市管理系统
CN111354024B (zh) * 2020-04-10 2023-04-21 深圳市五元科技有限公司 关键目标的行为预测方法、ai服务器及存储介质
CN111523481A (zh) * 2020-04-24 2020-08-11 无锡创思感知科技有限公司 一种应用于无人店的自动结算方法
DE102020205699A1 (de) * 2020-05-06 2021-11-11 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsanlage, Verfahren, Computerprogramm, Speichermedium und Überwachungseinrichtung
CN112132868B (zh) * 2020-10-14 2024-02-27 杭州海康威视系统技术有限公司 一种支付信息的确定方法、装置及设备
CN112906759A (zh) * 2021-01-29 2021-06-04 哈尔滨工业大学 一种基于纯视觉的免门禁无人商店结账方法
CN113554801A (zh) * 2021-04-14 2021-10-26 浙江星星冷链集成股份有限公司 一种无人售货系统
CN114898249B (zh) * 2022-04-14 2022-12-13 烟台创迹软件有限公司 用于购物车内商品数量确认的方法、系统及存储介质
CN114973548A (zh) * 2022-05-23 2022-08-30 广东海洋大学 一种基于图像识别的无人智慧图书馆管理系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016532932A (ja) * 2013-06-26 2016-10-20 アマゾン テクノロジーズ インコーポレイテッド 物品の相互作用及び移動検出方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3837475B2 (ja) * 2001-07-19 2006-10-25 独立行政法人産業技術総合研究所 自動化ショッピングシステム
WO2006022503A1 (en) 2004-08-23 2006-03-02 Retail Tech Co., Ltd. Shopping pattern analysis system and method based on rf
US7178722B2 (en) * 2004-12-09 2007-02-20 International Business Machines Corporation Virtual shopping environment
WO2013033442A1 (en) * 2011-08-30 2013-03-07 Digimarc Corporation Methods and arrangements for identifying objects
US9536135B2 (en) * 2012-06-18 2017-01-03 Microsoft Technology Licensing, Llc Dynamic hand gesture recognition using depth data
US10290031B2 (en) * 2013-07-24 2019-05-14 Gregorio Reid Method and system for automated retail checkout using context recognition
US20160203499A1 (en) * 2013-09-06 2016-07-14 Nec Corporation Customer behavior analysis system, customer behavior analysis method, non-transitory computer readable medium, and shelf system
US20160110791A1 (en) * 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
CN104361693B (zh) * 2014-11-19 2017-07-28 深圳市中谷联创信息服务有限公司 一种智能商场自动结算系统
US10475185B1 (en) * 2014-12-23 2019-11-12 Amazon Technologies, Inc. Associating a user with an event
JP6295228B2 (ja) * 2015-04-07 2018-03-14 東芝テック株式会社 販売データ処理装置、サーバおよびプログラム
CN109414119B (zh) * 2016-05-09 2021-11-16 格拉班谷公司 用于在环境内计算机视觉驱动应用的系统和方法
CN106204240A (zh) 2016-07-23 2016-12-07 山东华旗新能源科技有限公司 智慧购物管理系统
CN106557791B (zh) 2016-10-20 2019-06-04 江苏蒲公英无人机有限公司 一种超市购物管理系统及其方法
CN106504074A (zh) * 2016-11-14 2017-03-15 上海卓易科技股份有限公司 一种智能购物方法及系统
CN106781121A (zh) * 2016-12-14 2017-05-31 朱明� 基于视觉分析的超市自助结账智能系统
CN106779871A (zh) * 2017-01-09 2017-05-31 白逸飞 超市购物方法与系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016532932A (ja) * 2013-06-26 2016-10-20 アマゾン テクノロジーズ インコーポレイテッド 物品の相互作用及び移動検出方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7368982B2 (ja) 2019-09-05 2023-10-25 東芝テック株式会社 販売管理システム及び販売管理方法
JP7349923B2 (ja) 2020-02-03 2023-09-25 東芝テック株式会社 取引処理システム
JP2022528023A (ja) * 2020-03-09 2022-06-08 ▲図▼▲霊▼通▲諾▼（北京）科技有限公司 会計方法、装置及びシステム
JP7264401B2 (ja) 2020-03-09 2023-04-25 ▲図▼▲霊▼通▲諾▼（北京）科技有限公司 会計方法、装置及びシステム

Also Published As

Publication number Publication date
EP3671529A4 (en) 2020-07-22
EP3671529A1 (en) 2020-06-24
US20190228457A1 (en) 2019-07-25
CN109409175B (zh) 2024-02-27
CN208957427U (zh) 2019-06-11
US10963947B2 (en) 2021-03-30
CN109409175A (zh) 2019-03-01
JP6743291B2 (ja) 2020-08-19

Similar Documents

Publication Publication Date Title
JP6743291B2 (ja) 会計方法、装置及びシステム
US11501523B2 (en) Goods sensing system and method for goods sensing based on image monitoring
JP6709862B2 (ja) 畳み込みニューラルネットワーク画像認識技術による会計方法及び設備
US10290031B2 (en) Method and system for automated retail checkout using context recognition
US11790433B2 (en) Constructing shopper carts using video surveillance
JP6646176B1 (ja) 自律店舗追跡システム
WO2019033635A1 (zh) 结算方法、装置和系统
JP7260022B2 (ja) 店舗装置、店舗システム、店舗管理方法、プログラム
RU2739542C1 (ru) Система автоматической регистрации для торговой точки
JP6821009B2 (ja) 会計方法、装置及びシステム
US11049373B2 (en) Storefront device, storefront management method, and program
CN109508974B (zh) 一种基于特征融合的购物结账系统和方法
EP3901841A1 (en) Settlement method, apparatus, and system
CN111222870B (zh) 结算方法、装置和系统
EP4094219A1 (en) Customer behavioural system
CN109934569B (zh) 结算方法、装置和系统
CN110689389A (zh) 基于计算机视觉的购物清单自动维护方法及装置、存储介质、终端
KR20220026810A (ko) 매장 내 스마트 쇼핑 시스템
JP2024037466A (ja) 情報処理システム、情報処理方法及びプログラム
JP2022164939A (ja) 販売システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200729

R150 Certificate of patent or registration of utility model

Ref document number: 6743291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250