JP2016513296A - セルフチェックアウト端末における不正行為の検証 - Google Patents

セルフチェックアウト端末における不正行為の検証 Download PDF

Info

Publication number
JP2016513296A
JP2016513296A JP2015549865A JP2015549865A JP2016513296A JP 2016513296 A JP2016513296 A JP 2016513296A JP 2015549865 A JP2015549865 A JP 2015549865A JP 2015549865 A JP2015549865 A JP 2015549865A JP 2016513296 A JP2016513296 A JP 2016513296A
Authority
JP
Japan
Prior art keywords
data
self
weight
feed
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015549865A
Other languages
English (en)
Other versions
JP2016513296A5 (ja
JP6204491B2 (ja
Inventor
ミグダル ジョシュア
ミグダル ジョシュア
フェロウ マシュー
フェロウ マシュー
クンデュ マレイ
クンデュ マレイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Joshua Migdal
Malay Kundu
Matthew Farrow
Original Assignee
Joshua Migdal
Malay Kundu
Matthew Farrow
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Joshua Migdal, Malay Kundu, Matthew Farrow filed Critical Joshua Migdal
Publication of JP2016513296A publication Critical patent/JP2016513296A/ja
Publication of JP2016513296A5 publication Critical patent/JP2016513296A5/ja
Application granted granted Critical
Publication of JP6204491B2 publication Critical patent/JP6204491B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G07G3/003—Anti-theft control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/188—Data fusion; cooperative systems, e.g. voting among different detectors
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Image Analysis (AREA)

Abstract

セルフチェックアウト端末において発生する不正行為の検証方法が開示される。方法は、取引エリア、およびセルフチェックアウト端末の袋に詰めるエリアを監視することによって生成される複数のデータで、不正行為のインシデントを確認することによって、不正行為を確認する。任意選択で、機械により特定されたインシデントを検証するのに人的検証が行われる。

Description

関連出願の相互参照
本出願は、２０１２年１２月２１日に出願された米国仮特許出願第６１／７４０，８５８号明細書の利益を主張する特許出願である。本出願は、２００９年１２月１５日に発行された米国特許第７，６３１，８０８号明細書を参照によって組み込んでいる。
本発明は概して、セルフチェックアウト端末において発生する不正行為を防止するセキュリティシステムおよび方法に関する。特に、セルフチェックアウトユニットにおいて不正行為を検証する方法およびシステムに関する。
セルフチェックアウトは、またたく間に、顧客による小売商品に対して代金を支払う確立された方法になりつつある。列をより短くし、販売をより迅速にし、かつプライバシーを高めることを約束することが、顧客にとって魅力となっている。さらに、スタッフによる有人のチェックアウトを有さないこと、および人件費の削減に関連した金銭的節約が、小売業者にとって魅力となっている。
一方で、セルフチェックアウトは幾つかの問題を提示する。否認することができる機会、容易性、および可能性が、単に商品をスキャンしないことによって、または商品をスキャニングするのに困っていると装うことによって、顧客がそれらを盗むことを可能にする。したがって、セルフチェックアウトにおいて発生する盗難または不正行為は、有人のチェックアウトよりも多くなり得る。
したがって、セルフチェックアウトは、袋に詰めるエリア（ｂａｇｇｉｎｇ ａｒｅａ）において出力の重量を測定する重量センサまたは重量計を利用した、種々の盗難防止対策を採用していることが多い。袋に詰めるエリアにおける重量の増加分が、商品の既知の重量と等しくない場合、システムはフラグをたて、かつ取引が中断される。セルフチェックアウトは、エラーとなり、かつ非常に多くの「誤検出」を作動させることが多い。加えて、セルフチェックアウトの盗難防止は十分に包括的なものではなく、顧客がセルフチェックアウトから盗むことができるさらなる方法を許容してしまう。
したがって、セルフチェックアウトにおいて発生することがある盗難行為、および不正行為の誤検出のアラートを減少させることができる、システムおよび検証処理が必要とされている。
本出願の主題は、場合により、相互関連した製品、特定の問題に対する代替的な解決法、および／または単一のシステムもしくは要素の複数の異なる使用を含むことができる。
一態様では、セルフチェックアウト端末において対象となる起こり得る行為を検証する方法が提供される。方法は、コンピュータプロセシングユニットを介して動作する。取引エリアにおける取引時間の少なくとも一部の間に、商品を監視するビデオソースから生成されるビデオフィードが取得される。コンピュータプロセシングユニットは、取引エリアにおける取引時間の少なくとも一部の間に商品を監視することによってデータフィードが生成される、データソースからデータフィードを取得する。そして、ビデオフィードおよびデータフィードが分析されて、対象となる起こり得る行為を特定する。次に、分析されたビデオフィードおよび分析されたデータフィードの両方が対象となる起こり得る行為を確認するときに、アラートが発行される。
別の態様では、セルフチェックアウト端末において起こり得る不正行為を検証する方法が提供される。コンピュータプロセシングユニットは、セルフチェックアウト端末から商品の想定外重量データを受信し、セルフチェックアウト端末では、袋に詰めるエリアに置かれている商品の想定外重量データを取得するのに、重量センサがセルフチェックアウト端末と結合される。次に、想定外重量データに基づいて、起こり得る不正行為が特定される。重量センサからの商品が、想定内重量許容差に一致するかを特定するのに想定外重量データが取得される。コンピュータプロセシングユニットはさらに、データフィードに基づいて、起こり得る不正行為を特定し、データフィードは、取引エリアにおいて商品を監視するデータソースから生成される。
さらなる別の態様では、セルフチェックアウト端末において起こり得る不正行為を検証するシステムが提供される。システムは、取引時間の少なくとも一部の間に生成される複数のデータフィードを分析するように動作可能なコンピュータプロセシングユニットを備える。複数のデータフィードは、セルフチェックアウト端末において取引されている商品を監視することによって生成され、コンピュータプロセシングユニットは、複数のデータフィードの各々を、商品を関連付けるプリセットされたデータと相互に関連付けて、起こり得る不正行為を特定する。さらに、コンピュータプロセシングユニットは、複数のデータフィードの少なくとも２つが、特定された起こり得る不正行為を確認するときに、アラートを発行するように構成される。複数のデータフィードは、ビデオフィード、取引データ、および想定外重量データを備える。システムはさらに、コンピュータプロセシングユニットと通信可能に結合された、ビデオフィードを生成するビデオソースを備える。重量センサは、想定外重量データをコンピュータプロセシングユニットに送信するセルフチェックアウト端末に結合される。セルフチェックアウト端末は、コンピュータプロセシングユニットに通信可能に結合される。
さらなる態様では、セルフチェックアウト端末において損失インシデントを特定する方法が提供される。コンピュータプロセシングユニットは、ビデオフィードを取得し、ビデオフィードは、取引エリアにおいて商品を監視するビデオソースから生成される。ビデオフィードは、取引時間の少なくとも一部の間に生成される。コンピュータプロセシングユニットは、ビデオ分析によって取得されるビデオフィードに基づいて損失インシデントを特定し、かつビデオフィードを修正してそれを簡易化する。修正されたビデオフィードが人的検証端末に送信されて、人的検証を行う。そして、人的検証応答が受信されて、人的検証に基づいて損失インシデントを特定する。ビデオ分析および人的検証応答に基づいて、アラートが発行される。
セルフチェックアウト端末において起こり得る不正行為を検証する方法の実施形態を提供する。 セルフチェックアウト端末において損失インシデントを特定する方法の実施形態を提供する。 人的検証に対して送信されるビデオフィード修正の実施形態を提供する。 人的検証処理の実施形態を提供する。 セルフチェックアウト端末において起こり得る不正行為を検証するシステムの実施形態を提供する。
以下で添付図面と関連して記載される詳細な説明は、本発明の現在の好ましい実施形態の詳細として意図され、かつ本発明を構成および／または利用することができる唯一の形式を表すものではない。詳細な説明は、例示される実施形態とともに本発明を構成し、機能させるステップの機能および順序を記載する。
発行された米国特許第７，６３１，８０８号明細書は、ビデオ分析および取引データ分析の処理を詳細に説明している。そのようにして、発行された米国特許第７，６３１，８０８号明細書は、参照によって本明細書に組み込まれている。審査官は、上述の発行された特許の電子的写しを提供するよう求められている。
要するに、米国特許第７，６３１，８０８号明細書は、取引端末において顧客による商品の取引（例えば、購入、返金、無効など）に関連する不審行為など、取引での出力結果を検出する方法および装置を説明している。システムは、取引エリアに関連付けられたビデオデータを取得する。ビデオデータは、例えば、キャッシュレジスタチェックアウト、またはスーパーマーケットもしくは他の小売店における他の取引エリアに焦点をあてる（ｆｏｃｕｓｅｄ ｏｎ）、防犯カメラ（ｅｌｅｖａｔｅｄ ｃａｍｅｒａ）から取得されてもよい。システムは自動機械ビデオ分析アルゴリズムを適用し、自動機械ビデオ分析アルゴリズムは、ビデオデータの少なくとも一部を分析して、取引エリアに関連付けられた取引の少なくとも一部に関する少なくとも１つのビデオパラメータを取得するシステムの一部として開示されている。例として、システムは、ビデオデータを分析して、取引エリアにおける取引に関連する商品を追跡する（例えば、商品の存在を特定する）ことができる。この処理は、ビデオデータ分析から、取引に関連する商品の存在を自動的に特定することができる。例えば、取引エリアにおいて商品の動きを自動的に検出することによって、および／または取引エリアにおいてオペレータの行為を検出することによって、このことが行われてもよい。商品の存在を検出することは、取引エリアにおいて対象の領域から商品が撤去されることを検出すること、および／または取引エリアにおいて対象の領域に商品が持ち込まれることを検出することを含み得る。
取引データと比較してビデオ分析の組み合わせを使用して、システムは、ビデオデータの分析において特定された商品の存在が、取引データにおいて対応する存在を有しているかを判定することができ、有していない場合、不審行為を特定する。例として、各検出器に対し、システムは、その検出器に対する検出イベントの組を、取引データの少なくとも一部と比較して、取引データの一部において示される幾つかの商品と、その検出器によって検出された幾つかの商品との少なくとも１つの明らかな不一致を特定することができる。よって、取引の数（例えば、スキャンの数）または取引商品識別子などの取引データは、スキャンされた商品の存在、またはスキャンされた幾つかの商品（取引全体に対する）を表すとともに、ビデオ分析からの検出イベントデータまたはビデオ数は、取引エリアを通じてオペレータが移動させる商品の存在（または数）を表す。多くの他の実施形態が本明細書で開示され、その詳細が詳細な説明のセクションで提供される。
概して、本発明は、顧客によってセルフチェックアウト取引の間に発生することがある、起こり得る不正行為を検証する方法に関する。本発明は、セルフチェックアウト作業を、セルフチェックアウト端末によって特定される起こり得る不正行為を確認する追加的な検証手段と統合することによって、セルフチェックアウト操作の作業を強化する。１つ以上の以下のデータフィード、すなわち、ビデオ分析、取引データ統合、重量統合、および任意選択の人的検証プロセスを組み合わせることによって、その強化が促進される。その組み合わせによって、起こり得る不正行為がセルフチェックアウト端末によって最初に特定されることが保証され、かつ起こり得る不正行為の正当性を検証する。同様に、本発明は、起こり得る不正行為に与えられる誤検出アラートを低減させ、アラートは、単に検証に基づいてのみ発行される。
起こり得る不正行為の例は、セルフチェックアウト端末において顧客が取引されていない商品を袋に詰めるエリアに置く場合、商品を袋に詰めるエリアにおいて購入されている商品の場所に別の商品を置く場合、商品を袋に詰めるエリアの外部（フロア、入力エリア、またはセルフチェックアウト端末を通じて取引することなく、購入された商品の収集のために特に指定されていない他のエリア）に置く場合、ならびに取引の終了の後に購入されていない商品を持って行く場合、などを含んでもよいが、それらに限定されない。
誤検出の不正行為の例は、非売買商品（財布、携帯電話、傘、上着など）が袋に詰めるエリアに置かれる場合、販促商品などの無料進呈商品が袋に詰めるエリアに置かれる場合、同一の店舗もしくは別の店舗からの以前に購入された商品などの現在の取引に関連付けられていない売買商品が袋に詰めるエリアに置かれる場合、部分的に消費した商品、日を追うごとに重量が変化した売買商品、もしくは正確にスキャンされた他のタイプの商品によって発生する重量の不一致をもたらす場合、想定外重量の増加をもたらす袋に詰めるエリア／出力エリアの規模を学習および調査（ｓｉｔｔｉｎｇ ｏｎ）する場合、再使用可能なバッグを使用する場合、ならびに出力エリアで商品が減少する場合、などを含んでもよいが、それらに限定されない。
本明細書で考慮されるビデオソースは、アナログカメラおよびＩＰカメラなどのビデオカメラ、ＤＶＲなどの、任意の期間のビデオフィードを提供することができるデバイス、ならびにタブレットコンピュータおよびラップトップコンピュータなどの、カメラを有するポータブルコンピューティングデバイスを含んでもよいが、それらに限定されない。
本明細書で考慮されるデータフィードは、シリアル、イーサネット（登録商標）などの任意の接続タイプを介し、ＵＤＰ、ＴＣＰなどの任意のプロトコルを介した、ＸＭＬ、ＪＳＯＮ、ＣＳＶ、バイナリを含むフォーマットにあってもよいが、それらに限定されない。
一実施形態では、セルフチェックアウト端末において対象となる起こり得る行為が検証されてもよい。本明細書で開示される方法およびシステムは、起こり得る不正行為を特定および検証することに限定されなくてもよい。対象となる起こり得る行為は、不正行為でない、セルフチェックアウト端末における行為であってもよい。対象となる起こり得る行為は、セルフチェックアウト端末を通じて渡される複数の商品の間での遅延、セルフチェックアウト端末に対して発生する機械的なエラー、セルフチェックアウト端末において印刷する領収書の紙詰まり、および顧客の救助呼び出し（ｄｉｓｔｒｅｓｓ ｃａｌｌ）を含んでもよいが、それらに限定されない。起こり得る不正行為ではない対象となる起こり得る行為の例は、介入もしくはアラートを必要としてもよく、または必要としなくてもよく、よって、介入もしくはアラートを発行せずに検証処理を実行してもよい。
セルフチェックアウト端末において起こり得る不正行為を検証する、開示される方法を実行するシステムが提供される。システムは、デジタルビデオアナライザ（ＤＶＡ）などのコンピュータプロセシングユニット、ビデオソース、重量センサ、およびセルフチェックアウト端末を含んでもよい。
コンピュータプロセシングユニットは、セルフチェックアウト端末においてスキャンされる商品を監視することによって生成されるデータフィードを分析するように動作可能であってもよい。データフィードは、ビデオフィード、取引データ、および想定外重量データを含んでもよい。データフィードは、起こり得る不正行為を特定するためにコンピュータプロセシングユニットによって取得されてもよい。特定された起こり得る不正行為はさらに、別のタイプのデータフィード上で行われた分析に基づいて検証されてもよい。ビデオフィードは、取引エリアに置かれた商品を監視するビデオソースから取得されてもよい。想定外重量データは、重量センサからの重量測定値を分析した結果であってもよい。重量センサは、袋に詰めるエリアに置かれている商品の重量を測定する。想定外重量データは、商品の重量が想定内重量許容差と一致しないときに取得されてもよい。
一実施形態では、想定内重量許容差は、商品に割り当てられた条件を満たした重量の範囲であってもよい。例えば、リンゴは、リンゴの平均重量に基づいて、想定内重量許容差に割り当てられてもよい。
別の実施形態では、想定外重量データは、商品の重量が、想定内重量許容差によって指定された条件を満たした重量の範囲外であることを示してもよい。商品の重量が、想定内重量許容差外にある場合、想定外重量データは、起こり得る不正行為を特定してもよい。
さらなる別の実施形態では、想定外重量データは、商品の重量が、想定内重量許容差内にあることを示し、よって、起こり得る不正行為を否定してもよい。
さらなる別の実施形態では、商品は、想定内重量許容差に割り当てられなくてもよい。この実施形態では、想定外重量データは、商品が既存の重量許容差を有しておらず、したがって、商品の重量が、想定内重量許容差に対応していないことを示すことによって、起こり得る不正行為を特定してもよい。
さらなる実施形態では、想定外重量データは、重量センサから測定された商品の重量と、想定内重量許容差との間の差異を示してもよい。例えば、商品の重量が想定内重量許容差よりも重く、かつ重量許容差外である場合、想定外重量データはそのような差異を示してもよい。想定内重量許容差はまた、単数（ｓｉｎｇｌｅ ｎｕｍｂｅｒ）であってもよく、想定外重量データは、同様の方法で差異を示してもよい。
セルフチェックアウト端末において起こり得る不正行為を検証する、開示される方法を実行するシステムはさらに、人的検証を行う人的検証端末を含んでもよい。人的検証端末は、ビデオフィードの一部を分析して、起こり得る不正行為を検証または特定してもよい。
一実施形態では、コンピュータプロセシングユニットは、ビデオフィードを修正するように動作可能であってもよく、そこで、ビデオフィードが簡易化されてもよい。ビデオ分析によって操作される人的検証端末が、修正されたビデオフィードを、人的検証を介してリアルタイムで処理することができるように、ビデオの修正はビデオフィードを簡易化する。人的検証の詳細な処理は、本開示でさらに開示される。
ビデオフィードを簡易化することは、ビデオフィードの一部を検証するために、それを短期間の断片（ｓｈｏｒｔ−ｄｕｒａｔｉｏｎ ｓｎｉｐｐｅｔ）にクリップできるほど簡易であってもよい。また、それは、人的検証を促進するために、画像処理を含んでもよい。さらに、それは、ビデオフィードからスナップショットをとることを含んでもよい。加えて、検証目的の一貫性のためにビデオの調査を規則化するように、それは、ビデオフィードを回転すること、ビデオフィードをスケーリングすること、およびビデオフィードに対して他のアフィン変換を実行することを含んでもよい。それらの全てが、ビデオフィードの簡易化として理解されることになる。
複数のデータフィードは、セルフチェックアウト端末において取引される商品ごとに生成されてもよい。起こり得る不正行為は、最初に、複数のデータフィードの１つによってトリガされ、次に検証されてもよい。典型的には、セルフチェックアウト端末は、起こり得る不正行為に最初にフラグを設定する（ｆｌａｇ）ことができる内臓型機構を有する。最初にフラグを設定される起こり得る不正行為が、アラートまたは介入を必要とすることを保証するために、複数のデータフィードのうちの２つ以上が、起こり得る不正行為を検証するのに利用され、起こり得る不正行為を確認または否認してもよい。複数のデータフィードの各々が、セルフチェックアウト端末と電気的に通信するコンピュータプロセシングユニットに送信されてもよい。複数のデータフィードの各々が、プリセットされたデータと比較して分析されてもよい。
プリセットされたデータは、店舗において販売されている各商品に割り当てられた想定内データフィードを指す２。プリセットされたデータの例は、想定内重量許容差、商品の想定内形状、および商品の想定内カウント数などを含んでもよいが、それらに限定されない。
一実施形態では、起こり得る不正行為は、重量センサを利用して検証されてもよい。重量センサは、セルフチェックアウト端末の袋に詰めるエリアに電気的に結合されてもよく、袋に詰めるエリアに置かれた商品の重量を提供する。提供される商品の重量は、商品の想定内重量許容差と比較されてもよい。
想定内重量許容差は、店舗において販売されている各商品に割り当てられてもよく、条件を満たすことができる許容差レベルを設定する。商品の重量が商品の想定内重量許容差を上回り、または下回るとき、商品は、起こり得る不正行為としてフラグを設定されてもよい。商品は、２つ以上の想定内重量許容差が割り当てられてもよい。例えば、商品は、１つ購入すると１つが無料になるイベント（ａ ｂｕｙ ｏｎｅ ｇｅｔ ｏｎｅ ｆｒｅｅ ｅｖｅｎｔ）の間に、ボーナス商品を伴ってもよい。
想定内重量許容差は、袋に詰めるエリアに置かれている商品を捕捉するのに利用されてもよい（その商品が店舗において分類された商品ではない場合）。そのようなケースでは、想定内重量許容差は、店舗において分類された商品ではない重量を有する商品にフラグを設定するためにデフォルトでゼロに設定されてもよい。
したがって、想定外重量データは、本明細書で開示されたように生成されてもよい。重量センサからの商品の重量が想定内重量許容差に対応しないときに、想定外重量データが取得される場合、起こり得る不正行為は、想定外重量データに基づいて特定されてもよい。
別の実施形態では、起こり得る不正行為を検証するのにビデオ分析が利用されてもよい。ビデオフィードは、取引エリアにおける行為を監視するビデオソースによって生成されてもよい。取引エリアは、セルフチェックアウト端末の或る区画に限定されないが、セルフチェックアウト端末の周囲のエリアを含んでもよい。ビデオ分析は、コンピュータプロセシングユニットを介して行われてもよく、そこでは、ビデオフィードがフレームごとに分析されて、起こり得る不正行為を特定する。フレームごとの分析は、そのような行為が、起こり得る不正行為でないことがある場合に、店舗において販売されていない商品を特定してもよい。袋に詰めるエリアに置かれる前、および置かれた後の商品のビデオフィードが分析されて、起こり得る不正行為を検証してもよい。種々のビデオ分析技術が利用可能であり、かつ本発明に関連するビデオ分析の方法および処理が、参照によって本明細書に組み込まれる。
さらなる別の実施形態では、起こり得る不正行為を検証するために、取引データがビデオ分析に相互に関連付けられてもよい。そのような方法および処理はまた、上述した参照による組み込みによって、提供されている。
セルフチェックアウト端末において発生する起こり得る不正行為は、介入が必要であるかを判定するために検証されてもよい。介入は、セルフチェックアウト端末を停止させることなど、セルフチェックアウト端末に電気的に提供されるアラートの形式であってもよい。セルフチェックアウトの係員が介入を進めることができる場合、アラートは、セルフチェックアウトの係員に提供されてもよい。
一実施形態では、起こり得る不正行為が複数のデータフィードのうちの２つに基づいて確認される場合に、アラートが発行されてもよい。
別の実施形態では、複数のデータフィードのうちの１つによって特定される起こり得る不正行為が誤検出のケースを示した場合に、アラートが否定されてもよい。
さらなる別の実施形態では、複数のデータフィードの各々が異なる結果を示す場合でさえ、アラートが発行されてもよい。この実施形態では、起こり得る不正行為をさらに検証するために人的検証が行われてもよい。例として、ビデオフィードに基づいて、バナナの房が単一のバナナとして検証されてもよいが、バナナの房は、房のバナナの数に応じて想定内重量許容差外にあってもよい。そのようなケースでは、アラートを発行する前に、人的検証はさらに起こり得る不正行為を検証してもよい。
起こり得る不正行為は、人的検証によってさらに検証されてもよい。人的検証は、ビデオソースによって生成されたビデオフィードを利用してもよい。ビデオフィードは修正されてもよく、そこでは、ビデオフィードが簡易化され、そして修正されたビデオフィードは、コンピュータプロセシングユニットから人的検証端末に送信され、その後に修正されたビデオが、起こり得る不正行為を確認するかを検証してもよい。検証の他の機械対応手段によって、起こり得る不正行為を検証することが困難であり、かつ／または分かりにくい場合、人的検証が有益であると理解されることがある。人的検証端末は、ビデオ分析によって操作されてもよい。
一実施形態では、複数のデータフィードによって検証される、起こり得る不正行為を確認する最終ステップとして、人的検証が行われてもよい。
本明細書で開示されるビデオフィードの修正は、人的検証を促進するのに使用することができる画像分析および処理手法を含んでもよい。非限定的な例として、そのような修正は、不一致の領域を示すのに１つ以上の画像間の差異を強調表示すること、紛らわしい細部を取り除き、かつシーン（ｓｃｅｎｅ）の関連のあるエリアに焦点を絞るのに画像をトリミングまたはマスキングすること、画像を一貫した典型的景観（ｃａｎｏｎｉｃａｌ ｖｉｅｗ）にするように、画像を回転および変換すること（アフィンおよび非線形の両方、例えば、回転、伸張、刈り込み、ミラー化、歪みの除去など）、商品が持ち込まれ、撤去され、操作され、または移動される画像の領域を強調表示すること、オプティカルフローを強調表示すること、動きの軌跡を強調表示すること、製品の以前に正当であると確認された商品を強調表示すること、取引ログおよびセルフチェックアウトイベント情報（例えば、重量センサ情報、スキャナ情報、袋不要ボタン（ｓｋｉｐ−ｂａｇｇｉｎｇ ｂｕｔｔｏｎ）、顧客存在検出情報、電子商品セキュリティタグの非活性化、タグ除去など）をオーバレイすること、特定の行為に対して指定された特定の画像領域を強調表示すること（例えば、入力エリア、出力エリアなど）、を含んでもよいが、それらに限定されない。
起こり得る不正行為の検証は、人的検証でリアルタイムに行われてもよい。
人的検証は、起こり得る不正行為の非人的対応検証方法における欠陥を補償すると考えられてもよい。例えば、自動検証システムにおける自動パラメータのチューニングは、システムに特定の偽陽性率および真陽性率を与える。例えばそのようなシステムが、５０％の真陽性率を得るようにチューニングされている場合、偽陽性率は非常に高いことがある。このケースでは、自動的な手法と特定の人的検証との組合せによって、所望の真陽性量（ｔｒｕｅ ｐｏｓｉｔｉｖｅ ｙｉｅｌｄ）を維持するとともに、偽陽性率をより処理しやすいものに低減させることが可能な複合システムを得ることができる。
一実施形態では、人的検証は、ウェブサービスを利用して処理されてもよい。修正されたビデオフィードは、インターネット接続へのアクセスを有するウェブサービスを利用する、ウェブブラウザを介して通信されてもよい。人的検証を行うアナリストは、コンピュータプロセシングユニットから送信されるアラートを検討および検証するためにウェブアプリケーションを利用してもよい。検証／確認のためのイベントドリブンインタフェースを作成するために、ウェブアプリケーションは、長期のポーリング機構を介してウェブサービスを呼び出してもよい。検証ジョブがウェブサービスにない場合、長期のポーリング機構は最終的にタイムアウトし、かつウェブアプリケーションによって即時に再確立されてもよい。ジョブが利用可能な場合、長期のポーリング呼び出しは、ジョブの詳細を返却する。後続のウェブ呼び出しは、ウェブアプリケーションから、ジョブをサポートするウェブサービスに対してなされてもよい。その間に、ＤＶＡが人的検証を要求するジョブを有しているとき、それはジョブの詳細を有するウェブサービスを呼び出す。この呼び出しは、即時に返却しなくてもよい。
一実施形態では、ジョブは、ジョブを待機中のウェブアプリケーションクライアントに渡す、ウェブサービスのジョブキューに入ってもよい。ジョブが完了すると、人的検証結果が、待機中のコンピュータプロセシングユニット／ＤＶＡ呼び出しに渡される。
損失インシデントは、ビデオ分析によって検証されてもよい。本明細書で考慮される損失インシデントは、カート内の商品を顧客が放置するとき、盗難行為などを含んでもよいが、それらに限定されない。損失インシデントは、商品が袋に詰めるエリアに置かれていないときに発生することがあり、重量センサがその機能を実行することを不可能にする。損失インシデントが本当に発生したか否かを検証するために、損失インシデントが人的検証を受けてもよい。
一実施形態では、セルフチェックアウト端末における損失インシデントは、取引エリアにおいて商品を監視するビデオソースから生成されるビデオフィードを取得することによって、検証されてもよい。ビデオフィードは、取引時間の間の商品の部分的なビデオフィードであってもよい。取引時間は、商品がセルフチェックアウト端末に持ち込まれてから、支払が行われるのが成功するまでの期間を示す。コンピュータプロセシングユニットによって行われるビデオフィードのビデオ分析は、人的検証端末において行われる人的検証によって検証されてもよい。損失インシデントが確認される場合、アラートまたは介入が発行されてもよい。
次に図１を参照して、セルフチェックアウト端末において起こり得る不正行為を検証する方法の実施形態が説明される。最初に、セルフチェックアウト端末は起こり得る介入にフラグを設定し（１０１）、介入またはアラートは、セルフチェックアウト端末におけるインシデントが不正行為である場合に必要とされることがある。セルフチェックアウト端末は最初に、取引される商品を監視することによってセルフチェックアウト端末から生成されるデータフィードを取得し、かつ起こり得る不正行為を特定してもよい。セルフチェックアウト端末は、特定された起こり得る不正行為の検証を要求する（１０２）。中央プロセシングユニットは、インシデントを処理し（１０３）、かつ介入が必要とされるかを判定するために、複数のデータフィードを利用してもよい。複数のデータは、起こり得る不正行為が確認または否定されるかを検証するために分析されてもよい。起こり得る不正行為を確認または否定するために、人的検証が任意選択で適用されてもよい（１０８）。
複数のデータのうちの１つ以上の分析が、起こり得る不正行為が実際に不正なものであることを確認する場合（１０４）、セルフチェックアウト端末は、介入を要求してもよく（１０６）、介入は、アラートがセルフチェックアウトユニット上で現れ、またはアラートがセルフチェックアウトの係員に送信され、セルフチェックアウト端末において処理される取引に介入するよう通知する、形式で提供されてもよい。
複数のデータのうちの１つ以上の分析が、起こり得る不正行為を否定する場合（１０５）、インシデントが無視されてもよく、介入が行われない（１０７）。
図２は、セルフチェックアウト端末において損失インシデントを特定する方法の実施形態を示す。損失インシデント２０１がセルフチェックアウト端末において発生するとき、中央プロセシングユニットによって視覚分析２０２が行われて、損失インシデントが確認され、または誤りであるかを検証してもよい。中央プロセシングユニットは、視覚分析から損失インシデントを特定し（２０３）、かつセルフチェックアウトユニットに警告し（２０４）、それによって、介入が要求される。損失インシデントに対して行われる視覚分析を確認または否定するために、人的検証（２０６）が任意選択で適用されてもよい。その後に介入が要求され得る損失インシデントが確認されると、アラートがセルフチェックアウトユニットに提供される（２０５）。
図３は、ビデオ分析によって行われる人的検証に対して送信されるビデオフィードの修正の実施形態を示している。図３は、スキャンされる商品の修正されたビデオフィードを示している。最初に、スキャン時間に撮られたスナップショットが示され、その後に、袋に詰める時間に撮られたスナップショットが示される。スナップショットの差異を示すことによって、修正されたビデオフィードが強調表示され、強調表示は、袋に詰めるエリアにおける関連のある変更を示している。そして、モルフォロジー演算およびブロブベースの接続されたコンポーネント分析（ｂｌｏｂ ｂａｓｅｄ ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）がその後に続く閾値化処理を介して、強調表示されたビデオフィードの輪郭が取得されて、ビデオフィードを簡易化して、袋に詰めるエリアに加えられる単一の商品を示す。
図４は、人的検証の実施形態を提供する。最初に、人的検証要求４０２を受信することによって人的検証が行われてもよい。介入のアラートを送信する前に、人的検証は、ＤＶＡ４００または中央プロセシングユニットによって開始されてもよい（４０１）。ビデオソースからのビデオフィードが修正されてもよく、かつウェブサービス４０４に送信されてもよい。次に、修正されたビデオフィード（画像Ｔ−ＬＯＧ）は、ジョブクリエータ４０３によって、ジョブキュー４０６において待ち行列に入れられる。処理されることになる人的検証ジョブが送信されると（４０７）、ビデオアナリストは、人的検証端末４０８またはウェブアプリケーション（ＷＡ）を使用して、修正されたビデオフィードの人的検証を行う。人的検証ジョブが完了すると（４０５）、人的検証の応答４０９がＤＶＡに返信される。
図５は、セルフチェックアウト端末において起こり得る不正行為を検証するシステムの実施形態を示している。コンピュータプロセシングユニット５０９は、セルフチェックアウト端末５０８と通信する。セルフチェックアウト端末５０８は、袋に詰めるエリア５０５に置かれた複数の商品の重量を測定する重量センサ５０６に、通信可能に結合される。コンピュータプロセシングユニット５０９と電気的に通信するビデオカメラ５０７は、カート５０２および顧客５０３を監視することもできる取引エリア５０１、５０４における行為を監視してもよい。この実施形態では、ビデオフィードがビデオカメラによって生成され、かつ中央プロセシングユニットに送信される。コンピュータプロセシングユニットは、ビデオフィードに基づいて、起こり得る不正行為を特定してもよい。また、起こり得る不正行為を検証する本システムに、重量センサが利用されてもよい。想定外重量データは、複数の商品の各々の重量、および複数の商品の各々に対応する想定内重量許容差に基づいて、起こり得る不正行為を特定してもよい。コンピュータプロセシングユニットは、想定外重量データに基づいて、提供されることになるアラート／介入を許可してもよい。
好ましい実施形態または特定の実施形態の例によって、本発明の幾つかの変形形態が例示されてきたが、本発明の趣旨および範囲、またはそれらの発明概念内で、さらなる実施形態を発展することができることが明らかである。しかしながら、そのような修正形態および適応形態が本発明の趣旨および範囲内にあり、かつ以下の特許請求の範囲に記載を含むがそれに限定されないことを明確に理解するべきである。

Claims (19)

  1. セルフチェックアウト端末において対象となる起こり得る行為を検証する方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
    ビデオソースから生成されるビデオフィードを取得するステップであって、前記ビデオフィードは、取引時間の少なくとも一部の間に商品を監視することによって生成され、前記商品は、取引エリアに位置している、ステップと、
    データソースからデータフィードを取得するステップであって、前記データフィードは、前記取引時間の少なくとも一部の間に前記商品を監視することによって生成され、前記商品は、前記取引エリアに位置している、ステップと、
    前記ビデオフィードを分析して、前記対象となる起こり得る行為を特定するステップと、
    前記データフィードを分析して、前記対象となる起こり得る行為を特定するステップと、
    前記分析されたビデオフィードおよび前記分析されたデータフィードの両方が、前記対象となる起こり得る行為を確認する場合、アラートを発行するステップと
    を備える、方法。
  2. 前記対象となる起こり得る行為は、起こり得る不正行為である、請求項１に記載の方法。
  3. 前記ビデオフィードを修正するステップであって、前記ビデオフィードは簡易化される、ステップと、
    人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
    前記人的検証端末から人的検証応答を受信して、前記アラートを検証するステップと
    をさらに備える、請求項２に記載の方法。
  4. データソースからデータフィードを取得する前記ステップは、
    取引データから前記データフィードを取得するステップであって、前記取引データは、前記セルフチェックアウト端末から生成される、ステップと、
    重量センサから前記データフィードを取得するステップであって、前記重量センサは、袋に詰めるエリアに置かれた前記商品の重量を検出する、ステップと
    の少なくとも１つを含む、請求項２に記載の方法。
  5. 重量センサから前記データフィードを取得することによって、前記データフィードを分析して、前記起こり得る不正行為を特定する前記ステップは、
    前記セルフチェックアウト端末から、前記商品の想定外重量データを受信するステップであって、前記重量センサは、前記セルフチェックアウト端末と通信可能に結合され、前記セルフチェックアウト端末は、袋に詰めるエリアに置かれている前記商品の前記想定外重量データを取得する、ステップと、
    前記想定外重量データに基づいて、前記起こり得る不正行為を特定するステップであって、前記想定外重量データは、前記重量センサからの前記商品の重量が、想定内重量許容差に対応するかを特定するために取得される、ステップと
    を含む、請求項４に記載の方法。
  6. セルフチェックアウト端末において起こり得る不正行為を検証する方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
    前記セルフチェックアウト端末から、商品の想定外重量データを受信するステップであって、重量センサは、前記セルフチェックアウト端末と通信可能に結合され、前記セルフチェックアウト端末は、袋に詰めるエリアに置かれている前記商品の前記想定外重量データを取得する、ステップと、
    前記想定外重量データに基づいて、前記起こり得る不正行為を特定するステップであって、前記想定外重量データは、前記重量センサからの前記商品が、想定内重量許容差に対応するかを特定するために取得される、ステップと、
    データフィードに基づいて、前記起こり得る不正行為を特定するステップであって、前記データフィードは、取引エリアにおいて前記商品を監視するデータソースから生成され、前記データフィードは、取引時間の少なくとも一部の間に生成される、ステップと
    を備える、方法。
  7. 前記データフィードに基づく前記特定された起こり得る不正行為を、前記想定外重量データに基づく前記特定された起こり得る不正行為と相互に関連付けて、前記起こり得る不正行為を検証するステップをさらに備えた、請求項６に記載の方法。
  8. ビデオフィードを修正するステップであって、前記ビデオフィードは簡易化され、前記ビデオフィードは、前記取引時間の少なくとも一部の間に前記商品を監視するビデオソースから生成され、前記商品は、前記取引エリアに位置している、ステップと、
    人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
    前記人的検証端末から人的検証応答を受信して、前記起こり得る不正行為を検証するステップと
    をさらに備える、請求項６に記載の方法。
  9. データフィードに基づいて、前記起こり得る不正行為を特定する前記ステップは、
    ビデオ分析に基づいて前記起こり得る不正行為を特定するステップであって、前記ビデオ分析は、ビデオフィードを分析する前記コンピュータプロセシングユニットによって実行され、前記ビデオフィードは、前記商品を監視するビデオソースから生成される、ステップと、
    取引データに基づいて前記起こり得る不正行為を特定するステップであって、前記取引データは、前記セルフチェックアウト端末から生成される、ステップと
    の少なくとも１つを含む、請求項７に記載の方法。
  10. 前記データフィードに基づく前記特定された起こり得る不正行為、および前記想定外重量データに基づく前記特定された起こり得る不正行為の両方が、前記起こり得る不正行為を確認する場合、アラートを発行するステップをさらに備える、請求項７に記載の方法。
  11. 前記データフィードに基づく前記特定された起こり得る不正行為、および前記想定外重量の差異に基づく前記特定された起こり得る不正行為の少なくとも１つが、前記起こり得る不正行為を確認しない場合、アラートを否定するステップをさらに備える、請求項７に記載の方法。
  12. 前記人的検証応答と、
    前記データフィードに基づく前記特定された起こり得る不正行為と、
    前記想定外重量の差異に基づく前記特定された起こり得る不正行為と
    の少なくとも１つによって、前記起こり得る不正行為が確認される場合、アラートを発行するステップをさらに備えた、請求項８に記載の方法。
  13. 前記データフィードに基づく前記特定された起こり得る不正行為、前記想定外重量の差異、および前記人的検証応答の組み合わされた分析が、前記起こり得る不正行為を確認する場合、アラートを発行するステップをさらに備える、請求項８に記載の方法。
  14. セルフチェックアウト端末において起こり得る不正行為を検証するシステムであって、
    取引時間の少なくとも一部の間に生成される複数のデータフィードを分析するように動作可能なコンピュータプロセシングユニットであって、前記複数のデータフィードは、前記セルフチェックアウト端末において取引される商品を監視することによって生成され、前記コンピュータプロセシングユニットは、前記複数のデータフィードの各々を、前記商品を関連付けるプリセットされたデータと相互に関連付けて、前記起こり得る不正行為を特定するように動作可能であり、前記コンピュータプロセシングユニットは、前記複数のデータフィードのうちの少なくとも２つが、前記特定された起こり得る不正行為を確認するときに、アラートを発行するように構成され、前記複数のデータフィードは、
    ビデオフィード、取引データ、および想定外重量データ
    を含む、コンピュータプロセシングユニットと、
    前記コンピュータプロセシングユニットと通信可能に結合されたビデオソースであって、前記ビデオソースは、取引エリアに置かれた前記商品の前記ビデオフィードを生成するように動作可能である、ビデオソースと、
    前記セルフチェックアウト端末と通信可能に結合された重量センサであって、前記想定外重量データは、前記セルフチェックアウト端末から前記コンピュータプロセシングユニットに送信され、前記想定外重量データは、前記重量センサから測定された前記商品の重量が、想定内重量許容差に対応するかを特定するために取得される、重量センサと、
    前記コンピュータプロセシングユニットに通信可能に結合された前記セルフチェックアウト端末と
    を備える、システム。
  15. 前記コンピュータプロセシングユニットと通信可能に結合された人的検証端末であって、前記人的検証端末は、前記ビデオフィードの少なくとも一部を利用して、前記起こり得る不正行為を特定する、人的検証端末をさらに備える、請求項１４に記載のシステム。
  16. セルフチェックアウト端末において損失インシデントを特定する方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
    ビデオフィードを取得するステップであって、前記ビデオフィードは、取引エリアにおいて商品を監視するビデオソースから生成され、前記ビデオフィードは、取引時間の少なくとも一部の間に生成される、ステップと、
    前記コンピュータプロセシングユニットにより実行されるビデオ分析によって、前記取得されたビデオフィードに基づいて、前記損失インシデントを特定するステップと、
    前記ビデオフィードを修正するステップであって、前記ビデオフィードは簡易化される、ステップと、
    人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
    前記人的検証端末から人的検証応答を受信するステップと、
    前記人的検証に基づいて、前記損失インシデントを特定するステップと、
    前記ビデオ分析および前記人的検証応答に基づいて、アラートを発行するステップと
    を備える、方法。
  17. ビデオフィードを取得する前記ステップは、前記ビデオフィードの少なくとも一部を前記コンピュータプロセシングユニットに記憶するステップを含む、請求項１６に記載の方法。
  18. セルフチェックアウト端末において起こり得る不正行為を検証する方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
    ビデオフィードを取得するステップであって、前記ビデオフィードは、取引時間の少なくとも一部の間に商品を監視するビデオソースから生成され、前記商品は、取引エリアに位置している、ステップと、
    前記セルフチェックアウト端末、前記セルフチェックアウト端末と通信可能に結合された重量センサから、前記商品の想定外重量データを取得するステップであって、前記セルフチェックアウト端末は、袋に詰めるエリアに置かれている前記商品の前記想定外重量データを取得し、前記想定外重量データは、前記重量センサから測定された前記商品の重量が、想定内重量許容差に対応するかを特定するために取得される、ステップと、
    前記ビデオフィードを分析して、ビデオ分析を実行することによって、前記起こり得る不正行為を特定するステップと、
    前記ビデオフィードを修正するステップであって、前記ビデオフィードは簡易化される、ステップと、
    人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
    前記人的検証端末から人的検証応答を受信するステップと、
    前記人的検証に基づいて、前記起こり得る不正行為を特定するステップと、
    前記分析されたビデオフィード、前記想定外重量データ、および前記人的検証応答の全てが、前記起こり得る不正行為を確認する場合、アラートを発行するステップと
    を備える、方法。
  19. セルフチェックアウト端末において起こり得る不正行為を検証する方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
    前記セルフチェックアウト端末、前記セルフチェックアウト端末と通信可能に結合された重量センサから、商品の想定外重量データを受信するステップであって、前記セルフチェックアウト端末は、袋に詰めるエリアに置かれている前記商品の前記想定外重量データを取得する、ステップと、
    前記想定外重量データに基づいて、前記起こり得る不正行為を特定するステップであって、前記想定外重量データは、前記重量センサからの前記商品の重量が、想定内重量許容差に対応するかを特定するために取得される、ステップと、
    ビデオフィードを修正するステップであって、前記ビデオフィードは簡易化され、前記ビデオフィードは、取引時間の少なくとも一部の間に前記商品を監視するビデオソースから生成され、前記商品は、取引エリアに位置している、ステップと、
    人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
    前記人的検証端末から、人的検証応答を受信するステップと、
    前記人的検証応答に基づいて、前記特定された起こり得る不正行為を検証するステップと
    を備える、方法。
JP2015549865A 2012-12-21 2013-12-23 セルフチェックアウト端末における不正行為の検証 Active JP6204491B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261740858P 2012-12-21 2012-12-21
US61/740,858 2012-12-21
PCT/US2013/077607 WO2014100827A1 (en) 2012-12-21 2013-12-23 Verification of fraudulent activities at a selfcheckout terminal

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017164910A Division JP6550105B2 (ja) 2012-12-21 2017-08-30 セルフチェックアウト端末における不正行為の検証

Publications (3)

Publication Number Publication Date
JP2016513296A true JP2016513296A (ja) 2016-05-12
JP2016513296A5 JP2016513296A5 (ja) 2016-06-23
JP6204491B2 JP6204491B2 (ja) 2017-09-27

Family

ID=50029217

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015549865A Active JP6204491B2 (ja) 2012-12-21 2013-12-23 セルフチェックアウト端末における不正行為の検証
JP2017164910A Active JP6550105B2 (ja) 2012-12-21 2017-08-30 セルフチェックアウト端末における不正行為の検証

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017164910A Active JP6550105B2 (ja) 2012-12-21 2017-08-30 セルフチェックアウト端末における不正行為の検証

Country Status (5)

Country Link
US (2) US9564031B2 (ja)
EP (2) EP3699879A1 (ja)
JP (2) JP6204491B2 (ja)
CN (1) CN104885130B (ja)
WO (1) WO2014100827A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016146144A (ja) * 2015-02-09 2016-08-12 東芝テック株式会社 チェックアウトシステム、及び制御プログラム
JP2019053735A (ja) * 2017-09-14 2019-04-04 株式会社Ｌｉｑｕｉｄ 情報処理装置
JP2022008031A (ja) * 2020-06-24 2022-01-13 エヌ・シー・アール・コーポレイション 顧客のセルフチェックによる商品販売管理方法及び商品販売管理システム

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170331B2 (en) * 2012-08-15 2021-11-09 Everseen Limited Virtual management system data processing unit and method with rules and alerts
US9892289B2 (en) * 2012-12-07 2018-02-13 Hand Held Products, Inc. Reading RFID tags in defined spatial locations
WO2016042906A1 (ja) * 2014-09-19 2016-03-24 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
US20160284000A1 (en) * 2015-03-26 2016-09-29 Toshiba Global Commerce Solutions Holdings Corporation Systems and methods for indicating content characteristics of spaced-apart areas in a retail environment
US10810540B1 (en) 2015-03-30 2020-10-20 Amazon Technologies, Inc. Item determination based on weight data
US10332066B1 (en) 2015-03-30 2019-06-25 Amazon Technologies, Inc. Item management system using weight
EP3100648B1 (de) 2015-06-03 2022-08-31 Wincor Nixdorf International GmbH Vorrichtung und verfahren zum identifizieren und verfolgen eines objektes
WO2017031313A1 (en) * 2015-08-20 2017-02-23 Invue Security Products Inc. Security system with benefit denial functionality
EP3147850A1 (en) * 2015-09-22 2017-03-29 Datalogic IP Tech S.r.l. Shopping cart monitoring system and method for store checkout
CN106644802A (zh) * 2015-10-28 2017-05-10 青岛海尔智能技术研发有限公司 饮品纯净度检测方法、检测装置及饮品展示柜
US20170251183A1 (en) * 2016-02-29 2017-08-31 Ncr Corporation Identification and imaging of terminal-proximate event occurences
JP6781567B2 (ja) * 2016-04-01 2020-11-04 東芝テック株式会社 計量装置
CN107492216A (zh) * 2016-06-13 2017-12-19 曹进 一种自助式购物结算与支付系统
US9865104B1 (en) * 2016-08-16 2018-01-09 Honeywell International Inc. Gesture encrypted access system based on multidimensional code
US11477415B2 (en) * 2016-09-16 2022-10-18 Ncr Corporation Mechanism for video review at a self-checkout terminal
US11482082B2 (en) * 2016-09-18 2022-10-25 Ncr Corporation Non-scan loss verification at self-checkout terminal
US10691950B2 (en) * 2017-03-10 2020-06-23 Turing Video, Inc. Activity recognition method and system
US11475671B2 (en) 2017-05-26 2022-10-18 Turing Video Multiple robots assisted surveillance system
US11080976B2 (en) * 2017-06-15 2021-08-03 Ncr Corporation Real time bypass detection in scanner
JP2019193089A (ja) * 2018-04-24 2019-10-31 東芝テック株式会社 映像解析装置
US10795635B2 (en) * 2018-05-29 2020-10-06 Forcepoint Llc Systems and methods for spatial and temporal highlighting of changes to streaming image data
CN110866429B (zh) * 2018-08-28 2024-03-08 阿里巴巴集团控股有限公司 漏扫识别方法、装置、自助收银终端及系统
CN109214806B (zh) * 2018-11-20 2022-01-04 北京京东尚科信息技术有限公司 自助结算方法、装置以及存储介质
WO2020156108A1 (en) * 2019-01-28 2020-08-06 Shenzhen Malong Technologies Co., Ltd. System and methods for monitoring retail transactions
US11599864B2 (en) * 2019-03-07 2023-03-07 Ncr Corporation Contextual self-checkout based verification
JP2022108991A (ja) 2021-01-14 2022-07-27 東芝テック株式会社 不正行為認識装置及びその制御プログラム、不正行為認識方法
JP2022110707A (ja) * 2021-01-19 2022-07-29 東芝テック株式会社 監視装置、監視システム及び監視方法
JP2022126371A (ja) * 2021-02-18 2022-08-30 東芝テック株式会社 商品データ登録装置およびプログラム
US11810168B2 (en) * 2021-04-02 2023-11-07 Toshiba Global Commerce Solutions Holdings Corporation Auditing mobile transactions based on symbol cues and transaction data
CN114023028B (zh) * 2021-11-04 2023-08-04 成都新潮传媒集团有限公司 非机动车辆防盗预警方法、装置及存储介质
JP7435716B2 (ja) 2021-11-15 2024-02-21 日本電気株式会社 登録装置、登録方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005501351A (ja) * 2001-08-22 2005-01-13 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 小売の環境における不正なイベントを検出するための視覚に基づく方法及び装置
JP2005122420A (ja) * 2003-10-16 2005-05-12 Kunio Aso 購入商品収納カート及びレジスタシステム
JP2008538030A (ja) * 2005-03-29 2008-10-02 ストップリフト インコーポレイテッド ビデオ分析を使用して不審挙動を検出する方法及び装置
JP2010039545A (ja) * 2008-07-31 2010-02-18 Teraoka Seiko Co Ltd Ｐｏｓシステム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3482229B2 (ja) * 1993-11-19 2003-12-22 株式会社日立製作所 チェックアウト装置
US5747784A (en) * 1996-10-22 1998-05-05 Ncr Corporation Method and apparatus for enhancing security in a self-service checkout station
NL1004940C2 (nl) * 1997-01-07 1998-07-08 Nedap Nv Automatisch kassasysteem met zelfscanning.
US5965861A (en) * 1997-02-07 1999-10-12 Ncr Corporation Method and apparatus for enhancing security in a self-service checkout terminal
US6056087A (en) * 1997-09-29 2000-05-02 Ncr Corporation Method and apparatus for providing security to a self-service checkout terminal
US6047262A (en) * 1998-03-02 2000-04-04 Ncr Corporation Method for providing security and enhancing efficiency during operation of a self-service checkout terminal
US6296185B1 (en) * 1999-11-02 2001-10-02 Ncr Corporation Apparatus and method for operating a checkout system having a display monitor which displays both transaction information and customer-specific messages during a checkout transaction
WO2002037856A1 (en) * 2000-11-06 2002-05-10 Dynapel Systems, Inc. Surveillance video camera enhancement system
US20030078849A1 (en) * 2001-10-23 2003-04-24 Ncr Corporation Self-checkout system having component video camera for produce purchase monitoring
US7631808B2 (en) 2004-06-21 2009-12-15 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis
US7516888B1 (en) * 2004-06-21 2009-04-14 Stoplift, Inc. Method and apparatus for auditing transaction activity in retail and other environments using visual recognition
US8448858B1 (en) * 2004-06-21 2013-05-28 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis from alternative camera viewpoint
CN2911811Y (zh) * 2005-08-26 2007-06-13 杭州优腾医药科技有限公司 医院用挂号、缴费多功能自助终端机
CN201035657Y (zh) * 2007-03-30 2008-03-12 杜军 大堂式自助缴费机
US7909248B1 (en) * 2007-08-17 2011-03-22 Evolution Robotics Retail, Inc. Self checkout with visual recognition
JP2010044479A (ja) * 2008-08-11 2010-02-25 Ishida Co Ltd Ｐｏｓ端末装置
JP4751938B2 (ja) * 2009-03-17 2011-08-17 東芝テック株式会社 チェックアウト端末装置
WO2012170551A2 (en) 2011-06-06 2012-12-13 Stoplift, Inc. Notification system and methods for use in retail environments

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005501351A (ja) * 2001-08-22 2005-01-13 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 小売の環境における不正なイベントを検出するための視覚に基づく方法及び装置
JP2005122420A (ja) * 2003-10-16 2005-05-12 Kunio Aso 購入商品収納カート及びレジスタシステム
JP2008538030A (ja) * 2005-03-29 2008-10-02 ストップリフト インコーポレイテッド ビデオ分析を使用して不審挙動を検出する方法及び装置
JP2010039545A (ja) * 2008-07-31 2010-02-18 Teraoka Seiko Co Ltd Ｐｏｓシステム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016146144A (ja) * 2015-02-09 2016-08-12 東芝テック株式会社 チェックアウトシステム、及び制御プログラム
JP2019053735A (ja) * 2017-09-14 2019-04-04 株式会社Ｌｉｑｕｉｄ 情報処理装置
JP7278043B2 (ja) 2017-09-14 2023-05-19 株式会社Elements 情報処理装置
JP2022008031A (ja) * 2020-06-24 2022-01-13 エヌ・シー・アール・コーポレイション 顧客のセルフチェックによる商品販売管理方法及び商品販売管理システム
US11611724B2 (en) 2020-06-24 2023-03-21 Ncr Corporation Linked transaction camera with cached video log
JP7279104B2 (ja) 2020-06-24 2023-05-22 エヌ・シー・アール・コーポレイション 顧客のセルフチェックによる商品販売管理方法及び商品販売管理システム

Also Published As

Publication number Publication date
WO2014100827A1 (en) 2014-06-26
JP6550105B2 (ja) 2019-07-24
CN104885130A (zh) 2015-09-02
US20170103266A1 (en) 2017-04-13
US20140176719A1 (en) 2014-06-26
EP3699879A1 (en) 2020-08-26
US10074016B2 (en) 2018-09-11
US9564031B2 (en) 2017-02-07
EP2936461A1 (en) 2015-10-28
JP2018032404A (ja) 2018-03-01
JP6204491B2 (ja) 2017-09-27
CN104885130B (zh) 2018-08-14

Similar Documents

Publication Publication Date Title
JP6204491B2 (ja) セルフチェックアウト端末における不正行為の検証
US20230013957A1 (en) Non-Scan Loss Verification at Self-Checkout Terminal
US20200279310A1 (en) Notification system and methods for use in retail environments
CN110866429B (zh) 漏扫识别方法、装置、自助收银终端及系统
US8876001B2 (en) Methods and apparatus for image recognition in checkout verification
US8856032B2 (en) Adjustment of a security level of a self-checkout system based on shopper assistant intervention
CA3053106A1 (en) Systems and methods for shopping in a physical store
US10366379B2 (en) Remote weigh station with delayed fraud intervention
US11477415B2 (en) Mechanism for video review at a self-checkout terminal
CN107134083A (zh) 终端附近事件发生的识别和成像
US20230044612A1 (en) Transaction Terminal Fraud Processing
US9911112B2 (en) Continuous shrink reduction system sensitivity adjustment
JP6648408B2 (ja) 商品登録装置、プログラム、及び制御方法
JP6932457B2 (ja) 商品の非スキャニング検出方法、端末装置及びｐｏｓシステム
WO2021176840A1 (ja) 登録確認装置、制御方法、およびプログラム
US20190378389A1 (en) System and Method of Detecting a Potential Cashier Fraud
WO2021062294A1 (en) Loss prevention using video analytics
JP2020074082A (ja) 商品登録装置、プログラム、及び制御方法
US20240169351A1 (en) Information processing apparatus, information processing system, and information processing method
WO2023144992A1 (ja) 退店管理システム、退店管理方法、及び、記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160831

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170831

R150 Certificate of patent or registration of utility model

Ref document number: 6204491

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250