JP2023051360A - 情報処理プログラム、情報処理方法および情報処理装置 - Google Patents

情報処理プログラム、情報処理方法および情報処理装置 Download PDF

Info

Publication number
JP2023051360A
JP2023051360A JP2021161970A JP2021161970A JP2023051360A JP 2023051360 A JP2023051360 A JP 2023051360A JP 2021161970 A JP2021161970 A JP 2021161970A JP 2021161970 A JP2021161970 A JP 2021161970A JP 2023051360 A JP2023051360 A JP 2023051360A
Authority
JP
Japan
Prior art keywords
product
information processing
user
checkout
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021161970A
Other languages
English (en)
Inventor
諒 石田
Ryo Ishida
悟 牛嶋
Satoru Ushijima
康洋 青木
Yasuhiro Aoki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2021161970A priority Critical patent/JP2023051360A/ja
Priority to US17/856,178 priority patent/US20230093938A1/en
Priority to EP22183323.9A priority patent/EP4160559A1/en
Priority to KR1020220084176A priority patent/KR20230046947A/ko
Publication of JP2023051360A publication Critical patent/JP2023051360A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0009—Details of the software in the checkout register, electronic cash register [ECR] or point of sale terminal [POS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G07G3/003—Anti-theft control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Figure 2023051360000001
【課題】セルフレジにおける不正を検出することを課題とする。
【解決手段】情報処理装置は、ユーザ自身が商品を登録して会計を行う会計機の前の所定エリアが撮像された画像データを取得する。情報処理装置は、商品と商品を収納する収納とを識別するように訓練された機械学習モデルに、画像データを入力して出力結果を取得する。情報処理装置は、出力結果に含まれる商品と収納とを用いて、ユーザの商品に対する行動を識別する。
【選択図】図５

Description

本発明は、情報処理プログラム、情報処理方法および情報処理装置に関する。
スーパーマーケットやコンビニエンスストア等の店舗において、セルフレジが普及している。セルフレジは、商品を購入するユーザ自身が、商品のバーコードの読み取りから精算までを行うＰＯＳ（Point Of Sale）レジシステムである。たとえば、セルフレジを導入することで、人口減少による人手不足の改善、人件費の抑制を防止することができる。
特開２０２０－５３０１９号公報
しかしながら、上記技術では、不正を検出することが難しい。例えば、セルフレジでは、ユーザによる不可抗力の誤りや故意の不正などがあり、未払い金などが発生する。
不可抗力の誤りとしては、商品のスキャンを忘れてカゴからレジ袋に商品を移動させてしまうスキャン漏れ、例えば６缶で１セットのビール箱にはビール箱と各缶にバーコードがついており誤って缶のバーコードを読み取らせる読み取り誤りなどがある。また、故意の不正としては、ユーザがバーコードだけを指で隠しながら商品をスキャンするフリをするバーコード隠しなどがある。
なお、各セルフレジに重量センサなどを導入することで、自動で商品数を計数して不正を検出することも考えられるが、コストが過大であり、特に大型店舗や全国展開する店舗にとっては現実的ではない。
一つの側面では、セルフレジにおける不正を検出することができる情報処理プログラム、情報処理方法および情報処理装置を提供することを目的とする。
第１の案では、情報処理プログラムは、コンピュータに、ユーザ自身が商品を登録して会計を行う会計機の前の所定エリアが撮像された画像データを取得し、商品と商品を収納する収納とを識別するように訓練された機械学習モデルに、前記画像データを入力して出力結果を取得し、前記出力結果に含まれる前記商品と前記収納とを用いて、前記ユーザの商品に対する行動を識別する、処理を実行させることを特徴とする。
一実施形態によれば、セルフレジにおける不正を検出することができる。
図１は、実施例１にかかるセルフレジシステムの全体構成例を示す図である。 図２は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。 図３は、訓練データを説明する図である。 図４は、機械学習モデルの機械学習を説明する図である。 図５は、ＨＯＩＤによる行動識別を説明する図である。 図６は、購入商品のカウントアップ例を説明する図である。 図７は、不正検出を説明する図である。 図８は、実施例１にかかるセルフレジ処理の流れを示すフローチャートである。 図９は、商品点数カウント処理の流れを示すフローチャートである。 図１０は、機械学習モデルによる行動識別を説明する図である。 図１１は、ＨＯＩＤと機械学習モデルとを組み合わせた行動識別を説明する図である。 図１２は、ハードウェア構成例を説明する図である。 図１３は、セルフレジのハードウェア構成例を説明する図である。
以下に、本願の開示する情報処理プログラム、情報処理方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
［全体構成］
図１は、実施例１にかかるセルフレジシステム５の全体構成例を示す図である。図１に示すように、セルフレジシステム５は、カメラ３０と、セルフレジ５０と、管理者端末６０と、情報処理装置１００とを有する。
情報処理装置１００は、カメラ３０およびセルフレジ５０に接続されるコンピュータの一例である。情報処理装置１００は、有線や無線を問わず様々な通信網を採用できるネットワーク３を介して、管理者端末６０に接続される。カメラ３０およびセルフレジ５０は、ネットワーク３を介して、情報処理装置１００に接続されてもよい。
カメラ３０は、セルフレジ５０を含む領域の映像を撮影するカメラの一例である。カメラ３０は、映像のデータを、情報処理装置１００に送信する。以下の説明では、映像のデータを「映像データ」と表記する場合がある。
映像データには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。１つの画像フレームは、カメラ３０があるタイミングで撮影した静止画像の画像データである。
セルフレジ５０は、商品を購入するユーザ２が、商品のバーコードの読み取りから精算までを行うＰＯＳレジシステムや会計機の一例である。例えば、ユーザ２が、購入対象の商品を、セルフレジ５０のスキャン領域に移動させると、セルフレジ５０は、商品のバーコードをスキャンして、購入対象の商品として登録する。
ユーザ２は、上記商品登録の動作を繰り返し実行し、商品のスキャンが完了すると、セルフレジ５０のタッチパネル等を操作し、精算要求を行う。セルフレジ５０は、精算要求を受け付けると、購入対象の商品の数、購入金額等を提示し、精算処理を実行する。セルフレジ５０は、ユーザ２がスキャンを開始してから、精算要求を行うまでの間にスキャンした商品の情報を、記憶部に格納しておき、セルフレジデータ（商品情報）として、情報処理装置１００に送信する。
管理者端末６０は、店舗の管理者が利用する端末装置の一例である。管理者端末６０は、情報処理装置１００から、商品の購入に関して不正が行われたことを示すアラートの通知等を受け付ける。
このような構成において、情報処理装置１００は、ユーザ２自身が商品を登録して会計を行うセルフレジ５０の前の所定エリアが撮像された画像データを取得する。そして、情報処理装置１００は、商品と商品を収納する収納（レジ袋など）とを識別するように訓練された機械学習モデルに、画像データを入力して出力結果を取得する。その後、情報処理装置１００は、出力結果に含まれる商品と収納とを用いて、ユーザの商品に対する行動を識別する。
すなわち、情報処理装置１００は、商品とその商品に対するユーザ２の相互作用（例えば把持の行為）を検出し、買い物かごから取り出した商品の数、セルフレジのスキャン位置を通過した商品の数、または、レジ袋に入れられた商品の数を計数する。そして、情報処理装置１００は、計数した商品の数と、セルフレジ５０がスキャンした商品の数とを比較し、商品の購入に関する不正検出を実行する。
この結果、情報処理装置１００は、重量センサなどを導入することもないので、導入コストを抑制でき、セルフレジにおける不正を検出することができる。
［機能構成］
図２は、実施例１にかかる情報処理装置１００の機能構成を示す機能ブロック図である。図２に示すように、情報処理装置１００は、通信部１０１、記憶部１０２、制御部１１０を有する。
通信部１０１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１０１は、カメラ３０から映像データを受信し、制御部１１０による処理結果を管理者端末６０に送信する。
記憶部１０２は、各種データや制御部１１０が実行するプログラムなどを記憶する処理部であり、メモリやハードディスクなどにより実現される。記憶部１０２は、訓練データＤＢ１０３、機械学習モデル１０４、映像データＤＢ１０５、セルフレジデータＤＢ１０６を記憶する。
訓練データＤＢ１０３は、機械学習モデル１０４の訓練に使用されるデータを記憶するデータベースである。例えば、図３を用いて、機械学習モデル１０４にＨＯＩＤ（Human Object Interaction Detection）が採用されている例で説明する。図３は、訓練データを説明する図である。図３に示すように、各訓練データは、入力データとなる画像データと、当該画像データに対して設定された正解情報とを有する。
正解情報には、検出対象であるヒトとモノのクラスと、ヒトとモノの相互作用を示すクラスと、各クラスの領域を示すＢｂｏｘ（Bounding Box：物体の領域情報）とが設定される。例えば、正解情報として、商品等の物体であってレジ袋以外の物体を示すSomethingクラスの領域情報、商品を購入するユーザを示すヒトのクラスの領域情報、Somethingクラスとヒトのクラスとの相互作用を示す関係性（把持クラス）とが設定される。すなわち、正解情報として、人が把持している物体に関する情報が設定される。なお、ヒトのクラスは、第１クラスの一例であり、Somethingクラスは、第２クラスの一例であり、ヒトのクラスの領域情報は、第１領域情報の一例であり、Somethingのクラスの領域情報は、第２領域情報の一例であり、ヒトとモノの相互作用は、相互作用の一例である。
また、正解情報として、レジ袋を示すレジ袋のクラスの領域情報と、レジ袋を使用するユーザを示すヒトのクラスの領域情報と、レジ袋のクラスとヒトのクラスとの相互作用を示す関係性（把持クラス）とが設定される。すなわち、正解情報として、人が把持しているレジ袋に関する情報が設定される。
一般的に、通常の物体識別（物体認識）でSomethingクラスを作ると、すべての背景、服装品、小物などタスクと関係ないものをすべて検出することになる。かつ、それらはすべてSomethingなので、画像データ内に大量のＢｂｏｘが識別されるだけで何も分からない。ＨＯＩＤの場合は、ヒトが持っているモノという特殊な関係性（座っている、操作している、など他の関係の場合もある）であることが分かるので、意味のある情報としてタスク（例えばセルフレジの不正検出タスク）に利用することができる。物体をSomethingで検出した上で、レジ袋などをBag（レジ袋）という固有のクラスとして識別する。このレジ袋は、セルフレジの不正検出タスクでは価値のある情報だが、他のタスクでは重要な情報ではないので、商品はカゴ（買い物かご）から取り出され袋に収納されるというセルフレジの不正検出タスクの固有の知見に基づいて利用することに価値があり、有用な効果が得られる。
図２に戻り、機械学習モデル１０４は、訓練データに写っている商品と商品を収納する収納（レジ袋など）とを識別するように訓練された機械学習モデルの一例である。具体的には、機械学習モデル１０４は、入力された画像データから、ヒト、商品、ヒトと商品の関係性を識別して識別結果を出力する機械学習モデルである。例えば、機械学習モデル１０４は、ＨＯＩＤを採用することができ、各種ニューラルネットワークなどを用いた機械学習モデルを採用することもできる。ＨＯＩＤの場合は、「ヒトのクラスと領域情報、商品（モノ）のクラスと領域情報、ヒトと商品の相互作用」が出力される。
映像データＤＢ１０５は、セルフレジ５０に設置されるカメラ３０により撮像された映像データを記憶するデータベースである。例えば、映像データＤＢ１０５は、セルフレジ５０ごと、または、カメラ３０ごとに、映像データを記憶する。
セルフレジデータＤＢ１０６は、セルフレジ５０から取得した各種データを記憶するデータベースである。例えば、セルフレジデータＤＢ１０６は、セルフレジ５０ごとに、購入対象として登録された商品数、購入対象の全商品の金額の合計である請求金額などを記憶する。
制御部１１０は、情報処理装置１００全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部１１０は、機械学習部１１１、映像取得部１１２、不正検出部１１３、警告部１１４を有する。なお、機械学習部１１１、映像取得部１１２、不正検出部１１３、警告部１１４は、プロセッサが有する電子回路やプロセッサが実行するプロセスなどにより実現される。
機械学習部１１１は、訓練データＤＢ１０３に記憶される各訓練データを用いて、機械学習モデル１０４の機械学習を実行する処理部である。図４は、機械学習モデル１０４の機械学習を説明する図である。図４では、機械学習モデル１０４にＨＯＩＤを用いた例を図示している。図４に示すように、機械学習部１１１は、訓練データの入力データをＨＯＩＤに入力し、ＨＯＩＤの出力結果を取得する。この出力結果には、ＨＯＩＤが検出したヒトのクラスと、モノのクラスと、ヒトとモノの相互作用などが含まれる。そして、機械学習部１１１は、訓練データの正解情報と、ＨＯＩＤの出力結果との誤差情報を算出し、誤差が小さくなるように、誤差逆伝播によりＨＯＩＤの機械学習を実行する。
映像取得部１１２は、カメラ３０から映像データを取得する処理部である。例えば、映像取得部１１２は、セルフレジ５０に設置されるカメラ３０から映像データを随時取得し、映像データＤＢ１０５に格納する。
不正検出部１１３は、セルフレジ５０周辺を撮像した映像データに基づき、商品のスキャン忘れなどの不正を検出する処理部である。具体的には、不正検出部１１３は、ユーザ２自身が商品を登録して会計を行うセルフレジ５０の前の所定エリアが撮像された画像データを取得する。そして、不正検出部１１３は、機械学習モデル１０４に、画像データを入力して出力結果を取得し、出力結果に含まれる商品とレジ袋とを用いて、ユーザ２の商品に対する行動を識別する。
例えば、不正検出部１１３は、ＨＯＩＤの出力結果から、「ヒトのクラスと領域情報、商品（モノ）のクラスと領域情報、ヒトと商品の相互作用」を取得する。そして、不正検出部１１３は、ユーザ２（ヒト）が把持（相互作用）するような特定の行動が行われた商品の数を計数する。その後、不正検出部１１３は、計数した商品数と、セルフレジ５０にスキャン登録されたスキャン点数（登録商品数）とを比較し、これらの差異がある場合には、不正を検出して、警告部１１４に出力する。
図５は、ＨＯＩＤによる行動識別を説明する図である。図５に示すように、不正検出部１１３は、映像データに含まれる各画像データをＨＯＩＤに入力し、ＨＯＩＤの出力結果を取得する。上述したように、ＨＯＩＤの出力結果には、ヒトのＢｂｏｘ、モノのＢｂｏｘ、ヒトとモノの相互作用の確率値およびクラス名などが含まれる。そして、不正検出部１１３は、ＨＯＩＤの出力結果に基づき、次の（ａ）、（ｂ）、（ｃ）のいずれかの行動を識別した場合に、行動の対象となった商品の数を計数する。
例えば、図５の（ａ）に示すように、不正検出部１１３は、ＨＯＩＤの出力結果から、ヒトと商品とヒトが商品を把持していることを識別（特定）することで、買い物かごから取り出された商品の数を計数する。言い換えると、不正検出部１１３は、複数の画像データから、買い物かごの中の商品がユーザ２により把持された後、把持された商品が買い物かごの上まで移動された場合に、当該商品を商品取り出し数としてカウントする。なお、買い物かごの位置は、第二のエリアの一例であり、管理者等が指定してもよく、別の機械学習モデルなどを用いて自動で指定することもできる。
また、図５の（ｂ）に示すように、不正検出部１１３は、ＨＯＩＤの出力結果から、ヒトと商品とヒトが商品を把持していることを識別することで、セルフレジ５０におけるバーコードや二次元コードなどの各コードのスキャン位置を通過した商品の数を計数する。言い換えると、不正検出部１１３は、複数の画像データから、ユーザ２が商品を把持した後、把持された商品がスキャン位置を通過した場合に、当該商品をスキャン対象数としてカウントする。なお、スキャン位置は、第一のエリアの一例であり、管理者等が指定してもよく、別の機械学習モデルなどを用いて自動で指定することもできる。
また、図５の（ｃ）に示すように、不正検出部１１３は、ＨＯＩＤの出力結果から、ヒトと商品とヒトが商品を把持していることと、ヒトとレジ袋とヒトがレジ袋を把持していることを識別することで、ユーザ２がレジ袋に入れた商品の数を計数する。言い換えると、不正検出部１１３は、複数の画像データから、ユーザ２が商品を把持し、ユーザ２がレジ袋を把持し、把持された商品が把持されるレジ袋に入れられた場合に、当該商品をレジ袋投入数としてカウントする。なお、レジ袋の位置は、管理者等が指定してもよく、別の機械学習モデルなどを用いて自動で指定することもできる。また、不正検出部１１３は、レジ袋の位置が固定の場合には、把持されるレジ袋に限定されず、固定されたレジ袋に対する投入数をカウントすることもできる。
ここで、不正検出部１１３が、複数の画像データ（フレーム）を有する映像データを用いて、ユーザ２が購入する商品を計数する例を説明する。図６は、購入商品のカウントアップ例を説明する図である。図６では、ＨＯＩＤへの入力データである画像データ１から７と、画像データ１から７が順に入力されたときのＨＯＩＤの検出内容と、商品カウント数とを図示している。なお、図６において、画像データに上に書かれている説明は、画像データに写っている情報であって、ＨＯＩＤへの入力としては未知の情報であり、ＨＯＩＤによる検出対象の情報である。
図６に示すように、不正検出部１１３は、ヒトやモノも写っていない画像データ１を取得してＨＯＩＤに入力して出力結果を取得するが、ヒトとモノの検出結果はないと判定する。続いて、不正検出部１１３は、買い物かごを持ったヒトが写っている画像データ２を取得してＨＯＩＤに入力し、出力結果にしたがって、ユーザ２とユーザ２が把持する買い物かごを検出する。
続いて、不正検出部１１３は、買い物かごから商品を取り出す人が写っている画像データ３を取得してＨＯＩＤに入力し、出力結果にしたがって、把持する商品を買い物かごの上に移動させたユーザ２の行動を検出する。ここで、不正検出部１１３は、検出結果が上記図５の（ａ）に該当することから、商品取り出し数をカウントアップする。
続いて、不正検出部１１３は、商品をスキャンする人が写っている画像データ４を取得してＨＯＩＤに入力し、出力結果にしたがって、把持する商品をスキャン位置に移動させたユーザ２の行動を検出する。ここで、不正検出部１１３は、検出結果が上記図５の（ｂ）に該当することから、スキャン対象数をカウントアップする。
続いて、不正検出部１１３は、商品をレジ袋に入れる人が写っている画像データ５を取得してＨＯＩＤに入力し、出力結果にしたがって、把持するレジ袋に把持する商品を入れるユーザ２の行動を検出する。ここで、不正検出部１１３は、検出結果が上記図５の（ｃ）に該当することから、レジ袋投入数をカウントアップする。
続いて、不正検出部１１３は、買い物かごから商品を取り出す人が写っている画像データ６を取得してＨＯＩＤに入力し、出力結果にしたがって、把持する商品が買い物かごの上に移動させたユーザ２の行動を検出する。ここで、不正検出部１１３は、検出結果が上記図５の（ａ）に該当することから、商品取り出し数をカウントアップする。
続いて、不正検出部１１３は、商品をスキャンする人が写っている画像データ７を取得してＨＯＩＤに入力し、出力結果にしたがって、把持する商品をスキャン位置に移動させたユーザ２の行動を検出する。ここで、不正検出部１１３は、検出結果が上記図５の（ｂ）に該当することから、スキャン対象数をカウントアップする。
上述したように、不正検出部１１３は、ユーザ２が買い物かごをセルフレジ５０の位置に持ってきてから代金を支払うまでの間に撮像された映像データの各フレームをＨＯＩＤに入力して出力結果（検出結果）を取得し、出力結果にしたがって、カウントアップ対象の行動識別（行動認識）を実行する。この結果、不正検出部１１３は、ユーザ２が購入対象とする商品数を計数することができる。なお、商品の計数を終了するタイミングは、例えば、セルフレジ５０から商品登録数が通知された場合、セルフレジ５０から商品登録の完了が通知された場合などを採用することができる。
その後、不正検出部１１３は、セルフレジ５０に登録された商品登録数をセルフレジ５０から取得し、取得した商品登録数と、計数した商品数とを比較して、ユーザ２の不正を検出する。
図７は、不正検出を説明する図である。図７に示すように、不正検出部１１３は、映像データから、商品取り出し数（Ｔ）とスキャン対象数（Ｓ）とレジ袋投入数（Ｑ）とを計数し、最も多い数を商品点数（Ｎ）と決定する。そして、不正検出部１１３は、セルフレジ５０に登録されたスキャン点数（登録商品数：Ｐ）と、計数された商品点数（Ｎ）とを比較し、商品点数（Ｎ）がスキャン点数（Ｐ）より多い場合に、不正を検出する。
図２に戻り、警告部１１４は、不正検出部１１３により不正が検出された場合に、所定の警告を出力する処理部である。例えば、警告部１１４は、該当のセルフレジ５０に警告を表示たり、該当のセルフレジ５０の近辺にいる店員のスマホ等にユーザの不正が検出されたことを通知したり、管理者端末６０に該当のセルフレジ５０の情報および不正検出を通知したりする。図７の例では、警告部１１４は、商品点数（Ｎ）がスキャン点数（Ｐ）より多いことが検出されると、警告を出力する。
［処理の流れ］
図８は、実施例１にかかるセルフレジ処理の流れを示すフローチャートである。図８に示すように、商品が把持されるごとに、情報処理装置１００が商品点数のカウントを実行し（Ｓ１０１）、セルフレジ５０がスキャン点数のカウントを実行し（Ｓ１０２）、情報処理装置１００は、商品点数がスキャン点数よりも多い場合（Ｓ１０３：Ｙｅｓ）、訂正操作を要求し（Ｓ１０４）、Ｓ１０１以降を繰り返す。なお、訂正操作とは、例えばユーザによる商品の再スキャンなどである。
一方、商品点数がスキャン点数よりも多くなく（Ｓ１０３：Ｎｏ）、セルフレジ５０がユーザ２の操作により精算処理が選択されずにスキャン処理を実行する場合（Ｓ１０５：Ｎｏ）、Ｓ１０１以降が実行される。
一方、セルフレジ５０は、ユーザ２の操作により精算処理が選択されると、精算処理を実行する（Ｓ１０６）。そして、情報処理装置１００は、精算処理までに計数された商品点数と、精算処理までにセルフレジ５０に登録されたスキャン点数とを比較する（Ｓ１０７）。
ここで、商品点数がスキャン点数よりも多い場合（Ｓ１０７：Ｙｅｓ）、情報処理装置１００は、不正を検出し、警告措置を実行するとともに（Ｓ１０８）、訂正操作を要求する（Ｓ１０９）。一方、商品点数がスキャン点数よりも多くない場合（Ｓ１０７：Ｎｏ）、情報処理装置１００は、終了する。
［商品点数のカウント処理］
次に、商品点数のカウント処理について説明する。ここでは、一例として、情報処理装置１００が、買い物かごから取り出した商品数と、レジ袋に入れた商品数とを計数する例で説明する。
図９は、商品点数カウント処理の流れを示すフローチャートである。図９に示すように、情報処理装置１００は、ＨＯＩＤを用いて、画像データからヒトとモノの検出を実行するする（Ｓ２０１）。
続いて、情報処理装置１００は、ヒトとモノが検出されると（Ｓ２０２：Ｙｅｓ）、買い物かごからモノを出す行動であるか否かを判定する（Ｓ２０３）。ここで、情報処理装置１００は、買い物かごからモノを出す行動である場合（Ｓ２０３：Ｙｅｓ）、PickUpFromBasketカウントをカウントアップする（Ｓ２０４）。
その後、情報処理装置１００は、レジ袋にモノを入れる行動であるか否かを判定し（Ｓ２０５）、レジ袋にモノを入れる行動である場合（Ｓ２０５：Ｙｅｓ）、PutInBagカウントをカウントアップする（Ｓ２０６）。
そして、情報処理装置１００は、スキャンを継続する場合（Ｓ２０７：Ｎｏ）、Ｓ２０１以降を繰り返す。一方、情報処理装置１００は、全てのスキャンが終了した場合（Ｓ２０７：Ｙｅｓ）、PickUpFromBasketカウントとPutInBagカウントとのうち、カウントの大きい方を商品点数とする（Ｓ２０８）。
なお、Ｓ２０２において、ヒトやモノが検出されない場合（Ｓ２０２：Ｎｏ）、情報処理装置１００は、Ｓ２０３からＳ２０６を実行することなく、Ｓ２０７を実行する。Ｓ２０３において、買い物かごからモノを出す行動ではない場合（Ｓ２０３：Ｎｏ）、情報処理装置１００は、Ｓ２０４を実行することなく、Ｓ２０５を実行する。また、Ｓ２０５において、レジ袋にモノを入れる行動ではない場合（Ｓ２０５：Ｎｏ）、情報処理装置１００は、Ｓ２０６を実行することなく、Ｓ２０７を実行する。
［効果］
上述したように、情報処理装置１００は、ＨＯＩＤを用いることで、ユーザ（ヒト）と相互作用を有する商品やレジ袋などのモノを検出することができる。このとき、情報処理装置１００は、ユーザが購入するセルフレジ５０に持ってきた商品の数をカウントするために、商品の持ち込みもしくは持ち出しが確定するレジ袋や買い物かごを検出し、ユーザが購入する商品の数を正確に計数することができる。これらの結果、情報処理装置１００は、セルフレジにおける不正を検出することができる。なお、不正とは、故意に商品をスキャンしなかった場合だけではなく、スキャンし忘れなども含む。
また、一般的な物体識別では、各商品ごとに大量の学習用データがなければ、物体を識別できず、ヒトと相互作用がない物体も識別するため、背景のモノも識別してしまう。一方で、情報処理装置１００は、一般的な物体識別とは異なり物体として識別可能であっても、ヒトとの相互作用がある物体だけを識別するＨＯＩＤを用いることで、（物体そのものの外見に影響されずに）任意の物体をSomethingとして識別し、その物体領域（BBox）を推定することができる。また、セルフレジにおける画像データには、レジ袋や買い物かごが頻出し、かつ商品ほど頻繁に見た目が変わらないことから、ＨＯＩＤを訓練するための訓練データを集めるコストを削減することもできる。
ところで、上記実施例では、ＨＯＩＤを用いた行動識別を説明したが、これに限定されるものではなく、ＨＯＩＤとは異なり、ニューラルネットワークなどを用いた機械学習モデルや深層学習により生成された機械学習モデルを用いることもできる。
図１０は、機械学習モデルによる行動識別を説明する図である。図１０に示す機械学習モデルは、画像データの入力に応じて、画像データに写っている人、商品、買い物かご、レジ袋などのモノの領域情報を検出するように訓練されたモデルである。
このような状態において、情報処理装置１００は、画像データＡ１（フレーム）を機械学習モデルに入力し、人の位置情報が検出された出力結果Ｓ１を取得する。続いて、情報処理装置１００は、次に取得された画像データＡ２を機械学習モデルに入力し、人の位置情報と商品の位置情報とが検出された出力結果Ｓ２を取得する。
そして、情報処理装置１００は、出力結果Ｓ１と出力結果Ｓ２の差分を算出し、行動識別を実行する。例えば、情報処理装置１００は、両方の出力結果に「人」が検出された状態で、差分として「商品」が検出された場合、購入対象の商品をカウントする。
このように、情報処理装置１００は、フレーム間差分により行動識別を実行し、商品の数を計数することができる。なお、その後の不正検出の手法は、実施例１と同様なので、詳細な説明は省略する。この結果、情報処理装置１００は、機械学習モデルを用いた簡易なシステムを提供することができる。
さらに、情報処理装置１００は、ＨＯＩＤと機械学習モデルとを組み合わせて行動識別を実行することができる。図１１は、ＨＯＩＤと機械学習モデルとを組み合わせた行動識別を説明する図である。図１１に示す機械学習モデルは、画像データの入力に応じて、画像データに写っている買い物かごまたはレジ袋の領域情報を検出するように訓練されたモデルである。すなわち、この機械学習モデルは、ＨＯＩＤの識別対象外である物体の領域情報（位置情報）を検出したり、ＨＯＩＤの検出が漏れた物体の領域情報を検出したりする。
図１１に示すように、情報処理装置１００は、実施例１と同様、ＨＯＩＤを用いて、画像データからヒトのＢｂｏｘ、モノのＢｂｏｘ、ヒトとモノの相互作用の確率値およびクラス名を検出する。一方、情報処理装置１００は、検出モデルの一例である機械学習モデルを用いて、同じ画像データから買い物かごまたはレジ袋の領域情報を検出する。
そして、情報処理装置１００は、これらを組み合わせることで、ＨＯＩＤの出力結果に、買い物かごまたはレジ袋を特定した上で、実施例１と同様の処理を実行することができる。この結果、情報処理装置１００は、買い物かごやレジ袋の位置を正確に検出することができるので、商品および相互作業の検出精度が向上し、不正検出の精度も向上させることができる。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
［数値等］
上記実施例で用いたセルフレジやカメラの台数、数値例、訓練データ例、訓練データ数、機械学習モデル、各クラス名、クラス数、データ形式等は、あくまで一例であり、任意に変更することができる。また、各フローチャートで説明した処理の流れも矛盾のない範囲内で適宜変更することができる。また、各モデルは、ニューラルネットワークなどの様々なアルゴリズムにより生成されたモデルを採用することができる。
また、情報処理装置１００は、スキャン位置や買い物かごの位置については、位置を検出する別の機械学習モデル、物体検知技術、位置検出技術など公知の技術を用いることもできる。例えば、情報処理装置１００は、フレーム（画像データ）間差分、フレームの時系列の変化に基づき、買い物かごの位置を検出することができるので、それを用いて検出してもよく、それを用いて別のモデルを生成してもよい。また、情報処理装置１００は、予め買い物かごの大きさを指定しておくことで、画像データからその大きさの物体が検出された場合に、買い物かごの位置として識別することもできる。なお、スキャン位置は、ある程度固定された位置なので、情報処理装置１００は、管理者等が指定した位置をスキャン位置として識別することもできる。
［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更されてもよい。
また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。例えば、映像取得部１１２と不正検出部１１３とが統合されてもよい。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
［ハードウェア］
図１２は、ハードウェア構成例を説明する図である。ここでは、一例として、情報処理装置１００について説明する。図１２に示すように、情報処理装置１００は、通信装置１００ａ、ＨＤＤ（Hard Disk Drive）１００ｂ、メモリ１００ｃ、プロセッサ１００ｄを有する。また、図１２に示した各部は、バス等で相互に接続される。
通信装置１００ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１００ｂは、図２に示した機能を動作させるプログラムやＤＢを記憶する。
プロセッサ１００ｄは、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１００ｂ等から読み出してメモリ１００ｃに展開することで、図２等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１００が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１００ｄは、機械学習部１１１、映像取得部１１２、不正検出部１１３、警告部１１４等と同様の機能を有するプログラムをＨＤＤ１００ｂ等から読み出す。そして、プロセッサ１００ｄは、機械学習部１１１、映像取得部１１２、不正検出部１１３、警告部１１４等と同様の処理を実行するプロセスを実行する。
このように、情報処理装置１００は、プログラムを読み出して実行することで情報処理方法を実行する情報処理装置として動作する。また、情報処理装置１００は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてもよい。
このプログラムは、インターネットなどのネットワークを介して配布されてもよい。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行されてもよい。
セルフレジ５０のハードウェア構成例を説明する図である。図１３に示すように、セルフレジ５０は、通信インタフェース４００ａ、ＨＤＤ４００ｂ、メモリ４００ｃ、プロセッサ４００ｄ、入力装置４００ｅ、出力装置４００ｆを有する。また、図１３に示した各部は、バスなどで相互に接続される。
通信インタフェース４００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ４００ｂは、セルフレジ５０の各機能を動作させるプログラムやデータを記憶する。
プロセッサ４００ｄは、セルフレジ５０の各機能の処理を実行するプログラムをＨＤＤ４００ｂなどから読み出してメモリ４００ｃに展開することで、セルフレジ５０の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、セルフレジ５０が有する各処理部と同様の機能を実行する。
このように、セルフレジ５０は、セルフレジ５０の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、セルフレジ５０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することでセルフレジ５０の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、セルフレジ５０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。
また、セルフレジ５０の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。
入力装置４００ｅは、プロセッサ４００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作などが含まれる。タッチ操作の場合、セルフレジ５０はさらに表示部を備え、入力装置４００ｅによって検知される入力操作は、当該表示部に対するタッチ操作であってよい。入力装置４００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。また、入力装置４００ｅは、バーコードの読み取りをする。入力装置４００ｅは、例えば、バーコードリーダである。バーコードリーダは、光源と光センサを持ち、バーコードをスキャンする。
出力装置４００ｆは、プロセッサ４００ｄによって実行されるプログラムから出力されるデータをセルフレジ５０に接続された外部装置、例えば、外部ディスプレイ装置などを介して出力する。なお、セルフレジ５０が表示部を備える場合、セルフレジ５０は出力装置４００ｆを備えなくてもよい。
３０ カメラ
５０ セルフレジ
６０ 管理者端末
１００ 情報処理装置
１０１ 通信部
１０２ 記憶部
１０３ 訓練データＤＢ
１０４ 機械学習モデル
１０５ 映像データＤＢ
１０６ セルフレジデータＤＢ
１１０ 制御部
１１１ 機械学習部
１１２ 映像取得部
１１３ 不正検出部
１１４ 警告部

Claims (8)

  1. コンピュータに、
    ユーザ自身が商品を登録して会計を行う会計機の前の所定エリアが撮像された画像データを取得し、
    商品と商品を収納する収納とを識別するように訓練された機械学習モデルに、前記画像データを入力して出力結果を取得し、
    前記出力結果に含まれる前記商品と前記収納とを用いて、前記ユーザの商品に対する行動を識別する、
    処理を実行させることを特徴とする情報処理プログラム。
  2. 前記ユーザの把持した商品のバーコードを前記会計機に読み込ませる第一のエリアを特定する、処理を前記コンピュータに実行させ、
    前記識別する処理は、
    前記出力結果に含まれる前記商品と前記収納とを用いて、前記第一のエリアにおいて前記ユーザが商品を把持する行動を識別する、
    ことを特徴とする請求項１に記載の情報処理プログラム。
  3. 前記識別する処理は、
    買い物かごが配置される前記会計機に隣接する第二のエリアを特定し、
    前記第二のエリアの各商品が前記収納に移動させられる収納回数を特定し、
    前記収納回数が、前記会計機から登録された商品の個数である登録個数より多い場合に、前記ユーザの不正を検出する、
    ことを特徴とする請求項２に記載の情報処理プログラム。
  4. 前記ユーザの不正が検出された場合に、前記会計機に警告を表示する、または、前記会計機の近辺にいる店員に前記ユーザの不正が検出されたことを通知する、
    処理を前記コンピュータに実行させることを特徴とする請求項３に記載の情報処理プログラム。
  5. 前記機械学習モデルは、
    商品を購入する前記ユーザを示す第１クラスおよび前記ユーザが出現する領域を示す第１領域情報と、前記商品を含む物体を示す第２クラスおよび前記物体が出現する領域を示す第２領域情報と、前記第１クラスと前記第２クラスとの相互作用と、を識別するように機械学習が実行されたＨＯＩＤ（Human Object Interaction Detection）用のモデルであり、
    前記取得する処理は、
    前記画像データを前記機械学習モデルに入力して前記出力結果を取得し、
    前記識別する処理は、
    前記出力結果に基づいて、前記ユーザが前記商品を把持する行動を識別する、
    ことを特徴とする請求項１に記載の情報処理プログラム。
  6. 前記機械学習モデルは、
    前記ＨＯＩＤ用の機械学習モデルと、画像データに含まれる各物体であって前記ＨＯＩＤ用の機械学習モデルの識別対象ではない物体を含む前記各物体の領域情報を検出するように機械学習が実行された検出モデルを含み、
    前記取得する処理は、
    前記画像データを前記ＨＯＩＤ用の機械学習モデルに入力して各クラスおよび各相互作用の識別結果を取得するとともに、前記画像データを前記検出モデルに入力して各物体の領域情報を含む検出結果を取得し、
    前記識別する処理は、
    前記検出結果に含まれる前記各物体の各領域情報に基づき、購入前の商品を入れる買い物かごの位置および購入後の商品を入れるレジ袋の位置を特定し、
    前記買い物かごの位置に前記相互作用を有する前記第１クラスおよび前記第２クラスが検出された場合、または、前記レジ袋の位置に前記相互作用を有する前記第１クラスと前記第２クラスとが検出された場合に、前記第２クラスに属する商品を購入対象の商品数として計数する、
    ことを特徴とする請求項５に記載の情報処理プログラム。
  7. コンピュータが、
    ユーザ自身が商品を登録して会計を行う会計機の前の所定エリアが撮像された画像データを取得し、
    商品と商品を収納する収納とを識別するように訓練された機械学習モデルに、前記画像データを入力して出力結果を取得し、
    前記出力結果に含まれる前記商品と前記収納とを用いて、前記ユーザの商品に対する行動を識別する、
    処理を実行することを特徴とする情報処理方法。
  8. ユーザ自身が商品を登録して会計を行う会計機の前の所定エリアが撮像された画像データを取得し、
    商品と商品を収納する収納とを識別するように訓練された機械学習モデルに、前記画像データを入力して出力結果を取得し、
    前記出力結果に含まれる前記商品と前記収納とを用いて、前記ユーザの商品に対する行動を識別する、
    制御部を有することを特徴とする情報処理装置。
JP2021161970A 2021-09-30 2021-09-30 情報処理プログラム、情報処理方法および情報処理装置 Pending JP2023051360A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021161970A JP2023051360A (ja) 2021-09-30 2021-09-30 情報処理プログラム、情報処理方法および情報処理装置
US17/856,178 US20230093938A1 (en) 2021-09-30 2022-07-01 Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
EP22183323.9A EP4160559A1 (en) 2021-09-30 2022-07-06 Information processing program, information processing method, and information processing apparatus
KR1020220084176A KR20230046947A (ko) 2021-09-30 2022-07-08 컴퓨터 판독 가능한 기억 매체, 정보 처리 방법 및 정보 처리 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021161970A JP2023051360A (ja) 2021-09-30 2021-09-30 情報処理プログラム、情報処理方法および情報処理装置

Publications (1)

Publication Number Publication Date
JP2023051360A true JP2023051360A (ja) 2023-04-11

Family

ID=83228819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021161970A Pending JP2023051360A (ja) 2021-09-30 2021-09-30 情報処理プログラム、情報処理方法および情報処理装置

Country Status (4)

Country Link
US (1) US20230093938A1 (ja)
EP (1) EP4160559A1 (ja)
JP (1) JP2023051360A (ja)
KR (1) KR20230046947A (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7631808B2 (en) * 2004-06-21 2009-12-15 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis
US10535146B1 (en) 2018-07-16 2020-01-14 Accel Robotics Corporation Projected image item tracking system
WO2020156108A1 (en) * 2019-01-28 2020-08-06 Shenzhen Malong Technologies Co., Ltd. System and methods for monitoring retail transactions
WO2021072699A1 (en) * 2019-10-17 2021-04-22 Shenzhen Malong Technologies Co., Ltd. Irregular scan detection for retail systems
US11462083B2 (en) * 2019-06-25 2022-10-04 Ncr Corporation Display with integrated cameras
US11244548B2 (en) * 2020-03-03 2022-02-08 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for anti-shoplifting in self-checkout

Also Published As

Publication number Publication date
EP4160559A1 (en) 2023-04-05
KR20230046947A (ko) 2023-04-06
US20230093938A1 (en) 2023-03-30

Similar Documents

Publication Publication Date Title
EP4174808A1 (en) Action determination program, action determination method, and action determination device
US20240193995A1 (en) Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
JP7318753B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
WO2019225260A1 (ja) 情報処理装置、制御方法、及びプログラム
JP2023051360A (ja) 情報処理プログラム、情報処理方法および情報処理装置
EP4383167A1 (en) Information processing program, information processing method, and information processing apparatus
US20240193573A1 (en) Storage medium and information processing device
EP4383171A1 (en) Information processing program, information processing method, and information processing apparatus
JP7318684B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP7318683B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
US20240193389A1 (en) Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
WO2021171553A1 (ja) 処理装置、処理方法及びプログラム
US20230097352A1 (en) Non-transitory computer-readable recording medium, notification method, and information processing device
JP2024091181A (ja) 情報処理プログラム、情報処理方法および情報処理装置
US20240212354A1 (en) Computer-readable recording medium storing alert output program, alert output method, and information processing device
US20230005267A1 (en) Computer-readable recording medium, fraud detection method, and fraud detection apparatus
JP2024085336A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
WO2023187993A1 (ja) 商品数特定装置、商品数特定方法、及び記録媒体
WO2022209055A1 (ja) 検知システム、検知方法、及び、記憶媒体
JP2023050597A (ja) 通知プログラム、通知方法および情報処理装置
KR20230046948A (ko) 정보 처리 프로그램, 정보 처리 방법 및 정보 처리 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240611