JP2022093997A - チェックアウト装置および商品数のチェックプログラム - Google Patents

チェックアウト装置および商品数のチェックプログラム Download PDF

Info

Publication number
JP2022093997A
JP2022093997A JP2020206765A JP2020206765A JP2022093997A JP 2022093997 A JP2022093997 A JP 2022093997A JP 2020206765 A JP2020206765 A JP 2020206765A JP 2020206765 A JP2020206765 A JP 2020206765A JP 2022093997 A JP2022093997 A JP 2022093997A
Authority
JP
Japan
Prior art keywords
basket
processor
products
product
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020206765A
Other languages
English (en)
Other versions
JP7551484B2 (ja
Inventor
景太 山崎
Keita Yamazaki
唯志 竹野
Tadashi Takeno
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2020206765A priority Critical patent/JP7551484B2/ja
Priority to US17/461,514 priority patent/US20220189265A1/en
Publication of JP2022093997A publication Critical patent/JP2022093997A/ja
Application granted granted Critical
Publication of JP7551484B2 publication Critical patent/JP7551484B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10366—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications
    • G06K7/10376—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications the interrogation device being adapted for being moveable
    • G06K7/10386—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications the interrogation device being adapted for being moveable the interrogation device being of the portable or hand-handheld type, e.g. incorporated in ubiquitous hand-held devices such as PDA or mobile phone, or in the form of a portable dedicated RFID reader
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】未登録の商品があることを検知できるチェックアウト装置および商品数のチェックプログラムを提供する。【解決手段】チェックアウト装置１は、各種インターフェース４４～５２とプロセッサ４０とを有する。カメラインターフェース５１は、購入対象とする商品を入れたカゴが置かれるエリアを撮影範囲に含むカメラ４が撮影した画像を取得する。プロセッサ４０は、カメラインターフェース５１により取得するカメラ４が撮影する画像に基づいてカゴから取り出された商品の数を検知し、カゴから取り出された商品の数に対して当該チェックアウト装置１に登録された商品の数が妥当であるか否かを検知する。【選択図】図２

Description

本発明の実施形態は、チェックアウト装置および商品数のチェックプログラムに関する。
チェックアウト装置は、顧客が購入対象とする全ての商品の情報を登録し、登録した商品の代金を決済する会計処理を行う装置である。チェックアウト装置は、会計処理に先立って、購入対象とする全ての商品の情報を登録する登録処理を行う必要がある。従来のチェックアウト装置は、オペレータの操作によって読取領域に提示された商品の情報を読み取り、読み取った商品の情報を登録する登録処理を行う。このようなチェックアウト装置では、オペレータの操作が確実に行われなければ、一部の商品の情報が未登録となってしまうことがある。
チェックアウト装置は、未登録の商品がある状態で会計処理が実行されると、購入対象とする全商品の代金を収受することができない。従来、監視映像からオペレータの不審な挙動を検出することにより、チェックアウト装置における未登録の商品があることを検出する技術がある。しかしながら、監視映像から検出するオペレータの挙動によって未登録の商品を確実に検出することは容易でない。また、チェックアウト装置における商品の未登録は、オペレータによる不正な操作だけに限らず、オペレータが意図せずに起きることもあり得る。このため、未登録の商品があることを確実に検知できるチェックアウト装置が要望されている。
特開２０１１－１４１６４４号公報
本発明が解決しようとする課題は、未登録の商品があることを検知できるチェックアウト装置および商品数のチェックプログラムを提供することである。
実施形態によれば、チェックアウト装置は、インターフェースとプロセッサとを有する。インターフェースは、購入対象とする商品を入れたカゴが置かれるエリアを撮影範囲に含むカメラが撮影した画像を取得する。プロセッサは、インターフェースにより取得するカメラが撮影する画像に基づいてカゴから取り出された商品の数を検知し、カゴから取り出された商品の数に対して当該チェックアウト装置に登録された商品の数が妥当であるか否かを検知する。
図１は、第１実施形態に係るチェックアウト装置を含むチェックアウトシステムの構成例を示す図である。 図２は、第１実施形態に係るチェックアウト装置の構成例を示すブロック図である。 図３は、第１実施形態に係るチェックアウト装置における登録処理および会計処理の流れを説明するためのフローチャートである。 図４は、第１実施形態に係るチェックアウト装置における商品数のチェック処理の例を説明するためのフローチャートである。 図５は、第１実施形態に係るチェックアウト装置のディスプレイが表示するアラートの表示例を示す図である。 図６は、第１実施形態に係るチェックアウト装置における手の検知処理の例を説明するためのフローチャートである。 図７は、第２実施形態に係るチェックアウト装置における商品数のチェック処理の例を説明するためのフローチャートである。
以下、第１および第２実施形態について、図面を参照しながら説明する。
（第１実施形態）
まず、第１実施形態について説明する。
図１は、本実施形態に係るチェックアウト装置１を含むチェックアウトシステムの構成例を示すブロック図である。
図１に示す構成例において、チェックアウト装置１は、顧客が購入対象とする商品の情報を登録（入力）する登録処理および購入対象とする商品の代金を決済する会計処理を実行する。以下の説明では、チェックアウト装置１は、チェックアウト処理として、登録処理と会計処理とを実行するものとする。ただし、チェックアウト装置１は、登録処理を行い、会計処理を行う装置へ登録処理の結果を送信するものであっても良い。
チェックアウト装置１は、オペレータの操作に応じて、顧客が購入対象とする商品に対する登録処理および会計処理を実行する。チェックアウト装置１において、登録処理および会計処理のための操作を行うオペレータは、顧客自身であっても良いし、店員などの係員であっても良い。すなわち、チェックアウト装置１は、顧客自身の操作によって、購入対象の商品に対する登録処理および会計処理を行うセルフチェックアウト装置（セルフレジ）であっても良い。また、チェックアウト装置１は、店員などの係員の操作によって、購入対象の商品に対する登録処理および会計処理を行う装置であっても良い。
作業台２は、オペレータがチェックアウト装置１における登録処理および会計処理に伴う作業（操作）を行うために商品などを配置するものである。作業台２は、登録処理前の商品が配置される第１商品領域Ｒａと登録処理済みの商品が配置される第２商品領域Ｒｂとを有する。図１に示す構成例において、第１商品領域Ｒａと第２商品領域Ｒｂとは、チェックアウト装置１の両側に設けられる。第１商品領域Ｒａは、登録処理前の商品を載置する商品置き場である。また、第２の商品載置台１２は登録処理後の商品を載置するものとする。
第１実施形態において、第１商品領域Ｒａには、固定具３が設置される。固定具３は、購入対象とする商品（登録前の商品）を入れた買い物かご（以下、単に、カゴとも称する）を所定位置に保持する。固定具３は、カゴを所定位置に固定（保持）するものであれば良く、特定の構成に限定されるものではない。
カメラ４は、チェックアウト装置１を操作するオペレータの動作などを監視するための画像を撮影する。カメラ４は、チェックアウト装置１に接続される。カメラ４は、撮影した画像をチェックアウト装置１へ供給する。第１実施形態において、カメラ４は、第１商品領域Ｒａに設置する固定具３が所定位置に保持するカゴを含む撮影範囲を撮影するように設置される。また、カメラ４は、固定具３に保持されたカゴの開口部（間口）を上方から撮影する。
次に、第１実施形態に係るチェックアウト装置１の構成について説明する。
図２は、第１実施形態に係るチェックアウト装置１における構成例を示すブロック図である。
図２に示すチェックアウト装置１は、制御系の各構成を備える制御ユニットを格納する本体１０を有する。本体１０に格納される制御ユニットは、例えば、コンピュータで実現される。本体１０には、ディスプレイ２１、カードリーダライタ（ＲＷ）２２、プリンタ２３、スピーカ２４、スキャナ２５、ハンドスキャナ２６、および、現金処理機２７が設けられる。さらに、本体１０には、カメラ４が接続される。
ディスプレイ２１は、表示デバイス２１１とタッチセンサ２１２とを含むタッチパネルである。表示デバイス２１１は、操作案内、顧客が選択可能なアイコン（タッチキー）、或は、アラートとして警告のメッセージなどを表示する。表示デバイス２１１は、例えば、ＬＣＤ（Liquid Crystal Display）である。タッチセンサ２１２は、表示デバイス２１１の表示画面（操作画面）における人のタッチ位置を検出する。タッチセンサ２１２は、検知したタッチ位置を示す情報を処理部としての後述するプロセッサへと送る。
例えば、表示デバイス２１１は、顧客のタッチ操作により支払い方法（現金、カード）などの選択指示や各種情報を入力するためのＧＵＩ（Graphical User Interface）を表示する。また、表示デバイス２１１は、案内画面、情報入力画面、商品登録画面、精算画面などを表示する。案内画面は、顧客に操作方法を知らせるための案内（メッセージ）を表示する画面である。情報入力画面は、例えば、バーコードが付されていない商品の情報を入力するための操作画面である。商品登録画面は、登録した商品に関する情報を表示する画面である。商品登録画面では、例えば、スキャナ２５又はハンドスキャナ２６が読み取ったバーコードによって識別した商品、および、キー操作で指定された商品などの情報を表示する。精算画面は、商品の代金を顧客が支払う会計処理において、購入する商品（登録した商品）の合計金額、預かり金額、および、釣り銭額などを表示する画面である。
カードリーダライタ（ＲＷ）２２は、カードを処理する。カードリーダライタ２２は、カード挿入口を有する。カードリーダライタ２２は、カードに記録されたデータを読み取る機能とカードへデータを書き込む機能とを有する。カードリーダライタ４９は、磁気情報を記録する磁気カードであっても良いし、接触式あるいは非接触式のＩＣカードであっても良い。また、カードリーダライタ２２は、複数種のカードを処理する機構を有するものであっても良い。
例えば、カードリーダライタ２２は、カード挿入口に挿入される精算用のクレジットカード又は会員カードなどのカードを処理する。精算（決済）用のカードとしては、クレジットカード、デビットカード、電子マネーカード、プリペイドカードなどがある。また、会員カードとしては、会員情報を記録したメンバーズカード、或は、サービスとして利用可能なポイントを記録したポイントカードなどがある。
プリンタ２３は、レシートを印刷する。プリンタ２３は、レシート発行口を有する。プリンタ２３は、レシート用紙に対して各種の文字列や画像などを印刷することによりレシートを発行する。プリンタ２３は、例えばサーマルプリンタやドットインパクトプリンタなどを実現される。例えば、プリンタ２３は、会計処理が完了した場合に、処理内容（会計内容）を印刷したレシートを作成し、作成したレシートをレシート発行口から排出する。
スピーカ２４は、アラートしての警告音、或は、メッセージとしての音声などの音を出力する。
スキャナ２５およびハンドスキャナ２６は、商品を識別する情報を読み取るものである。本実施形態において、スキャナ２５およびハンドスキャナ２６は、商品を識別する情報として商品に付されたバーコードを読み取るものとする。スキャナ２５は、商品に付されたバーコードが相対するように、顧客が翳す商品のバーコードの画像を光学的に読み取る。ハンドスキャナ２６は、顧客によって手持ちで操作されるもので、商品に付されたバーコードに近接されることによりバーコードの画像を光学的に読み取る。なお、スキャナ２５およびハンドスキャナ２６は、商品を認識する情報を読み取るものであれば良く、例えば、バーコード以外の情報を読み取るものであっても良い。
現金処理機２７は、現金を処理するものである。現金処理機２７は、紙幣投入口、紙幣排出口、硬貨投入口および硬貨排出口などを有する。現金処理機２７は、紙幣投入口２７ａに投入された紙幣を処理する。現金処理機２７は、釣銭としての紙幣を紙幣排出口２７ｂから排出する。現金処理機２７は、硬貨投入口２７ｃに投入された硬貨を受け入れて処理する。現金処理機２７は、釣銭としての硬貨を硬貨排出口２７ｄから排出する。
カメラ４は、チェックアウト装置１の本体１０とは別に設けられ、本体１０内に備える制御ユニットに接続される。ただし、カメラ４は、チェックアウト装置１を構成する１つのデバイスとして、本体１０と一体的に設けても良い。カメラ４は、登録処理前（未登録）の商品が置かれる第１商品領域Ｒａを含む撮影範囲の画像を撮影する。
第１実施形態において、カメラ４は、第１商品領域Ｒａに設置した固定具３で固定される登録処理前の商品を入れたカゴの開口部を上方から撮影するように設置される。すなわち、カメラ４は、固定具３で規定される所定位置に置かれたカゴ内の全体を撮影するように撮影範囲が設定される。カメラ４が撮影した画像（映像）は、チェックアウト装置１の本体１０内に備えた制御ユニットへ供給される。
図２に示す構成例において、チェックアウト装置１の本体１０に備える制御ユニットは、プロセッサ４０、ＲＯＭ（read-only memory）４１、ＲＡＭ（random-access memory）４２、データメモリ４３、および、各種のインターフェース（ＩＦ）４４～５２を有する。ディスプレイ２１、カードリーダライタ２２、プリンタ２３、スピーカ２４、スキャナ２５、ハンドスキャナ２６および現金処理機２７は、各種のインターフェース（ＩＦ）４４～５０を介して制御ユニット内のプロセッサ４０に接続される。
プロセッサ４０は、プログラムを実行することにより種々の処理を実行する。プロセッサ４０は、例えば、ＣＰＵ（central processing unit）である。プロセッサ４０は、ＲＯＭ４１又はデータメモリ４３が記憶するプログラムを実行することにより各種の処理機能を実現する。例えば、プロセッサ４０は、商品の登録（入力）処理用のプログラムを実行することにより、登録モードとして商品の商品情報を登録（入力）する登録処理を実行する。プロセッサ４０は、会計処理用のプログラムを実行することにより、会計モードとして商品の代金を決済する会計処理を実行する。
また、プロセッサ４０は、商品数のチェック処理用のプログラムを実行することにより後述する商品数のチェック処理を実行する。また、プロセッサ４０は、手の検知処理用のプログラムを実行することにより後述する手の検知処理を実行する。なお、商品数のチェック処理用のプログラムおよび手の検知処理用のプログラムなどのプログラムは、チェックアウト装置１に接続したコンピュータが実行するようにしても良い。
ＲＯＭ４１は、不揮発性のメモリであり、プログラムおよびデータを記憶する。例えば、ＲＯＭ４１は、オペレーティングシステム、ミドルウェア、アプリケーションなどのプログラムを記憶する。また、ＲＯＭ４１は、プロセッサ４０が各種の処理を実行する場合に参照するデータを記憶しても良い。
ＲＡＭ４２は、作業用のデータを記憶する。ＲＡＭ４２は、いわゆるワークエリアとして利用されるメモリである。ＲＡＭ４２は、プロセッサ４０が各種の処理を実行する場合に参照するデータ、或は、一時的に使用するデータなどを適宜記憶する。
データメモリ４３は、データを記憶するメモリである。データメモリ４３は、書き換え可能な不揮発性のメモリである。データメモリ４３は、例えばＥＥＰＲＯＭ（登録商標）（electric erasable programmable read-only memory）、ＨＤＤ（hard disk drive）、あるいはＳＳＤ（solid state drive）などで構成する。データメモリ４３は、プロセッサ４０が各種の処理を実行する場合に使用するデータ、或は、プロセッサ４０による処理で生成されたデータを保存する。また、データメモリ４３は、プロセッサ４０が実行する各種のプログラムを記憶しても良い。例えば、データメモリ４３は、登録処理用のプログラム、会計処理用のプログラムを記憶しても良い。
また、ＲＡＭ４２あるいはデータメモリ４３は、登録処理において登録した商品（登録商品）に関する情報を記憶する。ＲＡＭ４２あるいはデータメモリ４３は、例えば、登録商品に関する情報をリスト形式のデータ（登録商品リスト）として記録しても良い。また、ＲＡＭ４２あるいはデータメモリ４３は、カメラ２８が撮影する撮影画像を記憶する。データメモリ４３は、例えば、カメラ２８が撮影する撮影画像に撮影時刻を示すタイムスタンプのデータを付加した映像データを記憶しても良い。
プロセッサ４０は、スキャナＩＦ４４を介してスキャナ２５に接続する。プロセッサ４０は、スキャナＩＦ４４を介してスキャナ２５が読み取る画像（スキャン画像）を取得する。また、プロセッサ４０は、スキャナＩＦ４５を介してハンドスキャナ２６に接続する。プロセッサ４０は、スキャナＩＦ４５を介してハンドスキャナ２６が読み取る画像（スキャン画像）を取得する。プロセッサ４０は、スキャナ２５又はハンドスキャナ２６のスキャン画像に含まれるバーコードをデコードすることによりバーコードが示す商品を識別する。
プロセッサ４０は、表示ＩＦ４６を介してディスプレイ２１に接続する。プロセッサ４０は、表示ＩＦ４６を介してディスプレイ２１の表示デバイス２１１が表示する表示内容を制御する。また、プロセッサ４０は、表示ＩＦ４６を介してディスプレイ２１のタッチセンサ２１２が検知するタッチ位置を示す情報を取得する。例えば、プロセッサ４０は、登録処理前（未登録）の商品が存在することを報知するためのアラート或はインジケータとしてのメッセージをディスプレイ２１に表示する。また、プロセッサ４０は、タッチ位置を示す情報によりディスプレイ２１に表示した各アイコン（タッチキー）への入力を検知する。
プロセッサ４０は、カードＩＦ４７を介してカードリーダライタ２２に接続する。プロセッサ４０は、カードＩＦ４７を介してカードリーダライタ２２によるカードに対する処理を制御する。例えば、プロセッサ４０は、カードリーダライタ２２が処理するクレジットカードによる精算処理を実行する。
プロセッサ４０は、プリンタＩＦ４８を介してプリンタ２３に接続する。プロセッサ４０は、プリンタＩＦ４８を介してプリンタ２３を制御する。例えば、プロセッサ４０は、プリンタ２３により会計処理の結果を示すレシートを発行する。
プロセッサ４０は、音声ＩＦ４９を介してスピーカ２４に接続する。プロセッサ４０は、音声ＩＦ４９を介してスピーカ２４から出力する音を制御する。例えば、プロセッサ４０は、登録処理前の商品が存在することを報知するためのアラートとしての音（ブザー）をスピーカ２４により出力する。
プロセッサ４０は、入出金ＩＦ５０を介して現金処理機２７に接続する。プロセッサ４０は、入出金ＩＦ５０を介して現金処理機２７を制御する。例えば、プロセッサ４０は、顧客が入金した現金を現金処理機２７が計数し、現金処理機２７が計数した入金金額を示す情報を取得する。また、プロセッサ４０は、入金した金額と登録済みの商品の合計金額（商品代金）とから算出した釣銭を現金処理機２７によって放出する制御を行う。
プロセッサ４０は、カメラＩＦ５１を介してカメラ４に接続する。プロセッサ４０は、カメラＩＦ５１を介してカメラ４が撮影する撮影画像を取得する。例えば、プロセッサ４０は、登録処理中において、カメラ４が撮影する第１商品領域Ｒａの固定具３にセットされたカゴの開口部の画像を含む撮影画像を取得する。また、プロセッサ４０は、登録処理中において継続的に（例えば所定周期で）カメラ４が撮影する第１商品領域Ｒａの固定具３にセットされたカゴの開口部の画像を含む撮影画像を取得する。
プロセッサ４０は、通信ＩＦ５２を介して外部装置に接続する。例えば、プロセッサ４０は、通信ＩＦ５３を介してチェックアウト装置の動作状況を監視するアテンダント端末に接続する。プロセッサ４０は、通信ＩＦ５２を介してアテンダント端末に動作状況を示す情報を送信する。例えば、プロセッサ４０は、後述する処理において登録処理のエラーを検知した場合にアテンダント端末へアラートを送信するようにしても良い。
また、プロセッサ４０は、通信ＩＦ５２を介して管理サーバなどのコンピュータに接続するようにしても良い。例えば、プロセッサ４０は、通信ＩＦ５２によりチェックアウト装置１における登録処理で登録された商品に関する情報を管理サーバへ送信する。また、プロセッサ４０は、通信ＩＦ５２を介して通信するストアコンピュータから商品に関する情報などを適宜取得するようにしても良い。
次に、上記のように構成されるチェックアウト装置１における第１実施形態としての動作について説明する。
図３は、第１実施形態に係るチェックアウト装置１による登録処理および会計処理を含むチェックアウト処理の動作例を説明するためのフローチャートである。
まず、顧客が購入する商品を持ってチェックアウト装置１の前に訪れるものとする。顧客又は係員は、購入対象とする商品（登録前の商品）を所定の位置に配置する。第１実施形態において、顧客又は係員は、購入対象とする商品を入れたカゴを第１商品領域Ｒａに設置した固定具３にセットする。これにより、登録前の商品を入れたカゴ（買い物かご）は、第１商品領域Ｒａにおける固定具３で規定される所定位置にセットされる。
チェックアウト装置１のプロセッサ４０は、待機状態において商品の情報を登録する登録処理の開始の指示を受け付ける（ＡＣＴ１１）。プロセッサ４０は、オペレータ（顧客自身又は係員）による指示入力に応じて登録処理の開始を検知する。オペレータは、登録前の商品を入れたカゴを固定具３にセットした後、商品の情報を登録する登録処理の開始の指示を入力する。例えば、プロセッサ４０は、ディスプレイ２１に表示する登録処理の開始を指示するタッチキーをオペレータがタッチしたことを検知することにより登録処理の開始を検知する。
また、プロセッサ４０は、カゴが第１商品領域Ｒａに設置された固定具３にセットされたことを検知することにより登録処理の開始を検知するようにしても良い。また、プロセッサ４０は、カメラ４が撮影する画像からオペレータの動きを認識し、認識したオペレータの動きに応じて登録処理の開始を検知するようにしても良い。
チェックアウト装置１のプロセッサ４０は、登録処理の開始を検知した場合（ＡＣＴ１１、ＹＥＳ）、購入対象となる商品の商品情報（例えば、商品コードなどの識別情報を含む情報）を登録（入力）する登録処理を実行する（ＡＣＴ１２）。登録処理（登録モード）において、オペレータは、カゴから取り出した商品をスキャナ２５の読取位置に翳す。プロセッサ４０は、オペレータの操作に応じてスキャナ２５が商品に付された商品情報を読み取る。例えば、スキャナ２５は、商品に付された商品情報を示すバーコードを読み取る。プロセッサ４０は、スキャナ２５が読み取った商品情報を取得する。プロセッサ４０は、スキャナ２５を用いて読み取った情報を取得すると、取得した情報に含まれる商品識別情報などの商品情報を登録する。
また、登録処理において、プロセッサ４０は、オペレータがディスプレイ２１で指定する商品の商品情報を登録しても良い。例えば、プロセッサ４０は、ディスプレイ２１に表示するタッチキーをオペレータが操作して指定する商品の商品情報を登録する。このような場合、オペレータは、タッチキーで商品を指定した後又はタッチキーで商品を指定する直前に当該商品をカゴから取り出す作業（操作）を行うものとする。
なお、チェックアウト装置１は、ハンドスキャナ２６を用いて登録（入力）される商品が、固定具３にセットされるカゴの外にあることを許容するようにしても良い。このような運用を想定する場合、例えば、プロセッサ４０は、ハンドスキャナ２６を用いて登録された商品を示す情報をＲＡＭ４２などのメモリに記憶するようにする。これにより、プロセッサ４０は、ハンドスキャナ２６を用いて登録された商品の数を計数できるようにしても良い。
プロセッサ４０は、登録処理を実行中において、登録処理の終了（又は会計処理への移行）の指示を受け付ける（ＡＣＴ１３）。例えば、オペレータ（顧客自身又は係員）は、登録処理を終了する場合、ディスプレイ２１に表示される登録処理の終了（会計処理への移行）を指示するタッチキーをタッチする。この場合、プロセッサ４０は、ディスプレイ２１に表示する登録処理の終了を指示するタッチキーをオペレータがタッチしたことを検知することにより登録処理の終了を検知する。
また、プロセッサ４０は、カメラ４が撮影する画像からカゴの中に商品がないことを検知することにより登録処理の終了を検知するようにしても良い。また、プロセッサ４０は、カメラ４が撮影する画像からオペレータの動きを認識し、認識したオペレータの動きに応じて登録処理の終了を検知するようにしても良い。
登録処理の終了が検知した場合（ＡＣＴ１３、ＹＥＳ）、プロセッサ４０は、登録処理において登録された商品の数が妥当であるかを判断する（ＡＣＴ１４）。プロセッサ４０は、上述した登録処理と並行して、登録された商品の数の妥当性を判定するための商品数のチェック処理を行う。商品数のチェック処理は、後述する図４に示すような処理として実行される。プロセッサ４０は、商品数のチェック処理の結果に基づいて商品数が妥当であるか否かを判断する。
登録された商品数が妥当でないと判定された場合（ＡＣＴ１４、ＮＯ）、プロセッサ４０は、会計処理へ移行せずにチェックアウト処理を中止する。この場合、プロセッサ４０は、アラートを出力する。例えば、プロセッサ４０は、ディスプレイ２１に未登録の商品が存在することを示すアラートを表示する。アラートを出力した場合、プロセッサ４０は、オペレータによる登録内容の確認入力、監視員による確認入力、あるいは、商品の追加登録（登録処理のやり直し）などによってチェックアウト処理を再開するようにしても良い。
登録された商品の数が妥当であると判断した場合（ＡＣＴ１４、ＹＥＳ）、プロセッサ４０は、会計処理に移行する。会計処理へ移行すると、プロセッサ４０は、登録された全商品の合計金額を決済する会計処理を実行する（ＡＣＴ１５）。例えば、プロセッサ４０は、登録された各商品の代金を特定し、各商品の代金の合計金額を算出する。プロセッサ４０は、算出した合計金額をディスプレイ２１に表示し、顧客からの合計金額を収受する処理を行う。商品の合計金額の収受が完了すると、プロセッサ４０は、登録した商品に対する会計処理を終了する。
次に、第１実施形態に係るチェックアウト装置１における商品数のチェック処理について説明する。
図４は、第１実施形態に係るチェックアウト装置１における商品数のチェック処理の動作例を説明するためのフローチャートである。
プロセッサ４０は、上述したような登録処理を含む図３に示す処理と並行して、図４に示すような商品数のチェック処理を実施する。プロセッサ４０は、第１商品領域Ｒａにおける固定具３にカゴがセットされ（ＡＣＴ２１）、商品数のチェック処理として登録処理の開始が検知されることを待つ（ＡＣＴ２２）。
プロセッサ４０は、登録処理の開始を検知すると（ＡＣＴ２２、ＹＥＳ）、カメラＩＦ５１を介してカメラ４が撮影する画像を取得する（ＡＣＴ２３）。第１実施形態において、カメラ４は、固定具３にセットされたカゴの開口部を含む撮影範囲を撮影する。第１商品領域Ｒａにおいて固定具３の位置（固定具３がカゴを保持する位置）は固定される。カゴが既定の形状を有するものであれば、カメラ４が撮影する画像におけるカゴの開口部の位置（画像領域）は、固定具３の位置とカゴの形状とに基づいて特定される。
カメラ４が一定の撮影条件でカゴの開口部を含む撮影範囲を撮影するように設定すれば、カゴの開口部の画像は、カメラ４が撮影する画像における所定領域に現れる。すなわち、プロセッサ４０は、カメラ４が撮影する画像における所定領域の画像をカゴの開口部の画像として抽出できる。
プロセッサ４０は、カメラ４が撮影した画像を取得すると、カメラ４が撮影した画像に基づいて手の検知処理を実行する。手の検知処理は、カゴに対するオペレータの手の出入りを検知する処理である。ここで、手とは、オペレータがカゴの中の商品を把持して取り出す動作（作業）を行う手のひらなどの部位である。手の検知処理において、プロセッサ４０は、カゴに対する手の出入りの状態変化に基づいてオペレータがカゴから商品を取り出したことを検知する。
また、手の検知処理において、プロセッサ４０は、オペレータがカゴから取り出した商品の数を計数する処理を行う。これにより、プロセッサ４０は、手の検知処理の結果として、カゴから取り出した商品の数を示す情報を取得する。なお、手の検知処理については、後で図６を参照して詳細に説明するものとする。
プロセッサ４０は、登録処理中において、上述したような登録処理の終了（又は会計処理への移行）の指示を検知する（ＡＣＴ２５）。プロセッサ４０は、商品の登録処理が終了するまで（ＡＣＴ２５、ＮＯ）、ＡＣＴ２３およびＡＣＴ２４の処理を繰り返し実行する。
登録処理の終了を検知した場合（ＡＣＴ２５、ＹＥＳ）、プロセッサ４０は、登録処理において登録された商品の数を計数する（ＡＣＴ２６）。例えば、プロセッサ４０は、登録された商品数（登録数）を計数する登録数カウンタをＲＡＭ４２などのメモリに設ける。プロセッサ４０は、当該オペレータの操作に応じて商品の情報が登録（入力）される毎に登録数カウンタをカウントアップする。この場合、プロセッサ４０は、登録処理の終了した場合の登録数カウンタの値によって登録された商品数を計数できる。登録された商品数を計数すると、プロセッサ４０は、登録された商品数が妥当であるか否かを判断する（ＡＣＴ２７）。
例えば、プロセッサ４０は、登録された商品数が手の検知処理の結果として取得するカゴから取り出された商品数と一致するか否かにより商品数が妥当であるか否かを判断する。これにより、プロセッサ４０は、カゴから取り出された商品が全て登録されたかを商品数によって確認できる。
ただし、ハンドスキャナ２６を用いて登録（入力）される商品は、カゴの外にある場合も想定される。このため、プロセッサ４０は、ハンドスキャナ２６を用いて登録された商品の数を考慮して商品数が妥当であるかを判定するようにしても良い。例えば、プロセッサ４０は、ハンドスキャナ２６を用いて登録された商品の数を計数する。これにより、プロセッサ４０は、ハンドスキャナ２６を用いて登録された商品数を考慮して商品数の妥当性を判定することができる。
例えば、プロセッサ４０は、全商品の登録数からハンドスキャナ２６を用いて登録した商品数を減算した数と取出数とが一致する場合に商品数が妥当であるか否かを判定するようにしても良い。この判定は、ハンドスキャナ２６を用いて登録される全ての商品がカゴの外にある場合に有効である。また、プロセッサ４０は、全商品の登録数からハンドスキャナ２６を用いて登録した商品数を減算した数が取出数以上である場合に登録数が妥当であると判定するようにしても良い。この判定は、ハンドスキャナ２６を用いて登録される場合がカゴの外にある場合とカゴの中から取り出される場合との両方が混在する場合に有効である。
登録された商品数が妥当であると判断した場合（ＡＣＴ２７、ＹＥＳ）、プロセッサ４０は、商品数のチェック処理を終了する。図３に示す動作例によれば、プロセッサ４０は、商品数が妥当であると判断した後、登録した商品の代金を決済するための会計処理へ移行する。
また、登録された商品数が妥当でないと判断した場合（ＡＣＴ２７、ＮＯ）、プロセッサ４０は、アラートを出力する（ＡＣＴ２８）。例えば、プロセッサ４０は、アラートの出力として、ディスプレイ２１に登録された商品数が妥当でない旨（又は、未登録の商品が存在する旨）を示すアラートを表示する。
また、プロセッサ４０は、通信ＩＦ５２を介して通信する外部装置としてのアテンダント端末に対して商品数が妥当でない旨のアラートを通知するようにしても良い。これにより、監視員がチェックアウト装置の状態を監視するためのアテンダント端末が、登録された商品数が妥当でない旨（又は、未登録の商品が存在する旨）を示すアラートを報知することもできる。
図５は、チェックアウト装置１のディスプレイ２１に表示するアラートの表示例を示す図である。
図５に示す例では、ディスプレイ２１は、プロセッサ４０からのアラートの出力指示に応じて未登録の商品がある旨の案内をディスプレイ２１に表示する。図５に示すようなアラートを表示した後、プロセッサ４０は、係員（監視員）対応を促すようにしても良いし、登録された商品の確認をオペレータに促すようにしても良い。前者の場合、プロセッサ４０は、係員による対応（係員操作）後に会計処理へ移行するようにしても良い。後者の場合、プロセッサ４０は、オペレータによる確認済みの指示又は未登録商品の追加登録が実施された後に会計処理へ移行するようにして良い。
なお、プロセッサ４０は、アラートの出力として、監視員（管理者）が所持する携帯端末にアラートを通知するようにしても良い。例えば、プロセッサ４０は、所定のメールアドレス（例えば、監視員のメールアドレス）に対してアラートの通知を含む電子メールを送付するようにしても良い。さらに、プロセッサ４０は、チェックアウト装置１に設けた表示器（警告灯）を点灯させてアラートを報知するようにしても良い。
次に、第１実施形態に係るチェックアウト装置１における手の検知処理について説明する。
図６は、第１実施形態に係るチェックアウト装置１における手の検知処理の動作例を説明するためのフローチャートである。
まず、プロセッサ４０は、カメラ４が撮影する画像に基づいてオペレータの手の位置がカゴの中にあるか否かを判定する（ＡＣＴ３１）。プロセッサ４０は、手の位置を示す情報をＲＡＭ４２に記憶する。プロセッサ４０は、手の位置がカゴの外にあるかカゴの中にあるかを後述する手の退出検知処理又は手の進入検知処理によって検知する。また、登録処理を開始した場合、プロセッサ４０は、カメラ４が撮影する画像からオペレータの手の位置がカゴの中にあるかカゴの外にあるかを検知する。また、プロセッサ４０は、登録処理を開始した場合、初期状態としてオペレータの手の位置がカゴの外にあるものとしても良い。
オペレータの手がカゴの中にあると判断した場合（ＡＣＴ３１、ＹＥＳ）、プロセッサ４０は、手がカゴの中から退出したことを検知する手の退出検知処理を実行する（ＡＣＴ３２）。プロセッサ４０は、カメラ４が撮影する画像から抽出されるカゴの開口部の画像に基づいてカゴの中から手が退出したことを検知する。例えば、プロセッサ４０は、カゴの開口部の画像における変化量によってオペレータの手がカゴの中から退出したことを検知する。
ここで、プロセッサ４０は、カメラ４が撮影した画像から抽出するカゴの開口部の画像をＲＡＭ４２などのメモリに保持しておくものとする。第１実施形態において、カゴは、固定具３にセットされるものとしている。このため、プロセッサ４０は、固定具３がカゴを保持する位置に基づいてカゴの開口部がある位置を固定値として特定できる。また、プロセッサ４０は、カゴの開口部がある位置を固定値として特定できるため、カメラ４が撮影した画像からカゴの開口部の画像を容易に抽出できる。
手の退出検知処理の具体例としては、以下の方法がある。例えば、プロセッサ４０は、カメラ４が撮影するカゴの開口部の画像について、直前の画像に対する現在の画像における特徴点位置の変位を示す変位ベクトルを算出する。プロセッサ４０は、算出した最大の変位ベクトルのノルム値が退出検知用の閾値を下回るか否かを判断する。プロセッサ４０は、算出した最大の変位ベクトルのノルム値が退出検知用の閾値を下回った場合に、手がカゴの中から退出したことを検知する。
ただし、手の退出を検知する方法は、上述した方法に限定されるものではない。例えば、プロセッサ４０は、カメラ４が時系列で撮影するカゴの開口部の画像における画素値の最大変化量が閾値を下回ったか否かを判断するようにして良い。この場合、プロセッサ４０は、カゴの開口部の画像における画素値の最大変化量が閾値を下回ると、手かカゴの中から退出したものとして検知するようにすれば良い。
手がカゴの中から退出したことを検知した場合（ＡＣＴ３３、ＹＥＳ）、プロセッサ４０は、オペレータの手がカゴの中から商品を取り出したものと判断する。プロセッサ４０は。カゴの中から取り出した商品の数としての取出数を計数する（ＡＣＴ３４）。例えば、プロセッサ４０は、カゴから取り出した商品の数（取出数）を計数するための取出数カウンタをＲＡＭ４２などのメモリに設ける。プロセッサ４０は、手がカゴの中から退出したことを検知する毎に取出数カウンタをカウントアップすることにより取出数をインクリメント（１加算）する。
手がカゴの中から退出したことを検知した場合（ＡＣＴ３３、ＹＥＳ）、プロセッサ４０は、オペレータの手がカゴの外にある状態であることを示す情報をＲＡＭ４２などのメモリに記録する。
手がカゴの中から退出したことが検知できなかった場合（ＡＣＴ３３、ＮＯ）、プロセッサ４０は、カゴに対するオペレータの手の位置が変化していないものとして手の検知処理を終了する。
また、オペレータの手がカゴの外にあると判断した場合（ＡＣＴ３１、ＮＯ）、プロセッサ４０は、手がカゴの中に進入したことを検知する手の進入検知処理を実行する（ＡＣＴ３６）。プロセッサ４０は、カメラ４が撮影する画像から抽出するカゴの開口部の画像に基づいて手の進入を検知する。例えば、プロセッサ４０は、ＲＡＭ４２などに保持しているカメラ４が撮影した画像から抽出したカゴの開口部の画像における変化量によって手の進入を検知する。
例えば、プロセッサ４０は、カゴの開口部の画像における変化量として、直前の画像と現在の画像における特徴点位置の変位を示す変位ベクトルを算出する。プロセッサ４０は、算出した最大の変位ベクトルのノルム値が進入検知用の閾値を超えたか否かを判断する。プロセッサ４０は、算出した最大の変位ベクトルのノルム値が進入検知用の閾値を超えた場合に手がカゴの中に進入したことを検知する。
ただし、手の進入を検知する方法は、上述した方法に限定されるものではない。例えば、プロセッサ４０は、カメラ４が時系列で撮影するカゴの開口部の画像における画素値の最大変化量が閾値を上回ったか否かを判断するようにして良い。この場合、プロセッサ４０は、カゴの開口部の画像における画素値の最大変化量が閾値を上回ると、手かカゴの中に進入したものとして検知するようにすれば良い。
手がカゴの中から進入したことを検知した場合（ＡＣＴ３７、ＹＥＳ）、プロセッサ４０は、オペレータの手がカゴの中にある状態であることを示す情報をＲＡＭ４２などのメモリに記録する。手がカゴの中から進入したことが検知できなかった場合（ＡＣＴ３７、ＮＯ）、プロセッサ４０は、カゴに対するオペレータの手の位置が変化していないものとして手の検知処理を終了する。
プロセッサ４０は、図６に示すような手の検知処理を登録処理が終了するまでの間、カメラ４が撮影した画像を取得する毎に実行する。この結果、プロセッサ４０は、手の検知処理の結果として、登録処理の開始から終了までの間にオペレータがカゴの中から取り出した商品の数（取出数）が計数できる。
以上のように、第１実施形態に係るチェックアウト装置は、カメラが撮影する画像に基づいて所定位置にセットされたカゴから商品が取り出されたことを検知する。チェックアウト装置は、カゴから取り出された商品数に対して登録された商品数が妥当でなければ、未登録の商品がある旨のアラートを出力する。
これにより、チェックアウト装置は、カゴから取り出された商品が正しく登録されていないことを検知でき、未登録の商品があることなどを報知することができる。
第１実施形態に係るチェックアウト装置は、固定具によって固定の位置にセットされるカゴの開口部を含む撮影範囲をカメラが撮影した画像を取得する。チェックアウト装置は、カメラが撮影する画像から固定具によって規定される固定位置に基づくカゴの開口部の画像を取得する。これにより、チェックアウト装置は、カメラが撮影する画像から確実にカゴの開口部の画像を取得でき、手の検知処理を高精度で行うことができる。この結果、チェックアウト装置は、カゴから取り出された商品数を正確に計数でき、未登録の商品を精度良く検知できる。
（第２実施形態）
次に、第２実施形態について説明する。
第２実施形態に係るチェックアウト装置１は、第１実施形態で説明したチェックアウト装置と同様なハードウエア構成を有するものとする。すなわち、第２実施形態に関わるチェックアウト装置１は、第１実施形態で説明した図２に示すような構成を有する装置であるものとする。このため、第２実施形態に係るチェックアウト装置１のハードウエア構成については、詳細な説明を省略するものとする。
第２実施形態に係るチェックアウト装置１は、任意の位置に置かれるカゴ、又は、ショッピングカート（以下、カート）を撮影した画像から登録処理前の商品が取り出されたことを検知する点が第１実施形態と異なる。すなわち、第２実施形態に係るチェックアウト装置１は、登録処理前の商品を入れたカゴが載置される位置、又は、登録前の商品を載せたカートが停止される位置が任意の位置であるシステムに用いられる。例えば、第２実施形態に係るチェックアウト装置１は、図１に示す構成例において固定具３が省略された構成のシステムに適用される。
図１に示す構成において固定具３を省略した場合、登録処理前の商品を入れたカゴは、第１商品領域Ｒａにおける任意の位置に載置されるものとする。第１商品領域Ｒａの任意の位置にカゴが載置される場合、第２実施形態に関わるカメラ４は、第１商品領域Ｒａ全体を含む撮影範囲を撮影するように設置されるものとする。
また、第２実施形態に係るチェックアウト装置１は、所定の停止位置（カート停止位置）に停止したカートに載せた登録処理前の商品が取り出されたことを検知するようにしても良い。ここで、カートは、登録処理前の商品を入れるカゴ部（カゴ）を備えるものとする。カートのカゴ部は、商品を直接入れるものであって良いし、カートに載せた買い物かごであっても良い。
また、登録処理前の商品を入れたカートを配置（停止）するカート停止位置は、例えば、第１商品領域Ｒａに含まれる領域又は第１商品領域Ｒａに隣接する領域に設けられる。第２実施形態に係るチェックアウト装置１は、所定の停止位置（カート停止位置）に停止したカートのカゴ部に登録処理前の商品を入れられた状態で登録処理が開始される。
第２実施形態に関わるチェックアウト装置は、カート停止位置に停止したカートのカゴ部からオペレータが取り出す商品もチェック対象とすることができる。カートのカゴ部から取り出される商品もチェック対象とする場合、第２実施形態に関わるカメラ４は、カート停止位置に停止したカートが備えるカゴ部の開口部を含む撮影範囲を撮影するように設置する。なお、以下の説明において、カゴの開口部とは、カート停止位置に停止したカートが備えるカゴ部の開口部に相当するものでもあるとする。
次に、第２実施形態に係るチェックアウト装置１における商品数のチェック処理について説明する。
図７は、第２実施形態に係るチェックアウト装置１における商品数のチェック処理の動作例を説明するためのフローチャートである。
第２実施形態においても、プロセッサ４０は、登録処理および会計処理として第１実施形態で説明した図３に示すような処理を実行する。プロセッサ４０は、図７に示すような商品数のチェック処理を図３に示すような処理と並行して実施する。
プロセッサ４０は、第１商品領域Ｒａにカゴが載置された後（ＡＣＴ１２１）、登録処理の開始待ち状態となる（ＡＣＴ１２２）。また、カートからの商品の取出しを検知する場合、プロセッサ４０は、所定のカート停止位置にカートが停止された後、登録処理の開始を受け付ける。カートからの商品の取出しを検知する場合、カメラ４は、カート停止位置に停止したカートが備えるカゴ部（カゴ又はカートに載せられた買い物かご）の開口部を含む撮影範囲を撮影するものとする。
プロセッサ４０は、登録処理の開始を検知すると（ＡＣＴ１２２、ＹＥＳ）、カメラＩＦ５１を介してカメラ４が撮影する画像を取得する（ＡＣＴ１２３）。ここでは、第１商品領域Ｒａに載置されたカゴからの商品の取出しを検知する場合を想定し、カメラ４は、第１商品領域Ｒａを含む撮影範囲を撮影するものとして説明する。第１商品領域Ｒａには、任意の位置にカゴが置かれる。このため、プロセッサ４０は、カメラ４が撮影した画像に基づいてカゴ（カゴの画像）を検知する（ＡＣＴ１３１）。
例えば、プロセッサ４０は、使用されるカゴの色情報に基づいて設定される閾値に基づいてカメラ４が撮影した画像を構成する各画素の画素値からカゴの画像を検出する。この場合、プロセッサ４０は、カゴの画像として検出された画像によりカゴの開口部の画像領域を特定する。ただし、プロセッサ４０は、上述した画像処理に限定されることなく、既知の画像処理技術を適用してカゴを検知するようにして良い。例えば、プロセッサ４０は、テンプレートマッチングのような画像処理技術を用いてカメラ４が撮影した画像からカゴの画像を検出するようにしても良い。
プロセッサ４０は、検知したカゴの位置に応じて、カメラ４が撮影する画像からカゴの開口部の画像を抽出する。カゴの開口部の画像（カメラ４が撮影したカゴの開口部の画像）は、ＲＡＭ４２などの画像を格納するメモリに記憶されるものとする。プロセッサ４０は、ＲＡＭ４２に格納されたカメラ４が撮影したカゴの開口部の画像に基づいて手の検知処理を実行する。
なお、手の検知処理は、第１実施形態で説明した処理と同様、カゴに対するオペレータの手の出入りを検知する処理である。例えば、プロセッサ４０は、第１実施形態で説明した図６に示すような手の検知処理を実行する。上述したように手の検知処理により、プロセッサ４０は、オペレータがカゴから取り出したと検知された商品数（取出数）を示す情報を取得する。
プロセッサ４０は、登録処理中において、上述したような登録処理の終了（又は会計処理への移行）の指示を受け付ける（ＡＣＴ１２５）。プロセッサ４０は、商品の登録処理が終了するまで（ＡＣＴ１２５、ＮＯ）、ＡＣＴ１２３および１２４の処理を繰り返し実行する。
登録処理の終了を検知した場合（ＡＣＴ１２５、ＹＥＳ）、プロセッサ４０は、登録処理において登録された商品の数を計数する（ＡＣＴ１２６）。登録された商品数を計数すると、プロセッサ４０は、登録された商品数が妥当であるか否かを判断する（ＡＣＴ１２７）。
プロセッサ４０は、登録された商品数が手の検知処理の結果として取得するカゴから取り出された商品数と一致するか否かにより商品数が妥当であるか否かを判断する。これにより、プロセッサ４０は、カゴから取り出された商品が全て登録されたかを商品数によって確認できる。
ただし、第１実施形態で説明したように、ハンドスキャナ２６を用いて登録（入力）される商品は、カゴの外にある場合も想定するようにしても良い。この場合、プロセッサ４０は、第１実施形態で説明したように、ハンドスキャナ２６を用いて登録された商品の数を考慮して商品数が妥当であるかを判定するようにすれば良い。
登録された商品数が妥当であると判断した場合（ＡＣＴ１２７、ＹＥＳ）、プロセッサ４０は、商品数のチェック処理を終了する。図３に示す動作例によれば、プロセッサ４０は、商品数が妥当であると判断した後に登録した商品の代金を決済するための会計処理へ移行する。
登録された商品数が妥当でないと判断した場合（ＡＣＴ１２７、ＮＯ）、プロセッサ４０は、アラートを出力する（ＡＣＴ１２８）。例えば、プロセッサ４０は、ディスプレイ２１に登録された商品数が妥当でない旨を示すアラートを表示する。また、プロセッサ４０は、通信ＩＦを介して通信する外部装置としてのアテンダント端末に対して商品数が妥当でない旨のアラートを出力するようにしても良い。
また、プロセッサ４０は、第１実施形態での説明と同様に、アラートの出力として、監視員（管理者）が所持する携帯端末にアラートを通知するようにしても良い。例えば、プロセッサ４０は、所定のメールアドレス（例えば、監視員のメールアドレス）に対してアラートの通知を含む電子メールを送付するようにしても良い。さらに、プロセッサ４０は、チェックアウト装置１に設けた表示器（警告灯）を点灯させてアラートを報知するようにしても良い。
以上のように、第２実施形態に係るチェックアウト装置は、カメラが撮影する画像に基づいて任意の位置に置かれたカゴ（又はカート）を検知する。チェックアウト装置は、検知したカゴに基づいて、カメラ４が撮影した画像からカゴの開口部の画像を抽出する。チェックアウト装置は、カメラ４が撮影したカゴの開口部の画像に基づいて商品が取り出されたことを検知する。チェックアウト装置は、登録された商品数に対してカゴから取り出された商品数が妥当でなければ、未登録の商品がある旨のアラートを出力する。
これにより、チェックアウト装置は、カゴから取り出された商品が正しく登録されていないことを検知でき、未登録の商品があることを報知することができる。
第２実施形態に係るチェックアウト装置によれば、カメラが撮影した画像からカゴを検知でき、検知したカゴの位置からカゴの開口部の画像を抽出できる。これにより、第２実施形態に係るチェックアウト装置は、カゴが任意の位置に置かれる運用であってもカゴの開口部の画像を取得でき、手の検知処理を行うことができる。この結果、チェックアウト装置は、カゴから取り出された商品数を正確に計数でき、未登録の商品を精度良く検知できる。
なお、上述した第１および第２実施形態は、会計処理を実行しない登録処理専用のチェックアウト装置に適用しても良い。登録処理専用のチェックアウト装置は、会計処理を行う会計装置又は会計システムへ登録処理によって登録した商品に関する情報を送信するようにすれば良い。登録処理専用のチェックアウト装置においても、上述した手の検知処理を含む商品数のチェック処理を実行することにより、未登録の商品があることを検知することができる。
さらに、第１および第２実施形態では、装置内部に本発明を実施する機能が予め記録されている場合で説明をしたが、これに限らず同様の機能をネットワークから装置にダウンロードしても良いし、同様の機能を記録媒体に記憶させたものを装置にインストールしても良い。記録媒体としては、ＣＤ－ＲＯＭ等プログラムを記憶でき、且つ装置が読み取り可能な記録媒体であれば、その形態はいずれの形態であっても良い。またこのように予めインストールやダウンロードにより得る機能は装置内部のＯＳ（オペレーティングシステム）等と協動してその機能を実現させるものであっても良い。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１…チェックアウト装置、２…作業台、Ｒａ…第１商品領域、３…固定具、４…カメラ、２１…ディスプレイ、４０…プロセッサ、５１…カメラインターフェース。

Claims (6)

  1. チェックアウト装置であって、
    購入対象とする商品を入れたカゴが置かれるエリアを撮影範囲に含むカメラが撮影した画像を取得するインターフェースと、
    前記インターフェースにより取得する前記カメラが撮影する画像に基づいて前記カゴから取り出された商品の数を検知し、前記カゴから取り出された商品の数に対して当該チェックアウト装置に登録された商品の数が妥当であるか否かを検知するプロセッサと、
    を有するチェックアウト装置。
  2. 前記プロセッサは、前記カゴから取り出された商品の数に対して当該チェックアウト装置に登録された商品の数が妥当でない場合にアラートを出力する、
    請求項１に記載のチェックアウト装置。
  3. 前記プロセッサは、前記カメラが撮影する画像から前記カゴに対する人物の手の進入および退出を検知し、前記カゴに対する前記人物の手の進入および退出の回数に基づいて前記カゴから取り出された商品の数を検知する、
    請求項１に記載のチェックアウト装置。
  4. 前記インターフェースは、所定位置に設置された固定具により所定位置に保持される前記カゴを撮影範囲に含むカメラが撮影した画像を取得し、
    前記プロセッサは、前記固定具の設置位置に基づいて前記カメラが撮影した画像における前記カゴの開口部の画像を抽出し、前記カゴの開口部の画像において前記カゴに対する前記人物の手の進入および退出を検知する、
    請求項３に記載のチェックアウト装置。
  5. 前記プロセッサは、前記カメラが撮影した画像から前記カゴを検知し、前記カゴの開口部の画像を抽出し、前記カゴの開口部の画像において前記カゴに対する前記人物の手の進入および退出を検知する、
    請求項３に記載のチェックアウト装置。
  6. コンピュータに、
    購入対象とする商品を入れたカゴが置かれるエリアを撮影範囲に含むカメラが撮影した画像を取得させ、
    前記カメラが撮影する画像に基づいて前記カゴから取り出された商品の数を検知させ、
    前記カゴから取り出された商品の数に対してチェックアウト装置に登録された商品の数が妥当であるか否かを検知させる、
    ことを実行させるための商品数のチェックプログラム。
JP2020206765A 2020-12-14 2020-12-14 チェックアウト装置および商品数のチェックプログラム Active JP7551484B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020206765A JP7551484B2 (ja) 2020-12-14 2020-12-14 チェックアウト装置および商品数のチェックプログラム
US17/461,514 US20220189265A1 (en) 2020-12-14 2021-08-30 Checkout apparatus and number-of-commodities check method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020206765A JP7551484B2 (ja) 2020-12-14 2020-12-14 チェックアウト装置および商品数のチェックプログラム

Publications (2)

Publication Number Publication Date
JP2022093997A true JP2022093997A (ja) 2022-06-24
JP7551484B2 JP7551484B2 (ja) 2024-09-17

Family

ID=81941818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020206765A Active JP7551484B2 (ja) 2020-12-14 2020-12-14 チェックアウト装置および商品数のチェックプログラム

Country Status (2)

Country Link
US (1) US20220189265A1 (ja)
JP (1) JP7551484B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10846996B2 (en) * 2016-04-25 2020-11-24 Standard Cognition Corp. Registry verification for a mechanized store using radio frequency tags
JP2018116525A (ja) * 2017-01-19 2018-07-26 東芝テック株式会社 チェックアウト装置
JP2019096035A (ja) 2017-11-22 2019-06-20 東芝テック株式会社 決済装置、登録決済装置及び情報処理プログラム

Also Published As

Publication number Publication date
JP7551484B2 (ja) 2024-09-17
US20220189265A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
EP3098791A1 (en) Merchandise information processing apparatus that confirms merchandise code scanning
US11676124B2 (en) Checkout apparatus
EP3352152A1 (en) Checkout apparatus and checkout method
JP7034615B2 (ja) チェックアウト装置およびプログラム
JP6967886B2 (ja) チェックアウト装置およびチェックアウトシステム
EP3293713A1 (en) Settlement apparatus and method of settling a transaction using the same
JP7523992B2 (ja) 画像解析装置、監視システムおよびチェックアウトシステム
CN107424353B (zh) 结算装置及其控制方法、以及结账系统
JP2022093997A (ja) チェックアウト装置および商品数のチェックプログラム
US20220180343A1 (en) Checkout apparatus, monitoring apparatus, and monitoring method
JP6367778B2 (ja) 決済装置及びその制御プログラム
EP3346436A1 (en) Recording apparatus and method for making characters on credit card unreadable
JP6576687B2 (ja) 貨幣処理システム及び貨幣処理方法
JP2022088173A (ja) 商品読取装置および商品読取プログラム
JP6585239B2 (ja) チェックアウトシステム及びその制御方法
JP6704978B2 (ja) 会計装置およびプログラム
JP2020126689A (ja) 会計装置、およびプログラム
CN116597580A (zh) 监视装置、结算装置及存储介质
JP2019204557A (ja) 決済装置及びその制御プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240904

R150 Certificate of patent or registration of utility model

Ref document number: 7551484

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150