JP2018129038A - 物品認識装置及び物品認識方法 - Google Patents

物品認識装置及び物品認識方法 Download PDF

Info

Publication number
JP2018129038A
JP2018129038A JP2017245427A JP2017245427A JP2018129038A JP 2018129038 A JP2018129038 A JP 2018129038A JP 2017245427 A JP2017245427 A JP 2017245427A JP 2017245427 A JP2017245427 A JP 2017245427A JP 2018129038 A JP2018129038 A JP 2018129038A
Authority
JP
Japan
Prior art keywords
image
article
weight
processor
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017245427A
Other languages
English (en)
Other versions
JP6999404B2 (ja
Inventor
崇行 澤田
Takayuki Sawada
崇行 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Publication of JP2018129038A publication Critical patent/JP2018129038A/ja
Application granted granted Critical
Publication of JP6999404B2 publication Critical patent/JP6999404B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/417—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight with provision for checking computing part of balance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283—Price estimation or determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Analysis (AREA)

Abstract

【課題】物品が重なっている場合にも物品を認識することができる物品認識装置及び物品認識方法を提供する。【解決手段】実施形態によれば、物品認識装置は、画像インターフェースと、重量インターフェースと、処理部と、を備える。画像インターフェースは、複数の物品が配置される所定の場所を撮影した画像を取得する。処理部は、第１の画像を取得し、所定のイベントを検知した後に第２の画像を取得し、前記第１の画像から抽出される物品領域のうち前記第２の画像に存在しない物品の物品領域の画像に基づいて物品を認識し、認識した物品の登録重量を物品データベースから取得し、前記登録重量の合計と、前記第１の画像を撮影したときに重量計が計測する第１の重量と前記第２の画像を撮影したときに前記重量計が計測する第２の重量との差分重量と、が一致しない場合にエラーを出力する。【選択図】図１

Description

本発明の実施形態は、物品認識装置及び物品認識方法に関する。
物品処理装置には、台上に配置される物品を撮影した画像に基づいて物品を認識するものがある。物品処理装置は、画像から物品がある物品領域を特定し、バーコードなどの読み取り又はオブジェクト認識などで物品領域の物品を認識する。
従来、物品処理装置は、複数の物品が重ねて設置される場合に、物品を認識することができないという課題がある。
特開２０１６−１１９０５３号公報
上記の課題を解決するために、物品が重なっている場合にも物品を認識することができる物品認識装置及び物品認識方法を提供する。
実施形態によれば、物品認識装置は、画像インターフェースと、重量インターフェースと、処理部と、を備える。画像インターフェースは、複数の物品が配置される所定の場所を撮影した画像を取得する。処理部は、第１の画像を取得し、所定のイベントを検知した後に第２の画像を取得し、前記第１の画像から抽出される物品領域のうち前記第２の画像に存在しない物品の物品領域の画像に基づいて物品を認識し、認識した物品の登録重量を物品データベースから取得し、前記登録重量の合計と、前記第１の画像を撮影したときに重量計が計測する第１の重量と前記第２の画像を撮影したときに前記重量計が計測する第２の重量との差分重量と、が一致しない場合にエラーを出力する。
図１は、実施形態に係る決済装置の構成例を概略的に示す図である。 図２は、実施形態に係る決済装置の構成例を示すブロック図である。 図３は、実施形態に係る第１の画像の例を示す図である。 図４は、実施形態に係る決済装置の表示例を示す図である。 図５は、実施形態に係る第２の画像の例を示す図である。 図６は、実施形態に係る商品領域の例を示す図である。 図７は、実施形態に係る決済装置の表示例を示す図である。 図８は、実施形態に係る決済装置の動作例を示すフローチャートである。 図９は、実施形態に係る決済装置の動作例を示すフローチャートである。
以下、実施形態について、図面を参照して説明する。
まず、実施形態に係る決済装置について説明する。
図１は、実施形態に係る決済装置１の構成例を概略的に示す。
決済装置１（物品認識装置）は、カゴ１０内の商品（物品）について決済処理する。決済装置１は、商品を販売する店舗などに設置される。たとえば、決済装置１は、カゴ１０が所定の位置に配置された場合又は所定の操作を受け付けた場合に、カゴ１０内の商品について決済処理を実行する。決済装置１は、利用者が自ら決済処理を行うセルフレジとして設置されてもよい。また、決済装置１は、店舗の店員が決済処理をする通常のレジとして設置されてもよい。
図１が示すように、決済装置１は、筐体２、カメラ３、ディスプレイ４、操作部５及び重量計６などを備える。
筐体２は、決済装置１の外形を形成するフレームである。筐体２は、カゴ１０を設置することができるように形成される。図１が示す例においては、筐体２は、コの字型であり、カゴ１０を積載することができるように形成される。
カメラ３は、カゴ１０内の商品を撮影する。図１が示す例においては、カメラ３は、カゴ１０を上方から撮影するように設置される。カメラ３は、斜め上方からカゴ１０内を撮影するように設置されてもよい。カメラ３が設置される位置及び向きは、特定の構成に限定されるものではない。
なお、決済装置１は、複数個のカメラ３を備えてもよい。この場合、複数のカメラ３は、それぞれ異なる位置及び角度でカゴ１０内の商品を撮影するように設置されてもよい。
たとえば、カメラ３は、ＣＣＤカメラなどである。また、カメラ３は、不可視光を撮影するものであってもよい。カメラ３の構成は、特定の構成に限定されるものではない。
ディスプレイ４は、後述するプロセッサ２１が出力する画像を表示する表示装置である。ディスプレイ４は、たとえば、液晶モニタなどである。
操作部５は、決済装置１の利用者によって、種々の操作指示が入力される。操作部５は、操作者に入力された操作指示のデータをプロセッサ２１へ送信する。操作部５は、たとえば、キーボード、テンキー、及び、タッチパネルなどである。また、操作部５は、利用者からジェスチャーの入力を受け付けてもよい。
ここでは、操作部５は、タッチパネルであり、ディスプレイ４と一体的に形成されているものとする。
重量計６は、商品の重量を計測する。重量計６は、カゴ１０が設置される面に形成される。たとえば、重量計６は、カゴ１０とカゴ１０内にある商品との重量を計測する。重量計６は、計測した重量をプロセッサ２１へ送信する。なお、重量計６は、予め設定されたカゴ１０の重量を減算した値をプロセッサ２１へ送信してもよい。
なお、カメラ３、ディスプレイ４、操作部５又は重量計６は、筐体２と一体的に形成されてもよい。
また、決済装置１は、カゴ１０内の商品を照らす照明などを備えてもよい。
次に、決済装置１の構成例について説明する。
図２は、決済装置１の構成例を示すブロック図である。
図２が示すように、決済装置１は、カメラ３、ディスプレイ４、操作部５、重量計６、プロセッサ２１、ＲＯＭ２２、ＲＡＭ２３、ＮＶＭ２４、カメラインターフェース２５、ディスプレイインターフェース２６、操作部インターフェース２７及び重量インターフェース２８などを備える。プロセッサ２１と、ＲＯＭ２２、ＲＡＭ２３、ＮＶＭ２４、カメラインターフェース２５、ディスプレイインターフェース２６、操作部インターフェース２７及び重量インターフェース２８とは、データバスなどを介して互いに接続される。
カメラインターフェース２５とカメラ３とは、データバスなどを介して互いに接続される。ディスプレイインターフェース２６とディスプレイ４とは、データバスなどを介して互いに接続される。操作部インターフェース２７と操作部５とは、データバスなどを介して互いに接続される。重量インターフェース２８と重量計６とは、データバスなどを介して互いに接続される。
なお、決済装置１は、図２が示すような構成の他に必要に応じた構成を具備したり、特定の構成を除外したりしてもよい。
カメラ３、ディスプレイ４、操作部５及び重量計６は、前述の通りである。
プロセッサ２１（処理部）は、決済装置１全体の動作を制御する機能を有する。プロセッサ２１は、内部キャッシュおよび各種のインターフェースなどを備えても良い。プロセッサ２１は、内部メモリ又はＮＶＭ２４などに予め記憶したプログラムを実行することにより種々の処理を実現する。プロセッサ２１は、たとえば、ＣＰＵである。
なお、プロセッサ２１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであっても良い。この場合、プロセッサ２１は、ハードウエア回路により実行される機能を制御する。
ＲＯＭ２２は、予め制御用のプログラム及び制御データなどを記憶する不揮発性のメモリである。ＲＯＭ２２は、製造段階で制御プログラム及び制御データなどを記憶した状態で決済装置１に組み込まれる。即ち、ＲＯＭ２２に記憶される制御プログラム及び制御データは、予め決済装置１の仕様に応じて組み込まれる。
ＲＡＭ２３は、揮発性のメモリである。ＲＡＭ２３は、プロセッサ２１の処理中のデータなどを一時的に格納する。ＲＡＭ２３は、プロセッサ２１からの命令に基づき種々のアプリケーションプログラムを格納している。また、ＲＡＭ２３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
ＮＶＭ２４は、例えば、ＥＥＰＲＯＭ（登録商標）あるいはフラッシュＲＯＭなどのデータの書き込み及び書換えが可能な不揮発性のメモリにより構成される。ＮＶＭ２４は、決済装置１の運用用途に応じて制御プログラム、アプリケーション、及び種々のデータを格納する。例えば、ＮＶＭ２４では、プログラムファイル及びデータファイルなどが作成される。作成された各ファイルは、制御プログラム及び種々のデータなどが書き込まれる。
ＮＶＭ２４は、予め商品データベースを格納する。商品データベースは、商品に関する情報を格納する。商品データベースは、商品コードと商品の重量と対応付けて格納する。商品コードは、商品を特定する情報である。たとえば、商品コードは、数字、文字、記号又はそれらの組合せである。商品の重量は、対応する商品コードが示す商品の重量である。
なお、商品データベースは、さらに、商品名及び価格などを備えてもよい。商品データベースの構成は、特定の構成に限定されるものではない。たとえば、プロセッサ２１は、外部装置から商品データベースを取得し、ＮＶＭ２４に格納する。ＮＶＭ２４は、プロセッサ２１からの信号に従って適宜商品データベースを更新してもよい。
カメラインターフェース２５は、プロセッサ２１がカメラ３と通信するためのインターフェースである。たとえば、プロセッサ２１は、カメラインターフェース２５を通じて、カメラ３に画像を取得させる信号を送信する。また、プロセッサ２１は、カメラインターフェース２５を通じて撮影のためのカメラパラメータをカメラ３に設定してもよい。
また、カメラインターフェース２５（画像インターフェース）は、カメラ３が撮影した画像を取得する。カメラインターフェース２５は、取得した画像をプロセッサ２１へ送信する。プロセッサ２１は、カメラインターフェース２５からカメラ３が撮影した画像を取得する。
ディスプレイインターフェース２６は、プロセッサ２１がディスプレイ４と通信するためのインターフェースである。たとえば、プロセッサ２１は、ディスプレイインターフェース２６を通じて、ディスプレイ４に表示画面を送信する。
操作部インターフェース２７は、プロセッサ２１が操作部５と通信するためのインターフェースである。たとえば、プロセッサ２１は、操作部インターフェース２７を通じて、操作部５に入力された操作を示す信号を受信する。
重量インターフェース２８は、プロセッサ２１が重量計６と通信するためのインターフェースである。たとえば、プロセッサ２１は、重量インターフェース２８を通じて、重量計６から、重量計６が測定した重量を示す信号を受信する。
次に、プロセッサ２１が実現する機能について説明する。
まず、プロセッサ２１は、複数の商品が配置された所定の場所を撮影した画像を取得する機能を有する。ここでは、プロセッサ２１は、カゴ１０内にある複数の商品を撮影した画像を取得する。
たとえば、プロセッサ２１は、所定の領域のカゴ１０が配置されたことを検知する。たとえば、プロセッサ２１は、重量計６からの信号に基づいて重量計６にカゴ１０が配置されたことを検知する。
プロセッサ２１は、カゴ１０が配置されたことを検知すると、カゴ１０内にある複数の商品を含む画像（第１の画像）を撮影する。たとえば、プロセッサ２１は、カメラ３に対して撮影を行う信号を送信する。プロセッサ２１は、カメラ３から第１の画像を取得する。なお、プロセッサ２１は、画像を撮影するために、撮影パラメータをカメラ３に設定してもよい。
なお、プロセッサ２１は、外部装置から第１の画像を取得してもよい。
図３は、カメラ３が撮影した第１の画像の例を示す。
図３が示す例では、第１の画像は、商品３１乃至３４の画像を含む。図３が示すように、商品３１は、商品３３の上に重なる。また、商品３２は、商品３４の上に重なる。商品３１及び３２は、商品が上部に見える状態に配置される。また、商品３３及び３４は、認識可能な程度には上部に露出していない。
また、プロセッサ２１は、重量計６を用いてカゴ１０内の商品の重量を取得する機能を有する。たとえば、プロセッサ２１は、重量計６から重量を示す信号を受信する。プロセッサ２１は、信号が示す重量（第１の重量）を取得する。図３が示す例では、プロセッサ２１は、商品３１乃至３４の重量（又は、さらにカゴ１０の重量）を取得する。
また、プロセッサ２１は、第１の画像から商品の画像領域である商品領域（物品領域）を抽出する機能を有する。
たとえば、プロセッサ２１は、第１の画像に基づいて商品領域を抽出する。たとえば、プロセッサ２１は、エッジ検出などを行い第１の画像から商品領域を抽出する。
なお、プロセッサ２１は、所定の位置から第１の画像の各部への距離を示す距離情報から商品領域を抽出してもよい。たとえば、決済装置１は、距離センサなどを備えてもよい。
プロセッサ２１が商品領域を抽出する方法は、特定の方法に限定されるものではない。
また、プロセッサ２１は、抽出した商品領域をユーザへ提示する機能を有する。たとえば、プロセッサ２１は、ディスプレイ４に商品領域を表示する。たとえば、プロセッサ２１は、第１の画像を表示する。プロセッサ２１は、第１の画像に商品領域を示す情報を合わせて表示する。ここでは、プロセッサ２１は、商品領域を示す枠を表示するものとする。
図４は、プロセッサ２１が商品領域を提示するために表示する表示画面の例を示す。ここでは、プロセッサ２１は、商品３１及び３２の画像領域を商品領域として抽出したものとする。
図４が示すように、プロセッサ２１は、第１の画像に枠３１Ａ及び枠３２Ａを表示する。枠３１Ａは、商品３１の商品領域を示す。枠３２Ａは、商品３２の商品領域を示す。
なお、ここで、プロセッサ２１は、抽出した商品領域内の商品をカゴ１０から取り出すことを促す案内を表示してもよい。図４が示す例では、プロセッサ２１は、枠３１Ａ及び枠３２Ａ内の商品を取り出すことを示す案内をディスプレイ４などに表示する。たとえば、プロセッサ２１は、「枠で囲まれた商品をカゴから出してレジ袋またはマイバックに入れて下さい」などのメッセージを表示する。
また、プロセッサ２１は、商品領域内の商品の取出が完了したことを示す所定のイベントを検知する機能を有する。
たとえば、プロセッサ２１は、所定のイベントとして、商品の取出が完了したことを入力する操作（完了操作）を受け付ける。図４が示す例では、プロセッサ２１は、アイコン４１を表示する。アイコン４１は、商品領域内の商品の取出が完了したことを入力するためのアイコンである。たとえば、プロセッサ２１は、アイコン４１へのタッチを完了操作として受け付ける。
なお、プロセッサ２１は、所定のイベントとして、所定のジェスチャーなどを完了操作として受け付けてもよい。
また、プロセッサ２１は、重量計６が計測する重量が一定時間変化しないことを所定のイベントとして検知してもよい。また、プロセッサ２１は、カメラ３で撮影した画像に基づいて所定のイベントを検知してもよい。プロセッサ２１が所定のイベントを検知する方法は、特定の方法に限定されるものではない。
プロセッサ２１は、所定のイベントを検知すると、再度、所定の場所を撮影した画像を取得する機能を有する。
プロセッサ２１は、所定のイベントを検知すると、カメラ３を用いてカゴ１０内の商品を含む画像（第２の画像）を撮影する。
なお、プロセッサ２１は、外部装置から第２の画像を取得してもよい。
図５は、カメラ３が撮影した第２の画像の例を示す。ここでは、ユーザは、商品３１及び３２を取り出したものとする。
図５が示す例では、第２の画像は、商品３３及び３４の画像を含む。即ち、図５が示す例では、商品３１及び３２が取り出されて、商品３１及び３２の下にあった商品３３及び３４が露出する。
また、プロセッサ２１は、所定のイベントを検知すると、重量計６を用いてカゴ１０内の商品の重量を取得する機能を有する。
プロセッサ２１は、重量計６を用いてカゴ１０内の商品の重量（第２の重量）を取得する。
また、プロセッサ２１は、第１の画像と第２の画像とに基づいて、抽出された商品領域であってユーザが取り出した商品（即ち、第２の画像に存在しない商品）の商品領域の画像（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ画像（ＲＯＩ画像））を生成する機能を有する。
たとえば、プロセッサ２１は、第１の画像と第２の画像との差分画像を生成する。たとえば、プロセッサ２１は、第１の画像の画素値から第２の画像の画素値を減算して差分画像を生成する。
差分画像を生成すると、プロセッサ２１は、差分画像から、商品領域を抽出するためのマスク画像を生成する。たとえば、プロセッサ２１は、差分画像の画素値が所定の閾値以上であれば画素値を１とし画素値が所定の閾値未満であれば画素値を０とし、マスク画像を生成する。マスク画像において、第１画像と第２画像との差分が大きい位置の画素値は、１であり、差分が小さい位置の画素値は、０である。即ち、マスク画像は、ユーザが取り出した商品の商品領域において画素値を１とし、他の領域において画素値を０とする。
マスク画像を生成すると、プロセッサ２１は、第１の画像とマスク画像とに基づいてＲＯＩ画像（物品領域画像）を生成する。たとえば、プロセッサ２１は、第１の画像の画素値とマスク画像の画素値を積算してＲＯＩ画像を抽出する。ＲＯＩ画像は、第１の画像と第２の画像との差分が所定の閾値以上の画素位置において、第１の画像の画素値に等しい画素値を有し、他の画素位置において画素値として０を有する。
図６は、ＲＯＩ画像の例を示す。
図６が示すＲＯＩ画像は、図３が示す第１の画像と図５が示す第２の画像とに基づいて抽出されたものである。従って、図６が示す例では、ＲＯＩ画像は、商品３１及び３２の画像である。
また、プロセッサ２１は、ＲＯＩ画像に基づいて１つ又は複数の商品を認識する機能を有する。ここでは、プロセッサ２１は、商品の認識として商品を示す商品コードを取得するものとする。
たとえば、プロセッサ２１は、ＲＯＩ画像から、商品を示す商品コードをエンコードしたバーコードなどを読み取る。たとえば、プロセッサ２１は、ＲＯＩ画像をラスタスキャンしてバーコードを読み取る。
また、プロセッサ２１は、オブジェクト認識を用いて商品コードを取得してもよい。たとえば、プロセッサ２１は、予め登録された辞書又は商品画像などに基づいてオブジェクト認識を行う。
なお、プロセッサ２１は、まずバーコードを読み取り、バーコードの読み取りに失敗した場合にオブジェクト認識を行ってもよい。
プロセッサ２１が商品を認識する方法は、特定の方法に限定されるものではない。
図６が示す例では、プロセッサ２１は、商品３１及び３２を認識する。
プロセッサ２１は、認識した商品に予め登録された重量（登録重量）を取得する機能を有する。
たとえば、プロセッサ２１は、商品データベースを参照して、認識した商品の商品コードに対応する商品の重量を商品の登録重量として取得する。
なお、プロセッサ２１は、外部装置から商品の登録重量を取得してもよい。
また、プロセッサ２１は、第１の重量と第２の重量との差分重量を算出する機能を有する。たとえば、プロセッサ２１は、第１の重量から第２の重量を減算して差分重量を算出する。
また、プロセッサ２１は、商品の登録重量の合計（合計重量）が差分重量と一致するか判定する機能を有する。
たとえば、プロセッサ２１は、合計重量と差分重量との差異が所定の閾値以下であれば両者が一致すると判定する。所定の閾値は、予め設定されてもよい。また、所定の閾値は、合計重量に所定の比率を積算して算出される値であってもよい。
また、プロセッサ２１は、合計重量が差分重量と一致すると判定すると、第２の画像の撮影時においてカゴ１０が空になったか判定する機能を有する。
たとえば、プロセッサ２１は、重量計６が計測する重量に基づいてカゴ１０が空になったか判定する。たとえば、プロセッサ２１は、重量計６が測定する商品の重量が０になるとカゴ１０が空になったと判定してもよい。また、プロセッサ２１は、第２の画像に基づいてカゴ１０が空になったか判定してもよい。
また、プロセッサ２１は、カゴ１０が空でないと判定すると、カゴ１０内の商品を再度認識する。たとえば、プロセッサ２１は、第２の画像及び第２の重量をそれぞれ第１の画像及び第１の重量とする。たとえば、プロセッサ２１は、第２の画像及び第２の重量をそれぞれ第１の画像を格納するメモリ及び第１の重量を格納するメモリに上書きする。
たとえば、プロセッサ２１は、第１の画像（もともと第２の画像）から商品領域を抽出する。プロセッサ２１は、商品領域を抽出すると、抽出された商品領域をディスプレイ４に表示する。
図７は、プロセッサ２１が商品領域を提示するために表示する表示画面の例を示す。ここでは、プロセッサ２１は、商品３３及び３４の画像領域を商品領域として抽出したものとする。
図７が示すように、プロセッサ２１は、第１の画像に枠３３Ａ及び枠３４Ａを表示する。枠３３Ａは、商品３３の商品領域を示す。枠３４Ａは、商品３４の商品領域を示す。ここで、ユーザは、商品３３及び３４をカゴ１０から取り出し、アイコン４１へタッチするものとする。
プロセッサ２１は、アイコン４１へのタッチを受け付けると、カメラ３を用いて第２の画像を撮影する。ここでは、第２の画像は、何の商品の画像を含まないものとする。また、プロセッサ２１は、重量計６を用いて第２の重量を取得する。
プロセッサ２１は、第１の画像と第２の画像とに基づいてＲＯＩ画像を生成する。ここでは、ＲＯＩ画像は、商品３３及び３４の画像である。
プロセッサ２１は、ＲＯＩ画像に基づいて商品を認識する。商品を認識すると、プロセッサ２１は、商品の登録重量を取得し合計重量を算出する。商品の合計重量を算出すると、プロセッサ２１は、第１の重量と第２の重量とに基づいて差分重量を算出する。差分重量を算出すると、プロセッサ２１は、合計重量が差分重量と一致するか判定する。プロセッサ２１は、合計重量が差分重量と一致すると判定すると、カゴ１０が空になったか再度判定する。
また、プロセッサ２１は、カゴ１０が空であると判定すると、認識された商品を決済する機能を有する。
たとえば、プロセッサ２１は、商品データベースなどを参照して、認識された商品の価格を取得する。プロセッサ２１は、取得された価格の合計（合計額）に基づいて商品を決済する。たとえば、プロセッサ２１は、ユーザのクレジットカード情報などを用いて商品を決済する。たとえば、プロセッサ２１は、購入者が所持するカードからカードリーダを通じてクレジット情報の入力を受け付けてもよい。また、プロセッサ２１は、カメラなどを用いて購入者の画像を取得し、当該画像に対応するクレジット情報を取得してもよい。また、プロセッサ２１は、ユーザから現金を収受して商品を決済してもよい。また、プロセッサ２１は、カードからＳＦ（Ｓｔｏｒｅｄ Ｆａｒｅ）情報を取得し、当該ＳＦ情報に基づいて商品を決済してもよい。
なお、プロセッサ２１は、外部装置から商品の価格を取得してもよい。また、プロセッサ２１は、合計額を外部装置へ送信してもよい。
また、プロセッサ２１は、合計重量が差分重量と一致しないと判定すると、商品認識に失敗したことを示すエラーを出力する機能を有する。たとえば、プロセッサ２１は、ユーザに対して決済処理をやり直させる、有人のレジにて決済処理を行わせる、又は、店員を呼ばせるなどの代替行動を促すメッセージを表示する。なお、プロセッサ２１は、エラーを外部装置へ送信してもよい。
次に、決済装置１の動作例について説明する。
図８及び図９は、決済装置１の動作例を説明するためのフローチャートである。
まず、決済装置１のプロセッサ２１は、重量計６にカゴ１０が配置されたか判定する（ＡＣＴ１１）。重量計６にカゴ１０が配置されていないと判定すると（ＡＣＴ１１、ＮＯ）、プロセッサ２１は、ＡＣＴ１１に戻る。
重量計６にカゴ１０が配置されたと判定すると（ＡＣＴ１１、ＹＥＳ）、プロセッサ２１は、カメラ３を用いて第１の画像を取得する（ＡＣＴ１２）。第１の画像を取得すると、プロセッサ２１は、重量計６を用いて第１の重量を取得する（ＡＣＴ１３）。
第１の重量を取得すると、プロセッサ２１は、第１の画像から商品領域を抽出する（ＡＣＴ１４）。商品領域を抽出すると、プロセッサ２１は、ディスプレイ４に商品領域を表示する（ＡＣＴ１５）。商品領域を表示すると、プロセッサ２１は、所定のイベントを検知したか判定する（ＡＣＴ１６）。
所定のイベントを検知していないと判定すると（ＡＣＴ１６、ＮＯ）、プロセッサ２１は、ＡＣＴ１６に戻る。
所定のイベントを検知したと判定すると（ＡＣＴ１６、ＹＥＳ）、プロセッサ２１は、カメラ３を用いて第２の画像を取得する（ＡＣＴ１７）。第２の画像を取得すると、プロセッサ２１は、重量計６を用いて第２の重量を取得する（ＡＣＴ１８）。
第２の重量を取得すると、プロセッサ２１は、第１の画像と第２の画像とに基づいてマスク画像を生成する（ＡＣＴ１９）。マスク画像を生成すると、プロセッサ２１は、第１の画像とマスク画像とに基づいてＲＯＩ画像を生成する（ＡＣＴ２０）。
ＲＯＩ画像を生成すると、プロセッサ２１は、ＲＯＩ画像に基づいて商品を認識する（ＡＣＴ２１）。商品を認識すると、プロセッサ２１は、認識された商品の登録重量を取得する（ＡＣＴ２２）。登録重量を取得すると、プロセッサ２１は、第１の重量と第２の重量とに基づいて差分重量を算出する（ＡＣＴ２３）。
差分重量を算出すると、プロセッサ２１は、登録重量の合計が差分重量と一致するか判定する（ＡＣＴ２４）。登録重量の合計が差分重量と一致すると判定すると（ＡＣＴ２４、ＹＥＳ）、プロセッサ２１は、カゴ１０が空であるか判定する（ＡＣＴ２５）。
カゴ１０が空でないと判定すると（ＡＣＴ２５、ＮＯ）、プロセッサ２１は、第２の画像を第１の画像とする（ＡＣＴ２６）。第２の画像を第１の画像とすると、プロセッサ２１は、第２の重量を第１の重量とする（ＡＣＴ２７）。第２の重量を第１の重量とすると、プロセッサ２１は、ＡＣＴ１４に戻る。
カゴ１０が空であると判定すると（ＡＣＴ２５、ＹＥＳ）、プロセッサ２１は、認識された商品を決済する（ＡＣＴ２８）。
登録重量の合計が差分重量と一致しないと判定すると（ＡＣＴ２４、ＮＯ）、プロセッサ２１は、エラーを出力する（ＡＣＴ２９）。
認識した商品を決済した場合（ＡＣＴ２８）、又は、エラーを出力した場合（ＡＣＴ２９）、プロセッサ２１は、動作を終了する。
なお、プロセッサ２１は、決済処理（ＡＣＴ２８）を行わなくともよい。プロセッサ２１は、認識された商品を示す情報（たとえば、商品コード）を外部装置へ送信してもよい。
また、プロセッサ２１は、商品以外の物品を認識してもよい。プロセッサ２１が認識する対象は、特定の構成に限定されるものではない。
また、プロセッサ２１は、抽出された商品領域以外の領域から商品が取り出された場合には、エラーを出力してもよい。
以上のように構成された決済装置は、重ねて配置された商品のうち上部の商品を認識する。また、決済装置は、ユーザに認識可能な上部の商品を取り出すことを促し、下部の商品を露出させる。決済装置は、下部の商品を認識する。決済装置は、同様の動作を商品がなくなるまで継続する。その結果、決済装置は、重ねて配置された商品を効果的に認識することができる。
また、決済装置は、ユーザが商品を取り出した後に、取り出された商品の画像であるＲＯＩ画像に基づいて取り出された商品の認識処理を行う。そのため、決済装置は、認識可能な上部の商品のうち、実際に取り出された商品を検知することができる。その結果、決済装置は、商品を認識した後に商品が取り出される方式に比べて、認識されていない商品をユーザが取り出すなどの不正行為を防止することができる。
また、決済装置は、予め登録された商品の重量が取り出された商品の重量と一致する場合に認識処理を継続する。その結果、決済処理は、認識されていない商品をユーザが取り出すなどの不正行為を防止することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１…決済装置、２…筐体、３…カメラ、４…ディスプレイ、５…操作部、６…重量計、１０…カゴ、２１…プロセッサ、２４…ＮＶＭ、２５…カメラインターフェース、２６…ディスプレイインターフェース、２７…操作部インターフェース、２８…重量インターフェース、３１乃至３４…商品、３１Ａ乃至３４Ａ…枠、４１…アイコン。

Claims (10)

  1. 物品を認識する物品認識装置であって、
    複数の物品が配置される所定の場所を撮影した画像を取得する画像インターフェースと、
    前記所定の場所に配置された物品の重量を計測する重量計が計測した重量を取得する重量インターフェースと、
    前記画像インターフェースを通じて第１の画像を取得し、
    所定のイベントを検知した後に前記画像インターフェースを通じて第２の画像を取得し、
    前記第１の画像から抽出される物品領域のうち前記第２の画像に存在しない物品の物品領域の画像に基づいて物品を認識し、
    認識した物品の登録重量を物品データベースから取得し、
    前記登録重量の合計と、前記第１の画像を撮影したときに前記重量計が計測する第１の重量と前記第２の画像を撮影したときに前記重量計が計測する第２の重量との差分重量と、が一致しない場合にエラーを出力する、
    処理部と、
    を備える物品認識装置。
  2. ディスプレイと通信するディスプレイインターフェースを備え、
    前記処理部は、
    前記ディスプレイインターフェースを通じて前記ディスプレイに、前記第１の画像から抽出される前記物品領域を表示する、
    前記請求項１に記載の物品認識装置。
  3. 前記処理部は、
    前記ディスプレイインターフェースを通じて前記ディスプレイに、前記第１の画像を表示し、前記第１の画像に前記第１の画像から抽出される前記物品領域を示す枠を表示する、
    前記請求項２に記載の物品認識装置。
  4. 操作を入力する操作部を備え、
    前記処理部は、前記所定のイベントとして、前記操作部を通じて所定の操作を受け付ける、
    前記請求項１に記載の物品認識装置。
  5. 前記処理部は、前記所定のイベントとして、所定のジェスチャーを受け付ける、
    前記請求項１に記載の物品認識装置。
  6. 前記処理部は、
    前記登録重量の前記合計と前記差分重量とが一致する場合、前記第２の画像の撮影時において前記所定の場所に物品があるか判定し、
    前記第２の画像の撮影時において前記所定の場所に物品があると判定すると、前記第２の画像を第１の画像とし前記第２の重量を前記第１の重量とし、所定のイベントを検知した後に前記画像インターフェースを通じて第２の画像を取得し、前記第１の画像から抽出される物品領域のうち前記第２の画像に存在しない物品の物品領域の画像に基づいて物品を認識し、認識した物品の登録重量を物品データベースから取得し、前記登録重量の合計と、前記第１の画像を撮影したときに前記重量計が計測する第１の重量と前記第２の画像を撮影したときに前記重量計が計測する第２の重量との差分重量と、が一致しない場合にエラーを出力する、
    前記請求項１に記載の物品認識装置。
  7. 前記物品データベースを含むメモリを備える、
    前記請求項１に記載の物品認識装置。
  8. 前記物品は、商品であり、
    前記処理部は、
    認識された物品に対応する価格を取得し、
    前記価格に基づいて認識された前記物品を決済する、
    前記請求項１に記載の物品認識装置。
  9. 前記処理部は、
    前記第１の画像と前記第２の画像との差分画像を生成し、前記差分画像に基づいてマスク画像を生成し、前記マスク画像に基づいて前記第１の画像から抽出される物品領域のうち前記第２の画像に存在しない物品の前記物品領域の画像を生成する、
    前記請求項１に記載の物品認識装置。
  10. 物品を認識する物品認識方法であって、
    複数の物品が配置された所定の場所を撮影した第１の画像を取得し、
    所定のイベントを検知した後に前記所定の場所を撮影した第２の画像を取得し、
    前記第１の画像から抽出される物品領域のうち前記第２の画像に存在しない物品の物品領域の画像に基づいて物品を認識し、
    認識した物品の登録重量を物品データベースから取得し、
    前記登録重量の合計と、前記第１の画像を撮影したときに前記所定の場所に配置された物品の重量を計測する重量計が計測する第１の重量と前記第２の画像を撮影したときに前記重量計が計測する第２の重量との差分重量と、が一致しない場合にエラーを出力する、
    物品認識方法。
JP2017245427A 2017-02-06 2017-12-21 物品認識装置及び物品認識方法 Active JP6999404B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/425,343 2017-02-06
US15/425,343 US10095939B2 (en) 2017-02-06 2017-02-06 Article recognition apparatus and article recognition method

Publications (2)

Publication Number Publication Date
JP2018129038A true JP2018129038A (ja) 2018-08-16
JP6999404B2 JP6999404B2 (ja) 2022-01-18

Family

ID=61167954

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017245427A Active JP6999404B2 (ja) 2017-02-06 2017-12-21 物品認識装置及び物品認識方法

Country Status (3)

Country Link
US (2) US10095939B2 (ja)
EP (1) EP3358499B1 (ja)
JP (1) JP6999404B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020064331A (ja) * 2018-10-15 2020-04-23 東芝テック株式会社 読取装置およびプログラム
JP2020119033A (ja) * 2019-01-18 2020-08-06 株式会社パン・パシフィック・インターナショナルホールディングス セルフレジシステム
JP2021068099A (ja) * 2019-10-21 2021-04-30 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 移載対象ワーク向き認識システム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10331969B2 (en) * 2016-10-28 2019-06-25 Ncr Corporation Image processing for scale zero validation
US20180225826A1 (en) * 2017-02-06 2018-08-09 Toshiba Tec Kabushiki Kaisha Article recognition apparatus and article recognition method
US10095939B2 (en) * 2017-02-06 2018-10-09 Toshiba Tec Kabushiki Kaisha Article recognition apparatus and article recognition method
CN109243114B (zh) * 2018-09-12 2021-02-12 西安城派信息科技有限公司 一种自动售货机
US11908287B2 (en) * 2018-10-17 2024-02-20 Supersmart Ltd. Imaging used to reconcile cart weight discrepancy
CN111126990B (zh) * 2018-11-01 2023-09-29 北京猎户星空科技有限公司 物品自动识别方法、结算方法、装置、终端及存储介质
CN111222388B (zh) * 2018-12-11 2023-09-19 图灵通诺（北京）科技有限公司 基于视觉识别的结算方法和系统
US10839181B1 (en) * 2020-01-07 2020-11-17 Zebra Technologies Corporation Method to synchronize a barcode decode with a video camera to improve accuracy of retail POS loss prevention
US11475235B2 (en) * 2020-05-15 2022-10-18 Equifax Inc. Clustering techniques for machine learning models
CN111988579B (zh) * 2020-08-31 2022-05-31 杭州海康威视系统技术有限公司 数据审核方法、系统和电子设备
US11580764B2 (en) * 2021-06-22 2023-02-14 Microsoft Technology Licensing, Llc. Self-supervised document-to-document similarity system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017091394A (ja) * 2015-11-16 2017-05-25 東芝テック株式会社 商品読取装置、店舗会計システム及びプログラム
JP2017123163A (ja) * 2016-01-06 2017-07-13 東芝テック株式会社 画像認識装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2602072B1 (fr) 1986-07-24 1990-08-10 Checkrobot Inc Dispositif d'enregistrement d'articles achetes dans un magasin en libre service sans intervention d'un operateur.
US6032128A (en) 1997-12-15 2000-02-29 Ncr Corporation Method and apparatus for detecting item placement and item removal during operation of a self-service checkout terminal
US7337960B2 (en) 2004-02-27 2008-03-04 Evolution Robotics, Inc. Systems and methods for merchandise automatic checkout
US7909248B1 (en) 2007-08-17 2011-03-22 Evolution Robotics Retail, Inc. Self checkout with visual recognition
US8061603B2 (en) 2008-03-20 2011-11-22 International Business Machines Corporation Controlling shopper checkout throughput
US9792480B2 (en) 2014-12-23 2017-10-17 Toshiba Tec Kabushiki Kaisha Image recognition apparatus, commodity information processing apparatus and image recognition method
US10095939B2 (en) * 2017-02-06 2018-10-09 Toshiba Tec Kabushiki Kaisha Article recognition apparatus and article recognition method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017091394A (ja) * 2015-11-16 2017-05-25 東芝テック株式会社 商品読取装置、店舗会計システム及びプログラム
JP2017123163A (ja) * 2016-01-06 2017-07-13 東芝テック株式会社 画像認識装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020064331A (ja) * 2018-10-15 2020-04-23 東芝テック株式会社 読取装置およびプログラム
JP7117969B2 (ja) 2018-10-15 2022-08-15 東芝テック株式会社 読取装置およびプログラム
JP2020119033A (ja) * 2019-01-18 2020-08-06 株式会社パン・パシフィック・インターナショナルホールディングス セルフレジシステム
JP2021068099A (ja) * 2019-10-21 2021-04-30 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 移載対象ワーク向き認識システム
JP7385424B2 (ja) 2019-10-21 2023-11-22 株式会社日立オートメーション 移載対象ワーク向き認識システム

Also Published As

Publication number Publication date
US20180225534A1 (en) 2018-08-09
US20190026583A1 (en) 2019-01-24
EP3358499A1 (en) 2018-08-08
US10095939B2 (en) 2018-10-09
US10460190B2 (en) 2019-10-29
EP3358499B1 (en) 2023-10-11
JP6999404B2 (ja) 2022-01-18

Similar Documents

Publication Publication Date Title
JP6999404B2 (ja) 物品認識装置及び物品認識方法
JP2022009909A (ja) 決済装置および決済処理プログラム
US9269005B2 (en) Commodity recognition apparatus and commodity recognition method
JP2017010535A (ja) 物品認識装置および画像処理方法
EP3352152A1 (en) Checkout apparatus and checkout method
US20140067574A1 (en) Information processing apparatus and information processing method
JP2018067307A (ja) 画像処理装置及び画像処理方法
JP2019046461A (ja) 物品認識装置、物品認識方法及び非一時的可読記憶媒体
US20150063638A1 (en) Commodity registration apparatus and commodity registration method
US20190139122A1 (en) Commodity-data processing apparatus, commodity-data processing system, and commodity-data processing program
EP3767538A1 (en) Sequential classification for commodity identification
CN107833403B (zh) 商品登记装置及商品登记方法、终端设备
US10776768B2 (en) Article recognition device and commodity settlement device
US10192136B2 (en) Image processing apparatus and image processing method
JP2018129037A (ja) 物品認識装置及び物品認識方法
US11651663B2 (en) Article recognition device
JP7006767B2 (ja) 画像識別レジ装置、画像識別レジシステム、会計処理方法、およびプログラム
JP7274644B2 (ja) 物品認識装置
US10963726B2 (en) Article recognition device
CN117765671A (zh) 销售数据处理装置、结账装置及存储介质
CN110619536A (zh) 物品识别装置
JP2019139711A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019139712A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211222

R150 Certificate of patent or registration of utility model

Ref document number: 6999404

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150