JP2018129037A - 物品認識装置及び物品認識方法 - Google Patents
物品認識装置及び物品認識方法 Download PDFInfo
- Publication number
- JP2018129037A JP2018129037A JP2017245423A JP2017245423A JP2018129037A JP 2018129037 A JP2018129037 A JP 2018129037A JP 2017245423 A JP2017245423 A JP 2017245423A JP 2017245423 A JP2017245423 A JP 2017245423A JP 2018129037 A JP2018129037 A JP 2018129037A
- Authority
- JP
- Japan
- Prior art keywords
- image
- article
- processor
- product
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0283—Price estimation or determination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Cash Registers Or Receiving Machines (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
【課題】物品が重なっている場合にも物品を認識することができる物品認識装置及び物品認識方法を提供する。【解決手段】実施形態によれば、物品認識装置は、画像インターフェースと、処理部と、を備える。画像インターフェースは、複数の物品が配置される所定の場所を撮影した画像を取得する。処理部は、前記画像インターフェースを通じて第1の画像を取得し、所定のイベントを検知した後に前記画像インターフェースを通じて第2の画像を取得し、前記第1の画像から抽出される物品領域のうち前記第2の画像に存在しない物品の物品領域の画像に基づいて物品を認識する。【選択図】図1
Description
本発明の実施形態は、物品認識装置及び物品認識方法に関する。
物品処理装置には、台上に配置される物品を撮影した画像に基づいて物品を認識するものがある。物品処理装置は、画像から物品がある物品領域を特定し、バーコードなどの読み取り又はオブジェクト認識などで物品領域の物品を認識する。
従来、物品処理装置は、複数の物品が重ねて設置される場合に、物品を認識することができないという課題がある。
上記の課題を解決するために、物品が重なっている場合にも物品を認識することができる物品認識装置及び物品認識方法を提供する。
実施形態によれば、物品認識装置は、画像インターフェースと、処理部と、を備える。画像インターフェースは、複数の物品が配置される所定の場所を撮影した画像を取得する。処理部は、前記画像インターフェースを通じて第1の画像を取得し、所定のイベントを検知した後に前記画像インターフェースを通じて第2の画像を取得し、前記第1の画像から抽出される物品領域のうち前記第2の画像に存在しない物品の物品領域の画像に基づいて物品を認識する。
以下、実施形態について、図面を参照して説明する。
まず、実施形態に係る決済装置について説明する。
図1は、実施形態に係る決済装置1の構成例を概略的に示す。
まず、実施形態に係る決済装置について説明する。
図1は、実施形態に係る決済装置1の構成例を概略的に示す。
決済装置1(物品認識装置)は、カゴ10内の商品(物品)について決済処理する。決済装置1は、商品を販売する店舗などに設置される。たとえば、決済装置1は、カゴ10が所定の位置に配置された場合又は所定の操作を受け付けた場合に、カゴ10内の商品について決済処理を実行する。決済装置1は、利用者が自ら決済処理を行うセルフレジとして設置されてもよい。また、決済装置1は、店舗の店員が決済処理をする通常のレジとして設置されてもよい。
図1が示すように、決済装置1は、筐体2、カメラ3、ディスプレイ4、操作部5及び重量計6などを備える。
筐体2は、決済装置1の外形を形成するフレームである。筐体2は、カゴ10を設置することができるように形成される。図1が示す例においては、筐体2は、コの字型であり、カゴ10を積載することができるように形成される。
筐体2は、決済装置1の外形を形成するフレームである。筐体2は、カゴ10を設置することができるように形成される。図1が示す例においては、筐体2は、コの字型であり、カゴ10を積載することができるように形成される。
カメラ3は、カゴ10内の商品を撮影する。図1が示す例においては、カメラ3は、カゴ10を上方から撮影するように設置される。カメラ3は、斜め上方からカゴ10内を撮影するように設置されてもよい。カメラ3が設置される位置及び向きは、特定の構成に限定されるものではない。
なお、決済装置1は、複数個のカメラ3を備えてもよい。この場合、複数のカメラ3は、それぞれ異なる位置及び角度でカゴ10内の商品を撮影するように設置されてもよい。
なお、決済装置1は、複数個のカメラ3を備えてもよい。この場合、複数のカメラ3は、それぞれ異なる位置及び角度でカゴ10内の商品を撮影するように設置されてもよい。
たとえば、カメラ3は、CCDカメラなどである。また、カメラ3は、不可視光を撮影するものであってもよい。カメラ3の構成は、特定の構成に限定されるものではない。
ディスプレイ4は、後述するプロセッサ21が出力する画像を表示する表示装置である。ディスプレイ4は、たとえば、液晶モニタなどである。
ディスプレイ4は、後述するプロセッサ21が出力する画像を表示する表示装置である。ディスプレイ4は、たとえば、液晶モニタなどである。
操作部5は、決済装置1の利用者によって、種々の操作指示が入力される。操作部5は、操作者に入力された操作指示のデータをプロセッサ21へ送信する。操作部5は、たとえば、キーボード、テンキー、及び、タッチパネルなどである。また、操作部5は、利用者からジェスチャーの入力を受け付けてもよい。
ここでは、操作部5は、タッチパネルであり、ディスプレイ4と一体的に形成されているものとする。
ここでは、操作部5は、タッチパネルであり、ディスプレイ4と一体的に形成されているものとする。
重量計6は、商品の重量を計測する。重量計6は、カゴ10が設置される面に形成される。たとえば、重量計6は、カゴ10とカゴ10内にある商品との重量を計測する。重量計6は、計測した重量をプロセッサ21へ送信する。なお、重量計6は、予め設定されたカゴ10の重量を減算した値をプロセッサ21へ送信してもよい。
なお、カメラ3、ディスプレイ4、操作部5又は重量計6は、筐体2と一体的に形成されてもよい。
また、決済装置1は、カゴ10内の商品を照らす照明などを備えてもよい。
また、決済装置1は、カゴ10内の商品を照らす照明などを備えてもよい。
次に、決済装置1の構成例について説明する。
図2は、決済装置1の構成例を示すブロック図である。
図2が示すように、決済装置1は、カメラ3、ディスプレイ4、操作部5、重量計6、プロセッサ21、ROM22、RAM23、NVM24、カメラインターフェース25、ディスプレイインターフェース26、操作部インターフェース27及び重量インターフェース28などを備える。プロセッサ21と、ROM22、RAM23、NVM24、カメラインターフェース25、ディスプレイインターフェース26、操作部インターフェース27及び重量インターフェース28とは、データバスなどを介して互いに接続される。
図2は、決済装置1の構成例を示すブロック図である。
図2が示すように、決済装置1は、カメラ3、ディスプレイ4、操作部5、重量計6、プロセッサ21、ROM22、RAM23、NVM24、カメラインターフェース25、ディスプレイインターフェース26、操作部インターフェース27及び重量インターフェース28などを備える。プロセッサ21と、ROM22、RAM23、NVM24、カメラインターフェース25、ディスプレイインターフェース26、操作部インターフェース27及び重量インターフェース28とは、データバスなどを介して互いに接続される。
カメラインターフェース25とカメラ3とは、データバスなどを介して互いに接続される。ディスプレイインターフェース26とディスプレイ4とは、データバスなどを介して互いに接続される。操作部インターフェース27と操作部5とは、データバスなどを介して互いに接続される。重量インターフェース28と重量計6とは、データバスなどを介して互いに接続される。
なお、決済装置1は、図2が示すような構成の他に必要に応じた構成を具備したり、特定の構成を除外したりしてもよい。
なお、決済装置1は、図2が示すような構成の他に必要に応じた構成を具備したり、特定の構成を除外したりしてもよい。
カメラ3、ディスプレイ4、操作部5及び重量計6は、前述の通りである。
プロセッサ21(処理部)は、決済装置1全体の動作を制御する機能を有する。プロセッサ21は、内部キャッシュおよび各種のインターフェースなどを備えても良い。プロセッサ21は、内部メモリ又はNVM24などに予め記憶したプログラムを実行することにより種々の処理を実現する。プロセッサ21は、たとえば、CPUである。
プロセッサ21(処理部)は、決済装置1全体の動作を制御する機能を有する。プロセッサ21は、内部キャッシュおよび各種のインターフェースなどを備えても良い。プロセッサ21は、内部メモリ又はNVM24などに予め記憶したプログラムを実行することにより種々の処理を実現する。プロセッサ21は、たとえば、CPUである。
なお、プロセッサ21がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであっても良い。この場合、プロセッサ21は、ハードウエア回路により実行される機能を制御する。
ROM22は、予め制御用のプログラム及び制御データなどを記憶する不揮発性のメモリである。ROM22は、製造段階で制御プログラム及び制御データなどを記憶した状態で決済装置1に組み込まれる。即ち、ROM22に記憶される制御プログラム及び制御データは、予め決済装置1の仕様に応じて組み込まれる。
RAM23は、揮発性のメモリである。RAM23は、プロセッサ21の処理中のデータなどを一時的に格納する。RAM23は、プロセッサ21からの命令に基づき種々のアプリケーションプログラムを格納している。また、RAM23は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
NVM24は、例えば、EEPROM(登録商標)あるいはフラッシュROMなどのデータの書き込み及び書換えが可能な不揮発性のメモリにより構成される。NVM24は、決済装置1の運用用途に応じて制御プログラム、アプリケーション、及び種々のデータを格納する。例えば、NVM24では、プログラムファイル及びデータファイルなどが作成される。作成された各ファイルは、制御プログラム及び種々のデータなどが書き込まれる。
NVM24は、予め商品データベースを格納する。商品データベースは、商品に関する情報を格納する。商品データベースは、商品コードと商品の重量と対応付けて格納する。商品コードは、商品を特定する情報である。たとえば、商品コードは、数字、文字、記号又はそれらの組合せである。商品の重量は、対応する商品コードが示す商品の重量である。
なお、商品データベースは、さらに、商品名及び価格などを備えてもよい。商品データベースの構成は、特定の構成に限定されるものではない。たとえば、プロセッサ21は、外部装置から商品データベースを取得し、NVM24に格納する。NVM24は、プロセッサ21からの信号に従って適宜商品データベースを更新してもよい。
カメラインターフェース25は、プロセッサ21がカメラ3と通信するためのインターフェースである。たとえば、プロセッサ21は、カメラインターフェース25を通じて、カメラ3に画像を取得させる信号を送信する。また、プロセッサ21は、カメラインターフェース25を通じて撮影のためのカメラパラメータをカメラ3に設定してもよい。
また、カメラインターフェース25(画像インターフェース)は、カメラ3が撮影した画像を取得する。カメラインターフェース25は、取得した画像をプロセッサ21へ送信する。プロセッサ21は、カメラインターフェース25からカメラ3が撮影した画像を取得する。
ディスプレイインターフェース26は、プロセッサ21がディスプレイ4と通信するためのインターフェースである。たとえば、プロセッサ21は、ディスプレイインターフェース26を通じて、ディスプレイ4に表示画面を送信する。
操作部インターフェース27は、プロセッサ21が操作部5と通信するためのインターフェースである。たとえば、プロセッサ21は、操作部インターフェース27を通じて、操作部5に入力された操作を示す信号を受信する。
重量インターフェース28は、プロセッサ21が重量計6と通信するためのインターフェースである。たとえば、プロセッサ21は、重量インターフェース28を通じて、重量計6から、重量計6が測定した重量を示す信号を受信する。
次に、プロセッサ21が実現する機能について説明する。
まず、プロセッサ21は、複数の商品が配置された所定の場所を撮影した画像を取得する機能を有する。ここでは、プロセッサ21は、カゴ10内にある複数の商品を撮影した画像を取得する。
まず、プロセッサ21は、複数の商品が配置された所定の場所を撮影した画像を取得する機能を有する。ここでは、プロセッサ21は、カゴ10内にある複数の商品を撮影した画像を取得する。
たとえば、プロセッサ21は、所定の領域のカゴ10が配置されたことを検知する。たとえば、プロセッサ21は、重量計6からの信号に基づいて重量計6にカゴ10が配置されたことを検知する。
プロセッサ21は、カゴ10が配置されたことを検知すると、カゴ10内にある複数の商品を含む画像(第1の画像)を撮影する。たとえば、プロセッサ21は、カメラ3に対して撮影を行う信号を送信する。プロセッサ21は、カメラ3から第1の画像を取得する。なお、プロセッサ21は、画像を撮影するために、撮影パラメータをカメラ3に設定してもよい。
なお、プロセッサ21は、外部装置から第1の画像を取得してもよい。
なお、プロセッサ21は、外部装置から第1の画像を取得してもよい。
図3は、カメラ3が撮影した第1の画像の例を示す。
図3が示す例では、第1の画像は、商品31乃至34の画像を含む。図3が示すように、商品31は、商品33の上に重なる。また、商品32は、商品34の上に重なる。商品31及び32は、商品が上部に見える状態に配置される。また、商品33及び34は、認識可能な程度には上部に露出していない。
図3が示す例では、第1の画像は、商品31乃至34の画像を含む。図3が示すように、商品31は、商品33の上に重なる。また、商品32は、商品34の上に重なる。商品31及び32は、商品が上部に見える状態に配置される。また、商品33及び34は、認識可能な程度には上部に露出していない。
また、プロセッサ21は、重量計6を用いてカゴ10内の商品の重量を取得する機能を有する。たとえば、プロセッサ21は、重量計6から重量を示す信号を受信する。プロセッサ21は、信号が示す重量(第1の重量)を取得する。図3が示す例では、プロセッサ21は、商品31乃至34の重量(又は、さらにカゴ10の重量)を取得する。
また、プロセッサ21は、第1の画像から商品の画像領域である商品領域(物品領域)を抽出する機能を有する。
たとえば、プロセッサ21は、第1の画像に基づいて商品領域を抽出する。たとえば、プロセッサ21は、エッジ検出などを行い第1の画像から商品領域を抽出する。
たとえば、プロセッサ21は、第1の画像に基づいて商品領域を抽出する。たとえば、プロセッサ21は、エッジ検出などを行い第1の画像から商品領域を抽出する。
なお、プロセッサ21は、所定の位置から第1の画像の各部への距離を示す距離情報から商品領域を抽出してもよい。たとえば、決済装置1は、距離センサなどを備えてもよい。
プロセッサ21が商品領域を抽出する方法は、特定の方法に限定されるものではない。
プロセッサ21が商品領域を抽出する方法は、特定の方法に限定されるものではない。
また、プロセッサ21は、抽出した商品領域をユーザへ提示する機能を有する。たとえば、プロセッサ21は、ディスプレイ4に商品領域を表示する。たとえば、プロセッサ21は、第1の画像を表示する。プロセッサ21は、第1の画像に商品領域を示す情報を合わせて表示する。ここでは、プロセッサ21は、商品領域を示す枠を表示するものとする。
図4は、プロセッサ21が商品領域を提示するために表示する表示画面の例を示す。ここでは、プロセッサ21は、商品31及び32の画像領域を商品領域として抽出したものとする。
図4が示すように、プロセッサ21は、第1の画像に枠31A及び枠32Aを表示する。枠31Aは、商品31の商品領域を示す。枠32Aは、商品32の商品領域を示す。
図4が示すように、プロセッサ21は、第1の画像に枠31A及び枠32Aを表示する。枠31Aは、商品31の商品領域を示す。枠32Aは、商品32の商品領域を示す。
なお、ここで、プロセッサ21は、抽出した商品領域内の商品をカゴ10から取り出すことを促す案内を表示してもよい。図4が示す例では、プロセッサ21は、枠31A及び枠32A内の商品を取り出すことを示す案内をディスプレイ4などに表示する。たとえば、プロセッサ21は、「枠で囲まれた商品をカゴから出してレジ袋またはマイバックに入れて下さい」などのメッセージを表示する。
また、プロセッサ21は、商品領域内の商品の取出が完了したことを示す所定のイベントを検知する機能を有する。
たとえば、プロセッサ21は、所定のイベントとして、商品の取出が完了したことを入力する操作(完了操作)を受け付ける。図4が示す例では、プロセッサ21は、アイコン41を表示する。アイコン41は、商品領域内の商品の取出が完了したことを入力するためのアイコンである。たとえば、プロセッサ21は、アイコン41へのタッチを完了操作として受け付ける。
たとえば、プロセッサ21は、所定のイベントとして、商品の取出が完了したことを入力する操作(完了操作)を受け付ける。図4が示す例では、プロセッサ21は、アイコン41を表示する。アイコン41は、商品領域内の商品の取出が完了したことを入力するためのアイコンである。たとえば、プロセッサ21は、アイコン41へのタッチを完了操作として受け付ける。
なお、プロセッサ21は、所定のイベントとして、所定のジェスチャーなどを完了操作として受け付けてもよい。
また、プロセッサ21は、重量計6が計測する重量が一定時間変化しないことを所定のイベントとして検知してもよい。また、プロセッサ21は、カメラ3で撮影した画像に基づいて所定のイベントを検知してもよい。プロセッサ21が所定のイベントを検知する方法は、特定の方法に限定されるものではない。
また、プロセッサ21は、重量計6が計測する重量が一定時間変化しないことを所定のイベントとして検知してもよい。また、プロセッサ21は、カメラ3で撮影した画像に基づいて所定のイベントを検知してもよい。プロセッサ21が所定のイベントを検知する方法は、特定の方法に限定されるものではない。
プロセッサ21は、所定のイベントを検知すると、再度、所定の場所を撮影した画像を取得する機能を有する。
プロセッサ21は、所定のイベントを検知すると、カメラ3を用いてカゴ10内の商品を含む画像(第2の画像)を撮影する。
なお、プロセッサ21は、外部装置から第2の画像を取得してもよい。
プロセッサ21は、所定のイベントを検知すると、カメラ3を用いてカゴ10内の商品を含む画像(第2の画像)を撮影する。
なお、プロセッサ21は、外部装置から第2の画像を取得してもよい。
図5は、カメラ3が撮影した第2の画像の例を示す。ここでは、ユーザは、商品31及び32を取り出したものとする。
図5が示す例では、第2の画像は、商品33及び34の画像を含む。即ち、図5が示す例では、商品31及び32が取り出されて、商品31及び32の下にあった商品33及び34が露出する。
図5が示す例では、第2の画像は、商品33及び34の画像を含む。即ち、図5が示す例では、商品31及び32が取り出されて、商品31及び32の下にあった商品33及び34が露出する。
また、プロセッサ21は、所定のイベントを検知すると、重量計6を用いてカゴ10内の商品の重量を取得する機能を有する。
プロセッサ21は、重量計6を用いてカゴ10内の商品の重量(第2の重量)を取得する。
プロセッサ21は、重量計6を用いてカゴ10内の商品の重量(第2の重量)を取得する。
また、プロセッサ21は、第1の画像と第2の画像とに基づいて、抽出された商品領域であってユーザが取り出した商品(即ち、第2の画像に存在しない商品)の商品領域の画像(Region Of Interest画像(ROI画像))を生成する機能を有する。
たとえば、プロセッサ21は、第1の画像と第2の画像との差分画像を生成する。たとえば、プロセッサ21は、第1の画像の画素値から第2の画像の画素値を減算して差分画像を生成する。
たとえば、プロセッサ21は、第1の画像と第2の画像との差分画像を生成する。たとえば、プロセッサ21は、第1の画像の画素値から第2の画像の画素値を減算して差分画像を生成する。
差分画像を生成すると、プロセッサ21は、差分画像から、商品領域を抽出するためのマスク画像を生成する。たとえば、プロセッサ21は、差分画像の画素値が所定の閾値以上であれば画素値を1とし画素値が所定の閾値未満であれば画素値を0とし、マスク画像を生成する。マスク画像において、第1画像と第2画像との差分が大きい位置の画素値は、1であり、差分が小さい位置の画素値は、0である。即ち、マスク画像は、ユーザが取り出した商品の商品領域において画素値を1とし、他の領域において画素値を0とする。
マスク画像を生成すると、プロセッサ21は、第1の画像とマスク画像とに基づいてROI画像(物品領域画像)を生成する。たとえば、プロセッサ21は、第1の画像の画素値とマスク画像の画素値を積算してROI画像を抽出する。ROI画像は、第1の画像と第2の画像との差分が所定の閾値以上の画素位置において、第1の画像の画素値に等しい画素値を有し、他の画素位置において画素値として0を有する。
図6は、ROI画像の例を示す。
図6が示すROI画像は、図3が示す第1の画像と図5が示す第2の画像とに基づいて抽出されたものである。従って、図6が示す例では、ROI画像は、商品31及び32の画像である。
図6が示すROI画像は、図3が示す第1の画像と図5が示す第2の画像とに基づいて抽出されたものである。従って、図6が示す例では、ROI画像は、商品31及び32の画像である。
また、プロセッサ21は、ROI画像に基づいて1つ又は複数の商品を認識する機能を有する。ここでは、プロセッサ21は、商品の認識として商品を示す商品コードを取得するものとする。
たとえば、プロセッサ21は、ROI画像から、商品を示す商品コードをエンコードしたバーコードなどを読み取る。たとえば、プロセッサ21は、ROI画像をラスタスキャンしてバーコードを読み取る。
また、プロセッサ21は、オブジェクト認識を用いて商品コードを取得してもよい。たとえば、プロセッサ21は、予め登録された辞書又は商品画像などに基づいてオブジェクト認識を行う。
なお、プロセッサ21は、まずバーコードを読み取り、バーコードの読み取りに失敗した場合にオブジェクト認識を行ってもよい。
プロセッサ21が商品を認識する方法は、特定の方法に限定されるものではない。
図6が示す例では、プロセッサ21は、商品31及び32を認識する。
プロセッサ21が商品を認識する方法は、特定の方法に限定されるものではない。
図6が示す例では、プロセッサ21は、商品31及び32を認識する。
プロセッサ21は、認識した商品に予め登録された重量(登録重量)を取得する機能を有する。
たとえば、プロセッサ21は、商品データベースを参照して、認識した商品の商品コードに対応する商品の重量を商品の登録重量として取得する。
なお、プロセッサ21は、外部装置から商品の登録重量を取得してもよい。
たとえば、プロセッサ21は、商品データベースを参照して、認識した商品の商品コードに対応する商品の重量を商品の登録重量として取得する。
なお、プロセッサ21は、外部装置から商品の登録重量を取得してもよい。
また、プロセッサ21は、第1の重量と第2の重量との差分重量を算出する機能を有する。たとえば、プロセッサ21は、第1の重量から第2の重量を減算して差分重量を算出する。
また、プロセッサ21は、商品の登録重量の合計(合計重量)が差分重量と一致するか判定する機能を有する。
たとえば、プロセッサ21は、合計重量と差分重量との差異が所定の閾値以下であれば両者が一致すると判定する。所定の閾値は、予め設定されてもよい。また、所定の閾値は、合計重量に所定の比率を積算して算出される値であってもよい。
たとえば、プロセッサ21は、合計重量と差分重量との差異が所定の閾値以下であれば両者が一致すると判定する。所定の閾値は、予め設定されてもよい。また、所定の閾値は、合計重量に所定の比率を積算して算出される値であってもよい。
また、プロセッサ21は、合計重量が差分重量と一致すると判定すると、第2の画像の撮影時においてカゴ10が空になったか判定する機能を有する。
たとえば、プロセッサ21は、重量計6が計測する重量に基づいてカゴ10が空になったか判定する。たとえば、プロセッサ21は、重量計6が測定する商品の重量が0になるとカゴ10が空になったと判定してもよい。また、プロセッサ21は、第2の画像に基づいてカゴ10が空になったか判定してもよい。
たとえば、プロセッサ21は、重量計6が計測する重量に基づいてカゴ10が空になったか判定する。たとえば、プロセッサ21は、重量計6が測定する商品の重量が0になるとカゴ10が空になったと判定してもよい。また、プロセッサ21は、第2の画像に基づいてカゴ10が空になったか判定してもよい。
また、プロセッサ21は、カゴ10が空でないと判定すると、カゴ10内の商品を再度認識する。たとえば、プロセッサ21は、第2の画像及び第2の重量をそれぞれ第1の画像及び第1の重量とする。たとえば、プロセッサ21は、第2の画像及び第2の重量をそれぞれ第1の画像を格納するメモリ及び第1の重量を格納するメモリに上書きする。
たとえば、プロセッサ21は、第1の画像(もともと第2の画像)から商品領域を抽出する。プロセッサ21は、商品領域を抽出すると、抽出された商品領域をディスプレイ4に表示する。
図7は、プロセッサ21が商品領域を提示するために表示する表示画面の例を示す。ここでは、プロセッサ21は、商品33及び34の画像領域を商品領域として抽出したものとする。
図7が示すように、プロセッサ21は、第1の画像に枠33A及び枠34Aを表示する。枠33Aは、商品33の商品領域を示す。枠34Aは、商品34の商品領域を示す。ここで、ユーザは、商品33及び34をカゴ10から取り出し、アイコン41へタッチするものとする。
プロセッサ21は、アイコン41へのタッチを受け付けると、カメラ3を用いて第2の画像を撮影する。ここでは、第2の画像は、何の商品の画像を含まないものとする。また、プロセッサ21は、重量計6を用いて第2の重量を取得する。
プロセッサ21は、第1の画像と第2の画像とに基づいてROI画像を生成する。ここでは、ROI画像は、商品33及び34の画像である。
プロセッサ21は、ROI画像に基づいて商品を認識する。商品を認識すると、プロセッサ21は、商品の登録重量を取得し合計重量を算出する。商品の合計重量を算出すると、プロセッサ21は、第1の重量と第2の重量とに基づいて差分重量を算出する。差分重量を算出すると、プロセッサ21は、合計重量が差分重量と一致するか判定する。プロセッサ21は、合計重量が差分重量と一致すると判定すると、カゴ10が空になったか再度判定する。
また、プロセッサ21は、カゴ10が空であると判定すると、認識された商品を決済する機能を有する。
たとえば、プロセッサ21は、商品データベースなどを参照して、認識された商品の価格を取得する。プロセッサ21は、取得された価格の合計(合計額)に基づいて商品を決済する。たとえば、プロセッサ21は、ユーザのクレジットカード情報などを用いて商品を決済する。たとえば、プロセッサ21は、購入者が所持するカードからカードリーダを通じてクレジット情報の入力を受け付けてもよい。また、プロセッサ21は、カメラなどを用いて購入者の画像を取得し、当該画像に対応するクレジット情報を取得してもよい。また、プロセッサ21は、ユーザから現金を収受して商品を決済してもよい。また、プロセッサ21は、カードからSF(Stored Fare)情報を取得し、当該SF情報に基づいて商品を決済してもよい。
なお、プロセッサ21は、外部装置から商品の価格を取得してもよい。また、プロセッサ21は、合計額を外部装置へ送信してもよい。
たとえば、プロセッサ21は、商品データベースなどを参照して、認識された商品の価格を取得する。プロセッサ21は、取得された価格の合計(合計額)に基づいて商品を決済する。たとえば、プロセッサ21は、ユーザのクレジットカード情報などを用いて商品を決済する。たとえば、プロセッサ21は、購入者が所持するカードからカードリーダを通じてクレジット情報の入力を受け付けてもよい。また、プロセッサ21は、カメラなどを用いて購入者の画像を取得し、当該画像に対応するクレジット情報を取得してもよい。また、プロセッサ21は、ユーザから現金を収受して商品を決済してもよい。また、プロセッサ21は、カードからSF(Stored Fare)情報を取得し、当該SF情報に基づいて商品を決済してもよい。
なお、プロセッサ21は、外部装置から商品の価格を取得してもよい。また、プロセッサ21は、合計額を外部装置へ送信してもよい。
また、プロセッサ21は、合計重量が差分重量と一致しないと判定すると、商品認識に失敗したことを示すエラーを出力する機能を有する。たとえば、プロセッサ21は、ユーザに対して決済処理をやり直させる、有人のレジにて決済処理を行わせる、又は、店員を呼ばせるなどの代替行動を促すメッセージを表示する。なお、プロセッサ21は、エラーを外部装置へ送信してもよい。
次に、決済装置1の動作例について説明する。
図8及び図9は、決済装置1の動作例を説明するためのフローチャートである。
まず、決済装置1のプロセッサ21は、重量計6にカゴ10が配置されたか判定する(ACT11)。重量計6にカゴ10が配置されていないと判定すると(ACT11、NO)、プロセッサ21は、ACT11に戻る。
図8及び図9は、決済装置1の動作例を説明するためのフローチャートである。
まず、決済装置1のプロセッサ21は、重量計6にカゴ10が配置されたか判定する(ACT11)。重量計6にカゴ10が配置されていないと判定すると(ACT11、NO)、プロセッサ21は、ACT11に戻る。
重量計6にカゴ10が配置されたと判定すると(ACT11、YES)、プロセッサ21は、カメラ3を用いて第1の画像を取得する(ACT12)。第1の画像を取得すると、プロセッサ21は、重量計6を用いて第1の重量を取得する(ACT13)。
第1の重量を取得すると、プロセッサ21は、第1の画像から商品領域を抽出する(ACT14)。商品領域を抽出すると、プロセッサ21は、ディスプレイ4に商品領域を表示する(ACT15)。商品領域を表示すると、プロセッサ21は、所定のイベントを検知したか判定する(ACT16)。
所定のイベントを検知していないと判定すると(ACT16、NO)、プロセッサ21は、ACT16に戻る。
所定のイベントを検知したと判定すると(ACT16、YES)、プロセッサ21は、カメラ3を用いて第2の画像を取得する(ACT17)。第2の画像を取得すると、プロセッサ21は、重量計6を用いて第2の重量を取得する(ACT18)。
所定のイベントを検知したと判定すると(ACT16、YES)、プロセッサ21は、カメラ3を用いて第2の画像を取得する(ACT17)。第2の画像を取得すると、プロセッサ21は、重量計6を用いて第2の重量を取得する(ACT18)。
第2の重量を取得すると、プロセッサ21は、第1の画像と第2の画像とに基づいてマスク画像を生成する(ACT19)。マスク画像を生成すると、プロセッサ21は、第1の画像とマスク画像とに基づいてROI画像を生成する(ACT20)。
ROI画像を生成すると、プロセッサ21は、ROI画像に基づいて商品を認識する(ACT21)。商品を認識すると、プロセッサ21は、認識された商品の登録重量を取得する(ACT22)。登録重量を取得すると、プロセッサ21は、第1の重量と第2の重量とに基づいて差分重量を算出する(ACT23)。
差分重量を算出すると、プロセッサ21は、登録重量の合計が差分重量と一致するか判定する(ACT24)。登録重量の合計が差分重量と一致すると判定すると(ACT24、YES)、プロセッサ21は、カゴ10が空であるか判定する(ACT25)。
カゴ10が空でないと判定すると(ACT25、NO)、プロセッサ21は、第2の画像を第1の画像とする(ACT26)。第2の画像を第1の画像とすると、プロセッサ21は、第2の重量を第1の重量とする(ACT27)。第2の重量を第1の重量とすると、プロセッサ21は、ACT14に戻る。
カゴ10が空であると判定すると(ACT25、YES)、プロセッサ21は、認識された商品を決済する(ACT28)。
登録重量の合計が差分重量と一致しないと判定すると(ACT24、NO)、プロセッサ21は、エラーを出力する(ACT29)。
認識した商品を決済した場合(ACT28)、又は、エラーを出力した場合(ACT29)、プロセッサ21は、動作を終了する。
登録重量の合計が差分重量と一致しないと判定すると(ACT24、NO)、プロセッサ21は、エラーを出力する(ACT29)。
認識した商品を決済した場合(ACT28)、又は、エラーを出力した場合(ACT29)、プロセッサ21は、動作を終了する。
なお、プロセッサ21は、決済処理(ACT28)を行わなくともよい。プロセッサ21は、認識された商品を示す情報(たとえば、商品コード)を外部装置へ送信してもよい。
また、プロセッサ21は、商品以外の物品を認識してもよい。プロセッサ21が認識する対象は、特定の構成に限定されるものではない。
また、プロセッサ21は、抽出された商品領域以外の領域から商品が取り出された場合には、エラーを出力してもよい。
また、プロセッサ21は、商品以外の物品を認識してもよい。プロセッサ21が認識する対象は、特定の構成に限定されるものではない。
また、プロセッサ21は、抽出された商品領域以外の領域から商品が取り出された場合には、エラーを出力してもよい。
以上のように構成された決済装置は、重ねて配置された商品のうち上部の商品を認識する。また、決済装置は、ユーザに認識可能な上部の商品を取り出すことを促し、下部の商品を露出させる。決済装置は、下部の商品を認識する。決済装置は、同様の動作を商品がなくなるまで継続する。その結果、決済装置は、重ねて配置された商品を効果的に認識することができる。
また、決済装置は、ユーザが商品を取り出した後に、取り出された商品の画像であるROI画像に基づいて取り出された商品の認識処理を行う。そのため、決済装置は、認識可能な上部の商品のうち、実際に取り出された商品を検知することができる。その結果、決済装置は、商品を認識した後に商品が取り出される方式に比べて、認識されていない商品をユーザが取り出すなどの不正行為を防止することができる。
また、決済装置は、予め登録された商品の重量が取り出された商品の重量と一致する場合に認識処理を継続する。その結果、決済処理は、認識されていない商品をユーザが取り出すなどの不正行為を防止することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…決済装置、2…筐体、3…カメラ、4…ディスプレイ、5…操作部、6…重量計、10…カゴ、21…プロセッサ、24…NVM、25…カメラインターフェース、26…ディスプレイインターフェース、27…操作部インターフェース、28…重量インターフェース、31乃至34…商品、31A乃至34A…枠、41…アイコン。
Claims (10)
- 物品を認識する物品認識装置であって、
複数の物品が配置される所定の場所を撮影した画像を取得する画像インターフェースと、
前記画像インターフェースを通じて第1の画像を取得し、
所定のイベントを検知した後に前記画像インターフェースを通じて第2の画像を取得し、
前記第1の画像から抽出される物品領域のうち前記第2の画像に存在しない物品の物品領域の画像に基づいて物品を認識する、
処理部と、
を備える物品認識装置。 - ディスプレイと通信するディスプレイインターフェースを備え、
前記処理部は、
前記ディスプレイインターフェースを通じて前記ディスプレイに、前記第1の画像から抽出される前記物品領域を表示する、
前記請求項1に記載の物品認識装置。 - 前記処理部は、
前記ディスプレイインターフェースを通じて前記ディスプレイに、前記第1の画像を表示し、前記第1の画像に前記第1の画像から抽出される前記物品領域を示す枠を表示する、
前記請求項2に記載の物品認識装置。 - 操作を入力する操作部を備え、
前記処理部は、前記所定のイベントとして、前記操作部を通じて所定の操作を受け付ける、
前記請求項1に記載の物品認識装置。 - 前記処理部は、前記所定のイベントとして、所定のジェスチャーを受け付ける、
前記請求項1に記載の物品認識装置。 - 前記処理部は、
第2の画像の撮影時において前記所定の場所に物品があるか判定し、
第2の画像の撮影時において前記所定の場所に物品があると判定すると、前記第2の画像を第1の画像とし、所定のイベントを検知した後に前記所定の場所を撮影した第2の画像を取得し、前記第1の画像から抽出される物品領域のうち前記第2の画像に存在しない物品の物品領域の画像に基づいて物品を認識する、
前記請求項1に記載の物品認識装置。 - 前記物品は、商品であり、
前記処理部は、
認識された物品に対応する価格を取得し、
前記価格に基づいて認識された物品を決済する、
前記請求項1に記載の物品認識装置。 - 前記処理部は、
前記第1の画像と前記第2の画像との差分画像を生成し、前記差分画像に基づいてマスク画像を生成し、前記マスク画像に基づいて前記第1の画像から抽出される物品領域のうち前記第2の画像に存在しない物品の前記物品領域の画像を生成する、
前記請求項1に記載の物品認識装置。 - 前記処理部は、
前記差分画像の画素値が所定の閾値以上であると前記マスク画像の画素値を1とし前記所定の閾値未満であると前記マスク画像の画素値を0として、前記マスク画像を生成する、
前記請求項8に記載の物品認識装置。 - 物品を認識する物品認識方法であって、
複数の物品が配置された所定の場所を撮影した第1の画像を取得し、
所定のイベントを検知した後に前記所定の場所を撮影した第2の画像を取得し、
前記第1の画像から抽出される物品領域のうち前記第2の画像に存在しない物品の物品領域の画像に基づいて物品を認識する、
物品認識方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/425,292 US20180225826A1 (en) | 2017-02-06 | 2017-02-06 | Article recognition apparatus and article recognition method |
US15/425,292 | 2017-02-06 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018129037A true JP2018129037A (ja) | 2018-08-16 |
Family
ID=61167955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017245423A Pending JP2018129037A (ja) | 2017-02-06 | 2017-12-21 | 物品認識装置及び物品認識方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180225826A1 (ja) |
EP (1) | EP3358503A1 (ja) |
JP (1) | JP2018129037A (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6032128A (en) * | 1997-12-15 | 2000-02-29 | Ncr Corporation | Method and apparatus for detecting item placement and item removal during operation of a self-service checkout terminal |
US7337960B2 (en) * | 2004-02-27 | 2008-03-04 | Evolution Robotics, Inc. | Systems and methods for merchandise automatic checkout |
US7516888B1 (en) * | 2004-06-21 | 2009-04-14 | Stoplift, Inc. | Method and apparatus for auditing transaction activity in retail and other environments using visual recognition |
US7631808B2 (en) * | 2004-06-21 | 2009-12-15 | Stoplift, Inc. | Method and apparatus for detecting suspicious activity using video analysis |
US7909248B1 (en) * | 2007-08-17 | 2011-03-22 | Evolution Robotics Retail, Inc. | Self checkout with visual recognition |
US8061603B2 (en) * | 2008-03-20 | 2011-11-22 | International Business Machines Corporation | Controlling shopper checkout throughput |
US9792480B2 (en) * | 2014-12-23 | 2017-10-17 | Toshiba Tec Kabushiki Kaisha | Image recognition apparatus, commodity information processing apparatus and image recognition method |
US9942473B2 (en) * | 2016-06-16 | 2018-04-10 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Apparatuses and methods for capture of expected data in visual media |
US10095939B2 (en) * | 2017-02-06 | 2018-10-09 | Toshiba Tec Kabushiki Kaisha | Article recognition apparatus and article recognition method |
-
2017
- 2017-02-06 US US15/425,292 patent/US20180225826A1/en not_active Abandoned
- 2017-12-21 JP JP2017245423A patent/JP2018129037A/ja active Pending
-
2018
- 2018-02-06 EP EP18155261.3A patent/EP3358503A1/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
US20180225826A1 (en) | 2018-08-09 |
EP3358503A1 (en) | 2018-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6999404B2 (ja) | 物品認識装置及び物品認識方法 | |
JP2017010535A (ja) | 物品認識装置および画像処理方法 | |
EP3352152A1 (en) | Checkout apparatus and checkout method | |
US20140067574A1 (en) | Information processing apparatus and information processing method | |
JP2018067307A (ja) | 画像処理装置及び画像処理方法 | |
JP2019046461A (ja) | 物品認識装置、物品認識方法及び非一時的可読記憶媒体 | |
CN107833403B (zh) | 商品登记装置及商品登记方法、终端设备 | |
EP3767538A1 (en) | Sequential classification for commodity identification | |
US20190139122A1 (en) | Commodity-data processing apparatus, commodity-data processing system, and commodity-data processing program | |
US20180308084A1 (en) | Commodity information reading device and commodity information reading method | |
US10776768B2 (en) | Article recognition device and commodity settlement device | |
US10192136B2 (en) | Image processing apparatus and image processing method | |
JP2018129037A (ja) | 物品認識装置及び物品認識方法 | |
US11651663B2 (en) | Article recognition device | |
JP7006767B2 (ja) | 画像識別レジ装置、画像識別レジシステム、会計処理方法、およびプログラム | |
JP7274644B2 (ja) | 物品認識装置 | |
US10963726B2 (en) | Article recognition device | |
CN117765671A (zh) | 销售数据处理装置、结账装置及存储介质 | |
CN110619536A (zh) | 物品识别装置 | |
JP2019139711A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2019139712A (ja) | 情報処理装置、情報処理方法、およびプログラム |