JP2019046461A - 物品認識装置、物品認識方法及び非一時的可読記憶媒体 - Google Patents

物品認識装置、物品認識方法及び非一時的可読記憶媒体 Download PDF

Info

Publication number
JP2019046461A
JP2019046461A JP2018140646A JP2018140646A JP2019046461A JP 2019046461 A JP2019046461 A JP 2019046461A JP 2018140646 A JP2018140646 A JP 2018140646A JP 2018140646 A JP2018140646 A JP 2018140646A JP 2019046461 A JP2019046461 A JP 2019046461A
Authority
JP
Japan
Prior art keywords
article
product
processor
item
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018140646A
Other languages
English (en)
Inventor
哲也 信岡
Tetsuya Nobuoka
哲也 信岡
真明 安永
Masaaki Yasunaga
真明 安永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Publication of JP2019046461A publication Critical patent/JP2019046461A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/208Input by product or record sensing, e.g. weighing or scanner processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Abstract

【課題】 適切に物品を認識することができる物品認識装置、物品認識方法及び非一時的可読記憶媒体を提供する。【解決手段】 実施形態によると、物品認識装置は、画像インターフェースと、プロセッサと、を備える。画像インターフェースは、物品が配置される配置場所の撮影画像を取得する。プロセッサは、前記画像インターフェースを通じて撮影画像を取得し、前記撮影画像から第1の物品を特定し、前記第1の物品が第2の物品に重なっているかを判定し、前記第1の物品が前記第2の物品に重なっていると判定した場合、前記第1の物品を他の物品に重ならない位置に移動することを促す警告画面を表示装置に表示し、前記第1の物品が移動されたか判定し、前記第1の物品が移動されたと判定すると、前記画像インターフェースを通じて撮影画像を取得し、前記撮影画像から物品を特定する。【選択図】 図1

Description

本発明の実施形態は、物品認識装置、物品認識方法及び非一時的可読記憶媒体に関する。
物品認識装置には、台上に配置される物品を撮影した画像に基づいて物品を認識するものがある。物品認識装置は、画像から物品がある物品領域を特定し、バーコードなどの読み取り又はオブジェクト認識などで物品領域の物品を特定する。
従来、物品認識装置は、複数の物品が重ねて設置される場合に、物品を正しく認識することができないという課題がある。
特開2016−101424号公報
上記の課題を解決するために、適切に物品を認識することができる物品認識装置、物品認識方法及び非一時的可読記憶媒体を提供する。
実施形態によると、物品認識装置は、画像インターフェースと、プロセッサと、を備える。画像インターフェースは、物品が配置される配置場所の撮影画像を取得する。プロセッサは、前記画像インターフェースを通じて撮影画像を取得し、前記撮影画像から第1の物品を特定し、前記第1の物品が第2の物品に重なっているかを判定し、前記第1の物品が前記第2の物品に重なっていると判定した場合、前記第1の物品を他の物品に重ならない位置に移動することを促す警告画面を表示装置に表示し、前記第1の物品が移動されたか判定し、前記第1の物品が移動されたと判定すると、前記画像インターフェースを通じて撮影画像を取得し、前記撮影画像から物品を特定する。
図1は、第1の実施形態に係るチェックアウト装置の構成例を概略的に示す図である。 図2は、第1の実施形態に係るチェックアウト装置の構成例を示すブロック図である。 図3Aは、第1の実施形態に係る重なった商品の例を示す図である。 図3Bは、第1の実施形態に係る重なった商品の例を示す図である。 図4Aは、第1の実施形態に係る重なった商品の例を示す図である。 図4Bは、第1の実施形態に係る重なった商品の例を示す図である。 図5Aは、第1の実施形態に係る重なった商品の例を示す図である。 図5Bは、第1の実施形態に係る重なった商品の例を示す図である。 図6Aは、第1の実施形態に係る警告画面の例を示す図である。 図6Bは、第1の実施形態に係る警告画面の例を示す図である。 図7Aは、第1の実施形態に係る認識結果画面の例を示す図である。 図7Bは、第1の実施形態に係る認識結果画面の例を示す図である。 図8は、第1の実施形態に係るチェックアウト装置の動作例を示すフローチャートである。 図9Aは、第2の実施形態に係るチェックアウト装置の動作例を示す図である。 図9Bは、第2の実施形態に係るチェックアウト装置の動作例を示す図である。 図9Cは、第2の実施形態に係るチェックアウト装置の動作例を示す図である。 図10は、第2の実施形態に係るチェックアウト装置の動作例を示すフローチャートである。 図11Aは、第3の実施形態に係るチェックアウト装置の動作例を示す図である。 図11Bは、第3の実施形態に係るチェックアウト装置の動作例を示す図である。 図11Cは、第3の実施形態に係るチェックアウト装置の動作例を示す図である。 図12は、第3の実施形態に係るチェックアウト装置の動作例を示すフローチャートである。 図13は、第3の実施形態に係るチェックアウト装置の動作例を示すフローチャートである。
以下、実施形態について、図面を参照して説明する。
(第1の実施形態)
まず、第1の実施形態について説明する。
図1は、実施形態に係るチェックアウト装置1の構成例を概略的に示す。
チェックアウト装置1(物品認識装置)は、商品10(物品)を決済する。チェックアウト装置1は、商品10を販売する店舗などに設置される。たとえば、チェックアウト装置1は、商品10が所定の位置に配置された場合又はチェックアウト装置1が所定の操作を受け付けた場合に、商品10について決済処理を実行する。チェックアウト装置1は、利用者が自ら決済処理を行うセルフレジとして設置されてもよい。また、チェックアウト装置1は、店舗の店員が決済処理をする通常のレジとして設置されてもよい。
図1が示すように、チェックアウト装置1は、筐体2、カメラ3、ディスプレイ4、操作部5、設置台6、距離センサ7、プロジェクタ8及びスピーカ9などを備える。
筐体2は、チェックアウト装置1の外形を形成するフレームである。筐体2は、商品10を設置することができるように形成される。図1が示す例においては、筐体2は、コの字型であり、商品10を積載することができるように形成される。
カメラ3は、設置台6上の商品10を撮影する。図1が示す例においては、カメラ3は、設置台6を上方から撮影するように設置される。カメラ3は、斜め上方から設置台6を撮影するように設置されてもよい。カメラ3が設置される位置及び向きは、特定の構成に限定されるものではない。
なお、チェックアウト装置1は、複数個のカメラ3を備えてもよい。この場合、複数のカメラ3は、それぞれ異なる位置及び角度で設置台6上の商品を撮影するように設置されてもよい。
たとえば、カメラ3は、CCDカメラなどである。また、カメラ3は、不可視光を撮影するものであってもよい。カメラ3の構成は、特定の構成に限定されるものではない。
ディスプレイ4は、後述するプロセッサ21が出力する画像を表示する表示装置である。ディスプレイ4は、たとえば、液晶モニタなどである。
操作部5は、チェックアウト装置1の利用者によって、種々の操作指示が入力される。操作部5は、利用者に入力された操作指示のデータをプロセッサ21へ送信する。操作部5は、たとえば、キーボード、テンキー、及び、タッチパネルなどである。また、操作部5は、利用者からジェスチャーの入力を受け付けてもよい。
ここでは、操作部5は、タッチパネルであり、ディスプレイ4と一体的に形成されているものとする。
設置台6は、商品10を設置する台である。設置台6は、利用者が商品10を配置することができるように筐体2上に設置される。なお、設置台6は、商品10が配置されたことを検知するセンサを備えてもよい。センサは、商品10が配置されたことを示す信号をプロセッサ21に送信する。
距離センサ7は、設置台6の上方に下向きで設置される。距離センサ7は、基準点又は基準面からの距離(たとえば、距離センサ7からの距離又は距離センサ7に水平な面からの距離)を測定する。たとえば、距離センサ7は、基準点又は基準面から設置台6又は商品10までの距離を測定する。
距離センサ7は、基準点又は基準面から設置台6上の各部までの距離を示す距離情報を生成する。距離情報は、設置台6又は商品10までの距離を示す。たとえば、距離情報は、距離に応じて色が異なる距離画像であってもよい。
距離センサ7は、たとえば、光源から照射される光(可視光又は不可視光)の反射光に基づいて距離を測定する。たとえば、距離センサ7は、照射された光が測定対象で反射し距離センサ7に届くまでの時間に基づいて当該測定対象との距離を測定するToF(Time−of−Flight)方式を行ってもよい。また、距離センサ7は、ドットパターンを投影して投影されたドットパターンの歪みから距離を測定するものであってもよい。なお、距離センサ7が距離を測定する方法は、特定の方法に限定されるものではない。
なお、チェックアウト装置1は、複数の距離センサを備えてもよい。
プロジェクタ8は、設置台6の上方に下向きで設置される。プロジェクタ8は、プロセッサ21からの信号に従って、設置台6又は商品10上に画像を投影する表示装置である。プロジェクタ8は、プロセッサ21が生成した画像又は動画を設置台6又は商品10上に投影する。
スピーカ9は、プロセッサ21からの信号に従って音を出力する。スピーカ9は、商品10を配置した利用者が視聴可能なように音を出力する。図1が示す例では、スピーカ9は、ディスプレイ4及び操作部5の周辺に設置される。
なお、カメラ3、ディスプレイ4、操作部5、設置台6、距離センサ7、プロジェクタ8又はスピーカ9は、筐体2と一体的に形成されてもよい。
また、チェックアウト装置1は、商品10を照らす照明などを備えてもよい。
次に、チェックアウト装置1の構成例について説明する。
図2は、チェックアウト装置1の構成例を示すブロック図である。
図2が示すように、チェックアウト装置1は、カメラ3、ディスプレイ4、操作部5、距離センサ7、プロジェクタ8、スピーカ9、プロセッサ21、ROM22、RAM23、NVM24、カメラインターフェース25、ディスプレイインターフェース26、操作部インターフェース27、距離センサインターフェース28、プロジェクタインターフェース29及びスピーカインターフェース30などを備える。プロセッサ21と、ROM22、RAM23、NVM24、カメラインターフェース25、ディスプレイインターフェース26、操作部インターフェース27、距離センサインターフェース28、プロジェクタインターフェース29及びスピーカインターフェース30とは、データバスなどを介して互いに接続される。
カメラインターフェース25とカメラ3とは、データバスなどを介して互いに接続される。ディスプレイインターフェース26とディスプレイ4とは、データバスなどを介して互いに接続される。操作部インターフェース27と操作部5とは、データバスなどを介して互いに接続される。距離センサインターフェース28と距離センサ7とは、データバスなどを介して互いに接続される。プロジェクタインターフェース29とプロジェクタ8とは、データバスなどを介して互いに接続される。スピーカインターフェース30とスピーカ9とは、データバスなどを介して互いに接続される。
なお、チェックアウト装置1は、図2が示すような構成の他に必要に応じた構成を具備したり、特定の構成を除外したりしてもよい。
カメラ3、ディスプレイ4、操作部5、距離センサ7、プロジェクタ8及びスピーカ9は、前述の通りである。
プロセッサ21は、チェックアウト装置1全体の動作を制御する機能を有する。プロセッサ21は、内部メモリ及び各種のインターフェースなどを備えても良い。プロセッサ21は、内部メモリ、ROM22又はNVM24などに予め記憶したプログラムを実行することにより種々の処理を実現する。プロセッサ21は、たとえば、CPUである。
なお、プロセッサ21がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであっても良い。この場合、プロセッサ21は、ハードウエア回路により実行される機能を制御する。
ROM22は、予め制御用のプログラム及び制御データなどを記憶する不揮発性のメモリである。ROM22は、製造段階で制御プログラム及び制御データなどを記憶した状態でチェックアウト装置1に組み込まれる。即ち、ROM22に記憶される制御プログラム及び制御データは、予めチェックアウト装置1の仕様に応じて組み込まれる。
RAM23は、揮発性のメモリである。RAM23は、プロセッサ21の処理中のデータなどを一時的に格納する。RAM23は、プロセッサ21からの命令に基づき種々のアプリケーションプログラムを格納する。また、RAM23は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
NVM24(非一時的可読記憶媒体)は、データの書き込み及び書き換えが可能な不揮発性のメモリである。NVM24は、たとえば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、EEPROM(登録商標)又はフラッシュメモリなどから構成される。NVM24は、チェックアウト装置1の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。
NVM24は、商品情報を格納する。商品情報は、商品に関する情報である。商品情報は、商品コードと辞書情報と商品の外寸と対応付けて格納する。
商品コードは、商品を特定する情報である。たとえば、商品コードは、数字、文字、記号又はそれらの組合せである。
辞書情報は、商品領域の画像と比較して商品領域の商品10を特定するための情報である。たとえば、辞書情報は、商品画像又は商品画像の特徴量などである。たとえば、特徴量は、濃度勾配又は色ヒストグラムなどである。
商品の外寸は、商品の各面の長さである。即ち、商品の外寸は、商品を所定面に置いた場合に所定面から商品の上面までの高さである。たとえば、商品の外寸は、商品を置いた所定面から最も高い位置までの高さである。
なお、商品情報は、さらに、商品の各面の面積、商品名及び価格などを備えてもよい。商品情報の構成は、特定の構成に限定されるものではない。
NVM24は、予め各商品に関する商品情報を格納する。たとえば、プロセッサ21は、外部装置から商品情報を受信し、NVM24に格納する。また、商品情報は、適宜更新されてもよい。
カメラインターフェース25(画像インターフェース)は、プロセッサ21がカメラ3と通信するためのインターフェースである。たとえば、プロセッサ21は、カメラインターフェース25を通じて、カメラ3に画像を取得させる信号を送信する。また、プロセッサ21は、カメラインターフェース25を通じて撮影のためのカメラパラメータをカメラ3に設定してもよい。
また、カメラインターフェース25は、カメラ3が撮影した画像を取得する。カメラインターフェース25は、取得した画像をプロセッサ21へ送信する。プロセッサ21は、カメラインターフェース25からカメラ3が撮影した画像を取得する。
ディスプレイインターフェース26は、プロセッサ21がディスプレイ4と通信するためのインターフェースである。たとえば、プロセッサ21は、ディスプレイインターフェース26を通じて、ディスプレイ4に表示画面を送信する。
操作部インターフェース27は、プロセッサ21が操作部5と通信するためのインターフェースである。たとえば、プロセッサ21は、操作部インターフェース27を通じて、操作部5に入力された操作を示す信号を受信する。
距離センサインターフェース28(距離情報インターフェース)は、プロセッサ21が距離センサ7と通信するためのインターフェースである。たとえば、プロセッサ21は、距離センサインターフェース28を通じて距離センサ7から距離情報を取得する。
プロジェクタインターフェース29は、プロセッサ21がプロジェクタ8と通信するためのインターフェースである。たとえば、プロセッサ21は、プロジェクタインターフェース29を通じて、プロジェクタ8に投影させる投影画像をプロジェクタ8に送信する。
スピーカインターフェース30は、プロセッサ21がスピーカ9と通信するためのインターフェースである。たとえば、プロセッサ21は、スピーカインターフェース30を通じて、スピーカ9に警告音などを出力させる信号を送信する。
次に、プロセッサ21が実現する機能について説明する。以下の機能は、プロセッサ21がNVM24などに格納されるプログラムを実行することで実現される。
まず、プロセッサ21は、商品10が配置された所定の場所(配置場所)を撮影した画像(撮影画像)を取得する機能を有する。ここでは、プロセッサ21は、設置台6上に配置された商品10を撮影した画像を取得する。
たとえば、プロセッサ21は、設置台6上に利用者によって商品10が配置されたことを検知する。たとえば、プロセッサ21は、設置台6からの信号に基づいて設置台6上に商品10が配置されたことを検知する。なお、プロセッサ21は、カメラ3からの画像に基づいて設置台6上に商品10が配置されたことを検知してもよい。また、プロセッサ21は、利用者から商品10を設置台6上に配置したことを示す操作を受け付けてもよい。
プロセッサ21は、商品10が配置されたことを検知すると、商品10を含む画像を撮影する。たとえば、プロセッサ21は、カメラ3に対して撮影を行う信号を送信する。プロセッサ21は、カメラ3から撮影画像を取得する。なお、プロセッサ21は、画像を撮影するために、撮影パラメータをカメラ3に設定してもよい。
なお、プロセッサ21は、外部装置から撮影画像を取得してもよい。
また、プロセッサ21は、距離センサ7から距離情報を取得する機能を有する。
たとえば、プロセッサ21は、距離センサ7に対して距離の測定を行う信号を送信する。プロセッサ21は、距離センサ7から距離情報を取得する。
また、プロセッサ21は、撮影画像から商品が写る商品領域を抽出する機能を有する。
プロセッサ21は、撮影画像に基づいて商品領域を抽出する。たとえば、プロセッサ21は、エッジ検出などを行い撮影画像から商品領域を抽出する。
また、プロセッサ21は、距離情報に基づいて商品領域を抽出してもよい。商品10が配置される領域(商品領域)は、商品10の高さの分だけ基準点又は基準面に近づく。したがって、プロセッサ21は、設置台6までの距離よりも近い距離にある領域を商品領域として特定する。
また、プロセッサ21は、撮影画像及び距離情報に基づいて商品領域を抽出してもよい。
プロセッサ21が商品領域を抽出する方法は、特定の方法に限定されるものではない。
また、プロセッサ21は、商品領域内の商品10(第1の物品)を特定する機能を有する。
たとえば、商品10が自身を特定する識別情報を備える場合、プロセッサ21は、識別情報に基づいて商品を特定する。たとえば、識別情報は、バーコード、QRコード(登録商標)、文字、数字又はマークなどである。プロセッサ21は、商品画像から識別情報を検索し、発見した識別情報を読み取る。プロセッサ21は、読取結果に基づいて、商品画像の商品を示す商品コードを取得する。
また、プロセッサ21は、オブジェクト認識で商品10を特定してもよい。プロセッサ21は、NVM24などから各商品情報の辞書情報を取得する。
たとえば、プロセッサ21は、辞書情報と商品領域の画像とを比較する。プロセッサ21は、商品領域の画像とマッチする辞書情報に対応する商品情報の商品コードを、商品画像の商品を示す商品コードとして特定する。
なお、プロセッサ21が商品を特定する方法は、特定の方法に限定されるものではない。
また、プロセッサ21は、特定された商品10に予め設定された外寸を取得する機能を有する。
たとえば、プロセッサ21は、NVM24から、特定された商品の商品コードを含む商品情報を取得する。プロセッサ21は、取得した商品情報が含む外寸を予め設定された外寸として取得する。なお、プロセッサ21は、外部装置から商品の外寸を取得してもよい。
また、プロセッサ21は、商品に予め設定された外寸に基づいて、特定された商品10が他の商品(第2の物品)と重なっているかを判定する機能を有する。
プロセッサ21は、距離情報に基づいて、設置台6までの距離と商品領域までの距離との差を算出して、商品領域に置かれた商品10の高さを算出する。
プロセッサ21は、商品10の高さと予め設定された外寸とを比較する。なお、プロセッサ21は、商品のいずれの面が上に向いているかを判定して、当該面と対向する面との間の外寸と商品の高さを比較する。
プロセッサ21は、商品10の高さと予め設定された外寸とが一致するか判定する。プロセッサ21は、商品10の高さと外寸との差が一定の閾値以下にある場合には、両者が一致すると判定してもよい。
商品10の高さと予め設定された外寸とが一致すると判定すると、プロセッサ21は、商品10が他の商品と重なっていないと判定する。また、商品10の高さと予め設定された外寸とが一致しないと判定すると、プロセッサ21は、商品10が他の商品と重なっていると判定する。
なお、プロセッサ21は、商品領域の面積と予め設定された商品10の面積とに基づいて商品10が他の商品と重なっているかを判定してもよい。たとえば、プロセッサ21は、商品領域の面積が予め設定された面積よりも大きい場合には、商品10が他の商品と重なっていると判定する。
次に、重なった商品10の例について説明する。
図3A及びBは、設置台6上に商品10が重ねて配置された例を示す。図3Aは、設置台6を横から見た図である。図3Bは、設置台6を上から見た図である。
図3A及びBに示すように、商品Aは、商品B上に配置される。また、商品Aは、商品Bよりも大きく、商品Bを覆う。そのため、撮影画像には、商品Bは、写らない。その結果、プロセッサ21は、商品Bを特定することができない。
図4A及びBは、設置台6上に商品10が重ねて配置された他の例を示す。図3A及びBと同様に、図4Aは、設置台6を横から見た図である。図4Bは、設置台6を上から見た図である。
図4A及びBに示すように、商品Cは、商品D上に配置される。また、商品Cは、商品Dよりも小さい。そのため、撮影画像には、商品Dの一部は、写る。しかしながら、商品Dの情報が不足するため、商品Dの特定精度は、低下する。
図5A及びBは、設置台6上に商品10が重ねて配置されたさらに他の例を示す。図3A及びBと同様に、図5Aは、設置台6を横から見た図である。図5Bは、設置台6を上から見た図である。
図5A及びBに示すように、商品Eは、商品F上に配置される。また、商品Eは、商品Fよりもかなり小さい。そのため、撮影画像には、商品Fの大部分は、写る。よって、プロセッサ21は、商品Fを特定できる可能性がある。しかしながら、商品Eの下に他の商品がある場合、プロセッサ21は、当該商品を特定することができない。
また、プロセッサ21は、特定された商品10が他の商品と重なっている場合、特定された商品10を設置台6上に移動することを促す機能を有する。
プロセッサ21は、プロジェクタ8を通じて設置台6上に表示する警告画面を生成する。警告画面は、利用者に対して、商品10を設置台6上に移動することを促す。警告画面は、商品10が他の商品と重なっていること、及び、商品10の移動先などを示す。ここでは、警告画面は、商品10が他の商品と重なっていることを示す画像及び商品10の移動先などを示す画像のシーケンスである。
プロセッサ21は、警告画面として、設置台6に映し出すプロジェクションマッピングの画像を生成する。たとえば、プロセッサ21は、警告画面として、特定された商品10を移動するアニメーションなどを生成する。
プロセッサ21は、プロジェクタ8を通じて設置台6上に、生成した警告画面を表示する。
図6A及びBは、警告画面の例を示す図である。ここでは、設置台6上には、商品G及び商品Hが配置されるものとする。また、商品Gは、商品H上に配置される。プロセッサ21は、商品Gを特定したものとする。
図6Aは、重なり合いがあることを示す警告画面の例である。また、図6Bは、商品の移動先を示す警告画面の例である。
図6Aが示す警告画面は、商品Gが他の商品と重なっていることを示す。警告画面は、「NG」を表示して商品Gが他の商品と重なっていることを示す。
図6Bが示す警告画面は、商品Gの移動先を示す。警告画面は、商品Gに重なる矢印を表示する。警告画面は、矢印の先に商品Gを移動させることを促す。なお、警告画面は、アニメーションであってもよい。たとえば、警告画面は、商品Gが所定の位置まで移動するアニメーションであってもよい。
プロセッサ21は、図6Aが示す警告画面を表示した後に、図6Bが示す警告画面を表示してもよい。また、プロセッサ21は、両警告画面を交互に表示してもよい。
プロセッサ21は、商品配置の見直しを促す警告画面を表示してもよい。警告画面の内容は、特定の構成に限定されるものではない。
また、プロセッサ21は、スピーカ9を通じて、商品10を移動させることを促すメッセージを音声で出力してもよい。
また、プロセッサ21は、ディスプレイ4に、商品10を移動させることを促すメッセージを表示してもよい。
また、プロセッサ21は、特定された商品10が移動されたことを検知する機能を有する。
プロセッサ21は、警告画面を投影すると、特定された商品10が利用者によって移動されたか判定する。たとえば、プロセッサ21は、カメラ3からの撮影画像に基づいて、特定された商品10が移動されたかを判定する。
また、プロセッサ21は、距離情報に基づいて利用者が商品10に触れたかを判定してもよい。プロセッサ21は、利用者が商品10に触れたと判定した場合に商品10が移動されたと判定する。
また、プロセッサ21は、操作部5を通じて、商品10を移動したことを示す操作を利用者から受け付けてもよい。
プロセッサ21が商品10の移動を検知する方法は、特定の方法に限定されるものではない。
また、プロセッサ21は、特定された商品10に関する情報を提示する機能を有する。
プロセッサ21は、プロジェクタ8を通じて設置台6上に表示する認識結果画面を生成する。認識結果画面は、利用者に対して、設置台6上にある商品10の特定に成功したこと及び商品10に関する情報などを示す。
たとえば、プロセッサ21は、特定した商品の商品コードを含む商品情報を取得し、当該商品情報などに基づいて認識結果画面を生成する。
図7A及びBは、認識結果画面の例を示す図である。ここでは、設置台6上には、商品G及び商品Hが配置されるものとする。プロセッサ21は、商品G及び商品Hを特定したものとする。
図7Aは、商品10の特定に成功したことを示す認識結果画面の例である。また、図7Bは、商品10の情報を表示する認識結果画面の例である。
図7Aが示す認識結果画面は、商品G及び商品Hを特定したことを示す。即ち、認識結果画面は、他の商品と重なっている商品がないことを示す。認識結果画面は、「OK」を商品G及び商品Hの周辺にそれぞれ表示して、商品G及び商品Hを特定したことを示す。
図7Bが示す認識結果画面は、商品G及び商品Hに関する情報を示す。認識結果画面は、商品G及び商品Hの商品名及び価格を示す。また、認識結果画面は、商品G及び商品Hの合計額を示す。
プロセッサ21は、図7Aが示す認識結果画面を表示した後に、図7Bが示す認識結果画面を表示してもよい。また、プロセッサ21は、両認識結果画面を交互に表示してもよい。
認識結果画面の内容は、特定の構成に限定されるものではない。
また、プロセッサ21は、特定された商品10を決済する機能を有する。
プロセッサ21は、特定された商品10の商品情報などから代金を取得する。また、プロセッサ21は、外部装置から特定された商品10の代金を取得してもよい。
プロセッサ21は、商品の代金に基づいて商品を決済する。たとえば、プロセッサ21は、利用者からクレジットカード情報の入力を受け付ける。たとえば、プロセッサ21は、クレジットカードリーダなどを用いてクレジットカード情報を取得してもよい。プロセッサ21は、クレジットカード情報に基づいて商品を決済する。
また、プロセッサ21は、現金、デビットカード又は電子マネーなどを用いて商品を決済してもよい。プロセッサ21が商品を決済する方法は、特定の方法に限定されるものではない。
次に、チェックアウト装置1の動作例について説明する。
図8は、チェックアウト装置1の動作例を説明するためのフローチャートである。
まず、チェックアウト装置1のプロセッサ21は、設置台6に商品10が配置されたか判定する(ACT11)。設置台6に商品10が配置されていないと判定すると(ACT11、NO)、プロセッサ21は、ACT11に戻る。
設置台6に商品10が配置されたと判定すると(ACT11、YES)、プロセッサ21は、カメラ3を通じて商品10を写した撮影画像を取得する(ACT12)。撮影画像を取得すると、プロセッサ21は、距離センサ7から距離情報を取得する(ACT13)。
距離情報を取得すると、プロセッサ21は、撮影画像から商品領域を抽出する(ACT14)。商品領域を抽出すると、プロセッサ21は、商品領域内の商品10を特定する(ACT15)。
商品10を特定すると、プロセッサ21は、特定された商品10と他の商品が重なっているか判定する(ACT16)。特定された商品10と他の商品が重なっていると判定すると(ACT16、YES)、プロセッサ21は、商品10を移動することを促す警告画面を生成する(ACT17)。
警告画面を生成すると、プロセッサ21は、プロジェクタ8を通じて、生成された警告画面を設置台6上に投影する(ACT18)。警告画面を投影すると、プロセッサ21は、特定された商品10が移動されたか判定する(ACT19)。
特定された商品10が移動されていないと判定すると(ACT19、NO)、プロセッサ21は、ACT19に戻る。なお、プロセッサ21は、警告画面を投影し続けてもよい。
特定された商品10が移動されたと判定すると(ACT19、YES)、プロセッサ21は、ACT12に戻る。
特定された商品10と他の商品が重なっていないと判定すると(ACT16、NO)、プロセッサ21は、特定された商品10に関する認識結果画面を生成する(ACT20)。認識結果画面を生成すると、プロセッサ21は、プロジェクタ8を通じて、生成された認識結果画面を設置台6上に投影する(ACT21)。
生成された認識結果画面を設置台6上に投影すると、プロセッサ21は、特定された商品10を決済する(ACT22)。特定された商品10を決済すると、プロセッサ21は、動作を終了する。
なお、プロセッサ21は、複数の商品10が他の商品を重なっていると判定した場合、各商品10を移動することを促す警告画面を投影してもよい。
以上のように構成されたチェックアウト装置は、商品が重なって配置されたことを検知する。チェックアウト装置は、商品が重なっている場合、上にある商品を設置台上に移動することを促す。チェックアウト装置は、移動が完了すると、再度、商品を特定する。
その結果、チェックアウト装置は、商品が重なっていない状態で商品を特定することができる。よって、チェックアウト装置は、適正に商品を特定することができる。
(第2の実施形態)
次に、第2の実施形態について説明する。
第2の実施形態に係るチェックアウト装置1は、他の商品と重なった商品10の移動先がない場合に、重なった当該商品10を取り出すことを促す点で第1の実施形態のそれと異なる。従って、他の構成については、同一の符号を付して詳細な説明を省略する。
第2の実施形態に係るチェックアウト装置1の構成は、第1の実施形態に係るそれと同様であるため説明を省略する。
次に、プロセッサ21が実現する機能について説明する。以下の機能は、プロセッサ21がNVM24などに格納されるプログラムを実行することで実現される。
また、プロセッサ21は、特定された商品10が他の商品と重なっている場合、特定された商品10の移動先があるかを判定する機能を有する。
たとえば、プロセッサ21は、特定された商品10の商品領域の面積及び形状などに基づいて特定された商品10の移動先があるかを判定する。プロセッサ21は、商品領域以外の領域を設置台6が写る領域と判定する。プロセッサ21は、設置台6が写る領域に特定された商品10の商品領域が入るスペースがあるかを判定する。プロセッサ21は、スペースがない場合、特定された商品10の移動先がないと判定する。
また、プロセッサ21は、特定された商品10の移動先がない場合、特定された商品10を取り出すことを促す機能を有する。
プロセッサ21は、プロジェクタ8を通じて設置台6上に表示する警告画面を生成する。警告画面は、利用者に対して、商品10を取り出すことを促す。警告画面は、商品10が他の商品と重なっていること、及び、商品10を取り出すことなどを示す。ここでは、警告画面は、商品10が他の商品と重なっていることを示す画像及び商品10を取り出すことを促す画像のシーケンスである。
プロセッサ21は、警告画面として、設置台6に映し出すプロジェクションマッピングの画像を生成する。たとえば、プロセッサ21は、警告画面として、特定された商品10を取り出すアニメーションなどを生成する。
プロセッサ21は、プロジェクタ8を通じて設置台6上に、生成した警告画面を表示する。
なお、警告画面の内容は、特定の構成に限定されるものではない。
また、プロセッサ21は、スピーカ9を通じて、商品10を取り出すことを促すメッセージを音声で出力してもよい。
また、プロセッサ21は、ディスプレイ4に、商品10を取り出すことを促すメッセージを表示してもよい。
また、プロセッサ21は、特定された商品10が取り出されたことを検知する機能を有する。
プロセッサ21は、警告画面を投影すると、特定された商品10が利用者によって取り出されたか判定する。たとえば、プロセッサ21は、カメラ3からの撮影画像に基づいて、特定された商品10が取り出されたか判定する。
また、プロセッサ21は、距離情報に基づいて利用者が商品10に触れたかを判定してもよい。プロセッサ21は、利用者が商品10に触れたと判定した場合に商品10が取り出されたと判定する。
また、プロセッサ21は、操作部5を通じて、商品10を取り出したことを示す操作を利用者から受け付けてもよい。
プロセッサ21が商品10の取り出しを検知する方法は、特定の方法に限定されるものではない。
なお、プロセッサ21は、特定された商品10が取り出されたと判定すると、撮影画像を取得して他の商品を特定する。また、プロセッサ21は、他の商品を特定すると、再度、はじめに特定された商品10を配置することを促し当該商品10を特定する。
次に、チェックアウト装置1が商品を特定する動作例について説明する。
図9A乃至Cは、チェックアウト装置1が商品を特定する動作例を説明するための図である。図9A乃至Cが示す例では、設置台6上に、商品I、J及びKがあるものとする。また、商品Iは、商品K上にあるものとする。
まず、チェックアウト装置1のプロセッサ21は、設置台6上の商品を特定する。ここでは、図9Aが示すように、プロセッサ21は、商品I及び商品Jを特定する。
プロセッサ21は、商品Iが他の商品(ここでは、商品K)上に重なっているものと判定する。そのため、プロセッサ21は、商品Iの近傍に「NG」を表示する。なお、プロセッサ21は、商品Jの近傍に、商品Jが他の商品と重なっていないことを示す「OK」を表示する。
プロセッサ21は、商品Iを取り出す警告画面を投影する。ここでは、利用者は、警告画面に従って商品Iを取り出すものとする。
プロセッサ21は、商品Iが取り出されたことを検知すると、商品K及び商品Jを特定する。図9Bが示すように、プロセッサ21は、商品K及び商品Jを特定し、各商品の近傍に「OK」を表示する。
プロセッサ21は、商品K及び商品Jを特定すると、商品Iを配置することを利用者に促す。ここでは、利用者は、商品Iを配置するものとする。
プロセッサ21は、配置された商品Iを特定する。図9Cが示すように、プロセッサ21は、商品Iを特定し、商品Iの近傍に「OK」を表示する。
次に、チェックアウト装置1の動作例について説明する。
図10は、チェックアウト装置1の動作例を説明するためのフローチャートである。
まず、チェックアウト装置1のプロセッサ21は、設置台6に商品10が配置されたか判定する(ACT31)。設置台6に商品10が配置されていないと判定すると(ACT31、NO)、プロセッサ21は、ACT31に戻る。
設置台6に商品10が配置されたと判定すると(ACT31、YES)、プロセッサ21は、カメラ3を通じて商品10を写した撮影画像を取得する(ACT32)。撮影画像を取得すると、プロセッサ21は、距離センサ7から距離情報を取得する(ACT33)。
距離情報を取得すると、プロセッサ21は、撮影画像から商品領域を抽出する(ACT34)。商品領域を抽出すると、プロセッサ21は、商品領域内の商品10を特定する(ACT35)。
商品10を特定すると、プロセッサ21は、特定された商品10と他の商品が重なっているか判定する(ACT36)。特定された商品10と他の商品が重なっていると判定すると(ACT36、YES)、プロセッサ21は、特定された商品10の移動先があるか判定する(ACT37)。
特定された商品10の移動先がないと判定すると(ACT37、NO)、プロセッサ21は、特定された商品10を取り出すことを促す警告画面を生成する(ACT38)。警告画面を生成すると、プロセッサ21は、プロジェクタ8を通じて、生成された警告画面を投影する(ACT39)。
警告画面を投影すると、プロセッサ21は、特定された商品10が取り出されたか判定する(ACT40)。特定された商品10が取り出されていないと判定すると(ACT40、NO)、プロセッサ21は、ACT40に戻る。なお、プロセッサ21は、警告画面を投影し続けてもよい。
特定された商品10が取り出されたと判定すると(ACT40、YES)、プロセッサ21は、ACT32に戻る。
特定された商品10の移動先があると判定すると(ACT37、YES)、プロセッサ21は、特定された商品10を移動させることを促す警告画面を生成する(ACT41)。
警告画面を生成すると、プロセッサ21は、プロジェクタ8を通じて、生成された警告画面を設置台6上に投影する(ACT42)。警告画面を投影すると、プロセッサ21は、特定された商品10が移動されたか判定する(ACT43)。
特定された商品10が移動されていないと判定すると(ACT43、NO)、プロセッサ21は、ACT43に戻る。なお、プロセッサ21は、警告画面を投影し続けてもよい。
特定された商品10が移動されたと判定すると(ACT43、YES)、プロセッサ21は、ACT32に戻る。
特定された商品10と他の商品が重なっていないと判定すると(ACT36、NO)、プロセッサ21は、取り出した商品10があるか判定する(ACT44)。取り出した商品10があると判定すると(ACT44、YES)、プロセッサ21は、ACT32に戻る。なお、プロセッサ21は、取り出した商品10を設置台6上に配置することを促すメッセージなどを表示してもよい。
取り出した商品10がない(又は、取り出した商品10の特定を完了した)と判定すると(ACT44、NO)、プロセッサ21は、特定された商品10に関する認識結果画面を生成する(ACT45)。認識結果画面を生成すると、プロセッサ21は、プロジェクタ8を通じて、生成された認識結果画面を設置台6上に投影する(ACT46)。
生成された認識結果画面を設置台6上に投影すると、プロセッサ21は、特定された商品10を決済する(ACT47)。特定された商品10を決済すると、プロセッサ21は、動作を終了する。
なお、プロセッサ21は、複数の商品が他の商品に重なっていると判定した場合、当該複数の商品を取り出すことを促してもよい。また、プロセッサ21は、下にある商品を特定した後に、取り出した複数の商品を配置することを促してもよい。
以上のように構成されたチェックアウト装置は、設置台上に商品の移動先がない場合に、当該商品を取り出すことを促す。チェックアウト装置は、取り出しが完了すると、再度、商品を特定する。
その結果、チェックアウト装置は、設置台上に商品の移動先がない場合であっても、商品が重なっていない状態で商品を特定することができる。
(第3の実施形態)
次に、第3の実施形態について説明する。
第3の実施形態に係るチェックアウト装置1は、他の商品と重なった商品10の移動先がない場合に、重なっていない商品を取り出すことを促す点で第2の実施形態のそれと異なる。従って、他の構成については、同一の符号を付して詳細な説明を省略する。
第3の実施形態に係るチェックアウト装置1の構成は、第2の実施形態に係るそれと同様であるため説明を省略する。
次に、プロセッサ21が実現する機能について説明する。以下の機能は、プロセッサ21がNVM24などに格納されるプログラムを実行することで実現される。
また、プロセッサ21は、重なっている商品10の移動先がない場合、重なっていない他の商品10(第3の物品)を取り出し重なっている商品10を設置台6上に移動することを促す機能を有する。
プロセッサ21は、プロジェクタ8を通じて設置台6上に表示する警告画面を生成する。警告画面は、利用者に対して、重なっていない他の商品10を取り出すこと、及び、重なっている商品10を移動することなどを促す。ここでは、警告画面は、重なっていない他の商品10を取り出すことを促す画像及び、重なっている商品10を移動することを促す画像のシーケンスである。
プロセッサ21は、警告画面として、設置台6に映し出すプロジェクションマッピングの画像を生成する。たとえば、プロセッサ21は、警告画面として、重なっていない他の商品10を取り出し重なっている商品10を所定の移動先に移動するアニメーションなどを生成する。
プロセッサ21は、プロジェクタ8を通じて設置台6上に、生成した警告画面を表示する。
なお、警告画面の内容は、特定の構成に限定されるものではない。
また、プロセッサ21は、スピーカ9を通じて、重なっていない他の商品10を取り出し重なっている商品10を設置台6上に移動することを促すメッセージを音声で出力してもよい。
また、プロセッサ21は、ディスプレイ4に、重なっていない他の商品10を取り出し重なっている商品10を設置台6上に移動することを促すメッセージを表示してもよい。
また、プロセッサ21は、重なっていない他の商品10を取り出され重なっている商品10を設置台6上に移動されたことを検知する機能を有する。
プロセッサ21は、警告画面を投影すると、重なっていない他の商品10が取り出されたか判定する。たとえば、プロセッサ21は、カメラ3からの撮影画像に基づいて、当該商品10が取り出されたか判定する。
また、プロセッサ21は、距離情報に基づいて利用者が当該商品10に触れたかを判定してもよい。プロセッサ21は、利用者が当該商品10に触れたと判定した場合に当該商品10が取り出されたと判定する。
当該商品が取り出されたと判定すると、重なっている商品10が移動されたかを判定する。たとえば、プロセッサ21は、カメラ3からの撮影画像に基づいて、当該商品10が移動されたか判定する。
また、プロセッサ21は、距離情報に基づいて利用者が当該商品10に触れたかを判定してもよい。プロセッサ21は、利用者が当該商品10に触れたと判定した場合に当該商品10が移動されたと判定する。
また、プロセッサ21は、操作部5を通じて、重なっていない他の商品10を取り出し重なっている商品10を設置台6上に移動したことを示す操作を利用者から受け付けてもよい。
プロセッサ21が各商品10の取り出し及び移動を検知する方法は、特定の方法に限定されるものではない。
次に、チェックアウト装置1が商品を特定する動作例について説明する。
図11A乃至Cは、チェックアウト装置1が商品を特定する動作例を説明するための図である。図11A乃至Cが示す例では、設置台6上に、商品I、J及びKがあるものとする。また、商品Iは、商品K上にあるものとする。
まず、チェックアウト装置1のプロセッサ21は、設置台6上の商品を特定する。ここでは、図11Aが示すように、プロセッサ21は、商品I及び商品Jを特定する。
プロセッサ21は、商品Iが他の商品(ここでは、商品K)上に重なっているものと判定する。そのため、プロセッサ21は、商品Iの近傍に「NG」を表示する。なお、プロセッサ21は、商品Jの近傍に、商品Jが他の商品と重なっていないことを示す「OK」を表示する。
プロセッサ21は、商品Jを取り出し商品Iを移動することを促す警告画面を投影する。ここでは、利用者は、警告画面に従って商品Jを取り出し商品Iを移動するものとする。
図11Bが示すように、利用者は、商品Jを取り出した後に、商品Iを商品Jがあった場所に移動する。
プロセッサ21は、商品Jが取り出され商品Iが移動されたことを検知すると、商品K及び商品Jを特定する。図11Cが示すように、プロセッサ21は、商品K及び商品Jを特定し、各商品の近傍に「OK」を表示する。
次に、チェックアウト装置1の動作例について説明する。
図12及び図13は、チェックアウト装置1の動作例を説明するためのフローチャートである。
まず、チェックアウト装置1のプロセッサ21は、設置台6に商品10が配置されたか判定する(ACT51)。設置台6に商品10が配置されていないと判定すると(ACT51、NO)、プロセッサ21は、ACT51に戻る。
設置台6に商品10が配置されたと判定すると(ACT51、YES)、プロセッサ21は、カメラ3を通じて商品10を写した撮影画像を取得する(ACT52)。撮影画像を取得すると、プロセッサ21は、距離センサ7から距離情報を取得する(ACT53)。
距離情報を取得すると、プロセッサ21は、撮影画像から商品領域を抽出する(ACT54)。商品領域を抽出すると、プロセッサ21は、商品領域内の商品10を特定する(ACT55)。
商品10を特定すると、プロセッサ21は、特定された商品10と他の商品が重なっているか判定する(ACT56)。特定された商品10と他の商品が重なっていると判定すると(ACT56、YES)、プロセッサ21は、特定された商品10(重なっている商品10)の移動先があるか判定する(ACT57)。
特定された商品10の移動先がないと判定すると(ACT57、NO)、プロセッサ21は、重なっていない他の商品10を取り出し重なっている商品10を移動することを促す警告画面を生成する(ACT58)。警告画面を生成すると、プロセッサ21は、プロジェクタ8を通じて、生成された警告画面を投影する(ACT59)。
警告画面を投影すると、プロセッサ21は、重なっていない他の商品10が取り出されたか判定する(ACT60)。重なっていない他の商品10が取り出されていないと判定すると(ACT60、NO)、プロセッサ21は、ACT60に戻る。なお、プロセッサ21は、警告画面を投影し続けてもよい。
重なっていない他の商品10が取り出されたと判定すると(ACT60、YES)、プロセッサ21は、重なっている商品10が移動されたか判定する(ACT61)。重なっている商品10が移動されていないと判定すると(ACT61、NO)、プロセッサ21は、ACT61に戻る。なお、プロセッサ21は、警告画面を投影し続けてもよい。
重なっている商品10が移動されたと判定すると(ACT61、YES)、プロセッサ21は、ACT52に戻る。
特定された商品10の移動先があると判定すると(ACT57、YES)、プロセッサ21は、特定された商品10を移動することを促す警告画面を生成する(ACT62)。
警告画面を生成すると、プロセッサ21は、プロジェクタ8を通じて、生成された警告画面を設置台6上に投影する(ACT63)。警告画面を投影すると、プロセッサ21は、特定された商品10が移動されたか判定する(ACT64)。
特定された商品10が移動されていないと判定すると(ACT64、NO)、プロセッサ21は、ACT64に戻る。なお、プロセッサ21は、警告画面を投影し続けてもよい。
特定された商品10が移動されたと判定すると(ACT64、YES)、プロセッサ21は、ACT52に戻る。
特定された商品10と他の商品が重なっていないと判定すると(ACT56、NO)、プロセッサ21は、特定された商品10に関する認識結果画面を生成する(ACT65)。認識結果画面を生成すると、プロセッサ21は、プロジェクタ8を通じて、生成された認識結果画面を設置台6上に投影する(ACT66)。
生成された認識結果画面を設置台6上に投影すると、プロセッサ21は、特定された商品10を決済する(ACT67)。特定された商品10を決済すると、プロセッサ21は、動作を終了する。
なお、プロセッサ21は、重なっていない商品10が複数個ある場合、当該複数個の商品の一部又はいずれも取り出すことを促してもよい。また、プロセッサ21は、重なっている商品10が複数個ある場合、当該複数個の商品を移動することを促してもよい。
また、物品認識装置は、チェックアウト装置1として構成されなくともよい。たとえば、物品認識装置は、決済処理を行わなくともよい。たとえば、物品認識装置は、物品を認識する検品装置などとして構成されてもよい。
以上のように構成されたチェックアウト装置は、設置台上に商品の移動先がない場合には、重なっていない商品を取り出して商品を特定する。そのため、チェックアウト装置は、重なっている商品を取り出して再度配置することなく商品を特定することができる。その結果、チェックアウト装置は、より迅速に商品を特定することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…チェックアウト装置、3…カメラ、6…設置台、7…距離センサ、8…プロジェクタ、10…商品、21…プロセッサ、24…NVM、25…カメラインターフェース、28…距離センサインターフェース、29…プロジェクタインターフェース。

Claims (10)

  1. 物品を認識する物品認識装置であって、
    物品が配置される配置場所の撮影画像を取得する画像インターフェースと、
    前記画像インターフェースを通じて撮影画像を取得し、
    前記撮影画像から第1の物品を特定し、
    前記第1の物品が第2の物品に重なっているかを判定し、
    前記第1の物品が前記第2の物品に重なっていると判定した場合、前記第1の物品を他の物品に重ならない位置に移動することを促す警告画面を表示装置に表示し、
    前記第1の物品が移動されたか判定し、
    前記第1の物品が移動されたと判定すると、前記画像インターフェースを通じて撮影画像を取得し、前記撮影画像から物品を特定する、
    プロセッサと、
    を備える物品認識装置。
  2. 前記配置場所からの距離を示す距離情報を取得する距離情報インターフェースを備え、
    前記プロセッサは、
    前記第1の物品に設定された外寸を取得し、
    前記距離情報に基づいて前記第1の物品の高さを算出し、
    前記外寸と前記高さとが一致しない場合、前記第1の物品が前記第2の物品に重なっていると判定する、
    前記請求項1に記載の物品認識装置。
  3. 前記表示装置は、プロジェクタであり、
    前記プロセッサは、前記プロジェクタを通じて、前記配置場所に対して、前記第1の物品を他の物品と重ならない位置に移動することを促す警告画面を表示する、
    前記請求項1に記載の物品認識装置。
  4. 前記警告画面は、前記第1の物品を他の物品と重ならない位置に移動することを促すアニメーションである、
    前記請求項3に記載の物品認識装置。
  5. 前記プロセッサは、
    前記第1の物品が前記第2の物品に重なっていると判定した場合、前記第1の物品の前記配置場所において他の物品と重ならない移動先があるか判定し、
    前記移動先がないと判定すると、前記第1の物品を取り出すことを促す警告画面を表示装置に表示する、
    前記請求項1に記載の物品認識装置。
  6. 前記プロセッサは、
    前記第1の物品が前記第2の物品に重なっていると判定した場合、前記第1の物品の前記配置場所において他の物品と重ならない移動先があるか判定し、
    前記移動先がないと判定すると、重なっていない第3の物品を取り出し前記第1の物品を移動することを促す警告画面を表示装置に表示する、
    前記請求項1に記載の物品認識装置。
  7. 前記配置場所の画像を撮影するカメラを備える、
    前記請求項1に記載の物品認識装置。
  8. 前記プロジェクタを備える、
    前記請求項3に記載の物品認識装置。
  9. 物品を認識する物品認識方法であって、
    物品が配置される配置場所を撮影した撮影画像を取得し、
    前記撮影画像から第1の物品を特定し、
    前記第1の物品が第2の物品に重なっているかを判定し、
    前記第1の物品が前記第2の物品に重なっていると判定した場合、前記第1の物品を他の物品に重ならない位置に移動することを促す警告画面を表示装置に表示し、
    前記第1の物品が移動されたか判定し、
    前記第1の物品が移動されたと判定すると、撮影画像を取得し、前記撮影画像から物品を特定する、
    物品認識方法。
  10. プロセッサに、
    物品が配置される配置場所の撮影画像を取得させ、
    前記撮影画像から第1の物品を特定させ、
    前記第1の物品が第2の物品に重なっているかを判定させ、
    前記第1の物品が前記第2の物品に重なっていると判定した場合、前記第1の物品を他の物品に重ならない位置に移動することを促す警告画面を表示装置に表示させ、
    前記第1の物品が移動されたか判定させ、
    前記第1の物品が移動されたと判定すると、撮影画像を取得し、前記撮影画像から物品を特定させる、
    プログラムを備える非一時的可読記憶媒体。
JP2018140646A 2017-09-06 2018-07-26 物品認識装置、物品認識方法及び非一時的可読記憶媒体 Pending JP2019046461A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/697,185 US20190073880A1 (en) 2017-09-06 2017-09-06 Article recognition apparatus, article recognition method, and non-transitory readable storage medium
US15/697,185 2017-09-06

Publications (1)

Publication Number Publication Date
JP2019046461A true JP2019046461A (ja) 2019-03-22

Family

ID=65517369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018140646A Pending JP2019046461A (ja) 2017-09-06 2018-07-26 物品認識装置、物品認識方法及び非一時的可読記憶媒体

Country Status (2)

Country Link
US (1) US20190073880A1 (ja)
JP (1) JP2019046461A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166640A (ja) * 2019-03-29 2020-10-08 パナソニックIpマネジメント株式会社 精算決済装置および無人店舗システム
KR102476498B1 (ko) * 2022-04-12 2022-12-13 주식회사 인피닉 인공지능 기반의 복합 인식을 통한 상품 식별 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033985B (zh) * 2018-06-29 2020-10-09 百度在线网络技术(北京)有限公司 商品识别的处理方法、装置、设备、系统及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5707375B2 (ja) * 2012-11-05 2015-04-30 東芝テック株式会社 商品認識装置及び商品認識プログラム
KR101470315B1 (ko) * 2014-08-11 2014-12-09 (주)엔토스정보통신 객체의 움직임 감지에 의한 위험 감지 cctv 시스템 및 그 방법
US20180046874A1 (en) * 2016-08-10 2018-02-15 Usens, Inc. System and method for marker based tracking

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166640A (ja) * 2019-03-29 2020-10-08 パナソニックIpマネジメント株式会社 精算決済装置および無人店舗システム
JP7373729B2 (ja) 2019-03-29 2023-11-06 パナソニックIpマネジメント株式会社 精算決済装置および無人店舗システム
KR102476498B1 (ko) * 2022-04-12 2022-12-13 주식회사 인피닉 인공지능 기반의 복합 인식을 통한 상품 식별 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Also Published As

Publication number Publication date
US20190073880A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
JP6999404B2 (ja) 物品認識装置及び物品認識方法
JP6785578B2 (ja) 物品認識装置および画像処理方法
JP6341124B2 (ja) オブジェクト認識装置および認識結果提示方法
US9454708B2 (en) Recognition dictionary creation apparatus and method for creating recognition dictionary by the same
JP2021057054A (ja) 画像認識装置
JP6957300B2 (ja) 画像処理装置及び画像処理方法
JP2019046461A (ja) 物品認識装置、物品認識方法及び非一時的可読記憶媒体
US10078828B2 (en) Commodity registration apparatus and commodity registration method
JP2018133071A (ja) 物品認識装置、決済装置および物品認識方法
JP2016119053A (ja) 画像認識装置、商品情報処理装置及び画像認識方法
US11651663B2 (en) Article recognition device
US20160217449A1 (en) Product recognition apparatus, sales data processing apparatus, and control method
JP6971755B2 (ja) 画像処理装置及び画像処理方法
JP2021018470A (ja) 物品特定装置及びプログラム
JP6967981B2 (ja) 物品認識装置及び商品決済装置
JP7337628B2 (ja) 物品認識装置
JP7274644B2 (ja) 物品認識装置
US10977512B2 (en) Article recognition device
US10963726B2 (en) Article recognition device
JP2018129037A (ja) 物品認識装置及び物品認識方法
JP2019219854A (ja) 物品認識装置