JP2018116371A - 商品認識装置 - Google Patents
商品認識装置 Download PDFInfo
- Publication number
- JP2018116371A JP2018116371A JP2017005359A JP2017005359A JP2018116371A JP 2018116371 A JP2018116371 A JP 2018116371A JP 2017005359 A JP2017005359 A JP 2017005359A JP 2017005359 A JP2017005359 A JP 2017005359A JP 2018116371 A JP2018116371 A JP 2018116371A
- Authority
- JP
- Japan
- Prior art keywords
- product
- processor
- image
- posture
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0018—Constructional details, e.g. of drawer, printing means, input means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Cash Registers Or Receiving Machines (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は、実施形態に係る商品認識装置1を含む会計システムの構成例を示す外観図である。
会計システムは、商品認識装置1とPOS端末2とを有する。商品認識装置1は、顧客が買い上げる商品を認識(登録)する。POS端末2は、商品認識装置1で認識(登録)した商品に対する代金の決済を行う。会計システムは、例えば、小売店などの店舗において利用者(顧客)が購入する商品に対する会計処理を行うシステムである。以下の説明では、店員がオペレータとして操作することにより商品認識処理を含む会計処理を実施するシステムを想定する。ただし、会計システムは、利用者自身がオペレータとして操作することにより商品認識処理を含む会計処理を実施するシステム(セルフレジシステム)であっても良い。
なお、カメラ14は、上記構成のものに限定されるものではない。本実施形態に係る商品認識のカメラは、商品を含む画像を画像データとして取得するものであれば良い。
商品認識装置1は、プロセッサ111、ROM(Read Only Memory)112、RAM(Random Access Memory)113、画像インターフェース114、デバイスインターフェース115、接続インターフェース116、および、センサインターフェース117を有する。プロセッサ111は、アドレスバス,データバス等のバスライン118を介して、ROM112、RAM113及び各インターフェース114,115,116、117に接続する。
接続インターフェース116は、POS端末2と接続するためのインターフェースである。図2に示す構成例において、接続インターフェース116は、通信ケーブル400を介してPOS端末2と接続する。接続インターフェース116は、POS端末2と通信するものであれ良く、例えば、無線通信用のインターフェースであっても良い。
通信インターフェース216は、ストアコンピュータ300に接続するためのインターフェースである。通信インターフェース216は、例えば、LAN(Local Area Network)等のネットワークを介してストアコンピュータ300と通信する。POS端末2のプロセッサ211は、通信インターフェース216を介してストアコンピュータ300とデータの送受信が可能となる。例えば、POS端末2のプロセッサ211は、通信インターフェース216を介してストアコンピュータ300から商品認識用の辞書ファイル500を受信する。POS端末2のプロセッサ211は、ストアコンピュータ300から受信した辞書ファイル500をHDD214に保存する。
商品認識装置1は、プロセッサ111がプログラムを実行することにより実現される種々の処理機能を有する。商品認識装置1は、プロセッサ111がROM112に記憶したプログラムを実行することにより商品認識処理を含む商品登録処理などの種々の処理機能を実現する。例えば、商品認識装置1は、商品を認識するための処理機能として、画像取得機能、画像検出機能、特徴量抽出機能、類似度算出機能、商品特定機能及び結果出力機能を有する。
画像検出機能は、カメラ14が撮影した撮影画像から商品画像を検出(抽出)する機能である。プロセッサ111は、画像取得機能によりカメラ14から取得する撮影画像から商品の画像領域を検出する。プロセッサ111は、商品の画像領域を切出して商品画像とする。
類似度算出機能は、商品画像から抽出する特徴量と辞書データとして登録済みの各商品の特徴量データとの類似度を算出する機能である。プロセッサ111は、商品画像から得た特徴量と各商品の辞書ファイル500の特徴量データとの類似度を算出する。
なお、商品認識装置1のプロセッサ111は、商品画像から商品を特定するコード(例えば、バーコード、二次元コード)を認識するコード認識機能を具備しても良い。プロセッサ111は、商品画像からコードが検出できた場合にコードによる商品を認識し、コードが検出できない場合に物体認識により商品を認識するようにしても良い。ただし、以下の説明では、商品認識装置1は、物体認識により商品を認識するものとする。
図3は、会計システムにおける会計処理の流れを概略的に説明するためのフローチャートである。
図3に示すように、会計システムは、利用者が購入する各商品を登録(認識)する商品登録処理と商品登録処理により登録した全商品の代金を決済する会計処理とを行う。商品登録処理は、物体認識を用いた商品認識によって利用者(顧客)が購入する個々の商品を特定(確定)する処理を含む。
図4は、商品認識装置1における商品認識処理を含む商品登録処理の第1の動作例を説明するためのフローチャートである。
第1の動作例において、商品認識装置1のプロセッサ111は、まず、タッチパネル12の表示内容をクリアし(ACT31)、商品登録処理を開始する。商品登録処理を開始すると、プロセッサ111は、姿勢センサ16からオペレータの姿勢を示す情報(姿勢情報)を取得する(ACT32)。姿勢センサ16から姿勢情報を取得すると、プロセッサ111は、取得した姿勢情報に基づいてオペレータが商品認識処理を実行して良い姿勢であるかを判定する(ACT33)。プロセッサ111は、姿勢センサ16から取得する姿勢情報が規定の条件を満すかにより商品認識処理を実行して良い姿勢であるか否かを判定する。
商品認識処理において、プロセッサ111は、特徴量抽出機能、類似度算出機能および商品特定機能による物体認識によって商品を認識する。すなわち、プロセッサ111は、特徴量抽出機能により商品画像から物体認識に用いる特徴量を抽出する。商品画像から特徴量を抽出すると、プロセッサ111は、抽出した特徴量と各商品の辞書ファイル500の特徴量データとの類似度を類似度算出機能により算出する。プロセッサ111は、商品特定機能により算出した各商品に対する類似度が閾値以上であるか判断する。
図5に示す表示例において、タッチパネル12は、商品画像を表示するとともに、複数の商品候補を示す複数のアイコンN1〜N4を表示する。各アイコンN1〜N4は、タッチパネル12のタッチセンサ12bにより選択可能なボタンである。各アイコンN1〜N4は、それぞれの商品候補を示す表示を表示する。プロセッサ111は、何れかのアイコンN1〜N4へのタッチを検知する。
図6は、商品認識装置1における商品認識処理を含む商品登録処理の第2の動作例を説明するためのフローチャートである。
第2の動作例において、商品認識装置1のプロセッサ111は、まず、姿勢フラグP及び更新フラグUを定義する。例えば、プロセッサ111は、姿勢フラグP及び更新フラグUをRAM113上に設定する。姿勢フラグP及び更新フラグUを設定すると、プロセッサ111は、姿勢フラグPの初期値を1とし(ACT50)、更新フラグUの初期値を0とする(ACT51)。
類似度が閾値以上の1つの商品を特定した場合(ACT56、YES)、プロセッサ111は、閾値以上の類似度となった商品を決済対象の商品として登録する(ACT59)。
オペレータが商品認識処理を実行して良い姿勢である(姿勢OK)と判定した場合(ACT63、YES)、プロセッサ111は、姿勢フラグPが0であるかを判定する(ACT65)。姿勢フラグPが0で無ければ(ACT65、NO)、プロセッサ111は、姿勢フラグP及び更新フラグUを変更せずに、ACT57へ戻る。また、姿勢フラグPが0であれば(ACT65、YES)、プロセッサ111は、姿勢フラグPを1にすると共に更新フラグUを1とし(ACT66)、ACT57へ戻る。
Claims (5)
- オペレータが商品を翳す領域を含む撮影領域を撮影した撮影画像を取得するインターフェースと、
前記オペレータの姿勢を示す姿勢情報を取得する姿勢センサと、
前記姿勢センサが取得する姿勢情報が規定の条件を満たすかを判定し、前記姿勢情報が前記規定の条件を満たすと判定した場合に前記インターフェースにより取得する画像に対して商品認識処理を実行するプロセッサと、
を有する商品認識装置。 - 前記規定の条件は、前記姿勢情報がオペレータの姿勢が直立している状態であることを示す条件である、
請求項1に記載の商品認識装置。 - 前記規定の条件は、前記姿勢情報がオペレータの頭部が規定の範囲内にあることを示す条件である、
請求項1に記載の商品認識装置。 - 前記規定の条件は、前記姿勢情報がオペレータの顔が正面を向いていることを示す条件である、
請求項1に記載の商品認識装置。 - オペレータが商品を翳す領域を含む撮影領域を撮影した撮影画像を取得するインターフェースと、
前記オペレータの姿勢情報を取得する姿勢センサと、
前記インターフェースにより取得する画像に含まれる商品を認識する商品認識処理を実行し、
前記商品認識処理により複数の商品候補が得られた場合に複数の商品候補からの商品の選択を受付け、
前記複数の商品候補からの商品の選択を受付ける状態において前記姿勢センサが取得する姿勢情報が第1の状態から第2の状態に遷移した場合に前記複数の商品候補をクリアして前記インターフェースにより新たに取得する画像に対して商品認識処理を再度実行する、プロセッサと、
を有する商品認識装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017005359A JP6873711B2 (ja) | 2017-01-16 | 2017-01-16 | 商品認識装置 |
CN201711269930.7A CN108320403B (zh) | 2017-01-16 | 2017-12-05 | 商品识别装置及控制方法、终端设备 |
US15/857,126 US20180204054A1 (en) | 2017-01-16 | 2017-12-28 | Commodity recognition apparatus |
US16/726,780 US11216657B2 (en) | 2017-01-16 | 2019-12-24 | Commodity recognition apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017005359A JP6873711B2 (ja) | 2017-01-16 | 2017-01-16 | 商品認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018116371A true JP2018116371A (ja) | 2018-07-26 |
JP6873711B2 JP6873711B2 (ja) | 2021-05-19 |
Family
ID=62838443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017005359A Active JP6873711B2 (ja) | 2017-01-16 | 2017-01-16 | 商品認識装置 |
Country Status (3)
Country | Link |
---|---|
US (2) | US20180204054A1 (ja) |
JP (1) | JP6873711B2 (ja) |
CN (1) | CN108320403B (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111694428B (zh) * | 2020-05-25 | 2021-09-24 | 电子科技大学 | 基于Kinect的手势与轨迹远程控制机器人系统 |
US11928662B2 (en) * | 2021-09-30 | 2024-03-12 | Toshiba Global Commerce Solutions Holdings Corporation | End user training for computer vision system |
US20230297990A1 (en) * | 2022-03-18 | 2023-09-21 | Toshiba Global Commerce Solutions Holdings Corporation | Bi-optic object classification system |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0571991U (ja) * | 1992-02-26 | 1993-09-28 | 東京電気株式会社 | レジスタ |
JP2010152798A (ja) * | 2008-12-26 | 2010-07-08 | Oki Electric Ind Co Ltd | 視線認識に応じた自動処理装置、自動処理方法及び自動処理プログラム |
JP2013182457A (ja) * | 2012-03-02 | 2013-09-12 | Toshiba Tec Corp | 商品読取装置および商品読取プログラム |
JP2014142838A (ja) * | 2013-01-24 | 2014-08-07 | Panasonic Corp | 入室管理システムおよび入室管理装置 |
JP2016115282A (ja) * | 2014-12-17 | 2016-06-23 | カシオ計算機株式会社 | 商品識別装置および商品認識ナビゲーション方法 |
JP2016192089A (ja) * | 2015-03-31 | 2016-11-10 | 日本電気株式会社 | 商品登録装置、プログラム、制御方法、及び精算システム |
JP2016220474A (ja) * | 2015-05-25 | 2016-12-22 | 三菱電機株式会社 | モータ制御装置、電動送風機、掃除機およびハンドドライヤー |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004206357A (ja) * | 2002-12-25 | 2004-07-22 | Nec Infrontia Corp | 販売商品データの出力装置及び販売商品データの出力方法 |
RU2323475C2 (ru) * | 2004-11-12 | 2008-04-27 | Общество с ограниченной ответственностью "Центр Нейросетевых Технологий - Интеллектуальные Системы Безопасности" (ООО "ИСС") | Способ (варианты) и устройство (варианты) автоматизированного обнаружения умышленных либо случайных нарушений технологической процедуры оператором |
US20130027561A1 (en) * | 2011-07-29 | 2013-01-31 | Panasonic Corporation | System and method for improving site operations by detecting abnormalities |
JP5826152B2 (ja) | 2012-11-20 | 2015-12-02 | 東芝テック株式会社 | 商品認識装置及び商品認識プログラム |
EP2848163B1 (de) * | 2013-09-17 | 2018-09-05 | Wincor Nixdorf International GmbH | Automatisches Kassensystem mit Bewegungsablaufsteuerung |
US20160012465A1 (en) * | 2014-02-08 | 2016-01-14 | Jeffrey A. Sharp | System and method for distributing, receiving, and using funds or credits and apparatus thereof |
WO2015125478A1 (ja) * | 2014-02-24 | 2015-08-27 | 日本電気株式会社 | 物体検出装置、pos端末装置、物体検出方法、プログラム及びプログラム記録媒体 |
JP6540195B2 (ja) * | 2014-08-05 | 2019-07-10 | セイコーエプソン株式会社 | 会計システム、及び、情報処理方法 |
JP6369258B2 (ja) * | 2014-09-22 | 2018-08-08 | カシオ計算機株式会社 | 商品登録装置、商品登録方法およびプログラム |
JP6555866B2 (ja) * | 2014-09-22 | 2019-08-07 | カシオ計算機株式会社 | 商品登録装置及びプログラム |
US20160110791A1 (en) * | 2014-10-15 | 2016-04-21 | Toshiba Global Commerce Solutions Holdings Corporation | Method, computer program product, and system for providing a sensor-based environment |
JP6341124B2 (ja) * | 2015-03-16 | 2018-06-13 | カシオ計算機株式会社 | オブジェクト認識装置および認識結果提示方法 |
CA2931901A1 (en) * | 2015-06-08 | 2016-12-08 | Wal-Mart Stores, Inc. | Systems and methods for controlling checkout belt speed |
NO20151340A1 (en) * | 2015-10-08 | 2017-04-10 | Peoplepos Ltd | Registration area, and a motion detector of a checkout counter |
US10304194B2 (en) * | 2016-03-25 | 2019-05-28 | The Regents Of The University Of California | Method for quantifying produce shape |
-
2017
- 2017-01-16 JP JP2017005359A patent/JP6873711B2/ja active Active
- 2017-12-05 CN CN201711269930.7A patent/CN108320403B/zh active Active
- 2017-12-28 US US15/857,126 patent/US20180204054A1/en not_active Abandoned
-
2019
- 2019-12-24 US US16/726,780 patent/US11216657B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0571991U (ja) * | 1992-02-26 | 1993-09-28 | 東京電気株式会社 | レジスタ |
JP2010152798A (ja) * | 2008-12-26 | 2010-07-08 | Oki Electric Ind Co Ltd | 視線認識に応じた自動処理装置、自動処理方法及び自動処理プログラム |
JP2013182457A (ja) * | 2012-03-02 | 2013-09-12 | Toshiba Tec Corp | 商品読取装置および商品読取プログラム |
JP2014142838A (ja) * | 2013-01-24 | 2014-08-07 | Panasonic Corp | 入室管理システムおよび入室管理装置 |
JP2016115282A (ja) * | 2014-12-17 | 2016-06-23 | カシオ計算機株式会社 | 商品識別装置および商品認識ナビゲーション方法 |
JP2016192089A (ja) * | 2015-03-31 | 2016-11-10 | 日本電気株式会社 | 商品登録装置、プログラム、制御方法、及び精算システム |
JP2016220474A (ja) * | 2015-05-25 | 2016-12-22 | 三菱電機株式会社 | モータ制御装置、電動送風機、掃除機およびハンドドライヤー |
Also Published As
Publication number | Publication date |
---|---|
US20200134302A1 (en) | 2020-04-30 |
US20180204054A1 (en) | 2018-07-19 |
JP6873711B2 (ja) | 2021-05-19 |
US11216657B2 (en) | 2022-01-04 |
CN108320403B (zh) | 2021-04-20 |
CN108320403A (zh) | 2018-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6730079B2 (ja) | 監視装置及びプログラム | |
US10108830B2 (en) | Commodity recognition apparatus and commodity recognition method | |
JP5553866B2 (ja) | 商品認識装置及び認識辞書追加プログラム | |
US10169752B2 (en) | Merchandise item registration apparatus, and merchandise item registration method | |
US9292748B2 (en) | Information processing apparatus and information processing method | |
JP6686290B2 (ja) | システム及び方法 | |
JP6651705B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US9036870B2 (en) | Commodity recognition apparatus and commodity recognition method | |
US11216657B2 (en) | Commodity recognition apparatus | |
JP2015099549A (ja) | 商品認識装置及び商品認識プログラム | |
JP2022009877A (ja) | 管理装置及びプログラム | |
US20180308084A1 (en) | Commodity information reading device and commodity information reading method | |
US9269026B2 (en) | Recognition dictionary creation apparatus and recognition dictionary creation method | |
JP2023162229A (ja) | 監視装置及びプログラム | |
CN112154488B (zh) | 信息处理装置、控制方法和程序 | |
JP2015099550A (ja) | 商品認識装置及び商品認識プログラム | |
JP7197208B2 (ja) | 商品認識システム、商品認識装置、方法及びプログラム | |
JP5753929B2 (ja) | 商品認識装置、方法及び認識辞書追加プログラム | |
JP2020074189A (ja) | 商品登録装置、制御方法、およびプログラム | |
JP6389141B2 (ja) | サーバおよびプログラム | |
JP6696554B2 (ja) | 精算システム及び精算方法 | |
US20180060693A1 (en) | Object recognition apparatus | |
US20230316761A1 (en) | Fraudulent act detection device and fraudulent act detection method | |
US20220092573A1 (en) | Portable terminal and information processing method for a portable terminal | |
JP2024137263A (ja) | 物品識別システム、登録システム及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210323 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6873711 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |