JP2018067306A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2018067306A JP2018067306A JP2017193399A JP2017193399A JP2018067306A JP 2018067306 A JP2018067306 A JP 2018067306A JP 2017193399 A JP2017193399 A JP 2017193399A JP 2017193399 A JP2017193399 A JP 2017193399A JP 2018067306 A JP2018067306 A JP 2018067306A
- Authority
- JP
- Japan
- Prior art keywords
- product
- cpu
- area
- image
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Cash Registers Or Receiving Machines (AREA)
Abstract
Description
(第1実施形態)
まず、第1実施形態に係る商品情報処理装置(画像処理装置)について説明する。
図1は、第1実施形態に係る商品情報処理装置1の構成例を概略的に示す。
筐体2は、商品情報処理装置1の外形を形成するフレームである。筐体2は、カゴ10を設置することができるように形成される。図1が示す例においては、筐体2は、コの字型であり、カゴ10を積載することができるように形成される。
ここでは、操作部5は、タッチパネルであり、ディスプレイ4と一体的に形成されているものとする。
また、商品情報処理装置1は、カゴ10内の商品を照らす照明などを備えてもよい。
図2は、商品情報処理装置1の構成例を示すブロック図である。
図2が示すように、商品情報処理装置1は、カメラ3、ディスプレイ4、操作部5、CPU21、メモリ22、カメラインターフェース23及びディスプレイインターフェース24などを備える。これらの各部は、データバスを介して互いに接続される。なお、商品情報処理装置1は、図2が示すような構成の他に必要に応じた構成を具備したり、特定の構成を除外したりしてもよい。
CPU21は、商品情報処理装置1全体の動作を制御する機能を有する。CPU21は、内部キャッシュおよび各種のインターフェースなどを備えても良い。CPU21は、内部メモリ又はメモリ22に予め記憶したプログラムを実行することにより種々の処理を実現する。CPU21は、たとえば、プロセッサである。
まず、CPU21は、カゴ10内の商品を示すバーコードを含む商品画像(入力画像)を取得する機能を有する。商品画像は、商品を特定するためのバーコードを含む。たとえば、CPU21は、カメラ3を用いてカゴ10内の商品を撮影し、商品画像を取得する。CPU21は、商品画像を撮影するために、撮影パラメータをカメラ3に設定してもよい。
なお、CPU21は、外部装置から商品画像を取得してもよい。
たとえば、CPU21は、背景色(たとえば、カゴ10の内部の色)との差異に基づいて商品領域を特定する。たとえば、CPU21は、予め背景色を取得し、商品画像において背景色と異なる色の領域を商品領域として抽出する。
なお、CPU21が商品領域を抽出する方法は、特定の方法に限定されるものではない。
たとえば、CPU21は、商品領域から、バーコードが写るバーコード領域を抽出する。たとえば、CPU21は、商品画像に対してパターンマッチングなどを用いるラスタスキャンを実行し、バーコード領域を抽出する。
また、商品にパターンとして文字列が付与される場合、CPU21は、商品領域に対してOCR処理などを実行して、文字列を読み取ってもよい。
たとえば、CPU21は、オブジェクト認識を用いて商品領域の商品を特定する。たとえば、CPU21は、オブジェクト認識を用いて商品領域に写る商品を示す商品コードを取得する。
たとえば、メモリ22が商品コードと商品情報とを対応付けた商品テーブルを格納する。CPU21は、当該商品テーブルを参照して、商品コードに対応する商品情報を取得する。また、商品情報処理装置1の上位装置が商品テーブルを格納し、CPU21は、通信部などを通じて、上位装置から商品コードに対応する商品情報を取得してもよい。
商品情報は、商品に関する情報である。たとえば、商品情報は、商品名及び価格などを備える。商品情報の構成は、特定の構成に限定されるものではない。
たとえば、CPU21はディスプレイ4の所定の領域に、警告フラグが設定された商品領域を商品の認識に失敗した商品領域として表示する。たとえば、CPU21は、商品画像を表示する。CPU21は、商品画像において当該商品領域の周囲に破線枠(読取失敗を示す情報)を表示する。即ち、CPU21は、商品の認識に失敗した商品領域の周囲に破線枠を表示することで、当該商品領域において商品の認識に失敗したことを提示する。
たとえば、CPU21はディスプレイ4の所定の領域に、商品の認識に成功した商品領域を表示する。たとえば、CPU21は、商品画像を表示する。CPU21は、商品画像において当該商品領域の周囲に実線枠(読取成功を示す情報)を表示する。即ち、CPU21は、商品の認識に成功した商品領域の周囲に実線枠を表示することで、当該商品領域において商品の認識に成功したことを提示する。
図3は、CPU21が一部の商品領域において商品の認識に失敗した場合のディスプレイ4の表示例を示す。
表示領域41は、商品の認識に失敗した商品領域の商品をバーコードが上向きになるように置き直すことを促すメッセージを表示する。たとえば、表示領域41は、破線に囲まれた商品を置き直すことを促すメッセージを表示する。
枠43aは、破線である。従って、枠43aは、枠43a内の商品領域において商品の認識に失敗したことを示す。
なお、CPU21がディスプレイ4に表示する内容は、特定の構成に限定されるものではない。
図4は、CPU21が各商品領域において商品の認識に成功した場合のディスプレイ4の表示例を示す。
表示領域41は、商品の合計金額を表示する。
表示領域42は、各商品の商品名及び価格を表示する。また、表示領域42は、消費税又は合計金額を表示してもよい。また、表示領域42は、各商品領域において商品の認識に成功したことを示すメッセージを表示してもよい。
枠43d乃至43fは、実線である。従って、枠43d乃至43fは、それぞれ枠43d乃至43f内の商品領域において商品の認識に成功したことを示す
なお、CPU21がディスプレイ4に表示する内容は、特定の構成に限定されるものではない。
たとえば、CPU21は、商品を購入する購入者のクレジット情報を予め取得する。たとえば、CPU21は、購入者から操作部5などを通じてクレジット情報の入力を受け付けてもよい。また、CPU21は、カメラなどを用いて購入者の画像を取得し、当該画像に対応するクレジット情報を取得してもよい。
図5及び6は、CPU21の動作例について説明するためのフローチャートである。
まず、CPU21は、決済処理を開始するか判定する(ACT11)。たとえば、CPU21は、カゴ10が所定の位置にセットされたことを検知すると、決済処理を開始すると判定する。また、CPU21は、操作部5を通じて所定の操作を受け付けると、決済処理を開始すると判定してもよい。
バーコードの読取に失敗したと判定すると(ACT15、NO)、CPU21は、当該商品領域に写る商品が自然物であるか判定する(ACT17)。当該商品領域に写る商品が自然物であると判定すると(ACT18、YES)、CPU21は、当該商品領域においてオブジェクト認識を用いて商品コードを取得する(ACT19)。
合計金額を決済すると、CPU21は、動作を終了する。
(第2実施形態)
次に、第2実施形態に係る商品情報処理装置について説明する。
第2実施形態に係る商品情報処理装置1は、商品領域の商品が自然物であるかの判定を行わない点で第1実施形態に係る商品情報処理装置1と異なる。従って、同一の構成については、同一の符号を付して詳細な説明を省略する。
図7は、CPU21の動作例について説明するためのフローチャートである。
ここでは、図5及び図6の動作と同一の動作については同一の符号を付して説明を省略する。
また、バーコードをデコードした商品コードを取得すると(ACT16)、CPU21は、商品コードに基づいて商品情報を取得する(ACT21)。
Claims (5)
- 入力画像を取得するインターフェースと、
前記入力画像から第1の対象物領域を抽出し、
前記第1の対象物領域から第1の識別情報を読み取り、
前記第1の識別情報の読取に失敗した場合、前記第1の対象物領域と前記第1の対象物領域の読取失敗を示す情報とを含む出力画像を出力する、
プロセッサと、
を備える、
画像処理装置。 - 前記プロセッサは、
前記入力画像から第2の対象物領域を抽出し、
前記第2の対象物領域から第2の識別情報を読み取り、
前記第2の対象物領域から前記第2の識別情報の読取に成功した場合、前記第2の対象物領域と前記第2の対象物領域の読取成功を示す情報とをさらに含む前記出力画像を出力する、
前記請求項1に記載の画像処理装置。 - 前記プロセッサは、
前記第1の対象物領域から前記第1の識別情報の読取に失敗した場合、前記第1の対象物領域に写る対象物が自然物であるか判定し、
前記対象物が前記自然物であると判定した場合、前記第1の対象物領域からオブジェクト認識で前記対象物を認識し、
前記対象物が前記自然物でないと判定した場合、前記出力画像を出力する、
前記請求項1に記載の画像処理装置。 - 前記対象物は、商品であり、
前記プロセッサは、
前記第1の対象物領域から前記第1の識別情報の読取に成功した場合、前記第1の識別情報に基づいて前記対象物の商品情報を取得し、
前記商品情報の少なくとも一部を含む商品情報画像を出力する、
前記請求項3に記載の画像処理装置。 - 入力画像を取得し、
前記入力画像から第1の対象物領域を抽出し、
前記第1の対象物領域から第1の識別情報を読み取り、
前記第1の識別情報の読取に失敗した場合、前記第1の対象物領域及び前記第1の対象物領域の読取失敗を示す情報を含む出力画像を出力する、
画像処理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/298,862 US10192136B2 (en) | 2016-10-20 | 2016-10-20 | Image processing apparatus and image processing method |
US15/298,862 | 2016-10-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018067306A true JP2018067306A (ja) | 2018-04-26 |
JP6971755B2 JP6971755B2 (ja) | 2021-11-24 |
Family
ID=61969791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017193399A Active JP6971755B2 (ja) | 2016-10-20 | 2017-10-03 | 画像処理装置及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10192136B2 (ja) |
JP (1) | JP6971755B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020198054A (ja) * | 2019-06-05 | 2020-12-10 | 日本ユニシス株式会社 | プログラム、情報処理システム、情報処理装置及び情報処理方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023050597A (ja) * | 2021-09-30 | 2023-04-11 | 富士通株式会社 | 通知プログラム、通知方法および情報処理装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014167749A (ja) * | 2013-02-28 | 2014-09-11 | Toshiba Tec Corp | 商品情報表示装置及びコンピュータプログラム |
JP2015228079A (ja) * | 2014-05-30 | 2015-12-17 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
JP2016105225A (ja) * | 2014-12-01 | 2016-06-09 | カシオ計算機株式会社 | 商品注文装置、商品注文方法、商品価格出力装置、商品価格出力方法、価格情報出力装置および価格情報出力方法 |
JP2016119052A (ja) * | 2014-12-23 | 2016-06-30 | 東芝テック株式会社 | 画像認識装置及び商品情報処理装置 |
JP2016173657A (ja) * | 2015-03-16 | 2016-09-29 | カシオ計算機株式会社 | オブジェクト認識装置および認識結果提示方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4460611B2 (ja) * | 2008-01-31 | 2010-05-12 | 東芝テック株式会社 | 商品登録システム及びその方法 |
JP5675722B2 (ja) * | 2012-07-23 | 2015-02-25 | 東芝テック株式会社 | 認識辞書処理装置及び認識辞書処理プログラム |
JP2014235530A (ja) | 2013-05-31 | 2014-12-15 | Kddi株式会社 | セルフショッピングシステム、携帯端末、コンピュータプログラムおよびセルフショッピング方法 |
JP6555866B2 (ja) * | 2014-09-22 | 2019-08-07 | カシオ計算機株式会社 | 商品登録装置及びプログラム |
-
2016
- 2016-10-20 US US15/298,862 patent/US10192136B2/en active Active
-
2017
- 2017-10-03 JP JP2017193399A patent/JP6971755B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014167749A (ja) * | 2013-02-28 | 2014-09-11 | Toshiba Tec Corp | 商品情報表示装置及びコンピュータプログラム |
JP2015228079A (ja) * | 2014-05-30 | 2015-12-17 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
JP2016105225A (ja) * | 2014-12-01 | 2016-06-09 | カシオ計算機株式会社 | 商品注文装置、商品注文方法、商品価格出力装置、商品価格出力方法、価格情報出力装置および価格情報出力方法 |
JP2016119052A (ja) * | 2014-12-23 | 2016-06-30 | 東芝テック株式会社 | 画像認識装置及び商品情報処理装置 |
JP2016173657A (ja) * | 2015-03-16 | 2016-09-29 | カシオ計算機株式会社 | オブジェクト認識装置および認識結果提示方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020198054A (ja) * | 2019-06-05 | 2020-12-10 | 日本ユニシス株式会社 | プログラム、情報処理システム、情報処理装置及び情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20180114322A1 (en) | 2018-04-26 |
US10192136B2 (en) | 2019-01-29 |
JP6971755B2 (ja) | 2021-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6999404B2 (ja) | 物品認識装置及び物品認識方法 | |
JP2018156674A (ja) | 画像認識装置及び商品情報処理装置 | |
US20140246487A1 (en) | Information processing apparatus and information processing method | |
WO2013003086A1 (en) | Object identification using barcode reader | |
JP2016119053A (ja) | 画像認識装置、商品情報処理装置及び画像認識方法 | |
US20130054344A1 (en) | Code reading apparatus, sales data processing apparatus and sales data processing method | |
JP2017123163A (ja) | 画像認識装置 | |
JP6957300B2 (ja) | 画像処理装置及び画像処理方法 | |
US11321696B2 (en) | Commodity registration device with wireless tag reader and optical reading unit | |
AU2020391392B2 (en) | Method for optimizing improper product barcode detection | |
US20180068534A1 (en) | Information processing apparatus that identifies an item based on a captured image thereof | |
EP3767538A1 (en) | Sequential classification for commodity identification | |
JP2019046461A (ja) | 物品認識装置、物品認識方法及び非一時的可読記憶媒体 | |
CN107833403B (zh) | 商品登记装置及商品登记方法、终端设备 | |
JP6971755B2 (ja) | 画像処理装置及び画像処理方法 | |
US20180308084A1 (en) | Commodity information reading device and commodity information reading method | |
JP6967981B2 (ja) | 物品認識装置及び商品決済装置 | |
US20170178107A1 (en) | Information processing apparatus, information processing method, recording medium and pos terminal apparatus | |
US20210097355A1 (en) | Registration apparatus, registration method, and non-transitory storage medium | |
JP2016136339A (ja) | 物品認識装置、販売データ処理装置および制御プログラム | |
JP6999493B2 (ja) | 物品認識装置 | |
JP2018129037A (ja) | 物品認識装置及び物品認識方法 | |
EP2600280A1 (en) | Processing images in an imaging based optical code scanner | |
EP3038016A1 (en) | Image recognition apparatus, commodity information processing apparatus and image recognition method | |
JP7322945B2 (ja) | 処理装置、処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200623 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6971755 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |