JP2023073432A - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2023073432A JP2023073432A JP2023055215A JP2023055215A JP2023073432A JP 2023073432 A JP2023073432 A JP 2023073432A JP 2023055215 A JP2023055215 A JP 2023055215A JP 2023055215 A JP2023055215 A JP 2023055215A JP 2023073432 A JP2023073432 A JP 2023073432A
- Authority
- JP
- Japan
- Prior art keywords
- product
- shelf label
- information
- image
- shelf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title abstract description 29
- 230000010365 information processing Effects 0.000 claims description 66
- 238000003672 processing method Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
- A47F5/00—Show stands, hangers, or shelves characterised by their constructional features
- A47F5/0043—Show shelves
- A47F5/0068—Shelf extensions, e.g. fixed on price rail
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
- A47F5/00—Show stands, hangers, or shelves characterised by their constructional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Display Racks (AREA)
Abstract
【課題】店舗の商品棚において、棚札が商品と正しく関連付けられているか否かを簡易にかつ精度よく判断する技術を提供する。【解決手段】情報処理装置(10)は、商品情報取得部(110)、棚札情報取得(120)、第1判定部(130)および出力部(140)を備える。商品情報取得部(110)は、商品および棚札が撮像された画像を解析することにより、商品の位置を取得する。棚札情報取得(120)は、画像を解析することにより、棚札の位置を取得する。第1判定部(130)は、取得した商品の位置と棚札の位置とに基づいて、画像中の商品と棚札との対応付けを決定し、対応付けが基準を満たしている状態であるか否かを判定する。出力部(140)は、判定の結果を画像に重畳表示させた画面を出力する。【選択図】図1
Description
本発明は、店舗等での棚割業務の分析技術に関する。
店舗の商品棚に陳列される商品の近傍には、商品名や価格といったその商品に関する情報を記載する棚札が配置されている。この棚札が商品と正しく関連づけられていない場合、店舗の利用客が商品の価格などを誤って認識してしまうといった問題が生じ得る。
商品棚の商品と棚札が正しく関連付けられているか否かを確認する技術の一例が、下記特許文献1または2に開示されている。下記特許文献1には、商品情報と電子棚札との対応関係を示す関連情報を予め用意しておき、画像内での商品の位置および電子棚札の位置に基づいて決まる商品と電子棚札との対応関係が、関連情報の対応関係と一致するか否かを判断する技術が開示されている。また、下記特許文献2には、画像から認識された商品の種類の数と棚札の数との関係、または、当該画像から認識された種類ごとの商品の位置と当該画像から認識された棚札の位置との関係に誤りがあるか否かを判定する技術が開示されている。
上述の特許文献1の技術では、商品棚に陳列される全ての商品について、商品情報と電子棚札との対応関係を予め準備しておかなければならず、手間がかかる。また、上述の特許文献2の技術では、位置や数の対応関係は正しいが、棚札に記載される商品情報が違うといった対応関係の誤りを検出できない。
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、店舗の商品棚において、棚札が商品と正しく関連付けられているか否かを簡易にかつ精度よく判断する技術を提供することである。
本発明の一態様によれば、
商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得する商品情報取得手段と、
前記画像を解析することにより、前記棚札の位置を取得する棚札情報取得手段と、
取得した前記商品の位置と前記棚札の位置とに基づいて前記画像中の商品と棚札との対応付けを決定し、前記対応付けが基準を満たしている状態であるか否かを判定する第1判定手段と、
前記判定の結果を前記画像に重畳表示させた画面を出力する出力手段と、
を備える情報処理装置が提供される。
商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得する商品情報取得手段と、
前記画像を解析することにより、前記棚札の位置を取得する棚札情報取得手段と、
取得した前記商品の位置と前記棚札の位置とに基づいて前記画像中の商品と棚札との対応付けを決定し、前記対応付けが基準を満たしている状態であるか否かを判定する第1判定手段と、
前記判定の結果を前記画像に重畳表示させた画面を出力する出力手段と、
を備える情報処理装置が提供される。
本発明の一態様によれば、
コンピュータが、
商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得し、
前記画像を解析することにより、前記棚札の位置を取得し、
取得した前記商品の位置と前記棚札の位置とに基づいて前記画像中の商品と棚札との対応付けを決定し、前記対応付けが基準を満たしている状態であるか否かを判定し、
前記判定の結果を前記画像に重畳表示させた画面を出力する、
ことを含む情報処理方法が提供される。
コンピュータが、
商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得し、
前記画像を解析することにより、前記棚札の位置を取得し、
取得した前記商品の位置と前記棚札の位置とに基づいて前記画像中の商品と棚札との対応付けを決定し、前記対応付けが基準を満たしている状態であるか否かを判定し、
前記判定の結果を前記画像に重畳表示させた画面を出力する、
ことを含む情報処理方法が提供される。
本発明の一態様によれば、
コンピュータを、
商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得する商品情報取得手段、
前記画像を解析することにより、前記棚札の位置を取得する棚札情報取得手段、
取得した前記商品の位置と前記棚札の位置とに基づいて前記画像中の商品と棚札との対応付けを決定し、前記対応付けが基準を満たしている状態であるか否かを判定する第1判定手段、
前記判定の結果を前記画像に重畳表示させた画面を出力する出力手段、
として機能させるためのプログラムが提供される。
コンピュータを、
商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得する商品情報取得手段、
前記画像を解析することにより、前記棚札の位置を取得する棚札情報取得手段、
取得した前記商品の位置と前記棚札の位置とに基づいて前記画像中の商品と棚札との対応付けを決定し、前記対応付けが基準を満たしている状態であるか否かを判定する第1判定手段、
前記判定の結果を前記画像に重畳表示させた画面を出力する出力手段、
として機能させるためのプログラムが提供される。
本発明によれば、店舗の商品棚において、棚札が商品と正しく関連付けられているか否かを簡易かつ精度よく判断することができる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
[第1実施形態]
〔機能構成〕
図1は、第1実施形態における情報処理装置10の機能構成を概念的に示すブロック図である。図1に示されるように、本実施形態の情報処理装置10は、商品情報取得部110、棚札情報取得部120、第1判定部130および出力部140を有する。
〔機能構成〕
図1は、第1実施形態における情報処理装置10の機能構成を概念的に示すブロック図である。図1に示されるように、本実施形態の情報処理装置10は、商品情報取得部110、棚札情報取得部120、第1判定部130および出力部140を有する。
商品情報取得部110は、1以上の商品および1以上の棚札が撮像された画像(以下、「処理対象画像」と表記)を解析することにより、各商品の位置を取得する。また、商品情報取得部110は、処理対象画像を解析することにより、各商品に関連付けられた商品情報を更に取得してもよい。商品情報は、その商品を識別する情報(商品識別情報)を含んでいる。棚札情報取得部120は、処理対象画像を解析することにより、各棚札の位置を取得する。また、棚札情報取得部120は、処理対象画像を解析することにより、各棚札に記載されている商品情報(棚札商品情報)をさらに取得してもよい。ここで、棚札は、紙などのアナログ媒体で作られた棚札であってもよいし、電子媒体で作られた所謂電子棚札であってもよい。第1判定部130は、商品情報取得部110が取得した商品の位置と棚札情報取得部120が取得した棚札の位置との関係に基づいて、商品と棚札との対応関係の整合性を判定する。商品情報取得部110が各商品に関連付けられた商品情報をさらに取得し、棚札情報取得部120が棚札商品情報をさらに取得している場合、第1判定部130は、さらに、商品情報取得部110が取得した商品情報と棚札情報取得部120が取得した棚札商品情報との関係に基づいて、商品と棚札との対応関係の整合性を判定してもよい。出力部140は、商品と棚札との対応関係の整合性についての判定結果を出力する。
〔ハードウエア構成〕
情報処理装置10の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置10の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
情報処理装置10の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置10の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
計算機1000は種々の計算機である。例えば計算機1000は、PC(Personal Computer)、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機1000は、情報処理装置10を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
図2は、情報処理装置10を実現する計算機1000の構成を例示する図である。計算機1000は、バス1020、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、及びネットワークインタフェース1120を有する。バス1020は、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、及びネットワークインタフェース1120が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1040などを互いに接続する方法は、バス接続に限定されない。プロセッサ1040は、CPU(Central Processing Unit) やGPU(Graphics Processing Unit)などで実現されるプロセッサである。メモリ1060は、RAM(Random Access Memory)などで実現される主記憶装置である。ストレージデバイス1080は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。
入出力インタフェース1100は、計算機1000と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース1100には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
ネットワークインタフェース1120は、計算機1000をネットワークに接続するためのインタフェースである。このネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1120がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
ストレージデバイス1080は情報処理装置10の各機能(商品情報取得部110、棚札情報取得部120、第1判定部130、出力部140など)を実現するプログラムモジュールを記憶している。プロセッサ1040は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。
以上、本実施形態では、第1判定部130は、商品と棚札との対応関係の整合性を判定する際に、商品の位置と棚札の位置との関係、または、当該商品の位置と棚札の位置との関係及び画像に写っている商品と画像に写っている棚札に記載される商品との関係を利用する。この構成により、商品と棚札とが正しく対応付けられているか否かを、事前の対応付け処理を行わずに判定することができる。また、この構成により、商品と棚札とが正しく対応付けられているか否かを精度よく判定することができる。
[第2実施形態]
本実施形態では、第1実施形態の情報処理装置10をより詳細に説明する。
本実施形態では、第1実施形態の情報処理装置10をより詳細に説明する。
〔機能構成およびハードウエア構成〕
本実施形態の情報処理装置10は、第1実施形態と同様の機能構成(例:図1)およびハードウエア構成(例:図2)を有する。本実施形態の情報処理装置10は、入出力インタフェース1100やネットワークインタフェース1120を介して接続された外部装置から処理対象画像を取得する。特に限定されないが、外部装置は、小売店の担当者やメーカー担当者のタブレット端末やスマートフォンや店舗内の監視カメラなどである。例えば、情報処理装置10は、小売店の担当者やメーカー担当者のタブレット端末やスマートフォンなどとネットワークインタフェース1120を介して通信して、処理対象画像を取得する。
本実施形態の情報処理装置10は、第1実施形態と同様の機能構成(例:図1)およびハードウエア構成(例:図2)を有する。本実施形態の情報処理装置10は、入出力インタフェース1100やネットワークインタフェース1120を介して接続された外部装置から処理対象画像を取得する。特に限定されないが、外部装置は、小売店の担当者やメーカー担当者のタブレット端末やスマートフォンや店舗内の監視カメラなどである。例えば、情報処理装置10は、小売店の担当者やメーカー担当者のタブレット端末やスマートフォンなどとネットワークインタフェース1120を介して通信して、処理対象画像を取得する。
〔動作例〕
情報処理装置10の動作例について、図3を用いて説明する。図3は、第2実施形態に係る情報処理装置10の動作例を示すフローチャートである。
情報処理装置10の動作例について、図3を用いて説明する。図3は、第2実施形態に係る情報処理装置10の動作例を示すフローチャートである。
<第1動作例>
まず、情報処理装置10は処理対象画像(例:図4)を取得する(S102)。図4は、処理対象画像の一例を示す図である。図4に例示される処理対象画像において、符号20は商品棚に陳列されている商品を示す。また、図4に例示される処理対象画像において、符号30は商品棚に配置されている棚札を示す。図4に例示されるような処理対象画像は、例えば、タブレット端末やスマートフォンといった携帯端末、または、店舗内の監視カメラなどにより生成される。例えば、小売店の担当者やメーカー担当者が、携帯端末のカメラ機能を用いて、商品棚の所望の領域を撮像することによって、図4に例示されるような処理対象画像が生成される。例えば、情報処理装置10は、小売店の担当者やメーカー担当者のタブレット端末やスマートフォンと通信して、処理対象画像を取得することができる。ただし、情報処理装置10が撮像機能を備えている場合、情報処理装置10が処理対象画像を生成してもよい。また、処理対象画像が図示しない記憶装置(外部サーバなど)に記憶されている場合、情報処理装置10は当該記憶装置と通信して処理対象画像を取得することができる。
まず、情報処理装置10は処理対象画像(例:図4)を取得する(S102)。図4は、処理対象画像の一例を示す図である。図4に例示される処理対象画像において、符号20は商品棚に陳列されている商品を示す。また、図4に例示される処理対象画像において、符号30は商品棚に配置されている棚札を示す。図4に例示されるような処理対象画像は、例えば、タブレット端末やスマートフォンといった携帯端末、または、店舗内の監視カメラなどにより生成される。例えば、小売店の担当者やメーカー担当者が、携帯端末のカメラ機能を用いて、商品棚の所望の領域を撮像することによって、図4に例示されるような処理対象画像が生成される。例えば、情報処理装置10は、小売店の担当者やメーカー担当者のタブレット端末やスマートフォンと通信して、処理対象画像を取得することができる。ただし、情報処理装置10が撮像機能を備えている場合、情報処理装置10が処理対象画像を生成してもよい。また、処理対象画像が図示しない記憶装置(外部サーバなど)に記憶されている場合、情報処理装置10は当該記憶装置と通信して処理対象画像を取得することができる。
そして、商品情報取得部110は、処理対象画像を解析して、その処理対象画像に写っている商品の商品情報および商品の位置情報(以下、「商品位置情報」と表記)を取得する(S104)。
具体的には、商品情報取得部110は、処理対象画像を解析することによって、処理対象画像の中の商品を表す領域(以下、「商品領域」とも表記)を抽出する。なお、商品情報取得部110は、様々な既知のオブジェクト認識技術を利用して、商品領域を抽出することができる。また、処理対象画像の中に複数の商品が写っている場合、商品情報取得部110は、商品毎に商品領域を抽出する。商品情報取得部110は、抽出した商品領域を解析し、その商品領域が表す商品の商品情報およびその商品の位置情報を取得する。
例えば、商品情報取得部110は、各商品領域から抽出される画像特徴量に基づいてパターンマッチングを行うことによって、各商品領域が表す商品がどの商品であるかを認識することができる。この場合、各商品の画像特徴量と各商品の商品情報とが対応付けられたテーブルが、メモリ1060やストレージデバイス1080に用意される。一例として、商品に関する商品情報は、少なくとも、各商品の名称(商品名)、各商品を識別するための識別子(JAN(Japanese Article Number)コードなど)、商品が属するグループの名称(例えばブランド名)、商品が属する商品カテゴリ、商品の内容量(例えば、350ml)、商品のサイズ、各商品の標準価格及びメーカ(製造メーカや販売メーカ)などの情報の何れかを含んでいてもよい。ここで、標準価格とは、例えば希望小売価格、近隣の店舗や他の系列店での商品の設定価格など、店舗で各商品の価格を決める際の標準となる価格を意味する。また、標準価格は幅を持った情報(価格帯を示す情報)であってもよい。例えば、商品毎の価格帯を示す情報がメモリ1060等に記憶されており、商品情報取得部110は、商品の価格帯を示す情報を読み出してもよい。また、価格帯を決めるための幅を示す情報がメモリ1060等に記憶されており、商品情報取得部110は、画像処理の結果を基に得られた商品の価格と当該幅を示す情報を基に、商品の価格帯を算出してもよい。なお、この幅は、商品の価格に応じて変更されてもよい。また、商品情報取得部110は、店舗や他の系列店での商品の設定価格を複数取得し、最も高い価格と最も低い価格とによって商品の価格帯を決定してもよい。商品情報取得部110は、当該テーブルに記憶された複数の画像特徴量の中から、商品領域から抽出した画像特徴量に一致または最も類似する画像特徴量を特定する。そして、商品情報取得部110は、特定した画像特徴量に対応付けられている商品情報を取得する。
また、商品情報取得部110は、商品の商品棚における位置を、商品位置情報として取得することができる。商品の位置は、例えば、段方向の位置(例えば、最上段から何段目に位置するか)と、列方向の位置(例えば、左端の列から何列目に位置するか)との組み合わせで表される。ここで、商品棚が含まれる画像から各商品の位置を特定する技術には、既存の技術を利用することができる。なお、同じ種類の商品(商品名が同一の商品)が複数の位置に配置されている場合、商品情報取得部110は、1つの商品について、複数の位置を取得することとする。なお、位置を特定する処理はこれに限定されない。例えば、商品情報取得部110は、商品毎に特定した商品領域の処理対象画像上での座標値を、商品位置情報として取得することができる。
ここで、同一の商品が横方向に複数陳列されていることがある。このような場合、商品情報取得部110は、隣接する同一の商品を表す領域(以下、「商品グループ領域」と表記)を特定し、その商品グループ領域の処理対象画像上での座標を、一つの商品の位置情報として取得する。なお、商品情報取得部110は、「隣接する同一の商品」を、例えば「各商品領域から抽出される画像特徴量または当該画像特徴量を用いて得られた商品情報が同一または類似するか否か」に基づいて判定することができる。また、商品情報取得部110は、商品情報が同一の商品の数、即ち、特定した商品グループ領域からフェイス数を求めることもできる。
なお、上述の説明では、商品情報取得部110は、商品グループ領域の処理対象画像上での座標を、一つの商品の位置情報として取得しているが、商品情報取得部110の構成は、これに限定されない。例えば、商品情報取得部110は、商品グループ領域に含まれるそれぞれの商品の処理対象画像上での座標を取得してもよい。
また、同一の品目であるが、一部の属性(例えば、商品の味や商品の色など)が異なる複数種類の商品(バリエーション商品)が隣接して配置されていることがある。このような場合、商品情報取得部110は、これら複数種類の商品を互いに異なる商品として認識してもよいし、同一の商品として認識してもよい。後者の場合、例えば上記したテーブルの1つのレコードに、同一の商品として認識すべき複数種類の商品の特徴量が互いに関連付けられて記憶される。そして、商品情報取得部110は、この関連付けを用いることにより、例えば、隣接するバリエーション商品群を表す領域(商品グループ領域)を特定することができる。そして、商品情報取得部110は、その商品グループ領域の処理対象画像上での座標を、一つの商品の位置情報として取得する。但し、商品情報取得部110は、一部の属性が異なる複数種類の商品のうち、それぞれの商品の位置情報を取得してもよい。
同様に、棚札情報取得部120は、処理対象画像を解析して、その処理対象画像に写っている棚札に記載されている商品情報(以下、「棚札商品情報」と表記)および棚札の位置情報(以下、「棚札位置情報」と表記)を取得する(S106)。
具体的には、棚札情報取得部120は、処理対象画像を解析することによって、棚札を表す領域(以下、「棚札領域」と表記)を抽出する。処理対象画像の中に複数の棚札が写っている場合、棚札情報取得部120は、棚札毎に棚札領域を抽出する。棚札情報取得部120は、抽出された棚札領域を解析し、その棚札領域が表す棚札に記載されている商品情報、および、その棚札の位置情報を取得する。
例えば、棚札情報取得部120は、OCR(Optical Character Recognition)技術等を用いて棚札領域を解析することで、その棚札に記載されている商品情報(商品の名称、商品の説明、商品の価格など)を取得することができる。また、棚札には、各商品を識別する識別情報(商品ID)をエンコードしたバーコードや二次元コード(例えば、JAN(Japan Article Number)コードやPLU(Price Look Up)コードなど)が含まれている場合もある。この場合、棚札情報取得部120は、バーコードや二次元コードが写っている領域を解析して、エンコードされた識別情報を棚札商品情報として取得することもできる。なお、バーコードや二次元コードがNon-PLUコードである場合、棚札情報取得部120は、バーコードや二次元コードが写っている領域を解析することにより、商品の価格をさらに取得できる。また、棚札情報取得部120は、棚札毎に特定した棚札領域の処理対象画像上での座標値を、棚札位置情報として取得することができる。
そして、第1判定部130は、商品情報取得部110により取得された商品位置情報と、棚札情報取得部120により取得された棚札位置情報とに基づいて、商品と棚札とを対応付ける(S108)。
一例として、第1判定部130は、次のように商品と棚札とを対応付けることができる。まず、第1判定部130は、商品位置情報と棚札位置情報と用いて算出される距離に基づいて、ある棚札から所定の閾値dthの距離以内に位置する商品を特定する。なお、所定の閾値dthは、商品と棚札との位置的なズレの許容範囲を示す任意の値であり、メモリ1060などに予め記憶されている。そして、第1判定部130は、特定した商品と棚札とを対応付ける。ある棚札から所定の閾値dthの距離以内に複数の商品が存在する場合には、第1判定部130は、最も近い商品を当該棚札と対応付ければよい。
そして、第1判定部130は、商品と棚札との対応付けが基準を満たしているか否かを判定する(S110)。言い換えると、第1判定部130は、商品と棚札との対応関係の整合性を判定する。一例として、第1判定部130は、棚札と対応付けられていない商品が存在する場合(すなわち、棚札が足りない場合)に、基準を満たしていない(整合がとれていない)と判定する。他の一例として、第1判定部130は、商品と対応付けられていない棚札が存在する場合(すなわち、棚札が余っている場合)に、基準を満たしていない(整合がとれていない)と判定する。他の一例として、第1判定部130は、1つの商品に対して、棚札商品情報の異なる複数の棚札(記載内容が異なる複数の棚札)が対応付けられている場合に、基準を満たしていない(整合がとれていない)と判定する。他の一例として、第1判定部130は、1つの棚札に対して、異なる種類の複数の商品が対応付けられている場合に、基準を満たしていない(整合がとれていない)と判断する。第1判定部130は、S108の処理における商品と棚札との対応付けについて、上述の何れの例にも該当しない場合、基準を満たす(整合がとれている、すなわち、商品と棚札が正しく対応付けられている)と判断する。なお、第1判定部130の動作は、ここで挙げた例に限定されない。
なお、第1判定部130は、S110に示した処理において、互いに対応付けられた商品と棚札が、同一の商品情報を有しているか否か(すなわち棚札に記載されている商品情報が誤っているか否か)を更に判定してもよい。この場合、第1判定部130は、互いに対応付けられた商品と棚札が同一の商品情報を有していない場合に、基準を満たしていないと判断する。このようにすると、第1判定部130は、ある商品に誤った棚札が付されていることを検出できる。具体的な例として、第1判定部130は、棚札情報取得部120が取得した棚札商品情報に含まれる商品価格が、商品情報取得部110が取得した商品情報に含まれる商品の標準価格の価格帯に含まれるか否かを判定する。例えば、棚札商品情報に含まれる商品価格が、商品情報に含まれる標準価格(価格帯)から大きく逸脱している場合に、第1判定部130は、ある商品に誤った棚札が付されている(整合がとれていない)と判断できる。また、この場合において、第1判定部130は、ある商品に異常な価格が設定されている(整合がとれていない)と判断することもできる。
基準を満たしていないと第1判定部130が判断した場合(S110:NO)、出力部140は、第1判定部130よる判定内容を示す情報を、店舗の本社の担当者やメーカー担当者が所有する携帯端末や、店舗に設置された端末に出力する(S112)。例えば、出力部140は、S108の処理で対応付けた商品と棚札との組み合わせ毎の判定結果(例えば、正しい対応付け、棚札の欠損、棚札の余剰、棚札に記載される商品情報の誤りなど)を、処理対象画像に重畳表示させた画面を出力先の端末のディスプレイ上に表示させる。即ち、出力部140は、判定結果を、利用者が識別可能な態様でディスプレイなどの提示部に表示させる。
<第2動作例>
情報処理装置10の第2動作例のうち、S102~S106は、第1動作例と同様である。そして、第1動作例のS108で説明した位置情報に基づく対応付けにおいて、第1判定部130は、同一の商品情報を有している商品と棚札とを対応付ける。そして、第1判定部130は、商品と棚札の対応付けが基準を満たしているか否かを判断する(S110)。言い換えると、第1判定部130は、商品と棚札との対応関係の整合性を判定する。一例として、第1判定部130は、棚札と対応付けられていない商品が存在する場合(すなわち、棚札が足りない場合)に、基準を満たしていない(整合がとれていない)と判定する。他の一例として、第1判定部130は、商品と対応付けられていない棚札が存在する場合(すなわち、棚札が余っている場合)に、基準を満たしていない(整合がとれていない)と判定する。他の一例として、第1判定部130は、対応付けられた商品及び棚札の位置情報の差分が基準以上の場合(棚札の位置がずれている場合)に、基準を満たしていない(整合がとれていない)と判定する。第1判定部130は、S108の処理における商品と棚札との対応付けについて、上述の何れの例にも該当しない場合、基準を満たす(整合がとれている、すなわち、商品と棚札が正しく対応付けられている)と判断する。なお、第1判定部130の動作は、ここで挙げた例に限定されない。
情報処理装置10の第2動作例のうち、S102~S106は、第1動作例と同様である。そして、第1動作例のS108で説明した位置情報に基づく対応付けにおいて、第1判定部130は、同一の商品情報を有している商品と棚札とを対応付ける。そして、第1判定部130は、商品と棚札の対応付けが基準を満たしているか否かを判断する(S110)。言い換えると、第1判定部130は、商品と棚札との対応関係の整合性を判定する。一例として、第1判定部130は、棚札と対応付けられていない商品が存在する場合(すなわち、棚札が足りない場合)に、基準を満たしていない(整合がとれていない)と判定する。他の一例として、第1判定部130は、商品と対応付けられていない棚札が存在する場合(すなわち、棚札が余っている場合)に、基準を満たしていない(整合がとれていない)と判定する。他の一例として、第1判定部130は、対応付けられた商品及び棚札の位置情報の差分が基準以上の場合(棚札の位置がずれている場合)に、基準を満たしていない(整合がとれていない)と判定する。第1判定部130は、S108の処理における商品と棚札との対応付けについて、上述の何れの例にも該当しない場合、基準を満たす(整合がとれている、すなわち、商品と棚札が正しく対応付けられている)と判断する。なお、第1判定部130の動作は、ここで挙げた例に限定されない。
基準を満たしていないと第1判定部130が判断した場合(S110:NO)、出力部140は、第1判定部130よる判定内容を示す情報を、店舗の本社の担当者やメーカー担当者が所有する携帯端末や、店舗に設置された端末に出力する(S112)。例えば、出力部140は、S108の処理で対応付けた商品と棚札との組み合わせ毎の判定結果(例えば、正しい対応付け、棚札の欠損、棚札の余剰、棚札の位置のずれなど)を、処理対象画像に重畳表示させた画面を出力先の端末のディスプレイ上に表示させる。
以上、本実施形態によれば、情報処理装置10は、画像処理により商品の位置を判断するとともに、棚札の位置を判断する。そして、これらの位置の関係が基準を満たさない場合(例えば距離が一定以上離れている場合)、その旨を示す情報を出力する。従って、商品と棚札の対応関係の誤りを精度よく検出することができる。
[第3実施形態]
本実施形態に係る情報処理装置10の機能構成は、第1実施形態または第2実施形態に係る情報処理装置10の機能構成と同様である。
本実施形態に係る情報処理装置10の機能構成は、第1実施形態または第2実施形態に係る情報処理装置10の機能構成と同様である。
〔動作例〕
図5は、第3実施形態に係る情報処理装置10の動作例を示すフローチャートである。本図に示す処理のうち、S102~S106に示す処理は、図3に示した処理と同様である。そして、第1判定部130は、商品情報取得部110により取得された商品情報の並び順と、棚札情報取得部120により取得された棚札商品情報の並び順とを特定する(S120)。そして、第1判定部130は、これら2つの並び順が一致しているか否かを判断する(S122)。ここで、商品情報の並び順と棚札商品情報の並び順とが一致していない場合は、少なくとも、棚札の順序は正しいが商品の順序が誤っている状態、および、商品の順序は正しいが棚札の順序が誤っている状態のいずれかの状態であることを意味する。よって、2つの並び順が一致していないと第1判定部130が判定した場合(S122:No)、出力部140は、その旨を示す情報を、小売店の本社の担当者やメーカー担当者が所有する携帯端末や、小売店の店舗に設置された端末に出力する(S124)。
図5は、第3実施形態に係る情報処理装置10の動作例を示すフローチャートである。本図に示す処理のうち、S102~S106に示す処理は、図3に示した処理と同様である。そして、第1判定部130は、商品情報取得部110により取得された商品情報の並び順と、棚札情報取得部120により取得された棚札商品情報の並び順とを特定する(S120)。そして、第1判定部130は、これら2つの並び順が一致しているか否かを判断する(S122)。ここで、商品情報の並び順と棚札商品情報の並び順とが一致していない場合は、少なくとも、棚札の順序は正しいが商品の順序が誤っている状態、および、商品の順序は正しいが棚札の順序が誤っている状態のいずれかの状態であることを意味する。よって、2つの並び順が一致していないと第1判定部130が判定した場合(S122:No)、出力部140は、その旨を示す情報を、小売店の本社の担当者やメーカー担当者が所有する携帯端末や、小売店の店舗に設置された端末に出力する(S124)。
以上、本実施形態では、商品情報の並び順と棚札商品情報の並び順との相違に基づいて、商品と棚札の対応関係の誤りを精度よく検出することができる。
[第4実施形態]
〔機能構成〕
図6は、第4実施形態に係る情報処理装置10の機能構成を示すブロック図である。本実施形態に係る情報処理装置10は、第2判定部150(第2判定手段および第3判定手段)を有している点を除いて、第1実施形態乃至第3実施形態に係る情報処理装置10の機能構成と同様である。
〔機能構成〕
図6は、第4実施形態に係る情報処理装置10の機能構成を示すブロック図である。本実施形態に係る情報処理装置10は、第2判定部150(第2判定手段および第3判定手段)を有している点を除いて、第1実施形態乃至第3実施形態に係る情報処理装置10の機能構成と同様である。
第2判定部150は、処理対象画像から認識された商品の中に調査対象商品が存在するか否かを判定する。調査対象商品とは、例えば、小売店の重点商品、自社メーカーの主力商品、他社メーカーの競合商品などである。第2判定部150は、例えば調査対象商品を一意に識別する商品IDや調査対象商品の名称といった、調査対象商品を特定するための情報を用いて、処理対象画像内に調査対象商品が存在するか否かを判定することができる。調査対象商品を特定するための情報は、例えば調査対象商品のリストの事前入力といった準備操作により、メモリ1060やストレージデバイス1080に予め記憶される。この場合、第2判定部150は、メモリ1060やストレージデバイス1080から調査対象商品を特定するための情報を取得することができる。その他にも、第2判定部150は、処理対象画像を小売店の担当者やメーカー担当者の携帯端末のディスプレイ上に表示させて、小売店の担当者やメーカー担当者が調査対象商品を選択させるように構成されていてもよい。この場合、第2判定部150は、当該画像上で選択した商品の商品情報を「調査対象商品を特定するための情報」として取得することができる。
〔ハードウエア構成〕
本実施形態の情報処理装置10は、第1実施形態および第2実施形態と同様のハードウエア構成(例:図2)を有する。本実施形態のストレージデバイス1080は、上述の第2判定部150の機能を実現するプログラムモジュールを更に記憶している。プロセッサ1040が当該プログラムモジュールを実行することにより、上述の第2判定部150の機能が実現される。
本実施形態の情報処理装置10は、第1実施形態および第2実施形態と同様のハードウエア構成(例:図2)を有する。本実施形態のストレージデバイス1080は、上述の第2判定部150の機能を実現するプログラムモジュールを更に記憶している。プロセッサ1040が当該プログラムモジュールを実行することにより、上述の第2判定部150の機能が実現される。
〔動作例〕
本実施形態に係る情報処理装置10は、上記した第1実施形態に示した処理及び第2実施形態に示した処理の少なくとも一方を行うほか、図7に示した処理も行う。図7は、第4実施形態に係る情報処理装置10の動作の一例を示すフローチャートである。
本実施形態に係る情報処理装置10は、上記した第1実施形態に示した処理及び第2実施形態に示した処理の少なくとも一方を行うほか、図7に示した処理も行う。図7は、第4実施形態に係る情報処理装置10の動作の一例を示すフローチャートである。
図7に示す処理において、まず、第2判定部150は、調査対象商品を特定するための情報(例えば商品情報及び画像特徴量の少なくとも一方)を取得する(S302)。例えば、第2判定部150は、メモリ1060やストレージデバイス1080などの記憶領域から、調査対象商品の商品情報を読み出すことができる。そして、第2判定部150は、調査対象商品を特定するための情報を用いて、処理対象画像から認識された商品の中に調査対象商品が存在するか否かを判定する(S304)。具体的には、第2判定部150は、S302で取得された調査対象商品の商品情報を取得した場合、当該調査対象商品の商品情報と商品情報取得部110により取得された商品情報とを突き合わせる。換言すると、第2判定部150は、商品情報取得部110により取得された商品情報に、当該調査対象商品の商品情報と一致する商品情報が存在するか否かを判別する。調査対象商品の商品情報と一致する商品情報が、商品情報取得部110により取得された商品情報の中に存在する場合(S304:YES)、第2判定部150は、処理対象画像内に調査対象商品が存在すると判断する。この場合、第2判定部150は、調査対象商品として判断された商品に対応付けられた棚札に記載された価格情報を取得する(S306)。ここで取得される価格情報は、例えば、図3又は図5で示した棚札商品情報から取得される。
そして、出力部140は、S306の処理で取得された価格情報を出力する(S308)。例えば、出力部140は、S306の処理で取得された価格情報を、「調査対象商品」と判断された商品に重畳表示させる描画データを処理対象画像に基づいて生成し、対象とする端末のディスプレイ上に出力することができる。尚、上述の説明では、第2判定部150は、調査対象商品を特定するための情報を取得する構成を例に説明したがそれに限定されない。例えば、以下の説明では、出力部140は、商品情報取得部110によって認識された認識結果(認識された商品)を係るディスプレイ上に出力することとする。第2判定部150は、利用者のディスプレイに対する入力操作(つまり、調査対象商品を選択する操作)を受け付けるのに応じて、その調査対象商品の情報を用いて、処理対象画像から認識された商品の中に調査対象商品が存在するか否かを判定してもよい。
さらに、本実施形態に係る情報処理装置10は、図8に示した処理を代わりに、或いは、追加で行ってもよい。図8は、第4実施形態に係る情報処理装置10の動作の他の一例を示すフローチャートである。
図8に示す処理において、まず、第2判定部150は、調査対象商品を特定するための情報(例えば商品情報及び画像特徴量の少なくとも一方)を取得する(S402)。例えば、第2判定部150は、メモリ1060やストレージデバイス1080などの記憶領域から、調査対象商品の商品情報を読み出すことができる。そして、第2判定部150は、調査対象商品を特定するための情報を用いて、処理対象画像から認識された商品の中に調査対象商品が存在するか否かを判定する(S404)。具体的には、第2判定部150は、S302で取得された調査対象商品の商品情報を取得した場合、当該調査対象商品の商品情報と商品情報取得部110により取得された商品情報とを突き合わせる。調査対象商品の商品情報と一致する商品情報が、商品情報取得部110により取得された商品情報の中に存在する場合(S404:YES)、第2判定部150は、処理対象画像内に調査対象商品が存在すると判断する。この場合、第2判定部150は、その調査対象商品の周囲に位置する他の商品を特定し、その商品に対応づけられた棚札に記載された価格情報を取得する(S406)。ここで取得される価格情報は、例えば、図7に示した処理と同様に、図3又は図5で示した棚札商品情報から取得される。
そして出力部140は、S406の処理で取得された価格情報を出力する(S408)。例えば、出力部140は、S406で取得した価格情報を、「調査対象商品の周囲の他の商品」として特定された商品それぞれに重畳表示させる描画データを処理対象画像に基づいて生成し、対象とする端末のディスプレイ上に出力することができる。
本実施形態によっても、商品と棚札の対応関係の誤りを精度よく検出することができる。また、例えば出力部140から情報を受信する端末の所持者は、予め調査対象商品を指定しておくと、その調査対象商品の価格情報や、その商品の周囲の商品御価格情報を容易に認識することができる。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができるまた、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.
商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得する商品情報取得手段と、
前記画像を解析することにより、前記棚札の位置を取得する棚札情報取得手段と、
取得した前記商品の位置と前記棚札の位置との関係に基づいて、前記商品と前記棚札との対応関係の整合性を判定する第1判定手段と、
前記対応関係の整合性の判定結果を出力する出力手段と、
を備える情報処理装置。
2.
前記商品情報取得手段は、前記画像を解析することにより、前記商品に関連付けられた商品情報をさらに取得し、
前記棚札情報取得手段は、前記画像を解析することにより、前記棚札に記載されている棚札商品情報をさらに取得し、
前記第1判定手段は、さらに、取得した前記商品情報と前記棚札商品情報との関係に基づいて、前記商品と前記棚札との対応関係の整合性を判定する、
1.に記載の情報処理装置。
3.
前記出力手段は、前記対応関係の整合性の判定結果として、前記棚札の位置のズレ、前記棚札の欠損、前記棚札の余剰、および、前記棚札商品情報の誤りの少なくとも1つを出力する、
2.に記載の情報処理装置。
4.
前記商品情報取得手段は、前記商品に関連付けられた標準価格を取得し、
前記棚札情報取得手段は、前記棚札に記載されている商品価格を取得し、
前記第1判定手段は、前記棚札に記載されている商品価格が、前記商品に関連付けられた標準価格の価格帯に含まれるか否かを判定する、
1.から3.のいずれか1つに記載の情報処理装置。
5.
前記画像内の商品の中に調査対象商品が存在するか否かを判定する第2判定手段を更に備え、
前記出力手段は、前記調査対象商品が存在する場合に、前記調査対象商品に対応する棚札に記載されている商品価格を更に出力する、
1.から4.のいずれか1つに記載の情報処理装置。
6.
前記画像内の商品の中に調査対象商品が存在するか否かを判定する第3判定手段を更に備え、
前記出力手段は、前記調査対象商品が存在する場合に、前記調査対象商品の周囲に存在する他の商品に対応する棚札に記載されている商品価格を更に出力する、
1.から5.のいずれか1つに記載の情報処理装置。
7.
前記第1判定手段は、
前記商品情報に基づく商品の並び順と前記棚札商品情報に基づく商品の並び順とが一致するか否かを判定する、
2.から6.のいずれか1つに記載の情報処理装置。
1.
商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得する商品情報取得手段と、
前記画像を解析することにより、前記棚札の位置を取得する棚札情報取得手段と、
取得した前記商品の位置と前記棚札の位置との関係に基づいて、前記商品と前記棚札との対応関係の整合性を判定する第1判定手段と、
前記対応関係の整合性の判定結果を出力する出力手段と、
を備える情報処理装置。
2.
前記商品情報取得手段は、前記画像を解析することにより、前記商品に関連付けられた商品情報をさらに取得し、
前記棚札情報取得手段は、前記画像を解析することにより、前記棚札に記載されている棚札商品情報をさらに取得し、
前記第1判定手段は、さらに、取得した前記商品情報と前記棚札商品情報との関係に基づいて、前記商品と前記棚札との対応関係の整合性を判定する、
1.に記載の情報処理装置。
3.
前記出力手段は、前記対応関係の整合性の判定結果として、前記棚札の位置のズレ、前記棚札の欠損、前記棚札の余剰、および、前記棚札商品情報の誤りの少なくとも1つを出力する、
2.に記載の情報処理装置。
4.
前記商品情報取得手段は、前記商品に関連付けられた標準価格を取得し、
前記棚札情報取得手段は、前記棚札に記載されている商品価格を取得し、
前記第1判定手段は、前記棚札に記載されている商品価格が、前記商品に関連付けられた標準価格の価格帯に含まれるか否かを判定する、
1.から3.のいずれか1つに記載の情報処理装置。
5.
前記画像内の商品の中に調査対象商品が存在するか否かを判定する第2判定手段を更に備え、
前記出力手段は、前記調査対象商品が存在する場合に、前記調査対象商品に対応する棚札に記載されている商品価格を更に出力する、
1.から4.のいずれか1つに記載の情報処理装置。
6.
前記画像内の商品の中に調査対象商品が存在するか否かを判定する第3判定手段を更に備え、
前記出力手段は、前記調査対象商品が存在する場合に、前記調査対象商品の周囲に存在する他の商品に対応する棚札に記載されている商品価格を更に出力する、
1.から5.のいずれか1つに記載の情報処理装置。
7.
前記第1判定手段は、
前記商品情報に基づく商品の並び順と前記棚札商品情報に基づく商品の並び順とが一致するか否かを判定する、
2.から6.のいずれか1つに記載の情報処理装置。
8.
コンピュータが、
商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得し、
前記画像を解析することにより、前記棚札の位置を取得し、
取得した前記商品の位置と前記棚札の位置との関係に基づいて、前記商品と前記棚札との対応関係の整合性を判定し、
前記対応関係の整合性の判定結果を出力する、
ことを含む情報処理方法。
9
前記コンピュータが、
前記画像を解析することにより、前記商品に関連付けられた商品情報をさらに取得し、
前記画像を解析することにより、前記棚札に記載されている棚札商品情報をさらに取得し、
さらに、取得した前記商品情報と前記棚札商品情報との関係に基づいて、前記商品と前記棚札との対応関係の整合性を判定する、
ことを含む8.に記載の情報処理方法。
10.
前記コンピュータが、
前記対応関係の整合性の判定結果として、前記棚札の位置のズレ、前記棚札の欠損、前記棚札の余剰、および、前記棚札商品情報の誤りの少なくとも1つを出力する、
ことを含む9.に記載の情報処理方法。
11.
前記コンピュータが、
前記商品に関連付けられた標準価格を取得し、
前記棚札に記載されている商品価格を取得し、
前記棚札に記載されている商品価格が、前記商品に関連付けられた標準価格の価格帯に含まれるか否かを判定する、
ことを含む8.から10.のいずれか1つに記載の情報処理方法。
12.
前記コンピュータが、
前記画像内の商品の中に調査対象商品が存在するか否かを判定し、
前記調査対象商品が存在する場合に、前記調査対象商品に対応する棚札に記載されている商品価格を更に出力する、
ことを含む8.から11.のいずれか1つに記載の情報処理方法。
13.
前記コンピュータが
前記画像内の商品の中に調査対象商品が存在するか否かを判定し、
前記調査対象商品が存在する場合に、前記調査対象商品の周囲に存在する他の商品に対応する棚札に記載されている商品価格を更に出力する、
ことを含む8.から12.のいずれか1つに記載の情報処理方法。
14.
前記コンピュータが、
前記商品情報に基づく商品の並び順と前記棚札商品情報に基づく商品の並び順とが一致するか否かを判定する、
ことを含む9.から13.のいずれか1つに記載の情報処理方法。
コンピュータが、
商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得し、
前記画像を解析することにより、前記棚札の位置を取得し、
取得した前記商品の位置と前記棚札の位置との関係に基づいて、前記商品と前記棚札との対応関係の整合性を判定し、
前記対応関係の整合性の判定結果を出力する、
ことを含む情報処理方法。
9
前記コンピュータが、
前記画像を解析することにより、前記商品に関連付けられた商品情報をさらに取得し、
前記画像を解析することにより、前記棚札に記載されている棚札商品情報をさらに取得し、
さらに、取得した前記商品情報と前記棚札商品情報との関係に基づいて、前記商品と前記棚札との対応関係の整合性を判定する、
ことを含む8.に記載の情報処理方法。
10.
前記コンピュータが、
前記対応関係の整合性の判定結果として、前記棚札の位置のズレ、前記棚札の欠損、前記棚札の余剰、および、前記棚札商品情報の誤りの少なくとも1つを出力する、
ことを含む9.に記載の情報処理方法。
11.
前記コンピュータが、
前記商品に関連付けられた標準価格を取得し、
前記棚札に記載されている商品価格を取得し、
前記棚札に記載されている商品価格が、前記商品に関連付けられた標準価格の価格帯に含まれるか否かを判定する、
ことを含む8.から10.のいずれか1つに記載の情報処理方法。
12.
前記コンピュータが、
前記画像内の商品の中に調査対象商品が存在するか否かを判定し、
前記調査対象商品が存在する場合に、前記調査対象商品に対応する棚札に記載されている商品価格を更に出力する、
ことを含む8.から11.のいずれか1つに記載の情報処理方法。
13.
前記コンピュータが
前記画像内の商品の中に調査対象商品が存在するか否かを判定し、
前記調査対象商品が存在する場合に、前記調査対象商品の周囲に存在する他の商品に対応する棚札に記載されている商品価格を更に出力する、
ことを含む8.から12.のいずれか1つに記載の情報処理方法。
14.
前記コンピュータが、
前記商品情報に基づく商品の並び順と前記棚札商品情報に基づく商品の並び順とが一致するか否かを判定する、
ことを含む9.から13.のいずれか1つに記載の情報処理方法。
15.
コンピュータに8.から14.のいずれか1つに記載の情報処理方法を実行させるプログラム。
コンピュータに8.から14.のいずれか1つに記載の情報処理方法を実行させるプログラム。
この出願は、2017年9月29日に出願された日本出願特願2017-191791号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
Claims (12)
- 商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得する商品情報取得手段と、
前記画像を解析することにより、前記棚札の位置を取得する棚札情報取得手段と、
取得した前記商品の位置と前記棚札の位置とに基づいて前記画像中の商品と棚札との対応付けを決定し、前記対応付けが基準を満たしている状態であるか否かを判定する第1判定手段と、
前記判定の結果を前記画像に重畳表示させた画面を出力する出力手段と、
を備える情報処理装置。 - 前記出力手段は、前記判定の結果を識別可能な態様で前記画面に表示する、
請求項1に記載の情報処理装置。 - 前記商品情報取得手段は、前記画像を解析することにより、前記商品に関連付けられた商品情報をさらに取得し、
前記棚札情報取得手段は、前記画像を解析することにより、前記棚札に記載されている棚札商品情報をさらに取得し、
前記第1判定手段は、さらに、前記対応付けに係る商品と棚札とに関して取得した前記商品情報と前記棚札商品情報とを比較した結果を用いて、前記基準を満たしているか否かを判定する、
請求項1または2に記載の情報処理装置。 - 前記出力手段は、前記判定の結果として、前記棚札の位置のズレ、前記棚札の欠損、前記棚札の余剰、および、前記棚札商品情報の誤りの少なくとも1つに関する情報を出力する、
請求項3に記載の情報処理装置。 - 前記商品情報取得手段は、前記商品に関連付けられた標準価格を取得し、
前記棚札情報取得手段は、前記棚札に記載されている商品価格を取得し、
前記第1判定手段は、前記棚札に記載されている商品価格が、前記商品に関連付けられた標準価格の価格帯に含まれるか否かを判定する、
請求項1から4のいずれか1項に記載の情報処理装置。 - 前記画像内の商品の中に調査対象商品が存在するか否かを判定する第2判定手段を更に備え、
前記出力手段は、前記調査対象商品が存在する場合に、前記調査対象商品に関連する情報を更に出力する、
請求項1から5のいずれか1項に記載の情報処理装置。 - 前記出力手段は、前記調査対象商品が存在する場合に、前記調査対象商品に対応する棚札に記載されている商品価格を前記調査対象商品に関連する情報として更に出力する、
請求項6に記載の情報処理装置。 - 前記出力手段は、前記調査対象商品が存在する場合に、前記調査対象商品の周囲に存在する他の商品に対応する棚札に記載されている商品価格を前記調査対象商品に関連する情報として更に出力する、
請求項6または7に記載の情報処理装置。 - 前記第1判定手段は、
前記商品情報に基づく商品の並び順と前記棚札商品情報に基づく商品の並び順とが一致するか否かを判定する、
請求項3、4、および請求項3を引用する請求項5から8のいずれか1項に記載の情報処理装置。 - 前記第1判定手段は、取得した前記商品の位置と前記棚札の位置とを用いて算出される距離が所定距離以内であるかに基づいて、前記画像中の商品と棚札との対応付けを決定する、
請求項1から9のいずれか1項に記載の情報処理装置。 - コンピュータが、
商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得し、
前記画像を解析することにより、前記棚札の位置を取得し、
取得した前記商品の位置と前記棚札の位置とに基づいて前記画像中の商品と棚札との対応付けを決定し、前記対応付けが基準を満たしている状態であるか否かを判定し、
前記判定の結果を前記画像に重畳表示させた画面を出力する、
ことを含む情報処理方法。 - コンピュータを、
商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得する商品情報取得手段、
前記画像を解析することにより、前記棚札の位置を取得する棚札情報取得手段、
取得した前記商品の位置と前記棚札の位置とに基づいて前記画像中の商品と棚札との対応付けを決定し、前記対応付けが基準を満たしている状態であるか否かを判定する第1判定手段、
前記判定の結果を前記画像に重畳表示させた画面を出力する出力手段、
として機能させるためのプログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017191791 | 2017-09-29 | ||
JP2017191791 | 2017-09-29 | ||
JP2019544374A JP7259754B2 (ja) | 2017-09-29 | 2018-08-03 | 情報処理装置、情報処理方法、およびプログラム |
PCT/JP2018/029187 WO2019064925A1 (ja) | 2017-09-29 | 2018-08-03 | 情報処理装置、情報処理方法、およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019544374A Division JP7259754B2 (ja) | 2017-09-29 | 2018-08-03 | 情報処理装置、情報処理方法、およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024073467A Division JP2024091981A (ja) | 2017-09-29 | 2024-04-30 | 情報処理装置、情報処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023073432A true JP2023073432A (ja) | 2023-05-25 |
JP7485140B2 JP7485140B2 (ja) | 2024-05-16 |
Family
ID=65903469
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019544374A Active JP7259754B2 (ja) | 2017-09-29 | 2018-08-03 | 情報処理装置、情報処理方法、およびプログラム |
JP2023055215A Active JP7485140B2 (ja) | 2017-09-29 | 2023-03-30 | 情報処理装置、情報処理方法、およびプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019544374A Active JP7259754B2 (ja) | 2017-09-29 | 2018-08-03 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200311659A1 (ja) |
JP (2) | JP7259754B2 (ja) |
WO (1) | WO2019064925A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3944221A4 (en) * | 2019-03-21 | 2022-11-02 | Boe Technology Group Co., Ltd. | METHOD AND DEVICE FOR DISPLAYING PRICE TAG INFORMATION, AND SHELF SYSTEM |
WO2021054266A1 (ja) * | 2019-09-17 | 2021-03-25 | 日本電気株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7404038B2 (ja) * | 2019-11-21 | 2023-12-25 | 株式会社Retail AI | 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法 |
CN116611763B (zh) * | 2023-04-25 | 2023-12-15 | 亳州神农谷中药控股有限公司 | 一种仓库货物定位查找系统 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7894936B2 (en) * | 1997-10-09 | 2011-02-22 | Walker Digital, Llc | Products and processes for managing the prices of vending machine inventory |
JP3978991B2 (ja) * | 2000-09-22 | 2007-09-19 | コクヨ株式会社 | 受発注システム、及び記憶媒体 |
US8719072B2 (en) * | 2004-03-01 | 2014-05-06 | Dealer Tire, Llc | System and method for identifying retail tire sales opportunities |
US20080071631A1 (en) * | 2006-09-18 | 2008-03-20 | Nagendra Nagarajayya | Marketplace, an easy way to manage your e-needs |
JP2014048752A (ja) | 2012-08-29 | 2014-03-17 | Teraoka Seiko Co Ltd | 表示札処理システム |
US20150193860A1 (en) * | 2014-01-07 | 2015-07-09 | Robert A. Walker | Electronic commerce system and method |
JP6226060B2 (ja) * | 2014-03-20 | 2017-11-08 | 日本電気株式会社 | 情報処理装置、商品棚管理システム、商品棚管理方法及び商品棚管理プログラム |
JP6232344B2 (ja) | 2014-07-02 | 2017-11-15 | 東芝テック株式会社 | 情報表示装置および情報閲覧システム |
WO2016052379A1 (ja) | 2014-09-30 | 2016-04-07 | 日本電気株式会社 | 情報処理装置、棚札管理システム、制御方法、及びプログラム |
US20160171581A1 (en) * | 2014-12-11 | 2016-06-16 | Toshiba Global Commerce Solutions Holdings Corporation | Apparatus and method for locating products in a retail store using a mobile device |
US10304031B2 (en) * | 2015-06-23 | 2019-05-28 | Toshiba Tec Kabushiki Kaisha | Image processing apparatus |
EP3154008B1 (en) * | 2015-10-09 | 2017-12-20 | Pricer AB | Determination of a product position along a fixture |
JP6517666B2 (ja) * | 2015-11-02 | 2019-05-22 | 株式会社東芝 | 物品管理装置、その方法、及びそのプログラム |
US10002307B2 (en) * | 2015-12-18 | 2018-06-19 | Ricoh Co., Ltd. | Suggestion generation based on data extraction |
WO2017172790A1 (en) * | 2016-03-29 | 2017-10-05 | Bossa Nova Robotics Ip, Inc. | Planogram assisted inventory system and method |
WO2017192868A1 (en) * | 2016-05-04 | 2017-11-09 | Wal-Mart Stores, Inc. | Distributed autonomous robot systems and methods |
US20180101813A1 (en) * | 2016-10-12 | 2018-04-12 | Bossa Nova Robotics Ip, Inc. | Method and System for Product Data Review |
WO2019064926A1 (ja) * | 2017-09-29 | 2019-04-04 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
-
2018
- 2018-08-03 WO PCT/JP2018/029187 patent/WO2019064925A1/ja active Application Filing
- 2018-08-03 JP JP2019544374A patent/JP7259754B2/ja active Active
- 2018-08-03 US US16/651,925 patent/US20200311659A1/en active Pending
-
2023
- 2023-03-30 JP JP2023055215A patent/JP7485140B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2019064925A1 (ja) | 2020-12-03 |
WO2019064925A1 (ja) | 2019-04-04 |
JP7485140B2 (ja) | 2024-05-16 |
JP7259754B2 (ja) | 2023-04-18 |
US20200311659A1 (en) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7279896B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
US10417696B2 (en) | Suggestion generation based on planogram matching | |
JP6202215B2 (ja) | 情報処理装置、棚札管理システム、制御方法、及びプログラム | |
JP6489262B2 (ja) | 誘導画像キャプチャユーザインタフェース | |
JP7259754B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20180253674A1 (en) | System and method for identifying retail products and determining retail product arrangements | |
JP7147921B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9208379B2 (en) | Image processing apparatus, image processing method, image processing system, and storage medium storing program | |
JP2016194834A (ja) | 整合判定方法、整合判定プログラム、及び整合判定装置 | |
US11514665B2 (en) | Mapping optical-code images to an overview image | |
US20240029104A1 (en) | Information processing apparatus, information processing method, and program for identifying whether an advertisement is positioned in association with a product | |
US20160171581A1 (en) | Apparatus and method for locating products in a retail store using a mobile device | |
CN113935774A (zh) | 图像处理方法、装置、电子设备及计算机存储介质 | |
JP2024091981A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20170161529A1 (en) | Object recognition encoder | |
US20230385895A1 (en) | Display control apparatus, display control method, and non-transitory computer-readable medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7485140 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |