JP2022075746A - 画像処理装置、情報処理装置、システム及びプログラム - Google Patents
画像処理装置、情報処理装置、システム及びプログラム Download PDFInfo
- Publication number
- JP2022075746A JP2022075746A JP2022032729A JP2022032729A JP2022075746A JP 2022075746 A JP2022075746 A JP 2022075746A JP 2022032729 A JP2022032729 A JP 2022032729A JP 2022032729 A JP2022032729 A JP 2022032729A JP 2022075746 A JP2022075746 A JP 2022075746A
- Authority
- JP
- Japan
- Prior art keywords
- user
- processor
- information
- image
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 16
- 238000004891 communication Methods 0.000 claims description 29
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000005192 partition Methods 0.000 description 46
- 230000006870 function Effects 0.000 description 32
- 238000001514 detection method Methods 0.000 description 17
- 238000000034 method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 101100054768 Dictyostelium discoideum act27 gene Proteins 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 101100215368 Dictyostelium discoideum act21 gene Proteins 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 101100215339 Arabidopsis thaliana ACT11 gene Proteins 0.000 description 2
- 101100217138 Mus musculus Actr10 gene Proteins 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 101100161922 Dictyostelium discoideum act22 gene Proteins 0.000 description 1
- 101100054763 Dictyostelium discoideum act23 gene Proteins 0.000 description 1
- 101100054766 Dictyostelium discoideum act25 gene Proteins 0.000 description 1
- 101100054769 Dictyostelium discoideum act28 gene Proteins 0.000 description 1
- 101100054770 Dictyostelium discoideum act29 gene Proteins 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Landscapes
- Cash Registers Or Receiving Machines (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
実施形態に係る特定システムは、商品を撮影した撮影画像に基づいて商品(対象物)を特定する。たとえば、特定システムは、商品を販売する店舗などに設置される。特定システムは、店舗の利用者が台などにセットしたカゴなどに入れられた商品を撮影して利用者が購入しようとする商品を特定する。なお、特定システムは、商品以外の物品でもよい。特定システムが特定する物品は、特定の構成に限定されるものではない。
ここでは、商品システムは、所定の店舗に設置されているものとする。
図1が示すように、特定システム1は、サーバ装置10(情報処理装置)、チェックアウト装置20(画像処理装置)、商品棚30、来店検知部40及びネットワーク50などを備える。なお、特定システム1は、図1に示すような構成の他に必要に応じた構成を具備したり、特定の構成を除外したりしてもよい。
サーバ装置10については、後に詳述する。
チェックアウト装置20については、後に詳述する。
また、商品棚30は、棚アクセスセンサ31及び利用者センサ32などを備える。 商品棚30、棚アクセスセンサ31及び利用者センサ32については、後に詳述する。
リーダ41は、取得した利用者IDをサーバ装置10へ送信する。
カメラ42は、撮影した画像をサーバ装置10へ送信する。
図2は、サーバ装置10の構成例を示すブロック図である。
図2が示す構成例において、サーバ装置10は、プロセッサ11、記憶部14、通信部15、操作部16及び表示部17などを備える。プロセッサ11と、記憶部14、通信部15、操作部16及び表示部17とは、データバスを介して互いに接続される。なお、サーバ装置10は、図2が示すような構成の他に必要に応じた構成を具備したり、特定の構成を除外したりしてもよい。
たとえば、記憶部14は、制御プログラム及び制御データなどを記憶する。制御プログラム及び制御データは、サーバ装置10の仕様に応じて予め組み込まれる。たとえば、制御プログラムは、サーバ装置10で実現する機能をサポートするプログラムなどである。
図3が示すように、チェックアウト装置20は、筐体21、カメラ23、ディスプレイ24、操作部25及びカメラ26などを備える。
筐体21は、チェックアウト装置20の外形を形成するフレームである。筐体21は、カゴ210を設置することができるように形成される。図3が示す例においては、筐体21は、コの字型であり、カゴ210を積載することができるように形成される。
ディスプレイ24は、後述するプロセッサ221が出力する画像を表示する表示装置である。ディスプレイ24は、たとえば、液晶モニタなどである。
ここでは、操作部25は、タッチパネルであり、ディスプレイ24と一体的に形成されているものとする。
また、チェックアウト装置20は、カゴ210内の商品を照らす照明などを備えてもよい。
図4は、チェックアウト装置20の構成例を示すブロック図である。
図4が示すように、チェックアウト装置20は、カメラ23、ディスプレイ24、操作部25、カメラ26、プロセッサ221、記憶部222、通信部223、カメラインターフェース224、ディスプレイインターフェース225、操作部インターフェース226及びカメラインターフェース227などを備える。プロセッサ221と、記憶部222、通信部223、カメラインターフェース224、ディスプレイインターフェース225、操作部インターフェース226及びカメラインターフェース227とは、データバスなどを介して互いに接続される。
なお、チェックアウト装置20は、図4が示すような構成の他に必要に応じた構成を具備したり、特定の構成を除外したりしてもよい。
たとえば、記憶部222は、制御プログラム及び制御データなどを記憶する。制御プログラム及び制御データは、チェックアウト装置20の仕様に応じて予め組み込まれる。たとえば、制御プログラムは、チェックアウト装置20で実現する機能をサポートするプログラムなどである。
図5は、商品棚30の構成例を示す。
商品棚30は、店舗において、商品をディスプレイ可能に配置される。即ち、商品棚30は、利用者が商品を取り出し可能に商品を格納する。たとえば、商品棚30は、商品が外部に提示されるように商品を収納する。
収納スペースは、商品を収納する。ここでは、各収納スペースは、商品A並びにB、商品C並びにC、及び、商品E乃至Gを格納する。たとえば、収納スペースは、商品棚30の所定の面(表面)から商品を配置し又は取り出せるように形成される。なお、商品棚30が備える収納スペースの数及び形状は、特定の構成に限定されるものではない。
棚アクセスセンサ31は、棚区画にアクセスする利用者を検知する。ここでは、棚アクセスセンサ31は、棚区画として商品棚30にアクセスする利用者を検知する。棚アクセスセンサ31は、利用者が商品棚30の商品を取り出すことができる範囲に進入したことを検知する。たとえば、棚アクセスセンサ31は、商品棚30から数メートル以内にいる利用者を検知する。棚アクセスセンサ31は、たとえば、赤外線センサなどである。
利用者センサ32の構成は、特定の構成に限定されるものではない。
利用者情報テーブルは、利用者に関連する利用者情報を示す。
図6は、利用者情報テーブルの構成例を示す。
棚区画IDテーブルは、棚区画を示す棚区画IDを示す。
図7は、棚区画IDテーブルの構成例を示す。
「棚区画ID」は、棚区画に固有に割り振られる。たとえば、「棚区画ID」は、数値、文字列又はそれらの組合せである。
棚区画IDテーブルは、予め記憶領域14bに格納される。たとえば、オペレータは、操作部16を通じて棚区画IDテーブルを作成又は更新する。
棚区画情報テーブルは、棚区画に関連する棚区画情報を示す。
図8は、棚区画情報テーブルの構成例を示す。
商品情報は、商品を示す商品コード又は商品名などであってもよい。
候補リストテーブルは、利用者がカゴ210に入れた可能性のある商品(候補商品)を示す商品情報(物品情報)のリスト(候補リスト)を示す。
図9は、候補リストテーブルの構成例を示す。
プロセッサ11は、来店検知部40のカメラ42を用いて来店した利用者の顔を撮影する。たとえば、プロセッサ11は、カメラ42から所定の間隔で画像を取得し、撮影画像に利用者の顔があるかを判定する。プロセッサ11は、顔があると判定した画像(撮影画像)を取得する。
プロセッサ11は、利用者IDを取得すると、当該利用者IDと候補リストとを対応付けて候補リストテーブルに格納する。プロセッサ11は、空の候補リストを候補商品テーブルに格納する。
まず、プロセッサ11は、棚区画に利用者がアクセスしたか判定する。たとえば、プロセッサ11は、通信部15を通じて棚アクセスセンサ31から、利用者が棚区画にアクセスしたことを示す検知信号を受信したかを判定する。プロセッサ11は、検知信号を受信したと判定すると、利用者が棚区画にアクセスしたと判定する。
プロセッサ11が棚区画へのアクセスを判定する方法は、特定の方法に限定されるものではない。
プロセッサ11は、当該棚区画にアクセスした利用者を特定するための利用者センサ32を特定する。即ち、プロセッサ11は、棚区画情報テーブルを参照して、取得した棚区画IDに対応する利用者センサIDを取得する。
プロセッサ11は、棚区画情報テーブルを参照して、取得した棚区画IDに対応する商品情報を取得する。
プロセッサ11は、候補リストテーブルにおいて、取得した利用者IDに対応する候補リストに取得した商品情報を追加する。
たとえば、プロセッサ11は、通信部15を通じてチェックアウト装置20から所定の利用者に対応する候補リストを要求するリクエストを受信する。たとえば、リクエストは、利用者の利用者IDを含む。
たとえば、プロセッサ221は、所定の領域にカゴ210が配置されたことを検知する。たとえば、プロセッサ221は、カメラ23からの画像に基づいてカゴ210が筐体21にセットされたことを検知する。
なお、プロセッサ221は、外部装置から撮影画像を取得してもよい。
たとえば、プロセッサ221は、当該利用者の候補リストを要求するリクエストをサーバ装置10へ送信する。リクエストは、当該利用者の利用者IDを含む。プロセッサ221は、当該リクエストに対するレスポンスとして当該利用者の候補リストを取得する。
プロセッサ221は、商品画像に基づいて商品領域を抽出する。たとえば、プロセッサ221は、エッジ検出などを行い商品画像から商品領域を抽出する。
プロセッサ221が商品領域を抽出する方法は、特定の方法に限定されるものではない。
たとえば、プロセッサ221は、候補商品の辞書情報を取得する。辞書情報は、商品領域の画像と比較して商品領域の商品を特定するための情報である。たとえば、辞書情報は、商品画像又は商品画像の特徴量などである。辞書情報の構成は、特定の構成に限定されるものではない。
また、プロセッサ221は、サーバ装置10から辞書情報を取得してもよい。
たとえば、プロセッサ221は、特定した商品の代金を取得する。
たとえば、記憶部222は、予め各商品の代金を格納してもよい。プロセッサ221は、記憶部222から特定した商品の代金を取得してもよい。
また、プロセッサ221は、サーバ装置10から特定した商品の代金を取得してもよい。
図10は、サーバ装置10の動作例を説明するためのフローチャートである。
まず、サーバ装置10のプロセッサ11は、来店検知部40を通じて利用者が来店したか判定する(ACT11)。
サーバ装置10の稼働を終了すると判定すると(ACT20、YES)、プロセッサ11は、動作を終了する。
利用者が来店していないと判定すると(ACT11、NO)、プロセッサ11は、ACT14に進む。
図11は、チェックアウト装置20の動作例について説明するためのフローチャートである。
また、サーバ装置10は、チェックアウト装置20の一部の機能を実現するものであってもよい。また、チェックアウト装置20は、サーバ装置10の一部の機能を実現するものであってもよい。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
対象物を特定する画像処理装置であって、
利用者がアクセスした区画に格納される物品の物品情報を格納するリストを取得するリスト取得部と、
前記利用者が提示する対象物の画像を含む撮影画像を取得する画像取得部と、
前記撮影画像に含まれる前記対象物の画像に基づいて、前記リストの物品情報から前記対象物を特定する物品特定部と、
を備える画像処理装置。
[C2]
前記物品特定部は、前記リストにある物品情報から前記対象物を特定できない場合、前記リストにある物品情報以外の情報から前記対象物を特定する、
前記C1に記載の画像処理装置。
[C3]
利用者がアクセスした区画を特定する区画特定部と、
前記区画に格納される物品を示す物品情報を取得する物品情報取得部と、
前記物品情報を格納するリストを生成するリスト生成部と、
を備える情報処理装置。
[C4]
前記利用者を特定する利用者特定部を備え、
前記リストは、前記利用者を示す利用者IDと前記物品情報とを対応付けて格納する、前記C3に記載の情報処理装置。
[C5]
情報処理装置と画像処理装置とを備えるシステムであって、
前記情報処理装置は、
前記画像処理装置とデータを送受信する第1の通信部と、
利用者がアクセスした区画を特定する区画特定部と、
前記区画に格納される物品を示す物品情報を取得する物品情報取得部と、
前記物品情報を格納するリストを生成するリスト生成部と、
前記第1の通信部を通じて前記画像処理装置に前記リストを送信する送信部と、
を備え、
前記画像処理装置は、
前記情報処理装置とデータを送受信する第2の通信部と、
前記第2の通信部を通じて前記リストを取得するリスト取得部と、
前記利用者が提示する対象物の画像を含む撮影画像を取得する画像取得部と、
前記撮影画像に含まれる前記対象物の画像に基づいて、前記リストの物品情報から前記対象物を特定する物品特定部と、
を備える、
システム。
[C6]
プロセッサに、
利用者がアクセスした区画に格納される物品の物品情報を格納するリストを取得させ、
前記利用者が提示する対象物の画像を含む撮影画像を取得させ、
前記撮影画像に含まれる前記対象物の画像に基づいて、前記リストの物品情報から前記対象物を特定させる、
プログラム。
Claims (6)
- 対象物を特定する画像処理装置であって、
利用者がアクセスした区画に格納される物品の物品情報を格納するリストを取得するリスト取得部と、
前記利用者が提示する対象物の画像を含む撮影画像を取得する画像取得部と、
前記撮影画像に含まれる前記対象物の画像に基づいて、前記リストの物品情報から前記対象物を特定する物品特定部と、
を備える画像処理装置。 - 前記物品特定部は、前記リストにある物品情報から前記対象物を特定できない場合、前記リストにある物品情報以外の情報から前記対象物を特定する、
前記請求項1に記載の画像処理装置。 - 利用者がアクセスした区画を特定する区画特定部と、
前記区画に格納される物品を示す物品情報を取得する物品情報取得部と、
前記物品情報を格納するリストを生成するリスト生成部と、
を備える情報処理装置。 - 前記利用者を特定する利用者特定部を備え、
前記リストは、前記利用者を示す利用者IDと前記物品情報とを対応付けて格納する、前記請求項3に記載の情報処理装置。 - 情報処理装置と画像処理装置とを備えるシステムであって、
前記情報処理装置は、
前記画像処理装置とデータを送受信する第1の通信部と、
利用者がアクセスした区画を特定する区画特定部と、
前記区画に格納される物品を示す物品情報を取得する物品情報取得部と、
前記物品情報を格納するリストを生成するリスト生成部と、
前記第1の通信部を通じて前記画像処理装置に前記リストを送信する送信部と、
を備え、
前記画像処理装置は、
前記情報処理装置とデータを送受信する第2の通信部と、
前記第2の通信部を通じて前記リストを取得するリスト取得部と、
前記利用者が提示する対象物の画像を含む撮影画像を取得する画像取得部と、
前記撮影画像に含まれる前記対象物の画像に基づいて、前記リストの物品情報から前記対象物を特定する物品特定部と、
を備える、
システム。 - プロセッサに、
利用者がアクセスした区画に格納される物品の物品情報を格納するリストを取得させ、
前記利用者が提示する対象物の画像を含む撮影画像を取得させ、
前記撮影画像に含まれる前記対象物の画像に基づいて、前記リストの物品情報から前記対象物を特定させる、
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022032729A JP7318039B2 (ja) | 2017-07-21 | 2022-03-03 | 画像処理装置、情報処理装置、システム及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017142010A JP7036548B2 (ja) | 2017-07-21 | 2017-07-21 | 画像処理装置、情報処理装置、システム及びプログラム |
JP2022032729A JP7318039B2 (ja) | 2017-07-21 | 2022-03-03 | 画像処理装置、情報処理装置、システム及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017142010A Division JP7036548B2 (ja) | 2017-07-21 | 2017-07-21 | 画像処理装置、情報処理装置、システム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022075746A true JP2022075746A (ja) | 2022-05-18 |
JP7318039B2 JP7318039B2 (ja) | 2023-07-31 |
Family
ID=87469742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022032729A Active JP7318039B2 (ja) | 2017-07-21 | 2022-03-03 | 画像処理装置、情報処理装置、システム及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7318039B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100002902A1 (en) * | 2008-07-01 | 2010-01-07 | International Business Machines Corporation | Graphical Retail Item Identification With Point-Of-Sale Terminals |
US20150039458A1 (en) * | 2013-07-24 | 2015-02-05 | Volitional Partners, Inc. | Method and system for automated retail checkout using context recognition |
WO2015140853A1 (ja) * | 2014-03-20 | 2015-09-24 | 日本電気株式会社 | Pos端末装置、posシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
JP2016126749A (ja) * | 2014-12-29 | 2016-07-11 | 東芝テック株式会社 | 情報処理システムおよび情報処理プログラム |
WO2016147612A1 (ja) * | 2015-03-16 | 2016-09-22 | 日本電気株式会社 | 画像認識装置、システム、画像認識方法、および、記録媒体 |
US10262293B1 (en) * | 2015-06-23 | 2019-04-16 | Amazon Technologies, Inc | Item management system using multiple scales |
-
2022
- 2022-03-03 JP JP2022032729A patent/JP7318039B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100002902A1 (en) * | 2008-07-01 | 2010-01-07 | International Business Machines Corporation | Graphical Retail Item Identification With Point-Of-Sale Terminals |
US20150039458A1 (en) * | 2013-07-24 | 2015-02-05 | Volitional Partners, Inc. | Method and system for automated retail checkout using context recognition |
WO2015140853A1 (ja) * | 2014-03-20 | 2015-09-24 | 日本電気株式会社 | Pos端末装置、posシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
JP2016126749A (ja) * | 2014-12-29 | 2016-07-11 | 東芝テック株式会社 | 情報処理システムおよび情報処理プログラム |
WO2016147612A1 (ja) * | 2015-03-16 | 2016-09-22 | 日本電気株式会社 | 画像認識装置、システム、画像認識方法、および、記録媒体 |
US10262293B1 (en) * | 2015-06-23 | 2019-04-16 | Amazon Technologies, Inc | Item management system using multiple scales |
Also Published As
Publication number | Publication date |
---|---|
JP7318039B2 (ja) | 2023-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7036548B2 (ja) | 画像処理装置、情報処理装置、システム及びプログラム | |
JP7028305B2 (ja) | 店舗装置、店舗システム、店舗管理方法、プログラム | |
TWI778030B (zh) | 店鋪裝置、店鋪管理方法及程式 | |
JP7298594B2 (ja) | 店舗管理装置および店舗管理方法、プログラム | |
JP2019086832A (ja) | 購入商品精算支援システム | |
US9928695B2 (en) | Register system that tracks a position of a customer for checkout | |
KR20200132897A (ko) | 시착될 의류들의 정보를 처리하기 위한 매장 시스템, 및 방법 및 장치 | |
JP2021018470A (ja) | 物品特定装置及びプログラム | |
WO2021240904A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7468508B2 (ja) | 情報処理装置、情報処理方法、プログラム、および情報処理システム | |
CN112154488B (zh) | 信息处理装置、控制方法和程序 | |
JP2022075746A (ja) | 画像処理装置、情報処理装置、システム及びプログラム | |
JP2023073292A (ja) | 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム | |
US20160117632A1 (en) | Information processing apparatus, commodity sales system, and commodity sales method | |
JP2016024601A (ja) | 情報処理装置、情報処理システム、情報処理方法、商品推薦方法、およびプログラム | |
JP5919114B2 (ja) | 商品購入支援装置及び仮想試着装置並びに商品購入支援プログラム | |
US12014370B2 (en) | Processing apparatus, processing method, and non-transitory storage medium | |
US20220270061A1 (en) | System and method for indicating payment method availability on a smart shopping bin | |
US20220092573A1 (en) | Portable terminal and information processing method for a portable terminal | |
JP2018169659A (ja) | 販売システム、サーバ、販売システムの処理方法、サーバの処理方法及びプログラム | |
JP2023175284A (ja) | データ処理装置及びプログラム | |
JP2021076997A (ja) | カメラを用いたマーケティングシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220401 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220401 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7318039 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |