JP2022035584A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2022035584A JP2022035584A JP2020140017A JP2020140017A JP2022035584A JP 2022035584 A JP2022035584 A JP 2022035584A JP 2020140017 A JP2020140017 A JP 2020140017A JP 2020140017 A JP2020140017 A JP 2020140017A JP 2022035584 A JP2022035584 A JP 2022035584A
- Authority
- JP
- Japan
- Prior art keywords
- article
- shelf
- processor
- image processing
- shelf label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015654 memory Effects 0.000 claims description 18
- 238000000034 method Methods 0.000 description 45
- 238000010586 diagram Methods 0.000 description 12
- 239000000284 extract Substances 0.000 description 11
- 238000001514 detection method Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本実施形態に係る画像処理装置は、カメラが撮影する撮影画像に基づいて棚に配置されている物品(商品)の品薄および欠品を検出する監視システムに用いられる。例えば、画像処理装置は、カメラが撮影する撮影画像から棚に配置されている物品の品薄および欠品を検出する。さらに、画像処理装置は、カメラが撮影する撮影画像から棚に設けられた棚札に表示される物品(物品名)を認識する機能を有する。これにより、画像処理装置は、棚に設けられた棚札に表示される情報から物品を特定し、棚札の後ろに配置される物品の品薄および検品を検出し、品薄または欠品となっている物品を報知する。
図1は、実施形態に係る画像処理装置1を含む監視システムの構成例を概略的に説明するための図である。
図1に示すように、監視システムは、画像処理装置1と画像処理装置1に接続するカメラ2とを有する。画像処理装置1は、カメラ2が撮影する撮影画像を取得する。画像処理装置1は、カメラ2に対して画像の撮影などを指示する機能を有する。カメラ2は、物品Aが配置される棚Sが撮影領域となるように設置される。
図2は、実施形態に係る画像処理装置1における制御系の構成例を示すブロック図である。
図3に示すように、画像処理装置1は、プロセッサ11、メモリ12、入力インターフェース(I/F)13、表示インターフェース(I/F)14および操作インターフェース(I/F)15などを有する。
例えば、プロセッサ11は、メモリ12に記憶したプログラムを実行することで、物品検出処理(カテゴリ認識処理)、棚札認識処理、文字認識処理、品薄欠品の判定処理、品薄欠品の報知処理などの後述する各処理を実現する。
なお、各インターフェース13~15は、有線で通信接続するものであっても良いし、無線通信を行うものであっても良い。
図3は、実施形態に係る画像処理装置1の動作例を説明するためのフローチャートである。
プロセッサ11は、入力インターフェース13によりカメラ2が撮影した撮影画像を取得する(ACT11)。カメラ2は、物品Mが配置される棚Sを含む撮影領域の画像を撮影する。カメラ2は、棚Sを含む撮影領域を撮影した撮影画像を入力インターフェース13を介して画像処理装置1へ供給する。
プロセッサ11は、カメラ2の撮影画像における物品らしい画像(画素群)を検出し、検出した物品らしい画素を囲む矩形の領域を物品の領域(物品領域)Mrとして検出する。本実施形態に係る画像処理装置1では、後述する品薄欠品の判定処理において棚S上にある物品Mの最前面の位置と基準位置(例えば、棚の前面)との間隔を特定する。
図5は、実施形態に係わる画像処理装置1における棚札認識処理の例を説明するためのフローチャートである。
図5は、図3におけるACT13の棚札認識処理の例である。プロセッサ11は、棚札認識処理として、まず、カメラ2から取得した撮影画像において棚札Pの領域を抽出する(ACT21)。プロセッサ11は、撮影画像において棚札らしい画像を検出し、検出した棚札らしい画像を囲む棚札の領域を抽出する。
プロセッサ11は、図6に示すような撮影画像において棚札らしい画像(画素群)を検出し、棚札らしい画像を囲む矩形の領域を棚札の領域Prとして抽出する。例えば、図6に示す例において、棚札Pは、物品Mを配置する棚Sの前面に配置される。このため、プロセッサ11は、撮影画像における棚Sの前面位置を推定し、棚Sの前面位置から棚札らしい画像を検出するようにしても良い。また、プロセッサ11は、カメラ2の設置位置および撮影方向などの情報から棚札の位置を推定することにより撮影画像における棚札の領域Prを抽出するようにしても良い。
図7に示す例では、棚札Pは、文字で表示される物品名、数字で表示される管理コード、および、値段などを表示する。プロセッサ11は、撮影画像から棚札の領域を抽出することにより図7に示すような表示内容の棚札の画像を取得する。棚札の画像を取得すると、プロセッサ11は、文字あるいはコードなどの情報が表示される領域を検出する。図7に示すような棚札の画像を取得した場合、プロセッサ11は、物品名の領域、管理コードの領域、および、値段の領域を検出する。
図8は、実施形態に係わる画像処理装置1における品薄欠品の判定処理の例を説明するためのフローチャートである。
図8は、図3に示すACT16における品薄欠品の判定処理の例である。すなわち、プロセッサ11は、品薄欠品の判定処理として、カメラ2から取得した撮影画像における基準位置Bと物品領域Mrとの間の距離Lを特定する(ACT31)。プロセッサ11は、撮影画像から検出する各棚札Pについて、棚札Pの後方に配置されている物品の物品領域Mrと基準位置Bとの間の距離を算出する。
プロセッサ11は、上述したような処理によって、図9に示すようなカメラ2の撮影画像において、物品領域Mrを検出し、棚札Pに基づく基準位置Bを特定している。プロセッサ11は、撮影画像において、物品領域Mrと基準位置Bとの間の距離Lを算出する。例えば、プロセッサ11は、棚札Pごとに、物品領域Mrと基準位置Bとの間の距離Lとして、基準位置Bから後方に向かって物品領域Mrまでの画素数をカウントするようにしても良い。
これにより、実施形態に係る画像処理装置は、所定の基準に基づいて棚上において物品が品薄となったことを判定できる。
2…カメラ、
11…プロセッサ、
12…メモリ、
13…入力インターフェース(第1のインターフェース)、
14…表示インターフェース(第2のインターフェース)。
Claims (5)
- 物品が配置される棚を含む領域を撮影した撮影画像を取得する第1のインターフェースと、
前記撮影画像から検出する棚札の位置に基づく基準位置と前記撮影画像から検出する物品領域の位置との距離から前記棚における物品の配置状況を判定するプロセッサと、
前記棚における物品の配置状況を示す情報を出力する第2のインターフェースと、
を備える画像処理装置。 - 前記プロセッサは、前記撮影画像から検出した棚札が表示する物品を特定する情報を認識し、
前記第2のインターフェースは、前記棚札が表示する物品を示す情報とともに当該棚札に対応する位置にある物品の配置状況を示す情報を出力する、
請求項1に記載の画像処理装置。 - さらに、前記棚における物品の配置状況を判定するための基準値を記憶するメモリを備え、
前記プロセッサは、前記基準値に基づいて前記基準位置と前記物品領域の位置との距離から前記棚における物品の配置状況を判定する、
請求項1または2の何れか1項に記載の画像処理装置。 - 前記プロセッサは、前記撮影画像から検出した棚札に対応する前記棚における基準位置を特定し、前記基準位置と前記棚札に対応する位置にある物品領域との距離が基準値以上である場合、当該棚札が示す物品が品薄であると判定し、
前記第2のインターフェースは、前記プロセッサが品薄と判定した物品を示す情報を出力する、
請求項3に記載の画像処理装置。 - 前記プロセッサは、前記撮影画像から検出した棚札に対応する位置に物品領域が検出されない場合、当該棚札が表示する物品が欠品であると判定し、
前記第2のインターフェースは、前記プロセッサが欠品と判定した物品を示す情報を出力する、
請求項2乃至4の何れか1項に記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020140017A JP7551397B2 (ja) | 2020-08-21 | 2020-08-21 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020140017A JP7551397B2 (ja) | 2020-08-21 | 2020-08-21 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022035584A true JP2022035584A (ja) | 2022-03-04 |
JP7551397B2 JP7551397B2 (ja) | 2024-09-17 |
Family
ID=80443529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020140017A Active JP7551397B2 (ja) | 2020-08-21 | 2020-08-21 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7551397B2 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015136847A1 (ja) | 2014-03-12 | 2015-09-17 | 日本電気株式会社 | 陳列状況解析装置、陳列状況解析方法およびプログラム記録媒体 |
US10552933B1 (en) | 2015-05-20 | 2020-02-04 | Digimarc Corporation | Image processing methods and arrangements useful in automated store shelf inspections |
US10304031B2 (en) | 2015-06-23 | 2019-05-28 | Toshiba Tec Kabushiki Kaisha | Image processing apparatus |
CN107822400B (zh) | 2016-09-15 | 2020-12-15 | 东芝泰格有限公司 | 库存管理装置及控制方法、终端设备 |
US10572763B2 (en) | 2017-09-07 | 2020-02-25 | Symbol Technologies, Llc | Method and apparatus for support surface edge detection |
US11640576B2 (en) | 2017-10-30 | 2023-05-02 | Panasonic Intellectual Property Management Co., Ltd. | Shelf monitoring device, shelf monitoring method, and shelf monitoring program |
JP7130945B2 (ja) | 2017-11-24 | 2022-09-06 | 富士通株式会社 | 在庫検出プログラム、在庫検出方法及び在庫検出装置 |
JP7156916B2 (ja) | 2018-11-14 | 2022-10-19 | 東芝テック株式会社 | 商品取出装置 |
-
2020
- 2020-08-21 JP JP2020140017A patent/JP7551397B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP7551397B2 (ja) | 2024-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11900316B2 (en) | Information processing apparatus, control method, and program | |
JP7147806B2 (ja) | 陳列状況解析システム、陳列状況解析方法およびプログラム | |
US10796162B2 (en) | Information processing apparatus, information processing method, and information processing system | |
US10198711B2 (en) | Methods and systems for monitoring or tracking products in a retail shopping facility | |
JP6791534B2 (ja) | 商品管理装置、商品管理方法及びプログラム | |
US9706105B2 (en) | Apparatus and method for specifying and aiming cameras at shelves | |
CN107822400B (zh) | 库存管理装置及控制方法、终端设备 | |
US20170068945A1 (en) | Pos terminal apparatus, pos system, commodity recognition method, and non-transitory computer readable medium storing program | |
JP6789670B2 (ja) | 画像処理装置 | |
EP3584747A1 (en) | Image processing apparatus | |
US10867485B2 (en) | Merchandise registration device and merchandise registration program | |
US20200311659A1 (en) | Information processing apparatus, information processing method, and program | |
JP2019174959A (ja) | 商品棚位置登録プログラム、及び情報処理装置 | |
US12051320B2 (en) | Systems and methods for projecting action indicators | |
US20190080192A1 (en) | Information processing apparatus, information processing method, and program | |
CN113497917A (zh) | 影像处理装置 | |
JP7404038B2 (ja) | 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法 | |
JP2022035584A (ja) | 画像処理装置 | |
US20170316396A1 (en) | Management device and method | |
JP2005170584A (ja) | ピッキングシステム | |
US12106566B2 (en) | Image processing apparatus that manages checking work performed on articles and image processing method thereof | |
US12062013B1 (en) | Automated planogram generation and usage | |
US20230196778A1 (en) | Fraudulent act estimation device and control program therefor and fraudulent act estimation method | |
US20240037907A1 (en) | Systems and Methods for Image-Based Augmentation of Scanning Operations | |
KR20240153230A (ko) | 카메라를 활용한 랙 재고 파악 시스템 및 랙 재고 파악 시스템의 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230104 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230525 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240313 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240409 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240603 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240904 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7551397 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |