JP2019219853A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2019219853A JP2019219853A JP2018116156A JP2018116156A JP2019219853A JP 2019219853 A JP2019219853 A JP 2019219853A JP 2018116156 A JP2018116156 A JP 2018116156A JP 2018116156 A JP2018116156 A JP 2018116156A JP 2019219853 A JP2019219853 A JP 2019219853A
- Authority
- JP
- Japan
- Prior art keywords
- person
- image
- camera
- processor
- article
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 112
- 230000015654 memory Effects 0.000 claims abstract description 92
- 230000008859 change Effects 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims description 61
- 230000008569 process Effects 0.000 claims description 50
- 238000012544 monitoring process Methods 0.000 claims description 48
- 230000006399 behavior Effects 0.000 claims description 34
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 12
- 230000003247 decreasing effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 101100161922 Dictyostelium discoideum act22 gene Proteins 0.000 description 2
- 101100215339 Arabidopsis thaliana ACT11 gene Proteins 0.000 description 1
- 101100215345 Dictyostelium discoideum act18 gene Proteins 0.000 description 1
- 101100217138 Mus musculus Actr10 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Abstract
Description
しかしながら、上述した従来技術では、どの人物がどの商品を変動させたかを判断できない。また、上記従来技術では、カメラが画像を撮影する間隔である単位時間の間は物品の品薄や欠品を検知できないという問題もある。
本実施形態に係る画像処理装置は、カメラが撮影する画像に基づいて物品(商品)の状態を監視する監視システムに用いられる。画像処理装置は、カメラの撮影領域における人物を検出し、人物が検出される前後の撮影画像の差分から欠品あるいは品薄などの物品の状態(変動)を検出する。
図1は、第1の実施形態に係る画像処理装置1を含む監視システムを概略的に説明するための図である。
図1に示すように、監視システムは、画像処理装置1と画像処理装置1に接続するカメラ2とを有する。画像処理装置1は、カメラ2が撮影する撮影画像を取得する。画像処理装置1は、カメラ2に対して画像の撮影などを指示する機能を有する。カメラ2は、物品Aが配置される棚Sが撮影領域となるように設置される。
図2は、第1の実施形態に係る画像処理装置1における制御系の構成例を示すブロック図である。
図2に示すように、画像処理装置1は、プロセッサ11、メモリ12、入力インターフェース(I/F)13、表示I/F14および操作I/F15などを有する。
プロセッサ11は、プログラムを実行することにより各種の処理を実行する。メモリ12は、RAMなどの揮発性メモリ(ワーキングメモリ)、ROMなどの不揮発性メモリ(プログラムメモリ)、および、書換え可能な不揮発性メモリ(データメモリ)等を含む。
図3は、第1の実施形態に係る画像処理装置1の動作例を説明するためのフローチャートである。
まず、画像処理装置1のプロセッサ11は、棚Sに正対する位置に設置したカメラ2により棚Sを撮影する(ACT11)。カメラ2は、品薄および欠品などの監視対象とする対象物としての物品を配置する領域としての棚Sを含む撮影領域を撮影する。ただし、ACT11において、プロセッサ11は、棚Sを含む撮影領域に人物の存在しない状態で撮影した撮影画像をカメラ2から取得するものとする。
また、人物を検出するだけであれば、カメラ2の撮影範囲を検知領域とする人物検知用のセンサを別途設けても良い。このような構成である場合、プロセッサ11は、人物検知用のセンサが人物を検知すると、カメラ2で画像を撮影するようにしても良い。
図4は、第2の実施形態に係る画像処理装置41を含む監視システムを概略的に説明するための図である。
図4に示すように、第2の実施形態に係る監視システムは、画像処理装置41と物品撮影用カメラ(物品監視カメラ)42と店内撮影用カメラ(人物監視カメラ)43とを有する。画像処理装置41は、物品撮影用カメラ42と店内撮影用カメラ43とに通信接続する。
図5は、第2の実施形態に係る画像処理装置41における制御系の構成例を示すブロック図である。
図5に示すように、第2の実施形態に係る画像処理装置41は、カメラ43が接続される以外は第1の実施形態で説明した図2に示す画像処理装置1と同様な構成を有する。このため、図5に示す構成については、図2に示す構成と同様なものに同一符号を付して詳細な説明を省略するものとする。
図6は、第2の実施形態に係る画像処理装置41の動作例を説明するためのフローチャートである。
まず、画像処理装置41のプロセッサ11は、棚Sに正対する位置に設置した物品撮影用カメラ42により棚Sを含む撮影領域を撮影する(ACT31)。ACT31において、プロセッサ11は、人物の存在しない状態でカメラ42が棚Sを含む撮影領域を撮影した撮影画像を取得する。
また、カメラ43から取得する監視領域の監視映像において人物を検出した場合(ACT34、YES)、プロセッサ11は、検出した人物の人物情報を推定する人物推定処理を行う(ACT35)。プロセッサ11は、例えば、特徴量の線形分離を用いた人物情報の推定などによって人物推定処理を行う。また、プロセッサ11は、人物推定処理において撮影画像に対する画像処理によって検出した人物が顧客であるか店員であるかを推定する。また、プロセッサ11は、検出した人物の年齢または性別などの情報も人物情報として推定するようにしても良い。
ただし、人物が検出された撮影画像(または検出した人物の画像領域)をメモリ12に保存している場合、プロセッサ11は、人物が検出された画像から人物が顧客か店員かを推定するようにしても良い。人物が顧客か店員かを推定する方法は、特徴量の線形分離などを用いた推定処理で実施できる。
図7は、第3の実施形態に係る画像処理装置71を含む監視システムを概略的に説明するための図である。
図7に示すように、第3の実施形態に係る監視システムは、画像処理装置71と第1のカメラ72と第2のカメラ73とを含む。画像処理装置71は、第1のカメラ72と第2のカメラ73とに接続する。
図8は、第3の実施形態に係る画像処理装置71における制御系の構成例を示すブロック図である。
第3の実施形態に係る画像処理装置71は、第1のカメラ72および第2のカメラ73が接続される以外は第1の実施形態で説明した図2に示す画像処理装置1と同様な構成を有する。このため、図8に示す構成については、図2に示す構成と同様なものに同一符号を付して詳細な説明を省略するものとする。
図9は、第2の実施形態に係る画像処理装置71の動作例を説明するためのフローチャートである。
まず、画像処理装置71のプロセッサ11は、第1のカメラ72および第2のカメラ73によりそれぞれ画像を撮影する(ACT51)。ここでは、第1のカメラ72および第2のカメラ73は、撮影領域に人物の存在しない状態で画像を撮影するものとする。プロセッサ11は、第1のカメラ72が撮影した第1の撮影画像(第1の保存画像)と第2のカメラ73が撮影した第2の撮影画像(第2の保存画像)とをメモリ12に記憶する(ACT52)。
第1のカメラ72又は第2のカメラ73の撮影画像から顔又は人物を検出した場合(ACT54、YES)、プロセッサ11は、検出した顔の顔情報又は検出した人物の人物情報を推定する顔・人物推定処理を行う(ACT55)。例えば、プロセッサ11は、撮影画像から顔を検出した場合、検出した顔の画像から顔情報を推定する。プロセッサ11は、顔情報として、検出した顔の人物が顧客か店員かを推定する。また、プロセッサ11は、検出した顔の画像から当該人物の年齢または性別なども顔情報として推定しても良い。また、顔情報は、撮影画像における顔の画像であっても良い。
なお、メモリ12に保存する顧客行動情報あるいは店員行動情報は、表示I/F14を通してユーザに閲覧可能な形でディスプレイ21などに表示しても良い。
Claims (5)
- 物品を配置する配置位置を含む撮影領域を撮影するカメラから撮影画像を取得するインターフェースと、
前記撮影領域に人物を含まない状態で前記カメラが撮影した撮影画像を保存画像として記憶するメモリと、
前記撮影領域で検出された人物が前記撮影領域で検出されなくなった後に前記カメラが撮影する撮影画像と前記メモリが記憶する前記保存画像との差分領域の画像に対する物品認識処理に基づいて物品の変動を推定するプロセッサと、
画像処理装置。 - 前記プロセッサは、前記カメラが前記撮影領域を撮影する撮影画像から人物を検出することにより前記撮影領域における人物を検出する、
請求項1に記載の画像処理装置。 - 前記インターフェースは、さらに、前記カメラの前記撮影領域を含む監視領域を撮影する人物監視カメラから監視映像を取得し、
前記プロセッサは、前記人物監視カメラが撮影する監視映像から前記カメラの前記撮影領域における人物を検出する、
請求項1又は2の何れか1項に記載の画像処理装置。 - 前記インターフェースは、さらに、前記物品の配置位置側から前記撮影領域を含む領域を撮影する第2のカメラから撮影画像を取得し、
前記プロセッサは、さらに、前記カメラの撮影画像または前記第2のカメラの撮影画像から前記撮影領域における人物の顔を検出し、前記撮影領域で検出された顔又は人物が前記撮影領域で検出されなくなった後に前記カメラが撮影する撮影画像と前記メモリが記憶する前記保存画像との差分領域の画像に対する物品認識処理に基づいて物品の変動を推定する、
請求項2に記載の画像処理装置。 - 前記プロセッサは、前記撮影領域で検出された人物が顧客であるか店員であるかを推定し、前記人物が顧客であると推定される場合には顧客行動情報として物品の変動の推定結果を保存し、前記人物が店員であると推定する場合には店員行動情報として物品数の変動の推定結果を保存する、
請求項1乃至4の何れか1項に記載の画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018116156A JP7250443B2 (ja) | 2018-06-19 | 2018-06-19 | 画像処理装置 |
US16/433,014 US20190384989A1 (en) | 2018-06-19 | 2019-06-06 | Image processing apparatus |
EP19181202.3A EP3584747A1 (en) | 2018-06-19 | 2019-06-19 | Image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018116156A JP7250443B2 (ja) | 2018-06-19 | 2018-06-19 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019219853A true JP2019219853A (ja) | 2019-12-26 |
JP7250443B2 JP7250443B2 (ja) | 2023-04-03 |
Family
ID=66998324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018116156A Active JP7250443B2 (ja) | 2018-06-19 | 2018-06-19 | 画像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20190384989A1 (ja) |
EP (1) | EP3584747A1 (ja) |
JP (1) | JP7250443B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022065282A1 (ja) * | 2020-09-28 | 2022-03-31 | 日本電気株式会社 | 情報処理装置、システム、情報処理方法、および記録媒体 |
JP2022075518A (ja) * | 2020-11-05 | 2022-05-18 | パワーアリーナ ホールディングス リミテッド | 生産ライン監視方法および生産ライン監視システム |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11126861B1 (en) | 2018-12-14 | 2021-09-21 | Digimarc Corporation | Ambient inventorying arrangements |
US11087489B2 (en) * | 2019-06-03 | 2021-08-10 | Disney Enterprises, Inc. | Systems and methods to facilitate interaction by one or more participants with content presented across multiple distinct physical locations |
SG10201913955VA (en) | 2019-12-31 | 2021-07-29 | Sensetime Int Pte Ltd | Image recognition method and apparatus, and computer-readable storage medium |
US20220108357A1 (en) * | 2020-10-01 | 2022-04-07 | Keyong Lu | Retail intelligent display system and electronic displays thereof |
CN113128463B (zh) * | 2021-05-07 | 2022-08-26 | 支付宝(杭州)信息技术有限公司 | 图像识别方法和系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009009231A (ja) * | 2007-06-26 | 2009-01-15 | Toshiba Corp | セキュリティ管理システムおよびセキュリティ管理方法 |
JP2016224800A (ja) * | 2015-06-02 | 2016-12-28 | パナソニックIpマネジメント株式会社 | 人物行動分析装置、人物行動分析システムおよび人物行動分析方法 |
JP2017027529A (ja) * | 2015-07-27 | 2017-02-02 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
WO2017163879A1 (ja) * | 2016-03-23 | 2017-09-28 | 日本電気株式会社 | 行動分析装置、行動分析システム、行動分析方法及びプログラム |
WO2017175707A1 (ja) * | 2016-04-06 | 2017-10-12 | 日本電気株式会社 | 物体種類特定装置、物体種類特定方法及び記録媒体 |
JP6342039B1 (ja) * | 2017-06-06 | 2018-06-13 | 株式会社 ディー・エヌ・エー | 商品を管理するためのシステム、方法、及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9996818B1 (en) * | 2014-12-19 | 2018-06-12 | Amazon Technologies, Inc. | Counting inventory items using image analysis and depth information |
JP6238028B2 (ja) | 2016-03-11 | 2017-11-29 | パナソニックIpマネジメント株式会社 | 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 |
-
2018
- 2018-06-19 JP JP2018116156A patent/JP7250443B2/ja active Active
-
2019
- 2019-06-06 US US16/433,014 patent/US20190384989A1/en not_active Abandoned
- 2019-06-19 EP EP19181202.3A patent/EP3584747A1/en not_active Withdrawn
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009009231A (ja) * | 2007-06-26 | 2009-01-15 | Toshiba Corp | セキュリティ管理システムおよびセキュリティ管理方法 |
JP2016224800A (ja) * | 2015-06-02 | 2016-12-28 | パナソニックIpマネジメント株式会社 | 人物行動分析装置、人物行動分析システムおよび人物行動分析方法 |
JP2017027529A (ja) * | 2015-07-27 | 2017-02-02 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
WO2017163879A1 (ja) * | 2016-03-23 | 2017-09-28 | 日本電気株式会社 | 行動分析装置、行動分析システム、行動分析方法及びプログラム |
WO2017175707A1 (ja) * | 2016-04-06 | 2017-10-12 | 日本電気株式会社 | 物体種類特定装置、物体種類特定方法及び記録媒体 |
JP6342039B1 (ja) * | 2017-06-06 | 2018-06-13 | 株式会社 ディー・エヌ・エー | 商品を管理するためのシステム、方法、及びプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022065282A1 (ja) * | 2020-09-28 | 2022-03-31 | 日本電気株式会社 | 情報処理装置、システム、情報処理方法、および記録媒体 |
JP2022075518A (ja) * | 2020-11-05 | 2022-05-18 | パワーアリーナ ホールディングス リミテッド | 生産ライン監視方法および生産ライン監視システム |
JP7302769B2 (ja) | 2020-11-05 | 2023-07-04 | パワーアリーナ ホールディングス リミテッド | 生産ライン監視方法および生産ライン監視システム |
US11790538B2 (en) | 2020-11-05 | 2023-10-17 | Powerarena Holdings Limited | Production line monitoring method and monitoring system thereof |
Also Published As
Publication number | Publication date |
---|---|
JP7250443B2 (ja) | 2023-04-03 |
US20190384989A1 (en) | 2019-12-19 |
EP3584747A1 (en) | 2019-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7250443B2 (ja) | 画像処理装置 | |
WO2019165894A1 (zh) | 物品识别方法、装置、系统及存储介质 | |
JP7448065B2 (ja) | 店舗装置、店舗システム、店舗管理方法、プログラム | |
US11341740B2 (en) | Object identification method and object identification device | |
WO2020024691A1 (zh) | 无人结算场景中异常检测方法、装置及设备 | |
JP2021140830A (ja) | 店舗装置、店舗管理方法、プログラム | |
CN108921098B (zh) | 人体运动分析方法、装置、设备及存储介质 | |
JP6568476B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
EP3561722A1 (en) | Video image analysis apparatus and video image analysis method | |
KR101577751B1 (ko) | 정보 관리를 위한 장치 및 방법 | |
CN109767453A (zh) | 信息处理装置、背景图像更新方法和非暂态计算机可读存储介质 | |
JP2017016344A (ja) | 画像監視装置 | |
WO2018008702A1 (ja) | 振る舞い検知システム | |
JP6631962B2 (ja) | 監視装置及び監視システム | |
JP7299692B2 (ja) | 画像処理装置、画像処理システム、画像処理装置の制御方法、及び、プログラム | |
KR101990823B1 (ko) | 얼굴정보를 이용한 위치 추정 및 신원 관리 방법, 프로그램 및 장치 | |
JP2019121904A (ja) | 不審者検出装置、不審者検出方法及び不審者検出用コンピュータプログラム | |
US20140040187A1 (en) | Information processing apparatus and information processing method | |
JP6536643B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
JP5691750B2 (ja) | 置き去り又は持ち去り検知システム及び前記検知システムにおける置き去り又は持ち去り発生時刻を検知する方法 | |
US10891491B2 (en) | In-store monitoring device, in-store monitoring method, and recording medium | |
JP7164047B2 (ja) | 注視点検出装置及び注視点検出方法 | |
JP2010087937A (ja) | 映像検出装置、映像検出方法および映像検出プログラム | |
JP7430363B2 (ja) | 異常行動検出システム | |
JP2024010741A (ja) | 情報処理装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221019 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230322 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7250443 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |