JP2016099923A - モニタリング装置、モニタリングシステムおよびモニタリング方法 - Google Patents

モニタリング装置、モニタリングシステムおよびモニタリング方法 Download PDF

Info

Publication number
JP2016099923A
JP2016099923A JP2014238621A JP2014238621A JP2016099923A JP 2016099923 A JP2016099923 A JP 2016099923A JP 2014238621 A JP2014238621 A JP 2014238621A JP 2014238621 A JP2014238621 A JP 2014238621A JP 2016099923 A JP2016099923 A JP 2016099923A
Authority
JP
Japan
Prior art keywords
image
fixed area
display shelf
shelf
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014238621A
Other languages
English (en)
Other versions
JP6019414B2 (ja
Inventor
善史 酒田
Yoshifumi Sakata
善史 酒田
勇一郎 竹本
Yuichiro Takemoto
勇一郎 竹本
岩井　和彦
Kazuhiko Iwai
和彦 岩井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014238621A priority Critical patent/JP6019414B2/ja
Priority to US15/515,747 priority patent/US10334965B2/en
Priority to PCT/JP2015/005373 priority patent/WO2016084305A1/ja
Publication of JP2016099923A publication Critical patent/JP2016099923A/ja
Application granted granted Critical
Publication of JP6019414B2 publication Critical patent/JP6019414B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F10/00—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for
    • A47F10/02—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F3/00—Show cases or show cabinets
    • A47F3/002—Devices for protection against sunlight or theft
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F5/00—Show stands, hangers, or shelves characterised by their constructional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F10/00—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for
    • A47F10/02—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets
    • A47F2010/025—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets using stock management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Display Racks (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】コンビニ店などにおいて、監視中の陳列棚の位置がずれる等のモニタリング環境に異常が生じた場合に、速やかに店員にアラート通知を行い商品の陳列状況の監視を正しく継続できるようにする。【解決手段】店舗における陳列棚を撮影した映像に基づいて、監視対象とする陳列棚の一部の領域を固定エリアとして設定する固定エリア設定部３７と、前記固定エリア設定部により設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定することにより、前記陳列棚の検出を行う棚検出部３１と、前記判定により類似しないとされたとき、監視対象である陳列棚が検出されないことをユーザに通知するアラート通知部３４とを備えたものとする。【選択図】図４

Description

本発明は、店舗を撮影した映像に基づいて、陳列棚を監視するモニタリング装置、モニタリングシステムおよびモニタリング方法に関するものである。
コンビニエンスストアなどの店舗においては、陳列棚に陳列された商品の陳列状態に不備、すなわち商品の陳列が乱れていたり、商品が不足していたりすると、販売機会損失が発生し、この販売機会損失は店舗の売上げに大きな影響を及ぼすことから、陳列棚をモニタリングして陳列状態に不備がないかどうかを確認し、不備がある場合には、それを解消する商品管理作業（整頓作業や補充作業）を速やかに実施する必要がある。
このような商品管理作業に関連するものとして、従来、陳列エリアを撮影した映像に基づいて、商品の補充の必要性を判断して、補充作業を指示する報知を行う技術が知られている（特許文献１参照）。また、陳列エリアを撮影した映像に基づいて、商品の陳列方法や欠品状況に関する情報を生成して、その情報を本部の端末に送信する技術が知られている（特許文献２参照）。また、陳列エリアを撮影した映像に基づいて、商品の整頓の必要性を判断して、整頓作業を指示する報知を行う技術が知られている（特許文献３参照）。
特開平５−０８１５５２号公報 特開２００２−３６６６２１号公報 特許第３９０８０４７号公報
前記従来の技術では、陳列エリアにおける商品の陳列状況を監視して、必要に応じて商品管理作業（整頓作業や補充作業）を店員に指示することができるが、カメラの位置にずれが生じていたり、店員が陳列棚を別の場所に移動させてしまったような場合には、間違った映像データを監視し続けることになり、商品の陳列状況を正しく監視することができないという問題があった。
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、監視中の陳列棚の位置がずれる等により商品の陳列状況を正しく監視することができなくなった場合に、速やかに店舗の店員や本部のスーパーバイザー等にアラート通知を行う、あるいは、監視ずれ量を自動的に補正して、商品の陳列状況の監視を正しく継続できるように構成したモニタリング装置、モニタリングシステムおよびモニタリング方法を提供することにある。
本発明のモニタリング装置は、店舗における陳列棚を撮影した映像に基づいて、監視対象とする陳列棚の一部の領域を固定エリアとして設定する固定エリア設定部と、前記固定エリア設定部により設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定することにより、前記陳列棚の検出を行う棚検出部と、前記判定により類似しないとされたとき、監視対象である前記陳列棚が検出されないことをユーザに通知するアラート通知部と、を備えた構成とする。
また、本発明のモニタリングシステムは、店舗における陳列棚を撮影した映像に基づいて、前記陳列棚を監視するモニタリングシステムであって、前記陳列棚を撮影するカメラと、情報処理装置と、を有し、前記情報処理装置が、店舗における陳列棚を撮影した映像に基づいて、監視対象とする陳列棚の一部の領域を固定エリアとして設定する固定エリア設定部と、前記固定エリア設定部により設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定することにより、前記陳列棚の検出を行う棚検出部と、前記判定により類似しないとされたとき、監視対象である前記陳列棚が検出されないことをユーザに通知するアラート通知部と、を備えた構成とする。
また、本発明のモニタリング方法は、店舗における陳列棚を撮影した映像に基づいて、前記陳列棚を監視する処理を情報処理装置に行わせるモニタリング方法であって、前記陳列棚を撮影した映像の中から、監視対象とする陳列棚の一部の領域を固定エリアとして設定し、設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定し、類似しないと判定されたとき、監視対象である前記陳列棚が検出されないことをユーザに通知する構成とする。
本発明によれば、監視中の陳列棚の位置が移動されたり、カメラと陳列棚の間に障害物が置かれたり、カメラの位置がずれたりなど、モニタリングの環境に異常が生じた場合に、迅速に店員にアラート通知を行うことができる。これにより、長期に亘って安定した陳列棚のモニタリングを実施することができる。
本実施形態に係るモニタリングシステムの全体構成図 店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図 第１の実施形態に係るＰＣ３のハードブロック図 第１の実施形態に係るＰＣ３の概略構成を示す機能ブロック図 第１の実施形態に係る陳列棚の映像上に設定される固定エリアを示す説明図 第１の実施形態に係る陳列棚の映像上に設定される固定エリア候補を示す説明図 第１の実施形態に係る棚管理情報を示す説明図 第１の実施形態に係るアラート通知画面を示す説明図 第１の実施形態に係る陳列棚の位置ずれを検出しアラート通知する手順を示す動作フロー図 第１の実施形態に係る輝度値から類似度を計算する例を示す説明図 第２の実施形態に係るＰＣ３の概略構成を示す機能ブロック図 第２の実施形態に係る自動追従の動作手順を示す動作フロー図 第３の実施形態に係るＰＣ３の概略構成を示す機能ブロック図 第３の実施形態に係る陳列棚に付加されたマーキングを示す説明図 第３の実施形態に係る自動追従の動作手順を示す動作フロー図
前記課題を解決するためになされた第１の発明は、店舗における陳列棚を撮影した映像に基づいて、監視対象とする陳列棚の一部の領域を固定エリアとして設定する固定エリア設定部と、前記固定エリア設定部により設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定することにより、前記陳列棚の検出を行う棚検出部と、前記判定により類似しないとされたとき、監視対象である前記陳列棚が検出されないことをユーザに通知するアラート通知部と、を備えた構成とする。
これによると、陳列棚において画像変化がないはずの部分を登録しておき、その部分（固定エリア）が変化していたら、陳列棚の位置が変わった等のモニタリング環境に異常が発生したことを店員に通知することができるため、陳列棚のない場所を無駄にモニタリングし続けたりすることを防止できる。
また、第２の発明は、前記棚検出部は、店舗を撮影した映像の中で、所定の期間にわたって変化のない領域を固定エリアの候補として抽出し、前記固定エリア設定部は、前記抽出された固定エリア候補の中から、ユーザが選択したものを前記固定エリアとして設定する構成とする。
これによると、画像変化のない領域を店員に提示し、その中から選択してもらうため、容易に固定エリアを設定することができる。
また、第３の発明は、前記固定エリア設定部は、前記固定エリアとして設定した領域の位置情報と、前記設定時の前記陳列棚を撮影した映像と、前記陳列棚の識別子とを記憶部に記憶させる構成とする。
これによると、陳列棚ごとに固定エリアの位置および設定時画像を記憶させておくため、いつでも現在の撮影状態と比較することができる。
また、第４の発明は、前記固定エリア設定部は、複数の領域を複数の前記固定エリアとして設定し、前記棚検出部は、前記複数の固定エリアの各々について、同位置の画像との類似を判定し、前記アラート通知部は、前記複数の固定エリアのうちひとつでも類似しないと判定されたとき、前記陳列棚が検出されないことをユーザに通知する構成とする。
これによると、ひとつの陳列棚について画像変化のない領域を複数、固定エリアとして設定できるため、確実に陳列棚のモニタリング環境の変化を把握することができる。
また、第５の発明は、前記棚検出部は、前記固定エリアの画像の輝度と、前記固定エリアと同位置の画像の輝度とを比較することによって、類似か否かを判定する構成とする。
これによると、撮影画像の色や明るさに基づいて、類似する画像かどうかを正確に判定することができる。
また、第６の発明は、前記棚検出部により前記固定エリアの画像と、前記固定エリアと同位置の画像とが類似しないと判定されたとき、店舗を撮影した映像の中から、前記固定エリアの画像と類似する類似画像を検索し、検索された前記類似画像の位置が前記固定エリアの位置になるよう、撮影しているカメラの画角を制御する自動追従部を備え、前記アラート通知部は、前記類似画像を検索できないとき、前記陳列棚が検出されないことをユーザに通知する構成とする。
これによると、固定エリアの位置が設定時からずれたとしても撮影画像中に固定エリアと同じ画像があれば、元の設定時の位置に固定エリアがくるようにカメラの撮影方向を変更するため、店員の手間をとらせることなく、陳列棚の位置が変更されてもカメラが追いかけて監視を継続することができる。
また、第７の発明は、店舗における陳列棚を撮影した映像の中から、前記陳列棚に貼付され、一意に識別可能なマーキング画像を検索し、検索された前記マーキング画像の位置と、あらかじめ記憶される前記マーキング画像の初期位置とが一致するか否かを判定する
ことにより、前記陳列棚の検出を行う棚検出部と、前記棚検出部により前記マーキング画像の位置が前記初期位置と一致しないと判定されたとき、前記マーキング画像の位置が前記初期位置になるよう、撮影しているカメラの画角を制御する自動追従部と、前記棚検出部により前記マーキング画像を検索できないとき、前記陳列棚が検出されないことをユーザに通知するアラート通知部と、を備えた構成とする。
これによると、ユニークな模様等が施されたシールをマーキングとして陳列棚の一部に貼り付け、このマーキングを検索することにより陳列棚を容易に検索可能とし、さらに、陳列棚の移動等によりマーキングの位置が初期位置からずれたとしても、撮影画像中からマーキングを見つけて初期位置にくるようにカメラの撮影方向を変更するため、店員の手間をとらせることなく、陳列棚の位置が変更されてもカメラが追いかけて監視を継続することができる。
また、第８の発明は、前記棚検出部により検出された前記陳列棚の中から、商品の検出を行う商品検出部と、前記商品の検出結果および前記陳列棚を撮影した映像をモニタに表示するモニタリング画面を生成する表示画面生成部と、を備えた構成とする。
これによると、陳列棚の位置を明確に把握したうえで、その棚の中に陳列される商品を検出するため、商品の陳列状況等を正しくモニタリングすることができる。
また、第９の発明は、店舗における陳列棚を撮影した映像に基づいて、前記陳列棚を監視するモニタリングシステムであって、前記陳列棚を撮影するカメラと、情報処理装置と、を有し、前記情報処理装置が、店舗における陳列棚を撮影した映像に基づいて、監視対象とする陳列棚の一部の領域を固定エリアとして設定する固定エリア設定部と、前記固定エリア設定部により設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定することにより、前記陳列棚の検出を行う棚検出部と、前記判定により類似しないとされたとき、監視対象である前記陳列棚が検出されないことをユーザに通知するアラート通知部と、を備えた構成とする。
これによると、陳列棚において画像変化がないはずの部分を登録しておき、その部分（固定エリア）が変化していたら、陳列棚の位置が変わった等のモニタリング環境に異常が発生したことを店員に通知することができるため、陳列棚のない場所を無駄にモニタリングし続けたりすることを防止できる。
また、第１０の発明は、店舗における陳列棚を撮影した映像に基づいて、前記陳列棚を監視する処理を情報処理装置に行わせるモニタリング方法であって、前記陳列棚を撮影した映像の中から、監視対象とする陳列棚の一部の領域を固定エリアとして設定し、設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定し、類似しないと判定されたとき、監視対象である前記陳列棚が検出されないことをユーザに通知する構成とする。
これによると、陳列棚において画像変化がないはずの部分を登録しておき、その部分（固定エリア）が変化していたら、陳列棚の位置が変わった等のモニタリング環境に異常が発生したことを店員に通知することができるため、陳列棚のない場所を無駄にモニタリングし続けたりすることを防止できる。
（実施の形態１）
以下、本発明の実施の形態を、図面を参照しながら説明する。
図１は、本実施形態に係るモニタリングシステムの全体構成図である。このモニタリン
グシステムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、複数の店舗ごとに設けられたカメラ１、レコーダ（映像蓄積装置）２、ＰＣ３（情報処理装置）と、複数の店舗を総括する本部に設けられたＰＣ１１と、ネットワーク上に設けられたクラウドコンピューティングシステムを構成するクラウドコンピュータ２１と、任意の場所でアラート通知を受信可能とするスマートフォン２２やタブレット端末２３を備えている。
カメラ１は店舗内の適所に設置され、カメラ１により店舗内が撮像され、これにより得られた映像がレコーダ２に蓄積される。店舗に設置されたＰＣ３や本部に設置されたＰＣ１１では、カメラ１で撮像された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に蓄積された過去の店舗内の映像を閲覧することができ、これにより店舗や本部で店舗内の状況を確認することができる。
本部に設置されたＰＣ１１は、店舗を管理するスーパーバイザーの業務を支援する施設管理支援装置として構成される。また、このＰＣ１１で生成した情報は、ＰＣ１１のモニタによりスーパーバイザーが閲覧することができ、さらに、店舗に設置されたＰＣ３に送信されて、このＰＣ３でも店長などが閲覧することができる。このように、ＰＣ３、ＰＣ１１が閲覧装置として構成される。また、スマートフォン２２やタブレット端末２３を閲覧装置とすることもできる。
次に、コンビニエンスストアを例にして店舗のレイアウトおよびカメラ１の設置状況について説明する。図２は、店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図である。
店舗には、出入口、陳列棚、レジカウンタ、および調理器具などが設けられている。陳列棚は、ファーストフード、米飯（おにぎり、弁当、寿司などの商品）、加工食品、雑貨、生鮮食品、雑誌、新聞などの商品の種類に分けて設置されている。調理器具は、からあげなどのファーストフードを店内で調理するものであり、レジカウンタの隣には、ファーストフードの陳列棚（ＦＦケース）が設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計（代金の支払い）を済ませた後に出入口から退店する。
また、店舗には、店舗内を撮影する複数のカメラ１が設置されている。このカメラは、店舗内の天井の適宜な位置に設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、このカメラ１により、陳列棚などに陳列された商品、出入口から店舗に出入りする人物、および店舗内に滞在する人物などを撮影することができる。
図３は、店舗に設置されるＰＣ３（情報処理装置）のハードブロック図である。ＰＣ３は、各ユニット間を接続するバス４００と、コンピュータシステムの制御を司る中央演算装置（ＣＰＵ）４０１と、ランダムアクセスメモリ（ＲＡＭ）４０２と、ＣＰＵで実行され、モニタリング装置の動作処理手順や各機能構成を実現させるプログラムを記憶しているリードオンリーメモリ（ＲＯＭ）４０３と、ネットワークを介して外部装置とのデータ転送を行うネットワークインタフェース（ＮＷ Ｉ／Ｆ）４０４と、画像情報をモニタに表示させるビデオＲＡＭ（ＶＲＡＭ）４０５と、キーボードやポインティングデバイス等からなる入力デバイスから入力された入力信号を制御する入力コントローラ４０６と、ハードディスクドライブ（ＨＤＤ）４０７と、外部記憶装置からの入出力を制御する外部記憶装置インタフェース４０８とを備えている。
図４は、店舗に設置されるＰＣ３の概略構成を示す機能ブロック図である。ＰＣ３は、カメラ１あるいはレコーダ２から映像を取得する映像取得部３０と、取得した映像の中から陳列棚を検出する棚検出部３１と、検出した陳列棚の映像の中から商品を検出する商品検出部３２と、商品の検出結果により陳列状態（陳列量、陳列乱れ等）を判定する状態判定部３３と、陳列棚の位置がずれていると判定された場合、または陳列状態に不備があると判定された場合にアラート通知を行うアラート通知部３４と、アラート通知を受けてモニタ５にアラート内容を表示するための画面を生成する表示画面生成部３５と、入力デバイス６からの操作入力を制御する操作入力制御部３６と、陳列棚の映像の一部を固定エリアとして設定する固定エリア設定部３７と、固定エリアを含む陳列棚の管理情報を記憶する記憶部３８とを備えている。
なお、図４に示す各機能構成は、図３に示すＣＰＵ４０１が、ＲＯＭ４０３に記憶されているプログラムを実行することで、各ハードウェアが制御されて実現される。これらのプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成しても良い。また、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録されても良い。また、ネットワークを介して、ユーザに提供されるようにしても良い。また、ＰＣ１１もＰＣ３と同様の構成である。
図４において、映像取得部３０は、カメラ１およびレコーダ２から店舗内を撮影した映像を取得する。ここで、店舗内を撮影した映像をモニタ５でモニタリングする際に、当日の映像をリアルタイムに表示させる場合にはカメラ１から映像を取得し、過去の一定期間の映像を表示させる場合にはレコーダ２から映像を取得する。
棚検出部３１は、類似度計算部３１１と環境変化判定部３１２を備え、店舗内の映像上において陳列棚の位置に変化がないかどうかを検出する。陳列棚が移動されている場合や、陳列棚とカメラ１の間に障害物が置かれた場合や、カメラ１の左右や上下の撮影角度（画角）が変化した場合等に、映像上の陳列棚の位置に変化が生じる。
類似度計算部３１１は、陳列棚の映像の中で変化が起きない領域としてあらかじめ記憶された固定エリアの画像と、現在の映像上における固定エリアに対応する位置の画像とを比較して類似度を計算する。
環境変化判定部３１２は、類似度計算部３１１により算出された類似度をしきい値と比較して、映像上の固定エリア部分に変化が発生しているか否かを判定し、変化しているときアラート通知部３４に通知する。ここで、類似度が高ければ、陳列棚の位置に変化がないということになり、反対に、類似度が低ければ、陳列棚が移動されている、あるいは陳列棚とカメラの間に障害物がある、あるいはカメラの画角がずれた等の陳列棚のモニタリング環境に異常が発生していることになる。
商品検出部３２では、環境変化判定部３１２により、類似度が高い、すなわち陳列棚の位置に変化がないと判定された場合に、陳列棚に陳列された商品を検出する処理が行われる。商品検出処理は、商品と想定される物体が映った画素の陳列棚全画素に対する割合を求める等の既知の方法により行われる。
状態判定部３３では、商品検出部３２の検出結果をしきい値と比較することにより、陳列量が少ない等の陳列棚に不備があるか否かを判定する処理が行われる。
アラート通知部３４では、環境変化判定部３１２が陳列棚のモニタリング環境に異常があると判定した場合に、異常を知らせるアラート情報を生成して通信デバイス４に通知する処理が行われる。また、アラート通知部３４は、表示画面生成部３５にアラート情報を
通知する。さらに、アラート通知部３４は、状態判定部３３により陳列棚に不備があるとされた場合も、その旨のアラート情報を通信デバイス４や表示画面生成部３５に通知する。
表示画面生成部３５では、店舗の映像をユーザが監視するためのモニタリング画面を生成する処理が行われ、生成されたモニタリング画面はモニタ５に表示される。また、表示画面生成部３５は、状態判定部３３による陳列量不足や陳列乱れの判定結果や、アラート通知部３４によるアラート情報に関する表示画面も生成し、モニタ５に表示する。
操作入力制御部３６は、モニタ５に表示された画面上で、マウスおよびキーボードなどの入力デバイス６を用いて行われるユーザの入力操作に応じて、入力情報を取得する。
固定エリア設定部３７では、陳列棚の一部を固定エリアとしてあらかじめ設定する処理が行われる。固定エリア設定部３７は、ユーザが入力デバイス６を用いて指定した陳列棚の一部の領域（固定エリア）の位置情報、この固定エリアを設定した時の映像（設定時映像）および設定日時を記憶部３８に記憶する。
記憶部３８は、固定エリア設定部３７から受け取った設定時画像および設定日時、固定エリアの位置情報を、監視対象となる陳列棚の識別子に対応付けて、棚管理情報として記憶する。また、記憶部３８は、類似度を比較するためのしきい値等も記憶している。
図５は、陳列棚の映像上に設定される固定エリアを示す説明図である。図５に示すように、入力デバイス６を用いたユーザの入力操作に応じて、固定エリア設定部３７が、陳列棚の映像の中から固定エリア５１および固定エリア５２を設定し記憶する。固定エリアは陳列棚上の変化の起きない領域を指定するものとし、ここでは、固定エリア５１は陳列棚の一方の棚枠、固定エリア５２は他方の棚枠を矩形状の領域として指定している。このとき、映像取得部３０により取得された映像をモニタ５に表示させ、このモニタ５上で固定エリアをユーザが指定入力するようにしても良い。なお、固定エリアを矩形状ではなく、三角形または五角形等の形状で指定しても構わない。三角形の領域を指定した場合は３点の座標により、五角形の領域を指定した場合は５点の座標により、固定エリアの位置が表される。
図６は、陳列棚の映像上に設定される固定エリア候補を示す説明図である。図６においては、図５のようにユーザが直接、固定エリアを入力設定するのではなく、陳列エリアの映像の中から、固定エリアとして適切な領域の候補をユーザに提示し、この候補の中からユーザに選択してもらうようにする。固定エリアの候補は、棚検出部３１が、映像取得部３０により取得された映像の中から、一定期間変化のない領域を取り出し、表示画面生成部３５が、図６に示すように、店舗の映像上に固定エリアの候補領域を重畳した画面を生成するようにすれば良い。図６に示す例では、映像上に、棚番号００１と棚番号００２の２つの陳列棚があるが、棚番号００１の商品を監視するものとして、棚番号００１の左右の棚枠である固定エリア（１）および固定エリア（２）を選択しているが、棚の上面（固定エリア（３））を選択しても良い。
図７は、記憶部３８が記憶する棚管理情報を示す説明図である。棚管理情報は、固定エリアが設定された陳列棚の識別子７１（棚番号）に対応付けて、設定時画像７２および設定日時７３、設定された固定エリアの座標である固定エリア情報７４を保持している。ひとつの陳列棚に複数の固定エリアが設定されている場合は、同じ棚番号を持つ複数のレコードが格納されるようにすれば良い。または、棚番号ごとにひとつのレコードとし、固定エリア情報７４を複数分持つようにしても良い。
図６、図７に示す例では、棚番号００１に矩形状の固定エリア（１）と固定エリア（２）の２つを設定しているので、レコードＮＯ.１の固定エリア情報７４に固定エリア（１）の４点の座標を保持し、レコードＮＯ.２の固定エリア情報７４に固定エリア（２）の４点の座標を保持している。なお、この棚管理情報では、設定時画像７２として画像ファイルのファイル名を格納し、実際の画像ファイルは記憶部３８内の所定の保存場所に保存されているものとするが、保存場所（パス）とファイル名の両方を設定時画像７２として格納しても良い。
図８は、アラート通知画面を示す説明図である。棚検出部３１の環境変化判定部３１２が、固定エリアに変化があると判定した場合、アラート通知部３４はアラート情報を表示画面生成部３５に送信する。そして、表示画面生成部３５は、図８に示すようなアラート通知用の表示画面を生成し、モニタ５に表示する。このアラート通知画面では、記憶部３８に記憶されている棚管理情報から読み出した陳列棚を特定するための識別子７１（棚番号）およびこの陳列棚の固定エリア設定時画像７２と、現在の映像とを並べて表示している。このようにすると、店舗の店員または本部のスーパーバイザー等が、どの陳列棚にどのような問題が発生しているのかを明確に認識することができる。また、アラート通知部３４は、アラート情報を電子メールとして、通信デバイス４や他のネットワーク装置に送信することもできる。
なお、アラート通知画面に表示される棚番号や設定時画像は、表示画面生成部３５が記憶部３８の棚管理情報から読み出すようにしても良いし、環境変化判定部３１２が記憶部３８から読み出して判定結果とともにアラート通知部３４に送信し、アラート通知部３４から表示画面生成部３５に送信されるようにしても良い。また、固定エリアが設定されたときの設定日時や現在画像を取得したときの日時も合わせて、アラート通知画面に表示させるようにしても良い。
次に、ＰＣ３で行われる処理について説明する。図９は、監視中の陳列棚の異常を検出しアラート通知する手順を示す動作フロー図である。図１０は、固定エリアの輝度から類似度を計算する例を示す説明図である。
図９において、ＰＣ３は、映像取得部３０により、カメラ１から店舗内を撮影した映像を取得する（ＳＴ９０１）。
次に、類似度計算部３１１により、記憶部３８の棚管理情報から、固定エリアを設定した際の画像(設定時画像７２）および固定エリアの位置情報（固定エリア情報７４）を読み出して、設定時画像上の固定エリアの画像の輝度値を抽出する（ＳＴ９０２）。図１０に示す例では、設定時画像７２には、２つの固定エリア５１、固定エリア５２が設定されているので、まず、１つめの固定エリア５１の画像の輝度値を抽出し、抽出した固定エリア５１の輝度値１０１を輝度ベクトル１０２に変換する。なお、輝度値の抽出および輝度ベクトルへの変換は既知の方法により行うものとする。
続いて、類似度計算部３１１により、映像取得部３０で取得した現在の画像から固定エリア５１に対応する画像（固定エリア対応画像）の輝度値を抽出する（ＳＴ９０３）。図１０に示す例では、現在画像１０３の固定エリア５１に対応する位置にある固定エリア対応画像１０４の輝度値を抽出し、抽出した固定エリア対応画像１０４の輝度値１０６を輝度ベクトル１０７に変換する。
なお、同じ映像であっても時間帯によって色や明るさが変わるので、固定エリアを設定したときと同じ時間帯の映像の中から固定エリア対応画像１０４、１０５の輝度値を抽出するようにしても良い。この場合は、棚管理情報の設定日時７３を利用して同じ時間帯の
映像を選択するようにする。さらに、天候によっても色や明るさが変わるので、固定エリアを設定したときと同じ天候の映像の中から固定エリア対応画像の輝度値を抽出するようにしても良い。この場合は、棚管理情報あるいは他の記憶領域に、固定エリアを設定したときの天候の情報も記憶するようにすると良い。
次に、類似度計算部３１１により、固定エリア５１の輝度ベクトル１０２と、固定エリア対応画像１０４の輝度ベクトル１０６の類似度を計算する（ＳＴ９０４）。類似度の計算方法としては、方向余弦（内積）を用いる方法やベクトル間の距離を計測する方法等、既知の方法を利用するものとする。図９に示す方向余弦計算式を用いた場合、固定エリア５１と固定エリア対応画像１０４の類似度は０．５４となる。
次に、環境変化判定部３１２により、類似度計算部３１１で算出された類似度をあらかじめ設定されるしきい値と比較し、比較結果に応じて固定エリア５１と固定エリア対応画像１０４が類似しているか否かを判定する（ＳＴ９０５）。例えば、しきい値を０．７とした場合、図９に示す例で算出した類似度は０．５４であるため、しきい値以下または未満となり、陳列棚の位置に変化があったと判定する。
ＳＴ９０５において、類似していない（陳列棚の位置に変化あり）と判定された場合（ＳＴ９０５のＮｏ）、環境変化判定部３１２からアラート通知部３４に変化ありの情報が通知され、アラート通知部３４により、アラート情報が生成される（ＳＴ９０６）。このアラート情報は、アラート通知部３４から表示画面生成部３５に送付され、表示画面生成部３５は、アラート情報に基づいて図８に示すようなアラート通知画面を生成し（ＳＴ９０８）、モニタ５に表示する。なお、アラート情報は、アラート通知部３４から通信デバイス４に電子メールで送信することもできる。
一方、ＳＴ９０５において、類似している（陳列棚の位置に変化なし）と判定された場合（ＳＴ９０５のＹｅｓ）、他にも固定エリアが設定されているかを記憶部３８の棚管理情報の内容から判定する（ＳＴ９０７）。ここでは、図１０に示すように他にも固定エリア５２があり、図７に示すように、同じ棚番号００１に対してレコードＮＯ１とＮＯ２の２つのレコードが格納されているので、他の固定エリアがあると判定されて（ＳＴ９０７のＹｅｓ）、固定エリア５２と固定エリア対応画像１０５についてＳＴ９０２以降の処理が繰り返される。
すべての固定エリアが類似し、他に類似度を判定すべき固定エリアがなくなったとき（ＳＴ９０７のＮｏ）、表示画面生成部３５は、陳列棚の映像を監視するモニタリング画面を生成しモニタ５に表示する。
以上、第１の実施形態によれば、監視対象である陳列棚の映像上に固定エリアを設定し、１つでも固定エリアの位置にずれがある等の異常があるときは、ユーザにアラート通知を行うので、モニタリング環境が変わってしまった状態のまま陳列棚を監視し続けることを防止できる。
（実施の形態２）
図１１は、第２の実施形態に係るＰＣ３の概略構成を示す機能ブロック図である。第２の実施形態においては、固定エリアの位置が棚管理情報に登録されている設定時の位置と異なる場合に、棚検出部３１が、映像上から固定エリアの画像を検索し、検索した固定エリアの画像が元の設定時の位置にくるように、自動追従部１１１がカメラ１の画角を制御する。以下、第２の実施形態の説明において、第１の実施形態と実質的に同一の構成に対しては重複説明を省略する場合がある。
図１２は、第２の実施形態に係る自動追従の動作手順を示す動作フロー図である。図１２において、ＳＴ９０１からＳＴ９０５の処理は上記の説明のとおりである。ＳＴ９０５の判定において、類似していない（陳列棚の位置に変化あり）と判定された場合（ＳＴ９０５のＮｏ）、棚検出部３１は、現在画像１０３（図１０参照）の中から、固定エリア５１と同じ形状と大きさの領域で、固定エリア５１と類似する輝度を持つ画像を検索する（ＳＴ１２０１）。複数の固定エリアが設定されている場合は、すべての固定エリアについて検索を行う。
次に、すべての固定エリアの画像を検索できた場合（ＳＴ１２０２のＹｅｓ）、棚検出部３１から自動追従部１１１に対し、検索された現在の固定エリアの位置情報と、本来の固定エリア設定時の固定エリアの位置情報（棚管理情報の固定エリア情報７４）を通知する。自動追従部１１１は、映像上において、検索された固定エリアの位置が、設定時の固定エリアの位置になるように、カメラ１の上下左右の向き（画角）を制御する自動追従を行う（ＳＴ１２０３）。なお、棚検出部３１から自動追従部１１１に、検索された現在の固定エリアの位置を本来の固定エリア設定時の固定エリアの位置（棚管理情報の固定エリア情報７４）に変更するために必要なカメラの画角を通知するようにしても良い。この場合、自動追従部１１１は、通知された画角に基づいてカメラ１を制御するものとする。
次に、カメラの画角制御ができずに自動追従できなかったとき（ＳＴ１２０４のＮｏ）、あるいは、ＳＴ１２０２において、固定エリアの検索ができなかったとき（ＳＴ１２０２のＮｏ）、その旨がアラート通知部３４に通知され、アラート通知部３４がアラート情報を生成する（ＳＴ９０６）。すなわち、カメラの画角制御ができなかったことを通知するアラート通知画面、あるいは、現在の映像から固定エリアが検索できなかったことを通知するアラート通知画面を生成する。ＳＴ１２０４において、カメラの画角を制御して自動追従ができたとき（ＳＴ１２０４のＹｅｓ）、棚管理情報に記憶されているとおりの位置に固定エリアを捉えた陳列棚のモニタリング画面が生成される（ＳＴ９０８）。
以上、第２の実施形態によれば、陳列棚の移動等により、陳列棚に設定された固定エリアの位置がずれた場合にも、ずれた後の固定エリアの位置を元の固定エリア設定時の位置に戻すように、カメラを制御して撮影方向を変更する。これにより、陳列棚が実際に移動された場合でも、撮影するカメラの画角が変わってしまった場合でも、ユーザの手を煩わせることなく、陳列棚の位置を正確に撮影しモニタリングを継続することができる。
なお、第２の実施形態においては、カメラの撮影方向を変更して自動追従するようにしたが、カメラの撮影方向は変更せずに、現在の画像上の固定エリアの位置により最新の陳列棚の位置を認識し、この中から商品を検出するようにしても良い。その場合は、自動追従部１１１は、商品検出部３２に移動後の陳列棚の位置を知らせるだけで良い。これにより、映像内において陳列棚が移動した場合にも、ユーザの手を煩わせることなく、移動後の陳列棚から正確に商品の検出を行うことができる。
（実施の形態３）
図１３は、第３の実施形態に係るＰＣ３の概略構成を示す機能ブロック図である。第３の実施形態においては、陳列棚にあらかじめマーキングを付加し、棚検出部３１が、映像上からマーキング画像を検索し、検索したマーキング画像が初期位置にくるように、自動追従部１１１がカメラ１の画角を制御する。以下、第３の実施形態の説明において、第１および第２の実施形態と実質的に同一の構成に対しては重複説明を省略する場合がある。
図１４は、第３の実施形態に係る陳列棚に付加されたマーキングを示す説明図である。図１４に示すように、商品やその他陳列物によって隠されることがなく、常時、撮影可能な陳列棚の露出部分に、他と混同されることのない一意に識別可能なシールを貼り、マー
キング１４１とする。図１４に示す例では、陳列棚の上部と下部の左右の計４箇所をマーキング１４１としているが、陳列棚の領域を特定可能であれば適宜変更して良い。例えば、上部の左右と下部１箇所の計３箇所、あるいは、右上と左下の計２箇所としても構わない。
図１３に示すように、棚検出部１３０は、マーキング検出部１３０１と、マーキング変化判定部１３０２を備え、さらに、処理条件設定部１３１を備える。マーキング検出部１３０１は、陳列棚上に付加されたマーキング１４１を、映像取得部３０から入力した映像の中から検出し、検出したマーキング１４１の位置情報をマーキング変化判定部１３０２に送る。また、映像の中からマーキング１４１を検出できなかったときは、マーキング検出不可をアラート通知部３４に通知する。これにより、アラート通知部３４は、表示画面生成部３５を介してモニタ５にアラート通知画面を表示させたり、通信デバイス４にアラート通知をメール送信して、ユーザに陳列棚の異常を迅速に知らせることができる。
マーキング変化判定部１３０２は、マーキング検出部１３０１から得たマーキングの位置情報が、記憶部３８に記憶されるマーキングの初期位置から変化しているか否かを判定し、マーキング位置が初期位置から変化している（陳列棚の位置がずれている）とき、検出されたマーキングの位置情報と、マーキングの初期位置の位置情報を自動追従部１１１に通知する。なお、マーキング変化判定部１３０２が、位置情報ではなく、両者の位置情報から導き出される画角の情報を自動追従部１１１に通知するようにしても良い。
自動追従部１１１は、検出されたマーキングの位置が、マーキングの初期位置となるように、カメラの画角を制御する。これにより、商品検出部３２は、陳列棚が多少移動されたとしても、映像上にマーキング１４１を検出できれば、商品を検出すべき領域を把握して商品の検出を正確に行うことができる。
処理条件設定部１３１は、入力デバイス６によりユーザが設定入力する処理条件を設定し記憶部３８に記憶する。まず、ユーザは、第３の実施の形態に係るマーキング１４１を用いた陳列棚の検索を行うことを指示する。その際に、陳列棚に付加されたマーキング１４１の画像や各マーキング１４１の位置情報（初期位置）を入力するようにする。処理条件設定部１３１は、これらの入力された処理条件を記憶部３８に記憶する。
なお、各マーキング１４１の位置情報（初期位置）の入力に関しては、マーキング検出部１３０１に指示して、映像の中から、すべてのマーキング１４１の位置を検出させ、この位置情報をマーキング１４１の初期の位置情報として、記憶部３８に記憶させるようにしても良い。マーキング変化判定部１３０２がマーキング位置の変化を判定する際に、検出したマーキング位置とこの初期の位置情報（初期のマーキング位置）との比較を行う。
図１５は、第３の実施形態に係る自動追従の動作手順を示す動作フロー図である。 図１５において、ＰＣ３は、映像取得部３０により、カメラ１から店舗内を撮影した映像を取得する（ＳＴ１５０１）。次に、マーキング検出部１３０１により、取得した映像の中からマーキング１４１（図１４参照）を検索する（ＳＴ１５０２）。検索対象となるマーキング画像はあらかじめ記憶部３８に記憶されている。
次に、処理条件設定部１３１により記憶部３８に記憶されたすべてのマーキング（図１４の場合は４個）を検出できなかったとき（ＳＴ１５０３のＮｏ）、マーキング検出部１３０１は、アラート通知部３４にマーキング検出不可を通知し、アラート通知部３４はアラート情報を生成する（ＳＴ１５０４）。生成されたアラート情報は、表示画面生成部３５に送付される。アラート情報を受けて、表示画面生成部３５は、マーキングが検出できなかった旨のアラート通知画面を生成する（ＳＴ１５０８）。
すべてのマーキング１４１を検出できたとき（ＳＴ１５０３のＹｅｓ）、検出したマーキング位置が記憶部３８に記憶された初期のマーキング位置とすべて一致するか否かを判定する（ＳＴ１５０５）。マーキング変化判定部１３０２により、マーキング位置が一致しないと判定された場合は（ＳＴ１５０５のＮｏ）、自動追従部１１１により、映像上のマーキング位置が初期のマーキング位置と重なるように、カメラ１の上下左右の撮影方向（画角）を制御する（ＳＴ１５０６）。
なお、マーキング変化判定部１３０２から自動追従部１１１に、検出したマーキングの位置情報と初期のマーキング位置情報を通知し、自動追従部１１１が、両者の位置情報を元に現在のマーキング位置を初期位置に戻すためのカメラの画角を計算してカメラを制御するようにしても良い。または、マーキング変化判定部１３０２が現在のマーキング位置を初期位置に戻すためのカメラの画角を計算して、画角の情報を自動追従部１１１に通知し、自動追従部１１１が画角の情報に従ってカメラを制御するようにしても良い。
次に、カメラ１の制御によって映像上のマーキング位置を初期のマーキング位置に変更する自動追従ができたか否かを判定する（ＳＴ１５０７）。自動追従できなかったとき（ＳＴ１５０７のＮｏ）、自動追従部１１１により、アラート通知部３４に自動追従不可が通知され、アラート通知部３４はアラート情報を生成する（ＳＴ１５０４）。生成されたアラート情報は、表示画面生成部３５に送付される。アラート情報を受けて、表示画面生成部３５は、カメラの制御による自動追従ができなかった旨のアラート通知画面を生成する（ＳＴ１５０８）。
ＳＴ１５０５において、マーキング位置が初期のマーキング位置と一致したとき（ＳＴ１５０５のＹｅｓ）、または、ＳＴ１５０７において、自動追従ができたとき（ＳＴ１５０７のＹｅｓ）、表示画面生成部３５により、陳列棚を監視するモニタリング画面が生成される。このとき、商品検出部３２はマーキング位置に基づき陳列棚の領域を把握して商品の検出を行うことができるので、表示画面生成部３２は、商品検出結果を合わせてモニタリング画面に表示させるようにしても良い。
以上、第３の実施形態によれば、あらかじめユニークなシール（マーキング）を陳列棚に貼り、これをカメラで認識し、マーキングの初期位置と現在の映像上のマーキング位置とにずれが発生していた場合に、カメラの上下左右の撮影方向（画角）を初期位置に合わせるように制御する。これにより、陳列棚が実際に移動された場合でも、撮影するカメラの画角が変わってしまった場合でも、ユーザの手を煩わせることなく、陳列棚の位置を正確に撮影しモニタリングを継続することができる。
なお、第３の実施形態においては、カメラの撮影方向を変更して自動追従するようにしたが、カメラの撮影方向は変更せずに、現在のマーキング位置により最新の陳列棚の位置を認識し、この中から商品を検出するようにしても良い。その場合は、自動追従部１１１は、商品検出部３２に移動後の陳列棚の位置を知らせるだけで良い。これにより、映像内において陳列棚が移動した場合にも、ユーザの手を煩わせることなく、移動後の陳列棚から正確に商品の検出を行うことができる。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係るモニタリング装置、モニタリングシステムおよびモニタリング方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
例えば、本実施形態では、コンビニエンスストアなどの小売店舗の例について説明したが、このような小売店舗に限定されるものではなく、小売店舗以外の業務形態の店舗に適用することも可能である。
また、本実施形態では、図２に示したように、カメラ１を、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。
また、本実施形態では、図８に示したように、アラート通知画面に、固定エリアを設定したときの設定時画像と、現在の映像を並べて表示するようにしたが、設定時画像と同じ時間帯の映像あるいは同じ天候の映像と類似度を比較した場合は、比較対象とした映像を表示するようにすると良い。また、テキスト表示のみで映像は表示しないようにしても良い。
また、本実施形態では、モニタリングに必要な処理を、店舗に設けられたＰＣ３に行わせるようにしたが、この必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ２１に行わせるようにしても良い。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしても良い。この場合、必要な処理を分担する複数の情報処理装置でモニタリングシステムが構成される。
このような構成では、モニタリングに必要な処理のうち、少なくともデータ量が大きな処理、例えば商品検出処理を、店舗に設けられたＰＣ３などの装置に行わせるようにすると良い。このように構成すると、残りの処理のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
また、クラウドコンピュータ２１に必要な処理の全部を行わせ、あるいは、必要な処理のうちの少なくとも画面出力処理をクラウドコンピュータ２１に分担させるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３、１１の他に、スマートフォン２２やタブレット端末２３などの携帯端末でもモニタリング画面を表示させることができるようになり、店舗を巡回中のスーパーバイザー等が店舗や本部の他に外出先などの任意の場所で遠隔の店舗における機会損失要因を監視することができる。
また、本実施形態では、店舗に設置されたＰＣ３にモニタリングに必要な処理を行わせるとともに、ＰＣ３に接続されたモニタ５にモニタリング画面などを表示させて、ＰＣ３で必要な入力および出力を行う場合について説明したが、モニタリングに必要な処理を行う情報処理装置とは別の情報処理装置、例えば本部に設置されたＰＣ１１やスマートフォン２２やタブレット端末２３などの携帯端末で必要な入力および出力を行うことができるようにしても良い。
本発明に係るモニタリング装置、モニタリングシステムおよびモニタリング方法は、監視中の陳列エリア内の陳列棚の位置が移動されたり、カメラと陳列棚の間に障害物が置かれたり、カメラの位置がずれたりなど、モニタリングの環境に変化が生じた場合に、迅速に店員にアラート通知を行って、正しいモニタリング環境に戻させることにより、商品の陳列状況の監視を正しく継続させることができる。これにより、長期に亘って安定した陳列棚のモニタリングを実施することができる効果を有し、店舗の映像に基づいて商品を監
視するモニタリング装置、モニタリングシステムおよびモニタリング方法などとして有用である。
１ カメラ
２ レコーダ
３ ＰＣ（モニタリング装置）
４ 通信デバイス
５ モニタ
６ 入力デバイス
１１ ＰＣ
２１ クラウドコンピュータ
２２ スマートフォン
２３ タブレット端末
３０ 映像取得部
３１、１３０ 棚検出部
３１１ 類似度計算部
３１２ 環境変化判定部
３２ 商品検出部
３３ 状態判定部
３４ アラート通知部
３５ 表示画面生成部
３６ 操作入力制御部
３７ 固定エリア設定部
３８ 記憶部
５１、５２ 固定エリア
７２ 設定時画像
１０３ 現在画像
１０４、１０５ 固定エリア対応画像
１１１ 自動追従部
１３１ 処理条件設定部
１３０１ マーキング検出部
１３０２ マーキング変化判定部
１４１ マーキング
本発明のモニタリング装置は、店舗における陳列棚を撮影した映像に基づいて、監視対象とする陳列棚の一部の領域を固定エリアとして設定し、前記固定エリアを設定した時の画像を記憶部に記憶させる固定エリア設定部と、前記固定エリア設定部により設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定することにより、前記陳列棚の検出を行う棚検出部と、前記判定により類似しないとされたとき、前記固定エリアを設定した時の画像と前記固定エリアと同位置の画像とを並べて表示する通知画面によって、監視対象である前記陳列棚が検出されないことをユーザに通知するアラート通知部と、を備えた構成とする。
また、本発明のモニタリングシステムは、店舗における陳列棚を撮影した映像に基づいて、前記陳列棚を監視するモニタリングシステムであって、前記陳列棚を撮影するカメラと、情報処理装置と、を有し、前記情報処理装置が、店舗における陳列棚を撮影した映像に基づいて、監視対象とする陳列棚の一部の領域を固定エリアとして設定し、前記固定エリアを設定した時の画像を記憶部に記憶させる固定エリア設定部と、前記固定エリア設定部により設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定することにより、前記陳列棚の検出を行う棚検出部と、前記判定により類似しないとされたとき、前記固定エリアを設定した時の画像と前記固定エリアと同位置の画像とを並べて表示する通知画面によって、監視対象である前記陳列棚が検出されないことをユーザに通知するアラート通知部と、を備えた構成とする。
また、本発明のモニタリング方法は、店舗における陳列棚を撮影した映像に基づいて、前記陳列棚を監視する処理を情報処理装置に行わせるモニタリング方法であって、前記陳列棚を撮影した映像の中から、監視対象とする陳列棚の一部の領域を固定エリアとして設定し、前記固定エリアを設定した時の画像を記憶部に記憶させ、設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定し、類似しないと判定されたとき、前記固定エリアを設定した時の画像と前記固定エリアと同位置の画像とを並べて表示する通知画面によって、監視対象である前記陳列棚が検出されないことをユーザに通知する構成とする。
前記課題を解決するためになされた第１の発明は、店舗における陳列棚を撮影した映像に基づいて、監視対象とする陳列棚の一部の領域を固定エリアとして設定し、前記固定エリアを設定した時の画像を記憶部に記憶させる固定エリア設定部と、前記固定エリア設定部により設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定することにより、前記陳列棚の検出を行う棚検出部と、前記判定により類似しないとされたとき、前記固定エリアを設定した時の画像と前記固定エリアと同位置の画像とを並べて表示する通知画面によって、監視対象である前記陳列棚が検出されないことをユーザに通知するアラート通知部と、を備えた構成とする。
また、第３の発明は、前記固定エリア設定部は、前記固定エリアとして設定した領域の位置情報と、前記固定エリアを設定した時の画像と、前記陳列棚の識別子とを対応付けて記憶部に記憶させる構成とする。
また、第７の発明は、店舗における陳列棚を撮影した映像の中から、前記陳列棚に貼付され、一意に識別可能なマーキング画像を検索し、検索された前記マーキング画像の位置と、あらかじめ記憶される前記マーキング画像の初期位置とが一致するか否かを判定することにより、前記陳列棚の検出を行う棚検出部と、前記棚検出部により前記マーキング画像の位置が前記初期位置と一致しないと判定されたとき、前記マーキング画像の位置が前記初期位置になるよう、撮影しているカメラの撮影方向の角度を変更する自動追従部と、前記棚検出部により前記マーキング画像を検索できないとき、前記陳列棚が検出されないことをユーザに通知するアラート通知部と、を備えた構成とする。
また、第９の発明は、店舗における陳列棚を撮影した映像に基づいて、前記陳列棚を監視するモニタリングシステムであって、前記陳列棚を撮影するカメラと、情報処理装置と、を有し、前記情報処理装置が、店舗における陳列棚を撮影した映像に基づいて、監視対象とする陳列棚の一部の領域を固定エリアとして設定し、前記固定エリアを設定した時の画像を記憶部に記憶させる固定エリア設定部と、前記固定エリア設定部により設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定することにより、前記陳列棚の検出を行う棚検出部と、前記判定により類似しないとされたとき、前記固定エリアを設定した時の画像と前記固定エリアと同位置の画像とを並べて表示する通知画面によって、監視対象である前記陳列棚が検出されないことをユーザに通知するアラート通知部と、を備えた構成とする。
また、第１０の発明は、店舗における陳列棚を撮影した映像に基づいて、前記陳列棚を監視する処理を情報処理装置に行わせるモニタリング方法であって、前記陳列棚を撮影した映像の中から、監視対象とする陳列棚の一部の領域を固定エリアとして設定し、前記固定エリアを設定した時の画像を記憶部に記憶させ、設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定し、類似しないと判定されたとき、前記固定エリアを設定した時の画像と前記固定エリアと同位置の画像とを並べて表示する通知画面によって、監視対象である前記陳列棚が検出されないことをユーザに通知する構成とする。

Claims (10)

  1. 店舗における陳列棚を撮影した映像に基づいて、監視対象とする陳列棚の一部の領域を固定エリアとして設定する固定エリア設定部と、
    前記固定エリア設定部により設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定することにより、前記陳列棚の検出を行う棚検出部と、
    前記判定により類似しないとされたとき、監視対象である前記陳列棚が検出されないことをユーザに通知するアラート通知部と、
    を備えたことを特徴とするモニタリング装置。
  2. 前記棚検出部は、店舗を撮影した映像の中で、所定の期間にわたって変化のない領域を固定エリアの候補として抽出し、
    前記固定エリア設定部は、前記抽出された固定エリア候補の中から、ユーザが選択したものを前記固定エリアとして設定することを特徴とする請求項１記載のモニタリング装置。
  3. 前記固定エリア設定部は、前記固定エリアとして設定した領域の位置情報と、前記設定時の前記陳列棚を撮影した映像と、前記陳列棚の識別子とを記憶部に記憶させることを特徴とする請求項１または請求項２記載のモニタリング装置。
  4. 前記固定エリア設定部は、複数の領域を複数の前記固定エリアとして設定し、
    前記棚検出部は、前記複数の固定エリアの各々について、同位置の画像との類似を判定し、
    前記アラート通知部は、前記複数の固定エリアのうちひとつでも類似しないと判定されたとき、前記陳列棚が検出されないことをユーザに通知することを特徴とする請求項１から請求項３のいずれかに記載のモニタリング装置。
  5. 前記棚検出部は、前記固定エリアの画像の輝度と、前記固定エリアと同位置の画像の輝度とを比較することによって、類似か否かを判定することを特徴とする請求項１から請求項４のいずれかに記載のモニタリング装置。
  6. 前記棚検出部により前記固定エリアの画像と、前記固定エリアと同位置の画像とが類似しないと判定されたとき、店舗を撮影した映像の中から、前記固定エリアの画像と類似する類似画像を検索し、検索された前記類似画像の位置が前記固定エリアの位置になるよう、撮影しているカメラの画角を制御する自動追従部を備え、
    前記アラート通知部は、前記類似画像を検索できないとき、前記陳列棚が検出されないことをユーザに通知することを特徴とする請求項１から請求項５のいずれかに記載のモニタリング装置。
  7. 店舗における陳列棚を撮影した映像の中から、前記陳列棚に貼付され、一意に識別可能なマーキング画像を検索し、検索された前記マーキング画像の位置と、あらかじめ記憶される前記マーキング画像の初期位置とが一致するか否かを判定することにより、前記陳列棚の検出を行う棚検出部と、
    前記棚検出部により前記マーキング画像の位置が前記初期位置と一致しないと判定されたとき、前記マーキング画像の位置が前記初期位置になるよう、撮影しているカメラの画角を制御する自動追従部と、
    前記棚検出部により前記マーキング画像を検索できないとき、前記陳列棚が検出されないことをユーザに通知するアラート通知部と、を備えたことを特徴とするモニタリング装置。
  8. 前記棚検出部により検出された前記陳列棚の中から、商品の検出を行う商品検出部と、
    前記商品の検出結果および前記陳列棚を撮影した映像をモニタに表示するモニタリング画面を生成する表示画面生成部と、を備えたことを特徴とする請求項１から請求項７のいずれかに記載のモニタリング装置。
  9. 店舗における陳列棚を撮影した映像に基づいて、前記陳列棚を監視するモニタリングシステムであって、
    前記陳列棚を撮影するカメラと、
    情報処理装置と、を有し、
    前記情報処理装置が、
    店舗における陳列棚を撮影した映像に基づいて、監視対象とする陳列棚の一部の領域を固定エリアとして設定する固定エリア設定部と、
    前記固定エリア設定部により設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定することにより、前記陳列棚の検出を行う棚検出部と、 前記判定により類似しないとされたとき、監視対象である前記陳列棚が検出されないことをユーザに通知するアラート通知部と、
    を備えたことを特徴とするモニタリングシステム。
  10. 店舗における陳列棚を撮影した映像に基づいて、前記陳列棚を監視する処理を情報処理装置に行わせるモニタリング方法であって、
    前記陳列棚を撮影した映像の中から、監視対象とする陳列棚の一部の領域を固定エリアとして設定し、
    設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定し、類似しないと判定されたとき、監視対象である前記陳列棚が検出されないことをユーザに通知することを特徴とするモニタリング方法。
JP2014238621A 2014-11-26 2014-11-26 モニタリング装置、モニタリングシステムおよびモニタリング方法 Active JP6019414B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014238621A JP6019414B2 (ja) 2014-11-26 2014-11-26 モニタリング装置、モニタリングシステムおよびモニタリング方法
US15/515,747 US10334965B2 (en) 2014-11-26 2015-10-27 Monitoring device, monitoring system, and monitoring method
PCT/JP2015/005373 WO2016084305A1 (ja) 2014-11-26 2015-10-27 モニタリング装置、モニタリングシステムおよびモニタリング方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014238621A JP6019414B2 (ja) 2014-11-26 2014-11-26 モニタリング装置、モニタリングシステムおよびモニタリング方法

Publications (2)

Publication Number Publication Date
JP2016099923A true JP2016099923A (ja) 2016-05-30
JP6019414B2 JP6019414B2 (ja) 2016-11-02

Family

ID=56073904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014238621A Active JP6019414B2 (ja) 2014-11-26 2014-11-26 モニタリング装置、モニタリングシステムおよびモニタリング方法

Country Status (3)

Country Link
US (1) US10334965B2 (ja)
JP (1) JP6019414B2 (ja)
WO (1) WO2016084305A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101824806B1 (ko) * 2016-07-05 2018-02-07 주식회사 로브아이 물체 감지 센서의 위치 설정 및 복원 방법
JPWO2019087519A1 (ja) * 2017-10-30 2020-11-26 パナソニックＩｐマネジメント株式会社 棚監視装置、棚監視方法、及び、棚監視プログラム
WO2021085467A1 (ja) * 2019-10-31 2021-05-06 日本電気株式会社 店舗監視システム、店舗監視装置、店舗監視方法及び記録媒体
KR102401480B1 (ko) * 2021-04-27 2022-05-25 주식회사 실리콘큐브 카메라 각도 변경을 자동 보정하는 무인 주차 관리 시스템 및 그 방법
JP7318697B2 (ja) 2017-03-06 2023-08-01 日本電気株式会社 商品監視システム、出力先装置、商品監視方法、表示方法及びプログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10251144B2 (en) 2015-12-03 2019-04-02 Mobile Tech, Inc. Location tracking of products and product display assemblies in a wirelessly connected environment
US10517056B2 (en) 2015-12-03 2019-12-24 Mobile Tech, Inc. Electronically connected environment
US11109335B2 (en) * 2015-12-03 2021-08-31 Mobile Tech, Inc. Wirelessly connected hybrid environment of different types of wireless nodes
US10728868B2 (en) 2015-12-03 2020-07-28 Mobile Tech, Inc. Remote monitoring and control over wireless nodes in a wirelessly connected environment
MX2019002206A (es) 2016-08-24 2019-07-04 Walmart Apollo Llc Sistema de inventario de carros y metodos asociados.
JP6916707B2 (ja) * 2017-10-16 2021-08-11 信越ポリマー株式会社 商品陳列棚のモニタリングシステム
JP2019098106A (ja) * 2017-12-08 2019-06-24 富士電機株式会社 商品検知装置
US20220070620A1 (en) * 2018-10-25 2022-03-03 Mobile Tech, Inc Proxy nodes for expanding the functionality of nodes in a wirelessly connected environment
CN109636268B (zh) * 2018-11-14 2021-04-02 口碑(上海)信息技术有限公司 一种货品监控系统、方法、装置、电子设备和存储设备
US10614682B1 (en) 2019-01-24 2020-04-07 Mobile Tech, Inc. Motion sensing cable for tracking customer interaction with devices
US20220301246A1 (en) * 2019-08-28 2022-09-22 Nec Corporation Store management system, store management method, computer program and recording medium
CN111753614A (zh) * 2019-11-01 2020-10-09 北京京东尚科信息技术有限公司 一种商品货架的监控方法和装置
JPWO2021181990A1 (ja) * 2020-03-13 2021-09-16
CN115272948B (zh) * 2022-05-20 2023-02-17 贵州丰立空间科技有限公司 基于物联网的智能安防信息系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135644A (ja) * 2000-10-24 2002-05-10 Hitachi Kokusai Electric Inc カメラ位置ずれ量の算出および検出の方法、および画像処理装置
JP2004173037A (ja) * 2002-11-21 2004-06-17 Kyocera Corp 車載カメラの光軸ずれ検出装置
JP2007038773A (ja) * 2005-08-02 2007-02-15 Auto Network Gijutsu Kenkyusho:Kk 車載カメラ点検装置
JP2012242912A (ja) * 2011-05-16 2012-12-10 Ishida Co Ltd 販売管理システム
WO2013175837A1 (ja) * 2012-05-25 2013-11-28 ソニー株式会社 カメラ制御装置、カメラ制御方法、プログラムおよびカメラ装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581552A (ja) 1991-07-12 1993-04-02 Omron Corp 商品監視システム
US20020057840A1 (en) * 1999-02-26 2002-05-16 Belmares Robert J. System and method for monitoring visible changes
JP2002366621A (ja) 2001-06-05 2002-12-20 Komatsu Noriko 店舗経営指導情報提供方法およびそのサーバのプログラム
JP3908047B2 (ja) 2002-02-04 2007-04-25 富士通株式会社 陳列状態監視方法及び陳列状態監視プログラム
US8873794B2 (en) * 2007-02-12 2014-10-28 Shopper Scientist, Llc Still image shopping event monitoring and analysis system and method
US9626849B2 (en) * 2015-06-12 2017-04-18 Google Inc. Using scene information from a security camera to reduce false security alerts
US9613423B2 (en) * 2015-06-12 2017-04-04 Google Inc. Using a depth map of a monitored scene to identify floors, walls, and ceilings

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135644A (ja) * 2000-10-24 2002-05-10 Hitachi Kokusai Electric Inc カメラ位置ずれ量の算出および検出の方法、および画像処理装置
JP2004173037A (ja) * 2002-11-21 2004-06-17 Kyocera Corp 車載カメラの光軸ずれ検出装置
JP2007038773A (ja) * 2005-08-02 2007-02-15 Auto Network Gijutsu Kenkyusho:Kk 車載カメラ点検装置
JP2012242912A (ja) * 2011-05-16 2012-12-10 Ishida Co Ltd 販売管理システム
WO2013175837A1 (ja) * 2012-05-25 2013-11-28 ソニー株式会社 カメラ制御装置、カメラ制御方法、プログラムおよびカメラ装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101824806B1 (ko) * 2016-07-05 2018-02-07 주식회사 로브아이 물체 감지 센서의 위치 설정 및 복원 방법
JP7318697B2 (ja) 2017-03-06 2023-08-01 日本電気株式会社 商品監視システム、出力先装置、商品監視方法、表示方法及びプログラム
JPWO2019087519A1 (ja) * 2017-10-30 2020-11-26 パナソニックＩｐマネジメント株式会社 棚監視装置、棚監視方法、及び、棚監視プログラム
JP7236665B2 (ja) 2017-10-30 2023-03-10 パナソニックＩｐマネジメント株式会社 棚監視装置、棚監視方法、及び、棚監視プログラム
WO2021085467A1 (ja) * 2019-10-31 2021-05-06 日本電気株式会社 店舗監視システム、店舗監視装置、店舗監視方法及び記録媒体
KR102401480B1 (ko) * 2021-04-27 2022-05-25 주식회사 실리콘큐브 카메라 각도 변경을 자동 보정하는 무인 주차 관리 시스템 및 그 방법
WO2022231316A1 (ko) * 2021-04-27 2022-11-03 주식회사 실리콘큐브 카메라 각도 변경을 자동 보정하는 무인 주차 관리 시스템 및 그 방법

Also Published As

Publication number Publication date
US10334965B2 (en) 2019-07-02
US20170295953A1 (en) 2017-10-19
JP6019414B2 (ja) 2016-11-02
WO2016084305A1 (ja) 2016-06-02

Similar Documents

Publication Publication Date Title
JP6019414B2 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
US11640576B2 (en) Shelf monitoring device, shelf monitoring method, and shelf monitoring program
US20180101813A1 (en) Method and System for Product Data Review
US9805265B2 (en) Surveillance camera control device and video surveillance system
CN111315670B (zh) 货架标签检测装置、货架标签检测方法、以及记录介质
US9202112B1 (en) Monitoring device, monitoring system, and monitoring method
US10387897B2 (en) Retail sales opportunity loss cause analysis based on image analysis of shelf display
JP5438861B1 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6399356B2 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
EP2975568A1 (en) System and method for self-checkout using product images
CN105723703B (zh) 监控装置、监控系统以及监控方法
JP2019530035A5 (ja)
US20160300181A1 (en) Product monitoring device, product monitoring system, and product monitoring method
JP6261197B2 (ja) 表示制御装置、表示制御方法、及びプログラム
JP5853141B2 (ja) 人数計測装置、人数計測システムおよび人数計測方法
JPWO2016157327A1 (ja) 映像監視システム及び映像監視方法
JP2015019249A (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6969668B2 (ja) 映像監視装置、その制御方法、及び、プログラム
US20170193309A1 (en) Moving information analyzing system and moving information analyzing method
JP4677737B2 (ja) 防犯支援システム
CN111164531A (zh) 用于监视用无人机的系统、方法和装置
US20200372259A1 (en) Image processing apparatus, system, control method for image processing apparatus, and non-transitory computer-readable storage medium
JP2017028688A (ja) 画像管理装置、画像管理方法及びプログラム
JP2021026724A (ja) 情報処理システムと情報処理装置と情報処理方法と情報処理プログラム
US11367176B2 (en) Commodity management device and commodity management system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160517

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20160520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160905

R151 Written notification of patent or utility model registration

Ref document number: 6019414

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151