JP2017174343A - 入店者属性抽出装置及び入店者属性抽出プログラム - Google Patents

入店者属性抽出装置及び入店者属性抽出プログラム Download PDF

Info

Publication number
JP2017174343A
JP2017174343A JP2016062498A JP2016062498A JP2017174343A JP 2017174343 A JP2017174343 A JP 2017174343A JP 2016062498 A JP2016062498 A JP 2016062498A JP 2016062498 A JP2016062498 A JP 2016062498A JP 2017174343 A JP2017174343 A JP 2017174343A
Authority
JP
Japan
Prior art keywords
attribute
store
entrance
person
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016062498A
Other languages
English (en)
Inventor
昌嗣 外池
Masatsugu Sotoike
昌嗣 外池
大西　健司
Kenji Onishi
健司 大西
祐介 宇野
Yusuke Uno
祐介 宇野
大輔 池田
Daisuke Ikeda
大輔 池田
新宮　淳
Atsushi Shingu
淳 新宮
佑介 山浦
Yusuke Yamaura
佑介 山浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2016062498A priority Critical patent/JP2017174343A/ja
Priority to US15/214,031 priority patent/US10095931B2/en
Publication of JP2017174343A publication Critical patent/JP2017174343A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】入口付近を通過した人と、入店してきた人とを確実に区別して入店者の属性を検出することを目的とする。【解決手段】入口真上撮影装置の撮影画像から入店の境界線を通過するタイミングを検出する入口真上動線追跡記録部３４と、入店者を正面から撮影した入店者撮影画像から人物の予め定めた属性を抽出する属性抽出部３０と、入口真上動線追跡記録部３４によって検出された境界線を通過するタイミングと属性抽出部３０によって抽出された属性とを対応付ける入店−属性対応付け部３８と、を備える。【選択図】図３

Description

本発明は、入店者属性抽出装置及び入店者属性抽出プログラムに関する。
特許文献１には、時刻に関して連続する２つの画像データの所定領域部分について、対応する画素毎の比較結果に基づいて、該所定領域への入場者を検出し、入場者が検出された位置関係に基づいて、入場者をそれぞれ識別して入場者の数を計測する入場者管理システムが提案されている。
また、特許文献２には、基準物体画像中の基準物体の下端位置から消失点の位置までの基準消失点画素数を算出する基準消失点画素数算出手段と、基準消失点画素数と人物画像中の人物の下端位置から消失点の位置までの人物消失点画素数の比と、基準距離とに基づいて、カメラから人物までの実際の人物距離を算出する人物距離算出手段と、カメラと人物の間の距離と、カメラと基準物体の間の距離と、基準物体の実際の高さである基準長に相当する画素数である第１基準長画素数とに基づいて、人物距離に基準物体が配置された場合の基準長に相当する第２基準長画素数を算出する第２基準長画素数算出手段と、第２基準長画素数と人物長画素数との比と、基準長とに基づいて、人物の実際の身長を算出する身長算出手段と、を備えた身長推定装置が提案されている。
さらに、特許文献３には、顔画像を登録する登録者データベースと、複数の撮影エリアで撮影された画像から顔画像を検出する顔検出エンジンと、顔検出エンジンで検出された顔画像と、登録者データベースに登録された顔画像と照合する顔認証エンジンを備えた動線管理システムが提案されている。
特開２０１０−０１５４６５号公報 特開２００８−２８６６３８号公報 特開２０１０−０５５５９４号公報
本発明は、移動する物体の検出により入場を判定する場合と比較して、より正確に、店舗に入店した人物と入口付近を通過した人とを区別して、入店者の属性を抽出することを目的とする。
請求項１に記載の入店者属性抽出装置は、入店の境界線を通過するタイミングを検出するタイミング検出部と、入店者を撮影した入店者撮影画像から人物の予め定めた属性を抽出する抽出部と、前記タイミング検出部によって検出された前記タイミングと前記抽出部によって抽出された前記属性とを対応付ける対応付け部と、を備える。
請求項２に記載の発明は、請求項１に記載の発明において、前記タイミング検出部は、入口の真上から前記境界線を撮影した真上撮影画像を用いて前記タイミングを検出する。
請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、前記抽出部は、前記入店者撮影画像を用いて、人物の移動を追跡して前記属性を抽出する。
請求項４に記載の発明は、請求項１〜３の何れか１項に記載の発明において、前記対応付け部は、前記タイミング検出部によって前記境界線の通過が検出されたタイミングにおける前記入店者撮影画像から前記属性を抽出する。
請求項５に記載の発明は、請求項１〜４の何れか１項に記載の発明において、前記抽出部は、入口の真上から前記境界線を撮影した真上撮影画像から前記属性とは異なる他の属性を抽出する。
請求項６に記載の発明は、請求項５に記載の発明において、前記抽出部は、前記入店者撮影画像、及び前記真上撮影画像の各々を用いて前記他の属性を抽出する。
請求項７に記載の発明は、請求項１〜６の何れか１項に記載の発明において、前記対応付け部は、前記入店者撮影画像中の人物の顔位置から前記タイミングに対応しない前記抽出部によって抽出された前記属性を排除して前記タイミングと前記属性とを対応付ける。
請求項８に記載の発明は、請求項１〜７の何れか１項に記載の発明において、店内の人物を追跡して動線を検出する動線検出部を更に備え、前記対応付け部が、前記タイミングと前記属性に前記動線検出部の検出結果を更に対応付ける。
請求項９に記載の入店者属性抽出プログラムは、コンピュータを、請求項１〜８の何れか１項に記載の入店者属性抽出装置の各部として機能させる。
請求項１に記載の発明によれば、移動する物体の検出により入場を判定する場合と比較して、より正確に、店舗に入店した人物と入口付近を通過した人とを区別して、入店者の属性を抽出することが可能な入店者属性抽出装置を提供できる。
請求項２に記載の発明によれば、人物を検出して境界線の通過タイミングを検出できる。
請求項３に記載の発明によれば、複数のフレームを用いて人物の属性を抽出できる。
請求項４に記載の発明によれば、属性として入店者の身長を抽出することが可能となる。
請求項５に記載の発明によれば、他の属性として入店者の上から見た面積及び周長を抽出することが可能となる。
請求項６に記載の発明によれば、他の属性として入店者の体重を抽出することが可能となる。
請求項７に記載の発明によれば、入口付近に複数の人物が存在する場合に、入口の境界線を通過した人物のみを確実に検出できる。
請求項８に記載の発明によれば、属性別に動線を解析することが可能となる。
請求項９に記載の入店者属性抽出プログラムによれば、移動する物体の検出により入場を判定する場合と比較して、より正確に、店舗に入店した人物と入口付近を通過した人とを区別して、入店者の属性を抽出することが可能な入店者属性抽出プログラムを提供できる。
本実施形態に係る入店者属性抽出装置の概略構成を示す図である。 入店者属性抽出装置における正面入口撮影装置、入口真上撮影装置、及び店内中央撮影装置の店内配置例を示す図である。 本実施形態に係る入店者属性抽出装置で行われる機能を示す機能ブロック図である。 （Ａ）は入店データベースの一例を示す図であり、（Ｂ）は属性データベースの一例を示す図であり、（Ｃ）は動線データベースの一例を示す図である。 顔領域の座標の追跡を説明するための図である。 （Ａ）は正面入口撮影装置の撮影画像の境界線の通過座標Ｂを示す図であり、（Ｂ）は入口真上撮影装置の撮影画像の境界線の通過座標Ａを示す図である。 入口真上以外の人物をフィルタリングする方法を説明するための図である。 （Ａ）は入口の境界線上の人物の身長を属性として抽出する例を示す図であり、（Ｂ）は入口の境界線上の人物の面積、体重、及び周長を属性として抽出する例を説明するための図である。 本実施形態に係る入店者属性抽出装置で行われる処理の概要を示すフローチャートである。 入店−属性対応付け部により行われる入店−属性対応付け処理の流れの一例を示すフローチャートである。 本実施形態に係る入店者属性抽出装置に対して、店内の動線情報と属性情報をさらに対応付ける構成を追加した機能ブロック図である。 （Ａ）は既に入店していて入口付近を通過した人が重なっている様子を示す図であり、（Ｂ）は入店者が重なっている様子を示す図である。
以下、図面を参照して本実施形態の一例を詳細に説明する。図１は、本実施形態に係わる入店者属性抽出装置の概略構成を示す図である。
図１に示すように、本実施形態に係る入店者属性抽出装置１０は、ＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１６、Ｉ／Ｏ１８がバス２１に接続されたコンピュータを含んで構成されている。
さらに、バス２１には、ハードディスク（ＨＤＤ）２０等の記憶装置が接続されており、各種データベース等の各種データを記憶するようになっている。
ＲＯＭ１４には、入店者の属性を抽出するための入店者属性抽出プログラム（詳細は後述）や、入店者の動線を検出するためのプログラム等が記憶されており、ＣＰＵ１２がこれらのプログラムを動作させることによって各種処理が行われる。
また、Ｉ／Ｏ１８には、ネットワーク２２が接続されており、ネットワーク２２に接続された他のコンピュータやその他の情報処理装置との通信が可能とされている。
また、Ｉ／Ｏ１８には、正面入口撮影装置２４、入口真上撮影装置２６、及び店内中央撮影装置２８が接続されている。入店者属性抽出装置１０は、各撮影装置で撮影された撮影画像を取得して、入店者の属性の抽出や動線の検出等を行う。なお、正面入口撮影装置２４、入口真上撮影装置２６、及び店内中央撮影装置２８は、ネットワークを介して接続し、入店者属性抽出装置１０がネットワーク経由で撮影画像を取得可能としてもよい。
なお、入店者属性抽出装置１０に含まれるコンピュータには、この他にキーボード等の入力装置やその他の周辺装置も備える。
図２は、入店者属性抽出装置１０における正面入口撮影装置２４、入口真上撮影装置２６、及び店内中央撮影装置２８の店内配置例を示す図である。図２では、店内に複数の商品棚が設けられると共に、入口から入店して左側にレジスタ（レジ）が設けられた店のレイアウト例を示す。
正面入口撮影装置２４は、店内の入口正面を撮影可能な位置に設けられ、図２に示すように、店内入口を正面から撮影し、店内の入口付近の人物の顔を含めて撮影する。
入口真上撮影装置２６は、店内の入口の真上に設けられ、入口の境界線を通過する人物を撮影し、撮影画像から境界線の通過タイミングの検出が可能とされている。
店内中央撮影装置２８は、店内の中央等の天井部分に設けられ、例えば、全方位カメラ等によって正面入口撮影装置２４及び入口真上撮影装置２６を含む範囲を撮影する。
図３は、本実施形態に係る入店者属性抽出装置１０で行われる機能を示す機能ブロック図である。
入店者属性抽出装置１０は、抽出部としての属性抽出部３０、属性データベース３２、入口動線データベース３３、タイミング検出部としての入口真上動線追跡記録部３４、入店データベース３６、及び対応付け部としての入店−属性対応付け部３８を有する。
属性抽出部３０は、正面入口撮影装置２４で撮影された撮影画像を取得して、撮影画像から人物の顔画像等を抽出して人物の属性を抽出する。例えば、正面入口撮影装置２４で撮影した撮影画像から人物の顔を認識して顔画像を抽出する。そして、抽出した顔画像から年齢や、性別、顔向き、髪型などの種々の属性を抽出する。属性の抽出方法としては、予め収集したデータベース等を用いることにより、周知の技術を利用して抽出可能である。例えば、年代性別の判定方法としては、解説記事（勞世▲こう▼（LAO Shihong）,山口修.顔画像処理の応用事例(実利用が進む顔画像処理とその応用事例(前編)).情報処理50(4),319-326,2009.）で述べられているように、特徴量としてGaborを用いて、サインプルの顔画像からSVMで識別器を構築すればよい。
また、属性抽出部３０は、撮影画像から人物の顔画像を抽出して人物ＩＤを付与し、顔画像の移動を追跡して座標軌跡を検出する。例えば、顔画像の領域を矩形領域として抽出して、矩形領域の基準座標（予め定めた角の座標等）を検出する。また、属性抽出部３０は、顔画像の矩形の幅、や高さ等も検出する。
属性データベース３２は、属性抽出部３０で抽出した属性を人物ＩＤと共にＨＤＤ２０等の記憶媒体にデータベースとして記憶する。属性データベース３２の一例としては、図４（Ｂ）に示すように、人物ＩＤ毎に、抽出した年齢や性別等の属性を記憶する。
入口動線データベース３３は、属性抽出部３０で検出した顔画像の座標軌跡を人物ＩＤに対応して入口動線データベースとして記憶する。例えば、図５に示すように、顔領域を認識してからの顔領域の座標を時間と共に追跡する。追跡結果を動線データとし、動線データを時刻毎に記録して動線データベースとして記憶する。動線データは、例えば、図４（Ｃ）に示すように、顔領域の座標（ｘ、ｙ）や、顔領域の幅、高さ等を時刻及び人物ＩＤと共に記憶する。なお、顔を検出して追跡する具体的な方法としては、例えば、文献（塚本明利,李七雨,辻三郎.ビジュアル・エージェントのための顔領域追跡手法.第46回情報処理学会全国大会講演論文集.pp.181-182.1993.）で述べられている方法を用いればよい。
入口真上動線追跡記録部３４は、入口真上撮影装置２６で撮影された撮影画像を取得し、撮影画像から人物を検出して入店ＩＤを付与すると共に、店内と店外との境界線の通過タイミング（入店時刻）及び入口の通過位置（通過座標）を検出する。
入店データベース３６は、入口真上動線追跡記録部３４の検出結果を人物ＩＤ毎に入店データベースとしてＨＤＤ２０等の記憶媒体に記憶する。例えば、図４（Ａ）に示すように、入店時刻や、入店ＩＤ、通過座標を入店データベースとして記憶する。
入店−属性対応付け部３８は、入店データベースの入店ＩＤと、属性データベースの人物ＩＤとを対応付けて入店ＩＤ−人物ＩＤ対応データベースを作成して登録する。このとき、入口動線データベースから時刻の近い動線データを複数取り出して、動線データの座標に基づいて、入店データの通過座標とかけ離れている動線データを排除することでフィルタリングして入店ＩＤと人物ＩＤを対応付ける。フィルタリングする際には、正面入口撮影装置２４の撮影画像と入口真上撮影装置２６の撮影画像の２つの撮影画像間で座標の比較ができるようにするために、座標値は入口の幅に対する割合に変換する。そして、２つの画像間において境界線を通過する位置がかけ離れている動線データを排除することでフィルタリングする。例えば、正面入口撮影装置２４の撮影画像の境界線の通過座標Ｂ（図６（Ａ））、入口真上撮影装置２６の撮影画像の境界線の通過座標Ａ（図６（Ｂ））としたときに、（通過座標Ａ−通過座標Ｂ）２＞閾値ａの場合、対応付かないと判断して動線データを排除する。なお、閾値ａは予め定めた値である。
また、他のフィルタリングとして、撮影画像中の顔画像の位置から入店ＩＤに対応しない動線データを排除することでフィルタリングする。すなわち、入口の真上にいる場合、どんな人物でも予め定めた範囲に顔画像が検出されるはずであるので、例えば、図７のハッチングで示す領域外に顔画像の領域が存在する場合には、入口真上にいないと判断して動線データを排除する。
さらに、顔の幅と高さについても入口の真上にいる場合にはある程度の範囲内の長さとなるので、顔の幅及び高さの少なくとも一方が予め定めた閾値範囲外の場合も入口真上にいないと判断して動線データを排除する。
なお、入店−属性対応付け部３８による入店ＩＤ−人物ＩＤ対応データベースの作成後に、身長、体重、体の周長等の属性を更に抽出して記憶してもよい。例えば、属性抽出部３０が、正面入口撮影装置２４の撮影画像から、図８（Ａ）に示すように、境界線通過タイミングで入口の境界線上の人物の身長ｈを検出してもよい。入口の境界線上に人物が存在するのが分かるので、画素数から身長ｈが検出可能である。また、図８（Ｂ）に示すように、入口真上撮影装置２６の撮影画像から人物を楕円に近似して抽出し、人物部分の面積（ａｂπ）から、体重を計算する近似式を作成して体重を検出することが可能である。また、体の周長は、以下に示す楕円の円周の近似式より求めることが可能である。
続いて、上述のように構成された入店者属性抽出装置１０で行われる具体的な処理内容について説明する。図９は、本実施形態に係る入店者属性抽出装置１０で行われる処理の概要を示すフローチャートである。なお、図９の処理は、ＲＯＭ１４に記憶された入店者属性抽出プログラムをＣＰＵ１２がＲＡＭ１６に展開して実行することにより行われる。
ステップ１００では、属性抽出部３０が、属性抽出処理を行ってステップ１０２へ移行する。属性抽出処理は、上述したように、正面入口撮影装置２４で撮影された撮影画像を取得し、撮影画像から人物の顔画像を抽出して年齢や、性別、顔向き、髪型などの属性を抽出して人物毎にＩＤを付してＨＤＤ２０等に属性データベース３２として記憶する。また、属性抽出部３０で検出した顔画像の座標軌跡を入口動線データベース３３として人物ＩＤに対応して記憶する。
ステップ１０２では、入口真上動線追跡記録部３４が、入口真上動線追跡処理を行ってステップ１０４へ移行する。入口真上動線追跡処理は、上述したように、入口真上撮影装置２６で撮影された撮影画像を取得して、撮影画像から人物を検出して入店ＩＤを付与すると共に、店内と店外との境界線の通過タイミング（入店時刻）及び入口の通過位置（通過座標）を検出する。そして、入口真上動線追跡記録部の検出結果を入店データベース３６としてＨＤＤ２０等に記憶する。
ステップ１０４では、入店−属性対応付け部３８が、入店−属性対応付け処理を行って一連の処理を終了する。ここで、入店−属性対応付け処理の流れの具体例について説明する。図１０は、入店−属性対応付け部３８により行われる入店−属性対応付け処理の流れの一例を示すフローチャートである。
ステップ２００では、入店−属性対応付け部３８が、入店データベース３６（以下、入店ＤＢという。）に未処理データがあるか否かを判定する。該判定が肯定されるまで待機してステップ２０２へ移行する。
ステップ２０２では、入店−属性対応付け部３８が、入店ＤＢ３６から１つ入店データを取り出してステップ２０４へ移行する。
ステップ２０４では、入店−属性対応付け部３８が、入店ＤＢ３６から取り出した入店データの入店時刻を抽出してステップ２０６へ移行する。
ステップ２０６では、入店−属性対応付け部３８が、入口動線データベース３３（以下、動線ＤＢという。）から、ステップ２０４で抽出した入店時刻に近い時刻（例えば、±１秒）の動線データを複数取り出してステップ２０８へ移行する。
ステップ２０８では、入店−属性対応付け部３８が、複数の動線データのうち、入店データの通過座標とかけ離れている動線データをフィルタリングしてステップ２１０へ移行する。例えば、正面入口撮影装置２４の撮影画像の境界線の通過座標Ｂ（図６（Ａ））、入口真上撮影装置２６の撮影画像の境界線の通過座標Ａ（図６（Ｂ））としたときに、（通過座標Ａ−通過座標Ｂ）２＞閾値ａの場合、対応付かないと判断して動線データを排除する。また、例えば、図７のハッチングで示す領域外に顔画像の領域がある場合には、入口真上にいないと判断して入店データと対応しないものとして排除する。また、顔の幅と高さが、予め定めた閾値範囲外の場合も入口真上にいないと判断して入店データと対応しないものとして排除する。
ステップ２１０では、入店−属性対応付け部３８が、ステップ２０８でフィルタリングした動線データの中から、入店データに最も近い時刻の動線データを抽出してステップ２１２へ移行する。
ステップ２１２では、入店−属性対応付け部３８が、ステップ２１０で抽出した動線データから人物ＩＤを取り出してステップ２１４へ移行する。
ステップ２１４では、入店−属性対応付け部３８が、入店ＩＤと人物ＩＤのペアを入店ＩＤ−人物ＩＤ対応データベース（ＤＢ）として登録してステップ２００に戻って上述の処理を繰り返す。これにより、入店ＩＤと人物ＩＤが対応付けられるので、入店ＩＤに対応する入店のタイミングと人物ＩＤに対応する属性データが対応付けられる。これにより、撮影画像中で複数の人物が重なっていても、図１２（Ａ）の入口側の人物のように、既に入店していて入口付近を通過した人であるか、図１２（Ｂ）に示すように、入店者であるかを確実に区別して入店者が検出される。
なお、本実施形態に係る入店者属性抽出装置１０は、店内の人物の動線を更に検出して、店内の動線情報と属性情報を更に対応付ける形態としてもよい。図１１は、本実施形態に係る入店者属性抽出装置１０に対して、店内の動線情報と属性情報をさらに対応付ける構成を追加した機能ブロック図である。
すなわち、上記の実施形態に対して、動線検出部４０、及び店内動線データベース４２を更に備える。
動線検出部４０は、店内中央撮影装置２８で撮影した撮影画像を取得して、人物を抽出して人物ＩＤを付与して店内の動線を検出する。店内の動線の検出は、例えば、特開２００９−１５８４６号公報に記載の技術を適用して、魚眼レンズ等によって全方位を撮影する撮影装置の追跡結果を平面図に投影して店内の動線情報を生成する。なお、動線を検出する際に、撮影画像から属性も同時に検出してもよい。
店内動線データベース４２は、動線検出部４０で検出した店内の動線情報を人物ＩＤ毎にデータベースとして記憶する。
そして、入店−属性対応付け部３８が、入店ＩＤ−人物ＩＤ対応データベースに対して店内の動線情報を更に対応付ける機能を備えることで、店内の動線情報と属性情報とを対応付ける。店内中央撮影装置２８が、正面入口撮影装置２４及び入口真上撮影装置２６を含む範囲を撮影するので、上述の入店ＩＤと人物ＩＤの対応付けと同様に、入店ＩＤ−人物ＩＤ対応データベースに対して店内動線情報を容易に対応付け可能となる。例えば、店内の動線情報の入口付近における時刻（入店時刻）に着目して、店内の動線情報における入店時刻に近い入店ＤＢ３６の入店時刻の入店ＩＤを複数取り出し、入店時の境界線の通過座標が入店とかけ離れているものをフィルタリングする。そして、最も近い時刻の入店ＩＤを動線情報に対応付ける。
なお、上記の実施形態では、入口真上撮影装置２６の撮影結果から入口の境界線の通過を検出して入店ＤＢを作成するようにしたが、これに限るものではない。例えば、レーザ光を照射して遮光されることを検出することで境界線の通過タイミングを検出するようにしてもよい。この場合には複数のレーザ光を用いて通過位置を検出してもよいし、ドップラーレーザを用いて通過位置を検出してもよい。
また、上記の実施形態に係る入店者属性抽出装置１０で行われる処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。
また、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
１０ 入店者属性抽出装置
２４ 正面入口撮影装置
２６ 入口真上撮影装置
２８ 店内中央撮影装置
３０ 属性抽出部
３２ 属性データベース
３３ 入口動線データベース
３４ 入口真上動線追跡記録部
３６ 入店データベース
３８ 入店−属性対応付け部
４０ 動線検出部
４２ 店内動線データベース

Claims (9)

  1. 入店の境界線を通過するタイミングを検出するタイミング検出部と、
    入店者を撮影した入店者撮影画像から人物の予め定めた属性を抽出する抽出部と、
    前記タイミング検出部によって検出された前記タイミングと前記抽出部によって抽出された前記属性とを対応付ける対応付け部と、
    を備えた入店者属性抽出装置。
  2. 前記タイミング検出部は、入口の真上から前記境界線を撮影した真上撮影画像を用いて前記タイミングを検出する請求項１に記載の入店者属性抽出装置。
  3. 前記抽出部は、前記入店者撮影画像を用いて、人物の移動を追跡して前記属性を抽出する請求項１又は請求項２に記載の入店者属性抽出装置。
  4. 前記対応付け部は、前記タイミング検出部によって前記境界線の通過が検出されたタイミングにおける前記入店者撮影画像から前記属性を抽出する請求項１〜３の何れか１項に記載の入店者属性抽出装置。
  5. 前記抽出部は、入口の真上から前記境界線を撮影した真上撮影画像から前記属性とは異なる他の属性を抽出する請求項１〜４の何れか１項に記載の入店者属性抽出装置。
  6. 前記抽出部は、前記入店者撮影画像、及び前記真上撮影画像の各々を用いて前記他の属性を抽出する請求項５に記載の入店者属性抽出装置。
  7. 前記対応付け部は、前記入店者撮影画像中の人物の顔位置から前記タイミングに対応しない前記抽出部によって抽出された前記属性を排除して前記タイミングと前記属性とを対応付ける請求項１〜６の何れか１項に記載の入店者属性抽出装置。
  8. 店内の人物を追跡して動線を検出する動線検出部を更に備え、
    前記対応付け部が、前記タイミングと前記属性に前記動線検出部の検出結果を更に対応付ける請求項１〜７の何れか１項に記載の入店者属性抽出装置。
  9. コンピュータを、請求項１〜８の何れか１項に記載の入店者属性抽出装置の各部として機能させるための入店者属性抽出プログラム。
JP2016062498A 2016-03-25 2016-03-25 入店者属性抽出装置及び入店者属性抽出プログラム Pending JP2017174343A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016062498A JP2017174343A (ja) 2016-03-25 2016-03-25 入店者属性抽出装置及び入店者属性抽出プログラム
US15/214,031 US10095931B2 (en) 2016-03-25 2016-07-19 Store-entering person attribute extraction apparatus, store-entering person attribute extraction method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016062498A JP2017174343A (ja) 2016-03-25 2016-03-25 入店者属性抽出装置及び入店者属性抽出プログラム

Publications (1)

Publication Number Publication Date
JP2017174343A true JP2017174343A (ja) 2017-09-28

Family

ID=59898074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016062498A Pending JP2017174343A (ja) 2016-03-25 2016-03-25 入店者属性抽出装置及び入店者属性抽出プログラム

Country Status (2)

Country Link
US (1) US10095931B2 (ja)
JP (1) JP2017174343A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020013289A (ja) * 2018-07-17 2020-01-23 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2022121319A (ja) * 2021-02-08 2022-08-19 ソフトバンク株式会社 情報処理装置、プログラム、及び情報処理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10480157B2 (en) * 2016-09-07 2019-11-19 Caterpillar Inc. Control system for a machine
JP6409929B1 (ja) * 2017-09-19 2018-10-24 日本電気株式会社 照合システム
CN108492308B (zh) * 2018-04-18 2020-09-08 南昌航空大学 一种基于相互结构引导滤波的变分光流的确定方法及系统
CN110992397B (zh) * 2019-10-21 2023-07-21 浙江大华技术股份有限公司 人员出入轨迹追踪方法、系统、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200357A (ja) * 1998-10-27 2000-07-18 Toshiba Tec Corp 人物動線情報の収集方法及び収集装置
JP2005140754A (ja) * 2003-11-10 2005-06-02 Konica Minolta Holdings Inc 人物検知方法、監視システム、およびコンピュータプログラム
JP2011221834A (ja) * 2010-04-12 2011-11-04 Mitsubishi Electric Corp 来店者通知システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI282941B (en) * 2001-03-15 2007-06-21 Toshiba Corp Entrance management apparatus and entrance management method by using face features identification
JP4836633B2 (ja) * 2006-03-31 2011-12-14 株式会社東芝 顔認証装置、顔認証方法および入退場管理装置
JP4848312B2 (ja) 2007-05-17 2011-12-28 綜合警備保障株式会社 身長推定装置および身長推定方法
CN101335719B (zh) 2007-06-29 2011-05-25 联想(北京)有限公司 信息追加修改方法
JP4585580B2 (ja) * 2008-04-24 2010-11-24 東芝テック株式会社 人物動線追跡システム
JP2010015465A (ja) 2008-07-04 2010-01-21 Sekyurion Nijuyon Kk 入場者管理システム
JP4753193B2 (ja) 2008-07-31 2011-08-24 九州日本電気ソフトウェア株式会社 動線管理システムおよびプログラム
US9342594B2 (en) * 2008-10-29 2016-05-17 International Business Machines Corporation Indexing and searching according to attributes of a person
US9177195B2 (en) * 2011-09-23 2015-11-03 Shoppertrak Rct Corporation System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device
US9195883B2 (en) * 2012-04-09 2015-11-24 Avigilon Fortress Corporation Object tracking and best shot detection system
US9245276B2 (en) * 2012-12-12 2016-01-26 Verint Systems Ltd. Time-in-store estimation using facial recognition
BR112015026374B1 (pt) * 2013-04-19 2022-04-12 James Carey Sistema de reconhecimento analítico
JP5500303B1 (ja) * 2013-10-08 2014-05-21 オムロン株式会社 監視システム、監視方法、監視プログラム、ならびに該プログラムを記録した記録媒体
US9552522B2 (en) * 2014-01-11 2017-01-24 Verint Systems Ltd. Counting and monitoring method using face detection
US20160048721A1 (en) * 2014-08-12 2016-02-18 Joseph Cole Harper System and method for accurately analyzing sensed data
JP5907362B1 (ja) * 2014-10-08 2016-04-26 パナソニックＩｐマネジメント株式会社 活動状況分析装置、活動状況分析システムおよび活動状況分析方法
JP5906558B1 (ja) * 2015-04-17 2016-04-20 パナソニックＩｐマネジメント株式会社 顧客行動分析装置、顧客行動分析システム及び顧客行動分析方法
JP5915960B1 (ja) * 2015-04-17 2016-05-11 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200357A (ja) * 1998-10-27 2000-07-18 Toshiba Tec Corp 人物動線情報の収集方法及び収集装置
JP2005140754A (ja) * 2003-11-10 2005-06-02 Konica Minolta Holdings Inc 人物検知方法、監視システム、およびコンピュータプログラム
JP2011221834A (ja) * 2010-04-12 2011-11-04 Mitsubishi Electric Corp 来店者通知システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
中谷 良太，外３名: "頭上方向から撮影されたカメラ画像を利用した人物識別", 情報処理学会 シンポジウム 画像の認識・理解シンポジウム（ＭＩＲＵ） ２０１１, JPN6020008992, 2011, JP, pages 2 - 14, ISSN: 0004344863 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020013289A (ja) * 2018-07-17 2020-01-23 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7140583B2 (ja) 2018-07-17 2022-09-21 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2022121319A (ja) * 2021-02-08 2022-08-19 ソフトバンク株式会社 情報処理装置、プログラム、及び情報処理方法
JP7187593B2 (ja) 2021-02-08 2022-12-12 ソフトバンク株式会社 情報処理装置、プログラム、及び情報処理方法

Also Published As

Publication number Publication date
US10095931B2 (en) 2018-10-09
US20170277957A1 (en) 2017-09-28

Similar Documents

Publication Publication Date Title
JP2017174343A (ja) 入店者属性抽出装置及び入店者属性抽出プログラム
WO2015165365A1 (zh) 一种人脸识别方法及系统
US7693310B2 (en) Moving object recognition apparatus for tracking a moving object based on photographed image
Ma et al. A reliable people counting system via multiple cameras
US10795928B2 (en) Image search apparatus, system, and method
JP6961363B2 (ja) 情報処理システム、情報処理方法及びプログラム
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
JP2007317062A (ja) 人物認識装置及びその方法
JP5754990B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11048917B2 (en) Method, electronic device, and computer readable medium for image identification
CN111563480A (zh) 冲突行为检测方法、装置、计算机设备和存储介质
US20200258236A1 (en) Person segmentations for background replacements
KR20090132339A (ko) 감시 시스템 네트워크를 이용한 객체의 이동 경로 추적방법 및 시스템
RU2315352C2 (ru) Способ и система для автоматического обнаружения трехмерных образов
KR100885418B1 (ko) 오버헤드 카메라 영상에서 사람을 감지하고 추적하는시스템 및 그 방법
US10068335B2 (en) Moving-object counter apparatus, moving-object counting method, and non-transitory computer readable medium
CN109889773A (zh) 评标室人员的监控的方法、装置、设备和介质
Islam et al. Correlating belongings with passengers in a simulated airport security checkpoint
Baltanas et al. A face recognition system for assistive robots
Agarwal et al. Impact of super-resolution and human identification in drone surveillance
JP5702663B2 (ja) 顔画像認識装置及び顔画像認識プログラム
Loos et al. Detection and identification of chimpanzee faces in the wild
JP2005140754A (ja) 人物検知方法、監視システム、およびコンピュータプログラム
WO2017048148A1 (en) Monitoring a flow of objects by a sim card detector
JP2021106330A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200428

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200915