JP2009193424A - Traffic line capturing device and traffic line capturing method and program - Google Patents

Traffic line capturing device and traffic line capturing method and program Download PDF

Info

Publication number
JP2009193424A
JP2009193424A JP2008034356A JP2008034356A JP2009193424A JP 2009193424 A JP2009193424 A JP 2009193424A JP 2008034356 A JP2008034356 A JP 2008034356A JP 2008034356 A JP2008034356 A JP 2008034356A JP 2009193424 A JP2009193424 A JP 2009193424A
Authority
JP
Japan
Prior art keywords
route information
image
user
information
person image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008034356A
Other languages
Japanese (ja)
Inventor
Hidetoshi Tanaka
英俊 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008034356A priority Critical patent/JP2009193424A/en
Publication of JP2009193424A publication Critical patent/JP2009193424A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To precisely capture the traffic line of a user without making a user carry any special equipment such as an active RFID tag. <P>SOLUTION: A collation means 5 collates the image of a user photographed by card reader interlocking cameras LC1 to LC3 with images photographed by a plurality of cameras C11 to C34 whose photographic positions are different, and when determining that there exists an image in which the user is projected among images photographed by the plurality of cameras C11 to C34, stores records including the photographic time, photographic position and accuracy of the image in a path information table 4. A narrowing-down means 6 deletes the records in which the user is not able to move by the photographic time included in the records to the photographic position included in the records among the records stored in the path information table 4. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

ユーザの動線を捕捉する動線捕捉技術に関し、特に、ユーザに特別な機器を携帯させることなく、ユーザの動線を精度良く捕捉することができる動線捕捉技術に関する。   The present invention relates to a flow line capturing technique for capturing a user's flow line, and more particularly, to a flow line capturing technique that can accurately capture a user's flow line without having the user carry a special device.

店舗内における顧客の動線、空港内における旅客の動線など、ユーザの動線を捕捉する技術としては、種々の技術が知られており、例えば、アクティブRFIDタグなどのように非接触で認識可能な機器をユーザに携帯させると共に、店舗内などの各所にアクティブRFIDタグを読み取るリーダを設置し、リーダの読み取り結果に基づいてユーザの動線を捕捉する方法が知られている。しかし、この方法は、ユーザにアクティブRFIDタグ等の特別の機器を携帯させなければならないという問題がある。   Various techniques are known for capturing user traffic lines, such as customer traffic lines in stores and passenger traffic lines in airports. For example, non-contact recognition such as active RFID tags. There is known a method of allowing a user to carry a possible device and installing a reader for reading an active RFID tag in various places such as in a store and capturing a user's flow line based on the reading result of the reader. However, this method has a problem that a user must carry a special device such as an active RFID tag.

また、ユーザの顔画像に基づいて、ユーザの動線を捕捉するようにした技術も知られている(例えば、特許文献1参照)。特許文献1に記載されている技術は、空港内の各所にカメラを設置しておき、それらによって撮影された画像と、予め撮影しておいた旅客の顔画像とを照合することにより、旅客の動線を捕捉するようにしている。即ち、ユーザの顔画像と各カメラで撮影した各画像とを照合することにより、ユーザが写っている画像を検出し、当該検出した画像を撮影したカメラの設置位置をつなぎ合わせることにより、ユーザの動線を捕捉するようにしている。   A technique is also known in which a user's flow line is captured based on a user's face image (see, for example, Patent Document 1). The technique described in Patent Document 1 installs cameras at various locations in an airport, and collates images taken by them with passenger images taken in advance, thereby The flow line is captured. That is, the user's face image and each image captured by each camera are collated to detect an image of the user, and by connecting the installation position of the camera that captured the detected image, the user's The flow line is captured.

再特WO2005/055151号公報Re-specialized WO2005 / 055151

特許文献1に記載されている技術によれば、アクティブRFIDタグ等の特別な機器をユーザに携帯させなくとも、ユーザの動線を捕捉することができる。しかし、特許文献1に記載されている技術は、ユーザの顔画像と各カメラで撮影した各画像とを照合することにより、ユーザが写っている画像を検出するようにしているため、ユーザの動線を精度良く捕捉することができないという問題がある。即ち、ユーザの顔画像が写っている画像を精度良く検出することは難しく、ユーザ以外の顔画像が写っている画像を誤って検出してしまう場合があるため、精度良くユーザの動線を捕捉することは難しかった。   According to the technique described in Patent Document 1, it is possible to capture a user's flow line without having the user carry a special device such as an active RFID tag. However, since the technique described in Patent Document 1 detects a user's image by collating the user's face image with each image captured by each camera, There is a problem that the line cannot be captured with high accuracy. In other words, it is difficult to accurately detect an image in which a user's face image is captured, and an image in which a face image other than the user is captured may be erroneously detected. It was difficult to do.

〔発明の目的〕
そこで、本発明の目的は、ユーザに特別な機器を携帯させることなく、ユーザの動線を精度良く捕捉することができる動線捕捉装置を提供することにある。
(Object of invention)
Accordingly, an object of the present invention is to provide a flow line capturing device that can accurately capture a user's flow line without having the user carry a special device.

本発明にかかる第1の動線捕捉装置は、
撮影位置が異なる複数のカメラと、
経路情報記憶部と、
ユーザの基準人物画像と前記複数のカメラで撮影された画像とを照合し、前記複数のカメラで撮影された画像の中に前記ユーザが写されている画像が存在すると判定した場合、その画像の撮影時刻と撮影位置とを含む経路情報を前記経路情報記憶部に格納する照合手段と、
前記経路情報記憶部に格納されている経路情報の内、その経路情報に含まれている撮影位置へ、その経路情報に含まれている撮影時刻までに前記ユーザが移動不可能な経路情報を削除する絞り込み手段とを備えている。
The first flow line capturing device according to the present invention is:
Multiple cameras with different shooting positions,
A route information storage unit;
When the user's reference person image is collated with images taken by the plurality of cameras, and it is determined that there is an image of the user in the images taken by the plurality of cameras, Collating means for storing route information including a photographing time and a photographing position in the route information storage unit;
Of the route information stored in the route information storage unit, delete the route information that the user cannot move to the shooting position included in the route information by the shooting time included in the route information. And a narrowing-down means.

本発明にかかる第1の動線捕捉方法は、
コンピュータが、ユーザの基準人物画像と撮影位置が異なる複数のカメラで撮影された画像とを照合し、前記複数のカメラで撮影された画像の中に前記ユーザが写されている画像が存在すると判定した場合、その画像の撮影時刻と撮影位置とを含む経路情報を経路情報記憶部に格納する照合ステップと、
前記コンピュータが、前記経路情報記憶部に格納されている経路情報の内、その経路情報に含まれている撮影位置へ、その経路情報に含まれている撮影時刻までに前記ユーザが移動不可能な経路情報を削除する絞り込みステップとを含む。
A first flow line capturing method according to the present invention includes:
The computer collates the reference person image of the user with images taken by a plurality of cameras having different shooting positions, and determines that there is an image showing the user in the images taken by the plurality of cameras. A matching step for storing path information including the shooting time and shooting position of the image in the path information storage unit;
The computer cannot move to the shooting position included in the route information among the route information stored in the route information storage unit by the shooting time included in the route information. And a narrowing step for deleting route information.

本発明にかかる第1のプログラムは、
撮影位置が異なる複数のカメラと、経路情報記憶部とを備えたコンピュータを、動線捕捉装置として機能させるためのプログラムであって、
前記コンピュータを、
ユーザの基準人物画像と前記複数のカメラで撮影された画像とを照合し、前記複数のカメラで撮影された画像の中に前記ユーザが写されている画像が存在すると判定した場合、その画像の撮影時刻と撮影位置とを含む経路情報を前記経路情報記憶部に格納する照合手段、
前記経路情報記憶部に格納されている経路情報の内、その経路情報に含まれている撮影位置へ、その経路情報に含まれている撮影時刻までに前記ユーザが移動不可能な経路情報を削除する絞り込み手段として機能させる。
The first program according to the present invention is:
A program for causing a computer including a plurality of cameras having different shooting positions and a path information storage unit to function as a flow line capturing device,
The computer,
When the user's reference person image is collated with images taken by the plurality of cameras, and it is determined that there is an image of the user in the images taken by the plurality of cameras, Collating means for storing route information including a photographing time and a photographing position in the route information storage unit;
Of the route information stored in the route information storage unit, delete the route information that the user cannot move to the shooting position included in the route information by the shooting time included in the route information. Function as a narrowing-down means.

本発明によれば、ユーザに特別な機器を携帯させることなく、ユーザの動線を精度良く捕捉することが可能になる。   According to the present invention, it is possible to accurately capture a user's flow line without having the user carry a special device.

次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。   Next, the best mode for carrying out the present invention will be described in detail with reference to the drawings.

〔本発明の実施の形態〕
図1を参照すると、本発明の実施の形態にかかる動線捕捉装置は、顧客情報入力手段1と、顧客情報データベース(DB)2と、顧客特定手段3と、経路情報テーブル4と、照合手段5と、絞り込み手段6と、フロアマップDB7と、経路確定手段8と、複数台のカードリーダーR1〜R3と、複数台のカードリーダー連動カメラLC1〜LC3と、複数台のカメラC11〜C34とを備えている。
Embodiment of the present invention
Referring to FIG. 1, a flow line capturing device according to an embodiment of the present invention includes a customer information input means 1, a customer information database (DB) 2, a customer specifying means 3, a route information table 4, and a matching means. 5, narrowing means 6, floor map DB 7, route determination means 8, multiple card readers R 1 to R 3, multiple card reader linked cameras LC 1 to LC 3, and multiple cameras C 11 to C 34. I have.

顧客情報入力手段1は、顧客の氏名や年齢などの個人情報と顧客IDとをひも付けて顧客情報DB2に登録する手段であり、通常、データを手入力するためのキーボードや、手書きされた情報を入力するためのOCRなどにより実現される。   The customer information input means 1 is a means for registering personal information such as the customer's name and age and the customer ID in the customer information DB 2, and usually a keyboard for manually inputting data, handwritten information This is realized by OCR or the like for inputting.

カードリーダーR1〜R3は、顧客が携帯しているカードに記録されている会員番号などの顧客IDを読み取る機能、読み取った顧客IDと自リーダーの装置番号とを顧客特定手段3へ送出する機能、読み取った顧客IDをカードリーダー連動カメラLC1〜LC3へ送出する機能を有する。   The card readers R1 to R3 have a function of reading a customer ID such as a membership number recorded on a card carried by the customer, a function of sending the read customer ID and the device number of the reader to the customer specifying means 3, It has a function of sending the read customer ID to the card reader linked cameras LC1 to LC3.

図2、図4、図5は、それぞれ店舗の1階、2階、3階のフロア図である。カードリーダーR1は、1階フロアの出入口近辺に、カードリーダーR2、R3はそれぞれ2階、3階フロアに設置されている。顧客が携帯するカードとしては、顧客IDを文字で印字したもの、コード化して印字したもの、磁気データとして記録したもの、RFIDタグやFeliCaなどの非接触ICに記録したものなどを使用することができる。カードリーダーR1〜R3は、顧客IDの記録形態に対応して、文字で印字されたものは、光学式リーダーで読み取り、その後、文字認識を行って顧客IDを認識する。バーコードやQRコードなどにコード化されたものは、コードを光学式のリーダーで読み取る。磁気カードの場合は磁気カードリーダーで読み取る。非接触ICの場合はRFIDリーダーや非接触ICカードリーダーで読み取る。   2, 4, and 5 are floor views of the first floor, the second floor, and the third floor of the store, respectively. The card reader R1 is installed near the entrance of the first floor, and the card readers R2 and R3 are installed on the second and third floors, respectively. The card carried by the customer may be a card printed with a customer ID, coded and printed, recorded as magnetic data, or recorded on a non-contact IC such as an RFID tag or FeliCa. it can. The card readers R1 to R3 correspond to the recording form of the customer ID, and those printed with characters are read by the optical reader, and then the character ID is recognized to recognize the customer ID. For barcodes, QR codes, etc., the code is read by an optical reader. In the case of a magnetic card, read with a magnetic card reader. In the case of a non-contact IC, it is read by an RFID reader or a non-contact IC card reader.

来店した顧客は、カードリーダーR1〜R3に自身が携帯するカードを読み取らせることにより、店舗が提供する様々なサービスを享受できる。例えば、カードリーダーR1にカード読み取らせることにより、来店ポイントを獲得したり、店内の情報を取得することができる(カードを読み取らせることにより自分の携帯電話に店舗から情報メールが届くなど)。また、カードリーダーR2、R3にカードを読み取らせることにより、売り場毎の商品情報を取得したり、チケットやレストランの予約を行うことができる。店舗側がどのようなサービスを実施するかは、カードリーダー毎に設定することができる。   Customers who come to the store can enjoy various services provided by the store by having the card readers R1 to R3 read the card carried by the card reader. For example, by making the card reader R1 read the card, it is possible to acquire store visit points or to acquire information in the store (for example, by reading the card, an information mail is delivered to the mobile phone from the store). Further, by causing the card readers R2 and R3 to read the card, it is possible to acquire product information for each sales floor and to make reservations for tickets and restaurants. What kind of service the store side performs can be set for each card reader.

顧客特定手段3は、カードリーダーR1〜R3から顧客IDおよび装置番号が送られてくると、ディスク装置などの記憶装置上に、上記顧客IDに対応した経路情報テーブル4を生成し、その先頭に、撮影位置として送信元のカードリーダー(装置番号から認識できる)と対応するカードリーダー連動カメラの撮影位置、その撮影時刻として現在時刻、本人である確率の度合である確度として100%を含むレコードを記録する。例えば、時刻T1において、カードリーダーR1から顧客IDが送られてきたとすると、図2に示す撮影位置「P1」、撮影時刻「T1」、確度「100%」を含むレコードを記録する。なお、カードリーダーから送られてきた顧客IDに対応する経路情報テーブル4を既に生成済みの場合は、既に生成されている経路情報テーブル4に、撮影位置、撮影時刻および確度から構成されるレコードを追加登録する。また、各カードリーダー連動カメラLC1〜LC3の撮影位置は、例えば、各カードリーダー連動カメラLC1〜LC3において撮影可能な床部の中心位置とすることができる。   When the customer ID and the device number are sent from the card readers R1 to R3, the customer specifying means 3 generates a route information table 4 corresponding to the customer ID on a storage device such as a disk device, and at the head thereof , The shooting position of the card reader-linked camera corresponding to the sender card reader (which can be recognized from the device number) as the shooting position, the current time as the shooting time, and a record containing 100% as the degree of probability of being the person Record. For example, if a customer ID is sent from the card reader R1 at time T1, a record including the shooting position “P1”, the shooting time “T1”, and the accuracy “100%” shown in FIG. 2 is recorded. If the route information table 4 corresponding to the customer ID sent from the card reader has already been generated, a record composed of the shooting position, shooting time, and accuracy is added to the already generated route information table 4. Register additional. In addition, the shooting position of each card reader-linked camera LC1 to LC3 can be set to the center position of the floor that can be shot by each of the card reader-linked cameras LC1 to LC3, for example.

カードリーダー連動カメラLC1〜LC3は、それぞれ図3に示すように、カードリーダーR1〜R3にカードを読み取らせている顧客を撮影可能に設置されており、カードリーダーR1〜R3から送られてくる顧客IDをトリガとして、顧客がカードをカードリーダーR1〜R3に読み取らせた瞬間の画像を撮影し、撮影した画像と顧客IDとを対にして照合手段5に送信する機能を有する。   As shown in FIG. 3, each of the card reader-linked cameras LC1 to LC3 is installed so that the card reader R1 to R3 can take a picture of the customer, and the customer is sent from the card reader R1 to R3. Using the ID as a trigger, it has a function of taking an image of the moment when the customer reads the card with the card readers R1 to R3, and sending the taken image and the customer ID as a pair to the collating means 5.

カメラC11〜C34は、単位時間当たり所定フレーム数の画像を撮影し、撮影した画像と、撮影時刻と、自身の装置番号とを照合手段5へ送信する機能を有する。   The cameras C <b> 11 to C <b> 34 have a function of capturing a predetermined number of frames per unit time and transmitting the captured image, the capturing time, and its own device number to the verification unit 5.

照合手段5は、カードリーダー連動カメラLC1〜LC3で撮像された画像とカメラC11〜C34で撮影された画像とを照合し、カメラC11〜C34で撮影された画像中に顧客が写されている画像が存在する場合、その画像の撮影時刻と撮影位置と確度とを含む経路情報(レコード)を経路情報テーブル4に格納する機能を有する。このような機能を有する照合手段5は、基準特徴抽出手段51と、基準特徴DB52と、人物特徴抽出手段53と、人物特徴DB54と、確度検出手段55とから構成されている。   The collation means 5 collates the images captured by the card reader-linked cameras LC1 to LC3 with the images captured by the cameras C11 to C34, and an image in which the customer is copied in the images captured by the cameras C11 to C34. Is present, the path information (record) including the shooting time, shooting position, and accuracy of the image is stored in the path information table 4. The collation means 5 having such a function includes a reference feature extraction means 51, a reference feature DB 52, a person feature extraction means 53, a person feature DB 54, and an accuracy detection means 55.

基準特徴抽出手段51は、カードリーダー連動カメラLC1〜LC3から画像と顧客IDの対が送られてくると、画像から人物画像を抽出し、更に、抽出した人物画像から特徴情報を抽出し、その特徴情報を上記顧客IDと関連付けて基準特徴DB52に格納する機能を有する。なお、特徴情報としては、例えば、顔の特徴点や、服装の色彩パターンなどを利用することができる。   When a pair of image and customer ID is sent from the card reader interlocking cameras LC1 to LC3, the reference feature extraction means 51 extracts a person image from the image, and further extracts feature information from the extracted person image. The feature information is stored in the reference feature DB 52 in association with the customer ID. As the feature information, for example, facial feature points, clothing color patterns, and the like can be used.

人物特徴抽出手段53は、カメラC11〜C34から画像、装置番号、撮影時刻が送られてくると、画像から人物画像を抽出し、更に、抽出した人物画像から特徴情報を抽出し、その特徴情報を上記装置番号と上記撮影時刻とに関連付けて人物特徴DB54に格納する機能を有する。   When the images, device numbers, and shooting times are sent from the cameras C11 to C34, the person feature extraction means 53 extracts a person image from the image, further extracts feature information from the extracted person image, and the feature information. Is stored in the person feature DB 54 in association with the device number and the photographing time.

確度検出手段55は、基準特徴DB52に格納されている各顧客の特徴情報と、人物特徴DB54に格納されている各人物画像の特徴情報とを比較することにより、各顧客毎に、上記各人物画像がその顧客の人物画像である確度を算出し、確度が閾値(例えば、20%)以上の人物画像をその顧客の人物画像であると判定する機能を有する。確度の算出方法としては種々の方法を採用することができ、例えば、特徴情報の各項目(例えば、特徴情報として顔の特徴点を用いた場合は、顔面中の目の位置、左右の目の間の距離など)の一致度を算出し、算出した各項目の一致度の積算平均を確度とする方法や、算出した各項目の一致度を掛け合わせた値を確度とする方法などを採用することができる。また、特徴情報として服装の色彩パターンを用いた場合も、同様の方法で確度を求めることができる。   The accuracy detection unit 55 compares the feature information of each customer stored in the reference feature DB 52 with the feature information of each person image stored in the person feature DB 54, so that each person is It has a function of calculating the probability that the image is a person image of the customer, and determining that a person image having an accuracy equal to or higher than a threshold (for example, 20%) is the person image of the customer. Various methods can be used as the accuracy calculation method. For example, each item of feature information (for example, when a feature point of a face is used as feature information, the position of eyes in the face, the left and right eyes) A method of calculating the degree of coincidence of each item) and using the integrated average of the calculated degrees of coincidence of each item, or a method of obtaining the accuracy by multiplying the calculated degree of coincidence of each item be able to. Also, when a clothing color pattern is used as the feature information, the accuracy can be obtained by the same method.

更に、確度検出手段55は、各顧客毎に、確度が閾値以上である人物画像を含んだ画像の撮影位置、撮影時刻および確度からなるレコードを生成し、生成したレコードを、その顧客の経路情報テーブル4に格納する。なお、本実施の形態では、経路情報テーブル4に格納するレコード数を削減し、記憶資源の有効利用を図るため、生成したレコードを顧客の滞在位置に応じたグループにグループ分けし、各グループにおいて最も確度の高いレコードのみを経路情報テーブル4に格納する。例えば、顧客が時刻T1においてカメラC12の撮影範囲に入り、時刻T2においてカメラC12の撮影範囲からカメラC13の撮影範囲に移動した場合、時刻T1〜T2に関しては、カメラC12において撮影された画像に関するレコードの内、最も確度の高いレコードを経路情報テーブル4に格納する。   Further, the accuracy detection means 55 generates a record including the shooting position, shooting time, and accuracy of an image including a person image with accuracy equal to or greater than a threshold for each customer, and the generated record is used as the route information of the customer. Store in table 4. In the present embodiment, in order to reduce the number of records stored in the route information table 4 and to effectively use storage resources, the generated records are grouped into groups according to the customer's stay location. Only the record with the highest accuracy is stored in the route information table 4. For example, when the customer enters the shooting range of the camera C12 at the time T1 and moves from the shooting range of the camera C12 to the shooting range of the camera C13 at the time T2, with respect to the times T1 to T2, a record related to the image shot by the camera C12. Among them, the record with the highest accuracy is stored in the route information table 4.

フロアマップDB7には、フロアレイアウト図が登録されている。   A floor layout diagram is registered in the floor map DB7.

絞り込み手段6は、フロアマップDB7に格納されているフロアレイアウト図を利用して、経路情報テーブル4に格納されているレコードの内、そのレコードに含まれている撮影位置へ、そのレコードに含まれている撮影時刻までに顧客が移動不可能なレコードを削除する機能を有する。   The narrowing-down means 6 uses the floor layout diagram stored in the floor map DB 7 and is included in the record to the shooting position included in the record among the records stored in the route information table 4. It has a function of deleting a record that the customer cannot move by the shooting time.

経路確定手段8は、絞り込み手段6による絞り込みが済んだ経路情報テーブル4に格納されている撮影位置を時系列に並べた顧客移動動線情報9を出力する機能を有する。   The route determination unit 8 has a function of outputting customer movement flow line information 9 in which shooting positions stored in the route information table 4 that has been narrowed down by the narrowing-down unit 6 are arranged in time series.

なお、顧客特定手段3、照合手段5、絞り込み手段6および経路確定手段8は、コンピュータにより実現可能であり、コンピュータにより実現する場合は、例えば、次のようにする。コンピュータを顧客特定手段3、照合手段5、絞り込み手段6および経路確定手段8として機能させるためのプログラムを記録したディスク、半導体メモリ、その他の記録媒体を用意し、コンピュータに上記プログラムを読み取らせる。コンピュータは、読み取ったプログラムに従って自身の動作を制御することにより、自コンピュータ上に、顧客特定手段3、照合手段5、絞り込み手段6および経路確定手段8を実現する。   The customer specifying means 3, the collating means 5, the narrowing means 6 and the route determining means 8 can be realized by a computer, and when realized by a computer, for example, as follows. A disk, a semiconductor memory, and other recording media on which a program for causing the computer to function as the customer specifying means 3, the collating means 5, the narrowing means 6, and the route determining means 8 are prepared, and the computer reads the above programs. The computer controls its own operation according to the read program, thereby realizing the customer specifying means 3, the collating means 5, the narrowing means 6 and the route determining means 8 on the computer.

〔実施の形態の動作の説明〕
次に、本実施の形態の動作について詳細に説明する。
[Description of Operation of Embodiment]
Next, the operation of the present embodiment will be described in detail.

今、例えば、顧客Aが来店し、1階フロアのカードリーダーR1に自身のカードを読み込ませたとする。カードリーダーR1は、顧客Aのカードから顧客ID「#A」を読み取ると、読み取った顧客ID「#A」と自リーダーR1の装置番号「No.A」とを顧客特定手段3に送信する。   Now, for example, it is assumed that a customer A visits a store and has his / her card read by the card reader R1 on the first floor. When the card reader R1 reads the customer ID “#A” from the card of the customer A, the card reader R1 transmits the read customer ID “#A” and the device number “No. A” of the own reader R1 to the customer identification unit 3.

これにより、顧客特定手段3は、図示を省略した記憶装置を検索し、顧客A用の経路情報テーブル4が存在するか否かを調べる。そして、存在しない場合は、顧客A用の経路情報テーブル4を記憶装置上に生成し、その先頭に、撮影位置としてカードリーダーR1と連動しているカードリーダー連動カメラLC1の撮影位置P1、撮影時刻として現在時刻、確度として「100%」を含んだレコードを記録する。これに対して、存在する場合は、既に生成されている顧客A用の経路情報テーブル4に、上記内容のレコードを記録する。この例の場合は、顧客A用の経路情報テーブル4が存在しないので、顧客特定手段3は、顧客A用の経路情報テーブル4を生成した後、図6のレコード番号「1」のレコードを格納することになる。   Thereby, the customer specifying means 3 searches a storage device (not shown) and checks whether or not the route information table 4 for the customer A exists. If not, the route information table 4 for the customer A is generated on the storage device, and at the beginning, the shooting position P1 of the card reader linked camera LC1 linked to the card reader R1 as the shooting position, the shooting time Record including the current time and “100%” as accuracy. On the other hand, when it exists, the record of the said content is recorded on the route information table 4 for the customer A already produced | generated. In this example, since the route information table 4 for the customer A does not exist, the customer specifying means 3 generates the route information table 4 for the customer A and then stores the record with the record number “1” in FIG. Will do.

一方、カードリーダー連動カメラLC1は、カードリーダーR1が顧客Aのカードを読み取ると、図3に示すように顧客Aを撮影し、その画像を照合手段5に送る。これにより、基準特徴抽出手段51は、上記画像から人物画像を抽出し、更に、抽出した人物画像の特徴情報を求め、その特徴情報を顧客Aの顧客ID「#A」と関連付けて基準特徴DB52に登録する。   On the other hand, when the card reader R1 reads the card of the customer A, the card reader interlocking camera LC1 takes an image of the customer A as shown in FIG. Accordingly, the reference feature extraction unit 51 extracts a person image from the image, further obtains feature information of the extracted person image, associates the feature information with the customer ID “#A” of the customer A, and the reference feature DB 52. Register with.

その後、顧客Aが店舗内を移動すると、顧客Aは、店舗内の各所に設置されているカメラC11〜C34の何れかによって撮影される。人物特徴抽出手段53は、カメラC11〜C34から画像、装置番号および撮影時刻が送られてくると、画像から人物画像を抽出し、更に、抽出した人物画像から特徴情報を抽出し、その特徴情報を上記装置番号と上記撮影時刻に関連付けて人物特徴DB54に格納する。また、確度検知手段55は、必要に応じて、基準特徴DB52に格納されている顧客Aの特徴情報と、人物特徴DB54に格納されている各人物画像の特徴情報とを比較することにより、上記各人物画像が顧客Aである確度を算出し、確度が閾値以上の人物画像を顧客Aの人物画像であると判定する。その後、確度検出手段55は、顧客Aについて、確度が閾値以上である人物画像を含んだ画像の撮影位置、撮影時刻および確度を含んだレコードを生成し、更に、上記生成したレコードを、顧客の滞在位置に応じたグループにグループ分けし、各グループにおいて最も確度が高いレコードのみを、顧客A用の経路情報テーブル4に格納する。これにより、顧客A用の経路情報テーブル4には、図6に示すレコード番号2〜6のレコードが格納される。   Thereafter, when the customer A moves in the store, the customer A is photographed by any of the cameras C11 to C34 installed in various places in the store. When the images, device numbers, and shooting times are sent from the cameras C11 to C34, the person feature extraction unit 53 extracts a person image from the image, further extracts feature information from the extracted person image, and the feature information. Are stored in the person feature DB 54 in association with the device number and the photographing time. In addition, the accuracy detection unit 55 compares the feature information of the customer A stored in the reference feature DB 52 with the feature information of each person image stored in the person feature DB 54 as necessary. The probability that each person image is the customer A is calculated, and the person image having the accuracy equal to or higher than the threshold is determined to be the customer A person image. Thereafter, the accuracy detection means 55 generates a record including the shooting position, shooting time, and accuracy of the image including the person image with the accuracy equal to or greater than the threshold value for the customer A, and further, the generated record The group is divided into groups according to the stay position, and only the record having the highest accuracy in each group is stored in the route information table 4 for the customer A. Thereby, the records of the record numbers 2 to 6 shown in FIG. 6 are stored in the route information table 4 for the customer A.

その後、顧客Aが図4に示す2階フロアに設置されているカードリーダーR2に自身のカードを読み取らせたとする。   Thereafter, it is assumed that the customer A causes the card reader R2 installed on the second floor shown in FIG. 4 to read his / her card.

カードリーダーR2は、顧客Aのカードから読み取った顧客ID「#A」と、自身の装置番号を顧客特定手段3へ送信する。顧客特定手段3は、顧客Aの顧客ID「#A」が送られてくると、記憶装置(図示せず)を検索し、顧客A用の経路情報テーブル4が存在するか否かを調べる。この例の場合、既に、顧客A用の経路情報テーブル4が存在するので、顧客特定手段3は、既に生成されている顧客A用の経路情報テーブル4に、撮影位置としてカードリーダーR2と連動するカードリーダー連動カメラLC2の撮影位置P7、撮影時刻として現在時刻「13:25」、確度として「100%」を含むレコードを格納する(図6のレコード番号7のレコード)。   The card reader R2 transmits the customer ID “#A” read from the customer A card and the device number of the card reader R2 to the customer specifying means 3. When the customer ID “#A” of the customer A is sent, the customer specifying means 3 searches a storage device (not shown) and checks whether the route information table 4 for the customer A exists. In the case of this example, since the route information table 4 for the customer A already exists, the customer specifying means 3 is linked with the card reader R2 as the photographing position in the already generated route information table 4 for the customer A. A record including the shooting position P7 of the card reader-linked camera LC2, the current time “13:25” as the shooting time, and “100%” as the accuracy is stored (record number 7 in FIG. 6).

その後、顧客Aが店舗内を移動すると、人物特徴抽出手段53、確度検出手段55において、前述した処理と同様の処理が行われ、顧客A用の経路情報テーブル4に図6に示したレコード番号8〜10のレコードが格納される。   Thereafter, when the customer A moves in the store, the person feature extraction means 53 and the accuracy detection means 55 perform the same processing as described above, and the record number shown in FIG. 8-10 records are stored.

次に、絞り込み手段6の動作について説明する。絞り込み手段6は、例えば管理者などによって、図示を省略したキーボード等の入力装置から顧客Aの顧客ID「#A」が入力されると、顧客A用の経路情報テーブル4(顧客ID「#A」と関連付けて記憶装置に登録されている経路情報テーブル)に格納されているレコードの内、そのレコードに含まれている撮影位置へ、そのレコードに含まれている撮影時刻までに顧客が移動不可能なレコードを削除する。この絞り込み手段6の動作について、図7のフローチャートを参照して詳細に説明する。   Next, the operation of the narrowing means 6 will be described. When the customer ID “#A” of the customer A is input from the input device such as a keyboard (not shown), for example, by an administrator or the like, the narrowing-down means 6 selects the route information table 4 for the customer A (customer ID “#A” Among the records stored in the path information table (registered in the storage device in association with ”), the customer cannot move to the shooting position included in the record by the shooting time included in the record. Delete possible records. The operation of the narrowing means 6 will be described in detail with reference to the flowchart of FIG.

絞り込み手段6は、顧客A用の経路情報テーブル4に格納されているレコードを、先頭レコードから順番に読み込み(ステップS71)、確度が「100%」でないレコードを読み込むと(ステップS73がN)、今回読み込んだレコードに設定されている撮影時刻t2と前回読み込んだレコードに設定されている撮影時刻t1との差分Δt=t2−t1を求めると共に(ステップS74)、今回読み込んだレコードに設定されている撮影位置と前回読み込んだレコードに設定されている撮影位置との間の距離を、フロアマップDB7に登録されているフロアレイアウトに基づいて求める(ステップS75)。   The narrowing-down means 6 reads records stored in the route information table 4 for customer A in order from the first record (step S71), and reads a record whose accuracy is not “100%” (step S73 is N). A difference Δt = t2−t1 between the photographing time t2 set in the record read this time and the photographing time t1 set in the record read last time is obtained (step S74), and is set in the record read this time. The distance between the shooting position and the shooting position set in the previously read record is obtained based on the floor layout registered in the floor map DB 7 (step S75).

その後、絞り込み手段6は、ステップS75で求めた距離を、ステップS74で求めた時間(差分Δt)で歩行移動可能か否かを判定する(ステップS76)。この判定は、例えば、ステップS75で求めた距離を予め定められている一般的な歩行速度で除算することにより求めた時間taと、ステップS74で求めた時間Δtとを比較することにより行う。即ち、Δt≧taであれば、歩行により移動可能と判定し、Δt<taであれば、移動不可能と判定する。   After that, the narrowing-down means 6 determines whether or not the distance obtained in step S75 can be walked and moved in the time (difference Δt) obtained in step S74 (step S76). This determination is performed, for example, by comparing the time ta obtained by dividing the distance obtained in step S75 by a predetermined general walking speed with the time Δt obtained in step S74. That is, if Δt ≧ ta, it is determined that it can move by walking, and if Δt <ta, it is determined that it cannot move.

そして、移動可能と判定した場合(ステップS76がY)は、次のレコードを読み込む。これに対して、移動不可能と判定した場合(ステップS76がN)は、今回読み込んだレコードと前回読み込んだレコードとの内、設定されている確度が低い方のレコードを削除し(ステップS77)、その後、次のレコードを読み込む(ステップS71)。絞り込み手段6は、以上の処理を未処理のレコードがなくなるまで(ステップS72がYとなるまで)、繰り返し行う。なお、本実施の形態では、前回読み込んだレコードと今回読み込んだレコードとの内、確度が低い方のレコードを削除するようにしたが、今回読み込んだレコードを削除するようにしても良い。   If it is determined that movement is possible (Y in step S76), the next record is read. On the other hand, if it is determined that the movement is impossible (N in step S76), the record with the lower set accuracy is deleted from the record read this time and the record read last time (step S77). Thereafter, the next record is read (step S71). The narrowing-down means 6 repeats the above processing until there are no unprocessed records (until step S72 becomes Y). In the present embodiment, the record having the lower accuracy of the record read last time and the record read this time is deleted, but the record read this time may be deleted.

上記した処理を図6に示した顧客A用の経路情報テーブル4に対して実施することにより、経路情報テーブル4の内容は、例えば図8に示すものに変更される。図8に示した経路情報テーブル4においては、レコード番号2、5、9のレコードが削除されている。   By performing the above-described processing on the route information table 4 for the customer A shown in FIG. 6, the contents of the route information table 4 are changed to, for example, those shown in FIG. In the path information table 4 shown in FIG. 8, records with record numbers 2, 5, and 9 are deleted.

経路確定手段8は、絞り込み手段6の処理が完了すると、顧客A用の経路情報テーブル4に設定されている撮影位置を時系列に並べた顧客移動動線情報9(P1→P2→P4→P5→P7→P8→P10)を生成し、出力する。なお、経路確定手段8は、顧客移動動線情報9に基づいて、図9〜図11に示すように、各階のフロア図に顧客Aの動線を表示する処理も行う。なお、図9〜図11は、1階〜3階のフロア図を示している。この表示を見ることにより、顧客Aは、カードリーダーR1でカードを利用したサービスを受けた後、エスカレータを利用して2階フロアへ移動し、更に、2階フロアにおいてカードリーダーR2でカードを利用したサービスを受け、その後、階段を利用して1階フロアに移動し、店舗から出たことが分かる。また、顧客は、3階フロアに立ち寄らなかったことも分かる。   When the processing of the narrowing-down means 6 is completed, the route determination means 8 has customer movement flow line information 9 (P1 → P2 → P4 → P5) in which the shooting positions set in the route information table 4 for the customer A are arranged in time series. → P7 → P8 → P10) is generated and output. The route determination means 8 also performs processing for displaying the flow line of the customer A on the floor diagrams of each floor, as shown in FIGS. 9 to 11, based on the customer movement flow line information 9. 9 to 11 show floor diagrams from the first floor to the third floor. By viewing this display, customer A receives the service using the card with the card reader R1, moves to the second floor using the escalator, and further uses the card with the card reader R2 on the second floor. After that, you can see that you got out of the store by moving to the first floor using the stairs. In addition, it can be seen that the customer did not stop on the third floor.

〔実施の形態の効果〕
本実施の形態によれば、ユーザに特別な機器を携帯させることなく、ユーザの動線を精度良く捕捉することが可能になる。その理由は、カードリーダー連動カメラLC1〜LC3で撮影されたユーザの画像と、撮影位置が異なる複数のカメラC11〜C34で撮影された画像とを照合し、上記複数のカメラC11〜C34で撮影された画像の中にユーザが写されている画像が存在すると判定した場合、その画像の撮影時刻と撮影位置とを含むレコードを経路情報テーブル4に格納する照合手段5と、経路情報記憶部4に格納されているレコードの内、そのレコードに含まれている撮影位置へ、そのレコードに含まれている撮影時刻までにユーザが移動不可能なレコードを削除する絞り込み手段6とを備えているからである。即ち、本実施の形態では、画像の照合結果だけでなく、ユーザが移動可能か否かも考慮して、ユーザの動線を捕捉するようにしているので、精度良くユーザの動線を捕捉することができる。
[Effect of the embodiment]
According to the present embodiment, it is possible to accurately capture a user's flow line without causing the user to carry a special device. The reason is that the user's images taken by the card reader-linked cameras LC1 to LC3 are collated with images taken by a plurality of cameras C11 to C34 having different shooting positions, and taken by the plurality of cameras C11 to C34. If it is determined that there is an image in which the user is photographed, the collation means 5 that stores a record including the photographing time and photographing position of the image in the route information table 4 and the route information storage unit 4 Because there is a narrowing means 6 that deletes records that the user cannot move to the shooting position included in the record by the shooting time included in the record. is there. That is, in the present embodiment, the user's flow line is captured in consideration of whether the user can move as well as the image comparison result, so the user's flow line can be captured with high accuracy. Can do.

更に、本実施の形態によれば、ユーザの画像を予め用意しておく必要がないという効果もある。その理由は、ユーザのカードから顧客IDを読み取るカードリーダーR1〜R3の近傍に設置され、カードリーダーR1〜R3によって顧客IDが読み取られたことを契機にして、ユーザを撮影するカードリーダー連動カメラLC1〜LC3を備えているからである。   Furthermore, according to the present embodiment, there is an effect that it is not necessary to prepare a user image in advance. The reason is that the card reader-linked camera LC1 is installed in the vicinity of the card readers R1 to R3 that read the customer ID from the user's card and takes pictures of the user when the customer IDs are read by the card readers R1 to R3. This is because it has ~ LC3.

また、本実施の形態では、経路情報記憶部4に格納されているレコードの内の2つのレコードについて、一方のレコードに含まれている撮影時刻と他方のレコードに含まれている撮影時刻との差分が、上記一方のレコードに含まれている撮影位置と上記他方のレコードに含まれている撮影位置との間の距離を移動するのに要する時間よりも短い場合、上記2つのレコードの内の確度が低い方の経路情報を削除するようにしているので、ユーザの動線を極めて精度良く捕捉することができる。   Moreover, in this Embodiment, about two records of the records stored in the path information storage unit 4, the shooting time included in one record and the shooting time included in the other record If the difference is shorter than the time required to move the distance between the shooting position included in the one record and the shooting position included in the other record, the difference between the two records Since the route information with the lower accuracy is deleted, the user's flow line can be captured with extremely high accuracy.

本発明は、店舗内における顧客の動線捕捉、空港内における旅客の動線捕捉、限られたエリア内における作業員の動線捕捉などに適用すると好適である。   The present invention is preferably applied to capturing a flow line of a customer in a store, capturing a flow line of a passenger in an airport, capturing a flow line of a worker in a limited area, and the like.

本発明の実施の形態にかかる動線捕捉装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the flow-line capture apparatus concerning embodiment of this invention. 1階のフロア図である。It is a floor figure of the 1st floor. カードリーダーR1〜R3とカードリーダー連動カメラLC1〜LC3との位置関係を示す図である。It is a figure which shows the positional relationship of card reader R1-R3 and card reader interlocking | linkage cameras LC1-LC3. 2階のフロア図である。It is a floor figure of the 2nd floor. 3階のフロア図である。It is a floor figure of the 3rd floor. 経路情報テーブル4の内容例を示す図である。It is a figure which shows the example of the content of the path | route information table. 絞り込み手段6の処理例を示すフローチャートである。4 is a flowchart showing a processing example of narrowing means 6; 絞り込み手段6による処理が実施された後の経路情報テーブル4の内容例を示す図である。It is a figure which shows the example of the content of the path | route information table 4 after the process by the narrowing-down means 6 was implemented. 1階フロアにおける顧客の動線の表示結果を示す図である。It is a figure which shows the display result of the customer's flow line in the 1st floor. 2階フロアにおける顧客の動線の表示結果を示す図である。It is a figure which shows the display result of the customer's flow line in a 2nd floor. 3階フロアにおける顧客の動線の表示結果を示す図である。It is a figure which shows the display result of the customer's flow line in the 3rd floor.

符号の説明Explanation of symbols

1…顧客情報入力手段
2…顧客情報DB(データベース)
3…顧客特定手段
4…経路情報テーブル
5…照合手段
51…基準特徴抽出手段
52…基準特徴DB(データベース)
53…人物特徴抽出手段
54…人物特徴DB(データベース)
55…確度検出手段
6…絞り込み手段
7…フロアマップDB(データベース)
8…経路確定手段
9…顧客移動動線情報
R1〜R3…カードリーダー
LC1〜LC3…カードリーダー連動カメラ
C11〜C34…カメラ
1 ... Customer information input means 2 ... Customer information DB (database)
3 ... customer specifying means 4 ... route information table 5 ... matching means 51 ... reference feature extracting means 52 ... reference feature DB (database)
53 ... person feature extraction means 54 ... person feature DB (database)
55 ... Accuracy detection means 6 ... Refinement means 7 ... Floor map DB (database)
8 ... Route determination means 9 ... Customer movement flow line information R1-R3 ... Card reader LC1-LC3 ... Card reader linked camera C11-C34 ... Camera

Claims (15)

撮影位置が異なる複数のカメラと、
経路情報記憶部と、
ユーザの基準人物画像と前記複数のカメラで撮影された画像とを照合し、前記複数のカメラで撮影された画像の中に前記ユーザが写されている画像が存在すると判定した場合、その画像の撮影時刻と撮影位置とを含む経路情報を前記経路情報記憶部に格納する照合手段と、
前記経路情報記憶部に格納されている経路情報の内、その経路情報に含まれている撮影位置へ、その経路情報に含まれている撮影時刻までに前記ユーザが移動不可能な経路情報を削除する絞り込み手段とを備えたことを特徴とする動線捕捉装置。
Multiple cameras with different shooting positions,
A route information storage unit;
When the user's reference person image is collated with images taken by the plurality of cameras, and it is determined that there is an image of the user in the images taken by the plurality of cameras, Collating means for storing route information including a photographing time and a photographing position in the route information storage unit;
Of the route information stored in the route information storage unit, delete the route information that the user cannot move to the shooting position included in the route information by the shooting time included in the route information. A flow line capturing device comprising: a narrowing means for performing
請求項1記載の動線捕捉装置において、
前記絞り込み手段は、前記経路情報記憶部に格納されている経路情報の内の2つの経路情報について、一方の経路情報に含まれている撮影時刻と他方の経路情報に含まれている撮影時刻との差分が、前記一方の経路情報に含まれている撮影位置と前記他方の経路情報に含まれている撮影位置との間の距離を移動するのに要する時間よりも短い場合、前記2つの経路情報の内の何れか一方を削除することを特徴とする動線捕捉装置。
The flow line capturing device according to claim 1,
The narrowing-down means includes, for two pieces of route information stored in the route information storage unit, a photographing time included in one route information and a photographing time included in the other route information. If the difference between the two routes is shorter than the time required to move the distance between the shooting position included in the one route information and the shooting position included in the other route information, the two routes A flow line capturing device, wherein one of the information is deleted.
請求項1または2記載の動線捕捉装置において、
ユーザの識別情報が記録されている記録媒体から前記識別情報を読み取る読み取り装置と、
該読み取り装置の近傍に設置され、該読み取り装置によって識別情報が読み取られたことを契機として前記ユーザを撮影する連動カメラとを備え、且つ、
前記連動カメラで撮影された画像から抽出した前記ユーザの人物画像を、前記ユーザの基準人物画像とすることを特徴とする動線捕捉装置。
The flow line capturing device according to claim 1 or 2,
A reading device that reads the identification information from a recording medium on which the identification information of the user is recorded;
An interlocking camera that is installed in the vicinity of the reading device and photographs the user when the identification information is read by the reading device; and
The flow line capturing apparatus according to claim 1, wherein the user person image extracted from the image captured by the interlocking camera is used as the user reference person image.
請求項1乃至3の何れか1項に記載の動線捕捉装置において、
前記照合手段は、
前記ユーザの基準人物画像の特徴情報を抽出する基準特徴抽出手段と、
前記複数のカメラで撮影された画像から人物画像を抽出し、該抽出した各人物画像の特徴情報を抽出する人物特徴抽出手段と、
前記基準特徴抽出手段で抽出した前記ユーザの基準人物画像の特徴情報と、前記人物特徴抽出手段で抽出した前記各人物画像の特徴情報とから前記各人物画像が前記ユーザの人物画像である確度を求め、確度が閾値以上の人物画像が存在する画像の撮影時刻と撮影位置とを含む経路情報を前記経路情報記憶部に格納する確度検出手段とを備えたことを特徴とする動線捕捉装置。
The flow line capturing device according to any one of claims 1 to 3,
The verification means includes
Reference feature extraction means for extracting feature information of the user's reference person image;
Person feature extraction means for extracting a person image from images taken by the plurality of cameras and extracting feature information of each of the extracted person images;
The probability that each person image is the person image of the user is obtained from the feature information of the user's reference person image extracted by the reference feature extraction unit and the feature information of the person image extracted by the person feature extraction unit. A flow line capturing apparatus, comprising: accuracy detection means for storing, in the route information storage unit, route information including a photographing time and a photographing position of an image in which a human image having a human image whose accuracy is equal to or greater than a threshold exists.
請求項4記載の動線捕捉装置において、
前記確度検出手段は、確度が閾値以上の人物画像が存在する画像の経路情報を格納する際、前記経路情報として前記画像の撮影位置および撮影時刻と前記人物画像の確度とを格納し、
前記絞り込み手段は、前記経路情報記憶部に格納されている経路情報の内の2つの経路情報について、一方の経路情報に含まれている撮影時刻と他方の経路情報に含まれている撮影時刻との差分が、前記一方の経路情報に含まれている撮影位置と前記他方の経路情報に含まれている撮影位置との間の距離を移動するのに要する時間よりも短い場合、前記2つの経路情報の内の確度が低い方の経路情報を削除することを特徴とする動線捕捉装置。
The flow line capturing device according to claim 4,
The accuracy detection unit stores the shooting position and shooting time of the image and the accuracy of the person image as the path information when storing the path information of an image in which a person image having an accuracy equal to or more than a threshold exists.
The narrowing-down means includes, for two pieces of route information stored in the route information storage unit, a photographing time included in one route information and a photographing time included in the other route information. If the difference between the two routes is shorter than the time required to move the distance between the shooting position included in the one route information and the shooting position included in the other route information, the two routes A flow line capturing apparatus, wherein route information having a lower accuracy of information is deleted.
コンピュータが、ユーザの基準人物画像と撮影位置が異なる複数のカメラで撮影された画像とを照合し、前記複数のカメラで撮影された画像の中に前記ユーザが写されている画像が存在すると判定した場合、その画像の撮影時刻と撮影位置とを含む経路情報を経路情報記憶部に格納する照合ステップと、
前記コンピュータが、前記経路情報記憶部に格納されている経路情報の内、その経路情報に含まれている撮影位置へ、その経路情報に含まれている撮影時刻までに前記ユーザが移動不可能な経路情報を削除する絞り込みステップとを含むことを特徴とする動線捕捉方法。
The computer collates the reference person image of the user with images taken by a plurality of cameras having different shooting positions, and determines that there is an image showing the user in the images taken by the plurality of cameras. A matching step for storing path information including the shooting time and shooting position of the image in the path information storage unit;
The computer cannot move to the shooting position included in the route information among the route information stored in the route information storage unit by the shooting time included in the route information. And a narrowing step for deleting route information.
請求項6記載の動線捕捉方法において、
前記絞り込みステップでは、前記経路情報記憶部に格納されている経路情報の内の2つの経路情報について、一方の経路情報に含まれている撮影時刻と他方の経路情報に含まれている撮影時刻との差分が、前記一方の経路情報に含まれている撮影位置と前記他方の経路情報に含まれている撮影位置との間の距離を移動するのに要する時間よりも短い場合、前記2つの経路情報の内の何れか一方を削除することを特徴とする動線捕捉方法。
The flow line capturing method according to claim 6,
In the narrowing-down step, for two pieces of route information stored in the route information storage unit, a shooting time included in one route information and a shooting time included in the other route information If the difference between the two routes is shorter than the time required to move the distance between the shooting position included in the one route information and the shooting position included in the other route information, the two routes A flow line capturing method, wherein one of the information is deleted.
請求項6または7記載の動線捕捉方法において、
ユーザの識別情報が記録されている記録媒体から前記識別情報を読み取る読み取り装置と、
該読み取り装置の近傍に設置され、該読み取り装置によって識別情報が読み取られたことを契機として前記ユーザを撮影する連動カメラとを設け、且つ、
前記連動カメラで撮影された画像から抽出した前記ユーザの人物画像を、前記ユーザの基準人物画像とすることを特徴とする動線捕捉方法。
The flow line capturing method according to claim 6 or 7,
A reading device that reads the identification information from a recording medium on which the identification information of the user is recorded;
An interlocking camera that is installed in the vicinity of the reading device and that captures the user when the identification information is read by the reading device; and
A flow line capturing method, wherein a person image of the user extracted from an image photographed by the interlocking camera is used as the reference person image of the user.
請求項6乃至8の何れか1項に記載の動線捕捉方法において、
前記照合ステップは、
前記ユーザの基準人物画像の特徴情報を抽出する基準特徴抽出ステップと、
前記複数のカメラで撮影された画像から人物画像を抽出し、該抽出した各人物画像の特徴情報を抽出する人物特徴抽出ステップと、
前記基準特徴抽出ステップで抽出した前記ユーザの基準人物画像の特徴情報と、前記人物特徴抽出ステップで抽出した前記各人物画像の特徴情報とから前記各人物画像が前記ユーザの人物画像である確度を求め、確度が閾値以上の人物画像が存在する画像の撮影時刻と撮影位置とを含む経路情報を前記経路情報記憶部に格納する確度検出ステップとを含むことを特徴とする動線捕捉方法。
The flow line capturing method according to any one of claims 6 to 8,
The matching step includes
A reference feature extraction step of extracting feature information of the reference person image of the user;
A person feature extraction step of extracting a person image from images taken by the plurality of cameras and extracting feature information of the extracted person images;
From the feature information of the user's reference person image extracted in the reference feature extraction step and the feature information of the person image extracted in the person feature extraction step, the probability that each person image is the person image of the user is determined. A flow line capturing method comprising: an accuracy detection step of storing path information including an imaging time and an imaging position of an image in which a human image having an accuracy of a threshold value or more exists and stored in the path information storage unit.
請求項9記載の動線捕捉方法において、
前記確度検出ステップでは、確度が閾値以上の人物画像が存在する画像の経路情報を格納する際、前記経路情報として前記画像の撮影位置および撮影時刻と前記人物画像の確度とを格納し、
前記絞り込みステップでは、前記経路情報記憶部に格納されている経路情報の内の2つの経路情報について、一方の経路情報に含まれている撮影時刻と他方の経路情報に含まれている撮影時刻との差分が、前記一方の経路情報に含まれている撮影位置と前記他方の経路情報に含まれている撮影位置との間の距離を移動するのに要する時間よりも短い場合、前記2つの経路情報の内の確度が低い方の経路情報を削除することを特徴とする動線捕捉方法。
The flow line capturing method according to claim 9, wherein
In the accuracy detection step, when storing route information of an image in which a person image having an accuracy equal to or greater than a threshold value is stored, the shooting position and shooting time of the image and the accuracy of the person image are stored as the route information;
In the narrowing-down step, for two pieces of route information stored in the route information storage unit, a shooting time included in one route information and a shooting time included in the other route information If the difference between the two routes is shorter than the time required to move the distance between the shooting position included in the one route information and the shooting position included in the other route information, the two routes A flow line capturing method, wherein route information having a lower accuracy of information is deleted.
撮影位置が異なる複数のカメラと、経路情報記憶部とを備えたコンピュータを、動線捕捉装置として機能させるためのプログラムであって、
前記コンピュータを、
ユーザの基準人物画像と前記複数のカメラで撮影された画像とを照合し、前記複数のカメラで撮影された画像の中に前記ユーザが写されている画像が存在すると判定した場合、その画像の撮影時刻と撮影位置とを含む経路情報を前記経路情報記憶部に格納する照合手段、
前記経路情報記憶部に格納されている経路情報の内、その経路情報に含まれている撮影位置へ、その経路情報に含まれている撮影時刻までに前記ユーザが移動不可能な経路情報を削除する絞り込み手段として機能させるためのプログラム。
A program for causing a computer including a plurality of cameras having different shooting positions and a path information storage unit to function as a flow line capturing device,
The computer,
When the user's reference person image is collated with images taken by the plurality of cameras, and it is determined that there is an image of the user in the images taken by the plurality of cameras, Collating means for storing route information including a photographing time and a photographing position in the route information storage unit;
Of the route information stored in the route information storage unit, delete the route information that the user cannot move to the shooting position included in the route information by the shooting time included in the route information. A program for functioning as a narrowing down means.
請求項11記載のプログラムにおいて、
前記絞り込み手段は、前記経路情報記憶部に格納されている経路情報の内の2つの経路情報について、一方の経路情報に含まれている撮影時刻と他方の経路情報に含まれている撮影時刻との差分が、前記一方の経路情報に含まれている撮影位置と前記他方の経路情報に含まれている撮影位置との間の距離を移動するのに要する時間よりも短い場合、前記2つの経路情報の内の何れか一方を削除することを特徴とするプログラム。
The program according to claim 11, wherein
The narrowing-down means includes, for two pieces of route information stored in the route information storage unit, a photographing time included in one route information and a photographing time included in the other route information. If the difference between the two routes is shorter than the time required to move the distance between the shooting position included in the one route information and the shooting position included in the other route information, the two routes A program for deleting any one of information.
請求項11または12記載のプログラムにおいて、
前記コンピュータが、ユーザの識別情報が記録されている記録媒体から前記識別情報を読み取る読み取り装置と、該読み取り装置の近傍に設置され、該読み取り装置によって識別情報が読み取られたことを契機として前記ユーザを撮影する連動カメラとを備え、且つ、
前記連動カメラで撮影された画像から抽出した前記ユーザの人物画像を、前記ユーザの基準人物画像とすることを特徴とするプログラム。
The program according to claim 11 or 12,
The computer is installed in the vicinity of the reading device that reads the identification information from a recording medium on which the user identification information is recorded, and the user is triggered by the reading of the identification information by the reading device. And a linked camera that shoots
A program characterized in that a person image of the user extracted from an image photographed by the interlocking camera is used as the reference person image of the user.
請求項11乃至13の何れか1項に記載のプログラムにおいて、
前記照合手段は、
前記ユーザの基準人物画像の特徴情報を抽出する基準特徴抽出手段と、
前記複数のカメラで撮影された画像から人物画像を抽出し、該抽出した各人物画像の特徴情報を抽出する人物特徴抽出手段と、
前記基準特徴抽出手段で抽出した前記ユーザの基準人物画像の特徴情報と、前記人物特徴抽出手段で抽出した前記各人物画像の特徴情報とから前記各人物画像が前記ユーザの人物画像である確度を求め、確度が閾値以上の人物画像が存在する画像の撮影時刻と撮影位置とを含む経路情報を前記経路情報記憶部に格納する確度検出手段とを備えたことを特徴とするプログラム。
The program according to any one of claims 11 to 13,
The verification means includes
Reference feature extraction means for extracting feature information of the user's reference person image;
Person feature extraction means for extracting a person image from images taken by the plurality of cameras and extracting feature information of each of the extracted person images;
The probability that each person image is the person image of the user is obtained from the feature information of the user's reference person image extracted by the reference feature extraction unit and the feature information of each person image extracted by the person feature extraction unit. A program comprising: accuracy detection means for storing route information including a photographing time and a photographing position of an image in which a human image having a certain accuracy or more than a threshold value exists is stored in the route information storage unit.
請求項14記載のプログラムにおいて、
前記確度検出手段は、確度が閾値以上の人物画像が存在する画像の経路情報を格納する際、前記経路情報として前記画像の撮影位置および撮影時刻と前記人物画像の確度とを格納し、
前記絞り込み手段は、前記経路情報記憶部に格納されている経路情報の内の2つの経路情報について、一方の経路情報に含まれている撮影時刻と他方の経路情報に含まれている撮影時刻との差分が、前記一方の経路情報に含まれている撮影位置と前記他方の経路情報に含まれている撮影位置との間の距離を移動するのに要する時間よりも短い場合、前記2つの経路情報の内の確度が低い方の経路情報を削除することを特徴とするプログラム。
The program according to claim 14, wherein
The accuracy detection unit stores the shooting position and shooting time of the image and the accuracy of the person image as the path information when storing the path information of an image in which a person image having an accuracy equal to or more than a threshold exists.
The narrowing-down means includes, for two pieces of route information stored in the route information storage unit, a photographing time included in one route information and a photographing time included in the other route information. If the difference between the two routes is shorter than the time required to move the distance between the shooting position included in the one route information and the shooting position included in the other route information, the two routes A program characterized by deleting route information with a lower accuracy of information.
JP2008034356A 2008-02-15 2008-02-15 Traffic line capturing device and traffic line capturing method and program Pending JP2009193424A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008034356A JP2009193424A (en) 2008-02-15 2008-02-15 Traffic line capturing device and traffic line capturing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008034356A JP2009193424A (en) 2008-02-15 2008-02-15 Traffic line capturing device and traffic line capturing method and program

Publications (1)

Publication Number Publication Date
JP2009193424A true JP2009193424A (en) 2009-08-27

Family

ID=41075366

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008034356A Pending JP2009193424A (en) 2008-02-15 2008-02-15 Traffic line capturing device and traffic line capturing method and program

Country Status (1)

Country Link
JP (1) JP2009193424A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073915A (en) * 2010-09-29 2012-04-12 Dainippon Printing Co Ltd Movement management system, information processor, movement management method and program
JP2016066111A (en) * 2014-09-22 2016-04-28 株式会社日立ソリューションズ Flow line editing apparatus, flow line editing method, and flow line editing program
WO2018116973A1 (en) * 2016-12-22 2018-06-28 Necソリューションイノベータ株式会社 Non-boarded passenger search device, non-boarded passenger search method, and recording medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016579A (en) * 1999-06-30 2001-01-19 Toshiba Corp Image monitor method and image monitor device
JP2006236255A (en) * 2005-02-28 2006-09-07 Mitsubishi Electric Corp Person-tracking device and person-tracking system
WO2007119355A1 (en) * 2006-03-15 2007-10-25 Omron Corporation Tracking device, tracking method, tracking device control program, and computer-readable recording medium
JP2007301166A (en) * 2006-05-11 2007-11-22 Canon Inc Imaging apparatus, its control method, program and storage medium
JP2007325285A (en) * 2007-06-25 2007-12-13 Fujifilm Corp Automatic photographing system, and picture management server
JP2008017464A (en) * 2006-06-07 2008-01-24 Dainippon Printing Co Ltd Surveillance camera system, and method therefor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016579A (en) * 1999-06-30 2001-01-19 Toshiba Corp Image monitor method and image monitor device
JP2006236255A (en) * 2005-02-28 2006-09-07 Mitsubishi Electric Corp Person-tracking device and person-tracking system
WO2007119355A1 (en) * 2006-03-15 2007-10-25 Omron Corporation Tracking device, tracking method, tracking device control program, and computer-readable recording medium
JP2007301166A (en) * 2006-05-11 2007-11-22 Canon Inc Imaging apparatus, its control method, program and storage medium
JP2008017464A (en) * 2006-06-07 2008-01-24 Dainippon Printing Co Ltd Surveillance camera system, and method therefor
JP2007325285A (en) * 2007-06-25 2007-12-13 Fujifilm Corp Automatic photographing system, and picture management server

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073915A (en) * 2010-09-29 2012-04-12 Dainippon Printing Co Ltd Movement management system, information processor, movement management method and program
JP2016066111A (en) * 2014-09-22 2016-04-28 株式会社日立ソリューションズ Flow line editing apparatus, flow line editing method, and flow line editing program
WO2018116973A1 (en) * 2016-12-22 2018-06-28 Necソリューションイノベータ株式会社 Non-boarded passenger search device, non-boarded passenger search method, and recording medium
JPWO2018116973A1 (en) * 2016-12-22 2019-10-31 Necソリューションイノベータ株式会社 Non-passenger search device, non-passenger search method, and program
US11281894B2 (en) 2016-12-22 2022-03-22 Nec Solution Innovators, Ltd. Non-boarded passenger search device, non-boarded passenger search method, and recording medium

Similar Documents

Publication Publication Date Title
JP5851651B2 (en) Video surveillance system, video surveillance method, and video surveillance device
JP4970195B2 (en) Person tracking system, person tracking apparatus, and person tracking program
JP7371614B2 (en) Store management device and store management method
JP7359230B2 (en) Face matching system, face matching device, face matching method, and recording medium
US20080004892A1 (en) Biometric aid for customer relations
JP6409082B2 (en) Non-stop face recognition system
US11138420B2 (en) People stream analysis method, people stream analysis apparatus, and people stream analysis system
JPWO2017146160A1 (en) Face matching system, face matching method, and program
JP5704279B1 (en) Associated program and information processing apparatus
US20150088637A1 (en) Information processing system, information processing method, and non-transitory computer readable storage medium
EP2276234A1 (en) Image processing device, camera, image processing method, and program
WO2016158811A1 (en) Image processing device, image processing method, and image processing system
WO2018024024A1 (en) Logistics parcel picture processing method, device and system
US10659626B2 (en) Information processing apparatus, information processing method, and storage medium
JP6382602B2 (en) Moving path identification device
JP2017174343A (en) Customer attribute extraction device and customer attribute extraction program
JP6687199B2 (en) Product shelf position registration program and information processing device
JP2003263641A (en) Movement analyzing device
JPWO2019181364A1 (en) Store management device and store management method, program
JP2024043539A (en) Ticketing systems, ticket inspection devices, and programs
JP2009193424A (en) Traffic line capturing device and traffic line capturing method and program
JP2022009877A (en) Management device and program
JP7464063B2 (en) Management system, management method and computer program
KR20200095057A (en) Amusement execution system
JP2022020661A (en) Monitoring device and program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090805

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111006

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120612

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20120712