JP2010134560A - People flow information processing method, device and program, and computer-readable recording medium - Google Patents
People flow information processing method, device and program, and computer-readable recording medium Download PDFInfo
- Publication number
- JP2010134560A JP2010134560A JP2008307923A JP2008307923A JP2010134560A JP 2010134560 A JP2010134560 A JP 2010134560A JP 2008307923 A JP2008307923 A JP 2008307923A JP 2008307923 A JP2008307923 A JP 2008307923A JP 2010134560 A JP2010134560 A JP 2010134560A
- Authority
- JP
- Japan
- Prior art keywords
- human
- information processing
- condition
- flow information
- storage means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、人流情報処理方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、ビデオカメラで取得した画像から人影を抽出し、人の位置や移動を捕捉するための人流情報処理方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。 The present invention relates to a human flow information processing method and apparatus, a program, and a computer-readable recording medium, and in particular, a human flow information processing method for extracting a human figure from an image acquired by a video camera and capturing the position and movement of a person. And an apparatus, a program, and a computer-readable recording medium.
ある場（スポット）に設置されたビデオカメラで得た画像から人影を抽出し、人の流れを計測する人流計測システムが存在する。これまでのシステムでは、スポットのセンサ領域内に仮想的な線分を設定して、その線分を横切る人の方向と人数を計測する方法で人流を計測していた。これによって、センサ領域内に仮想的な区画を設定して、その区画に侵入する人数と、その区画から退出する人数を計測することができる（例えば、非特許文献１参照）。
しかしながら、上記従来の方法では「センサ領域の左上部から進入した人物が、センサ領域の上部中央で向きを変えてセンサ領域下部方向へ移動し、センサ領域下部中央を経由してセンサ領域右端より退出する」というような複雑な移動を捕捉するよう設定することは難しい。店舗等の商品が置かれているスポットを想定し、センサ下部付近に商品がある場合を考えると、前述の人の動きは次のような意味を持つ。 However, in the conventional method described above, “a person who has entered from the upper left of the sensor area changes direction at the upper center of the sensor area and moves toward the lower part of the sensor area, and exits from the right end of the sensor area via the lower center of the sensor area. It is difficult to set up to capture complex movements such as “Yes”. Assuming a spot where merchandise such as a store is placed and considering the case where there is a merchandise near the lower part of the sensor, the above-described movement of the person has the following meaning.
「売場の左側後方から近付いた人物に対して、商品を訴求する呼びかけを行った。人物は呼びかけに気付いて、商品を見るために移動方向を変えた。人物は商品に近付いた後、売場の右側から遠ざかった」
従来では、人物の複雑な位置移動を補足して容易に記述することができないという問題がある。
“The person who approached from the left side of the sales floor made a call to appeal the product. The person noticed the call and changed the direction of movement to see the product. After the person approached the product, I moved away from the right side. ''
Conventionally, there is a problem that it is difficult to easily describe a complicated position movement of a person.
本発明は、上記の点に鑑みなされたもので、あるスポットにおける人物の多種多様な位置移動を簡潔に記述することが可能な人流情報処理方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。 The present invention has been made in view of the above points, and provides a human flow information processing method and apparatus, a program, and a computer-readable recording medium capable of concisely describing a wide variety of position movements of a person at a certain spot. The purpose is to do.
図１は、本発明の原理を説明するための図である。 FIG. 1 is a diagram for explaining the principle of the present invention.
本発明（請求項１）は、ビデオカメラで取得した画像から人影を抽出し、人の位置や移動を捕捉するための人流情報処理方法であって、
履歴データ付与手段が、ビデオカメラで撮影したビデオデータを取得し（ステップ１）、背景を除去して人影を前景として抽出し、人影オブジェクトとし（ステップ２）、該人影オブジェクトの位置を取得して記憶手段に保持し（ステップ３）、該人影オブジェクトの位置が前回の位置と異なる場合には、履歴データを付与して該記憶手段に格納する（ステップ４）履歴データ付与ステップと、
条件編集・マッチ手段が、記憶手段に格納されている履歴データが、条件記憶手段に格納されている正規表現で記述された条件と適合するかを判定し（ステップ５）、適合する場合には、刺激映像記憶手段から、該条件と関連付けられている刺激映像を取得して表示手段に表示する（ステップ６）条件判定ステップと、を行う。
The present invention (Claim 1) is a human flow information processing method for extracting a human figure from an image acquired by a video camera and capturing the position and movement of a person,
The history data adding means acquires video data taken by the video camera (step 1), removes the background and extracts a human figure as a foreground, forms a human object (step 2), and acquires the position of the human object. Held in the storage means (step 3), and if the position of the human-shadow object is different from the previous position, the history data is added and stored in the storage means (step 4) a history data addition step;
The condition editing / matching means determines whether the history data stored in the storage means matches the condition described in the regular expression stored in the condition storage means (step 5). Then, a stimulus image associated with the condition is acquired from the stimulus image storage means and displayed on the display means (step 6), and a condition determination step is performed.
また、本発明（請求項２）は、請求項１の人流情報処理方法において、ビデオカメラで撮影する場（スポット）を複数のセルに分割し、人影オブジェクトの位置や移動の表記方法をセルの名称の正規表現で表す。 According to the present invention (Claim 2), in the human flow information processing method according to Claim 1, the field (spot) to be photographed by the video camera is divided into a plurality of cells, and the position and movement notation method of the human-shadow object is defined in the cell. Expressed by regular expression of name.
図２は、本発明の原理構成図である。 FIG. 2 is a principle configuration diagram of the present invention.
本発明（請求項３）は、ビデオカメラで取得した画像から人影を抽出し、人の位置や移動を捕捉するための人流情報処理装置であって、
ビデオカメラで撮影したビデオデータを取得するがデータ取得手段１０と、
ビデオデータから背景を除去して人影を前景として抽出し、人影オブジェクトとし、該人影オブジェクトの位置を取得して記憶手段に保持し、該人影オブジェクトの位置が前回の位置と異なる場合には、履歴データを付与して該記憶手段に格納する履歴データ付与手段２０と、
記憶手段に格納されている履歴データが、条件記憶手段４０に格納されている正規表現で記述された条件と適合するかを判定し、適合する場合には、刺激映像記憶手段６０から、該条件と関連付けられている刺激映像を取得して表示手段に表示する条件編集・マッチ手段３０と、
を有する。
The present invention (Claim 3) is a human flow information processing apparatus for extracting a human figure from an image acquired by a video camera and capturing the position and movement of a person,
The video data taken by the video camera is acquired.
When the background is removed from the video data and the human figure is extracted as a foreground, the human figure object is obtained, the position of the human figure object is acquired and held in the storage means, and the position of the human figure object is different from the previous position, History data giving means 20 for giving data and storing it in the storage means;
It is determined whether the history data stored in the storage means matches the condition described by the regular expression stored in the condition storage means 40. If it matches, the condition is read from the stimulus video storage means 60. The condition editing / matching means 30 for acquiring the stimulus image associated with the information and displaying it on the display means;
Have
また、本発明（請求項４）は、請求項３の人流情報処理装置において、
ビデオカメラで撮影する場（スポット）を複数のセルに分割し、人影オブジェクトの位置や移動の表記方法をセルの名称の正規表現で表す。
Further, the present invention (Claim 4) is the human flow information processing apparatus according to Claim 3,
A place (spot) to be photographed by a video camera is divided into a plurality of cells, and the notation method of the position and movement of the human shadow object is represented by a regular expression of the cell name.
本発明（請求項５）は、請求項３または４記載の人流情報処理装置を構成する各手段としてコンピュータを機能させるための人流情報処理プログラムである。 The present invention (Claim 5) is a human flow information processing program for causing a computer to function as each means constituting the human flow information processing apparatus according to claim 3 or 4.
本発明（請求項６）は、請求項５記載の人流情報処理プログラムを格納したコンピュータ読み取り可能な記録媒体である。 The present invention (Claim 6) is a computer-readable recording medium storing the human flow information processing program according to Claim 5.
上記のように、本発明によれば、正規表現を用いることによりスポットにおける人物の多種多様な位置移動を簡潔に記述することができる。 As described above, according to the present invention, it is possible to simply describe various position movements of a person in a spot by using a regular expression.
また、正規表現による記述は簡潔かつ明瞭であるため、人による作成や保守が容易である。 Moreover, since the description using regular expressions is simple and clear, it is easy to create and maintain by humans.
また、もともと計算機科学に起源を持つ正規表現は、計算機による処理に適している。 Regular expressions that originally originated in computer science are suitable for processing by computers.
以下、図面と共に本発明の実施の形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
本発明における手法を用いた基本的な構成単位を「場（スポット）」と呼ぶ。当該スポットの構成を図３に示す。１つのスポットには、映像ディスプレイとこれに映像信号を出力するＰＣ（パーソナルコンピュータ）を中心として構成したシステムを設置する。天井にはビデオカメラがあり、この映像ディスプレイの前の様子を撮影して利用する。これをカメラセンサとして利用するＰＣは、映像信号を出力するＰＣと同一で構わない。映像ディスプレイの前に、訴求したい商品があることを原則とし、人の位置移動に基づいて、映像ディスプレイに商品の訴求を図る刺激映像を提示する。 A basic structural unit using the method of the present invention is called a “field (spot)”. The structure of the spot is shown in FIG. In one spot, a system composed of a video display and a PC (personal computer) that outputs video signals to the video display is installed. There is a video camera on the ceiling. The PC that uses this as a camera sensor may be the same as the PC that outputs the video signal. In principle, there is a product to be appealed in front of the video display, and based on the movement of the position of the person, a stimulus video for promoting the product is presented on the video display.
図４は、本発明の一実施の形態における人流情報処理装置の構成を示す。 FIG. 4 shows a configuration of a human flow information processing apparatus according to an embodiment of the present invention.
同図に示す人流情報処理装置は、カメラセンサ１０、履歴データ付与部２０、条件編集・マッチ処理部３０、条件ＤＢ４０、映像表示部５０、刺激映像ＤＢ６０から構成される。 The human-flow information processing apparatus shown in FIG. 1 includes a camera sensor 10, a history data adding unit 20, a condition editing / match processing unit 30, a condition DB 40, a video display unit 50, and a stimulus video DB 60.
カメラセンサ１０からの画像データをもとに、履歴データ付与部２０において人影オブジェクトに履歴データを付与する。条件編集・マッチ処理部３０の条件編集機能では、人の位置移動を正規表現によって記述し、これを提示条件とした刺激映像を指定する。指定した条件は、条件ＤＢ４０において保持する。条件編集・マッチ処理部３０の条件マッチ機能では、人影オブジェクトの履歴データと正規表現による提示条件を照合する。履歴と提示条件が適合すれば、映像表示部５０において刺激映像を提示する。 Based on the image data from the camera sensor 10, the history data adding unit 20 adds history data to the human-shadow object. In the condition editing function of the condition editing / match processing unit 30, a person's position movement is described by a regular expression, and a stimulus image using this as a presentation condition is designated. The specified condition is held in the condition DB 40. The condition matching function of the condition editing / matching processing unit 30 collates the history data of the human-shadow object with the presentation condition by the regular expression. If the history matches the presentation condition, the video display unit 50 presents the stimulus video.
本発明では、人物の位置移動を正規表現によって扱うことにより、複雑な位置移動も容易に記述可能とする。履歴データ付与部２０では、人影オブジェクトの位置や移動の履歴を付与するため、ビデオカメラで撮影したスポット画像を１３の区画に分けて処理する。この区画を「セル」と呼ぶ。それぞれのセルは、特定の位置と、固有の名称を持つ。セルの位置と名称を図５に示す。ここで、「Ｌ」はLeft（左）、「Ｒ」はRight（右）、「Ｆ」はFar（遠い）、「Ｎ」はNear（近い）を表す。図５に示す１〜９のセルは「近い／中くらい／遠い」と「進入してきた／映像ディスプレイの正面／退出していく」を掛け合わせて得られる意味を有する３×３のマトリクスを構成している。１〜９のセルだけでもスポット内の人物の移動を表すことができるが、１〜９の他にＬ／Ｒ／Ｆ／Ｎのセルを設けているのは、カメラセンサの領域端での挙動が不安定になった場合の影響を軽減するためである。ここで、各セルの幅や高さや相対的な比率は固定ではなく、用途に合わせて自由に設定できるものとする。また、左右を対象にする（例：セル１とセル３の幅を揃える）必要はない。 In the present invention, the position movement of a person is handled by a regular expression, so that a complicated position movement can be described easily. The history data adding unit 20 processes the spot image captured by the video camera into 13 sections in order to give the position and movement history of the human-shadow object. This section is called a “cell”. Each cell has a specific location and a unique name. The cell positions and names are shown in FIG. Here, “L” represents Left (left), “R” represents Right (right), “F” represents Far (far), and “N” represents Near. The cells 1 to 9 shown in FIG. 5 constitute a 3 × 3 matrix having a meaning obtained by multiplying “close / middle / far” and “entered / front of video display / exited”. is doing. The movement of the person in the spot can be expressed by only the cells 1 to 9, but the L / R / F / N cell is provided in addition to 1 to 9 in the behavior at the end of the area of the camera sensor. This is in order to reduce the influence when the becomes unstable. Here, the width, height, and relative ratio of each cell are not fixed and can be freely set according to the application. Further, there is no need to target the left and right (eg, align the width of cell 1 and cell 3).
人影処理の例を図６〜図８に示し、カメラセンサ１０の処理のフローを図９に示す。 Examples of the human shadow processing are shown in FIGS. 6 to 8, and the processing flow of the camera sensor 10 is shown in FIG.
カメラセンサ１０は、人がいない状態を背景とし、この背景との差分を随時処理することにより人影を抽出し、人影オブジェクトとする。 The camera sensor 10 uses a state where there is no person as a background, extracts a human figure by processing the difference from this background as needed, and uses it as a human figure object.
カメラセンサ１０は、ビデオカメラにより撮影した定常状態の画像を背景画像とし（ステップ１０１）、ビデオカメラにより画像を取得する（図６）（ステップ１０２）。背景画像と取得した画像との差分を抽出し（ステップ１０３）、ノイズを除去する（ステップ１０４）。得られた前景を人影として抽出し（図７）、この人影に通し番号を付けて人影オブジェクトとする。人影オブジェクトの重心の座標（図８の白い領域の点）を人影オブジェクトの位置とする（ステップ１０５）。図８における点線はセルの境界を示す。セルの境界はセンサ領域内において任意の位置を設けることが可能である。 The camera sensor 10 uses a steady-state image captured by the video camera as a background image (step 101), and acquires an image by the video camera (FIG. 6) (step 102). The difference between the background image and the acquired image is extracted (step 103), and noise is removed (step 104). The obtained foreground is extracted as a human figure (FIG. 7), and a serial number is assigned to this human figure as a human figure object. The coordinates of the center of gravity of the human shadow object (points in the white area in FIG. 8) are set as the position of the human shadow object (step 105). The dotted line in FIG. 8 shows the cell boundary. The cell boundary can be provided at an arbitrary position within the sensor region.
履歴データ付与部２０は、メモリ（図示せず）を有し、カメラセンサ１０から取得した人影オブジェクトの座標データ及びセルの位置と名称を時系列的に保持する。 The history data adding unit 20 includes a memory (not shown), and holds the coordinate data of the human shadow object acquired from the camera sensor 10 and the position and name of the cell in time series.
次に、人影オブジェクトの位置や移動の表記方法の例を以下に示す。 Next, an example of the notation method of the position and movement of the human shadow object is shown below.
（ａ）人物オブジェクトがあるセルに存在する：
記述例）５
・セル５に存在
（ｂ）人物オブジェクトが特定のセルに移動：
記述例）Ｆ８５２Ｎ
・セルＦ→８→５→２→Ｎと移動した。すなわち遠くから近付いてきた
（ｃ）人物オブジェクトがセルグループに存在：
記述例）［４５６］
・セル４か５か６のいずれかに存在。「［］」はその中のどれかに一致することを示す正規表現
（ｄ）人物オブジェクトがセルグループの中で移動：
記述例）［１２３４５６］＋
・セル１〜６の中で移動。すなわち中央付近のみ移動している。「＋」は直前の表現の１回以上の繰り返しを示す正規表現。
(A) A person object exists in a cell:
Description example) 5
Exists in cell 5 (b) A person object moves to a specific cell:
Description example) F852N
-Cell F → 8 → 5 → 2 → N (C) A person object exists in a cell group:
Description example) [456]
Exists in either cell 4 or 5 or 6. "[]" Is a regular expression that matches any of them. (D) A person object moves in a cell group:
Description example) [123456] +
-Move in cells 1-6. That is, it moves only near the center. “+” Is a regular expression that indicates one or more repetitions of the previous expression.
（ｅ）人物オブジェクトがセルグループを移動：
記述例）＾Ｌ［１４７］＋［２５８］＋［３６９］＋Ｒ＄
・セルＬ→［１４７］→［２５８］→［３６９］→Ｒと移動した。すなわち左隅から入ってきて右隅に抜ける。
(E) A person object moves a cell group:
Description example) ^ L [147] + [258] + [369] + R $
-Cell L → [147] → [258] → [369] → R. That is, it enters from the left corner and exits to the right corner.
（ｆ）人物オブジェクトが任意のセルから特定のセルに移動：
記述例）。*N
・任意のセルからセルＮに移動した。すなわち任意の場所からカメラ前に近付いた。「。」は任意のセル、「*」は直前の表現の０回以上繰り返しを示す正規表現。
(F) A person object moves from an arbitrary cell to a specific cell:
Description example). * N
-Moved from any cell to cell N. In other words, I approached the camera from any place. “.” Is an arbitrary cell, and “*” is a regular expression indicating zero or more repetitions of the immediately preceding expression.
（ｇ）人物オブジェクトが任意のセルから特定のセルグループに移動：
記述例）＾Ｒ［２３５６８９］
・セルＲから次にセル２，３，５，６，８，９のいずれかに移動した。すなわち右隅から中央付近のセルに移動した。
(G) A person object moves from an arbitrary cell to a specific cell group:
Description example) ^ R [235789]
Moved from cell R to any of cells 2, 3, 5, 6, 8, 9 That is, the cell moved from the right corner to the cell near the center.
（ｈ）人物オブジェクトが特定のセルで滞留：
記述例）［ＦＬＲ１２４５６７８９］＋２＄
・セル２の周りからセル２移動して停止した。任意の場所から中央セル２に移動して滞留している。
(H) A person object stays in a specific cell:
Description example) [FLR12456789] + 2 $
-Cell 2 moved from around cell 2 and stopped. It moves from the arbitrary place to the central cell 2 and stays there.
（ｉ）人物オブジェクトが特定のセル以外から特定のセルに移動：
記述例）＾Ｌ［＾４７］．＋Ｎ＄
・セルＬから検出を始めて、次にセル４，７以外に移動し、セルＮに移動して停止した。すなわち、左から入ってきてカメラ前で滞留している。
(I) A person object moves from a specific cell to a specific cell:
Description example) ^ L [^ 47]. + N $
-Detection started from cell L, then moved to other than cells 4 and 7, moved to cell N and stopped. That is, it enters from the left and stays in front of the camera.
このように、ビデオカメラの画像を区画に分けて名前を付けることにより、区画の組み合わせを正規表現で記述できる。この仕組みを用いれば、上述のような人の位置移動を容易に記述可能である。 In this way, by dividing the video camera image into sections and giving names, combinations of sections can be described in regular expressions. By using this mechanism, it is possible to easily describe the position movement of the person as described above.
次に、履歴データ付与部２０の動作を説明する。 Next, the operation of the history data adding unit 20 will be described.
図１０は、本発明の一実施の形態における履歴データ付与部の動作のフローチャートである。 FIG. 10 is a flowchart of the operation of the history data adding unit in one embodiment of the present invention.
履歴データ付与部２０は、ビデオカメラでスポットを撮影し（ステップ２０１）、入力されたデータビデオデータから背景を除去して、人影を前景として抽出し、人影オブジェクトを座標データとして取得し、メモリ（図示せず）に格納する（ステップ２０２）。人影オブジェクトの座標データがどのセルに含まれるかを判定し、人影オブジェクトが存在するセルのセル名を取得し、メモリ（図示せず）に格納する（ステップ２０３）。ステップ２０３で取得したセルが、メモリ（図示せず）に格納されている前回の判定と同じ位置にあるかを判定し、同じ位置にある場合は移動していないため、ステップ２０１に移行し（ステップ２０４、はい）、異なる位置にある場合は（ステップ２０４、いいえ）、判定結果に基づいて人物オブジェクトの移動履歴にセル名を付加し、メモリ（図示せず）に格納し（ステップ２０５）、次のビデオデータを取得する（ステップ２０１に移行）。 The history data adding unit 20 takes a spot with a video camera (step 201), removes the background from the input data video data, extracts a human figure as a foreground, obtains a human figure object as coordinate data, and stores it in a memory ( (Step 202). It is determined in which cell the coordinate data of the human object is included, the cell name of the cell in which the human object is present is obtained, and stored in a memory (not shown) (step 203). It is determined whether the cell acquired in step 203 is in the same position as the previous determination stored in the memory (not shown). If it is in the same position, it has not moved, so the process proceeds to step 201 ( Step 204: Yes) If it is in a different position (Step 204, No), a cell name is added to the movement history of the person object based on the determination result, and stored in a memory (not shown) (Step 205). Next video data is acquired (proceeds to step 201).
次に、条件編集・マッチ処理部３０の動作を説明する。 Next, the operation of the condition editing / match processing unit 30 will be described.
図１１は、本発明の一実施の形態における条件適合による刺激映像提示のフローチャートである。 FIG. 11 is a flowchart of stimulating video presentation by condition matching in one embodiment of the present invention.
条件編集・マッチ処理部３０は、ビデオデータを取得して定常時の映像を映像表示部５０に表示する（ステップ３０１）。条件ＤＢ４０から移動履歴が正規表現で記述された条件に適合するかを判定し、適合しない場合は（ステップ３０２、いいえ）、ステップ３０１に移行し、適合する場合は（ステップ３０２、はい）、条件と結びついた刺激映像を刺激映像ＤＢ６０から取得して映像表示部５０に表示する。 The condition editing / match processing unit 30 acquires the video data and displays the steady-state video on the video display unit 50 (step 301). It is determined from the condition DB 40 whether the movement history conforms to the condition described in the regular expression. If it does not conform (Step 302, No), the process proceeds to Step 301. If it conforms (Step 302, Yes), the condition Is obtained from the stimulus image DB 60 and displayed on the image display unit 50.
図１２は、本発明の一実施の形態における映像選択の状態遷移図である。同図に示すように、定常時の映像を表示し、人物オブジェクトの移動履歴が正規表現で記述した条件に適合している場合には、当該条件名（条件ＩＤ）で刺激映像ＤＢ６０を検索して、対応する刺激映像を表示し、当該映像が終了すると、再度定常時の映像を表示する。 FIG. 12 is a state transition diagram of video selection in one embodiment of the present invention. As shown in the figure, when a steady-state video is displayed and the movement history of the person object matches the condition described by the regular expression, the stimulus video DB 60 is searched with the condition name (condition ID). The corresponding stimulus image is displayed, and when the image ends, the steady-state image is displayed again.
上記の仕組みを用いた動作例と条件例を以下に示す。 An operation example and a condition example using the above mechanism are shown below.
（１）人が映像ディスプレイを視認できる範囲に進入すると「いらっしゃいませ」と呼びかける（条件例：Ｌ［７４１］or Ｒ［９６３］）。 (1) When a person enters a range where the video display can be seen, a call is made to “welcome” (condition example: L [741] or R [963]).
（２）人がそのスポットから出て行こうとすると、「ありがとうございました」という（条件例：［７４１］Ｌ or［９６３］Ｒ）。 (2) When a person tries to get out of the spot, "Thank you very much" (condition example: [741] L or [963] R).
（３）順路方向と逆向きに侵入する人には呼びかけない（条件例：Ｌ［７４１］）。 (3) No call is made to a person who enters in the direction opposite to the normal direction (condition example: L [741]).
（４）映像ディスプレイ前に来ると商品を推薦する（条件例：[１３４５６］２]。 (4) A product is recommended when coming in front of the video display (condition example: [13456] 2).
（５）映像ディスプレイから遠いところを人が通り過ぎようとすると「ちょっと待っていただけますか」と呼び止める（条件例：［ＬＲ］［７９］８）。 (5) If a person tries to pass through a place far from the video display, he / she stops calling "Can you wait for a while" (condition example: [LR] [79] 8).
また、次に示すように映像ディスプレイと人との距離によって、商品（ケーキ）を訴求する情報表現を変化させることも可能である。 In addition, as shown below, it is also possible to change the information expression for appealing the product (cake) according to the distance between the video display and the person.
（１）人が映像ディスプレイから遠いと大きな音声で「ケーキはいかがですか」と呼びかける。映像はケーキのイメージ映像で文字は含まれない（条件例：［Ｆ７８９］）。 (1) When a person is far from the video display, he calls out “How about a cake?” With a loud voice. The image is an image image of a cake and does not include characters (condition example: [F789]).
（２）人が映像ディスプレイに近付いてくると、ケーキの種類の数やそれらの名前がわかる程度の見出し文字を映像として提示する（条件例：Ｆ８５）．
（３）人が映像ディスプレイに最も近付くと、そのケーキの精細な動画映像や詳細なテキスト情報などを提示する（条件例：ｆ８５２）。
(2) When a person approaches the video display, a heading character that shows the number of cake types and their names is presented as a video (condition example: F85).
(3) When a person comes closest to the video display, a detailed moving picture video or detailed text information of the cake is presented (condition example: f852).
（４）人が映像ディスプレイから離れて行くときは、違う種類のケーキを提示して関心を惹くようにする（条件例：２５）。 (4) When a person goes away from the video display, a different type of cake is presented to attract attention (condition example: 25).
（５）人がそのスポットから出て行くときは「またお願いします」という（条件例［１４７８９６３］［ＬＦＲ］）。 (5) When a person leaves the spot, he / she says "Please do it again" (condition example [1478963] [LFR]).
上記のように本発明によれば、正規表現を用いることにより、スポットにおける人物の多種多様な位置移動を簡潔に記述することができる。すなわち、スポットにおける人物の多種多様な位置移動を条件として扱うシステムを構築することが可能となる。 As described above, according to the present invention, it is possible to simply describe various position movements of a person in a spot by using a regular expression. That is, it is possible to construct a system that handles a variety of position movements of a person at a spot.
また、正規表現による記述手法は計算機との親和性が高く、計算機において容易に処理可能である。 In addition, the description method using regular expressions has high compatibility with a computer and can be easily processed by the computer.
なお、上記の図４に示す人流情報処理装置の構成要素をプログラムとして構築し、人流情報処理装置として利用されるコンピュータにインストールして、ＣＰＵに実行させる、または、ネットワークを介して流通させることが可能である。 The components of the human flow information processing apparatus shown in FIG. 4 described above can be constructed as a program, installed in a computer used as the human flow information processing apparatus, executed by the CPU, or distributed via a network. Is possible.
また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。 Further, the constructed program can be stored in a portable storage medium such as a hard disk, a flexible disk, or a CD-ROM, and can be installed or distributed in a computer.
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications can be made within the scope of the claims.
本発明は、人の流動量を計測するシステムやディジタルサイネージに適用可能である。 The present invention is applicable to a system for measuring the amount of human flow and digital signage.
１０ 画像データ取得手段、カメラセンサ
２０ 履歴データ付与手段、履歴データ付与部
３０ 条件編集・マッチ手段、条件編集・マッチ処理部
４０ 条件記憶手段、条件ＤＢ
５０ 表示手段、映像表示部
６０ 刺激映像記憶手段、刺激映像ＤＢ
DESCRIPTION OF SYMBOLS 10 Image data acquisition means, Camera sensor 20 History data provision means, History data provision part 30 Condition edit / match means, Condition edit / match processing part 40 Condition storage means, condition DB
50 Display means, video display section 60 Stimulus video storage means, stimulus video DB
Claims (6)
履歴データ付与手段が、前記ビデオカメラで撮影したビデオデータを取得し、背景を除去して人影を前景として抽出し、人影オブジェクトとし、該人影オブジェクトの位置を取得して記憶手段に保持し、該人影オブジェクトの位置が前回の位置と異なる場合には、履歴データを付与して該記憶手段に格納する履歴データ付与ステップと、
条件編集・マッチ手段が、前記記憶手段に格納されている前記履歴データが、条件記憶手段に格納されている正規表現で記述された条件と適合するかを判定し、適合する場合には、刺激映像記憶手段から、該条件と関連付けられている刺激映像を取得して表示手段に表示する条件判定ステップと、
を行うことを特徴とする人流情報処理方法。 A human flow information processing method for extracting a human figure from an image acquired by a video camera and capturing the position and movement of a person,
The history data providing means acquires video data taken by the video camera, removes the background and extracts a human figure as a foreground, obtains a human figure object, acquires the position of the human figure object, holds it in the storage means, If the position of the figure object is different from the previous position, a history data giving step of giving history data and storing it in the storage means;
Condition editing / matching means determines whether the history data stored in the storage means matches the condition described by the regular expression stored in the condition storage means. A condition determination step of acquiring a stimulus image associated with the condition from the image storage means and displaying the stimulus image on the display means;
Human flow information processing method characterized by performing.
請求項１記載の人流情報処理方法。 The human flow information processing method according to claim 1, wherein a place (spot) to be photographed by the video camera is divided into a plurality of cells, and a notation method of the position and movement of the human shadow object is represented by a regular expression of the name of the cell.
前記ビデオカメラで撮影したビデオデータを取得する画像データ取得手段と、
前記ビデオデータから背景を除去して人影を前景として抽出し、人影オブジェクトとし、該人影オブジェクトの位置を取得して記憶手段に保持し、該人影オブジェクトの位置が前回の位置と異なる場合には、履歴データを付与して該記憶手段に格納する履歴データ付与手段と、
前記記憶手段に格納されている前記履歴データが、条件記憶手段に格納されている正規表現で記述された条件と適合するかを判定し、適合する場合には、刺激映像記憶手段から、該条件と関連付けられている刺激映像を取得して表示手段に表示する条件編集・マッチ手段と、
を有することを特徴とする人流情報処理装置。 A human flow information processing device for extracting a human figure from an image acquired by a video camera and capturing the position and movement of a person,
Image data acquisition means for acquiring video data captured by the video camera;
When the background is removed from the video data, a human figure is extracted as a foreground, a human object is obtained, the position of the human object is acquired and stored in the storage means, and when the position of the human object is different from the previous position, History data giving means for giving history data and storing it in the storage means;
It is determined whether or not the history data stored in the storage means matches a condition described by a regular expression stored in the condition storage means. The condition editing / matching means for acquiring the stimulus image associated with the information and displaying it on the display means,
A human flow information processing apparatus characterized by comprising:
請求項３記載の人流情報処理装置。 The human flow information processing apparatus according to claim 3, wherein a place (spot) to be photographed by the video camera is divided into a plurality of cells, and a notation method of the position and movement of the human shadow object is expressed by a regular expression of the name of the cell.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008307923A JP4931895B2 (en) | 2008-12-02 | 2008-12-02 | Human flow information processing method and apparatus, program, and computer-readable recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008307923A JP4931895B2 (en) | 2008-12-02 | 2008-12-02 | Human flow information processing method and apparatus, program, and computer-readable recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010134560A true JP2010134560A (en) | 2010-06-17 |
| JP4931895B2 JP4931895B2 (en) | 2012-05-16 |
Family
ID=42345823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008307923A Active JP4931895B2 (en) | 2008-12-02 | 2008-12-02 | Human flow information processing method and apparatus, program, and computer-readable recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4931895B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020133278A1 (en) * | 2018-12-28 | 2020-07-02 | 深圳市柔宇科技有限公司 | Method and apparatus for monitoring volume of flow of people, and related device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06223157A (en) * | 1992-09-30 | 1994-08-12 | Shimizu Corp | Moving body detection system by image sensor |
| JP2002010181A (en) * | 2000-06-22 | 2002-01-11 | Toshiba Corp | Method and apparatus for extracting moving route as well as storage medium |
| JP2003022309A (en) * | 2001-07-06 | 2003-01-24 | Hitachi Ltd | Device for managing facility on basis of flow line |
| JP2003256843A (en) * | 2002-02-26 | 2003-09-12 | Oki Electric Ind Co Ltd | Measurement system |
| JP2006215842A (en) * | 2005-02-04 | 2006-08-17 | Hitachi Omron Terminal Solutions Corp | Human movement line tracing system and advertisement display control system |
-
2008
- 2008-12-02 JP JP2008307923A patent/JP4931895B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06223157A (en) * | 1992-09-30 | 1994-08-12 | Shimizu Corp | Moving body detection system by image sensor |
| JP2002010181A (en) * | 2000-06-22 | 2002-01-11 | Toshiba Corp | Method and apparatus for extracting moving route as well as storage medium |
| JP2003022309A (en) * | 2001-07-06 | 2003-01-24 | Hitachi Ltd | Device for managing facility on basis of flow line |
| JP2003256843A (en) * | 2002-02-26 | 2003-09-12 | Oki Electric Ind Co Ltd | Measurement system |
| JP2006215842A (en) * | 2005-02-04 | 2006-08-17 | Hitachi Omron Terminal Solutions Corp | Human movement line tracing system and advertisement display control system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020133278A1 (en) * | 2018-12-28 | 2020-07-02 | 深圳市柔宇科技有限公司 | Method and apparatus for monitoring volume of flow of people, and related device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4931895B2 (en) | 2012-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8891855B2 (en) | Information processing apparatus, information processing method, and program for generating an image including virtual information whose size has been adjusted | |
| JP4859876B2 (en) | Information processing device | |
| JP2020503574A (en) | Delivery of onlooker feedback content to virtual reality environments provided by head-mounted displays | |
| US9697869B2 (en) | Methods, systems and apparatuses for multi-directional still pictures and/or multi-directional motion pictures | |
| TWI779343B (en) | Method of a state recognition, apparatus thereof, electronic device and computer readable storage medium | |
| US20120056898A1 (en) | Image processing device, program, and image processing method | |
| US20120057794A1 (en) | Image processing device, program, and image procesing method | |
| JP5004777B2 (en) | Efficient action history recording and playback method in virtual space | |
| US20160321833A1 (en) | Method and apparatus for generating moving photograph based on moving effect | |
| EP3070681A1 (en) | Display control device, display control method and program | |
| US10970932B2 (en) | Provision of virtual reality content | |
| WO2022252688A1 (en) | Augmented reality data presentation method and apparatus, electronic device, and storage medium | |
| JP4931895B2 (en) | Human flow information processing method and apparatus, program, and computer-readable recording medium | |
| EP3208727B1 (en) | Information processing apparatus, information processing method and program | |
| JP2019200475A (en) | Activity evaluation program, apparatus, and method | |
| JP2011081557A (en) | Information processor, method of processing information, and program | |
| JP7084962B2 (en) | Estimator program, estimator, estimation method, generation program, generation device and generation method | |
| CN110764676B (en) | Information resource display method and device, electronic equipment and storage medium | |
| EP3903177B1 (en) | Asynchronous communications in mixed-reality | |
| JP7339092B2 (en) | Information processing equipment and virtual customer service system | |
| US9864890B1 (en) | Systems and methods for contextualizing data obtained from barcode images | |
| CN111625099B (en) | Animation display control method and device | |
| US20240112427A1 (en) | Location-based virtual resource locator | |
| CN113362474A (en) | Augmented reality data display method and device, electronic equipment and storage medium | |
| CN111914104A (en) | Video and audio special effect processing method and device and machine-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110606 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110719 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110920 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111101 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120113 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20120123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120210 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120214 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4931895 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150224 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |