JP2014232362A - System for analyzing and predicting moving object action - Google Patents
System for analyzing and predicting moving object action Download PDFInfo
- Publication number
- JP2014232362A JP2014232362A JP2013111886A JP2013111886A JP2014232362A JP 2014232362 A JP2014232362 A JP 2014232362A JP 2013111886 A JP2013111886 A JP 2013111886A JP 2013111886 A JP2013111886 A JP 2013111886A JP 2014232362 A JP2014232362 A JP 2014232362A
- Authority
- JP
- Japan
- Prior art keywords
- interest level
- flow line
- customer
- moving object
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 230000000694 effects Effects 0.000 claims description 39
- 230000006399 behavior Effects 0.000 description 121
- 238000000034 method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 6
- 230000003252 repetitive effect Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Abstract
Description
本発明は、移動体行動分析・予測装置に関し、特に、カメラによって撮影された映像から移動体の動線および振る舞いなどの行動を分析し、移動体の続く行動を予測できる移動体行動分析・予測装置に関する。 The present invention relates to a mobile body behavior analysis / prediction device, and in particular, a mobile body behavior analysis / prediction capable of analyzing a behavior of a mobile body such as a flow line and behavior from a video taken by a camera and predicting a mobile body's subsequent behavior. Relates to the device.
小売店や量販店などでは顧客の動きや振る舞いなどから商品に対する関心度を推定でき、この推定に基づいて顧客が関心を示す商品を推薦できる。これは、店員の目視・判断により可能であるが、店舗内に設置されたカメラによって撮影された映像から顧客の動線や振る舞いなどの行動を観測すれば、顧客の商品に対する関心度を客観的に推定でき、これにより、顧客が関心を示す商品を適切かつ効率的に推薦できる。また、カメラによって撮影された映像から顧客の動線や振る舞いなどの行動を分析し、顧客の続く動線レベルおよび関心度レベルでの行動をオンラインで予測することも、顧客が関心を示す商品を効率的に推薦したり、商品の陳列やレイアウトを設定したりする上で有効である。 In retail stores and mass retailers, the degree of interest in a product can be estimated from the movement and behavior of the customer, and based on this estimation, a product that the customer is interested in can be recommended. This can be done by visual observation / judgment by the store clerk, but by observing behaviors such as customer traffic lines and behavior from images taken by cameras installed in the store, the customer's interest in the product is objective. This makes it possible to appropriately and efficiently recommend products that the customer is interested in. It is also possible to analyze customer behaviors such as traffic lines and behaviors from video captured by the camera, and predict customer behaviors at the traffic level and interest level online. It is effective for recommending efficiently and setting the display and layout of products.
特許文献１には、現場を複数の地理的現場に分割した上で、各地理的現場において物体の活動を検出して活動分布を識別し、時間帯にわたる活動分布に基づいて時間的活動セグメントを識別し、時間的活動セグメントに基づいて観察パターンを識別する方法が開示されている。 In Patent Literature 1, after dividing a site into a plurality of geographical sites, the activity of an object is detected in each geographical site to identify the activity distribution, and a temporal activity segment is determined based on the activity distribution over time. A method for identifying and identifying observation patterns based on temporal activity segments is disclosed.
特許文献２には、群衆の活動エリアおよび活動エリアにおける群衆の行動履歴に基づいて、エリア間の移動頻度モデルを推定する行動予測装置が開示されている。 Patent Document 2 discloses a behavior prediction device that estimates a movement frequency model between areas based on the crowd activity area and the behavior history of the crowd in the activity area.
特許文献３には、人物画像を認識し、その仮想重心点の瞬間移動速度と移動時間を計測して、商品に関する関心度情報を出力する商品関心度計測装置が開示されている。 Patent Document 3 discloses a product interest level measuring device that recognizes a person image, measures the instantaneous moving speed and moving time of the virtual center of gravity, and outputs interest level information about the product.
特許文献１に開示されている方法は、センサなどを用いて小売場面の顧客などの活動パターンといった低レベルの活動を可視化するものであり、顧客の関心度などといった高レベルの活動を可視化するものでない。また、これは、顧客の今までに観測された動線や関心度から顧客の続く動線や関心を予測するものでもない。 The method disclosed in Patent Document 1 visualizes low-level activities such as activity patterns of customers in retail scenes using sensors and the like, and visualizes high-level activities such as customer interest levels. Not. Further, this does not predict the flow line or interest that the customer continues from the flow line or interest level that has been observed so far.
特許文献２に開示されている行動予測装置は、無線タグシステムの活用などによって顧客の行動を店舗内の移動履歴として観測するものであり、これも顧客の関心度などといった高レベルの行動を観測するものでない。また、これも、顧客の今までに観測された動線や関心度から顧客の続く動線や関心を予測するものでもない。 The behavior prediction device disclosed in Patent Document 2 observes a customer's behavior as a movement history in a store by utilizing a wireless tag system, and this also observes a high level behavior such as a customer's interest level. Not what you want to do. In addition, this does not predict the flow line or interest that the customer continues from the flow line or interest level that has been observed so far.
特許文献３に開示された商品関心度計測装置は、人物画像の仮想重心点の瞬間移動速度と移動時間から滞在時間を求め、この滞在時間に基づく関心度を登録するだけであり、これも、顧客の今までに観測された動線や関心度から顧客の続く動線や関心を予測するものでない。 The merchandise interest level measuring device disclosed in Patent Document 3 simply calculates the stay time from the instantaneous moving speed and moving time of the virtual center of gravity of the person image, and registers the interest level based on the stay time. It is not intended to predict the flow or interest of the customer that follows from the flow or interest of the customer that has been observed so far.
本発明の目的は、カメラによって取得された映像から顧客などの移動体の動線および関心度を観測し、移動体の続く行動を予測できる移動体行動分析・予測装置を提供することにある。 An object of the present invention is to provide a moving body behavior analysis / prediction device capable of observing a flow line and an interest level of a moving body such as a customer from an image acquired by a camera and predicting a subsequent action of the moving body.
上記課題を解決するため、本発明は、カメラによって撮影された映像から移動体の行動を分析し、予測する移動体行動分析・予測装置であって、カメラによって撮影された映像中に出現する移動体を検出する移動体検出手段と、前記移動体検出手段により検出された移動体に識別子を付与する識別子付与手段と、前記識別子付与手段により識別子が付与された移動体を追跡し、その位置を動線として取得する追跡手段と、前記追跡手段により取得された移動体の位置を、前記識別子付与手段により付与された識別子とともに動線データとして記録する記録手段と、観測中の移動体の動線データと前記記録手段に記録済みの移動体の動線データの類似度を算出し、該類似度が大である記録済みの移動体の動線データから、観測中の移動体の続く動線レベルでの行動を予測する動線予測手段を備える点に第１の特徴がある。 In order to solve the above-mentioned problems, the present invention is a moving body behavior analysis / prediction device that analyzes and predicts the behavior of a moving body from an image captured by a camera, and the movement appears in the image captured by the camera. A mobile body detecting means for detecting a body; an identifier providing means for assigning an identifier to the mobile body detected by the mobile body detecting means; and a mobile body to which an identifier is assigned by the identifier providing means is tracked, and the position thereof is tracked. Tracking means for acquiring as a flow line, recording means for recording the position of the moving body acquired by the tracking means as flow line data together with the identifier given by the identifier giving means, and the flow line of the moving body under observation The similarity between the data and the flow line data of the moving object already recorded in the recording means is calculated, and the moving object being observed is followed by the flow line data of the recorded moving object whose similarity is large. There is a first feature in that it comprises a flow line prediction means for predicting the behavior of a line level.
また、本発明は、前記動線予測手段が、観測中の移動体の動線データと記録済みの移動体の動線データとの類似度として、任意にサンプリングした動線上の位置における距離の絶対値差分を算出する点に第２の特徴がある。 Further, the present invention provides the absolute value of the distance at the position on the flow line arbitrarily sampled as the similarity between the flow line data of the moving object being observed and the recorded flow line data of the moving object. The second feature is that the value difference is calculated.
また、本発明は、さらに、関心度データ推定手段および関心度予測手段を備え、前記関心度データ推定手段は、前記追跡手段により追跡された移動体の顔領域の注視方向を推定し、前記記録手段は、さらに、前記関心度データ推定手段により推定された注視方向を第１関心度データとして記録し、前記関心度予測手段は、観測中の移動体の第１関心度データと前記記録手段に記録済み他移動体の第１関心度データの類似度を算出し、該類似度が大である他移動体の第１関心度データから、観測中の移動体の続く関心度レベルでの行動を予測する点に第３の特徴がある。 In addition, the present invention further includes an interest level data estimation unit and an interest level prediction unit, wherein the interest level data estimation unit estimates a gaze direction of a face area of a moving body tracked by the tracking unit, and records the recording data. The means further records the gaze direction estimated by the interest level data estimation unit as first interest level data, and the interest level prediction unit stores the first interest level data of the moving object being observed and the recording unit. The degree of similarity of the first interest level data of the other moving body that has been recorded is calculated, and the behavior at the level of interest level of the moving body that is being observed is calculated from the first interest level data of the other moving body that has a high degree of similarity. There is a third feature in the point of prediction.
また、本発明は、前記関心度データ推定手段が、カメラによって撮影された映像中の移動体の大きさを測定する測定手段と、前記測定手段により測定された移動体の大きさと一般的な移動体の大きさに対する頭部の相対的な大きさの関係から、前記移動体検出手段により検出された移動体における頭部を検出する頭部検出手段と、前記頭部検出手段により検出された頭部における顔領域を抽出し、頭部と顔領域の相対面積から顔領域の注視方向を推定する注視方向推定手段を備える点に第４の特徴がある。 In the present invention, the interest level data estimation means may be a measuring means for measuring the size of a moving object in an image captured by a camera, and the size and general movement of the moving object measured by the measuring means. From the relationship of the relative size of the head to the size of the body, head detection means for detecting the head in the moving body detected by the moving body detection means, and the head detected by the head detection means There is a fourth feature in that it includes gaze direction estimation means for extracting the face area in the head and estimating the gaze direction of the face area from the relative area of the head and face area.
また、本発明は、前記関心度データ推定手段が、さらに、移動体の動作アクティビティを推定する推定手段を備え、前記記録手段は、さらに、前記関心度データ推定手段により推定された移動体の動作アクティビティを第２関心度データとして記録し、前記関心度予測手段は、さらに、観測中の移動体の第２関心度データと記録済みの移動体の第２関心度データの類似度を算出し、該類似度から観測中の移動体の続く関心度レベルでの行動を予測する点に第５の特徴がある。 Further, according to the present invention, the interest level data estimation unit further includes an estimation unit for estimating the motion activity of the mobile object, and the recording unit further includes the motion of the mobile object estimated by the interest level data estimation unit. An activity is recorded as second interest level data, and the interest level predicting means further calculates a similarity between the second interest level data of the moving object being observed and the second interest level data of the recorded moving object, A fifth feature is that the behavior at the level of interest level of the moving object being observed is predicted from the similarity.
また、本発明は、前記関心度データ推定手段が、移動体の動作アクティビティを推定するため、前記追跡手段により追跡された移動体の腕あるいは上半身の動きの動きベクトルを算出する動きベクトル算出手段と、前記追跡手段により追跡された移動体の大きさで正規化された動きベクトルを算出する正規化動きベクトル算出手段と、前記正規化動きベクトル算出手段により算出された動きベクトルを所定閾値と比較することにより移動体の動作アクティビティの１動作単位を推定する動作単位推定手段と、前記動作単位推定手段により検出された１動作単位の反復回数または時間間隔の少なくとも一方を算出する算出手段を備える点に第６の特徴がある。 Further, the present invention provides the motion vector calculation means for calculating the motion vector of the motion of the arm or upper body of the mobile body tracked by the tracking means so that the interest level data estimation means estimates the motion activity of the mobile body. The normalized motion vector calculation means for calculating the motion vector normalized by the size of the moving body tracked by the tracking means, and the motion vector calculated by the normalized motion vector calculation means is compared with a predetermined threshold value. And a calculation unit for calculating at least one of the number of repetitions or the time interval of one motion unit detected by the motion unit estimation unit. There is a sixth feature.
また、本発明は、動線データと関心度データが、別々の行動プロファイルとして階層化されて記録され、前記関心度予測手段は、動線データについて類似度と関心度データについての類似度を別々に算出する点に第７の特徴がある。 Further, according to the present invention, the flow line data and the interest level data are hierarchized and recorded as separate behavior profiles, and the interest level predicting unit separately calculates the similarity level for the flow line data and the similarity level for the interest level data. There is a seventh feature in the point of calculation.
本発明では、小売店や量販店などの店舗内の顧客監視エリアのカメラ映像から観測中の顧客の動線を観測し、それから動線レベルでの続く行動を予測し、また、顧客の動作アクティビティを観測し、それから関心度レベルでの続く行動を予測するので、顧客の動線および関心度に応じた商品を推薦できる。また、観測中の顧客の動線や関心度を、それに類似した動線や関心度を持つ記録済み顧客の行動からリアルタイムで予測できるので、観測中の顧客の移動先エリアや商品を適切に推薦できる。さらに、顧客の動線や関心度から商品の陳列やレイアウトを適切に設定することもできるようになる。 In the present invention, the flow line of the customer being observed is observed from the camera image of the customer monitoring area in a store such as a retail store or a mass sales store, and then the subsequent behavior at the flow line level is predicted, and the operation activity of the customer And then predicting the subsequent behavior at the interest level, so that products can be recommended according to the flow of the customer and the interest level. In addition, the flow and interest level of the customer under observation can be predicted in real time from the behavior of recorded customers with similar flow and interest levels. it can. Furthermore, the display and layout of products can be appropriately set based on the flow of customers and the degree of interest.
以下、図面を参照して本発明を説明する。以下では、小売店や量販店などの店舗内に設置された単一のカメラによって撮影された映像(以下、カメラ映像と称する。) から単一の顧客の動線および関心度を観測し、顧客の続く動線レベルおよび関心度レベルでの行動を予測する場合について説明するが、本発明は、顧客の動線だけを観測し、動線レベルでの続く行動を予測するものとして構成することもできる。 The present invention will be described below with reference to the drawings. In the following, the flow and interest level of a single customer is observed from a video (hereinafter referred to as a camera video) taken by a single camera installed in a store such as a retail store or mass retailer. However, the present invention may be configured to observe only the customer's flow line and predict the subsequent action at the flow line level. it can.
図１は、本発明に係る移動体行動分析・予測装置の一実施形態を示すブロック図である。本実施形態の移動体行動分析・予測装置は、移動体検出部11、移動体識別子付与部12、移動体追跡部13、動線データ記録部14、店舗内行動プロファイル蓄積部15、関心度データ推定部16、関心度データ記録部17、動線データ類似度算出部18、移動体動線予測部19、関心度データ類似度算出部20、移動体関心度予測部21および移動体行動予測部22を備える。これらの各部は、プロセッサの一部としてソフトウエアで構成でき、ハードウエアでも構成できる。 FIG. 1 is a block diagram showing an embodiment of a mobile behavior analysis / prediction device according to the present invention. The mobile body behavior analysis / prediction device of this embodiment includes a mobile body detection unit 11, a mobile body identifier assigning unit 12, a mobile body tracking unit 13, a flow line data recording unit 14, an in-store behavior profile storage unit 15, and interest level data. Estimating unit 16, interest level data recording unit 17, flow line data similarity calculating unit 18, moving body flow line predicting unit 19, interest level data similarity calculating unit 20, moving body interest level predicting unit 21, and moving body behavior predicting unit 22 is provided. Each of these units can be configured by software as a part of the processor, and can also be configured by hardware.
移動体検出部11は、カメラ映像を入力とし、カメラ撮影区域内に入ってきた顧客を顧客オブジェクトとして検出する。カメラは、例えば、店舗内の天井付近の壁面に斜め下方に向けて設置される。ここでは単一のカメラを想定しているので、カメラ撮影区域は、店舗内での顧客行動観測エリア(顧客監視エリア) 全体である。顧客オブジェクトは、例えば、カメラ映像における変化部分を背景差分法などで抽出すれば検出できる。なお、店員オブジェクトは、制服の色などの画像特徴や、店舗内の滞在時間や動線データなどの行動特徴により顧客オブジェクトと区別できる。 The moving body detection unit 11 receives a camera image as an input, and detects a customer who has entered the camera shooting area as a customer object. For example, the camera is installed obliquely downward on a wall surface near the ceiling in the store. Since a single camera is assumed here, the camera shooting area is the entire customer behavior observation area (customer monitoring area) in the store. The customer object can be detected, for example, by extracting the changed part in the camera video by the background subtraction method or the like. Note that the store clerk object can be distinguished from the customer object by image characteristics such as a uniform color and behavior characteristics such as stay time in the store and flow line data.
カメラ撮影区域内に入ってきた顧客は、移動体検出部11により顧客オブジェクトとして検出される。移動体識別子付与部12は、移動体検出部11により検出された顧客オブジェクトに識別子を付与する。 A customer that has entered the camera photographing area is detected as a customer object by the moving object detection unit 11. The moving object identifier assigning unit 12 assigns an identifier to the customer object detected by the moving object detecting unit 11.
移動体追跡部13は、移動体検出部11により検出された顧客オブジェクトを連続的に観測して追跡する。これにより、時間経過に伴う顧客の位置から、顧客オブジェクトの動線データが得られる。動線データにおける顧客の位置は、足先などとすればよく、その位置は、カメラ映像における2次元座標位置でもよいし、顧客行動観測エリアにおける2次元座標位置でもよい。移動体の追跡の手法は既知であり、ここでの追跡の手法は、どのようなものでもよい。 The moving body tracking unit 13 continuously observes and tracks the customer objects detected by the moving body detection unit 11. Thereby, the flow line data of the customer object can be obtained from the position of the customer over time. The position of the customer in the flow line data may be a foot or the like, and the position may be a two-dimensional coordinate position in the camera image or a two-dimensional coordinate position in the customer behavior observation area. The tracking method of the moving object is known, and any tracking method may be used here.
動線データ記録部14は、移動体追跡部13により得られた顧客オブジェクトの動線データを店舗内行動プロファイル蓄積部15の店舗内行動プロファイルに記録する。動線データは、連続的に記録してもよいし、所定タイミング間隔で記録してもよい。 The flow line data recording unit 14 records the flow line data of the customer object obtained by the moving body tracking unit 13 in the in-store behavior profile of the in-store behavior profile storage unit 15. The flow line data may be recorded continuously or at a predetermined timing interval.
動線データは、顧客の位置の他に、顧客識別子(顧客オブジェクトに付与された識別子)と時刻を含む。 The flow line data includes a customer identifier (an identifier assigned to the customer object) and a time in addition to the customer position.
店舗内行動プロファイル蓄積部15の店舗内行動プロファイルは、第1および第2階層からなり、顧客オブジェクトの動線データは、その第1階層に記録される。ここに記録された動線データは、顧客が顧客行動観測エリア内をどのような動線で辿ったかを表す。なお、店舗内行動プロファイルの第2階層には、後述する関心度データが記録される。 The in-store behavior profile of the in-store behavior profile accumulating unit 15 includes first and second layers, and the flow line data of the customer object is recorded in the first layer. The flow line data recorded here represents what flow line the customer has traced in the customer behavior observation area. Note that interest level data, which will be described later, is recorded in the second layer of the in-store behavior profile.
関心度データ推定部16は、関心度観測エリア内に顧客が滞留するときの顧客の行動を観測し、その行動から顧客の関心度データを推定する。関心度観測エリアは、顧客行動観測エリア内で商品が陳列などされていて顧客が滞留することが予測される区域に事前に設定される。顧客の行動は、顧客オブジェクトを分析することにより観測される。 The interest level data estimation unit 16 observes the customer behavior when the customer stays in the interest level observation area, and estimates the customer interest level data from the behavior. The interest level observation area is set in advance in an area where products are displayed in the customer behavior observation area and the customer is expected to stay. Customer behavior is observed by analyzing customer objects.
顧客の関心度データは、例えば、顧客が商品などを注視したときの注視方向である。顧客の注視方向は、顧客が関心度観測エリア内に入り、そこに滞留している継続時間において観測される。その注視方向は、その方向に陳列されている商品などに対する顧客の関心を表すので、例えば、関心度観測エリア内において顧客が継続的あるいは繰り返し注視する方向を、顧客に対する関心度データとすることができる。なお、関心度観測エリア内での顧客の注視方向と陳列されている商品などとの関係は、事前に分かっているものとする。 The customer interest level data is, for example, a gaze direction when the customer gazes at a product or the like. The customer's gaze direction is observed during the duration that the customer enters and stays in the interest level observation area. Since the gaze direction represents the customer's interest in the products displayed in that direction, for example, the direction in which the customer gazes continuously or repeatedly in the interest level observation area may be used as the interest level data for the customer. it can. It is assumed that the relationship between the customer's gaze direction in the interest level observation area and the displayed products is known in advance.
顧客の注視方向を推定するには、まず、顧客を含む画像から顧客オブジェクトの大きさ(身長)を推定し、その上で顧客の頭部の大きさを推定する。頭部の大きさは、顧客オブジェクトの大きさと一般的な人物の身長に対する頭部の相対的な大きさの関係から推定できる。次に、推定された頭部の大きさで、顧客オブジェクトから頭部画像を抽出し、さらに、頭部画像から顔領域を検出する。顔領域は、頭部画像から肌色部分を抽出することで検出できる。続いて、頭部に対する顔領域の相対的面積を算出し、この相対的面積および頭部における顔領域の位置から顧客の顔の向きを推定する。顧客の顔の向きは、例えば、45度ずつの8分割の方向として推定すればよい。このような手法によれば、テクスチャや形状などから顧客オブジェクトの頭部や顔領域を良好に識別できない場合でもそれらを良好に識別し、顔の向きを推定できる。 In order to estimate the customer's gaze direction, first, the size (height) of the customer object is estimated from the image including the customer, and then the size of the customer's head is estimated. The size of the head can be estimated from the relationship between the size of the customer object and the relative size of the head with respect to the height of a general person. Next, a head image is extracted from the customer object with the estimated head size, and a face region is detected from the head image. The face area can be detected by extracting a skin color portion from the head image. Subsequently, the relative area of the face area with respect to the head is calculated, and the orientation of the customer's face is estimated from the relative area and the position of the face area on the head. The orientation of the customer's face may be estimated as, for example, a direction of 8 divisions of 45 degrees. According to such a method, even when the head and face area of the customer object cannot be identified well from the texture, shape, etc., they can be identified well and the face orientation can be estimated.
例えば、頭部の大きさ(面積)がFであり、顔領域の大きさ(面積)がF/2の場合、顧客の顔は、カメラの光軸方向に対して垂直の方向を向いていると推定できる。また、顧客の顔が左右どちら向きであるかは、顔領域(肌色領域)が頭部の左右どちら側にあるかで分かる。 For example, if the size (area) of the head is F and the size (area) of the face region is F / 2, the customer's face is oriented in a direction perpendicular to the optical axis direction of the camera. Can be estimated. Whether the customer's face is facing left or right can be determined by whether the face area (skin color area) is on the left or right side of the head.
関心度データの他の例は、腕や上半身の動きなど、顧客の動作アクティビティ(振る舞い)である。例えば、顧客が陳列棚から商品を取り出して戻すなどといった動作アクティビティの反復回数や商品を取り出して戻すまでの時間間隔は、その商品に対する顧客の関心度を表すので、それを関心度データとすることができる。また、商品を覗き込むといった上半身の動きも、その商品に対する顧客の関心度を表すので、それを関心度データとすることができる。 Another example of interest level data is customer movement activity (behavior), such as arm and upper body movements. For example, the number of repetitions of operation activities, such as when a customer picks up a product from a display shelf and returns it, and the time interval until the product is picked up returns the customer's interest in that product. Can do. Further, the movement of the upper body such as looking into a product also represents the degree of interest of the customer with respect to the product, so that it can be used as interest level data.
顧客の動作アクティビティの反復回数は、顧客が関心度観測エリアに入り、そこに滞留している継続時間内での1動作単位の動作アクティビティの反復回数として求められる。また、顧客が陳列棚から商品を取り出して戻すまでの時間間隔は、動作アクティビティの1動作単位に要した時間として求められる。なお、動作アクティビティの1動作単位は、例えば、顧客の腕や上半身の動きベクトルの大きさから求めることができる。具体的には、顧客オブジェクトの腕や上半身の動きベクトルをフレームごとに算出し、顧客オブジェクトの大きさ(身長)で正規化し、その動きベクトルの大きさと所定閾値を比較することで1動作単位を求めることができる。なお、顧客オブジェクトにおける動作アクティビティには、MPEG-7で規定されているMotion Activity Descriptorなどを利用できる。 The number of repetitions of the operation activity of the customer is obtained as the number of repetitions of the operation activity of one operation unit within the duration in which the customer enters the interest level observation area and stays there. Further, the time interval until the customer takes out the product from the display shelf and returns it is calculated as the time required for one operation unit of the operation activity. Note that one motion unit of motion activity can be obtained, for example, from the magnitude of the motion vector of the customer's arm or upper body. Specifically, the motion vector of the customer object's arm or upper body is calculated for each frame, normalized by the size (height) of the customer object, and the motion vector size is compared with a predetermined threshold to determine one motion unit. Can be sought. For the motion activity in the customer object, a Motion Activity Descriptor defined in MPEG-7 can be used.
図２は、時間経過(横軸) Tと顧客の腕の動作アクティビティの大きさ(縦軸) MAの関係の一例を示す図である。ここで、Dは、関心度観測エリアでの顧客の滞留時間を示し、M(1),M(2),・・・,M(N)は、正規化された腕の動作アクティビティの大きさと所定閾値の比較により求められる顧客の１単位動作を示す。 FIG. 2 is a diagram showing an example of the relationship between the passage of time (horizontal axis) T and the magnitude of the activity activity of the customer's arm (vertical axis) MA. Here, D represents the customer's residence time in the interest level observation area, and M (1), M (2), ..., M (N) are the magnitudes of the normalized arm movement activities. 1 unit operation of a customer obtained by comparison of predetermined thresholds
関心度データ推定部16は、以上のようにして推定された顧客の注視方向、動作アクティビティの反復回数や動作時間間隔を適宜組み合わせて関心度データとする。 The interest level data estimation unit 16 generates the interest level data by appropriately combining the customer's gaze direction, the number of repetitions of the motion activity, and the motion time interval estimated as described above.
関心度データ記録部17は、関心度データ推定部16により推定された関心度データを店舗内行動プロファイル蓄積部15の店舗内行動プロファイルに記録する。ここでは、関心度観測エリア内で逐次観測された顧客の注視方向を連続的に記録してもよいし、その最頻値だけを記録してもよい。また、動作アクティビティの反復回数や動作時間間隔はそのまま記録すればよい。 The interest level data recording unit 17 records the interest level data estimated by the interest level data estimation unit 16 in the in-store behavior profile of the in-store behavior profile storage unit 15. Here, the customer's gaze direction observed sequentially in the interest level observation area may be recorded continuously, or only the mode value may be recorded. Further, the number of repetitions of the operation activity and the operation time interval may be recorded as they are.
関心度データは、店舗内行動プロファイル部15の店舗内行動プロファイルの第1階層の動線データとともに、第2階層に記録される。店舗内行動プロファイルの第2階層に記録された関心度データは、顧客が関心を示した商品などを表す。 The interest level data is recorded in the second layer together with the flow line data in the first layer of the in-store behavior profile of the in-store behavior profile unit 15. The degree-of-interest data recorded in the second layer of the in-store behavior profile represents a product that the customer has shown interest in.
以上のように、移動体検出部11と移動体識別子付与部12と移動体追跡部13により顧客の動線を観測し、これを動線データとして店舗内行動プロファイルの第1階層に記録し、さらに、関心度データ推定部16により推定された顧客の注視方向や動作アクティビティなどの関心度を関心度データとして店舗内行動プロファイルの第2階層に記録する。なお、カメラ映像から顔領域が検出されない場合、顧客の注視方向の関心度データは記録されない。また、遮蔽物などにより顧客の動作アクティビティを推定できない場合、その関心度データは記録されない。 As described above, the movement line of the customer is observed by the moving body detection unit 11, the moving body identifier giving unit 12, and the moving body tracking unit 13, and this is recorded as the flow line data in the first layer of the in-store action profile, Further, the interest level such as the customer's gaze direction and the activity activity estimated by the interest level data estimation unit 16 is recorded as interest level data in the second layer of the in-store behavior profile. Note that, when the face area is not detected from the camera video, the interest level data of the customer's gaze direction is not recorded. In addition, when the customer's motion activity cannot be estimated due to a shield or the like, the interest level data is not recorded.
図３は、顧客C1の行動の一例を模式的に示す図であり、図４は、時刻T(T1, T2, T3)と顧客C1の行動の関係を示す図である。 FIG. 3 is a diagram schematically illustrating an example of the behavior of the customer C1, and FIG. 4 is a diagram illustrating the relationship between the time T (T1, T2, T3) and the behavior of the customer C1.
図３および図４に示すように顧客C1が行動した場合、すなわち、顧客C1は、時刻T1で顧客行動観測エリア内の位置A1であり、時刻T2,T3でそれぞれ位置A2, A3(位置A3は関心度観測エリアL1内の位置とする)であり、位置A3で継続時間Dだけ滞留し、その間における注視方向、動作反復回数、動作時間間隔がそれぞれ、G, P, Iである場合、店舗内行動プロファイル蓄積部15の店舗内行動プロファイルの第1階層および第2階層には、以下の動線データ、関心度データが記録される。顧客C1が顧客行動観測エリアから出て行けば、その動線データおよび関心度データは、記録済み顧客の動線データおよび関心度データとなる。
〈第1階層〉(動線データ)
顧客識別子C1、時刻T1、顧客行動観測エリア内での顧客の位置A1
顧客識別子C1、時刻T2、顧客行動観測エリア内での顧客の位置A2
顧客識別子C1、時刻T3、顧客行動観測エリア内での顧客の位置A3
・・・
〈第2階層〉(関心度データ)
顧客識別子C1、開始時刻T3、継続時間D、観測エリアL1、注視方向G、動作反復回数P、動作時間間隔I
・・・
As shown in FIGS. 3 and 4, when the customer C1 acts, that is, the customer C1 is the position A1 in the customer behavior observation area at the time T1, and the positions A2 and A3 (the position A3 is at the times T2 and T3, respectively). If it stays at the position A3 for the duration D and the gaze direction, the number of motion repetitions, and the operation time interval are G, P, and I, respectively, in the store The following flow line data and interest level data are recorded in the first hierarchy and the second hierarchy of the in-store behavior profile of the behavior profile storage unit 15. When the customer C1 leaves the customer behavior observation area, the flow line data and interest level data become the flow line data and interest level data of the recorded customer.
<First layer> (Flow line data)
Customer identifier C1, time T1, customer position A1 in customer behavior observation area
Customer identifier C1, time T2, customer position A2 in customer behavior observation area
Customer identifier C1, time T3, customer position A3 in customer behavior observation area
...
<Second layer> (Interest level data)
Customer identifier C1, start time T3, duration D, observation area L1, gaze direction G, motion repetition count P, motion time interval I
...
ここで、第1階層(動線データ)における顧客C1の位置A1, A2, A3は、時刻T1, T2, T3において顧客が位置する顧客行動観測エリア内の位置を示す。店舗内行動プロファイルの第1階層に記録された動線データは、時刻とともに顧客が辿った動線を表す。 Here, the positions A1, A2, A3 of the customer C1 in the first hierarchy (flow line data) indicate positions in the customer behavior observation area where the customer is located at the times T1, T2, T3. The flow line data recorded in the first hierarchy of the in-store behavior profile represents the flow line followed by the customer with time.
また、第2階層(関心度データ)における関心度観測エリアL1は、顧客行動観測エリア内に事前に設定されたエリアであり、そこでは商品が陳列などされて顧客が滞留することが予測されている。店舗内行動プロファイルの第2階層に記録された関心度データは、顧客の商品などに対する関心度を表す。 In addition, the interest level observation area L1 in the second hierarchy (interest level data) is an area set in advance in the customer behavior observation area, where it is predicted that products will be displayed and customers will stay. Yes. The interest level data recorded in the second hierarchy of the in-store behavior profile represents the interest level of the customer's product.
本実施形態の移動体行動分析・予測装置は、さらに、観測中の顧客の動線データや関心度データと記録済み顧客の動線データや関心度データの類似度から、観測中の顧客の続く動線や商品などに対する関心度を予測する。本発明の移動体行動分析・予測装置は、このような予測を行う点にも特徴がある。 The mobile body behavior analysis / prediction apparatus according to the present embodiment further continues the observation of the customer based on the similarity between the flow line data and interest level data of the customer under observation and the flow line data and interest level data of the recorded customer. Predict interest in traffic lines and products. The moving body behavior analysis / prediction device of the present invention is also characterized in that such prediction is performed.
観測中の顧客の続く動線レベルでの行動は、図１の構成では、動線データ類似度算出部18と移動体動線予測部19により予測され、観測中の顧客の続く関心レベルでの行動は、関心度データ類似度算出部20と移動体関心度予測部21により予測される。移動体行動予測部22は、予測された動線レベルでの行動を出力し、さらに、予測された関心度レベルでの行動を出力する。以下、観測中の顧客の続く動線レベルおよび関心度レベルでの行動の予測について説明する。 In the configuration shown in FIG. 1, the behavior of the customer who is observing at the next flow line level is predicted by the flow line data similarity calculating unit 18 and the moving body flow line predicting unit 19. The behavior is predicted by the interest level data similarity calculation unit 20 and the mobile object interest level prediction unit 21. The moving body behavior prediction unit 22 outputs a behavior at the predicted flow line level, and further outputs a behavior at the predicted level of interest. Hereinafter, the prediction of the behavior of the customer under observation at the following flow level and interest level will be described.
動線データ類似度算出部18は、観測中の顧客の今までの行動に従って動線データ記録部14から連続的あるいは所定タイミング間隔で出力される動線データと店舗内行動プロファイル蓄積部15の店舗内行動プロファイルの第1階層への記録が完了している顧客の動線データ(以下、記録済み顧客の動線データと称する。) の動線間の類似度を、データ間距離などから算出する。記録済み動線データは、顧客行動観測エリアに入り、出ていった顧客の動線を観測することにより取得されたものである。なお、動線データを今までの動線のどこまで遡って類似度を算出するかは、顧客の現在位置や移動距離などに応じて適宜設定することができる。 The flow line data similarity calculation unit 18 stores the flow line data output from the flow line data recording unit 14 continuously or at predetermined timing intervals according to the behavior of the customer under observation and the store in the in-store behavior profile storage unit 15. The similarity between the flow lines of the flow line data of the customers who have completed the recording of the internal behavior profile in the first layer (hereinafter referred to as the flow line data of the recorded customer) is calculated from the distance between the data and the like. . The recorded flow line data is obtained by observing the flow line of the customer who entered and exited the customer behavior observation area. It should be noted that it is possible to appropriately set how far the flow line data is calculated by going back to the previous flow line according to the current position of the customer, the moving distance, and the like.
観測中の顧客の動線Toに対する記録済み顧客の動線Trの類似度を算出する場合、例えば、Toの始端および終端にTrの近い部分をそれぞれ対応させた上で、任意にサンプリングした動線上の位置での離間距離の絶対値を加算すればよい。これにより算出された値が小さいほど類似度が大と言える。なお、記録済み顧客の動線の動線データを、個々の顧客の動線データではなく、途中経路などに応じてグループ分けし、それを代表する動線データを用いて類似度を算出すれば、類似度の演算量を低減できる。この手法は、関心度データの類似度の算出でも利用できる。 When calculating the similarity of the recorded customer's flow line Tr to the observed customer's flow line To, for example, on the flow line arbitrarily sampled after matching the close part of the Tr to the start and end of To, respectively. The absolute value of the separation distance at the position may be added. It can be said that the smaller the calculated value is, the higher the similarity is. If the flow line data of the recorded customer's flow line is grouped according to the route, etc., instead of individual customer's flow line data, the similarity is calculated using the flow line data representing it. The amount of calculation of similarity can be reduced. This method can also be used to calculate the similarity of interest level data.
移動体動線予測部19は、観測中の顧客の続く動線レベルでの行動を予測する。例えば、店舗内行動プロファイル蓄積部15における店舗内行動プロファイルの第1階層の記録済み顧客の動線データの内、動線データ類似度算出部18により算出された類似度が所定の閾値TH1より大きい動線データから、観測中の顧客の続く動線レベルでの行動を予測する。ここでは、観測中の顧客の今までの動線が記録済み顧客の動線に類似していれば、続く動線も類似すると予測する。続く動線が記録済み顧客の動線のどこまで類似するとするかは、店舗の種別、商品の種別や陳列レイアウト、顧客の移動速度などに応じて適宜設定すればよい。 The moving body flow line prediction unit 19 predicts the behavior of the customer under observation at the flow line level that follows. For example, the similarity calculated by the flow line data similarity calculation unit 18 out of the flow line data of the recorded customer in the first layer of the in-store action profile in the in-store action profile storage unit 15 is larger than a predetermined threshold TH1. From the flow line data, predict the behavior of the customer under observation at the flow line level. Here, if the current flow line of the customer under observation is similar to the flow line of the recorded customer, the subsequent flow line is predicted to be similar. The extent to which the following flow line is similar to the flow line of the recorded customer may be appropriately set according to the type of store, the type of product, the display layout, the moving speed of the customer, and the like.
なお、類似度が所定の閾値TH1より大きい記録済み顧客の動線データが複数ある場合、それらの動線データの全てから個々に予測された全ての動線を予測結果としてもよく、それらの動線の内から最大の類似度を示す動線データに対する1つの動線を選択して予測結果としてもよい。また、動線データ類似度算出部18で算出された類似度が最大の記録済み顧客の動線データだけから観測中の顧客の動線レベルでの行動を予測するようにしてもよい。 When there are multiple recorded customer flow line data with a degree of similarity greater than the predetermined threshold TH1, all the flow lines individually predicted from all of the flow line data may be used as the prediction results. One flow line for the flow line data indicating the maximum similarity may be selected from the lines, and the prediction result may be used. Further, the behavior at the flow line level of the customer being observed may be predicted from only the flow line data of the recorded customer having the maximum similarity calculated by the flow line data similarity calculation unit 18.
関心度データ類似度算出部20は、観測中の顧客の行動に従って関心度記録部17から逐次的に送出される関心度データと店舗内行動プロファイル蓄積部15における店舗内行動プロファイルの第2階層の記録済み顧客の関心度データの類似度を算出する。 The interest level data similarity calculation unit 20 includes the interest level data sequentially transmitted from the interest level recording unit 17 according to the behavior of the customer under observation and the second level of the in-store behavior profile in the in-store behavior profile storage unit 15. Calculate the similarity of the interest level data of the recorded customers.
関心度データの類似度は、顧客の注視方向や動作アクティビティなど、顧客の行動から得られる関心度データを任意に組み合わせ、それらのデータ間距離などから算出できる。関心度データの組み合わせは、例えば、店舗の種別ごとに特定して事前に設定することができ、例えば、下記(1)〜(4)に示す関心度データの組み合わせで関心度データの類似度を算出できる。 The similarity of the interest level data can be calculated from any combination of interest level data obtained from customer behavior such as the customer's gaze direction and motion activity, and the distance between the data. The combination of interest level data can be specified and set in advance for each store type, for example.For example, the similarity of interest level data can be determined by the combination of interest level data shown in (1) to (4) below. It can be calculated.
なお、関心度データの類似度を、関心度データの類似度の履歴から算出するのは、現時点の関心度データだけでなく、今までの関心度データが商品に対する顧客の関心を示すものとして有効と考えられるからである。ここで、履歴をどこまで遡って類似度を算出するかは、店舗の種別、商品の種別や陳列レイアウト、関心度観測エリアの位置などに応じて適宜設定すればよい。
(1)顧客が、継続時間Dで、関心度観測エリアLに滞留していた場合：関心度観測エリアLと継続時間Dの組み合わせの類似度の履歴
(2)顧客が、継続時間Dで、関心度観測エリアLに滞留し、注視方向Gの場合：関心度観測エリアLと注視方向Gと継続時間Dの組み合わせの類似度の履歴
(3)顧客が、継続時間Dで、関心度観測エリアLに滞留し、動作アクティビティの反復回数Pの場合：関心度観測エリアLと動作アクティビティの反復回数Pと継続時間Dの組み合わせの類似度の履歴
(4)顧客が、継続時間Dで、関心度観測エリアLに滞留し、動作アクティビティの動作時間間隔Iの場合：関心度観測エリアLと動作アクティビティの動作時間間隔Iと継続時間Dの組み合わせの類似度の履歴
Note that the similarity of interest level data is calculated from the history of the similarity level of interest level data, not only the current interest level data but also the existing interest level data is effective as an indication of customer interest in the product Because it is considered. Here, how far back the history is calculated may be set as appropriate according to the type of store, the type of product, the display layout, the position of the interest level observation area, and the like.
(1) When the customer stays in the interest level observation area L for the duration D: History of similarity of the combination of the interest level observation area L and the duration D
(2) When the customer stays in the interest level observation area L for the duration D and is in the gaze direction G: History of the similarity of the combination of the interest level observation area L, the gaze direction G and the duration D
(3) When the customer stays in the interest level observation area L for the duration D and has the motion activity iteration count P: The similarity of the combination of the interest level observation area L, motion activity iteration count P and the duration D History
(4) When the customer stays in the interest level observation area L for the duration D and is the motion activity operation time interval I: the combination of the interest level observation area L, the motion activity operation time interval I and the duration time D Similarity history
ここで、関心度観測エリアLに滞留する継続時間Dの類似度は、例えば、関心度観測エリアL内の各位置に対して任意の重み付けを行い(例えば、商品などに近い位置の重みを大きくする)、関心度観測エリアL内の顧客の各滞留位置における重みと継続時間の積を算出し、その積を関心度観測エリアL内で積算して滞留位置データとし、観測中の顧客の滞留位置データSoと記録済み顧客の滞留位置データSrの差分として算出できる。これにより算出された値が小さいほど類似度が大と言える。 Here, for the similarity of the duration D staying in the interest level observation area L, for example, an arbitrary weight is given to each position in the interest level observation area L (for example, the weight of the position close to the product etc. is increased). Calculate the product of the weight and duration at each residence position of the customer in the interest level observation area L, and accumulate the product in the interest level observation area L to obtain the residence position data. It can be calculated as the difference between the position data So and the recorded customer stay position data Sr. It can be said that the smaller the calculated value is, the higher the similarity is.
また、注視方向Gの類似度は、例えば、関心度観測エリアL内の各位置に対して任意の重み付けを行い、関心度観測エリアL内の顧客の各滞留位置における重みと滞留継続時間の積を算出して注視方向ごと(例えば、45度ずつ8分割)に積算し、各注視方向に対する積算値をヒストグラム化して注視対象データとし、観測中の顧客の注視対象データGoと記録済み顧客の注視対象データGrのヒストグラム間距離として算出できる。これにより算出された値が小さいほど類似度が大と言える。 The similarity in the gaze direction G is, for example, arbitrarily weighted for each position in the interest level observation area L, and the product of the weight at each stay position of the customer in the interest level observation area L and the retention duration time. Is calculated and integrated for each gaze direction (e.g., divided into 8 sections of 45 degrees), and the integrated value for each gaze direction is histogrammed into the gaze target data, and the gaze target data Go of the customer under observation and the recorded customer gaze It can be calculated as the distance between histograms of the target data Gr. It can be said that the smaller the calculated value is, the higher the similarity is.
また、動作アクティビティの反復回数Pの類似度は、例えば、関心度観測エリアL内の継続時間Dの間で反復された動作回数を求めて反復動作データとし、観測中の顧客の反復動作データPoと記録済み顧客の反復動作データPrの差分として算出できる。これにより算出された値が小さいほど類似度が大と言える。 In addition, the similarity of the number of repetitions P of the movement activity is obtained, for example, by calculating the number of movements repeated during the duration D in the interest level observation area L as the repetition movement data, and the repetition movement data Po of the customer being observed. And the repetitive motion data Pr of the recorded customer. It can be said that the smaller the calculated value is, the higher the similarity is.
また、動作アクティビティの動作時間間隔Iの類似度は、例えば、関心度観測エリアL内の継続時間Dの間で反復された動作の動作時間間隔を求めて反復動作データとし、観測中の顧客の反復動作データの動作時間間隔Ioと記録済み顧客の反復動作データの動作時間間隔Irの差分として算出できる。これにより算出された値が小さいほど類似度が大と言える。 In addition, the similarity of the operation time interval I of the operation activity is obtained, for example, by calculating the operation time interval of the operation repeated during the duration D in the interest level observation area L as repetitive operation data, and It can be calculated as the difference between the operation time interval Io of the repetitive operation data and the operation time interval Ir of the repetitive operation data of the recorded customer. It can be said that the smaller the calculated value is, the higher the similarity is.
移動体関心度予測部21は、観測中の顧客の続く関心度レベルでの行動を予測する。例えば、店舗内行動プロファイル蓄積部15の店舗内行動プロファイルの第2階層に記録されている記録済み顧客の関心度データの内、関心度データ類似度算出部20により算出された類似度が所定の閾値TH2(ただし、TH1≠TH2)より大きい関心度データから、観測中の顧客の続く関心度レベルでの行動を予測する。ここでも、観測中の顧客の今までの関心度データが記録済み顧客の関心度データに類似していれば、続く関心度も類似すると予測する。すなわち、関心度データが類似している顧客についての続く関心度データから観測中の顧客の関心度レベルでの行動を予測する。顧客の関心度レベルでの行動は、例えば、商品の種別やメーカなどとして出力することができ、これは、関心度データ推定部16により推定された顧客の注視方向などの関心度データから知ることができる。 The mobile object interest level prediction unit 21 predicts the behavior of the customer being observed at the subsequent interest level. For example, the similarity calculated by the interest level data similarity calculation unit 20 among the recorded customer interest level data recorded in the second hierarchy of the in-store behavior profile of the in-store behavior profile storage unit 15 is a predetermined level. From the interest level data larger than the threshold value TH2 (where TH1 ≠ TH2), the behavior of the customer being observed at the subsequent interest level is predicted. Again, if the interest level data of the customer under observation is similar to the interest level data of the recorded customer, the subsequent interest level is predicted to be similar. That is, the behavior at the level of interest of the customer being observed is predicted from the subsequent interest level data for the customers having similar interest level data. The behavior at the customer's level of interest can be output as, for example, the product type or manufacturer, which can be obtained from the interest level data such as the customer's gaze direction estimated by the interest level data estimation unit 16. Can do.
なお、類似度が所定の閾値TH2より大きい記録済み顧客の関心度データが複数ある場合、それらの関心度データの全てから個々に予測される各関心を予測結果としてもよく、それらの関心の内から最大の類似度を示す関心度データに対する1つの関心を選択して予測結果としてもよい。また、関心度データ類似度算出部20で算出された類似度が最大の記録済み顧客の関心度データだけから観測中の顧客の関心度レベルでの行動を予測するようにしてもよい。 If there are multiple recorded customer interest level data with a similarity greater than the predetermined threshold TH2, each interest individually predicted from all of the interest level data may be used as a prediction result. It is also possible to select one interest with respect to the interest level data indicating the maximum degree of similarity and make a prediction result. Further, the behavior at the interest level of the customer being observed may be predicted from only the interest level data of the recorded customer having the maximum similarity calculated by the interest level data similarity calculation unit 20.
移動体予測行動出力部22は、移動体動線予測部19および移動体関心予測部21での予測結果により観測中の顧客の続く行動を出力する。すなわち、移動体動線予測部19での予測結果により観測中の顧客の続く動線レベルでの行動を出力し、移動体関心度予測部21の予測結果により観測中の顧客の続く関心度レベルでの行動を出力し、店員の携帯端末などに表示する。動線レベルでの行動は、例えば、店舗内での動線として表示すればよく、関心度レベルでの行動は、商品の種別やメーカなどの商品情報として表示すればよい。 The mobile body predicted behavior output unit 22 outputs the subsequent behavior of the customer being observed based on the prediction results of the mobile body flow line prediction unit 19 and the mobile body interest prediction unit 21. That is, the behavior at the flow line level of the customer being observed is output based on the prediction result of the mobile body flow line prediction unit 19, and the interest level of the customer being observed is output based on the prediction result of the mobile object interest level prediction unit 21. The action at is output and displayed on the mobile terminal of the clerk. The behavior at the flow line level may be displayed as, for example, a flow line in the store, and the behavior at the interest level may be displayed as product information such as a product type or a manufacturer.
動線レベルで予測された動線上に、関心度レベルで予測された顧客の行動に関する商品などが陳列されているとは限らないが、店員は、顧客に対して移動先エリアや関心を持つ商品を推薦できる。また、顧客の行動から観測された動線や関心度、予測された動線や関心の結果から店舗内の商品の陳列やレイアウトなどを適切に設定できる。なお、動線レベルで予測された動線上の関心度観測エリアに限って関心度データの類似度を算出して顧客の行動を予測すれば、顧客の動線レベルで行動と関心度レベルでの行動を結びつけることができる。 Products related to customer behavior predicted at the interest level are not always displayed on the traffic line predicted at the flow level, but the store clerk is interested in the destination area and products for the customer. Can be recommended. Further, it is possible to appropriately set the display and layout of products in the store from the flow line and interest level observed from the behavior of the customer and the predicted flow line and interest results. In addition, if the customer behavior is predicted by calculating the similarity of the interest level data only in the interest level observation area on the flow line predicted at the flow line level, the behavior and interest level at the customer flow level are calculated. Can connect actions.
図５は、動線レベルおよび関心度レベルでの顧客の行動を予測する処理の一例を示すフローチャートである。図５において、まず、観測中の顧客の動線データおよび関心度データを入力する。この動線データおよび関心度データは、動線データ記録部14および関心度データ記録部17（図１）から与えられる。次に、S51では、店舗内行動プロファイル蓄積部15の店舗内行動プロファイルの第1階層および第2階層に記録済み顧客の動線データおよび関心度データを検索し、S52では、入力された動線データと店舗内行動プロファイルの第1階層から検索された動線データの類似度を計算し、この類似度が閾値TH1より高いか否かを判定する。S52で、類似度が閾値TH1より高いと判定されれば、S53で、記録済み顧客の動線データから観測中の顧客の続く動線レベルでの行動を予測する。その後、S54に進む。しかし、S52で、類似度が閾値TH1より高いと判定されなければ、そのままS54に進む。S52, S53の処理は、動線データ類似度算出部18および移動体動線予測部19（図１）により行われる。 FIG. 5 is a flowchart illustrating an example of processing for predicting customer behavior at the flow line level and the interest level. In FIG. 5, first, flow line data and interest level data of a customer under observation are input. The flow line data and the interest level data are given from the flow line data recording unit 14 and the interest level data recording unit 17 (FIG. 1). Next, in S51, the flow line data and interest level data of the customers recorded in the first and second tiers of the in-store action profile of the in-store action profile storage unit 15 are searched. In S52, the input flow line is searched. The similarity between the data and the flow line data retrieved from the first hierarchy of the in-store behavior profile is calculated, and it is determined whether or not this similarity is higher than the threshold value TH1. If it is determined in S52 that the degree of similarity is higher than the threshold value TH1, in S53, the behavior at the flow line level of the customer being observed is predicted from the flow line data of the recorded customer. Thereafter, the process proceeds to S54. However, if it is not determined in S52 that the similarity is higher than the threshold value TH1, the process proceeds to S54 as it is. The processing of S52 and S53 is performed by the flow line data similarity calculation unit 18 and the moving body flow line prediction unit 19 (FIG. 1).
次に、S54では、入力された関心度データと店舗内行動プロファイルの第2階層から検索された関心度データの類似度を計算し、この類似度が、閾値TH2より高いか否かを判定する。S54で、類似度が閾値TH2より高いと判定されれば、S55で、記録済み顧客の関心度データから観測中の顧客の続く関心度レベルでの行動を予測する。そして、予測処理を終了する。しかし、S55で、類似度が閾値TH2より高いと判定されなければ、そのまま予測処理を終了する。S54, S55の処理は、関心度データ類似度算出部20および移動体関心度予測部21（図１）により行われる Next, in S54, the similarity between the input interest level data and the interest level data retrieved from the second level of the in-store behavior profile is calculated, and it is determined whether or not the similarity is higher than the threshold value TH2. . If it is determined in S54 that the degree of similarity is higher than the threshold value TH2, in S55, the behavior of the customer being observed at the subsequent interest level is predicted from the interest level data of the recorded customer. Then, the prediction process ends. However, if it is not determined in S55 that the similarity is higher than the threshold value TH2, the prediction process is terminated as it is. The processing of S54 and S55 is performed by the interest level data similarity calculation unit 20 and the mobile object interest level prediction unit 21 (FIG. 1).
以上のように、店舗内行動プロファイルの第１階層の動線データとの類似度を算出し、類似度が閾値TH1より高い場合には、移動体動線予測部18において顧客の続く動線レベルでの行動を予測し、さらに、店舗内行動プロファイルの第2階層の関心度データの類似度を算出し、類似度が閾値TH2より高い場合には、移動体関心度予測部21において顧客の続く関心度レベルでの行動を予測する。このように、店舗内行動プロファイルを第１階層の動線データと第2階層の関心度データに分け、それぞれでの類似度を求めて観測中の顧客の続く行動を予測することにより、行動予測の際の検索性を高めることができ、また、動線レベルと関心度レベルとで別々に顧客の行動を予測することができる。 As described above, the similarity with the flow line data of the first layer of the in-store behavior profile is calculated, and when the similarity is higher than the threshold TH1, the moving body flow line prediction unit 18 continues the flow line level of the customer. In addition, the similarity of the second-level interest level data of the in-store behavior profile is calculated, and if the similarity is higher than the threshold TH2, the mobile interest level prediction unit 21 continues the customer Predict behavior at the level of interest. As described above, the behavior profile in the store is divided into the flow data of the first layer and the interest level data of the second layer, and the behavior is predicted by calculating the similarity in each and predicting the subsequent behavior of the customer being observed. In addition, it is possible to improve the searchability of the customer, and to predict the behavior of the customer separately at the flow line level and the interest level.
図５では、動線データの類似度が閾値TH1以下の場合、動線レベルでの行動予測を行わないが、動線データの類似度が閾値TH1以下の場合でも類似度が最も高い動線データあるいは類似度が高い順から選択した所定数の動線データから顧客の続く動線レベルでの行動を予測してもよい。同様に、関心度データの類似度が閾値TH2以下の場合でも、類似度が最も高い関心度データあるいは類似度が高い順から選択した所定数の関心度データから顧客の続く関心度レベルでの行動を予測してもよい。また、動線データの類似度が閾値TH1以下の場合、関心度レベルでの顧客の続く行動を予測しないで、予測処理を終了するようにしてもよい。 In FIG. 5, when the similarity of the flow line data is equal to or less than the threshold TH1, the behavior prediction at the flow line level is not performed. However, even when the similarity of the flow line data is equal to or less than the threshold TH1, the flow line data having the highest similarity. Or you may predict the action in the flow line level which a customer continues from the predetermined number of flow line data selected from the order with high similarity. Similarly, even if the degree of similarity of interest level data is below the threshold TH2, the behavior at the level of interest that the customer continues from the interest level data with the highest degree of similarity or a predetermined number of interest level data selected in descending order of similarity. May be predicted. If the similarity of the flow line data is equal to or less than the threshold value TH1, the prediction process may be terminated without predicting the customer's subsequent behavior at the interest level.
以上実施形態について説明したが、本発明は、上記実施形態に限定されない。例えば、上記実施形態では、店舗内に設置された単一のカメラによるカメラ映像を用いるものとしたが、より広いエリアや陳列棚や柱などで顧客の行動が隠蔽される部分を含むエリアを対象とする場合には、複数台のカメラによるカメラ映像を組み合わせて用いればよい。 Although the embodiment has been described above, the present invention is not limited to the above embodiment. For example, in the above embodiment, a camera image from a single camera installed in a store is used. However, a wider area or an area including a part where a customer's behavior is concealed by a display shelf or a pillar is targeted. In this case, camera images from a plurality of cameras may be used in combination.
図６は、3台のカメラによるカメラ映像によってエリア(1),(2),(3)を含む広いエリアをカバーする場合の例を模式的に示す図である。ここで、例えば、観測中の顧客が観測エリアL1に到達したとすると、該顧客のそれまでの動線および関心度が観測され、続く動線や関心が記録済み顧客の動線データおよび関心度データから予測される。この予測結果により、観測中の顧客に対して適切な動線や商品が推薦できる。なお、図示省略しているが、エリア(2), (3)にも関心度観測エリアが設定される。ここでは、エリア(1), (2), (3)間に隙間がないので、そのまま顧客を連続的に追跡できるが、各顧客を色やテクスチャなどの画像特徴から区別できる場合には、エリア間に隙間があっても、また、エリアが異なるフロアであっても、顧客を追跡し、その行動を予測できる。 FIG. 6 is a diagram schematically illustrating an example in which a wide area including areas (1), (2), and (3) is covered by camera images from three cameras. Here, for example, if the customer being observed has arrived at the observation area L1, the flow line and interest level of the customer up to that point are observed, and the flow line data and interest level of the customer whose subsequent flow line and interest are recorded are recorded. Predicted from the data. Based on this prediction result, it is possible to recommend an appropriate flow line or product to the customer under observation. Although not shown, interest level observation areas are also set in areas (2) and (3). Here, since there is no gap between areas (1), (2), and (3), customers can be continuously tracked as they are, but if each customer can be distinguished from image features such as color and texture, area Even if there are gaps between them, and even on different floors, customers can be tracked and their behavior predicted.
また、上記実施形態では、単一の顧客を想定したが、顧客は複数でもよく、その場合には、各顧客に別々の識別子を付与し、別々に追跡すればよい。また、顧客が複数の場合には、顧客ごとに店舗内行動プロファイルを作成してもよいし、時間やエリアごとに店舗内行動プロファイルを作成してもよい。 In the above embodiment, a single customer is assumed. However, there may be a plurality of customers. In that case, different identifiers may be assigned to each customer and tracked separately. When there are a plurality of customers, an in-store behavior profile may be created for each customer, or an in-store behavior profile may be created for each time or area.
また、上記実施形態では、店舗内行動プロファイル蓄積部15の店舗内行動プロファイルが第1階層および第2階層からなるものとしたが、店舗内行動プロファイルは、任意の階層数に拡張してもよい。例えば、関心度観測エリア、注視方向、動作反復回数、動作時間間隔などをそれぞれ個別の階層として店舗内行動プロファイルを構成してもよい。 In the above embodiment, the in-store action profile of the in-store action profile storage unit 15 is composed of the first hierarchy and the second hierarchy, but the in-store action profile may be expanded to an arbitrary number of hierarchies. . For example, the in-store behavior profile may be configured with the interest level observation area, the gaze direction, the number of operation repetitions, the operation time interval, and the like as individual layers.
また、関心度データ推定部16で推定された関心度データの全てについての類似度を求め、その内の特定の関心度データ、例えば顧客の注視方向の類似度が所定閾値を超えた場合や類似度が所定閾値を超える関心度データが所定個数以上の場合などに、関心度レベルでの予測処理に進むようにしてもよい。 Further, the similarity for all the interest level data estimated by the interest level data estimation unit 16 is obtained, and the specific interest level data, for example, the similarity in the customer's gaze direction exceeds a predetermined threshold or similar When the degree of interest data whose degree exceeds a predetermined threshold is a predetermined number or more, the process may be advanced to the prediction process at the degree of interest level.
本発明によれば、顧客の動線や関心度に応じた行動をオンラインで予測できるので、小売店や量販店などにおいて顧客に適合する商品を推薦できる。また、その予測を、店舗内の商品の陳列やレイアウトなどの設定に生かすことができる。なお、商品の推薦は、予測された顧客の行動から、該顧客に対し店員が直接的に行ってもよいし、タブレット端末などの小型のデジタルサイネージなどを用いて間接的に行ってもよい。 According to the present invention, it is possible to predict the behavior according to the flow of the customer and the degree of interest online, and therefore it is possible to recommend a product suitable for the customer at a retail store or a mass retailer. In addition, the prediction can be used for setting the display and layout of products in the store. Note that the product recommendation may be performed directly by the store clerk for the customer based on the predicted behavior of the customer, or indirectly using a small digital signage such as a tablet terminal.
11・・・移動体検出部、12・・・移動体識別子付与部、13・・・移動体追跡部、14・・・動線データ記録部、15・・・店舗内行動プロファイル蓄積部、16・・・関心度データ推定部、17・・・関心度データ記録部、18・・・動線データ類似度算出部、19・・・移動体動線予測部、20・・・関心度データ類似度算出部、21・・・移動体関心度予測部、22・・・移動体行動予測部 DESCRIPTION OF SYMBOLS 11 ... Mobile body detection part, 12 ... Mobile body identifier provision part, 13 ... Mobile body tracking part, 14 ... Flow line data recording part, 15 ... In-store action profile storage part, 16 ... Interest level data estimation unit, 17 ... Interest level data recording unit, 18 ... Flow line data similarity calculation unit, 19 ... Moving body flow line prediction unit, 20 ... Interest level data similarity Degree calculation unit, 21 ... mobile object interest level prediction unit, 22 ... mobile object behavior prediction unit
Claims (7)
カメラによって撮影された映像中に出現する移動体を検出する移動体検出手段と、
前記移動体検出手段により検出された移動体に識別子を付与する識別子付与手段と、
前記識別子付与手段により識別子が付与された移動体を追跡し、その位置を動線として取得する追跡手段と、
前記追跡手段により取得された移動体の位置を、前記識別子付与手段により付与された識別子とともに動線データとして記録する記録手段と、
観測中の移動体の動線データと前記記録手段に記録済みの移動体の動線データの類似度を算出し、該類似度が大である記録済みの移動体の動線データから、観測中の移動体の続く動線レベルでの行動を予測する動線予測手段を備えることを特徴とする移動体行動分析・予測装置。 A mobile body behavior analysis / prediction device that analyzes and predicts the behavior of a mobile body from video captured by a camera,
Moving body detecting means for detecting a moving body appearing in an image captured by a camera;
Identifier assigning means for assigning an identifier to the moving object detected by the moving object detecting means;
A tracking unit that tracks the moving body to which the identifier is given by the identifier giving unit, and acquires the position as a flow line;
A recording means for recording the position of the moving body acquired by the tracking means as flow line data together with the identifier given by the identifier giving means;
Calculate the similarity between the flow line data of the moving object being observed and the flow line data of the moving object already recorded in the recording means, and from the flow line data of the recorded moving object whose similarity is large, A moving body behavior analysis / prediction device comprising a flow line predicting means for predicting a behavior of a moving body at a subsequent flow line level.
前記関心度データ推定手段は、前記追跡手段により追跡された移動体の顔領域の注視方向を推定し、
前記記録手段は、さらに、前記関心度データ推定手段により推定された注視方向を第１関心度データとして記録し、
前記関心度予測手段は、観測中の移動体の第１関心度データと前記記録手段に記録済み他移動体の第１関心度データの類似度を算出し、該類似度が大である他移動体の第１関心度データから、観測中の移動体の続く関心度レベルでの行動を予測することを特徴とする請求項１または２に記載の移動体行動分析・予測装置。 Furthermore, it comprises an interest level data estimation means and an interest level prediction means,
The interest level data estimation means estimates the gaze direction of the face area of the moving body tracked by the tracking means,
The recording means further records the gaze direction estimated by the interest level data estimation means as first interest level data,
The interest level predicting means calculates the similarity between the first interest level data of the moving object being observed and the first interest level data of the other moving object already recorded in the recording means, and the other movement whose similarity is large. The mobile body behavior analysis / prediction device according to claim 1 or 2, wherein the behavior of the mobile body under observation is predicted from the first body interest level data.
カメラによって撮影された映像中の移動体の大きさを測定する測定手段と、
前記測定手段により測定された移動体の大きさと一般的な移動体の大きさに対する頭部の相対的な大きさの関係から、前記移動体検出手段により検出された移動体における頭部を検出する頭部検出手段と、
前記頭部検出手段により検出された頭部における顔領域を抽出し、頭部と顔領域の相対面積から顔領域の注視方向を推定する注視方向推定手段を備えることを特徴とする請求項３に記載の移動体行動分析・予測装置。 The interest level data estimation means includes:
Measuring means for measuring the size of the moving body in the image taken by the camera;
The head of the moving body detected by the moving body detecting means is detected from the relationship between the size of the moving body measured by the measuring means and the relative size of the head to the size of a general moving body. A head detection means;
4. The apparatus according to claim 3, further comprising gaze direction estimation means for extracting a face area in the head detected by the head detection means and estimating a gaze direction of the face area from a relative area between the head and the face area. The mobile behavior analysis / prediction device described.
前記記録手段は、さらに、前記関心度データ推定手段により推定された移動体の動作アクティビティを第２関心度データとして記録し、
前記関心度予測手段は、さらに、観測中の移動体の第２関心度データと記録済みの移動体の第２関心度データの類似度を算出し、該類似度から観測中の移動体の続く関心度レベルでの行動を予測することを特徴とする請求項３または４に記載の移動体行動分析・予測装置。 The interest level data estimation means further comprises an estimation means for estimating the movement activity of the moving object,
The recording means further records the movement activity of the moving body estimated by the interest level data estimation means as second interest level data,
The interest level predicting means further calculates the similarity between the second interest level data of the moving object being observed and the second interest level data of the recorded moving object, and continues from the similarity to the moving object being observed. The mobile behavior analysis / prediction device according to claim 3 or 4, wherein behavior at an interest level is predicted.
前記追跡手段により追跡された移動体の腕あるいは上半身の動きの動きベクトルを算出する動きベクトル算出手段と、
前記追跡手段により追跡された移動体の大きさで正規化された動きベクトルを算出する正規化動きベクトル算出手段と、
前記正規化動きベクトル算出手段により算出された動きベクトルを所定閾値と比較することにより移動体の動作アクティビティの１動作単位を推定する動作単位推定手段と、
前記動作単位推定手段により検出された１動作単位の反復回数または時間間隔の少なくとも一方を算出する算出手段を備えることを特徴とする請求項５に記載の移動体行動分析・予測装置。 The interest level data estimation means estimates the motion activity of the moving object,
A motion vector calculating means for calculating a motion vector of the movement of the arm or upper body of the moving body tracked by the tracking means;
Normalized motion vector calculation means for calculating a motion vector normalized by the size of the moving object tracked by the tracking means;
A motion unit estimating means for estimating one motion unit of the motion activity of the moving object by comparing the motion vector calculated by the normalized motion vector calculating means with a predetermined threshold;
The mobile body behavior analysis / prediction device according to claim 5, further comprising: a calculation unit that calculates at least one of the number of repetitions or a time interval of one motion unit detected by the motion unit estimation unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013111886A JP6120404B2 (en) | 2013-05-28 | 2013-05-28 | Mobile body behavior analysis / prediction device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013111886A JP6120404B2 (en) | 2013-05-28 | 2013-05-28 | Mobile body behavior analysis / prediction device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014232362A true JP2014232362A (en) | 2014-12-11 |
| JP6120404B2 JP6120404B2 (en) | 2017-04-26 |
Family
ID=52125721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013111886A Expired - Fee Related JP6120404B2 (en) | 2013-05-28 | 2013-05-28 | Mobile body behavior analysis / prediction device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6120404B2 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016189785A1 (en) * | 2015-05-22 | 2016-12-01 | パナソニックＩｐマネジメント株式会社 | Traffic line analysis system, camera device, and traffic line analysis method |
| JP2017037649A (en) * | 2015-08-13 | 2017-02-16 | 株式会社リコー | Object analytical method, object analytical instrument and object analytical system |
| JP2017174135A (en) * | 2016-03-23 | 2017-09-28 | 日本電気株式会社 | Traffic line determination device, traffic line determination system, traffic line determination method, and program |
| JP2017174222A (en) * | 2016-03-24 | 2017-09-28 | カシオ計算機株式会社 | Guide output device, guide output method, and program |
| JPWO2018061623A1 (en) * | 2016-09-30 | 2019-02-28 | パナソニックＩｐマネジメント株式会社 | Evaluation apparatus and evaluation method |
| JP2019086912A (en) * | 2017-11-02 | 2019-06-06 | 株式会社日立製作所 | Degree-of-interest measurement system and method |
| KR102060694B1 (en) * | 2018-03-02 | 2019-12-30 | 제주한라대학교산학협력단 | Customer recognition system for providing personalized service |
| JP2020166523A (en) * | 2019-03-29 | 2020-10-08 | 株式会社ネクスウェイ | Interest level information acquisition system, information processing device, and information processing program |
| WO2021186527A1 (en) * | 2020-03-17 | 2021-09-23 | 日本電気株式会社 | Product management device, product management method, and recording medium |
| WO2022176774A1 (en) * | 2021-02-17 | 2022-08-25 | 株式会社Preferred Networks | Analysis device, analysis system, analysis method, and program |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1048008A (en) * | 1996-08-02 | 1998-02-20 | Omron Corp | Attention information measuring method, instrument for the method and various system using the instrument |
| JP2003101999A (en) * | 2001-09-20 | 2003-04-04 | Toshiba Lighting & Technology Corp | Monitoring camera system |
| JP2004348618A (en) * | 2003-05-26 | 2004-12-09 | Nec Soft Ltd | Customer information collection and management method and system therefor |
| JP2009157487A (en) * | 2007-12-25 | 2009-07-16 | Toyota Motor Corp | Evaluator selection device and evaluator selection method |
| JP2010231470A (en) * | 2009-03-27 | 2010-10-14 | Advanced Telecommunication Research Institute International | Information providing system |
| US8009863B1 (en) * | 2008-06-30 | 2011-08-30 | Videomining Corporation | Method and system for analyzing shopping behavior using multiple sensor tracking |
| JP2011215964A (en) * | 2010-03-31 | 2011-10-27 | Sony Corp | Server apparatus, client apparatus, content recommendation method and program |
| JP2012022538A (en) * | 2010-07-15 | 2012-02-02 | Hitachi Ltd | Attention position estimating method, image display method, attention content display method, attention position estimating device and image display device |
-
2013
- 2013-05-28 JP JP2013111886A patent/JP6120404B2/en not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1048008A (en) * | 1996-08-02 | 1998-02-20 | Omron Corp | Attention information measuring method, instrument for the method and various system using the instrument |
| JP2003101999A (en) * | 2001-09-20 | 2003-04-04 | Toshiba Lighting & Technology Corp | Monitoring camera system |
| JP2004348618A (en) * | 2003-05-26 | 2004-12-09 | Nec Soft Ltd | Customer information collection and management method and system therefor |
| JP2009157487A (en) * | 2007-12-25 | 2009-07-16 | Toyota Motor Corp | Evaluator selection device and evaluator selection method |
| US8009863B1 (en) * | 2008-06-30 | 2011-08-30 | Videomining Corporation | Method and system for analyzing shopping behavior using multiple sensor tracking |
| JP2010231470A (en) * | 2009-03-27 | 2010-10-14 | Advanced Telecommunication Research Institute International | Information providing system |
| JP2011215964A (en) * | 2010-03-31 | 2011-10-27 | Sony Corp | Server apparatus, client apparatus, content recommendation method and program |
| JP2012022538A (en) * | 2010-07-15 | 2012-02-02 | Hitachi Ltd | Attention position estimating method, image display method, attention content display method, attention position estimating device and image display device |
Non-Patent Citations (1)
| Title |
|---|
| 杉村大輔, 外１名: ""行動特徴に基づく人物追跡"", 情報処理学会研究報告, JPN6016050893, 15 June 2010 (2010-06-15), JP, pages 1 - 16, ISSN: 0003515435 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016189785A1 (en) * | 2015-05-22 | 2016-12-01 | パナソニックＩｐマネジメント株式会社 | Traffic line analysis system, camera device, and traffic line analysis method |
| JP2017037649A (en) * | 2015-08-13 | 2017-02-16 | 株式会社リコー | Object analytical method, object analytical instrument and object analytical system |
| CN106454716A (en) * | 2015-08-13 | 2017-02-22 | 株式会社理光 | Object analyzing method, object analyzing equipment and object analyzing system |
| JP2021185533A (en) * | 2016-03-23 | 2021-12-09 | 日本電気株式会社 | Traffic flow determination device, traffic flow determination system, traffic flow determination method and program |
| JP2017174135A (en) * | 2016-03-23 | 2017-09-28 | 日本電気株式会社 | Traffic line determination device, traffic line determination system, traffic line determination method, and program |
| JP7160430B2 (en) | 2016-03-23 | 2022-10-25 | 日本電気株式会社 | Flow line determination device, flow line determination system, flow line determination method, and program |
| JP2017174222A (en) * | 2016-03-24 | 2017-09-28 | カシオ計算機株式会社 | Guide output device, guide output method, and program |
| JPWO2018061623A1 (en) * | 2016-09-30 | 2019-02-28 | パナソニックＩｐマネジメント株式会社 | Evaluation apparatus and evaluation method |
| JP2019086912A (en) * | 2017-11-02 | 2019-06-06 | 株式会社日立製作所 | Degree-of-interest measurement system and method |
| JP7001429B2 (en) | 2017-11-02 | 2022-01-19 | 株式会社日立製作所 | Interest measurement system and method |
| KR102060694B1 (en) * | 2018-03-02 | 2019-12-30 | 제주한라대학교산학협력단 | Customer recognition system for providing personalized service |
| JP2020166523A (en) * | 2019-03-29 | 2020-10-08 | 株式会社ネクスウェイ | Interest level information acquisition system, information processing device, and information processing program |
| WO2021186527A1 (en) * | 2020-03-17 | 2021-09-23 | 日本電気株式会社 | Product management device, product management method, and recording medium |
| JP7355220B2 (en) | 2020-03-17 | 2023-10-03 | 日本電気株式会社 | Product management device, product management method, and program |
| WO2022176774A1 (en) * | 2021-02-17 | 2022-08-25 | 株式会社Preferred Networks | Analysis device, analysis system, analysis method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6120404B2 (en) | 2017-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6120404B2 (en) | Mobile body behavior analysis / prediction device | |
| JP5603403B2 (en) | Object counting method, object counting apparatus, and object counting program | |
| JP7428213B2 (en) | Information processing system, information processing method and program | |
| JP6213843B2 (en) | Image processing system, image processing method, and program | |
| US20200184230A1 (en) | Tracking persons in an automated-checkout store | |
| JP5102410B2 (en) | Moving body detection apparatus and moving body detection method | |
| US9245247B2 (en) | Queue analysis | |
| US20190294890A1 (en) | Method and apparatus for surveillance | |
| CN110533685B (en) | Object tracking method and device, storage medium and electronic device | |
| JP2007299381A (en) | Method for processing queries for surveillance database | |
| JPWO2014203389A1 (en) | Sensor arrangement determination device and sensor arrangement determination method | |
| CA3014365C (en) | System and method for gathering data related to quality of service in a customer service environment | |
| KR101577751B1 (en) | Method and apparatus for managing information | |
| JP2016057908A (en) | Robbery prevention system and software | |
| Bazo et al. | Baptizo: A sensor fusion based model for tracking the identity of human poses | |
| US11615430B1 (en) | Method and system for measuring in-store location effectiveness based on shopper response and behavior analysis | |
| Vildjiounaite et al. | Predicting consumers' locations in dynamic environments via 3D sensor-based tracking | |
| JP6067527B2 (en) | Mobile object information management method, apparatus, and program | |
| JP5864231B2 (en) | Moving direction identification device | |
| Lee et al. | Understanding human-place interaction from tracking and identification of many users | |
| JP2021077177A (en) | Operation recognition apparatus, operation recognition method, and operation recognition program | |
| Kröckel et al. | Visual customer behavior analysis at the point of sale | |
| JP2015162241A (en) | System and method for measuring information provision effect | |
| Li et al. | A method of camera selection based on partially observable Markov decision process model in camera networks | |
| Siam et al. | A Deep Learning Based Person Detection and Heatmap Generation Technique with a Multi-Camera System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160128 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170324 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6120404 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |