JP2008276455A - Behavior identification device and method - Google Patents
Behavior identification device and method Download PDFInfo
- Publication number
- JP2008276455A JP2008276455A JP2007118375A JP2007118375A JP2008276455A JP 2008276455 A JP2008276455 A JP 2008276455A JP 2007118375 A JP2007118375 A JP 2007118375A JP 2007118375 A JP2007118375 A JP 2007118375A JP 2008276455 A JP2008276455 A JP 2008276455A
- Authority
- JP
- Japan
- Prior art keywords
- database
- action
- behavior
- record
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、たとえば移動体をセンサにより観測して得られる観測値から移動体の行動を識別する行動識別装置および行動識別方法に関する。 The present invention relates to an action identification device and an action identification method for identifying an action of a moving object from observation values obtained by observing the moving object with a sensor, for example.
近年、センサ技術の発達により、センサの小型化、価格低下が進み、社会の様々の場所にセンサを設置することが可能になった。そのため、それらセンサを用いて、人の動きを観測することができるようになった。 In recent years, the development of sensor technology has led to the downsizing and price reduction of sensors, making it possible to install sensors in various places in society. Therefore, it has become possible to observe human movements using these sensors.
一方で、少子化、人手不足や犯罪の増加により、社会の多くの場所で、人のある特定の行動を発見し別の人に通報すること、それに応じたサービスを提供するニーズが高まっている。 On the other hand, due to the declining birthrate, the shortage of human resources, and the increase in crime, there is an increasing need to discover certain behaviors of people and report them to other people in many places in society, and to provide services accordingly. .
例えば、それらサービスには、次のようなものが考えられる。
・学校において、生徒の危険行動や部外者の不審な行動を発見して教師や親に通報する。
・街で迷子行動を行なう子供や、徘徊行動を行なう老人を発見し家族に連絡する。
・お店で万引き行動を行なう客を発見し、店員に知らせる。
・お店で購買するか商品の選択を迷っている行動を行なっている人を発見し、店員に知らせる。
・お店で道に迷っている行動をしている客を見つけ、誘導するサインを表示する。
・空港で不審な行動をしている人を見つけて、保安員に知らせる。
For example, the following services can be considered.
・ At school, discover dangerous behaviors of students and suspicious behaviors of outsiders and report them to teachers and parents.
・ Discover children who get lost in the city, and elderly people who are obscene, and contact their families.
・ Discover the shoplifting customers at the store and inform the store clerk.
・ Discover people who are buying at a store or wondering about product selection, and inform the store clerk.
-Find customers who are lost in the store and display signs to guide them.
・ Find suspicious people at the airport and inform security personnel.
上記のようなサービスを提供するには、移動体を観測して得られる観測データから行動を自動識別する識別器の生成が必要である。 In order to provide the above services, it is necessary to generate a discriminator that automatically identifies an action from observation data obtained by observing a moving object.
識別器を生成するための方法として、次の2種類の方法が考えられる。
・人が識別器を生成する。
・あらかじめ移動体を観測していくつかの観測データを取得し、移動体の行動とともに記録する。それら記録したデータをもとに観測データから行動を識別するような識別器を自動的に生成する。
As a method for generating the discriminator, the following two types of methods can be considered.
-A person generates a classifier.
・ Observe the moving body in advance to obtain some observation data and record it along with the behavior of the moving body. Based on the recorded data, a classifier that automatically identifies the action from the observed data is automatically generated.
前者の方法の中に、IF−THEN形式で人があらかじめルールを記述するという方法が考えられる。この方法では、IFで指定されたある条件を満たす観測データに対して、THENで指定された行動をラベル付ける。たとえば、「お店の中のすべての売り場を2回訪れる」という観測データを「迷子行動」とする、「物陰にかくれ、ポケットに手を入れた」という観測データを「万引き行動」とするといったルールである。これらルールそのものを、保安員や店員など、経験豊富な人間に対してヒヤリング等によって作り出す方法である。本手法では、観測データとして発見したい「行動」の定義が不明確な場合があることから、これらルールをあらかじめ人の手でもれなく生成することは困難であり時間がかかる、識別すべき行動は、サービスを提供する場所によって大きく異なり、識別を行なう場所を変えるたびに、それらルールを作り直さなければならないといった問題がある。そこで、後者の方法を選択する場合が多い。 Among the former methods, a method in which a person describes rules in advance in the IF-THEN format is conceivable. In this method, the action specified by THEN is labeled for the observation data satisfying a certain condition specified by IF. For example, the observation data “visit all the sales floors in the store twice” is “lost behavior”, and the observation data “hide in the shade, put your hand in your pocket” is “shoplifting behavior” It is a rule. These rules themselves are created by interviewing experienced people such as security personnel and shop assistants. In this method, the definition of the “behavior” that you want to discover as observation data may be unclear, so it is difficult and time-consuming to generate these rules in advance. There is a problem in that the rules need to be re-created each time the place of identification is changed. Therefore, the latter method is often selected.
後者の方法は、いくつかの観測されたデータに対して人が行動のラベルを付け、それを識別するような識別器を自動的に生成する方法である。観測データにあらかじめ人がラベル付けを行なったデータ(教師データ)を用いて識別器を自動的に生成する方法は、データマイニング、機械学習の分野では、古くから研究がされており、代表的な手法に決定木(公知技術:Quinlan「Programs for Machine Learning」 Morgan Kaufmann Publishers、 1993)やSVM(サポートベクターマシン)(公知技術:V.N.Vapnik、 「Statistical Learning Theory」、 John Wiley & Sons 、1998)、K Nearest Neighbors(公知技術:毛利隆夫「K Nearest Neighbor法と記憶に基づく推論」人工知能学会誌、Vol12.No2、pp188−195、March、1997)などがある。これら手法を用いて、識別精度の高い識別器を自動生成するためには、偏りのない大量の教師データを取得する必要がある。
人の行動を識別する識別器を生成するために偏りのない教師データを取得することは難しい。行動識別のための教師データの取得方法は次の2種類が考えられる。一つは、実際に観測されたデータに対して、人が一つ一つ行動のラベルを付ける方法である。もう一つは、演技者に行動ラベルを告げ、それに即した演技をしてもらいそれを観測し、観測データとする方法である。前者の方法では、本当に識別したい行動は、たまにしか現れないという問題がある。例えば、識別したい行動が教室での危険行動であった場合を考えると、常に観測されるのは生徒の正常な行動であり、たとえば1年間観測したとしても危険行動が現れるのは数回にしかすぎない。後者の方法では、演技者が演じることができるのは識別したい行動のいくつかのパターンにしかすぎず、すべてを演じることはできない。また、その識別したい行動そのものの演技をすることは可能であるが、その予兆行動といったものはわからないことが多いため演じることができない。例えば、店舗のなかの商品をバックに入れるといった万引き行動は演技者の演技によって観測することが可能であるが、その予兆となる行動、例えば、万引きをする前に店員の動きに注目し常に店員の死角に行くように移動するといった行動をとるといった傾向があった場合、万引き行動を行なった人の前の行動を調べれば、共通する行動として得ることはできるが、これら行動は、あらかじめわからないことが多く演じることができない。このように、行動を対象とした識別器を生成する際に得られる教師データに偏りがあり、識別精度を向上させることは難しく、また識別可能な移動体の行動が限られるという問題がある。 It is difficult to obtain unbiased teacher data in order to generate a discriminator that identifies human behavior. The following two types of teacher data acquisition methods for action identification are conceivable. One is a method in which humans label the action data one by one. The other is to tell the performer the action label, have the actor perform the action and observe it, and use it as observation data. In the former method, there is a problem that an action that is really desired to be identified appears only occasionally. For example, if the behavior you want to identify is a dangerous behavior in the classroom, it is normal behavior of the students that are always observed. For example, even if observed for one year, the dangerous behavior appears only a few times. Only. In the latter method, the actor can only perform some patterns of behavior that he wants to identify, not all. In addition, it is possible to perform the action itself that is desired to be identified, but it is not possible to perform it because there is often no indication of the predictive action. For example, shoplifting behavior such as putting goods in a store in the back can be observed by the actor's performance. However, the shopkeeper always pays attention to the behavior of the shoplifter, for example, the movement of the clerk before shoplifting. If there is a tendency to move to go to the blind spot, if you look at the behavior in front of the person who did shoplifting behavior, you can get common behavior, but these behaviors are not known in advance Can't play much. As described above, there is a bias in teacher data obtained when generating a classifier for an action, and it is difficult to improve the identification accuracy, and there is a problem that the behavior of a movable body that can be identified is limited.
本発明は、移動体の行動を識別する識別精度を向上させるともに識別可能な移動体の行動を増やすことができる行動識別装置および行動識別方法を提供する。 The present invention provides an action identification device and an action identification method capable of improving the identification accuracy for identifying the action of a moving body and increasing the number of actions of the movable body that can be identified.
本発明の一態様としての行動識別装置は、
1つ以上のセンサにより移動体を観測して得た観測値と、前記移動体のIDと、前記移動体の観測時刻とを含む複数の第1レコードを記録する第1データベースと、
前記第1データベースに記録された1つ以上の第1レコードから前記移動体の行動の特徴を表す1つ以上の特徴量を抽出する特徴量抽出部と、
1つ以上の特徴量と行動を表すラベルとを含む複数の第2レコードを記録した第2データベースと、
前記特徴量抽出部によって抽出された特徴量から前記移動体の行動を識別可能か否かを前記第2データベースに基づき判定する行動識別可能判定部と、
識別不能と判定された特徴量と、該特徴量が抽出された各第1レコードに含まれる観測時刻を代表する時刻と、識別不能と判定された移動体のIDとを含む第3レコードを記録する第3データベースと、
識別可能と判定された特徴量と前記第2データベースとから前記移動体の行動を識別する行動識別部と、
行動識別された移動体のIDと同一のIDをもち、かつ前記行動識別された移動体の特徴量が抽出された各第1レコードに含まれる観測時刻を代表する時刻との差が第1閾値以内の時刻をもつ第3レコードを前記第3データベースから検出し、検出された第3レコードに含まれる特徴量と前記行動識別された移動体の行動またはその予兆行動を表すラベルとを含む第2レコードを前記第2データベースに追加するデータベース更新部と、
を備える。
The action identification device as one aspect of the present invention is:
A first database that records a plurality of first records including observation values obtained by observing a moving object with one or more sensors, an ID of the moving object, and observation times of the moving object;
A feature quantity extraction unit that extracts one or more feature quantities representing the feature of the behavior of the moving object from one or more first records recorded in the first database;
A second database that records a plurality of second records including one or more feature quantities and a label representing an action;
An action identifiable determination unit that determines whether or not the behavior of the mobile object can be identified from the feature quantity extracted by the feature quantity extraction unit;
A third record including a feature amount determined to be unidentifiable, a time representing the observation time included in each first record from which the feature amount is extracted, and a mobile object ID determined to be unidentifiable is recorded A third database to
An action identifying unit that identifies the action of the moving object from the feature quantity determined to be identifiable and the second database;
The difference from the time representing the observation time included in each first record having the same ID as the action-identified moving object ID and the extracted feature quantity of the action-identified moving object is the first threshold value. A second record including a feature quantity included in the detected third record and a label representing the behavior of the mobile body identified by the behavior or its predictive behavior; A database updater for adding records to the second database;
Is provided.
本発明の一態様としての行動識別方法は、
1つ以上のセンサにより移動体を観測して得た観測値と、前記移動体のIDと、前記移動体の観測時刻とを含む第1レコードを第1データベースに逐次記録し、
前記第1データベースに記録された1つ以上の第1レコードから前記移動体の行動の特徴を表す1つ以上の特徴量を抽出し、
1つ以上の特徴量と行動を表すラベルとを含む複数の第2レコードを記録した第2データベースを用いて、抽出された特徴量から前記移動体の行動を識別可能か否かを判定し、
識別不能と判定された特徴量と、該特徴量が抽出された各第1レコードに含まれる観測時刻を代表する時刻と、識別不能と判定された移動体のIDとを含む第3レコードを第3データベースに記録し、
識別可能と判定された特徴量と前記第2データベースとから前記移動体の行動を識別し、
行動識別された移動体のIDと同一のIDをもち、かつ前記行動識別された移動体の特徴量が抽出された各第1レコードに含まれる観測時刻を代表する時刻との差が第1閾値以内の時刻をもつ第3レコードを前記第3データベースから検出し、検出された第3レコードに含まれる特徴量と前記行動識別された移動体の行動またはその予兆行動を表すラベルとを含む第2レコードを前記第2データベースに追加する。
The behavior identifying method as one aspect of the present invention includes:
A first record including an observation value obtained by observing a moving body with one or more sensors, an ID of the moving body, and an observation time of the moving body is sequentially recorded in a first database;
Extracting one or more feature quantities representing the characteristics of the behavior of the moving object from one or more first records recorded in the first database;
Using a second database that records a plurality of second records including one or more feature quantities and a label representing an action, determining whether the action of the moving object can be identified from the extracted feature quantities;
The third record including the feature quantity determined to be unidentifiable, the time representing the observation time included in each first record from which the feature quantity is extracted, and the ID of the mobile object determined to be unidentifiable 3 records in database,
Identifying the behavior of the moving object from the feature quantity determined to be identifiable and the second database;
The difference from the time representing the observation time included in each first record having the same ID as the action-identified moving object ID and the extracted feature quantity of the action-identified moving object is the first threshold value. A second record including a feature quantity included in the detected third record and a label representing the behavior of the mobile body identified by the behavior or its predictive behavior; A record is added to the second database.
本発明により、移動体の行動を識別する識別精度が向上するとともに、識別可能な移動体の行動を増やすことができる。 According to the present invention, it is possible to improve the identification accuracy for identifying the behavior of the moving body and increase the number of identifiable behaviors of the moving body.
図1は、本発明の実施の形態における行動識別装置の構成を概略的に示すブロック図である。この行動識別装置は、行動履歴データベース(行動履歴DB:DataBase)1と、特徴量抽出部2と、行動識別可能判定部3と、教師データベース(教師DB)4と、識別可能判定パラメータデータベース(識別可能判定パラメータDB)5と、識別不可能データベース(識別不可能DB)6と、行動識別部7と、識別パラメータデータベース(識別パラメータDB)8と、教師データベース更新部(教師DB更新部)9と、出力部10とで構成される。
FIG. 1 is a block diagram schematically showing the configuration of the behavior identification device according to the embodiment of the present invention. This behavior identification device includes a behavior history database (behavior history DB: DataBase) 1, a feature
行動履歴データベース1は第1データベースに、教師データベース4は第2データベースに、識別不可能データベース6は第3データベースに相当する。
The
図1の各要素によって行われる機能はこれらの機能を実行する命令コードを記述したプログラムコードを汎用のコンピュータに読み込ませ実行させることによって実現してもよい。またこのプログラムコードはコンピュータによって読み取り可能な、CD−ROM、ハードディスク、メモリカード等の記憶媒体に格納されてもよい。 The functions performed by the elements in FIG. 1 may be realized by causing a general-purpose computer to read and execute program codes describing instruction codes for executing these functions. The program code may be stored in a computer-readable storage medium such as a CD-ROM, hard disk, or memory card.
行動履歴データベース(第1データベース)1は、単数および複数の移動体のレコード(第1レコード)を逐次記録する。各レコードは、観測された移動体のIDと、観測時刻と、移動体を単数または複数のセンサにより観測した計測値(観測値)とを含む。センサによる観測は一定時間ごとに行われる。センサで観測される移動体の計測値として、例えば体、頭、足、手の位置、速度、加速度、体の向きなどが考えられる。移動体001の移動軌跡を一秒おきに観測した例を図2に示す。図2に示した移動を記録した行動履歴データベースを図3に示す。図3は、移動体001が、2007年8月1日15時32分00秒にx軸30cm、Y軸20cm、Z軸170cmの位置にいた、15時32分01秒にx軸15cm、Y軸20cm、Z軸170cmの位置にいた、15時32分02秒にx軸15cm、Y軸10cm、Z軸170cmの位置にいたことを示している。
The action history database (first database) 1 sequentially records one and a plurality of moving body records (first records). Each record includes an ID of the observed mobile object, an observation time, and a measured value (observed value) obtained by observing the mobile object with one or a plurality of sensors. Sensor observation is performed at regular intervals. As the measured value of the moving body observed by the sensor, for example, the position of the body, head, foot, hand, velocity, acceleration, body orientation, and the like are conceivable. An example in which the movement locus of the moving
特徴量抽出部2は、行動履歴データベース1に記録されている、移動体の単数および複数のレコードから移動体の行動の特徴を表す単数または複数の特徴量を算出し、移動体IDと、最初のレコードまたは最後のレコードに記録されていた観測時刻(各レコードの観測時刻を代表する代表時刻)と、算出した単数または複数の特徴量とを行動識別可能判定部3へ入力する。最初のレコードまたは最後のレコードに記録されていた観測時刻の代わりに、最初の観測時刻と最後の観測時刻との間の任意の時刻を行動識別可能判定部3に観測時刻として入力してもよい。すなわち観測時刻として、最初の観測時刻以降かつ最後の時刻以前の任意の時刻を採用できる。
The feature
特徴量とは、例えば平均速度、前地点と現在地点での体の向きの変位角度があらかじめ指定された角度以上になった回数(方向転換回数)、前地点と現在地点での体の向きの変位角度(方向変換角度)の積算値、方向変換角度の絶対値の積算値、ある一定の速度以上の速度で移動していた時間、ある一定の速度以上の速度で移動していた回数、速度が0になった回数などである。一例として、n個のレコードから平均速度を算出する方法を以下の式1に示す。
l:特徴量の算出を開始するレコード番号を表す。1ずつ増加させてもよいし、nずつ増加させても、そのほかの値分ずつ増加させてもよい。
n:特徴量を算出する期間を表す。
The feature amount is, for example, the average speed, the number of times that the displacement angle of the body direction at the previous point and the current point is greater than or equal to the angle specified in advance (number of turnovers), the direction of the body at the previous point and the current point Integrated value of displacement angle (direction conversion angle), integrated value of absolute value of direction conversion angle, time spent moving at a speed above a certain speed, number of times moving at a speed above a certain speed, speed This is the number of times that becomes zero. As an example, a method for calculating an average speed from n records is shown in
l: represents the record number at which the calculation of the feature amount starts. It may be increased by one, may be increased by n, or may be increased by other values.
n: represents a period for calculating the feature amount.
図3に示す行動履歴データベース1から特徴量として、平均速度を算出する場合、n=1の場合、l=0の時の特徴量は15cm/s、l=1の時の特徴量は10cm/sであり、n=2の場合、l=0の時の特徴量は、12.5cm/sである。
When calculating an average speed as a feature value from the
特徴量は最大値が1、最小値が0となるように正規化してもよいし、複数の特徴量が存在する場合、各特徴量の軸を標準偏差で正規化(標準化)し平均まわりの分散が等しくなるようにしてもよいし、ある特定種類の特徴量の値のみを大きくするような重み付けを行なってもよい。例えば、方向転換回数のみを倍の値にするなどがある。また、行動履歴データベース1の単数または複数のレコードに記録されたセンサ値の平均値、最大値と最小値の差、変位量を特徴量として用いてもよい。
The feature value may be normalized so that the maximum value is 1 and the minimum value is 0. When there are multiple feature values, the axis of each feature value is normalized (standardized) with the standard deviation and the average around The variances may be equal, or weighting may be performed to increase only the value of a particular type of feature amount. For example, only the number of direction changes is doubled. Moreover, you may use the average value of the sensor value recorded on the single or several record of the
教師データベース(第2データベース)4は、単数または複数のレコード(第2レコード)から構成されるデータベースであり、一つのレコードは単数または複数の特徴量と、行動ラベルとの組で表される。教師データベース4の一例を図5に示す。図5では、特徴量として、平均速度、方向転換回数、停止回数、歩行時間の4種類を用いている。一番目のレコードは、平均速度が10cm/s、方向転換回数が10回、停止回数が5回、歩行時間が3秒のとき、その人は「迷い行動」をしているとラベル付けられたことを表している。三番目のレコードは、平均速度が65cm/s、方向転換回数が0回、停止回数が1回、歩行時間が20秒のとき、その人は「正常行動」をしているとラベル付けられたことを表している。
The teacher database (second database) 4 is a database composed of one or a plurality of records (second records), and one record is represented by a set of one or a plurality of feature amounts and action labels. An example of the
教師データベース4を生成する方法について述べる。教師データベース4は、演技者に行動ラベルを告げ、演技者が演じるのを観測して、特徴量抽出部2によって特徴量に変換することで得た特徴量と、演技者に告げた行動ラベルとの組をレコードとして、教師データベース4に記録することで生成してもよいし、人の行動を観測するセンサとは別にビデオを設置して人の行動を記録し、センサで観測した値を特徴量抽出部2によって特徴量に変換することで得た特徴量と、ビデオを目で見ることによって人がラベル付けした行動ラベルとの組をレコードとして、教師データベース4に記録することで生成してもよい。
A method for generating the
行動識別可能判定部3は、特徴量抽出部2から入力された移動体ID、観測時刻、単数または複数の特徴量のうちの単数または複数の特徴量と、教師データベース4とから移動体の行動を識別可能であるか否かを判定する。識別不可能の場合は、移動体IDと観測時刻と単数または複数の特徴量とを識別不可能データベース6に記録する。一方、識別可能の場合は、移動体IDと観測時刻と単数または複数の特徴量とを行動識別部7へ入力する。
The action
行動識別可能判定部3における判定方法の一例を図4のフローチャートに示す。kは教師データベース4に記録されたレコードの番号を表し、nは教師データベース4に記録されたレコード総数を表す。dは、特徴量抽出部2より入力された単数又は複数の特徴量を表す変数およびベクトルであり、dkは教師データベース4のk番目に記録されているレコードの単数又は複数の特徴量を表す変数およびベクトルである。Lは識別可能判定パラメータデータベース5に記録された行動識別可能判定閾値を表す。
An example of the determination method in the action
まず、教師データベース4に記録されたすべてのレコードについて、レコードに含まれる単数または複数の特徴量と特徴量抽出部2より入力された単数又は複数の特徴量との差分(距離あるいは類似度)を算出し、そのうちの最小値(最小の距離あるいは最大の類似度に相当)を記録する(S11〜S14)。
First, for all the records recorded in the
レコードに含まれる特徴量がn個の場合、|d−dk|の算出(距離の算出あるいは類似度の算出)は例えば以下の式2のように表される。行動識別可能判定部3は特徴量間の距離あるいは類似度を計算する距離計算部あるいは類似度計算部を有している。距離計算部あるいは類似度計算部は、後述する行動識別部7および教師データベース更新部9が備えていても良い。特徴量間の距離の計算(類似度の計算)には式2の他にも種々の方法を用いることができる。
次に、記録された差分の最小値と、識別可能判定パラメータデータベース5に記録された行動識別可能判定閾値(第2閾値)とを比較し(S15)、最小値が行動識別可能判定閾値以上の場合(S15のYES)識別不可能とし、最小値が行動識別可能判定閾値よりも小さい場合(S15のNO)識別可能と判定する。 Next, the recorded difference minimum value is compared with the action identifiable determination threshold value (second threshold value) recorded in the identifiable determination parameter database 5 (S15), and the minimum value is equal to or greater than the action identifiable determination threshold value. In the case (YES in S15), identification is impossible, and in the case where the minimum value is smaller than the action identifiable determination threshold (NO in S15), it is determined that identification is possible.
他の判定方法として、教師データベース4に記録されたレコードに記録されている単数または複数の特徴量と特徴量抽出部2より入力された単数又は複数の特徴量との差分を積算していき、差の積算値と識別可能判定パラメータデータベース5に記録された別の行動識別可能判定閾値(第4閾値)とを比較し、積算値が別の行動識別可能判定閾値以上の場合は識別不可能とし、積算値が別の行動識別可能判定閾値よりも小さい場合を識別可能としてもよい。また特徴量抽出部2から入力された単数又は複数の特徴量とレコードに記録されている単数または複数の特徴量との差分が行動識別可能判定閾値(第2閾値)未満となるレコードの数がある定められた個数(類似個数閾値あるいは第3閾値)よりも多くある場合は識別可能とし、類似個数閾値以下の場合は識別不可能とする方法などが考えられる。
As another determination method, the difference between the one or more feature quantities recorded in the record recorded in the
識別可能判定パラメータデータベース5は、行動判別可能識別部3において、特徴量抽出部2から入力された複数の特徴量から行動識別可能かを判定するための行動識別可能判定閾値(第2閾値)または別の行動識別可能判定閾値(第4閾値)を記録している。特徴量抽出部2より入力された単数又は複数の特徴量とレコードに記録されている単数または複数の特徴量との差分が行動識別可能判定閾値(第2閾値)未満となるレコードの数がある定められた個数(類似個数閾値あるいは第3閾値)よりも多くある場合に識別可能とする判定を行う場合には、行動識別可能判定閾値(第2閾値)に加え、類似個数閾値(第3閾値)を記憶する。
The identifiable
識別不可能データベース(第3データベース)6は、行動識別可能判定部3で識別不可能と判定されたときに出力される単数または複数の特徴量と移動体IDと観測時刻とをひとつのレコード(第3レコード)として記録するデータベースである。識別不可能データベース6の一例を図6に示す。図6の一番目のレコードは、識別不可能と判定された、2007年08月01日の18:00:01に移動体001を観測して得た特徴量(平均速度が15cm/s、方向転換回数が4回、停止回数が3回、歩行時間が9秒)を表している。二番目のレコードは、識別不可能と判定された、2007年08月01日の18:00:02に移動体001を観測して得た特徴量(平均速度が18cm/s、方向転換回数が5回、停止回数が4回、歩行時間が10秒)を表している。
The indistinguishable database (third database) 6 includes one or a plurality of feature amounts, a moving body ID, and an observation time, which are output when the action discriminating
行動識別部7は、教師データベース4に記録された複数のレコードを用いて必要に応じて識別器を生成する。識別器として例えば、決定木やSVM(サポートベクターマシン)、ニューラルネットワークがある。また行動識別部7は、生成した識別器または、あらかじめ与えられたK Nearest Neighborsなどの識別アルゴリズムを用いて、行動識別可能判定部3で識別可能と判定され出力された移動体IDと観測時刻と単数または複数の特徴量とのうち単数または複数の特徴量を用いて行動識別を行ない、識別の結果の行動を表す行動ラベルを、移動体IDと観測時刻と単数または複数の特徴量とともに出力する。
The
ここで識別器の一例として決定木の例を図7に示す。図7に示す決定木は、「停止回数が10回以上で方向転換回数が10回以上である場合その行動は迷い行動であると識別する」、「停止回数が10回以上で方向転換回数が10回より小さい場合その行動は正常行動であると識別する」、「停止回数が10回より小さく歩行時間が5秒以下である場合その行動は迷い行動であると識別する」、「停止回数が10回より小さく歩行時間が5秒より大きい場合その行動は正常行動であると識別する」ことを表している。例えば、特徴量が停止回数、方向転換回数、平均速度、歩行時間の4種類であり、停止回数が11回、方向転換回数が15回、平均速度が10cm/s、歩行時間が3sの場合は迷い行動と識別され、停止回数が8回、方向転換回数が5回、平均速度が10cm/s、歩行時間が10sの場合は正常行動と識別される。 FIG. 7 shows an example of a decision tree as an example of a discriminator. The decision tree shown in FIG. 7 is “if the number of stops is 10 or more and the number of direction changes is 10 or more, the action is identified as a stray behavior”, “the number of stops is 10 or more and the number of direction changes is If less than 10 times, the action is identified as a normal action "," If the number of stops is less than 10 times and the walking time is 5 seconds or less, the action is identified as a lost action "," If the walking time is less than 10 times and the walking time is longer than 5 seconds, the action is identified as a normal action ". For example, when the feature quantity is four types of stop count, direction change count, average speed, and walking time, the stop count is 11 times, the direction change count is 15 times, the average speed is 10 cm / s, and the walk time is 3 s. When the number of stops is 8 times, the number of direction changes is 5 times, the average speed is 10 cm / s, and the walking time is 10 seconds, the behavior is identified as normal behavior.
識別アルゴリズムとして、K Nearest Neighborsを用いる場合は、教師データベース4に記録された各レコードの特徴量と、行動識別可能判定部3で識別可能と判定され出力された単数または複数の特徴量との類似度(距離)を計算し、例えば一番距離が近い(類似度が大きい)レコードに含まれる行動ラベルを選択する。一例として、教師データベース4が図5に示すものであり、距離(類似度)が以下の式3で定義される場合について述べる。
このとき、kはレコード番号を表し、dk1はk番目のレコードの平均速度、dk2はk番目のレコードの方向転換回数を、dk3はk番目のレコードの停止回数を、dk4はk番目のレコードの歩行時間をそれぞれ表している。|d−dk|が最小となるレコードの行動ラベルを、行動識別可能判定部3で識別可能と判定され出力された移動体IDと観測時刻と単数または複数の特徴量とのセットに対する行動ラベルとする。例えば、行動識別可能判定部3から出力された特徴量が、平均速度が10cm/s、方向転換回数が15回、停止回数が11回、歩行時間が3sであった場合、|d−d1|=11、|d−d2|=10、|d−d3|=79、|d−d4|=68、|d−d5|=91、となることから、2番目のレコードとの類似度が最も高い(距離が最も小さい)と判断され、「迷い行動」とラベル付けされる。
At this time, k represents the record number, dk 1 is the average speed of the k-th record, dk 2 is the number of direction changes of the k-th record, dk 3 is the number of stops of the k-th record, and dk 4 is k. Represents the walking time of the second record. The action label of the record with the minimum | d-dk | is determined as the action ID that can be discriminated by the action discriminating
識別パラメータデータベース8は、行動識別部7で識別器を生成する際に必要なパラメータ、または行動識別部7で識別アルゴリズムを用いる際に必要なパラメータを記録している。例えば、識別器として決定木を生成する場合に必要なパラメータの一例として、分割不能を表す値、枝狩りを行なうのに必要なパラメータ、ノードに含まれる最小データ数がある。識別アルゴリズムとして K Nearest Neighborsを用いる場合に必要なパラメータの一例として、識別に使用する事例の個数とその事例からの識別方法(識別に使用する事例につけられたラベルがもっとも多いラベルとする(多数決)のか、ラベルごとに類似度を算出し類似度が最も高いラベルとするなど)がある。
The
教師データベース更新部9は、行動識別部7より出力された移動体IDと観測時刻と単数または複数の特徴量と行動ラベルとを元に識別不可能データベース6を検索し、同一の移動体IDをもち、かつ行動識別部7から出力された観測時刻との差があらかじめ定められた値(第1閾値)以内の観測時刻をもつレコードがあるかどうかを調べる。そのようなレコードがあったとき、そのレコードに記録されている単数又は複数の特徴量に行動識別部7より出力された行動ラベルと同一行動ラベルを付加し一つのレコードとして、教師データベース4に追加記録し、識別不可能データベース6からは前記に該当するレコードを消去する。すなわち行動が識別できないとして判断が保留されていた特徴量と観測時刻と移動体IDとの組(第3レコード)に対して行動ラベルが付与される。これにより偏りのない教師データ(第2レコード)を教師データベース4に多く蓄積でき、移動体の行動識別の精度が向上するとともに、識別可能な移動体の行動数を増やすことができる。以上の処理を識別不可能データベース6内の該当する全てのレコード(すなわち同一の移動体IDをもち、かつ行動識別部7より出力された観測時刻とあらかじめ定められた値以内の観測時刻をもつレコード)について行う。
The teacher
また、教師データベース更新部9は、識別不可能データベース6に記録されている移動体IDの観測データがある一定の時間以上得られない場合は、識別不可能データベース6から、その移動体IDを含むレコードすべてを削除してもよい。つまり、識別不可能データベース6に記録された時刻、または識別不可能データベース6内のレコードに記録されている観測時刻から、一定時間以上経過したレコードを削除してもよい。
In addition, when the observation data of the mobile object ID recorded in the
また、教師データベース更新部9は、行動識別部7により得られた行動ラベルと、この行動ラベルが得られたときの移動体IDと観測時刻と特徴量とを一つのレコード(第4レコード)として、別のデータベース(第4データベース)に記録しておく。そして同一のIDをもち、かつ特徴量間の距離が所定値以下(特徴量間の類似度が所定値以上)となるレコードがある一定数以上蓄積されたら、これらの一定数以上のレコードから各同一の行動ラベルの割合を計算する。最も高い割合があらかじめ指定された割合(第5閾値)以上のとき、最も高い割合をもつ行動ラベルをもとに、教師データベース4へのレコードの追加を行う。つまり、これらのレコードに含まれる観測時刻を代表する時刻(たとえばこれらのレコードのうちいずれかに含まれる観測時刻)に対し上記あらかじめ定められた値(第1閾値)以内の観測時刻をもつレコードを識別不可能データベース6から検出し、検出したレコードに含まれる特徴量と、上記最も高い割合をもつ行動ラベルとを1つのレコードとして教師データベース4に追加する。上記最も高い割合が第5閾値未満であるときは、教師データベース4へのレコードの追加は行わない。
In addition, the teacher
また、教師データベース更新部9は、行動識別部7から出力された移動体IDと同一の移動体IDをもちかつ行動識別部7から出力された観測時刻との差があらかじめ定められた値(第1閾値)以内の観測時刻をもつレコードを識別不可能データベース6から検出した際、そのレコードに記録されている単数又は複数の特徴量に対し行動識別部7より出力された行動ラベルが表す行動の予兆行動というラベルをつけて一つのレコードとし、教師データベース4に記録し、識別不可能データベース6からは前記に該当するレコードを消去してもよい。以上の手順を識別不可能データベース6内の該当する全てのレコード(すなわち同一の移動体IDをもち、かつ行動識別部7から出力された観測時刻とあらかじめ定められた値以内の観測時刻をもつレコード)について行なっても良い。
In addition, the teacher
出力部10は、行動識別部7から入力される移動体IDと観測時刻と単数または複数の特徴量と行動ラベルとを出力する。出力部10は、これらのうち行動ラベルのみを文字で出力してもよいし、あらかじめ行動ラベルと絵とを対になるように別のデータベースで定義することによって、行動ラベルに即した絵をディスプレイに出力してもよい。またあらかじめ記録した行動ラベルと等しい行動ラベルが入力されたときにブザーなどの警報を鳴らす、携帯電話を鳴らす、メールで知らせるといった方法を用いてもよい。
The
図8は図1の行動識別装置を用いて行う行動識別の処理の流れの一例を示すフローチャートである。 FIG. 8 is a flowchart showing an example of a flow of action identification processing performed using the action identification device of FIG.
まず、移動体を観測して得られたセンサデータから特徴量抽出部2を用いて特徴量を算出し、算出した特徴量に対して行動のラベル付けを行うことにより教師データベース4を用意する(S11)。
First, a feature amount is calculated from the sensor data obtained by observing the moving body using the feature
次に、教師データベース4を用いて、必要に応じて、特徴量から行動を識別する識別器を自動生成する(S12)。
Next, using the
次に移動体に対して、センサを用いて観測を行い、移動体IDとセンサデータと観測時刻を取得し、さらに観測したセンサデータから特徴量抽出部2において特徴量を抽出する(S13)。
Next, the mobile body is observed using a sensor, the mobile body ID, sensor data, and observation time are acquired, and the feature
抽出した特徴量から移動体の行動を識別可能であるか否かを教師データベース4に基づき判定する(S14)。
It is determined based on the
識別可能でない場合は(S15のNO)、行動識別可能判定部3により、移動体IDと観測時刻と特徴量とを識別不可能データベース6に記録する(S16)。
If it is not identifiable (NO in S15), the action
識別可能な場合は(S15のYES)、行動識別部7において識別器を用いて識別を行い、識別された行動を表す行動ラベルを得る(S17)。
When it is discriminable (YES in S15), the
そして、教師データベース更新部9により識別不可能データベース6を検索し、行動識別部7で識別された移動体のIDと同一のIDをもちかつ、該移動体の観測時刻との差があらかじめ与えられた閾値以内である観測時刻をもつレコードを識別不可能データベース6から検出し、行動識別部7により行動識別された行動または当該行動の予兆行動を表すラベルと、検出したレコードに含まれる特徴量との組を教師データベース4に追加する(S18)。更新した教師データベース4を元に行動識別部7において識別器を再生成してもよい。
The teacher
1:行動履歴データベース(第1データベース)
2:特徴量抽出部
3:行動識別可能判定部
4:教師データベース(第2データベース)
5:識別可能判定パラメータデータベース
6:識別不可能データベース(第3データベース)
7:行動識別部
8:識別パラメータデータベース
9:教師データベース更新部(データベース更新部)
10:出力部
1: Action history database (first database)
2: Feature amount extraction unit 3: Action distinguishable determination unit 4: Teacher database (second database)
5: Identifiable determination parameter database 6: Unidentifiable database (third database)
7: Action identification unit 8: Identification parameter database 9: Teacher database update unit (database update unit)
10: Output section
Claims (11)
前記第1データベースに記録された1つ以上の第1レコードから前記移動体の行動の特徴を表す1つ以上の特徴量を抽出する特徴量抽出部と、
1つ以上の特徴量と行動を表すラベルとを含む複数の第2レコードを記録した第2データベースと、
前記特徴量抽出部によって抽出された特徴量から前記移動体の行動を識別可能か否かを前記第2データベースに基づき判定する行動識別可能判定部と、
識別不能と判定された特徴量と、該特徴量が抽出された各第1レコードに含まれる観測時刻を代表する時刻と、識別不能と判定された移動体のIDとを含む第3レコードを記録する第3データベースと、
識別可能と判定された特徴量と前記第2データベースとから前記移動体の行動を識別する行動識別部と、
行動識別された移動体のIDと同一のIDをもち、かつ前記行動識別された移動体の特徴量が抽出された各第1レコードに含まれる観測時刻を代表する時刻との差が第1閾値以内の時刻をもつ第3レコードを前記第3データベースから検出し、検出された第3レコードに含まれる特徴量と前記行動識別された移動体の行動またはその予兆行動を表すラベルとを含む第2レコードを前記第2データベースに追加するデータベース更新部と、
を備えた行動識別装置。 A first database that records a plurality of first records including observation values obtained by observing a moving object with one or more sensors, an ID of the moving object, and observation times of the moving object;
A feature quantity extraction unit that extracts one or more feature quantities representing the feature of the behavior of the moving object from one or more first records recorded in the first database;
A second database that records a plurality of second records including one or more feature quantities and a label representing an action;
An action identifiable determination unit that determines whether or not the behavior of the mobile object can be identified from the feature quantity extracted by the feature quantity extraction unit;
A third record including a feature amount determined to be unidentifiable, a time representing the observation time included in each first record from which the feature amount is extracted, and a mobile object ID determined to be unidentifiable is recorded A third database to
An action identifying unit that identifies the action of the moving object from the feature quantity determined to be identifiable and the second database;
The difference from the time representing the observation time included in each first record having the same ID as the ID of the action-identified moving object and the feature quantity of the action-identified moving object extracted is the first threshold value. A second record including a feature quantity included in the detected third record and a label representing the behavior of the mobile body identified by the behavior or its predictive behavior; A database updater for adding records to the second database;
An action identification device comprising:
特徴量間の距離を計算する距離計算部とをさらに備え、
前記データベース更新部は、同一のIDをもちかつ互いに所定の距離以下をもつ第4レコードが一定数記録されたら、前記一定数の第4レコードに含まれるラベルにおいて最も個数の多いラベルを特定し、前記一定数の第4レコードに含まれる時刻を代表する時刻から前記第1閾値時間以内の時刻をもつ第3レコードを前記第3データベースから検出し、検出した第3レコードに含まれる特徴量と、特定したラベルと同一のラベルまたは該特定したラベルが示す行動の予兆行動を示すラベルとを含む第2レコードを前記第2データベースに追加する、
ことを特徴とする請求項1〜5のいずれか一項に記載の行動識別装置。 The feature amount of the mobile object identified by the action, the time representative of the observation time included in each first record from which the feature value is extracted, the ID of the mobile object identified by the action, and the identified action A fourth database for recording a fourth record including a label;
A distance calculation unit for calculating the distance between the features,
The database update unit, when a certain number of fourth records having the same ID and having a predetermined distance or less are recorded, identifies the label with the largest number among the labels included in the certain number of fourth records, A third record having a time within the first threshold time from a time representative of the time included in the fixed number of fourth records is detected from the third database, and a feature amount included in the detected third record; Adding a second record including the same label as the identified label or a label indicating the predictive behavior of the action indicated by the identified label to the second database;
The action identification device according to any one of claims 1 to 5, wherein
前記第1データベースに記録された1つ以上の第1レコードから前記移動体の行動の特徴を表す1つ以上の特徴量を抽出し、
1つ以上の特徴量と行動を表すラベルとを含む複数の第2レコードを記録した第2データベースを用いて、抽出された特徴量から前記移動体の行動を識別可能か否かを判定し、
識別不能と判定された特徴量と、該特徴量が抽出された各第1レコードに含まれる観測時刻を代表する時刻と、識別不能と判定された移動体のIDとを含む第3レコードを第3データベースに記録し、
識別可能と判定された特徴量と前記第2データベースとから前記移動体の行動を識別し、
行動識別された移動体のIDと同一のIDをもち、かつ前記行動識別された移動体の特徴量が抽出された各第1レコードに含まれる観測時刻を代表する時刻との差が第1閾値以内の時刻をもつ第3レコードを前記第3データベースから検出し、検出された第3レコードに含まれる特徴量と前記行動識別された移動体の行動またはその予兆行動を表すラベルとを含む第2レコードを前記第2データベースに追加する、行動識別方法。 A first record including an observation value obtained by observing a moving body with one or more sensors, an ID of the moving body, and an observation time of the moving body is sequentially recorded in a first database;
Extracting one or more feature quantities representing the characteristics of the behavior of the moving object from one or more first records recorded in the first database;
Using a second database that records a plurality of second records including one or more feature quantities and a label representing an action, determining whether the action of the moving object can be identified from the extracted feature quantities;
The third record including the feature quantity determined to be unidentifiable, the time representing the observation time included in each first record from which the feature quantity is extracted, and the ID of the mobile object determined to be unidentifiable 3 records in database,
Identifying the behavior of the moving object from the feature quantity determined to be identifiable and the second database;
The difference from the time representing the observation time included in each first record having the same ID as the ID of the action-identified moving object and the feature quantity of the action-identified moving object extracted is the first threshold value. A second record including a feature quantity included in the detected third record and a label representing the behavior of the mobile body identified by the behavior or its predictive behavior; A behavior identification method of adding a record to the second database.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007118375A JP2008276455A (en) | 2007-04-27 | 2007-04-27 | Behavior identification device and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007118375A JP2008276455A (en) | 2007-04-27 | 2007-04-27 | Behavior identification device and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008276455A true JP2008276455A (en) | 2008-11-13 |
Family
ID=40054343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007118375A Pending JP2008276455A (en) | 2007-04-27 | 2007-04-27 | Behavior identification device and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008276455A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013205904A (en) * | 2012-03-27 | 2013-10-07 | Toshiba Corp | Server device, annotation system, method, and program |
JP2015146211A (en) * | 2015-04-02 | 2015-08-13 | 株式会社東芝 | server device, annotation system, method, and program |
JP2020017107A (en) * | 2018-07-26 | 2020-01-30 | ソニー株式会社 | Information processing device, information processing method, and program |
-
2007
- 2007-04-27 JP JP2007118375A patent/JP2008276455A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013205904A (en) * | 2012-03-27 | 2013-10-07 | Toshiba Corp | Server device, annotation system, method, and program |
JP2015146211A (en) * | 2015-04-02 | 2015-08-13 | 株式会社東芝 | server device, annotation system, method, and program |
JP2020017107A (en) * | 2018-07-26 | 2020-01-30 | ソニー株式会社 | Information processing device, information processing method, and program |
US11574504B2 (en) | 2018-07-26 | 2023-02-07 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP7283037B2 (en) | 2018-07-26 | 2023-05-30 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10970558B2 (en) | People flow estimation device, people flow estimation method, and recording medium | |
Lan et al. | Discriminative latent models for recognizing contextual group activities | |
EP2659456B1 (en) | Scene activity analysis using statistical and semantic feature learnt from object trajectory data | |
US6502082B1 (en) | Modality fusion for object tracking with training system and method | |
Thorleuchter et al. | A compared R&D-based and patent-based cross impact analysis for identifying relationships between technologies | |
Carlos et al. | How smartphone accelerometers reveal aggressive driving behavior?—The key is the representation | |
JP2008276453A (en) | Behavior identification device and method | |
JP2009134688A (en) | Segmenting time based on geographic distribution of activity in sensor data | |
CN106537387B (en) | Retrieval/storage image associated with event | |
CN103106394A (en) | Human body action recognition method in video surveillance | |
JP6968966B1 (en) | How to recognize the semantic relationship of image objects based on deep learning and PLSI | |
CN113643170A (en) | Big data driven public place crowd gathering evacuation method and device | |
CN115564027A (en) | Multi-modal learning behavior analysis method, system and storage medium | |
JP2008276455A (en) | Behavior identification device and method | |
JP5236607B2 (en) | Anomaly detection device | |
EP3336746A1 (en) | System and method of video content filtering | |
JP7131351B2 (en) | LEARNING METHOD, LEARNING PROGRAM AND LEARNING DEVICE | |
JP2016103245A (en) | Information processing apparatus, information processing method, and program | |
JP7152357B2 (en) | Correct data creation support system and correct data creation support method | |
JP7351344B2 (en) | Learning device, learning method, reasoning device, reasoning method, and program | |
Taghvaei et al. | HMM-based state classification of a user with a walking support system using visual PCA features | |
JP2009265905A (en) | Preprocessor using preliminary rule, preprocessing method, information extraction device using the preprocessor and information extraction method | |
JP2021068333A (en) | Child abuse sign determination program and system | |
Dziak | Detection and classification multi-sensor systems: Implementation of IoT and systematic design approaches | |
Akash et al. | Human Activity Segmentation employing Ml Algorithms and Cellular phone Sensor Data |