JP2008276455A - Behavior identification device and method - Google Patents

Behavior identification device and method Download PDF

Info

Publication number
JP2008276455A
JP2008276455A JP2007118375A JP2007118375A JP2008276455A JP 2008276455 A JP2008276455 A JP 2008276455A JP 2007118375 A JP2007118375 A JP 2007118375A JP 2007118375 A JP2007118375 A JP 2007118375A JP 2008276455 A JP2008276455 A JP 2008276455A
Authority
JP
Japan
Prior art keywords
database
action
behavior
record
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007118375A
Other languages
Japanese (ja)
Inventor
Kanako Hattori
部 可奈子 服
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007118375A priority Critical patent/JP2008276455A/en
Publication of JP2008276455A publication Critical patent/JP2008276455A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To improve identification accuracy in identification of behavior of a moving body and to increase identifiable behavior of the moving body. <P>SOLUTION: In observation of the moving body, first records including an observation value, an ID of the moving body, and an observation time are recorded successively, and one or more feature quantities representing features of the behavior of the moving body are extracted. When the behavior of the moving body cannot be identified from the extracted feature quantities based on a second database recording a second record including one or more feature quantities and a label representing the behavior, a third record including the feature quantities, a time representing an observation time when the feature quantities are extracted, and the ID of the moving body is stored in a third database. From feature quantities, which are determined to be identifiable, and the second database, the behavior of the moving body is identified, and a third record including an ID equal to the ID of the moving body, on which the behavior is identified, and a time having a difference within a first threshold value for a difference with the observation time of the moving body is detected, and a second record including the feature quantities included in the third record and a label representing the identified behavior of the moving body is added to the second database. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、たとえば移動体をセンサにより観測して得られる観測値から移動体の行動を識別する行動識別装置および行動識別方法に関する。   The present invention relates to an action identification device and an action identification method for identifying an action of a moving object from observation values obtained by observing the moving object with a sensor, for example.

近年、センサ技術の発達により、センサの小型化、価格低下が進み、社会の様々の場所にセンサを設置することが可能になった。そのため、それらセンサを用いて、人の動きを観測することができるようになった。   In recent years, the development of sensor technology has led to the downsizing and price reduction of sensors, making it possible to install sensors in various places in society. Therefore, it has become possible to observe human movements using these sensors.

一方で、少子化、人手不足や犯罪の増加により、社会の多くの場所で、人のある特定の行動を発見し別の人に通報すること、それに応じたサービスを提供するニーズが高まっている。   On the other hand, due to the declining birthrate, the shortage of human resources, and the increase in crime, there is an increasing need to discover certain behaviors of people and report them to other people in many places in society, and to provide services accordingly. .

例えば、それらサービスには、次のようなものが考えられる。
・学校において、生徒の危険行動や部外者の不審な行動を発見して教師や親に通報する。
・街で迷子行動を行なう子供や、徘徊行動を行なう老人を発見し家族に連絡する。
・お店で万引き行動を行なう客を発見し、店員に知らせる。
・お店で購買するか商品の選択を迷っている行動を行なっている人を発見し、店員に知らせる。
・お店で道に迷っている行動をしている客を見つけ、誘導するサインを表示する。
・空港で不審な行動をしている人を見つけて、保安員に知らせる。
For example, the following services can be considered.
・ At school, discover dangerous behaviors of students and suspicious behaviors of outsiders and report them to teachers and parents.
・ Discover children who get lost in the city, and elderly people who are obscene, and contact their families.
・ Discover the shoplifting customers at the store and inform the store clerk.
・ Discover people who are buying at a store or wondering about product selection, and inform the store clerk.
-Find customers who are lost in the store and display signs to guide them.
・ Find suspicious people at the airport and inform security personnel.

上記のようなサービスを提供するには、移動体を観測して得られる観測データから行動を自動識別する識別器の生成が必要である。   In order to provide the above services, it is necessary to generate a discriminator that automatically identifies an action from observation data obtained by observing a moving object.

識別器を生成するための方法として、次の2種類の方法が考えられる。
・人が識別器を生成する。
・あらかじめ移動体を観測していくつかの観測データを取得し、移動体の行動とともに記録する。それら記録したデータをもとに観測データから行動を識別するような識別器を自動的に生成する。
As a method for generating the discriminator, the following two types of methods can be considered.
-A person generates a classifier.
・ Observe the moving body in advance to obtain some observation data and record it along with the behavior of the moving body. Based on the recorded data, a classifier that automatically identifies the action from the observed data is automatically generated.

前者の方法の中に、IF−THEN形式で人があらかじめルールを記述するという方法が考えられる。この方法では、IFで指定されたある条件を満たす観測データに対して、THENで指定された行動をラベル付ける。たとえば、「お店の中のすべての売り場を2回訪れる」という観測データを「迷子行動」とする、「物陰にかくれ、ポケットに手を入れた」という観測データを「万引き行動」とするといったルールである。これらルールそのものを、保安員や店員など、経験豊富な人間に対してヒヤリング等によって作り出す方法である。本手法では、観測データとして発見したい「行動」の定義が不明確な場合があることから、これらルールをあらかじめ人の手でもれなく生成することは困難であり時間がかかる、識別すべき行動は、サービスを提供する場所によって大きく異なり、識別を行なう場所を変えるたびに、それらルールを作り直さなければならないといった問題がある。そこで、後者の方法を選択する場合が多い。   Among the former methods, a method in which a person describes rules in advance in the IF-THEN format is conceivable. In this method, the action specified by THEN is labeled for the observation data satisfying a certain condition specified by IF. For example, the observation data “visit all the sales floors in the store twice” is “lost behavior”, and the observation data “hide in the shade, put your hand in your pocket” is “shoplifting behavior” It is a rule. These rules themselves are created by interviewing experienced people such as security personnel and shop assistants. In this method, the definition of the “behavior” that you want to discover as observation data may be unclear, so it is difficult and time-consuming to generate these rules in advance. There is a problem in that the rules need to be re-created each time the place of identification is changed. Therefore, the latter method is often selected.

後者の方法は、いくつかの観測されたデータに対して人が行動のラベルを付け、それを識別するような識別器を自動的に生成する方法である。観測データにあらかじめ人がラベル付けを行なったデータ(教師データ)を用いて識別器を自動的に生成する方法は、データマイニング、機械学習の分野では、古くから研究がされており、代表的な手法に決定木(公知技術:Quinlan「Programs for Machine Learning」 Morgan Kaufmann Publishers、 1993)やSVM(サポートベクターマシン)(公知技術:V.N.Vapnik、 「Statistical Learning Theory」、 John Wiley & Sons 、1998)、K Nearest Neighbors(公知技術:毛利隆夫「K Nearest Neighbor法と記憶に基づく推論」人工知能学会誌、Vol12.No2、pp188−195、March、1997)などがある。これら手法を用いて、識別精度の高い識別器を自動生成するためには、偏りのない大量の教師データを取得する必要がある。
特開2006−012174公報
The latter method is a method of automatically generating a discriminator that allows a person to label and identify some observed data. The method of automatically generating a discriminator using data (teacher data) that has been previously labeled with observation data has been studied for a long time in the fields of data mining and machine learning. Decision trees (known techniques: Quinlan “Programs for Machine Learning” Morgan Kaufmann Publishers, 1993) and SVM (support vector machine) (known techniques: V.N. Vapnik, “Statistical Leh”) ), K Nearest Neighbors (Prior art: Takao Mohri “K Nearest Neighbor Method and Inference Based on Memory”, Japanese Society for Artificial Intelligence, Vol12.No2, pp188 -195, March, 1997). In order to automatically generate a discriminator with high discrimination accuracy using these methods, it is necessary to acquire a large amount of teacher data without bias.
JP 2006-012174 A

人の行動を識別する識別器を生成するために偏りのない教師データを取得することは難しい。行動識別のための教師データの取得方法は次の2種類が考えられる。一つは、実際に観測されたデータに対して、人が一つ一つ行動のラベルを付ける方法である。もう一つは、演技者に行動ラベルを告げ、それに即した演技をしてもらいそれを観測し、観測データとする方法である。前者の方法では、本当に識別したい行動は、たまにしか現れないという問題がある。例えば、識別したい行動が教室での危険行動であった場合を考えると、常に観測されるのは生徒の正常な行動であり、たとえば1年間観測したとしても危険行動が現れるのは数回にしかすぎない。後者の方法では、演技者が演じることができるのは識別したい行動のいくつかのパターンにしかすぎず、すべてを演じることはできない。また、その識別したい行動そのものの演技をすることは可能であるが、その予兆行動といったものはわからないことが多いため演じることができない。例えば、店舗のなかの商品をバックに入れるといった万引き行動は演技者の演技によって観測することが可能であるが、その予兆となる行動、例えば、万引きをする前に店員の動きに注目し常に店員の死角に行くように移動するといった行動をとるといった傾向があった場合、万引き行動を行なった人の前の行動を調べれば、共通する行動として得ることはできるが、これら行動は、あらかじめわからないことが多く演じることができない。このように、行動を対象とした識別器を生成する際に得られる教師データに偏りがあり、識別精度を向上させることは難しく、また識別可能な移動体の行動が限られるという問題がある。   It is difficult to obtain unbiased teacher data in order to generate a discriminator that identifies human behavior. The following two types of teacher data acquisition methods for action identification are conceivable. One is a method in which humans label the action data one by one. The other is to tell the performer the action label, have the actor perform the action and observe it, and use it as observation data. In the former method, there is a problem that an action that is really desired to be identified appears only occasionally. For example, if the behavior you want to identify is a dangerous behavior in the classroom, it is normal behavior of the students that are always observed. For example, even if observed for one year, the dangerous behavior appears only a few times. Only. In the latter method, the actor can only perform some patterns of behavior that he wants to identify, not all. In addition, it is possible to perform the action itself that is desired to be identified, but it is not possible to perform it because there is often no indication of the predictive action. For example, shoplifting behavior such as putting goods in a store in the back can be observed by the actor's performance. However, the shopkeeper always pays attention to the behavior of the shoplifter, for example, the movement of the clerk before shoplifting. If there is a tendency to move to go to the blind spot, if you look at the behavior in front of the person who did shoplifting behavior, you can get common behavior, but these behaviors are not known in advance Can't play much. As described above, there is a bias in teacher data obtained when generating a classifier for an action, and it is difficult to improve the identification accuracy, and there is a problem that the behavior of a movable body that can be identified is limited.

本発明は、移動体の行動を識別する識別精度を向上させるともに識別可能な移動体の行動を増やすことができる行動識別装置および行動識別方法を提供する。   The present invention provides an action identification device and an action identification method capable of improving the identification accuracy for identifying the action of a moving body and increasing the number of actions of the movable body that can be identified.

本発明の一態様としての行動識別装置は、
1つ以上のセンサにより移動体を観測して得た観測値と、前記移動体のIDと、前記移動体の観測時刻とを含む複数の第1レコードを記録する第1データベースと、
前記第1データベースに記録された1つ以上の第1レコードから前記移動体の行動の特徴を表す1つ以上の特徴量を抽出する特徴量抽出部と、
1つ以上の特徴量と行動を表すラベルとを含む複数の第2レコードを記録した第2データベースと、
前記特徴量抽出部によって抽出された特徴量から前記移動体の行動を識別可能か否かを前記第2データベースに基づき判定する行動識別可能判定部と、
識別不能と判定された特徴量と、該特徴量が抽出された各第1レコードに含まれる観測時刻を代表する時刻と、識別不能と判定された移動体のIDとを含む第3レコードを記録する第3データベースと、
識別可能と判定された特徴量と前記第2データベースとから前記移動体の行動を識別する行動識別部と、
行動識別された移動体のIDと同一のIDをもち、かつ前記行動識別された移動体の特徴量が抽出された各第1レコードに含まれる観測時刻を代表する時刻との差が第1閾値以内の時刻をもつ第3レコードを前記第3データベースから検出し、検出された第3レコードに含まれる特徴量と前記行動識別された移動体の行動またはその予兆行動を表すラベルとを含む第2レコードを前記第2データベースに追加するデータベース更新部と、
を備える。
The action identification device as one aspect of the present invention is:
A first database that records a plurality of first records including observation values obtained by observing a moving object with one or more sensors, an ID of the moving object, and observation times of the moving object;
A feature quantity extraction unit that extracts one or more feature quantities representing the feature of the behavior of the moving object from one or more first records recorded in the first database;
A second database that records a plurality of second records including one or more feature quantities and a label representing an action;
An action identifiable determination unit that determines whether or not the behavior of the mobile object can be identified from the feature quantity extracted by the feature quantity extraction unit;
A third record including a feature amount determined to be unidentifiable, a time representing the observation time included in each first record from which the feature amount is extracted, and a mobile object ID determined to be unidentifiable is recorded A third database to
An action identifying unit that identifies the action of the moving object from the feature quantity determined to be identifiable and the second database;
The difference from the time representing the observation time included in each first record having the same ID as the action-identified moving object ID and the extracted feature quantity of the action-identified moving object is the first threshold value. A second record including a feature quantity included in the detected third record and a label representing the behavior of the mobile body identified by the behavior or its predictive behavior; A database updater for adding records to the second database;
Is provided.

本発明の一態様としての行動識別方法は、
1つ以上のセンサにより移動体を観測して得た観測値と、前記移動体のIDと、前記移動体の観測時刻とを含む第1レコードを第1データベースに逐次記録し、
前記第1データベースに記録された1つ以上の第1レコードから前記移動体の行動の特徴を表す1つ以上の特徴量を抽出し、
1つ以上の特徴量と行動を表すラベルとを含む複数の第2レコードを記録した第2データベースを用いて、抽出された特徴量から前記移動体の行動を識別可能か否かを判定し、
識別不能と判定された特徴量と、該特徴量が抽出された各第1レコードに含まれる観測時刻を代表する時刻と、識別不能と判定された移動体のIDとを含む第3レコードを第3データベースに記録し、
識別可能と判定された特徴量と前記第2データベースとから前記移動体の行動を識別し、
行動識別された移動体のIDと同一のIDをもち、かつ前記行動識別された移動体の特徴量が抽出された各第1レコードに含まれる観測時刻を代表する時刻との差が第1閾値以内の時刻をもつ第3レコードを前記第3データベースから検出し、検出された第3レコードに含まれる特徴量と前記行動識別された移動体の行動またはその予兆行動を表すラベルとを含む第2レコードを前記第2データベースに追加する。
The behavior identifying method as one aspect of the present invention includes:
A first record including an observation value obtained by observing a moving body with one or more sensors, an ID of the moving body, and an observation time of the moving body is sequentially recorded in a first database;
Extracting one or more feature quantities representing the characteristics of the behavior of the moving object from one or more first records recorded in the first database;
Using a second database that records a plurality of second records including one or more feature quantities and a label representing an action, determining whether the action of the moving object can be identified from the extracted feature quantities;
The third record including the feature quantity determined to be unidentifiable, the time representing the observation time included in each first record from which the feature quantity is extracted, and the ID of the mobile object determined to be unidentifiable 3 records in database,
Identifying the behavior of the moving object from the feature quantity determined to be identifiable and the second database;
The difference from the time representing the observation time included in each first record having the same ID as the action-identified moving object ID and the extracted feature quantity of the action-identified moving object is the first threshold value. A second record including a feature quantity included in the detected third record and a label representing the behavior of the mobile body identified by the behavior or its predictive behavior; A record is added to the second database.

本発明により、移動体の行動を識別する識別精度が向上するとともに、識別可能な移動体の行動を増やすことができる。   According to the present invention, it is possible to improve the identification accuracy for identifying the behavior of the moving body and increase the number of identifiable behaviors of the moving body.

図1は、本発明の実施の形態における行動識別装置の構成を概略的に示すブロック図である。この行動識別装置は、行動履歴データベース(行動履歴DB:DataBase)1と、特徴量抽出部2と、行動識別可能判定部3と、教師データベース(教師DB)4と、識別可能判定パラメータデータベース(識別可能判定パラメータDB)5と、識別不可能データベース(識別不可能DB)6と、行動識別部7と、識別パラメータデータベース(識別パラメータDB)8と、教師データベース更新部(教師DB更新部)9と、出力部10とで構成される。   FIG. 1 is a block diagram schematically showing the configuration of the behavior identification device according to the embodiment of the present invention. This behavior identification device includes a behavior history database (behavior history DB: DataBase) 1, a feature amount extraction unit 2, a behavior identifiable determination unit 3, a teacher database (teacher DB) 4, and a identifiable determination parameter database (identification). Possible determination parameter DB) 5, unidentifiable database (unidentifiable DB) 6, behavior identification unit 7, identification parameter database (identification parameter DB) 8, teacher database update unit (teacher DB update unit) 9, And the output unit 10.

行動履歴データベース1は第1データベースに、教師データベース4は第2データベースに、識別不可能データベース6は第3データベースに相当する。   The action history database 1 corresponds to a first database, the teacher database 4 corresponds to a second database, and the non-identifiable database 6 corresponds to a third database.

図1の各要素によって行われる機能はこれらの機能を実行する命令コードを記述したプログラムコードを汎用のコンピュータに読み込ませ実行させることによって実現してもよい。またこのプログラムコードはコンピュータによって読み取り可能な、CD−ROM、ハードディスク、メモリカード等の記憶媒体に格納されてもよい。   The functions performed by the elements in FIG. 1 may be realized by causing a general-purpose computer to read and execute program codes describing instruction codes for executing these functions. The program code may be stored in a computer-readable storage medium such as a CD-ROM, hard disk, or memory card.

行動履歴データベース(第1データベース)1は、単数および複数の移動体のレコード(第1レコード)を逐次記録する。各レコードは、観測された移動体のIDと、観測時刻と、移動体を単数または複数のセンサにより観測した計測値(観測値)とを含む。センサによる観測は一定時間ごとに行われる。センサで観測される移動体の計測値として、例えば体、頭、足、手の位置、速度、加速度、体の向きなどが考えられる。移動体001の移動軌跡を一秒おきに観測した例を図2に示す。図2に示した移動を記録した行動履歴データベースを図3に示す。図3は、移動体001が、2007年8月1日15時32分00秒にx軸30cm、Y軸20cm、Z軸170cmの位置にいた、15時32分01秒にx軸15cm、Y軸20cm、Z軸170cmの位置にいた、15時32分02秒にx軸15cm、Y軸10cm、Z軸170cmの位置にいたことを示している。   The action history database (first database) 1 sequentially records one and a plurality of moving body records (first records). Each record includes an ID of the observed mobile object, an observation time, and a measured value (observed value) obtained by observing the mobile object with one or a plurality of sensors. Sensor observation is performed at regular intervals. As the measured value of the moving body observed by the sensor, for example, the position of the body, head, foot, hand, velocity, acceleration, body orientation, and the like are conceivable. An example in which the movement locus of the moving body 001 is observed every second is shown in FIG. FIG. 3 shows an action history database that records the movement shown in FIG. FIG. 3 shows that the moving body 001 was at the position of the x-axis 30 cm, the Y-axis 20 cm, and the Z-axis 170 cm at 15:32:00 on August 1, 2007, the x-axis 15 cm, Y at 15:32:01. This indicates that at 15:32:02, the X axis was 15 cm, the Y axis was 10 cm, and the Z axis was 170 cm at 15:32:02.

特徴量抽出部2は、行動履歴データベース1に記録されている、移動体の単数および複数のレコードから移動体の行動の特徴を表す単数または複数の特徴量を算出し、移動体IDと、最初のレコードまたは最後のレコードに記録されていた観測時刻(各レコードの観測時刻を代表する代表時刻)と、算出した単数または複数の特徴量とを行動識別可能判定部3へ入力する。最初のレコードまたは最後のレコードに記録されていた観測時刻の代わりに、最初の観測時刻と最後の観測時刻との間の任意の時刻を行動識別可能判定部3に観測時刻として入力してもよい。すなわち観測時刻として、最初の観測時刻以降かつ最後の時刻以前の任意の時刻を採用できる。   The feature quantity extraction unit 2 calculates one or a plurality of feature quantities representing the behavior feature of the mobile object from the single and multiple records of the mobile object recorded in the behavior history database 1, The observation time (representative time representative of the observation time of each record) recorded in the last record or the last record and the calculated one or more feature quantities are input to the action identifiability determining unit 3. Instead of the observation time recorded in the first record or the last record, an arbitrary time between the first observation time and the last observation time may be input to the action identifiable determination unit 3 as the observation time. . That is, any time after the first observation time and before the last time can be adopted as the observation time.

特徴量とは、例えば平均速度、前地点と現在地点での体の向きの変位角度があらかじめ指定された角度以上になった回数(方向転換回数)、前地点と現在地点での体の向きの変位角度(方向変換角度)の積算値、方向変換角度の絶対値の積算値、ある一定の速度以上の速度で移動していた時間、ある一定の速度以上の速度で移動していた回数、速度が0になった回数などである。一例として、n個のレコードから平均速度を算出する方法を以下の式1に示す。

Figure 2008276455
k:同じ移動体IDを持つレコードを時系列に並べ、時刻が早い順からつけた番号を表し、以前に同一IDが観測されず、移動体が初めて観測されたときのレコードは0となる。
l:特徴量の算出を開始するレコード番号を表す。1ずつ増加させてもよいし、nずつ増加させても、そのほかの値分ずつ増加させてもよい。
n:特徴量を算出する期間を表す。 The feature amount is, for example, the average speed, the number of times that the displacement angle of the body direction at the previous point and the current point is greater than or equal to the angle specified in advance (number of turnovers), the direction of the body at the previous point and the current point Integrated value of displacement angle (direction conversion angle), integrated value of absolute value of direction conversion angle, time spent moving at a speed above a certain speed, number of times moving at a speed above a certain speed, speed This is the number of times that becomes zero. As an example, a method for calculating an average speed from n records is shown in Equation 1 below.
Figure 2008276455
k: Records having the same mobile object ID are arranged in time series, and the numbers are given in order from the earliest time. The record when the same object is not observed before and the mobile object is observed for the first time is 0.
l: represents the record number at which the calculation of the feature amount starts. It may be increased by one, may be increased by n, or may be increased by other values.
n: represents a period for calculating the feature amount.

図3に示す行動履歴データベース1から特徴量として、平均速度を算出する場合、n=1の場合、l=0の時の特徴量は15cm/s、l=1の時の特徴量は10cm/sであり、n=2の場合、l=0の時の特徴量は、12.5cm/sである。   When calculating an average speed as a feature value from the action history database 1 shown in FIG. 3, when n = 1, the feature value when l = 0 is 15 cm / s, and the feature value when l = 1 is 10 cm / s. In the case of s and n = 2, the feature quantity when 1 = 0 is 12.5 cm / s.

特徴量は最大値が1、最小値が0となるように正規化してもよいし、複数の特徴量が存在する場合、各特徴量の軸を標準偏差で正規化(標準化)し平均まわりの分散が等しくなるようにしてもよいし、ある特定種類の特徴量の値のみを大きくするような重み付けを行なってもよい。例えば、方向転換回数のみを倍の値にするなどがある。また、行動履歴データベース1の単数または複数のレコードに記録されたセンサ値の平均値、最大値と最小値の差、変位量を特徴量として用いてもよい。   The feature value may be normalized so that the maximum value is 1 and the minimum value is 0. When there are multiple feature values, the axis of each feature value is normalized (standardized) with the standard deviation and the average around The variances may be equal, or weighting may be performed to increase only the value of a particular type of feature amount. For example, only the number of direction changes is doubled. Moreover, you may use the average value of the sensor value recorded on the single or several record of the action history database 1, the difference of a maximum value and minimum value, and a displacement amount as a feature-value.

教師データベース(第2データベース)4は、単数または複数のレコード(第2レコード)から構成されるデータベースであり、一つのレコードは単数または複数の特徴量と、行動ラベルとの組で表される。教師データベース4の一例を図5に示す。図5では、特徴量として、平均速度、方向転換回数、停止回数、歩行時間の4種類を用いている。一番目のレコードは、平均速度が10cm/s、方向転換回数が10回、停止回数が5回、歩行時間が3秒のとき、その人は「迷い行動」をしているとラベル付けられたことを表している。三番目のレコードは、平均速度が65cm/s、方向転換回数が0回、停止回数が1回、歩行時間が20秒のとき、その人は「正常行動」をしているとラベル付けられたことを表している。   The teacher database (second database) 4 is a database composed of one or a plurality of records (second records), and one record is represented by a set of one or a plurality of feature amounts and action labels. An example of the teacher database 4 is shown in FIG. In FIG. 5, four types of feature amounts are used: average speed, number of direction changes, number of stops, and walking time. The first record is labeled as “bewildering” when the average speed is 10 cm / s, the number of turns is 10, the number of stops is 5 and the walking time is 3 seconds. Represents that. The third record is labeled as “normal behavior” when the average speed is 65 cm / s, the number of turns is 0, the number of stops is 1 and the walking time is 20 seconds. Represents that.

教師データベース4を生成する方法について述べる。教師データベース4は、演技者に行動ラベルを告げ、演技者が演じるのを観測して、特徴量抽出部2によって特徴量に変換することで得た特徴量と、演技者に告げた行動ラベルとの組をレコードとして、教師データベース4に記録することで生成してもよいし、人の行動を観測するセンサとは別にビデオを設置して人の行動を記録し、センサで観測した値を特徴量抽出部2によって特徴量に変換することで得た特徴量と、ビデオを目で見ることによって人がラベル付けした行動ラベルとの組をレコードとして、教師データベース4に記録することで生成してもよい。   A method for generating the teacher database 4 will be described. The teacher database 4 tells the performer the action label, observes the performer performing, and converts the feature quantity by the feature quantity extraction unit 2 and the action label told to the performer. It may be generated by recording the set of data as a record in the teacher database 4, or by installing a video separately from the sensor for observing the human behavior and recording the human behavior, It is generated by recording in the teacher database 4 as a record a set of a feature amount obtained by converting into a feature amount by the amount extraction unit 2 and an action label labeled by a person by viewing the video. Also good.

行動識別可能判定部3は、特徴量抽出部2から入力された移動体ID、観測時刻、単数または複数の特徴量のうちの単数または複数の特徴量と、教師データベース4とから移動体の行動を識別可能であるか否かを判定する。識別不可能の場合は、移動体IDと観測時刻と単数または複数の特徴量とを識別不可能データベース6に記録する。一方、識別可能の場合は、移動体IDと観測時刻と単数または複数の特徴量とを行動識別部7へ入力する。   The action identifiable determination unit 3 determines the action of the moving object from the moving body ID, the observation time, the single or plural feature quantities of the single or plural feature quantities input from the feature quantity extracting section 2, and the teacher database 4. Whether or not can be identified is determined. When the identification is impossible, the mobile object ID, the observation time, and one or more feature quantities are recorded in the identification impossible database 6. On the other hand, when the identification is possible, the mobile object ID, the observation time, and one or a plurality of feature quantities are input to the action identification unit 7.

行動識別可能判定部3における判定方法の一例を図4のフローチャートに示す。kは教師データベース4に記録されたレコードの番号を表し、nは教師データベース4に記録されたレコード総数を表す。dは、特徴量抽出部2より入力された単数又は複数の特徴量を表す変数およびベクトルであり、dkは教師データベース4のk番目に記録されているレコードの単数又は複数の特徴量を表す変数およびベクトルである。Lは識別可能判定パラメータデータベース5に記録された行動識別可能判定閾値を表す。   An example of the determination method in the action identifiable determination section 3 is shown in the flowchart of FIG. k represents the number of the record recorded in the teacher database 4, and n represents the total number of records recorded in the teacher database 4. d is a variable and vector representing one or more feature quantities input from the feature quantity extraction unit 2, and dk is a variable representing one or more feature quantities of the kth record recorded in the teacher database 4. And a vector. L represents the action identifiable determination threshold value recorded in the identifiable determination parameter database 5.

まず、教師データベース4に記録されたすべてのレコードについて、レコードに含まれる単数または複数の特徴量と特徴量抽出部2より入力された単数又は複数の特徴量との差分(距離あるいは類似度)を算出し、そのうちの最小値(最小の距離あるいは最大の類似度に相当)を記録する(S11〜S14)。   First, for all the records recorded in the teacher database 4, the difference (distance or similarity) between the one or more feature quantities included in the record and the one or more feature quantities input from the feature quantity extraction unit 2 is calculated. The minimum value (corresponding to the minimum distance or the maximum similarity) is recorded (S11 to S14).

レコードに含まれる特徴量がn個の場合、|d−dk|の算出(距離の算出あるいは類似度の算出)は例えば以下の式2のように表される。行動識別可能判定部3は特徴量間の距離あるいは類似度を計算する距離計算部あるいは類似度計算部を有している。距離計算部あるいは類似度計算部は、後述する行動識別部7および教師データベース更新部9が備えていても良い。特徴量間の距離の計算(類似度の計算)には式2の他にも種々の方法を用いることができる。

Figure 2008276455
When the number of feature amounts included in the record is n, the calculation of | d−dk | (distance calculation or similarity calculation) is expressed by, for example, Expression 2 below. The action identifiable determination unit 3 includes a distance calculation unit or a similarity calculation unit that calculates a distance or a similarity between feature quantities. The distance calculation unit or the similarity calculation unit may be included in the action identification unit 7 and the teacher database update unit 9 described later. Various methods other than Equation 2 can be used to calculate the distance between feature amounts (calculation of similarity).
Figure 2008276455

次に、記録された差分の最小値と、識別可能判定パラメータデータベース5に記録された行動識別可能判定閾値(第2閾値)とを比較し(S15)、最小値が行動識別可能判定閾値以上の場合(S15のYES)識別不可能とし、最小値が行動識別可能判定閾値よりも小さい場合(S15のNO)識別可能と判定する。   Next, the recorded difference minimum value is compared with the action identifiable determination threshold value (second threshold value) recorded in the identifiable determination parameter database 5 (S15), and the minimum value is equal to or greater than the action identifiable determination threshold value. In the case (YES in S15), identification is impossible, and in the case where the minimum value is smaller than the action identifiable determination threshold (NO in S15), it is determined that identification is possible.

他の判定方法として、教師データベース4に記録されたレコードに記録されている単数または複数の特徴量と特徴量抽出部2より入力された単数又は複数の特徴量との差分を積算していき、差の積算値と識別可能判定パラメータデータベース5に記録された別の行動識別可能判定閾値(第4閾値)とを比較し、積算値が別の行動識別可能判定閾値以上の場合は識別不可能とし、積算値が別の行動識別可能判定閾値よりも小さい場合を識別可能としてもよい。また特徴量抽出部2から入力された単数又は複数の特徴量とレコードに記録されている単数または複数の特徴量との差分が行動識別可能判定閾値(第2閾値)未満となるレコードの数がある定められた個数(類似個数閾値あるいは第3閾値)よりも多くある場合は識別可能とし、類似個数閾値以下の場合は識別不可能とする方法などが考えられる。   As another determination method, the difference between the one or more feature quantities recorded in the record recorded in the teacher database 4 and the one or more feature quantities input from the feature quantity extraction unit 2 is accumulated, The integrated value of the difference is compared with another action identifiable determination threshold value (fourth threshold value) recorded in the identifiable determination parameter database 5, and if the integrated value is greater than or equal to another action identifiable determination threshold value, the identification is impossible. The case where the integrated value is smaller than another action identifiable determination threshold value may be identifiable. In addition, the number of records in which the difference between the single or plural feature quantities input from the feature quantity extraction unit 2 and the single or plural feature quantities recorded in the record is less than the action distinguishable determination threshold (second threshold) is obtained. A method may be considered in which identification is possible when the number is greater than a predetermined number (similar number threshold or third threshold), and identification is not possible when the number is less than the similar number threshold.

識別可能判定パラメータデータベース5は、行動判別可能識別部3において、特徴量抽出部2から入力された複数の特徴量から行動識別可能かを判定するための行動識別可能判定閾値(第2閾値)または別の行動識別可能判定閾値(第4閾値)を記録している。特徴量抽出部2より入力された単数又は複数の特徴量とレコードに記録されている単数または複数の特徴量との差分が行動識別可能判定閾値(第2閾値)未満となるレコードの数がある定められた個数(類似個数閾値あるいは第3閾値)よりも多くある場合に識別可能とする判定を行う場合には、行動識別可能判定閾値(第2閾値)に加え、類似個数閾値(第3閾値)を記憶する。   The identifiable determination parameter database 5 includes an action identifiable determination threshold (second threshold) for determining whether the action can be identified from a plurality of feature amounts input from the feature amount extracting unit 2 in the behavior identifiable identifier 3. Another action distinguishable determination threshold (fourth threshold) is recorded. There is a number of records in which the difference between the single or plural feature quantities input from the feature quantity extraction unit 2 and the single or plural feature quantities recorded in the record is less than the action distinguishable determination threshold (second threshold). In the case where determination is made that identification is possible when the number is greater than a predetermined number (similar number threshold or third threshold), in addition to the action identification possible determination threshold (second threshold), the similar number threshold (third threshold) ) Is memorized.

識別不可能データベース(第3データベース)6は、行動識別可能判定部3で識別不可能と判定されたときに出力される単数または複数の特徴量と移動体IDと観測時刻とをひとつのレコード(第3レコード)として記録するデータベースである。識別不可能データベース6の一例を図6に示す。図6の一番目のレコードは、識別不可能と判定された、2007年08月01日の18:00:01に移動体001を観測して得た特徴量(平均速度が15cm/s、方向転換回数が4回、停止回数が3回、歩行時間が9秒)を表している。二番目のレコードは、識別不可能と判定された、2007年08月01日の18:00:02に移動体001を観測して得た特徴量(平均速度が18cm/s、方向転換回数が5回、停止回数が4回、歩行時間が10秒)を表している。   The indistinguishable database (third database) 6 includes one or a plurality of feature amounts, a moving body ID, and an observation time, which are output when the action discriminating determination unit 3 determines that the identification is impossible. A third record). An example of the unidentifiable database 6 is shown in FIG. The first record in FIG. 6 is a feature amount obtained by observing the moving object 001 at 18:00:01 on Aug. 01, 2007, which was determined to be indistinguishable (average speed is 15 cm / s, direction The number of conversions is 4, the number of stops is 3, and the walking time is 9 seconds. The second record is a feature amount obtained by observing the moving object 001 at 18:00:02 on Aug. 01, 2007, which was determined to be indistinguishable (average speed is 18 cm / s, number of direction changes is 5 times, the number of stops is 4 times, and the walking time is 10 seconds).

行動識別部7は、教師データベース4に記録された複数のレコードを用いて必要に応じて識別器を生成する。識別器として例えば、決定木やSVM(サポートベクターマシン)、ニューラルネットワークがある。また行動識別部7は、生成した識別器または、あらかじめ与えられたK Nearest Neighborsなどの識別アルゴリズムを用いて、行動識別可能判定部3で識別可能と判定され出力された移動体IDと観測時刻と単数または複数の特徴量とのうち単数または複数の特徴量を用いて行動識別を行ない、識別の結果の行動を表す行動ラベルを、移動体IDと観測時刻と単数または複数の特徴量とともに出力する。   The action identification unit 7 generates a discriminator as necessary using a plurality of records recorded in the teacher database 4. Examples of the classifier include a decision tree, SVM (support vector machine), and a neural network. In addition, the behavior identification unit 7 uses the generated classifier or an identification algorithm such as K Nearest Neighbors given in advance, and the mobile ID and the observation time that are determined to be identifiable by the behavior identifiable determination unit 3 and output. Action identification is performed using one or a plurality of feature quantities out of one or a plurality of feature quantities, and an action label representing the action as a result of the identification is output together with the mobile object ID, the observation time, and the one or more feature quantities. .

ここで識別器の一例として決定木の例を図7に示す。図7に示す決定木は、「停止回数が10回以上で方向転換回数が10回以上である場合その行動は迷い行動であると識別する」、「停止回数が10回以上で方向転換回数が10回より小さい場合その行動は正常行動であると識別する」、「停止回数が10回より小さく歩行時間が5秒以下である場合その行動は迷い行動であると識別する」、「停止回数が10回より小さく歩行時間が5秒より大きい場合その行動は正常行動であると識別する」ことを表している。例えば、特徴量が停止回数、方向転換回数、平均速度、歩行時間の4種類であり、停止回数が11回、方向転換回数が15回、平均速度が10cm/s、歩行時間が3sの場合は迷い行動と識別され、停止回数が8回、方向転換回数が5回、平均速度が10cm/s、歩行時間が10sの場合は正常行動と識別される。   FIG. 7 shows an example of a decision tree as an example of a discriminator. The decision tree shown in FIG. 7 is “if the number of stops is 10 or more and the number of direction changes is 10 or more, the action is identified as a stray behavior”, “the number of stops is 10 or more and the number of direction changes is If less than 10 times, the action is identified as a normal action "," If the number of stops is less than 10 times and the walking time is 5 seconds or less, the action is identified as a lost action "," If the walking time is less than 10 times and the walking time is longer than 5 seconds, the action is identified as a normal action ". For example, when the feature quantity is four types of stop count, direction change count, average speed, and walking time, the stop count is 11 times, the direction change count is 15 times, the average speed is 10 cm / s, and the walk time is 3 s. When the number of stops is 8 times, the number of direction changes is 5 times, the average speed is 10 cm / s, and the walking time is 10 seconds, the behavior is identified as normal behavior.

識別アルゴリズムとして、K Nearest Neighborsを用いる場合は、教師データベース4に記録された各レコードの特徴量と、行動識別可能判定部3で識別可能と判定され出力された単数または複数の特徴量との類似度(距離)を計算し、例えば一番距離が近い(類似度が大きい)レコードに含まれる行動ラベルを選択する。一例として、教師データベース4が図5に示すものであり、距離(類似度)が以下の式3で定義される場合について述べる。

Figure 2008276455
When K Nearest Neighbors is used as an identification algorithm, the feature quantity of each record recorded in the teacher database 4 is similar to one or more feature quantities that are determined to be identifiable by the action identifiable determination unit 3 and output. The degree (distance) is calculated, and, for example, an action label included in a record with the closest distance (high similarity) is selected. As an example, a case where the teacher database 4 is shown in FIG. 5 and the distance (similarity) is defined by the following expression 3 will be described.
Figure 2008276455

このとき、kはレコード番号を表し、dkはk番目のレコードの平均速度、dkはk番目のレコードの方向転換回数を、dkはk番目のレコードの停止回数を、dkはk番目のレコードの歩行時間をそれぞれ表している。|d−dk|が最小となるレコードの行動ラベルを、行動識別可能判定部3で識別可能と判定され出力された移動体IDと観測時刻と単数または複数の特徴量とのセットに対する行動ラベルとする。例えば、行動識別可能判定部3から出力された特徴量が、平均速度が10cm/s、方向転換回数が15回、停止回数が11回、歩行時間が3sであった場合、|d−d1|=11、|d−d2|=10、|d−d3|=79、|d−d4|=68、|d−d5|=91、となることから、2番目のレコードとの類似度が最も高い(距離が最も小さい)と判断され、「迷い行動」とラベル付けされる。 At this time, k represents the record number, dk 1 is the average speed of the k-th record, dk 2 is the number of direction changes of the k-th record, dk 3 is the number of stops of the k-th record, and dk 4 is k. Represents the walking time of the second record. The action label of the record with the minimum | d-dk | is determined as the action ID that can be discriminated by the action discriminating determination unit 3, and the action label for the set of the mobile object ID, the observation time, and one or more feature quantities To do. For example, if the feature amount output from the action identifiable determination unit 3 is an average speed of 10 cm / s, a direction change count of 15 times, a stop count of 11 times, and a walking time of 3 s, | d−d1 | = 11, | d-d2 | = 10, | d-d3 | = 79, | d-d4 | = 68, and | d-d5 | = 91, and the similarity to the second record is the highest. It is determined to be high (the distance is the shortest) and is labeled “Lost Action”.

識別パラメータデータベース8は、行動識別部7で識別器を生成する際に必要なパラメータ、または行動識別部7で識別アルゴリズムを用いる際に必要なパラメータを記録している。例えば、識別器として決定木を生成する場合に必要なパラメータの一例として、分割不能を表す値、枝狩りを行なうのに必要なパラメータ、ノードに含まれる最小データ数がある。識別アルゴリズムとして K Nearest Neighborsを用いる場合に必要なパラメータの一例として、識別に使用する事例の個数とその事例からの識別方法(識別に使用する事例につけられたラベルがもっとも多いラベルとする(多数決)のか、ラベルごとに類似度を算出し類似度が最も高いラベルとするなど)がある。   The identification parameter database 8 records parameters necessary for generating a discriminator by the behavior identifying unit 7 or parameters necessary for using the identification algorithm by the behavior identifying unit 7. For example, as an example of parameters necessary for generating a decision tree as a discriminator, there are a value indicating non-division, a parameter necessary for performing branch hunting, and the minimum number of data included in a node. As an example of the parameters required when using K Nearest Neighbors as an identification algorithm, the number of cases used for identification and the identification method from the cases (the label with the largest number of labels attached to the cases used for identification (majority decision) Or the like, the similarity is calculated for each label, and the label having the highest similarity is used.

教師データベース更新部9は、行動識別部7より出力された移動体IDと観測時刻と単数または複数の特徴量と行動ラベルとを元に識別不可能データベース6を検索し、同一の移動体IDをもち、かつ行動識別部7から出力された観測時刻との差があらかじめ定められた値(第1閾値)以内の観測時刻をもつレコードがあるかどうかを調べる。そのようなレコードがあったとき、そのレコードに記録されている単数又は複数の特徴量に行動識別部7より出力された行動ラベルと同一行動ラベルを付加し一つのレコードとして、教師データベース4に追加記録し、識別不可能データベース6からは前記に該当するレコードを消去する。すなわち行動が識別できないとして判断が保留されていた特徴量と観測時刻と移動体IDとの組(第3レコード)に対して行動ラベルが付与される。これにより偏りのない教師データ(第2レコード)を教師データベース4に多く蓄積でき、移動体の行動識別の精度が向上するとともに、識別可能な移動体の行動数を増やすことができる。以上の処理を識別不可能データベース6内の該当する全てのレコード(すなわち同一の移動体IDをもち、かつ行動識別部7より出力された観測時刻とあらかじめ定められた値以内の観測時刻をもつレコード)について行う。   The teacher database update unit 9 searches the unidentifiable database 6 based on the mobile ID output from the behavior identification unit 7, the observation time, the single or plural feature values, and the behavior label, and sets the same mobile ID. In addition, it is checked whether there is a record having an observation time that is within a predetermined value (first threshold value) and the difference from the observation time output from the action identification unit 7. When there is such a record, the same action label as the action label output from the action identifying unit 7 is added to one or a plurality of feature quantities recorded in the record, and the record is added to the teacher database 4 as one record. The record is recorded, and the record corresponding to the above is deleted from the unidentifiable database 6. That is, an action label is assigned to a set (third record) of a feature amount, an observation time, and a mobile object ID for which determination is suspended because an action cannot be identified. As a result, a large amount of teacher data (second record) without bias can be accumulated in the teacher database 4, so that the accuracy of action identification of the moving object can be improved and the number of actions of the identifiable moving object can be increased. All the corresponding records in the unidentifiable database 6 (that is, records having the same mobile ID and having the observation time output from the action identification unit 7 and the observation time within a predetermined value) )

また、教師データベース更新部9は、識別不可能データベース6に記録されている移動体IDの観測データがある一定の時間以上得られない場合は、識別不可能データベース6から、その移動体IDを含むレコードすべてを削除してもよい。つまり、識別不可能データベース6に記録された時刻、または識別不可能データベース6内のレコードに記録されている観測時刻から、一定時間以上経過したレコードを削除してもよい。   In addition, when the observation data of the mobile object ID recorded in the unidentifiable database 6 cannot be obtained for a certain time or longer, the teacher database update unit 9 includes the mobile object ID from the unidentifiable database 6. All records may be deleted. That is, a record that has passed a certain time from the time recorded in the unidentifiable database 6 or the observation time recorded in the record in the unidentifiable database 6 may be deleted.

また、教師データベース更新部9は、行動識別部7により得られた行動ラベルと、この行動ラベルが得られたときの移動体IDと観測時刻と特徴量とを一つのレコード(第4レコード)として、別のデータベース(第4データベース)に記録しておく。そして同一のIDをもち、かつ特徴量間の距離が所定値以下(特徴量間の類似度が所定値以上)となるレコードがある一定数以上蓄積されたら、これらの一定数以上のレコードから各同一の行動ラベルの割合を計算する。最も高い割合があらかじめ指定された割合(第5閾値)以上のとき、最も高い割合をもつ行動ラベルをもとに、教師データベース4へのレコードの追加を行う。つまり、これらのレコードに含まれる観測時刻を代表する時刻(たとえばこれらのレコードのうちいずれかに含まれる観測時刻)に対し上記あらかじめ定められた値(第1閾値)以内の観測時刻をもつレコードを識別不可能データベース6から検出し、検出したレコードに含まれる特徴量と、上記最も高い割合をもつ行動ラベルとを1つのレコードとして教師データベース4に追加する。上記最も高い割合が第5閾値未満であるときは、教師データベース4へのレコードの追加は行わない。   In addition, the teacher database update unit 9 sets the action label obtained by the action identification unit 7, the moving body ID when the action label is obtained, the observation time, and the feature amount as one record (fourth record). Record it in another database (fourth database). When a certain number or more of records having the same ID and the distance between the feature amounts are equal to or less than a predetermined value (similarity between feature amounts is equal to or greater than a predetermined value) are stored, Calculate percentage of identical behavior labels. When the highest ratio is equal to or higher than a predetermined ratio (fifth threshold), a record is added to the teacher database 4 based on the action label having the highest ratio. That is, a record having an observation time within the predetermined value (first threshold) with respect to a time representative of the observation time included in these records (for example, an observation time included in any of these records). The feature quantity detected from the unidentifiable database 6 and included in the detected record and the action label having the highest ratio are added to the teacher database 4 as one record. When the highest ratio is less than the fifth threshold, no record is added to the teacher database 4.

また、教師データベース更新部9は、行動識別部7から出力された移動体IDと同一の移動体IDをもちかつ行動識別部7から出力された観測時刻との差があらかじめ定められた値(第1閾値)以内の観測時刻をもつレコードを識別不可能データベース6から検出した際、そのレコードに記録されている単数又は複数の特徴量に対し行動識別部7より出力された行動ラベルが表す行動の予兆行動というラベルをつけて一つのレコードとし、教師データベース4に記録し、識別不可能データベース6からは前記に該当するレコードを消去してもよい。以上の手順を識別不可能データベース6内の該当する全てのレコード(すなわち同一の移動体IDをもち、かつ行動識別部7から出力された観測時刻とあらかじめ定められた値以内の観測時刻をもつレコード)について行なっても良い。   In addition, the teacher database update unit 9 has a mobile unit ID that is the same as the mobile unit ID output from the behavior identification unit 7 and has a predetermined value (a first value) that is different from the observation time output from the behavior identification unit 7. When a record having an observation time within (1 threshold) is detected from the indistinguishable database 6, the action label represented by the action label output from the action identifying unit 7 for one or a plurality of feature quantities recorded in the record is displayed. It is also possible to label the predictive action as one record, record it in the teacher database 4, and delete the corresponding record from the unidentifiable database 6. All the corresponding records in the database 6 that cannot identify the above procedure (that is, records having the same mobile object ID and having the observation time output from the action identification unit 7 and the observation time within a predetermined value) ).

出力部10は、行動識別部7から入力される移動体IDと観測時刻と単数または複数の特徴量と行動ラベルとを出力する。出力部10は、これらのうち行動ラベルのみを文字で出力してもよいし、あらかじめ行動ラベルと絵とを対になるように別のデータベースで定義することによって、行動ラベルに即した絵をディスプレイに出力してもよい。またあらかじめ記録した行動ラベルと等しい行動ラベルが入力されたときにブザーなどの警報を鳴らす、携帯電話を鳴らす、メールで知らせるといった方法を用いてもよい。   The output unit 10 outputs the moving body ID, the observation time, the single or plural feature values, and the behavior label that are input from the behavior identification unit 7. The output unit 10 may output only the action label as a character among these, or display the picture corresponding to the action label by defining the action label and the picture in a separate database in advance so as to be paired with each other. May be output. Alternatively, a method of sounding an alarm such as a buzzer, sounding a mobile phone, or notifying by e-mail when an action label equal to a pre-recorded action label is input may be used.

図8は図1の行動識別装置を用いて行う行動識別の処理の流れの一例を示すフローチャートである。   FIG. 8 is a flowchart showing an example of a flow of action identification processing performed using the action identification device of FIG.

まず、移動体を観測して得られたセンサデータから特徴量抽出部2を用いて特徴量を算出し、算出した特徴量に対して行動のラベル付けを行うことにより教師データベース4を用意する(S11)。   First, a feature amount is calculated from the sensor data obtained by observing the moving body using the feature amount extraction unit 2, and a behavior database is labeled on the calculated feature amount to prepare the teacher database 4 ( S11).

次に、教師データベース4を用いて、必要に応じて、特徴量から行動を識別する識別器を自動生成する(S12)。   Next, using the teacher database 4, a discriminator for identifying an action from a feature amount is automatically generated as necessary (S12).

次に移動体に対して、センサを用いて観測を行い、移動体IDとセンサデータと観測時刻を取得し、さらに観測したセンサデータから特徴量抽出部2において特徴量を抽出する(S13)。   Next, the mobile body is observed using a sensor, the mobile body ID, sensor data, and observation time are acquired, and the feature amount extraction unit 2 extracts the feature amount from the observed sensor data (S13).

抽出した特徴量から移動体の行動を識別可能であるか否かを教師データベース4に基づき判定する(S14)。   It is determined based on the teacher database 4 whether or not the behavior of the moving object can be identified from the extracted feature amount (S14).

識別可能でない場合は(S15のNO)、行動識別可能判定部3により、移動体IDと観測時刻と特徴量とを識別不可能データベース6に記録する(S16)。   If it is not identifiable (NO in S15), the action identifiable determination unit 3 records the mobile object ID, the observation time, and the feature quantity in the identifiable database 6 (S16).

識別可能な場合は(S15のYES)、行動識別部7において識別器を用いて識別を行い、識別された行動を表す行動ラベルを得る(S17)。   When it is discriminable (YES in S15), the behavior discriminating unit 7 performs discrimination using a discriminator, and obtains a behavior label representing the identified behavior (S17).

そして、教師データベース更新部9により識別不可能データベース6を検索し、行動識別部7で識別された移動体のIDと同一のIDをもちかつ、該移動体の観測時刻との差があらかじめ与えられた閾値以内である観測時刻をもつレコードを識別不可能データベース6から検出し、行動識別部7により行動識別された行動または当該行動の予兆行動を表すラベルと、検出したレコードに含まれる特徴量との組を教師データベース4に追加する(S18)。更新した教師データベース4を元に行動識別部7において識別器を再生成してもよい。   The teacher database update unit 9 searches the indistinguishable database 6 and has the same ID as that of the moving object identified by the action identifying unit 7 and a difference from the observation time of the moving object is given in advance. A record having an observation time that is within the threshold value is detected from the indistinguishable database 6 and the action identified by the action identifying unit 7 or a label representing the predictive action of the action, and the feature amount included in the detected record Are added to the teacher database 4 (S18). Based on the updated teacher database 4, the classifier may be regenerated in the action identification unit 7.

本発明の実施の形態における行動識別装置の構成を概略的に示すブロック図である。It is a block diagram which shows roughly the structure of the action identification apparatus in embodiment of this invention. 観測のイメージ図である。It is an image figure of observation. 行動履歴データベースの一例である。It is an example of an action history database. 行動識別可能判定部のフローチャートの一例である。It is an example of the flowchart of the action identifiable determination part. 教師データベース4の一例である。2 is an example of a teacher database 4; 識別不可能データベース6の一例である。It is an example of the indistinguishable database 6. 行動識別部で用いる識別器の例として決定木を示す。A decision tree is shown as an example of a classifier used in the action classifying unit. 図1の行動識別装置を用いて行う行動識別の処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of the process of action identification performed using the action identification device of FIG.

符号の説明Explanation of symbols

1:行動履歴データベース(第1データベース)
2:特徴量抽出部
3:行動識別可能判定部
4:教師データベース(第2データベース)
5:識別可能判定パラメータデータベース
6:識別不可能データベース(第3データベース)
7:行動識別部
8:識別パラメータデータベース
9:教師データベース更新部(データベース更新部)
10:出力部
1: Action history database (first database)
2: Feature amount extraction unit 3: Action distinguishable determination unit 4: Teacher database (second database)
5: Identifiable determination parameter database 6: Unidentifiable database (third database)
7: Action identification unit 8: Identification parameter database 9: Teacher database update unit (database update unit)
10: Output section

Claims (11)

1つ以上のセンサにより移動体を観測して得た観測値と、前記移動体のIDと、前記移動体の観測時刻とを含む複数の第1レコードを記録する第1データベースと、
前記第1データベースに記録された1つ以上の第1レコードから前記移動体の行動の特徴を表す1つ以上の特徴量を抽出する特徴量抽出部と、
1つ以上の特徴量と行動を表すラベルとを含む複数の第2レコードを記録した第2データベースと、
前記特徴量抽出部によって抽出された特徴量から前記移動体の行動を識別可能か否かを前記第2データベースに基づき判定する行動識別可能判定部と、
識別不能と判定された特徴量と、該特徴量が抽出された各第1レコードに含まれる観測時刻を代表する時刻と、識別不能と判定された移動体のIDとを含む第3レコードを記録する第3データベースと、
識別可能と判定された特徴量と前記第2データベースとから前記移動体の行動を識別する行動識別部と、
行動識別された移動体のIDと同一のIDをもち、かつ前記行動識別された移動体の特徴量が抽出された各第1レコードに含まれる観測時刻を代表する時刻との差が第1閾値以内の時刻をもつ第3レコードを前記第3データベースから検出し、検出された第3レコードに含まれる特徴量と前記行動識別された移動体の行動またはその予兆行動を表すラベルとを含む第2レコードを前記第2データベースに追加するデータベース更新部と、
を備えた行動識別装置。
A first database that records a plurality of first records including observation values obtained by observing a moving object with one or more sensors, an ID of the moving object, and observation times of the moving object;
A feature quantity extraction unit that extracts one or more feature quantities representing the feature of the behavior of the moving object from one or more first records recorded in the first database;
A second database that records a plurality of second records including one or more feature quantities and a label representing an action;
An action identifiable determination unit that determines whether or not the behavior of the mobile object can be identified from the feature quantity extracted by the feature quantity extraction unit;
A third record including a feature amount determined to be unidentifiable, a time representing the observation time included in each first record from which the feature amount is extracted, and a mobile object ID determined to be unidentifiable is recorded A third database to
An action identifying unit that identifies the action of the moving object from the feature quantity determined to be identifiable and the second database;
The difference from the time representing the observation time included in each first record having the same ID as the ID of the action-identified moving object and the feature quantity of the action-identified moving object extracted is the first threshold value. A second record including a feature quantity included in the detected third record and a label representing the behavior of the mobile body identified by the behavior or its predictive behavior; A database updater for adding records to the second database;
An action identification device comprising:
前記行動識別可能判定部は、前記特徴量抽出部によって抽出された特徴量と、前記第2データベース内の各第2レコードに含まれる特徴量との距離をそれぞれ計算し、計算した距離のうち最小値が第2閾値以上のときは識別不能と判定することを特徴とすることを特徴とする請求項1に記載の行動識別装置。   The action identifiable determination unit calculates a distance between the feature amount extracted by the feature amount extraction unit and a feature amount included in each second record in the second database, and the smallest of the calculated distances The behavior identification device according to claim 1, wherein when the value is equal to or greater than a second threshold value, it is determined that identification is impossible. 前記行動識別可能判定部は、前記特徴量抽出部によって抽出された特徴量と、前記第2データベース内の各第2レコードに含まれる特徴量との距離をそれぞれ計算し、計算した距離が前記第2閾値未満の第2レコードの数が第3閾値以下のときは識別不能と判定することを特徴とすることを特徴とする請求項2に記載の行動識別装置。   The action identifiable determination unit calculates the distance between the feature amount extracted by the feature amount extraction unit and the feature amount included in each second record in the second database, and the calculated distance is the first distance. The behavior identification device according to claim 2, wherein when the number of second records less than two threshold values is equal to or less than a third threshold value, it is determined that identification is impossible. 前記行動識別可能判定部は、前記特徴量抽出部によって抽出された特徴量と、前記第2データベース内の各第2レコードに含まれる特徴量との距離をそれぞれ計算し、計算した距離の合計が第4閾値以上のときは識別不能と判定することを特徴とすることを特徴とする請求項1に記載の行動識別装置。   The action identifiable determination unit calculates the distance between the feature amount extracted by the feature amount extraction unit and the feature amount included in each second record in the second database, and the total of the calculated distances is calculated. The action identification device according to claim 1, wherein it is determined that identification is impossible when the threshold value is equal to or greater than a fourth threshold value. 前記データベース更新部は、前記第3データベースに記録された時刻または前記第3レコードに含まれる時刻から、一定時間以上経過した第3レコードを前記第3データベースから削除することを特徴とする請求項1〜4のいずれか一項に記載の行動識別装置。   The database updating unit deletes, from the third database, a third record that has passed a predetermined time from the time recorded in the third database or the time included in the third record. The action identification apparatus as described in any one of -4. 行動識別された移動体の特徴量と、該特徴量が抽出された各第1レコードに含まれる観測時刻を代表する時刻と、前記行動識別された移動体のIDと、識別された行動を表すラベルとを含む第4レコードを記録する第4データベースと、
特徴量間の距離を計算する距離計算部とをさらに備え、
前記データベース更新部は、同一のIDをもちかつ互いに所定の距離以下をもつ第4レコードが一定数記録されたら、前記一定数の第4レコードに含まれるラベルにおいて最も個数の多いラベルを特定し、前記一定数の第4レコードに含まれる時刻を代表する時刻から前記第1閾値時間以内の時刻をもつ第3レコードを前記第3データベースから検出し、検出した第3レコードに含まれる特徴量と、特定したラベルと同一のラベルまたは該特定したラベルが示す行動の予兆行動を示すラベルとを含む第2レコードを前記第2データベースに追加する、
ことを特徴とする請求項1〜5のいずれか一項に記載の行動識別装置。
The feature amount of the mobile object identified by the action, the time representative of the observation time included in each first record from which the feature value is extracted, the ID of the mobile object identified by the action, and the identified action A fourth database for recording a fourth record including a label;
A distance calculation unit for calculating the distance between the features,
The database update unit, when a certain number of fourth records having the same ID and having a predetermined distance or less are recorded, identifies the label with the largest number among the labels included in the certain number of fourth records, A third record having a time within the first threshold time from a time representative of the time included in the fixed number of fourth records is detected from the third database, and a feature amount included in the detected third record; Adding a second record including the same label as the identified label or a label indicating the predictive behavior of the action indicated by the identified label to the second database;
The action identification device according to any one of claims 1 to 5, wherein
前記データベース更新部は、前記最も個数の多いラベルの割合が第5閾値未満であるときは、前記第2データベースへの前記第2レコードの追加を行わないことを特徴とする請求項6に記載の行動識別装置。   The said database update part does not add the said 2nd record to the said 2nd database, when the ratio of the said most number of labels is less than 5th threshold value. Action identification device. 前記行動識別部は、前記第2データベースを用いて1つ以上の特徴量から行動を識別する識別器を生成し、生成した識別器と、前記識別可能と判定された特徴量とから前記移動体の行動を識別することを特徴とする請求項1〜7のいずれか一項に記載の行動識別装置。   The behavior identification unit generates a discriminator for identifying a behavior from one or more feature amounts using the second database, and the moving object is generated from the generated discriminator and the feature amount determined to be discriminable. The behavior identification device according to claim 1, wherein the behavior identification device is identified. 前記観測時刻を代表する時刻は、前記各第1レコードに含まれる観測時刻のうち最も早い観測時刻以降かつ最も遅い観測時刻以前の任意の時刻であることを特徴とする請求項1〜8のいずれか一項に記載の行動識別装置。   9. The time representative of the observation time is an arbitrary time after the earliest observation time and before the latest observation time among the observation times included in each of the first records. The action identification device according to claim 1. 前記行動識別部によって識別された行動を表す情報を出力する出力部をさらに備えたことを特徴とする請求項1〜9のいずれか一項に記載の行動識別装置。   The behavior identifying apparatus according to claim 1, further comprising an output unit that outputs information representing the behavior identified by the behavior identifying unit. 1つ以上のセンサにより移動体を観測して得た観測値と、前記移動体のIDと、前記移動体の観測時刻とを含む第1レコードを第1データベースに逐次記録し、
前記第1データベースに記録された1つ以上の第1レコードから前記移動体の行動の特徴を表す1つ以上の特徴量を抽出し、
1つ以上の特徴量と行動を表すラベルとを含む複数の第2レコードを記録した第2データベースを用いて、抽出された特徴量から前記移動体の行動を識別可能か否かを判定し、
識別不能と判定された特徴量と、該特徴量が抽出された各第1レコードに含まれる観測時刻を代表する時刻と、識別不能と判定された移動体のIDとを含む第3レコードを第3データベースに記録し、
識別可能と判定された特徴量と前記第2データベースとから前記移動体の行動を識別し、
行動識別された移動体のIDと同一のIDをもち、かつ前記行動識別された移動体の特徴量が抽出された各第1レコードに含まれる観測時刻を代表する時刻との差が第1閾値以内の時刻をもつ第3レコードを前記第3データベースから検出し、検出された第3レコードに含まれる特徴量と前記行動識別された移動体の行動またはその予兆行動を表すラベルとを含む第2レコードを前記第2データベースに追加する、行動識別方法。
A first record including an observation value obtained by observing a moving body with one or more sensors, an ID of the moving body, and an observation time of the moving body is sequentially recorded in a first database;
Extracting one or more feature quantities representing the characteristics of the behavior of the moving object from one or more first records recorded in the first database;
Using a second database that records a plurality of second records including one or more feature quantities and a label representing an action, determining whether the action of the moving object can be identified from the extracted feature quantities;
The third record including the feature quantity determined to be unidentifiable, the time representing the observation time included in each first record from which the feature quantity is extracted, and the ID of the mobile object determined to be unidentifiable 3 records in database,
Identifying the behavior of the moving object from the feature quantity determined to be identifiable and the second database;
The difference from the time representing the observation time included in each first record having the same ID as the ID of the action-identified moving object and the feature quantity of the action-identified moving object extracted is the first threshold value. A second record including a feature quantity included in the detected third record and a label representing the behavior of the mobile body identified by the behavior or its predictive behavior; A behavior identification method of adding a record to the second database.
JP2007118375A 2007-04-27 2007-04-27 Behavior identification device and method Pending JP2008276455A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007118375A JP2008276455A (en) 2007-04-27 2007-04-27 Behavior identification device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007118375A JP2008276455A (en) 2007-04-27 2007-04-27 Behavior identification device and method

Publications (1)

Publication Number Publication Date
JP2008276455A true JP2008276455A (en) 2008-11-13

Family

ID=40054343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007118375A Pending JP2008276455A (en) 2007-04-27 2007-04-27 Behavior identification device and method

Country Status (1)

Country Link
JP (1) JP2008276455A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013205904A (en) * 2012-03-27 2013-10-07 Toshiba Corp Server device, annotation system, method, and program
JP2015146211A (en) * 2015-04-02 2015-08-13 株式会社東芝 server device, annotation system, method, and program
JP2020017107A (en) * 2018-07-26 2020-01-30 ソニー株式会社 Information processing device, information processing method, and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013205904A (en) * 2012-03-27 2013-10-07 Toshiba Corp Server device, annotation system, method, and program
JP2015146211A (en) * 2015-04-02 2015-08-13 株式会社東芝 server device, annotation system, method, and program
JP2020017107A (en) * 2018-07-26 2020-01-30 ソニー株式会社 Information processing device, information processing method, and program
US11574504B2 (en) 2018-07-26 2023-02-07 Sony Corporation Information processing apparatus, information processing method, and program
JP7283037B2 (en) 2018-07-26 2023-05-30 ソニーグループ株式会社 Information processing device, information processing method, and program

Similar Documents

Publication Publication Date Title
US10970558B2 (en) People flow estimation device, people flow estimation method, and recording medium
Lan et al. Discriminative latent models for recognizing contextual group activities
EP2659456B1 (en) Scene activity analysis using statistical and semantic feature learnt from object trajectory data
US6502082B1 (en) Modality fusion for object tracking with training system and method
Thorleuchter et al. A compared R&D-based and patent-based cross impact analysis for identifying relationships between technologies
Carlos et al. How smartphone accelerometers reveal aggressive driving behavior?—The key is the representation
JP2008276453A (en) Behavior identification device and method
JP2009134688A (en) Segmenting time based on geographic distribution of activity in sensor data
CN106537387B (en) Retrieval/storage image associated with event
CN103106394A (en) Human body action recognition method in video surveillance
JP6968966B1 (en) How to recognize the semantic relationship of image objects based on deep learning and PLSI
CN113643170A (en) Big data driven public place crowd gathering evacuation method and device
CN115564027A (en) Multi-modal learning behavior analysis method, system and storage medium
JP2008276455A (en) Behavior identification device and method
JP5236607B2 (en) Anomaly detection device
EP3336746A1 (en) System and method of video content filtering
JP7131351B2 (en) LEARNING METHOD, LEARNING PROGRAM AND LEARNING DEVICE
JP2016103245A (en) Information processing apparatus, information processing method, and program
JP7152357B2 (en) Correct data creation support system and correct data creation support method
JP7351344B2 (en) Learning device, learning method, reasoning device, reasoning method, and program
Taghvaei et al. HMM-based state classification of a user with a walking support system using visual PCA features
JP2009265905A (en) Preprocessor using preliminary rule, preprocessing method, information extraction device using the preprocessor and information extraction method
JP2021068333A (en) Child abuse sign determination program and system
Dziak Detection and classification multi-sensor systems: Implementation of IoT and systematic design approaches
Akash et al. Human Activity Segmentation employing Ml Algorithms and Cellular phone Sensor Data