JP2020101948A - Action recognition system and action recognition method - Google Patents

Action recognition system and action recognition method Download PDF

Info

Publication number
JP2020101948A
JP2020101948A JP2018238945A JP2018238945A JP2020101948A JP 2020101948 A JP2020101948 A JP 2020101948A JP 2018238945 A JP2018238945 A JP 2018238945A JP 2018238945 A JP2018238945 A JP 2018238945A JP 2020101948 A JP2020101948 A JP 2020101948A
Authority
JP
Japan
Prior art keywords
domain
domains
information
data
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018238945A
Other languages
Japanese (ja)
Inventor
洋輝 大橋
Hiroki Ohashi
洋輝 大橋
克行 中村
Katsuyuki Nakamura
克行 中村
岡田 光弘
Mitsuhiro Okada
岡田  光弘
拓杜 佐藤
Takuto SATO
拓杜 佐藤
谷田部 祐介
Yusuke Yatabe
祐介 谷田部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2018238945A priority Critical patent/JP2020101948A/en
Publication of JP2020101948A publication Critical patent/JP2020101948A/en
Pending legal-status Critical Current

Links

Images

Abstract

To make it possible to perform highly accurate behavior recognition even if there is only a small amount of labeled data in a target domain and there are data in various source domains.SOLUTION: An action recognition system 1 comprises: an inter-domain similarity calculation unit 13 for calculating, using domain information 12 regarding a target domain as an input, inter-domain similarity between the target domain and a plurality of domains based on first information stored in an inter-domain relationship information DB14; a data conversion unit 15 for executing a predetermined data conversion on input sensor data 11 to be identified using reference information read from second information stored in domain-based sensor data DB16 based on the inter-domain similarity; and an identifying unit 17 for identifying an action type corresponding to the input sensor data 11 using the input sensor data 11 after the data conversion and parameters of the identifier stored in the domain-based identifier DB18.SELECTED DRAWING: Figure 1

Description

本発明は、行動認識システム及び行動認識方法に関し、センサデータを用いて行動の種別を自動認識する行動認識システム及び行動認識方法に適用して好適なものである。 The present invention relates to an action recognition system and an action recognition method, and is suitable for being applied to an action recognition system and an action recognition method for automatically recognizing an action type using sensor data.

従来、監視システム、ライフログ、または顧客行動ごとのマーケティング等のために、カメラ等のセンサから得られるセンサデータを分析して、人間の行動を自動認識したいという需要があった。このような需要に対して、数多くの行動認識技術が開発されており、その代表的な方法は、認識対象となる行動ごとに、学習データを収集し、ニューラルネットワークやSVM(Support Vector Machine)等の手法を用いて、センサデータと行動ラベルとの対応付けを学習する方法であった。 Conventionally, there has been a demand for automatically recognizing human behavior by analyzing sensor data obtained from a sensor such as a camera for monitoring system, life log, or marketing for each customer behavior. A large number of behavior recognition technologies have been developed to meet such demand, and a typical method thereof is to collect learning data for each behavior to be recognized and to use a neural network or SVM (Support Vector Machine). This method was used to learn the association between sensor data and action labels.

上記のような行動認識技術による行動認識システムを様々な現場に展開する際、認識対象の行動種別がシステムを展開済みの既存の現場のものと同じであれば、新たな現場において行動認識モデルを構築するための学習データを改めて収集し直すことなく、既存の現場で既に収集されたデータやモデルを活用できることが、システムの展開コストの観点から望ましい。 When deploying an action recognition system using the above action recognition technology to various sites, if the action type of the recognition target is the same as that of the existing site where the system has already been deployed, the action recognition model will be applied to the new site. From the viewpoint of system deployment cost, it is desirable to be able to utilize the data and models that have already been collected at the existing site without recollecting the learning data for construction.

ところが、異なる現場で収集された行動データの統計的な性質は、例え同じ行動種別であったとしても、様々な要因によって異なることが有り得る。例えば、同じ「ネジ締め」という行動であっても、現場が異なれば、ネジ自体や工具の違い、ネジの取り付け位置の違い、あるいはネジ締めの度合いの違い等が存在し、ネジ締めの姿勢や作業方法が異なることがある。その結果、当該行動をセンサで観測して収集された行動データは、現場によって異なる性質を持ち得る。言い換えれば、データの生成に寄与する様々な要因が異なることで、データの生成分布も異なることになる。そして一般に、異なる生成分布から生成されたデータや、当該データに基づいて構築された識別モデルを用いると、識別精度が低下するという問題が知られている。 However, the statistical properties of the behavior data collected at different sites may differ due to various factors even if the behavior types are the same. For example, even with the same "screw tightening" behavior, if the site is different, there are differences in the screws themselves and tools, differences in the screw mounting positions, or differences in the degree of screw tightening. Work methods may differ. As a result, the behavior data collected by observing the behavior with a sensor may have different properties depending on the site. In other words, the various factors that contribute to the generation of data are different, and the distribution of data generation is also different. It is generally known that when data generated from different generation distributions or an identification model constructed based on the data is used, the identification accuracy is lowered.

このような問題に対して、例えば特許文献1には、取得されたデータに対し、当該データと生成分布が同一であるデータを用いて構築されたモデルを利用することにより、精度良く識別を行おうとする物体認識方法が開示されている。特許文献1に開示された物体認識装置は、撮像部により撮像された画像を取得する画像取得部と、車両の周辺の明るさを検出する明るさ検出部と、明るさ検出部により検出された明るさに応じて、画像取得部により取得された画像に含まれる物体を認識する処理の内容を変更する画像認識部とを備えており、より具体的には、照度センサによって検出された明るさに応じて昼間用のモデルと夜間用のモデルとを切り替えて使用する。 In order to solve such a problem, for example, in Patent Document 1, it is possible to perform accurate identification by using a model constructed using data whose generation distribution is the same as that of the acquired data. An intended object recognition method is disclosed. The object recognition device disclosed in Patent Document 1 is detected by an image acquisition unit that acquires an image captured by the imaging unit, a brightness detection unit that detects brightness around the vehicle, and a brightness detection unit. An image recognition unit that changes the content of the process of recognizing an object included in the image acquired by the image acquisition unit according to the brightness, and more specifically, the brightness detected by the illuminance sensor. Depending on the situation, the model for daytime and the model for nighttime are switched and used.

また、特許文献2、非特許文献1及び非特許文献2には、異なるデータの生成分布を一致させるように変換を行ってから識別を行うことで精度よく識別を行う、ドメイン適合という技術が開示されている。ここで、ドメインとは、データの生成に関わる環境を示す言葉であり、一般にデータの収集ドメインが異なるとデータの生成分布も異なると考えられる。例えば、上述例の場合、ある現場を一つのドメイン、また別の現場を別のドメインと考えることができる。そして、識別を行うデータ(識別対象データ)の属するドメインはターゲットドメインと呼ぶ。一般に、ターゲットドメインからは、ごく少量のラベル付きデータ(学習データ)しか入手できていないと仮定する。上述例では、ターゲットドメインは新規に行動認識システムを展開しようとしている現場であり、当該現場からはラベル付きデータはほとんど収集できていないという状況がこれに当たる。一方、ラベル付きデータが大量に存在するドメインをソースドメインと呼ぶ。上述例では、システムを展開済みの既存の現場がこれに当たる。ドメイン適合とは、少量の学習データしか存在しないターゲットドメインのデータ分布を、大量の学習データが存在するソースドメインのデータ分布に適合させるように変換をかけることで、ソースドメインの学習データやそれをもとに構築されたモデルを用いて精度よく識別を行おうとする技術である。 In addition, Patent Document 2, Non-Patent Document 1 and Non-Patent Document 2 disclose a technique called domain matching, which performs accurate identification by performing conversion so that generation distributions of different data are matched and then performing identification. Has been done. Here, the domain is a term indicating an environment related to data generation, and generally, it is considered that the data generation distribution is different when the data collection domain is different. For example, in the above example, one site can be considered as one domain and another site can be considered as another domain. The domain to which the identification data (identification target data) belongs is called a target domain. Generally, it is assumed that only a small amount of labeled data (learning data) is available from the target domain. In the above example, the target domain is a site where a behavior recognition system is being newly developed, and the situation in which labeled data cannot be collected from the site corresponds to this. On the other hand, a domain where a large amount of labeled data exists is called a source domain. In the above example, this corresponds to the existing site where the system has already been deployed. Domain matching is a transformation of the data distribution of the target domain, which has only a small amount of training data, to the data distribution of the source domain, which has a large amount of training data. This is a technology that attempts to perform accurate identification using a model that was originally constructed.

特開2018−041209号公報Japanese Patent Laid-Open No. 2018-041209 特開2016−058079号公報JP, 2016-058079, A

V. Patel, R. Gopalan, R. Li and R. Chellappa: Visual domain adaptation: A survey of recent advances. IEEE signal processing magazine, Vol. 32, No. 3, pp 53--69, 2015V. Patel, R. Gopalan, R. Li and R. Chellappa: Visual domain adaptation: A survey of recent advances.IEEE signal processing magazine, Vol. 32, No. 3, pp 53--69, 2015 H. Daume and D. Marcu: Domain adaptation for statistical classifiers. Journal of Artificial Intelligence Research, Vol. 26, pp 101--126, 2006H. Daume and D. Marcu: Domain adaptation for statistical classifiers. Journal of Artificial Intelligence Research, Vol. 26, pp 101--126, 2006

しかし、上述した特許文献1に開示された物体認識装置において、切替可能な昼間用のモデル及び夜間用のモデルは、同一のドメインから昼夜別に収集されたデータから学習されたモデルであり、さらに、識別対象のデータも同一のドメインから取得される。すなわち、特許文献1に開示された物体認識技術は、ソースドメインが単一で、かつ、ソースドメインとターゲットドメインとが同一である場合にしか適用できない。 However, in the object recognition device disclosed in Patent Document 1 described above, the switchable daytime model and nighttime model are models learned from data collected from the same domain by day and night, and The data to be identified is also acquired from the same domain. That is, the object recognition technology disclosed in Patent Document 1 can be applied only when the source domain is single and the source domain and the target domain are the same.

また、特許文献2、非特許文献1及び非特許文献2に開示されたドメイン適合の技術も、ソースドメインが単一である場合しか想定していない。ところが、行動認識システムを様々な現場に展開する際には、システムの展開が進めば進むほどソースドメインの数は増えることになる。このような状況で従来のドメイン適合の技術を適用しようとした場合、ターゲットドメインをどのソースドメインに適合させれば良いかが分からないため、単純には適用できないという問題があった。 In addition, the domain matching techniques disclosed in Patent Document 2, Non-Patent Document 1 and Non-Patent Document 2 also assume only a single source domain. However, when deploying the behavior recognition system in various fields, the number of source domains will increase as the deployment of the system progresses. When the conventional domain matching technique is applied in such a situation, there is a problem that it cannot be simply applied because it is not known to which source domain the target domain should be matched.

本発明は以上の点を考慮してなされたもので、行動認識システムの展開が進み、更に新規の現場にシステムを導入しようとするような状況、すなわち、ターゲットドメインのラベル付きデータが少量しかなく、かつ様々なソースドメインのデータが存在するような状況であっても、精度の高い行動認識を可能にする行動認識システム及び行動認識方法を提案しようとするものである。 The present invention has been made in consideration of the above points, and the situation in which the behavior recognition system is further developed and the system is being introduced to a new site, that is, the labeled data of the target domain is small. In addition, the present invention aims to propose a behavior recognition system and a behavior recognition method that enable highly accurate behavior recognition even in a situation where data of various source domains exist.

かかる課題を解決するため本発明においては、ターゲットドメインで収集されたセンサデータを識別対象として、当該センサデータに対応する行動種別を識別する以下の行動認識システムが提供される。この行動認識システムは、過去にセンサデータが収集された複数のドメインについて、複数のドメイン間の関係性に関する第1の情報を格納する第1の格納部と、前記過去のセンサデータに対応する行動種別と当該センサデータが収集された前記ドメインとを紐付けた第2の情報を格納する第2の格納部と、前記複数のドメインのドメインごとのデータを用いてセンサデータに対応する行動種別を識別するように学習したドメイン別の識別器におけるパラメータを含む第3の情報を格納する第3の格納部と、前記ターゲットドメインに関する情報を入力とし、前記第1の格納部に格納された前記第1の情報に基づいて、当該ターゲットドメインと前記複数のドメインとのドメイン間の類似度を算出するドメイン間類似度算出部と、前記ドメイン間類似度算出部によって算出された前記ドメイン間の類似度に基づいて、前記第2の格納部に格納された前記第2の情報のうちから参照用情報を読み出し、当該参照用情報を用いて、前記識別対象のセンサデータに対して所定のデータ変換を実行するデータ変換部と、前記データ変換部によってデータ変換された前記識別対象のセンサデータと前記第3の格納部に格納された前記第3の情報が有する前記識別器のパラメータとを用いて、当該識別対象のセンサデータに対応する行動種別を識別する識別部と、を備える。 In order to solve such a problem, the present invention provides the following action recognition system for identifying an action type corresponding to the sensor data, using the sensor data collected in the target domain as an identification target. This action recognition system includes a first storage unit that stores first information regarding a relationship between a plurality of domains for a plurality of domains for which sensor data has been collected in the past, and an action corresponding to the past sensor data. A second storage unit that stores second information that associates a type with the domain from which the sensor data is collected, and an action type corresponding to the sensor data using data for each domain of the plurality of domains. A third storage unit that stores third information including a parameter in the discriminator for each domain that has been learned to be discriminated, and the first storage unit that stores information about the target domain as input. Based on the information of 1, the inter-domain similarity calculation unit that calculates the inter-domain similarity between the target domain and the plurality of domains, and the inter-domain similarity calculated by the inter-domain similarity calculation unit. On the basis of the above, reference information is read from the second information stored in the second storage unit, and predetermined reference data conversion is performed on the sensor data to be identified using the reference information. Using the data conversion unit to be executed, the sensor data of the identification target that has been data-converted by the data conversion unit, and the parameter of the discriminator included in the third information stored in the third storage unit, An identification unit that identifies an action type corresponding to the sensor data to be identified.

また、かかる課題を解決するため本発明においては、ターゲットドメインで収集されたセンサデータを識別対象として、当該センサデータに対応する行動種別を識別する以下の行動認識方法が提供される。この行動認識方法は、前記ターゲットドメインに関する情報を入力とし、過去にセンサデータが収集された複数のドメインについての複数のドメイン間の関係性に関する第1の情報に基づいて、当該ターゲットドメインと前記複数のドメインとのドメイン間の類似度を算出するドメイン間類似度算出ステップと、前記ドメイン間類似度算出ステップで算出された前記ドメイン間の類似度に基づいて、前記過去のセンサデータに対応する行動種別と当該センサデータが収集された前記ドメインとを紐付けた第2の情報のうちから、参照用情報を読み出し、当該参照用情報を用いて、前記識別対象のセンサデータに対して所定のデータ変換を実行するデータ変換ステップと、前記データ変換ステップでデータ変換された前記識別対象のセンサデータと、前記複数のドメインのドメインごとのデータを用いてセンサデータに対応する行動種別を識別するように学習したドメイン別の識別器におけるパラメータとを用いて、当該識別対象のセンサデータに対応する行動種別を識別する識別ステップと、を備える。 Further, in order to solve such a problem, the present invention provides the following behavior recognition method for identifying a behavior type corresponding to the sensor data, with the sensor data collected in the target domain as an identification target. This behavior recognition method inputs information on the target domain and inputs the target domain and the plurality of target domains based on first information on a relationship between the plurality of domains for which sensor data has been collected in the past. Based on the similarity between the domains calculated in the inter-domain similarity calculation step for calculating the similarity between the domains and the domain, the action corresponding to the past sensor data The reference information is read out from the second information in which the type and the domain from which the sensor data is collected are associated with each other, and the reference information is used to determine the predetermined data for the sensor data to be identified. A data conversion step of performing conversion, the sensor data of the identification target converted in the data conversion step, and data for each domain of the plurality of domains are used to identify the action type corresponding to the sensor data. An identification step of identifying the action type corresponding to the sensor data of the identification target by using the learned parameter in the discriminator for each domain.

本発明によれば、ターゲットドメインのラベル付きデータが少量しかなく、かつ様々なソースドメインのデータが存在し得る状況でも、精度の高い行動認識が可能となる。 According to the present invention, it is possible to perform highly accurate action recognition even in the situation where there is only a small amount of labeled data in the target domain and data in various source domains may exist.

本発明の第1の実施の形態に係る行動認識システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the action recognition system which concerns on the 1st Embodiment of this invention. 図1に示した行動認識システムのハードウェア構成例を示すブロック図である。It is a block diagram which shows the hardware structural example of the action recognition system shown in FIG. ドメイン間関係性情報の一例を示す図である。It is a figure which shows an example of the relationship information between domains. ドメイン間関係性情報の入力に用いられるGUIの一例を示す図である。It is a figure which shows an example of GUI used for inputting the relationship information between domains. ドメイン別センサデータの一例を示す図である。It is a figure which shows an example of the sensor data classified by domain. 識別器パラメータ情報の一例を示す図である。It is a figure which shows an example of discriminator parameter information. 本発明の第2の実施の形態に係る行動認識システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the action recognition system which concerns on the 2nd Embodiment of this invention. ドメイン間の構造的関係性に階層構造を用いる際の、ドメイン間構造関係情報を説明するための図である。It is a figure for demonstrating the structural relationship information between domains when using a hierarchical structure for the structural relationship between domains. 階層構造によるドメイン間構造関係情報の入力に用いられるGUIの一例を示す図である。It is a figure which shows an example of GUI used for inputting the structure relation information between domains by a hierarchical structure. 第2の実施の形態においてドメイン間の構造的関係性に階層構造を用いる際の、類似度算出処理の処理手順例を示すフローチャートである。14 is a flowchart showing a processing procedure example of a similarity calculation processing when a hierarchical structure is used for the structural relationship between domains in the second embodiment. ドメイン間の構造的関係性にネットワーク構造を用いる際の、ドメイン間構造関係情報を説明するための図である。It is a figure for demonstrating the structural relationship information between domains when using a network structure for the structural relationship between domains. ネットワーク構造によるドメイン間構造関係情報の入力に用いられるGUIの一例を示す図である。It is a figure which shows an example of GUI used for the input of the structural relationship information between domains by a network structure. 本発明の第3の実施の形態に係る行動認識システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the action recognition system which concerns on the 3rd Embodiment of this invention. ドメイン単語埋め込み情報の一例を示す図である。It is a figure which shows an example of domain word embedding information.

以下、図面を参照しながら、本発明の実施の形態を詳述する。なお、各図面において、同一または同様の機能を有する構成要素には、同一の番号を付し、説明の繰り返しを省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In each drawing, components having the same or similar functions are designated by the same reference numerals, and repeated description is omitted.

(1)第1の実施の形態
(1−1)行動認識システムの機能構成
図1は、本発明の第1の実施の形態に係る行動認識システムの構成例を示すブロック図である。図1に示した第1の実施の形態に係る行動認識システム1は、センサによって取得された識別対象の入力センサデータ11と、入力センサデータ11が収集されたドメインの情報であるドメイン情報12とを入力とし、識別対象の入力センサデータ11に対応する行動種別を識別する処理を実行し、その識別結果19を出力する。なお、以降の説明において、入力センサデータ11及びドメイン情報12を合わせて識別対象データ10と称する。
(1) First Embodiment (1-1) Functional Configuration of Action Recognition System FIG. 1 is a block diagram showing a configuration example of the action recognition system according to the first embodiment of the present invention. The action recognition system 1 according to the first exemplary embodiment shown in FIG. 1 includes input sensor data 11 of an identification target acquired by a sensor, and domain information 12 that is information of a domain in which the input sensor data 11 is collected. Is input, the processing for identifying the action type corresponding to the input sensor data 11 to be identified is executed, and the identification result 19 is output. In the following description, the input sensor data 11 and the domain information 12 are collectively referred to as identification target data 10.

入力センサデータ11の取得には、カメラ、マイク、距離センサ、加速度センサ、ジャイロセンサ、筋電センサ、脈拍・心拍センサ、照度センサ、または圧力センサ等の種々のセンサを一つまたは複数組み合わせて用いることができ、センサの種類や数は限定されない。また、行動認識システム1は、センサの計測値をHDD(Hard Disk Drive)等の記憶装置に一旦格納してから、改めて入力センサデータ11として入力して以降の処理を行うようにしてもよいし(オフライン処理)、センサから読み取った計測値を直接、入力センサデータ11として入力して以降の処理を行うようにしてもよい(リアルタイム処理)。 The input sensor data 11 is acquired by using one or a combination of various sensors such as a camera, a microphone, a distance sensor, an acceleration sensor, a gyro sensor, a myoelectric sensor, a pulse/heartbeat sensor, an illuminance sensor, or a pressure sensor. However, the type and number of sensors are not limited. Further, the action recognition system 1 may temporarily store the measurement value of the sensor in a storage device such as an HDD (Hard Disk Drive) and then input the input sensor data 11 again to perform the subsequent processing. (Offline processing), the measurement value read from the sensor may be directly input as the input sensor data 11 to perform the subsequent processing (real-time processing).

図1に示したように、行動認識システム1は、ドメイン間類似度算出部13、ドメイン間関係性情報DB14、データ変換部15、ドメイン別センサデータDB16、識別部17、及びドメイン別識別器DB18を備えて構成される。 As shown in FIG. 1, the behavior recognition system 1 includes an inter-domain similarity calculation unit 13, an inter-domain relationship information DB 14, a data conversion unit 15, a domain-specific sensor data DB 16, an identification unit 17, and a domain-specific discriminator DB 18. It is configured with.

行動認識システム1による処理フローの概要を説明すると、行動認識システム1は、まず、識別対象データのドメイン情報12を読み取る。そして、ドメイン間類似度算出部13が、ドメイン間関係性情報DB14に格納されている複数のドメイン間の関係性に関する情報を読み出し、識別対象データ10のドメイン(ターゲットドメイン)とドメイン間関係性情報DB14に情報が格納されている各ドメイン(ソースドメイン)との類似度を算出する(類似度算出処理)。 Explaining the outline of the processing flow by the action recognition system 1, the action recognition system 1 first reads the domain information 12 of the identification target data. Then, the inter-domain similarity calculation unit 13 reads out information about the inter-domain relationship stored in the inter-domain relationship information DB 14, and identifies the domain (target domain) of the identification target data 10 and the inter-domain relationship information. The degree of similarity with each domain (source domain) whose information is stored in the DB 14 is calculated (similarity degree calculation processing).

次に、データ変換部15が、入力センサデータ11を読み取り、ドメイン間類似度算出部13によって算出された類似度に基づいて、入力センサデータ11を変換する際に利用する既存のセンサデータを決定し、決定したセンサデータをドメイン別センサデータDB16から読み出し、入力センサデータ11に変換を掛ける(データ変換処理)。 Next, the data conversion unit 15 reads the input sensor data 11, and based on the similarity calculated by the inter-domain similarity calculation unit 13, determines the existing sensor data used when converting the input sensor data 11. Then, the determined sensor data is read from the domain-specific sensor data DB 16 and the input sensor data 11 is converted (data conversion processing).

そして最後に、識別部17が、入力センサデータ11の変換の際に利用した既存のセンサデータを用いて構築された識別器のパラメータを、ドメイン別識別器DB18から読み出し、読み出した識別器のパラメータを用いて、変換後の入力センサデータ11に対して行動種別を識別する処理を実行し、識別結果19を出力する(行動識別処理)。 Finally, the identification unit 17 reads from the domain-based discriminator DB 18 the parameters of the discriminator constructed using the existing sensor data used when converting the input sensor data 11, and the read parameters of the discriminator. Is used to execute the process of identifying the action type on the converted input sensor data 11 and output the identification result 19 (action identification process).

(1−2)ハードウェア構成
図2は、図1に示した行動認識システムのハードウェア構成例を示すブロック図である。行動認識システム1は、例えば図2に示したハードウェア構成を備えた計算機100によって実現することができる。
(1-2) Hardware Configuration FIG. 2 is a block diagram showing a hardware configuration example of the action recognition system shown in FIG. The action recognition system 1 can be realized by, for example, a computer 100 having the hardware configuration shown in FIG.

図2に示したように、計算機100は、入力装置101、中央演算処理装置102、主記憶装置103、補助記憶装置104、及び出力装置105を備えて構成され、各構成はバス106を介して接続される。 As shown in FIG. 2, the computer 100 is configured to include an input device 101, a central processing unit 102, a main storage device 103, an auxiliary storage device 104, and an output device 105, and each configuration is via a bus 106. Connected.

計算機100において、中央演算処理装置102は、主記憶装置103に格納されたプログラムを実行する。主記憶装置103は、例えばDRAM(Dynamic Random Access Memory)のような高速かつ揮発性の記憶装置であり、オペレーティングシステムとアプリケーションプログラムを格納する。そして、中央演算処理装置102がオペレーティングシステムを実行することによって、計算機100の基本機能が実現される。また、中央演算処理装置102がアプリケーションプログラムを実行することによって、図1に示した行動認識システム1におけるドメイン間類似度算出部13、データ変換部15、及び識別部17の機能が実現される。 In the computer 100, the central processing unit 102 executes the program stored in the main storage device 103. The main storage device 103 is a high-speed and volatile storage device such as a DRAM (Dynamic Random Access Memory), and stores an operating system and application programs. Then, the central processing unit 102 executes the operating system to realize the basic functions of the computer 100. Further, the central processing unit 102 executes the application program, so that the functions of the inter-domain similarity calculation unit 13, the data conversion unit 15, and the identification unit 17 in the action recognition system 1 shown in FIG. 1 are realized.

補助記憶装置104は、例えば磁気記憶装置やフラッシュメモリ等の大容量且つ不揮発性の記憶装置であり、中央演算処理装置102によって実行されるプログラムとプログラム実行時に使用されるデータとを格納する。すなわち、中央演算処理装置102が実行するプログラムは、補助記憶装置104から読み出され、主記憶装置103にロードされ、中央演算処理装置102によって実行される。図1に示した行動認識システム1におけるドメイン間関係性情報DB14、ドメイン別センサデータDB16、及びドメイン別識別器DB18は、補助記憶装置104内に格納することができる。 The auxiliary storage device 104 is a large-capacity and non-volatile storage device such as a magnetic storage device or a flash memory, and stores a program executed by the central processing unit 102 and data used when the program is executed. That is, the program executed by the central processing unit 102 is read from the auxiliary storage device 104, loaded into the main storage device 103, and executed by the central processing unit 102. The inter-domain relationship information DB 14, the domain-based sensor data DB 16, and the domain-based discriminator DB 18 in the behavior recognition system 1 illustrated in FIG. 1 can be stored in the auxiliary storage device 104.

入力装置101は、例えばキーボードやマウスである。計算機100は、例えば入力装置101の操作に基づいて、入力センサデータ11を受信することができる。ここで、入力センサデータ11は、例えばUSB(Universal Serial Bus)ケーブル等を用いて計算機100に接続されたセンサから送信されてもよいし、ネットワークを経由して送信されてもよいし、CDやDVDなどのメディアに一度書き出され、それを計算機100が読込んで取得するようにしてもよい。また、出力装置105は、例えば液晶ディスプレイやプロジェクタ、プリンタ等であり、出力部(不図示)として識別結果19を出力(例えば所定画面に表示)することができる。また、出力装置105は、行動認識システム1の各DB(ドメイン間関係性情報DB14、ドメイン別センサデータDB16、ドメイン別識別器DB18)に登録されるデータの入力用に所定のGUI(Graphic User Interface)を表示したり、上記各DBに格納されたデータの閲覧用に所定の画面を表示したりすることにも使用できる。 The input device 101 is, for example, a keyboard or a mouse. The computer 100 can receive the input sensor data 11 based on the operation of the input device 101, for example. Here, the input sensor data 11 may be transmitted from a sensor connected to the computer 100 using, for example, a USB (Universal Serial Bus) cable or the like, may be transmitted via a network, or a CD or Alternatively, the data may be written once in a medium such as a DVD and then read by the computer 100 to obtain it. The output device 105 is, for example, a liquid crystal display, a projector, a printer, or the like, and can output the identification result 19 (display on a predetermined screen, for example) as an output unit (not shown). Further, the output device 105 has a predetermined GUI (Graphic User Interface) for input of data registered in each DB (inter-domain relationship information DB 14, domain-specific sensor data DB 16, domain-specific discriminator DB 18) of the action recognition system 1. ) Or displaying a predetermined screen for browsing the data stored in each DB.

なお、行動認識システム1を実現する計算機100のハードウェア構成は、図2の例示に限定されるものではなく、他にも例えば、ドメイン間類似度算出部13、データ変換部15、または識別部17による演算の高速化のために、GPU(Graphic Processing Unit)を用いてもよい。そして、これらの各装置は、バス106を介してデータをやり取りできることが好ましい。 The hardware configuration of the computer 100 that implements the behavior recognition system 1 is not limited to the example illustrated in FIG. 2, and other examples include, for example, the inter-domain similarity calculation unit 13, the data conversion unit 15, or the identification unit. A GPU (Graphic Processing Unit) may be used for speeding up the calculation by 17. It is preferable that each of these devices can exchange data via the bus 106.

(1−3)処理やデータの詳細
以下、本実施の形態に係る行動認識システム1における各コンポーネントの処理やデータ形式について、より詳細に説明する。
(1-3) Details of Processing and Data Hereinafter, the processing and data format of each component in the action recognition system 1 according to the present embodiment will be described in more detail.

(1−3−1)識別対象データ
前述したように、識別対象データ10には、入力センサデータ11とドメイン情報12とが含まれる。このうち、入力センサデータ11は、一般に多次元のベクトルであり、センサから出力される値そのものでも良いし、所定の前処理(特徴抽出)を施した後のデータでも良い。
(1-3-1) Identification Target Data As described above, the identification target data 10 includes the input sensor data 11 and the domain information 12. Of these, the input sensor data 11 is generally a multidimensional vector, and may be the value itself output from the sensor or may be the data after performing a predetermined preprocessing (feature extraction).

また、ドメイン情報12には、例えば、当該識別対象データ10が取得されたドメインの名前を用いることができる。具体的には、データの取得場所を示す「工場A」や「作業現場B」等がドメイン名の一例として挙げられる。ここで「ドメイン」とは、前述した通り、データの生成に関わる環境を意味するので、上記のようにデータが取得された場所だけでなく、例えば行動を行った「人」等も一つのドメインと考えることが出来る。同じ行動であっても、作業員が異なればその行動の仕方も異なることが有り得るためである。この場合、ドメイン情報12として例えば「作業員C」等が考えられる。またこの他にも、データの生成に一定の影響を与える要因であれば、一つのドメインと考えることができる。 Further, as the domain information 12, for example, the name of the domain from which the identification target data 10 is acquired can be used. Specifically, “factory A”, “work site B” and the like, which indicate the data acquisition location, are examples of domain names. As mentioned above, the term "domain" means the environment related to the generation of data, so not only the location where the data was acquired as described above, but also the "person" who performed the action is also one domain. Can be considered. This is because even if the same action is taken, different workers may have different ways of taking the action. In this case, for example, “worker C” or the like can be considered as the domain information 12. In addition to this, any factor that has a certain influence on the generation of data can be considered as one domain.

(1−3−2)ドメイン間関係性情報と類似度算出処理
図3は、ドメイン間関係性情報の一例を示す図である。図3に示したドメイン間関係性情報141は、図1に示したドメイン間関係性情報DB14に予め格納されるデータの一例であり、ドメイン同士の類似度をマトリックス形式で保持している。より具体的には、図3の場合、「工場A」、「工場B」、「ラインC」、「ラインD」、「作業員E」、及び「作業員F」の各ドメインについて、ドメイン間の類似度が「0」〜「1」の間の数値で示されている。なお、本例では、ドメイン間の関係性を示す指標の一例として「類似度」を用いて説明するが、本実施の形態はこれに限定されるものではなく、例えば乖離度等の他の指標を用いてもよい。
(1-3-2) Inter-domain Relationship Information and Similarity Calculation Processing FIG. 3 is a diagram showing an example of inter-domain relationship information. The inter-domain relationship information 141 shown in FIG. 3 is an example of data stored in advance in the inter-domain relationship information DB 14 shown in FIG. 1, and holds similarity between domains in a matrix format. More specifically, in the case of FIG. 3, between the domains of “Factory A”, “Factory B”, “Line C”, “Line D”, “Worker E”, and “Worker F”, Is indicated by a numerical value between "0" and "1". It should be noted that in the present example, the “similarity” is used as an example of the index indicating the relationship between domains, but the present embodiment is not limited to this, and other indices such as the degree of divergence, for example. May be used.

ここで、ドメイン間関係性情報141の登録方法について説明する。行動認識システム1では、例えば、所定のGUIに対するユーザ(管理者等を含む)による入力操作に基づいて、ドメイン間関係性情報141をドメイン間関係性情報DB14に登録することができる。 Here, a method of registering the inter-domain relationship information 141 will be described. In the action recognition system 1, for example, the inter-domain relationship information 141 can be registered in the inter-domain relationship information DB 14 based on an input operation by a user (including an administrator or the like) on a predetermined GUI.

図4は、ドメイン間関係性情報の入力に用いられるGUIの一例を示す図である。図4に示した新規ドメイン登録画面142は、ドメイン間関係性情報DB14にドメインを新規に登録するためのGUIである。具体的な登録方法は、まず、ユーザが、新規に登録しようとする新規ドメインの名前をテキストボックス1421に入力し、続いて、既に登録されているドメインに対する新規ドメインの類似度を入力欄1422に入力する。その後、登録ボタン1425をクリックすることにより、ドメイン間関係性情報141に新規ドメインに関する入力内容が追加されてドメイン間関係性情報DB14に登録される。なお、新規ドメイン登録画面142において新規ドメインの登録を中止したい場合は、戻るボタン1424をクリックすれば、遷移前のページに戻る。 FIG. 4 is a diagram showing an example of a GUI used for inputting inter-domain relationship information. The new domain registration screen 142 shown in FIG. 4 is a GUI for newly registering a domain in the inter-domain relationship information DB 14. The specific registration method is as follows. First, the user inputs the name of the new domain to be newly registered in the text box 1421, and then, in the input field 1422, the similarity of the new domain to the already registered domain. input. After that, by clicking the registration button 1425, the input content regarding the new domain is added to the inter-domain relationship information 141 and registered in the inter-domain relationship information DB 14. If the user wants to cancel the registration of the new domain on the new domain registration screen 142, clicking the return button 1424 returns to the page before the transition.

なお、新規ドメイン登録画面142において最初のドメインを登録する際には、登録済みのドメインが存在しないため、入力欄1422への入力は不要で、テキストボックス1421にドメイン名を入力して登録ボタン1425をクリックすればよい。また、新規ドメイン登録画面142においてマトリックス表示ボタン1423をクリックすると、これまでにドメイン間関係性情報DB14に登録されたドメイン間関係性情報141が、図3に示したようなマトリックス形式で所定画面に表示される。このようなマトリックス表示形式による閲覧を可能にしておくことで、ユーザの利便性を向上させることができる。 Note that when registering the first domain on the new domain registration screen 142, there is no registered domain, so there is no need to enter it in the input field 1422. Instead, enter the domain name in the text box 1421 and enter the register button 1425. Just click. Further, when the matrix display button 1423 is clicked on the new domain registration screen 142, the inter-domain relationship information 141 registered so far in the inter-domain relationship information DB 14 is displayed in a predetermined screen in a matrix format as shown in FIG. Is displayed. By allowing browsing in such a matrix display format, the convenience of the user can be improved.

以上のようにしてドメイン間の関係性を入力するためには、ユーザは個々のドメインの類似度を定義できるだけの知識を備えている必要がある。したがって、ドメイン間関係性情報DB14にデータ(ドメイン間関係性情報141)を入力する具体的なユーザとしては、例えば、会社の工場全体を管理する立場にある管理者等が適任である。このようなユーザによれば、具体的には例えば、「工場A」と「工場B」では同じ工具や部品を使って作業しているため、他の工場に比べて作業行動の類似度が高いといった判断や、同じ「工場A」のなかでも「ラインC」と「ラインD」では安全のための作業行動に関する規制として同じ規制を適用しているため、更に類似度が高いといった判断や、「作業員E」と「作業員F」は体格が似ているため類似度が高い等の判断を下すことができる。 In order to input the relationship between domains as described above, the user needs to have knowledge enough to define the similarity of each domain. Therefore, as a specific user who inputs data (inter-domain relationship information 141) to the inter-domain relationship information DB 14, for example, an administrator who is in a position of managing the entire factory of the company is suitable. According to such a user, specifically, for example, since “Factory A” and “Factory B” are working using the same tools and parts, the similarity of the work behavior is higher than that of other factory. Even if the same “Factory A”, “Line C” and “Line D” apply the same regulation as work behavior for safety, it is judged that the similarity is higher. Since the “workers E” and “workers F” have similar physiques, it is possible to determine that the degree of similarity is high.

次に、本実施の形態における類似度算出処理について説明する。前述したように、本実施の形態における類似度算出処理は、ドメイン間類似度算出部13が、識別対象データのドメイン(ターゲットドメイン)と他のドメインとの類似度を算出する処理である。 Next, the similarity calculation processing according to the present embodiment will be described. As described above, the similarity calculation process in the present embodiment is a process in which the inter-domain similarity calculation unit 13 calculates the similarity between the domain (target domain) of the identification target data and another domain.

本実施の形態では、例えば図3に例示したドメイン間関係性情報141のように、ドメイン間関係性情報DB14に各ドメインの類似度が直接格納されている場合が考えられ、このような場合、ドメイン間類似度算出部13は、類似度算出処理において特段の計算処理をすることなく、その類似度を読み取るだけで、識別対象データ10のドメインの他のドメインに対する類似度を取得することができる。但し、各ドメインの類似度が直接的に格納されているためには、図4を参照して説明したように、全てが手入力される必要がある。これに対し、各ドメイン間の間接的な関係性のみが格納されている場合における類似度の算出方法については、後述する第2及び第3の実施の形態で詳しく説明する。 In the present embodiment, it is conceivable that the similarity of each domain is directly stored in the inter-domain relationship information DB 14 like the inter-domain relationship information 141 illustrated in FIG. 3, and in such a case, The inter-domain similarity calculation unit 13 can acquire the similarity of the domain of the identification target data 10 to other domains only by reading the similarity without performing a special calculation process in the similarity calculation process. .. However, in order to directly store the similarity of each domain, all of them need to be manually input as described with reference to FIG. On the other hand, a method of calculating the similarity when only the indirect relationship between the domains is stored will be described in detail in the second and third embodiments described later.

(1−3−3)ドメイン別センサデータとデータ変換処理
図5は、ドメイン別センサデータの一例を示す図である。図5に示したドメイン別センサデータ161は、図1に示したドメイン別センサデータDB16に格納されているデータの一例であり、具体的には、過去に取得されたセンサデータ値(センサ値1613)の各々に対して、当該センサ値1613が取得されたドメイン名(ドメイン1611)と、該当する行動種別のラベル名(行動種別1612)とが対応付けて格納されている。ここで、センサ値1613「x」は、一般的には多次元のベクトルである。また、センサ値1613には、センサから直接取得される測定値をそのまま使用してもよいし、測定値に所定の前処理(例えば特徴抽出)を施した後の値を使用してもよい。
(1-3-3) Sensor Data by Domain and Data Conversion Process FIG. 5 is a diagram showing an example of sensor data by domain. The domain-specific sensor data 161 illustrated in FIG. 5 is an example of data stored in the domain-specific sensor data DB 16 illustrated in FIG. 1. Specifically, the sensor data value (sensor value 1613) acquired in the past is used. ), the domain name (domain 1611) from which the sensor value 1613 is acquired and the label name (action type 1612) of the corresponding action type are stored in association with each other. Here, the sensor value 1613 “x i ”is generally a multidimensional vector. Further, as the sensor value 1613, a measurement value directly obtained from the sensor may be used as it is, or a value after subjecting the measurement value to a predetermined preprocessing (for example, feature extraction) may be used.

次に、本実施の形態におけるデータ変換部15によるデータ変換処理について説明する。 Next, the data conversion processing by the data conversion unit 15 in the present embodiment will be described.

データ変換処理では、まず、データ変換部15が、ドメイン間類似度算出部13が算出した識別対象データ10のドメイン(ターゲットドメイン)と既存のドメイン(ソースドメイン)各々との類似度に基づいて、入力センサデータ11を変換する際に参照する既存のデータ(ソースドメインのデータ)を決定し、決定したドメイン別センサデータ161をドメイン別センサデータDB16から読み出す。上記のソースドメインのデータを決定し読み出す方法としては、具体的には例えば、類似度の最も高いソースドメインのデータだけを用いる方法、類似度が所定の閾値以上のソースドメインのデータだけを用いる方法、あるいは、類似度の高いソースドメインのデータから順に読出し、データ数が所定の閾値以上になった時点で読み出し処理を終了する方法等が考えられるが、必ずしもこれらの方法に限定する必要はない。 In the data conversion process, first, the data conversion unit 15 calculates, based on the similarity between the domain (target domain) of the identification target data 10 calculated by the inter-domain similarity calculation unit 13 and each existing domain (source domain), Existing data (source domain data) to be referenced when converting the input sensor data 11 is determined, and the determined domain-specific sensor data 161 is read from the domain-specific sensor data DB 16. As a method of determining and reading the data of the source domain, specifically, for example, a method of using only the data of the source domain having the highest degree of similarity, a method of using only the data of the source domain having the degree of similarity equal to or higher than a predetermined threshold value are used. Alternatively, a method may be considered in which the data of the source domain having a high degree of similarity is sequentially read, and the reading process is terminated when the number of data becomes equal to or more than a predetermined threshold value, but the method is not necessarily limited to these methods.

次に、データ変換部15は、上記の読み取ったソースドメインのデータを用いて、入力センサデータ11を変換する。入力センサデータ11の変換において、類似度の最も高いソースドメインのデータだけを用いる場合は、ソースドメインが1種類である場合と同様の状況となるので、例えば前述した非特許文献1や非特許文献2等に記載された任意の既存のドメイン適合の手法を適用して、入力センサデータ11を変換することができる。 Next, the data conversion unit 15 converts the input sensor data 11 using the read source domain data. When only the data of the source domain having the highest degree of similarity is used in the conversion of the input sensor data 11, the situation is similar to the case where there is only one type of source domain, and thus, for example, Non-Patent Document 1 and Non-Patent Document described above. The input sensor data 11 can be converted by applying any existing domain matching method described in 2 etc.

一方、入力センサデータ11の変換においてソースドメインのデータを複数種類用いる場合は、例えば以下のような処理を行うことで、データ変換に利用するデータを決定することができる。すなわち、利用するソースドメインを「s={s1,s2,・・・,sN}」とし、ターゲットドメイン(識別対象データ10のドメイン)とソースドメインsiとの類似度を「simi」とすると、利用するソースドメインの各々から、「si*simi」個のデータをランダムサンプリングして用いる。この結果、ソースドメイン全体として、合計で「Σi=1N{si*simi}」個のデータを用いることになる。このようにして変換時に参照するデータが決定すると、後はこれらのデータを用いて、前述した非特許文献1や非特許文献2等に記載された任意の既存のドメイン適合の手法を適用して、入力センサデータ11を変換することができる。 On the other hand, when a plurality of types of source domain data are used in the conversion of the input sensor data 11, the data used for the data conversion can be determined by performing the following processing, for example. That is, if the source domain to be used is “s={s1, s2,..., sN}” and the similarity between the target domain (domain of the identification target data 10) and the source domain si is “simi”, then use "Si*simi" pieces of data are randomly sampled from each of the source domains to be used. As a result, a total of “Σi=1N{si*simi}” data is used for the entire source domain. When the data to be referred to at the time of conversion is determined in this way, thereafter, by using these data, any existing domain matching method described in Non-Patent Document 1 or Non-Patent Document 2 described above is applied. , The input sensor data 11 can be converted.

また、データ変換処理の特殊な例として、恒等変換、すなわち、実際にはデータ変換を行わずに入力センサデータ11をそのまま用いることもできる。一般には、異なるドメインで収集されたデータは、統計学的な性質が異なるため、データ変換を行わずに他のドメインのデータで学習された識別器を用いることは好ましくないが、手法の簡便性及び解釈のし易さの観点から、便宜的に恒等写像(恒等変換)を行うことで、実質的にソースドメインのデータで学習された識別モデルのなかから、入力センサデータ11の識別に用いるモデルを選ぶ「モデル選択」のような機能を実現することもできる。 Further, as a special example of the data conversion processing, it is possible to use the input sensor data 11 as it is, without performing identity conversion, that is, actually performing data conversion. In general, data collected in different domains have different statistical properties, so it is not preferable to use a discriminator trained with data in other domains without data conversion, but the method is simple. From the viewpoint of ease of interpretation, by performing the identity mapping (identity transformation) for the sake of convenience, the input sensor data 11 can be identified from the identification model substantially learned with the data of the source domain. It is also possible to realize a function such as "model selection" for selecting a model to be used.

(1−3−4)識別器パラメータ情報と行動識別処理
本実施の形態における行動識別処理、及び行動識別処理で用いられる識別器パラメータに関する情報(識別器パラメータ情報)について説明する。
(1-3-4) Discriminator Parameter Information and Behavior Discrimination Processing The behavior discrimination processing according to the present embodiment and information regarding the discriminator parameters used in the behavior discrimination processing (discriminator parameter information) will be described.

前述したように、本実施の形態における行動識別処理は識別部17によって実行される。詳しくは、識別部17は、データ変換部15によるデータ変換処理で利用されたソースドメインのデータを用いて構築された識別器のパラメータを、ドメイン別識別器DB18から読み出し、そして、読み出したパラメータを用いて、データ変換処理が行われた後の入力センサデータ11に対して行動種別を識別する処理を実行し、その処理結果を識別結果19として出力する。 As described above, the action identifying process according to the present embodiment is executed by the identifying unit 17. More specifically, the identification unit 17 reads out the parameters of the discriminator constructed using the data of the source domain used in the data conversion processing by the data conversion unit 15 from the domain-specific discriminator DB 18, and reads the read parameters. By using the input sensor data 11 after the data conversion processing, the processing for identifying the action type is executed, and the processing result is output as the identification result 19.

このような本実施の形態の行動識別処理において、識別部17が入力センサデータ11に対して行動種別を識別する際は、ニューラルネットワーク(NN:Neural Network)、サポートベクターマシン(SVM:Support Vector Machine)、またはランダムフォレスト(random forest)法等、任意の既存の識別手法を用いることができる。例えば、前述したデータ変換処理においてデータ変換部15が入力センサデータ11を変換する際の参照データとして1種類のソースドメインのデータのみを用いた場合は、当該ソースドメインのデータで予め任意の識別器を学習しておくことで、識別処理において識別部17が、学習したパラメータ(識別器パラメータ)を読み出して、入力センサデータ11の識別にも用いることができる。 In the action identifying process of the present embodiment, when the identifying unit 17 identifies the action type with respect to the input sensor data 11, a neural network (NN) or a support vector machine (SVM: Support Vector Machine) is used. ) Or any random identification method, such as a random forest method. For example, when only one type of source domain data is used as reference data when the data conversion unit 15 converts the input sensor data 11 in the above-described data conversion process, the discriminator of the source domain data may be used in advance. By learning the above, the identification unit 17 can read the learned parameter (identifier parameter) in the identification processing and use it for the identification of the input sensor data 11.

図6は、識別器パラメータ情報の一例を示す図である。図6に示した識別器パラメータ情報181は、図1に示したドメイン別識別器DB18に格納されるデータの一例であり、前段落で述べたように、ソースドメインのデータで任意の識別器を学習しておくことによって予め得ることができる。図6の場合、識別器パラメータ情報181には、ドメイン1811と行動種別1812の組み合わせごとに、識別処理で用いられる識別器パラメータ1813が定められている。ここで、識別器パラメータ1813「θ」は、一般的にはベクトル値になる。 FIG. 6 is a diagram showing an example of the discriminator parameter information. The discriminator parameter information 181 illustrated in FIG. 6 is an example of the data stored in the domain-based discriminator DB 18 illustrated in FIG. 1. As described in the preceding paragraph, the discriminator parameter information 181 indicates the discriminator of the source domain. It can be obtained in advance by learning. In the case of FIG. 6, in the discriminator parameter information 181, discriminator parameters 1813 used in the discrimination processing are defined for each combination of the domain 1811 and the action type 1812. Here, the discriminator parameter 1813 “θ i ”is generally a vector value.

なお、本実施の形態においては、上述したようにソースドメインごとの識別器のパラメータを予め学習しておき、ドメイン別識別器DB18に格納しておくようにしてもよいが、別の方法として、データ変換部15が入力センサデータ11をデータ変換する際の参照データを決定した後に、決定された参照データを用いて改めて識別器を学習し、学習された識別器を行動識別処理にも用いるようにしてもよい。上記の別の方法は、言い換えると、データ変換部15が行動識別処理を行う際に、ドメイン間の類似度に基づいて識別器の学習に用いるデータを選択し、当該学習用のデータをドメイン別センサデータDB16から読み出して、読み出した学習用のデータに基づいて識別器を学習するものであり、データ変換部15が、この学習後の識別器におけるパラメータを用いて、入力センサデータ11に対する行動識別処理を行う。上述した識別器の学習の実行主体は特に限定されず、行動認識システム1が備える所定の処理部(例えばデータ変換部15)によって実行されればよい。このような方法によれば、類似度算出処理及びデータ変換処理の処理結果を用いて識別器を随時学習し、学習後の識別器のパラメータ情報を得ることができるため、予めソースドメインごとの識別器のパラメータを学習して識別器パラメータ情報181をドメイン別識別器DB18に用意しなくてもよくなる。 In the present embodiment, as described above, the parameters of the discriminator for each source domain may be learned in advance and stored in the domain discriminator DB 18, but as another method, After the data conversion unit 15 determines the reference data when converting the input sensor data 11, the discriminator is learned again using the determined reference data, and the learned discriminator is also used for the action discrimination processing. You may In other words, when the data conversion unit 15 performs the action identification process, the above-mentioned another method selects data to be used for learning of the discriminator based on the similarity between the domains, and the learning data is classified by the domain. The discriminator is read from the sensor data DB 16 and the discriminator is learned based on the read learning data. The data conversion unit 15 uses the parameters of the discriminator after learning to discriminate the behavior of the input sensor data 11. Perform processing. The subject of learning of the above-described classifier is not particularly limited, and may be executed by a predetermined processing unit (for example, the data conversion unit 15) included in the action recognition system 1. According to such a method, the discriminator can be learned at any time by using the processing results of the similarity calculation process and the data conversion process, and the parameter information of the discriminator after learning can be obtained. It becomes unnecessary to prepare the discriminator parameter information 181 in the domain-based discriminator DB 18 by learning the parameters of the discriminator.

また、識別部17は、行動種別処理の処理結果である識別結果19を出力する際に、識別した行動種別を出力するが、このとき、当該識別結果に対する信頼度を付与して出力するようにしてもよい。信頼度を付与して出力することにより、信頼度の低い識別結果に対して、ユーザが入力センサデータ11を参照しながら必要に応じて識別結果を修正したり、当該識別結果を破棄したりする等の対応が可能となる。なお、識別結果に対する信頼度については、多くの識別モデルで標準的に出力可能な値を用いることが好ましい。具体的には例えば、識別モデルとしてニューラルネットワークを用いる場合には、標準的にはネットワークの最終層でsoftmax関数を適用し、各行動クラス「c」に対して「0≦p≦1かつΣ=1」となるような値pを計算することができ、このようにして計算された値pを、識別結果の信頼度を表す値として用いることができる。 Further, when outputting the identification result 19 which is the processing result of the action type processing, the identification unit 17 outputs the identified action type, but at this time, the reliability of the identification result is given and output. May be. By adding and outputting the reliability, the user corrects the identification result with low reliability while referring to the input sensor data 11, or discards the identification result as necessary. It becomes possible to deal with the above. Regarding the reliability of the identification result, it is preferable to use a value that can be standardly output by many identification models. Specifically, for example, when a neural network is used as the discriminant model, the softmax function is normally applied in the final layer of the network, and “0≦p c ≦1 and Σ” for each action class “c”. c p c = 1 "and becomes such a value p c can be calculated, the thus calculated value p c, can be used as a value representing the reliability of the identification results.

またさらに、本実施の形態における行動認識システム1では、以上のような一連の処理(具体的には、ドメイン間類似度算出部13による類似度算出処理、データ変換部15によるデータ変換処理、及び識別部17による行動識別処理)を行った後に、識別対象データ10のドメイン情報12をドメイン間関係性情報DB14に保存するとともに、入力センサデータ11に対する識別結果19のうちの信頼度が高いものだけを自動でドメイン別センサデータDB16に格納するようにしてもよい。このようにすることで、入力センサデータ11が新規に取得されるたびに、ソースドメインのデータを拡充することができるため、その後に新規にターゲットドメインのデータ(識別対象データ10)が収集された際には、行動識別の精度をさらに高めることに期待できる。 Furthermore, in the action recognition system 1 according to the present embodiment, the series of processes as described above (specifically, the similarity calculation process by the inter-domain similarity calculation unit 13, the data conversion process by the data conversion unit 15, and After performing the action identification process (by the identification unit 17), the domain information 12 of the identification target data 10 is stored in the inter-domain relationship information DB 14, and only the identification result 19 with high reliability of the input sensor data 11 is stored. May be automatically stored in the sensor data DB 16 for each domain. By doing so, the data of the source domain can be expanded every time the input sensor data 11 is newly acquired, and therefore, the data of the target domain (identification target data 10) is newly collected after that. In that case, it can be expected to further improve the accuracy of action identification.

以上に説明したように、本実施の形態における行動認識システム1によれば、ターゲットドメインのラベル付きデータ(識別対象データ10)が少量しかなく、かつ、様々なソースドメインのデータ(例えば、図5に示したドメイン別センサデータ161等)が存在する状況であっても、データ変換処理に利用するソースドメインをドメイン間の関連性に基づいて判断することにより、精度の高い行動認識を実現することができる。 As described above, according to the behavior recognition system 1 in the present embodiment, the labeled data (identification target data 10) of the target domain is small, and the data of various source domains (for example, FIG. 5). Even in the situation where the sensor data 161 for each domain shown in 1) exists, it is possible to realize highly accurate action recognition by determining the source domain used for the data conversion process based on the relationship between the domains. You can

(2)第2の実施の形態
上述した第1の実施の形態に係る行動認識システム1は、ユーザがドメイン間関係性情報DB14に新規ドメインに関する情報を追加登録しようとするたびに、格納済みの既存の全てのドメインとの類似度を手入力する必要がある点で、若干の不便さが残るものであった。
(2) Second Embodiment In the behavior recognition system 1 according to the first embodiment described above, the behavior recognition system 1 is stored every time the user tries to additionally register information on a new domain in the inter-domain relationship information DB 14. There was some inconvenience in that it was necessary to manually input the similarity with all existing domains.

ここで、行動に関するデータを生成するドメインの間には、何らかの「構造的な関係性」を仮定することが可能であることが知られている。「構造的な関係性」の一例として、階層構造が挙げられる。具体的には例えば、生産ラインごとに共通の部品や工具を使用している等の事情があれば、ある企業の工場において、同じの「生産ラインA」で働いている作業員同士の作業行動は、同工場内の別の「生産ラインB」で働いている作業員の作業行動よりも、関係性が強い(類似性が高い)ことが有り得る。またさらに、同じ工場内で作業に対して同一の規則を設けている等の理由により、働いている生産ラインは異なっていても、同じ工場内の生産ラインで働いている作業員同士の作業行動は、別の工場の生産ラインで働いている作業員の作業行動よりも、関係性が強い(類似性が高い)ことがあり得る。 Here, it is known that it is possible to assume some "structural relationship" between domains that generate behavior data. A hierarchical structure is an example of the “structural relationship”. Specifically, for example, if there are circumstances such as using common parts and tools for each production line, the work behavior between workers who are working on the same “production line A” in a factory of a certain company. May have a stronger relationship (higher similarity) than the work behavior of a worker working on another “production line B” in the same factory. Furthermore, due to reasons such as having the same rules for work in the same factory, even if the production lines that are working are different, the work behavior between workers who are working on the production line in the same factory. May be more relevant (more similar) than the work behavior of a worker working on the production line of another factory.

そこで、第2の実施の形態では、上記のようなドメイン間の構造的な関係性を利用して、ドメイン間の関係性を簡易に記述できるようにし、かつ、任意のドメイン間の類似度を容易に計算できるようにすることで、第1の実施の形態における上述した不便さの軽減を図る。以下に、第2の実施の形態に係る行動認識システム2について詳しく説明する。 Therefore, in the second embodiment, it is possible to easily describe the relationship between the domains by using the structural relationship between the domains as described above, and to calculate the similarity between arbitrary domains. By making the calculation easy, the inconvenience described above in the first embodiment is reduced. The action recognition system 2 according to the second embodiment will be described below in detail.

図7は、本発明の第2の実施の形態に係る行動認識システムの構成例を示すブロック図である。図7に示した行動認識システム2は、図1に示した行動認識システム1との機能構成上の相違点として、ドメイン間関係性情報DB14の代わりにドメイン間構造関係情報DB21を備え、ドメイン間類似度算出部13の代わりにドメイン間類似度算出部23を備えている。詳細は後述するが、ドメイン間類似度算出部33は、ドメイン間構造関係情報DB21に格納されたドメイン間の構造的な関係性を示す情報に基づいて、第1の実施の形態とは異なる処理内容で類似度算出処理を実行し、識別対象データ10のドメイン(ターゲットドメイン)とドメイン間構造関係情報DB21に情報が格納されている各ドメイン(ソースドメイン)との類似度を算出する。 FIG. 7: is a block diagram which shows the structural example of the action recognition system which concerns on the 2nd Embodiment of this invention. The behavior recognition system 2 shown in FIG. 7 is different from the behavior recognition system 1 shown in FIG. 1 in terms of the functional configuration. The behavior recognition system 2 includes an inter-domain structural relationship information DB 21 instead of the inter-domain relationship information DB 14. An inter-domain similarity calculation unit 23 is provided instead of the similarity calculation unit 13. Although details will be described later, the inter-domain similarity calculation unit 33 performs processing different from that of the first embodiment based on the information indicating the structural relationship between domains stored in the inter-domain structural relationship information DB 21. The similarity calculation processing is executed based on the contents, and the similarity between the domain of the identification target data 10 (target domain) and each domain (source domain) in which information is stored in the inter-domain structural relationship information DB 21 is calculated.

ドメイン間構造関係情報DB21には、ソースドメインの各々のドメイン間の構造的な関係性を示す情報(ドメイン間構造関係情報)が格納されている。なお、以下では、ドメイン間の構造的関係性の具体例として「階層構造」と「ネットワーク構造」を挙げて説明する。 The inter-domain structural relationship information DB 21 stores information (inter-domain structural relationship information) indicating a structural relationship between the source domains. In the following description, “hierarchical structure” and “network structure” will be described as specific examples of structural relationships between domains.

まず、第2の実施の形態において「階層構造」によるドメイン間の構造的な関係性を利用する場合について説明する。 First, a case will be described where the structural relationship between domains according to the “hierarchical structure” is used in the second embodiment.

図8は、ドメイン間の構造的関係性に階層構造を用いる際の、ドメイン間構造関係情報を説明するための図である。図8(A)には、一例としてドメイン間構造関係情報211が示されており、図8(B)には、図8(A)のドメイン間構造関係情報211が保持するドメイン間の構造的関係性が、階層構造212に示されている。 FIG. 8 is a diagram for explaining inter-domain structural relationship information when a hierarchical structure is used for the structural relationship between domains. 8A shows the inter-domain structural relationship information 211 as an example, and FIG. 8B shows the inter-domain structural relationship information held by the inter-domain structural relationship information 211 of FIG. 8A. The relationships are shown in hierarchical structure 212.

図8(A)のドメイン間構造関係情報211は、ドメイン間構造関係情報DB21に格納されるデータの一例であり、具体的には、ソースドメインの各ドメイン(ドメイン名2111)について、その親となるドメイン(親ドメイン2112)との組み合わせが保持されている。例えば図8(A)の場合、ドメイン「作業員A」及び「作業員B」の親ドメインは何れも「ラインC」であり、ドメイン「ラインC」の親ドメインは「工場D」であることが分かる。また、階層構造の最上位に位置するドメイン「工場D」については、便宜上「root」という親ドメインを設定している。 The inter-domain structural relationship information 211 of FIG. 8A is an example of data stored in the inter-domain structural relationship information DB 21, and specifically, for each domain of the source domain (domain name 2111), The combination with the domain (parent domain 2112) is stored. For example, in the case of FIG. 8A, the parent domains of the domains “worker A” and “worker B” are both “line C”, and the parent domain of the domain “line C” is “factory D”. I understand. For the domain “Factory D” located at the top of the hierarchical structure, a parent domain “root” is set for convenience.

そして、図8(A)のように各ドメインについて親ドメインとの組み合わせが設定された結果、ドメイン間構造関係情報211は、図8(B)の階層構造212のようにドメイン間の構造的関係性を保持できていることとなる。なお、識別対象データ10のドメイン情報12も、ドメイン間構造関係情報211と同様に、当該ドメインと親ドメインとを入力するようにする。 Then, as a result of the combination with the parent domain being set for each domain as shown in FIG. 8(A), the inter-domain structural relationship information 211 shows that the inter-domain structural relationship as in the hierarchical structure 212 of FIG. 8(B). It means that the sexuality can be retained. As with the inter-domain structural relationship information 211, the domain information 12 of the identification target data 10 also inputs the domain and the parent domain.

図9は、階層構造によるドメイン間構造関係情報の入力に用いられるGUIの一例を示す図である。図9に示した新規ドメイン登録画面213は、ドメイン間構造関係情報DB21にドメインを新規に登録するためのGUIである。具体的な登録方法は、まず、ユーザが、新規に登録しようとする新規ドメインの名前をテキストボックス2131に入力し、続いて、新規ドメインの親ドメインをコンボボックス2132から選択する。その後、登録ボタン2135をクリックすることにより、ドメイン間構造関係情報211に新規ドメインに関する入力内容が追加されてドメイン間構造関係情報DB21に登録される。なお、新規ドメイン登録画面213において新規ドメインの登録を中止したい場合は、戻るボタン2134をクリックすれば、遷移前のページに戻る。 FIG. 9 is a diagram showing an example of a GUI used for inputting inter-domain structural relationship information in a hierarchical structure. The new domain registration screen 213 shown in FIG. 9 is a GUI for newly registering a domain in the inter-domain structural relationship information DB 21. As a specific registration method, first, the user inputs the name of the new domain to be newly registered in the text box 2131, and then selects the parent domain of the new domain from the combo box 2132. After that, by clicking the registration button 2135, the input content regarding the new domain is added to the inter-domain structural relationship information 211 and registered in the inter-domain structural relationship information DB 21. If the user wants to cancel the registration of the new domain on the new domain registration screen 213, clicking the return button 2134 returns to the page before the transition.

また、階層構造表示ボタン2133は、これまでにドメイン間構造関係情報DB21に登録されたドメイン間構造関係情報211が保持する構造的関係性を階層構造の形式で表示するためのボタンであり、階層構造表示ボタン2133をクリックすると、図8(B)の階層構造212のように、現在のドメイン間の階層構造が所定画面に表示される。新規ドメイン登録画面213においてこのような表示形式による閲覧を可能にしておくことで、図4で説明した新規ドメイン登録画面142と同様に、ユーザの利便性を向上させることができる。 The hierarchical structure display button 2133 is a button for displaying the structural relationship held by the inter-domain structural relationship information 211 registered in the inter-domain structural relationship information DB 21 up to now in the hierarchical structure format. When the structure display button 2133 is clicked, the current hierarchical structure between domains is displayed on a predetermined screen, as in the hierarchical structure 212 of FIG. 8B. By enabling browsing in such a display format on the new domain registration screen 213, it is possible to improve the convenience for the user, as in the case of the new domain registration screen 142 described in FIG.

図10は、第2の実施の形態においてドメイン間の構造的関係性に階層構造を用いる際の、類似度算出処理の処理手順例を示すフローチャートである。第2の実施の形態における類似度算出処理では、ドメイン間類似度算出部23が、識別対象データ10及びドメイン間構造関係情報DB21に格納されたドメイン間構造関係情報211に基づいて、識別対象データ10のドメイン(ターゲットドメイン)と他の各ドメイン(ソースドメイン)との類似度を算出する。 FIG. 10 is a flowchart showing a processing procedure example of the similarity calculation processing when a hierarchical structure is used for the structural relationship between domains in the second embodiment. In the similarity calculation process according to the second embodiment, the inter-domain similarity calculation unit 23 uses the identification target data 10 and the inter-domain structural relation information 211 stored in the inter-domain structural relation information DB 21 to identify the identification target data. The similarity between the 10 domains (target domain) and each of the other domains (source domain) is calculated.

図10によれば、まずステップS101において、ドメイン間類似度算出部23は、以下の処理を行う。具体的には、識別対象データ10のドメイン情報12から、当該ドメイン(ターゲットドメイン)のドメイン情報を読み取り、「t」とする。さらに、このターゲットドメインとの距離を表す値「t.d」に「1」をセットする。そして、このターゲットドメインとの類似度を表す値「t.sim」には「1/t.d」、すなわち「1」をセットする。また、当該ターゲットドメインとの類似度の計算を行っていないドメインの集合「NA」に、全ての既存のソースドメインをセットする。ここでいう既存のソースドメインとは、ドメイン間構造関係情報DB21に登録されているドメインを意味する。また、類似度を計算中のドメインの集合「W」には「t」をセットする。 According to FIG. 10, first, in step S101, the inter-domain similarity calculation unit 23 performs the following processing. Specifically, the domain information of the domain (target domain) is read from the domain information 12 of the identification target data 10 and set as “t”. Further, "1" is set to the value "t.d" representing the distance from this target domain. Then, "1/t.d", that is, "1" is set to the value "t.sim" indicating the degree of similarity with the target domain. In addition, all existing source domains are set in the set “NA” of domains for which the degree of similarity with the target domain has not been calculated. The existing source domain here means a domain registered in the inter-domain structural relationship information DB 21. Also, "t" is set to the set "W" of domains for which the degree of similarity is being calculated.

次のステップS102では、ドメイン間類似度算出部23は、類似度を計算中のドメインの集合「W」が空集合(φ)であるか否かを判断する。ステップS102において集合「W」が空集合であれば(ステップS102のYES)、類似度を計算すべきソースドメインが残っていないことを意味するので、ドメイン間類似度算出部23は類似度算出処理を終了する。一方、ステップS102において集合「W」が空集合でなければ(ステップS102のNO)、ステップS103に進む。 In the next step S102, the inter-domain similarity calculation unit 23 determines whether or not the set “W” of domains for which the similarity is being calculated is an empty set (φ). If the set “W” is an empty set in step S102 (YES in step S102), it means that there is no source domain for which the similarity is to be calculated, and therefore the inter-domain similarity calculation unit 23 uses the similarity calculation process. To finish. On the other hand, if the set "W" is not an empty set in step S102 (NO in step S102), the process proceeds to step S103.

ステップS103では、ドメイン間類似度算出部23は、集合「W」のなかから1つの要素(ドメイン)を取り出し「x」とする。このとき、集合「W」から「x」が取り除かれる。 In step S103, the inter-domain similarity calculation unit 23 extracts one element (domain) from the set “W” and sets it as “x”. At this time, “x” is removed from the set “W”.

次いでステップS104において、ドメイン間類似度算出部23は、識別対象データ10のドメイン情報12、あるいはドメイン間構造関係情報DB21に格納されたドメイン間構造関係情報211から、ステップS103で取り出したドメイン「x」について、親ドメインの集合「P(x)」及び子ドメインの集合「C(x)」を読み取る。そして、読み取った集合「P(x)」のなかで未だターゲットドメインとの類似度が計算されていない集合「P(x) ∩ NA」を「P」にセットする。また同様に、読み取った集合「C(x)」のなかで未だターゲットドメインとの類似度が計算されていない集合「C(x) ∩ NA」を「C」にセットする。 Next, in step S104, the inter-domain similarity calculation unit 23 extracts the domain “x” extracted in step S103 from the domain information 12 of the identification target data 10 or the inter-domain structural relationship information 211 stored in the inter-domain structural relationship information DB 21. , A set of parent domains “P(x)” and a set of child domains “C(x)” are read. Then, the set “P(x) ∩ NA” of which the similarity with the target domain has not been calculated in the read set “P(x)” is set to “P”. Similarly, the set “C(x) ∩ NA” of which the similarity with the target domain has not been calculated in the read set “C(x)” is set to “C”.

次のステップS105では、ドメイン間類似度算出部23は、ステップS104でセットした「P」に含まれる全ての要素について、「p.d」の値を「x.d+1」にセットし、「p.sim」の値を「p.d」にセットする。また、ドメイン間類似度算出部23は、ステップS104でセットした「C」に含まれる全ての要素についても同様に、「c.d」の値を「x.d+1」にセットし、「c.sim」の値を「c.d」にセットする。 In the next step S105, the inter-domain similarity calculation unit 23 sets the value of "p.d" to "x.d+1" for all the elements included in "P" set in step S104, and sets "p.d". Set the value of ".sim" to "pd". Further, the inter-domain similarity calculation unit 23 also sets the value of “cd” to “x.d+1” and “c.d+1” for all the elements included in “C” set in step S104. Set the value of "sim" to "cd".

次に、ステップS106において、ドメイン間類似度算出部23は、集合「NA」から「P」及び「C」に属する要素を取り除くとともに、集合「W」に「P」及び「C」の要素を追加し、その後、ステップS102に戻る。前述したように、ステップS102では、類似度を計算中のドメインの集合「W」が空集合(φ)であるか否かが判断され、集合「W」が空集合であると判断されるまではステップS103〜S106の処理が繰り返され、集合「W」が空集合となった場合に類似度算出処理が終了する。 Next, in step S106, the inter-domain similarity calculation unit 23 removes the elements belonging to “P” and “C” from the set “NA” and adds the elements of “P” and “C” to the set “W”. After the addition, the process returns to step S102. As described above, in step S102, it is determined whether or not the set “W” of the domains whose similarity is being calculated is an empty set (φ), and it is determined that the set “W” is an empty set. Repeats the processing of steps S103 to S106, and when the set "W" becomes an empty set, the similarity calculation processing ends.

以上のように類似度算出処理を実行することにより、ドメイン間類似度算出部23は、定性的には、図8(B)に示したような階層構造上でターゲットドメインに辿り着くために辿るリンクの数に応じて、すなわち、階層上の距離に基づいて、ターゲットドメインと各ソースドメインとの類似度を決定することができる。 By performing the similarity calculation processing as described above, the inter-domain similarity calculation unit 23 qualitatively follows in order to reach the target domain in the hierarchical structure as shown in FIG. 8B. The similarity between the target domain and each source domain can be determined according to the number of links, that is, based on the hierarchical distance.

次に、第2の実施の形態において「ネットワーク構造」によるドメイン間の構造的な関係性を利用する場合について説明する。 Next, a case where the structural relationship between domains according to the “network structure” is used in the second embodiment will be described.

図11は、ドメイン間の構造的関係性にネットワーク構造を用いる際の、ドメイン間構造関係情報を説明するための図である。図11(A)には、一例としてドメイン間構造関係情報214が示されており、図11(B)には、図11(A)のドメイン間構造関係情報214が保持するドメイン間の構造的関係性が、ネットワーク構造215に示されている。 FIG. 11 is a diagram for explaining inter-domain structural relationship information when a network structure is used for the structural relationship between domains. 11A shows the inter-domain structural relationship information 214 as an example, and FIG. 11B shows the inter-domain structural relationship information held by the inter-domain structural relationship information 214 of FIG. 11A. The relationships are shown in network structure 215.

図11(A)のドメイン間構造関係情報214は、ドメイン間構造関係情報DB21に格納されるデータの一例であり、具体的には、ソースドメインの各ドメイン(ドメイン名2141)について、当該ドメインが近接するドメイン(近接ドメイン2142)との組み合わせが保持されている。ここで、近接ドメインには任意の数のドメインを設定可能であり、1つも近接ドメインがなくてもよい。例えば図11(A)の場合、ドメイン「工場D」の近接ドメインは「工場F」の1つであるが、ドメイン「ラインC」の近接ドメインには「作業員A,作業員B,工場D,ラインE」の4つのドメインが設定されている。 The inter-domain structural relationship information 214 of FIG. 11A is an example of data stored in the inter-domain structural relationship information DB 21, and specifically, for each domain (domain name 2141) of the source domain, The combination with the adjacent domain (neighboring domain 2142) is retained. Here, an arbitrary number of domains can be set in the proximity domain, and there may be no proximity domain. For example, in the case of FIG. 11A, the proximity domain of the domain “Factory D” is one of “Factory F”, but the proximity domain of the domain “Line C” is “Worker A, Worker B, Factory D”. , Line E” are set.

そして、図11(A)のように各ドメインについて近接ドメイン2142との組み合わせが設定された結果、ドメイン間構造関係情報214は、図11(B)のネットワーク構造215のようにドメイン間の構造的関係性を保持できていることとなる。なお、識別対象データ10のドメイン情報12も、ドメイン間構造関係情報214と同様に、当該ドメインと近接ドメインとを入力するようにする。 Then, as a result of setting the combination with the adjacent domain 2142 for each domain as shown in FIG. 11A, the inter-domain structural relationship information 214 shows the inter-domain structural relationship as in the network structure 215 of FIG. 11B. It means that the relationship can be maintained. Note that the domain information 12 of the identification target data 10 is also input with the domain and the adjacent domain, as in the inter-domain structural relationship information 214.

図12は、ネットワーク構造によるドメイン間構造関係情報の入力に用いられるGUIの一例を示す図である。図12に示した新規ドメイン登録画面216は、ドメイン間構造関係情報DB21にドメインを新規に登録するためのGUIである。具体的な登録方法は、まず、ユーザが、新規に登録しようとする新規ドメインの名前をテキストボックス2161に入力し、続いて、新規ドメインの近接ドメインをコンボボックス2162から選択し、追加ボタン2163をクリックする。近接ドメインを誤って入力し、当該入力をクリアしたい場合には、クリアボタン2164をクリックする。そして、新規ドメインに対する全ての近接ドメインを追加し終えたら、登録ボタン2167をクリックすることにより、ドメイン間構造関係情報214に新規ドメインに関する入力内容が追加されてドメイン間構造関係情報DB21に登録される。なお、新規ドメイン登録画面216において新規ドメインの登録を中止したい場合は、戻るボタン2166をクリックすれば、遷移前のページに戻る。 FIG. 12 is a diagram illustrating an example of a GUI used for inputting inter-domain structural relationship information according to a network structure. The new domain registration screen 216 shown in FIG. 12 is a GUI for newly registering a domain in the inter-domain structural relationship information DB 21. The specific registration method is as follows. First, the user inputs the name of the new domain to be newly registered in the text box 2161, then selects the adjacent domain of the new domain from the combo box 2162, and clicks the add button 2163. click. If the user inputs the proximity domain by mistake and wants to clear the input, the clear button 2164 is clicked. Then, after adding all the adjacent domains to the new domain, by clicking the register button 2167, the input content regarding the new domain is added to the inter-domain structural relationship information 214 and registered in the inter-domain structural relationship information DB 21. .. If the user wants to cancel the registration of the new domain on the new domain registration screen 216, clicking the return button 2166 returns to the page before the transition.

また、ネットワーク構造表示ボタン2165は、これまでにドメイン間構造関係情報DB21に登録されたドメイン間構造関係情報214が保持する構造的関係性をネットワーク構造の形式で表示するためのボタンであり、ネットワーク構造表示ボタン2165をクリックすると、図11(B)のネットワーク構造215のように、現在のドメイン間のネットワーク構造が所定画面に表示される。新規ドメイン登録画面216においてこのような表示形式による閲覧を可能にしておくことで、図4で説明した新規ドメイン登録画面142や図9で説明した新規ドメイン登録画面213と同様に、ユーザの利便性を向上させることができる。 The network structure display button 2165 is a button for displaying the structural relationship held by the inter-domain structural relationship information 214 registered in the inter-domain structural relationship information DB 21 so far in the network structure format. When the structure display button 2165 is clicked, the current network structure between domains is displayed on a predetermined screen, as in the network structure 215 of FIG. 11(B). By enabling browsing in such a display format on the new domain registration screen 216, the convenience of the user is improved in the same manner as the new domain registration screen 142 described in FIG. 4 and the new domain registration screen 213 described in FIG. 9. Can be improved.

そして、ドメイン間の構造的関係性にネットワーク構造を用いる際の類似度算出処理の処理手順は、前述した図10の処理フローとほぼ同様となる。補足すると、図10に示した処理フローにおいて、「親ドメイン」及び「子ドメイン」の代わりに「近接ドメイン」を用いればよい。このような類似度算出処理を行うことにより、ドメイン間類似度算出部23は、定性的には、図11(B)に示したようなネットワーク構造上でターゲットドメインに辿り着くために辿るリンクの数に応じて、すなわち、ネットワーク上の距離に基づいて、ターゲットドメインと各ソースドメインとの類似度を算出することができる。 Then, the processing procedure of the similarity calculation processing when the network structure is used for the structural relationship between the domains is almost the same as the processing flow of FIG. 10 described above. Supplementally, in the processing flow shown in FIG. 10, the “proximity domain” may be used instead of the “parent domain” and the “child domain”. By performing such a similarity calculation process, the inter-domain similarity calculation unit 23 qualitatively determines the number of links to reach the target domain on the network structure as shown in FIG. 11B. The similarity between the target domain and each source domain can be calculated according to the number, that is, based on the distance on the network.

以上に説明したように、第2の実施の形態に係る行動認識システム2では、ドメイン間の構造的な関係性を利用して(反映させて)、ドメイン間構造関係情報211,214にドメイン間の関係性を簡易に記述することができ、かつ、ドメイン間類似度算出部23が、類似度算出処理によって任意のドメイン間の類似度を容易に計算することができる。 As described above, in the behavior recognition system 2 according to the second embodiment, the structural relationship between domains is used (reflected), and the inter-domain structural relationship information 211, 214 is added to the inter-domain structural relationship information 211. Can be simply described, and the inter-domain similarity calculation unit 23 can easily calculate the similarity between arbitrary domains by the similarity calculation process.

そして、第2の実施の形態に係る行動認識システム2では、類似度算出処理が行われた後は、第1の実施の形態と同様に、データ変換部15によるデータ変換処理、及び識別部17による行動識別処理が実行された結果、行動識別の識別結果19が出力される。 Then, in the behavior recognition system 2 according to the second embodiment, after the similarity calculation processing is performed, the data conversion processing by the data conversion unit 15 and the identification unit 17 are performed as in the first embodiment. As a result of performing the action identification process by, the identification result 19 of the action identification is output.

以上のことから、第2の実施の形態に係る行動認識システム2によれば、ドメイン間の構造的な関係性を利用して、ドメイン間の関係性を簡易に記述できるようにし、かつ、任意のドメイン間の類似度を容易に計算できるようにすることで、ユーザによる入力の不便さを軽減するとともに、第1の実施の形態と同様に、ターゲットドメインのラベル付きデータ(識別対象データ10)が少量しかなく、かつ、様々なソースドメインのデータ(例えば、図5に示したドメイン別センサデータ161等)が存在する状況であっても、データ変換処理に利用するソースドメインをドメイン間の関連性に基づいて判断することにより、精度の高い行動認識を実現することができる。 From the above, according to the behavior recognition system 2 according to the second embodiment, it is possible to easily describe the relationship between the domains by utilizing the structural relationship between the domains, and By making it possible to easily calculate the degree of similarity between domains, the inconvenience of input by the user is reduced, and the labeled data of the target domain (identification target data 10) is provided as in the first embodiment. Even if there is only a small amount of data and data of various source domains (for example, the sensor data 161 for each domain shown in FIG. 5) exists, the source domains used for the data conversion process are related to each other. By deciding on the basis of sex, it is possible to realize highly accurate action recognition.

(3)第3の実施の形態
上述したように、第2の実施の形態に係る行動認識システム2によれば、ドメイン間の構造的な関係性を利用して、ドメイン間の関係性を簡単に記述することができ、任意のドメイン間の類似度を容易に計算することができるため、第1の実施の形態における不便さを軽減することができる。しかしながら、このような第2の実施の形態では、少量ではあるが、未だ、ユーザがドメイン間関係性情報DB14に新規ドメインに関する情報を追加登録しようとするたびに、ユーザがドメイン間の関係性を手入力する必要があった。
(3) Third Embodiment As described above, according to the action recognition system 2 according to the second embodiment, the structural relationship between domains is utilized to simplify the relationship between domains. Can be described, and the degree of similarity between arbitrary domains can be easily calculated, so that the inconvenience in the first embodiment can be reduced. However, in the second embodiment as described above, although the amount is small, each time the user tries to additionally register information regarding a new domain in the inter-domain relationship information DB 14, the user can establish the relationship between the domains. I had to enter it manually.

ここで、近年は自然言語処理技術の発展により、様々な単語を高次元のベクトル空間(単語埋め込み空間と称する)に埋め込み、単語間の関係性を当該高次元空間上で計算することができるようになっている。このとき、単語間の関係性は、例えば単語埋め込み空間における距離によって示すことができる。 Here, with the development of natural language processing technology in recent years, various words can be embedded in a high-dimensional vector space (referred to as a word embedding space), and the relationship between words can be calculated in the high-dimensional space. It has become. At this time, the relationship between the words can be indicated by the distance in the word embedding space, for example.

そこで、第3の実施の形態では、上記のような単語埋め込みによる単語間の関係性の計算技術を、ドメイン間の類似度等の関係性を表す指標の計算に活用することによって、人手による入力を一切介することなく、関連性の高いソースドメインを抽出し、当該抽出したソースドメインを用いて高精度な行動識別の実現を図る。以下に、第3の実施の形態に係る行動認識システム3について詳しく説明する。 Therefore, in the third embodiment, the technique of calculating the relationship between words by word embedding as described above is utilized for the calculation of the index indicating the relationship such as the degree of similarity between domains, thereby inputting manually. A highly-relevant source domain is extracted without any intervention, and a highly accurate action identification is realized using the extracted source domain. The action recognition system 3 according to the third embodiment will be described below in detail.

図13は、本発明の第3の実施の形態に係る行動認識システムの構成例を示すブロック図である。図13に示した行動認識システム3は、図1に示した行動認識システム1との機能構成上の相違点として、ドメイン間関係性情報DB14の代わりにドメイン単語埋め込み情報DB31を備え、ドメイン間類似度算出部13の代わりにドメイン間類似度算出部33を備えている。詳細は後述するが、ドメイン間類似度算出部33は、ドメイン単語埋め込み情報DB31に格納された各ドメイン名の単語埋め込みベクトルに基づいて、識別対象データ10のドメイン(ターゲットドメイン)とドメイン単語埋め込み情報DB31に情報が格納されている各ドメイン(ソースドメイン)との類似度を算出する。また、ドメイン間類似度算出部33は、ドメイン名の単語埋め込みベクトルを算出する機能を有している。 FIG. 13: is a block diagram which shows the structural example of the action recognition system which concerns on the 3rd Embodiment of this invention. The behavior recognition system 3 shown in FIG. 13 differs from the behavior recognition system 1 shown in FIG. 1 in terms of the functional configuration, in that a domain word embedding information DB 31 is provided instead of the inter-domain relationship information DB 14, and the inter-domain similarity information is similar. An inter-domain similarity calculation unit 33 is provided instead of the degree calculation unit 13. Although details will be described later, the inter-domain similarity calculation unit 33 determines the domain (target domain) of the identification target data 10 and the domain word embedding information based on the word embedding vector of each domain name stored in the domain word embedding information DB 31. The degree of similarity with each domain (source domain) whose information is stored in the DB 31 is calculated. Further, the inter-domain similarity calculation unit 33 has a function of calculating a word embedding vector of a domain name.

ドメイン単語埋め込み情報DB31には、ソースドメインの各ドメイン名の単語埋め込み空間におけるベクトル(ドメイン単語埋め込みベクトル)を示す情報が格納されている。 The domain word embedding information DB 31 stores information indicating a vector (domain word embedding vector) in the word embedding space of each domain name of the source domain.

図14は、ドメイン単語埋め込み情報の一例を示す図である。図14に示したドメイン単語埋め込み情報311は、図13に示したドメイン単語埋め込み情報DB31に格納されるデータの一例であり、ソースドメインの各ドメインについて、ドメイン名3111と当該ドメイン名を単語埋め込み空間に射影したときのベクトル(単語埋め込みベクトル3112)との組み合わせが保持されている。図14の場合、各ドメインの単語埋め込みベクトル3112は、「θ(i=1,2,・・・)」で表されている。なお、単語埋め込みベクトル3112について、ドメイン名をベクトル表現化する手法は特に限定されず、例えばword2Vec、GloVe、またはfastText等の既存の手法を用いてもよいし、また例えば、工場における作業手順書や関連資料等に対してSkip−gram等のモデルを用いるといったように、よりコンテキスト情報を反映しやすい手法を採用してもよい。ドメイン単語埋め込み情報311の登録処理は、例えば、ドメイン名の単語埋め込みベクトルを算出する機能を有するドメイン間類似度算出部13が処理してもよいし、行動認識システム3に同様の算出機能を有する他の処理部(不図示)を設けて処理する等してもよい。 FIG. 14 is a diagram showing an example of domain word embedding information. The domain word embedding information 311 shown in FIG. 14 is an example of data stored in the domain word embedding information DB 31 shown in FIG. 13, and for each domain of the source domain, the domain name 3111 and the domain name embedding space The combination with the vector (word embedding vector 3112) when projected onto In the case of FIG. 14, the word embedding vector 3112 of each domain is represented by “θ i (i=1, 2,... )”. Note that the word embedding vector 3112 is not particularly limited in the method of converting the domain name into a vector expression, and an existing method such as word2Vec, GloVe, or fastText may be used, or a work procedure manual in a factory or A method that more easily reflects the context information, such as using a model such as Skip-gram for the related material, may be adopted. The registration processing of the domain word embedding information 311 may be performed by, for example, the inter-domain similarity calculation unit 13 having a function of calculating a word embedding vector of a domain name, or the action recognition system 3 has a similar calculation function. Other processing units (not shown) may be provided for processing.

そして、第3の実施の形態における類似度算出処理として、ドメイン間類似度算出部33は、上述したドメイン単語埋め込み情報311を利用して、識別対象データ10のドメイン(ターゲットドメイン)とドメイン単語埋め込み情報DB31に情報が格納されている各ドメイン(ソースドメイン)との類似度を算出する。 Then, as the similarity calculation processing in the third embodiment, the inter-domain similarity calculation unit 33 uses the domain word embedding information 311 described above to embed the domain (target domain) of the identification target data 10 and the domain word embedding. The degree of similarity with each domain (source domain) in which information is stored in the information DB 31 is calculated.

第3の実施の形態における類似度算出処理を詳しく説明すると、まず、ドメイン間類似度算出部33は、識別対象データ10のドメイン情報12を読み取り、そのドメイン(ターゲットドメイン)のドメイン名を、ドメイン単語埋め込み情報DB31を構築する際に用いた方法と同一の方法で単語埋め込み空間に射影することによって、ターゲットドメインの単語埋め込みベクトル「θ」を取得する。 The similarity calculation processing in the third embodiment will be described in detail. First, the inter-domain similarity calculation unit 33 reads the domain information 12 of the identification target data 10 and sets the domain name of the domain (target domain) to the domain. The word embedding vector “θ” of the target domain is acquired by projecting onto the word embedding space by the same method as used when constructing the word embedding information DB 31.

次に、ドメイン間類似度算出部13は、ターゲットドメインの単語埋め込みベクトル「θ」と、ドメイン単語埋め込み情報DB31に格納されているドメイン単語埋め込み情報311を参照して得られる各ドメイン(ソースドメイン)の単語埋め込みベクトル「θ」とについて、当該単語埋め込み空間内での距離(例えばユークリッド距離やコサイン距離(Cosine Distance)等)を計算する。 Next, the inter-domain similarity calculation unit 13 obtains each word (source domain) obtained by referring to the word embedding vector “θ” of the target domain and the domain word embedding information 311 stored in the domain word embedding information DB 31. For the word embedding vector “θ i ”of, the distance (for example, Euclidean distance or cosine distance) in the word embedding space is calculated.

そして、ドメイン間類似度算出部13は、上記計算によって得られた単語埋め込み空間内での距離に基づいて、ターゲットドメインと各ソースドメインとの間の類似度を算出する。具体的には例えば、単語埋め込み空間内での距離の逆数を類似度として表すことができ、この場合、ドメイン間で単語埋め込み空間での距離が近いほど、高い類似度が算出される。 Then, the inter-domain similarity calculation unit 13 calculates the similarity between the target domain and each source domain based on the distance in the word embedding space obtained by the above calculation. Specifically, for example, the reciprocal of the distance in the word embedding space can be represented as the similarity, and in this case, the closer the distance in the word embedding space is between the domains, the higher the similarity is calculated.

以上に説明したように、第3の実施の形態に係る行動認識システム3では、単語埋め込みによる単語間の関係性の計算技術を利用して、ソースドメインの各ドメインについて単語埋め込み空間におけるドメイン名の単語埋め込みベクトルを算出し、ソースドメインの単語埋め込みベクトルとしてドメイン単語埋め込み情報DB31に格納することができる。さらに行動認識システム3では、類似度算出処理において、各ドメインの単語埋め込みベクトルを用いてターゲットドメインとソースドメインとの距離を算出し、当該距離をドメイン間の類似度の関係性を表す指標として活用することにより、関連性の高いソースドメインを抽出することができる。そして、これらの処理は人手による入力を必要としない。 As described above, in the action recognition system 3 according to the third exemplary embodiment, by using the technique of calculating the relationship between words by word embedding, the domain name in the word embedding space is calculated for each domain of the source domain. The word embedding vector can be calculated and stored in the domain word embedding information DB 31 as the word embedding vector of the source domain. Further, in the behavior recognition system 3, in the similarity calculation process, the distance between the target domain and the source domain is calculated using the word embedding vector of each domain, and the distance is used as an index indicating the similarity relationship between the domains. By doing so, a highly relevant source domain can be extracted. And these processes do not require manual input.

そして、第3の実施の形態に係る行動認識システム3では、上述した類似度算出処理が行われた後は、第1の実施の形態や第2の実施の形態と同様に、データ変換部15によるデータ変換処理、及び識別部17による行動識別処理が実行された結果、行動識別の識別結果19が出力される。 Then, in the action recognition system 3 according to the third exemplary embodiment, after the above-described similarity calculation processing is performed, the data conversion unit 15 is performed as in the first exemplary embodiment and the second exemplary embodiment. As a result of the data conversion processing by the above and the action identification processing by the identification unit 17, the identification result 19 of the action identification is output.

以上のことから、第3の実施の形態に係る行動認識システム3によれば、単語埋め込みによる単語間の関係性の計算技術を利用して、ドメイン間の関係性を自動で記述できるようにし、かつ、任意のドメイン間の類似度を容易に計算することができるようにすることで、ユーザによる入力を必要とせず、ユーザの判断に依らずにドメイン間の類似度を適切に判断できることができる。かくして、ユーザの利便性を高めるとともに、システム全体の処理速度を向上させることができる。さらに、第3の実施の形態に係る行動認識システム3によれば、第1の実施の形態と同様に、ターゲットドメインのラベル付きデータ(識別対象データ10)が少量しかなく、かつ、様々なソースドメインのデータ(例えば、図5に示したドメイン別センサデータ161等)が存在する状況であっても、データ変換処理に利用するソースドメインをドメイン間の関連性に基づいて判断することにより、精度の高い行動認識を実現することができる。 From the above, according to the action recognition system 3 according to the third embodiment, it is possible to automatically describe the relationship between domains by using the technique of calculating the relationship between words by embedding words. Also, by making it possible to easily calculate the degree of similarity between arbitrary domains, it is possible to appropriately determine the degree of similarity between domains without requiring user input and without depending on the user's judgment. .. Thus, the convenience of the user can be improved and the processing speed of the entire system can be improved. Furthermore, according to the action recognition system 3 according to the third exemplary embodiment, similarly to the first exemplary embodiment, the labeled data (identification target data 10) of the target domain is small and various sources are included. Even in the situation where domain data (for example, sensor data 161 for each domain shown in FIG. 5) exists, the accuracy can be improved by determining the source domain used for the data conversion process based on the relationship between the domains. It is possible to realize high behavior recognition.

以上、本発明を添付の図面を参照して詳細に説明したが、本発明はこのような具体的構成に限定されるものではなく、添付した請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。例えば、前述した各実施の形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除及び置換をすることが可能である。 Although the present invention has been described in detail above with reference to the accompanying drawings, the present invention is not limited to such specific configurations, and various modifications and equivalents within the spirit of the appended claims The configuration is included. For example, the above-described embodiments have been described in detail for the purpose of explaining the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described. Further, a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of one embodiment can be added with the configuration of another embodiment. .. Further, it is possible to add, delete, and replace other configurations with respect to a part of the configurations of the respective embodiments.

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを実行することによりそぐとウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、記憶装置(メモリ)や、ハードディスク、SSD(Solid State Drive)等の記憶装置、または、ICカード、SDカード、DVD等の非一時的な記録媒体に格納することができる。 Further, each of the above-mentioned configurations, functions, processing units, processing means, etc. may be realized in hardware by designing a part or all of them with, for example, an integrated circuit. Further, each of the above-described configurations, functions, and the like may be realized by hardware when the processor executes a program that realizes each function. Information such as programs, tables, and files that realize each function is stored in a storage device (memory), a storage device such as a hard disk or SSD (Solid State Drive), or non-temporary such as an IC card, an SD card, or a DVD. It can be stored in a recording medium.

また、図面において制御線や情報線は説明上必要と考えられるものを示しており、製品に実装する上で必要な全ての制御線及び情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。 Further, in the drawings, control lines and information lines are shown as being considered necessary for explanation, and not all control lines and information lines necessary for mounting on a product are shown. In practice, it may be considered that almost all configurations are connected to each other.

1,2,3 行動認識システム
10 識別対象データ
11 入力センサデータ
12 ドメイン情報
13,23,33 ドメイン間類似度算出部
14 ドメイン間関係性情報DB
15 データ変換部
16 ドメイン別センサデータDB
17 識別部
18 ドメイン別識別器DB
19 識別結果
21 ドメイン間構造関係情報DB
31 ドメイン単語埋め込み情報DB
100 計算機
101 入力装置
102 中央演算処理装置
103 主記憶装置
104 補助記憶装置
105 出力装置
106 バス
141 ドメイン間関係性情報
142 新規ドメイン登録画面
161 ドメイン別センサデータ
181 識別器パラメータ情報
211 ドメイン間構造関係情報
212 階層構造
213 新規ドメイン登録画面
214 ドメイン間構造関係情報
215 ネットワーク構造
216 新規ドメイン登録画面
311 ドメイン単語埋め込み情報
1,2,3 Action recognition system 10 Identification target data 11 Input sensor data 12 Domain information 13,23,33 Inter-domain similarity calculation unit 14 Inter-domain relationship information DB
15 Data converter 16 Sensor data DB by domain
17 Discriminator 18 Domain discriminator DB
19 Identification result 21 Inter-domain structural relationship information DB
31 Domain word embedded information DB
100 computer 101 input device 102 central processing unit 103 main storage device 104 auxiliary storage device 105 output device 106 bus 141 inter-domain relationship information 142 new domain registration screen 161 domain-specific sensor data 181 discriminator parameter information 211 inter-domain structural relationship information 212 Hierarchical structure 213 New domain registration screen 214 Inter-domain structural relationship information 215 Network structure 216 New domain registration screen 311 Domain word embedding information

Claims (15)

ターゲットドメインで収集されたセンサデータを識別対象として、当該センサデータに対応する行動種別を識別する行動認識システムであって、
過去にセンサデータが収集された複数のドメインについて、複数のドメイン間の関係性に関する第1の情報を格納する第1の格納部と、
前記過去のセンサデータに対応する行動種別と当該センサデータが収集された前記ドメインとを紐付けた第2の情報を格納する第2の格納部と、
前記複数のドメインのドメインごとのデータを用いてセンサデータに対応する行動種別を識別するように学習したドメイン別の識別器におけるパラメータを含む第3の情報を格納する第3の格納部と、
前記ターゲットドメインに関する情報を入力とし、前記第1の格納部に格納された前記第1の情報に基づいて、当該ターゲットドメインと前記複数のドメインとのドメイン間の類似度を算出するドメイン間類似度算出部と、
前記ドメイン間類似度算出部によって算出された前記ドメイン間の類似度に基づいて、前記第2の格納部に格納された前記第2の情報のうちから参照用情報を読み出し、当該参照用情報を用いて、前記識別対象のセンサデータに対して所定のデータ変換を実行するデータ変換部と、
前記データ変換部によってデータ変換された前記識別対象のセンサデータと前記第3の格納部に格納された前記第3の情報が有する前記識別器のパラメータとを用いて、当該識別対象のセンサデータに対応する行動種別を識別する識別部と、
を備えることを特徴とする行動認識システム。
An action recognition system for identifying an action type corresponding to the sensor data, using the sensor data collected in the target domain as an identification target,
A first storage unit that stores first information regarding a relationship between a plurality of domains for a plurality of domains for which sensor data has been collected in the past;
A second storage unit that stores second information in which the action type corresponding to the past sensor data and the domain in which the sensor data is collected are associated with each other;
A third storage unit that stores third information including a parameter in a discriminator for each domain learned so as to identify an action type corresponding to sensor data using data of each domain of the plurality of domains;
Inter-domain similarity calculating the similarity between the target domain and the plurality of domains based on the first information stored in the first storage unit, using the information about the target domain as input A calculator,
Based on the similarity between the domains calculated by the inter-domain similarity calculation unit, reference information is read from the second information stored in the second storage unit, and the reference information is read. Using a data conversion unit that performs a predetermined data conversion on the sensor data of the identification target,
By using the sensor data of the identification target that has been data-converted by the data conversion unit and the parameter of the discriminator included in the third information stored in the third storage unit, the sensor data of the identification target is obtained. An identification unit that identifies the corresponding action type,
An action recognition system comprising:
前記第1の格納部に格納される前記第1の情報には、前記複数のドメインにおけるドメイン間の類似度が登録される
ことを特徴とする請求項1に記載の行動認識システム。
The behavior recognition system according to claim 1, wherein the first information stored in the first storage unit stores the degree of similarity between domains in the plurality of domains.
前記複数のドメイン間の関係性が所定構造に基づいて表現され、
前記第1の格納部に格納される前記第1の情報には、前記複数のドメインについて前記ドメイン間の関係性を表現する前記所定構造の構成情報が保持され、
前記ドメイン間類似度算出部は、前記ターゲットドメインに関する情報と前記第1の情報とに基づいて算出される、前記ターゲットドメインと前記複数のドメインとの距離を用いて、前記ドメイン間の類似度を算出する
ことを特徴とする請求項1に記載の行動認識システム。
The relationship between the plurality of domains is expressed based on a predetermined structure,
The first information stored in the first storage unit holds configuration information of the predetermined structure that expresses a relationship between the domains for the plurality of domains,
The inter-domain similarity calculation unit calculates a similarity between the domains by using a distance between the target domain and the plurality of domains, which is calculated based on the information about the target domain and the first information. It calculates, The action recognition system of Claim 1 characterized by the above-mentioned.
前記所定構造は階層構造であり、
前記第1の格納部に格納される前記第1の情報には、前記複数のドメインのそれぞれについて自ドメインと親ドメインとの組み合わせが保持され、
前記ドメイン間類似度算出部は、前記ターゲットドメインに関する情報と前記第1の情報とに基づいて算出される前記階層構造の階層上の距離を用いて、前記ドメイン間の類似度を算出する
ことを特徴とする請求項3に記載の行動認識システム。
The predetermined structure is a hierarchical structure,
The first information stored in the first storage unit holds a combination of its own domain and a parent domain for each of the plurality of domains,
The inter-domain similarity calculation unit may calculate the similarity between the domains using a hierarchical distance of the hierarchical structure calculated based on the information about the target domain and the first information. The action recognition system according to claim 3, which is characterized in that.
前記所定構造はネットワーク構造であり、
前記第1の格納部に格納される前記第1の情報には、前記複数のドメインのそれぞれについて自ドメインと近接ドメインとの組み合わせが保持され、
前記ドメイン間類似度算出部は、前記ターゲットドメインに関する情報と前記第1の情報とに基づいて算出される前記ネットワーク構造のネットワーク上の距離を用いて、前記ドメイン間の類似度を算出する
ことを特徴とする請求項3に記載の行動認識システム。
The predetermined structure is a network structure,
The first information stored in the first storage unit holds a combination of its own domain and a neighboring domain for each of the plurality of domains,
The inter-domain similarity calculation unit may calculate the similarity between the domains using a distance on the network of the network structure calculated based on the information about the target domain and the first information. The action recognition system according to claim 3, which is characterized in that.
前記複数のドメイン間の関係性が、各々のドメイン名を埋め込んだ単語埋め込み空間における関係として表現され、
前記第1の格納部に格納される前記第1の情報には、前記複数のドメインについて各ドメインのドメイン名を単語埋め込み空間に埋め込んだときのベクトルが保持され、
前記ドメイン間類似度算出部は、前記ターゲットドメインのドメイン名を前記単語埋め込み空間に埋め込んだときのベクトルと前記第1の情報に保持された前記複数のドメインについての前記ベクトルとに基づいて算出される、当該単語埋め込み空間における距離を用いて、前記ドメイン間の類似度を算出する
ことを特徴とする請求項1に記載の行動認識システム。
The relationship between the plurality of domains is expressed as a relationship in a word embedding space in which each domain name is embedded,
The first information stored in the first storage unit holds a vector when the domain name of each domain is embedded in the word embedding space for the plurality of domains,
The inter-domain similarity calculation unit is calculated based on the vector when the domain name of the target domain is embedded in the word embedding space and the vector for the plurality of domains held in the first information. The action recognition system according to claim 1, wherein the similarity between the domains is calculated using a distance in the word embedding space.
前記データ変換部は、前記識別対象のセンサデータに対して恒等写像を行うことによって、前記ドメイン間の類似度に基づいて、学習済みの前記ドメイン別の識別器の中から適当なドメインの識別器を選択する機能を有する
ことを特徴とする請求項1に記載の行動認識システム。
The data conversion unit performs identity mapping on the sensor data to be identified to identify an appropriate domain from among the learned discriminators for each domain based on the similarity between the domains. The action recognition system according to claim 1, having a function of selecting a vessel.
前記データ変換部は、前記ドメイン間の類似度に基づいて、前記第1の格納部に情報が格納された前記複数のドメインのうちから適合先のソースドメインを選択し、当該ソースドメインに対応する前記第2の情報を前記参照用情報として読み出し、当該参照用情報を用いて、前記識別対象のセンサデータに当該ソースドメインを適合先とするドメイン適合を行う
ことを特徴とする請求項1に記載の行動認識システム。
The data conversion unit selects a matching source domain from among the plurality of domains in which information is stored in the first storage unit based on the similarity between the domains, and corresponds to the source domain. 2. The domain information matching is performed by reading the second information as the reference information and using the reference information to match the sensor data of the identification target with the source domain as a matching destination. Behavior recognition system.
前記識別器による行動種別の識別が行われる前に、前記第2の格納部に格納されている前記第2の情報のうちから、前記ドメイン間類似度算出部によって算出された前記ドメイン間の類似度に基づいて前記識別器の学習用データを選択し、当該学習用データに基づいて当該識別器を学習する識別器学習部を、前記第3の格納部に代えて新たに備え、
前記識別部は、前記データ変換部によってデータ変換された前記識別対象のセンサデータと、前記識別器学習部によって学習した後の前記識別器のパラメータとを用いて、当該識別対象のセンサデータに対応する行動種別を識別する
ことを特徴とする請求項1に記載の行動認識システム。
The similarity between the domains calculated by the inter-domain similarity calculation unit from the second information stored in the second storage unit before the action class is identified by the classifier. The learning data of the discriminator based on the degree, and a discriminator learning unit that learns the discriminator based on the learning data is newly provided in place of the third storage unit,
The identification unit uses the sensor data of the identification target that has been data-converted by the data conversion unit and the parameter of the identification device that has been learned by the identifier learning unit, and corresponds to the sensor data of the identification target. The action recognition system according to claim 1, wherein the action type to be performed is identified.
前記第1の情報を登録するための入力画面、及び、前記識別部によって識別された前記行動種別の識別結果を表示する出力画面を提供する入出力部をさらに備える
ことを特徴とする請求項1に記載の行動認識システム。
The input screen for registering the first information, and an input/output unit for providing an output screen for displaying an identification result of the action type identified by the identification unit are further included. Action recognition system described in.
前記入出力部は、前記出力画面において、前記識別結果に当該識別結果の信頼度を付与して表示する
ことを特徴とする請求項10に記載の行動認識システム。
The action recognition system according to claim 10, wherein the input/output unit adds the reliability of the identification result to the identification result and displays the identification result on the output screen.
ターゲットドメインで収集されたセンサデータを識別対象として、当該センサデータに対応する行動種別を識別する行動認識方法であって、
前記ターゲットドメインに関する情報を入力とし、過去にセンサデータが収集された複数のドメインについての複数のドメイン間の関係性に関する第1の情報に基づいて、当該ターゲットドメインと前記複数のドメインとのドメイン間の類似度を算出するドメイン間類似度算出ステップと、
前記ドメイン間類似度算出ステップで算出された前記ドメイン間の類似度に基づいて、前記過去のセンサデータに対応する行動種別と当該センサデータが収集された前記ドメインとを紐付けた第2の情報のうちから、参照用情報を読み出し、当該参照用情報を用いて、前記識別対象のセンサデータに対して所定のデータ変換を実行するデータ変換ステップと、
前記データ変換ステップでデータ変換された前記識別対象のセンサデータと、前記複数のドメインのドメインごとのデータを用いてセンサデータに対応する行動種別を識別するように学習したドメイン別の識別器におけるパラメータとを用いて、当該識別対象のセンサデータに対応する行動種別を識別する識別ステップと、
を備えることを特徴とする行動認識方法。
A behavior recognition method for identifying a behavior type corresponding to the sensor data, using the sensor data collected in the target domain as an identification target,
Between the target domain and the plurality of domains, based on the first information regarding the relationship between the plurality of domains for the plurality of domains for which sensor data was collected in the past, using the information about the target domain as an input. Inter-domain similarity calculation step of calculating the similarity of,
Second information that associates the action type corresponding to the past sensor data with the domain in which the sensor data is collected, based on the similarity between the domains calculated in the inter-domain similarity calculation step. Of the above, a data conversion step of reading reference information, and using the reference information, performing predetermined data conversion on the sensor data to be identified,
Parameters in the discriminator for each domain learned to identify the action type corresponding to the sensor data using the sensor data of the identification target that has been data-converted in the data conversion step and the data for each domain of the plurality of domains And an identification step of identifying the action type corresponding to the sensor data of the identification target,
An action recognition method comprising:
前記複数のドメイン間の関係性が所定構造に基づいて表現され、
前記第1の情報には、前記複数のドメインについて前記ドメイン間の関係性を表現する前記所定構造の構成情報が保持され、
前記ドメイン間類似度算出ステップでは、前記ターゲットドメインに関する情報と前記第1の情報とに基づいて算出される、前記ターゲットドメインと前記複数のドメインとの距離を用いて、前記ドメイン間の類似度を算出する
ことを特徴とする請求項12に記載の行動認識方法。
The relationship between the plurality of domains is expressed based on a predetermined structure,
The first information holds configuration information of the predetermined structure that expresses a relationship between the domains for the plurality of domains,
In the inter-domain similarity calculation step, the similarity between the domains is calculated using the distance between the target domain and the plurality of domains, which is calculated based on the information about the target domain and the first information. The action recognition method according to claim 12, wherein the action recognition method is performed.
前記複数のドメイン間の関係性が、各々のドメイン名を埋め込んだ単語埋め込み空間における関係として表現され、
前記第1の情報には、前記複数のドメインについて各ドメインのドメイン名を単語埋め込み空間に埋め込んだときのベクトルが保持され、
前記ドメイン間類似度算出ステップでは、前記ターゲットドメインのドメイン名を前記単語埋め込み空間に埋め込んだときのベクトルと前記第1の情報に保持された前記複数のドメインについての前記ベクトルとに基づいて算出される、当該単語埋め込み空間における距離を用いて、前記ドメイン間の類似度を算出する
ことを特徴とする請求項12に記載の行動認識方法。
The relationship between the plurality of domains is expressed as a relationship in a word embedding space in which each domain name is embedded,
The first information holds a vector when the domain name of each domain is embedded in the word embedding space for the plurality of domains,
In the inter-domain similarity calculation step, it is calculated based on a vector when the domain name of the target domain is embedded in the word embedding space and the vector for the plurality of domains held in the first information. The behavior recognition method according to claim 12, wherein the similarity between the domains is calculated using a distance in the word embedding space.
前記識別ステップの前に、前記ドメイン間類似度算出ステップで算出された前記ドメイン間の類似度に基づいて、前記第2の情報のうちから前記識別器の学習用データを選択し、当該学習用データに基づいて当該識別器を学習する識別器学習ステップをさらに備え、
前記識別ステップでは、前記データ変換ステップでデータ変換された前記識別対象のセンサデータと、前記識別器学習ステップで学習した後の前記識別器のパラメータとを用いて、当該識別対象のセンサデータに対応する行動種別を識別する
ことを特徴とする請求項12に記載の行動認識方法。
Prior to the identifying step, the learning data of the discriminator is selected from the second information based on the similarity between the domains calculated in the interdomain similarity calculating step, and the learning data is selected. Further comprising a discriminator learning step of learning the discriminator based on the data,
In the identification step, the sensor data of the identification target, which has been data-converted in the data conversion step, and the parameter of the discriminator after learning in the discriminator learning step are used to correspond to the sensor data of the discrimination target. The action recognition method according to claim 12, wherein the action type to be performed is identified.
JP2018238945A 2018-12-20 2018-12-20 Action recognition system and action recognition method Pending JP2020101948A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018238945A JP2020101948A (en) 2018-12-20 2018-12-20 Action recognition system and action recognition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018238945A JP2020101948A (en) 2018-12-20 2018-12-20 Action recognition system and action recognition method

Publications (1)

Publication Number Publication Date
JP2020101948A true JP2020101948A (en) 2020-07-02

Family

ID=71139596

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018238945A Pending JP2020101948A (en) 2018-12-20 2018-12-20 Action recognition system and action recognition method

Country Status (1)

Country Link
JP (1) JP2020101948A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642499A (en) * 2021-08-23 2021-11-12 中国人民解放军火箭军工程大学 Human behavior recognition method based on computer vision
WO2023277201A1 (en) * 2022-08-02 2023-01-05 三菱電機株式会社 Inference device, inference method, and inference program
WO2023074075A1 (en) * 2022-08-02 2023-05-04 三菱電機株式会社 Inference device, inference method, and inference program
JP7352523B2 (en) 2020-07-28 2023-09-28 Kddi株式会社 Information processing device and information processing method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7352523B2 (en) 2020-07-28 2023-09-28 Kddi株式会社 Information processing device and information processing method
CN113642499A (en) * 2021-08-23 2021-11-12 中国人民解放军火箭军工程大学 Human behavior recognition method based on computer vision
WO2023277201A1 (en) * 2022-08-02 2023-01-05 三菱電機株式会社 Inference device, inference method, and inference program
WO2023074075A1 (en) * 2022-08-02 2023-05-04 三菱電機株式会社 Inference device, inference method, and inference program
JP7317246B1 (en) 2022-08-02 2023-07-28 三菱電機株式会社 Reasoning device, reasoning method and reasoning program
JP7345680B2 (en) 2022-08-02 2023-09-15 三菱電機株式会社 Inference device, inference method, and inference program

Similar Documents

Publication Publication Date Title
JP2020101948A (en) Action recognition system and action recognition method
JP6402265B2 (en) Method, computer device and storage device for building a decision model
JP2018200685A (en) Forming of data set for fully supervised learning
CN108564104A (en) Product defects detection method, device, system, server and storage medium
JP7389787B2 (en) Domain adaptive object detection device and method based on multi-level transition region
KR20190088094A (en) Model learning system and method by automatic learning and data generation
JP2011198364A (en) Method of adding label to medium document and system using the same
CN108197634A (en) Automatic meter reading method, system, computer equipment and readable storage medium storing program for executing
CN112819099A (en) Network model training method, data processing method, device, medium and equipment
CN111124863B (en) Intelligent device performance testing method and device and intelligent device
CN114239855A (en) Method, apparatus, medium, and computing device for analyzing abnormality diagnostic information
JP2019153092A (en) Position identifying device, position identifying method, and computer program
CN111159241A (en) Click conversion estimation method and device
Belhi et al. Deep learning and cultural heritage: the CEPROQHA project case study
KR102230559B1 (en) Method and Apparatus for Creating Labeling Model with Data Programming
CN116863116A (en) Image recognition method, device, equipment and medium based on artificial intelligence
JP2020204800A (en) Learning dataset generation system, learning server, and learning dataset generation program
US11593700B1 (en) Network-accessible service for exploration of machine learning models and results
CN103971191A (en) Working thread managing method and equipment
KR102413588B1 (en) Object recognition model recommendation method, system and computer program according to training data
Sun et al. Automatic building age prediction from street view images
AU2021251463B2 (en) Generating performance predictions with uncertainty intervals
US20220182302A1 (en) Network traffic rule identification
Rodrigues et al. Using GPS logs to identify agronomical activities
CN114429822A (en) Medical record quality inspection method and device and storage medium