JP2020106945A - 情報処理装置、学習モデル生成プログラム及び学習モデル生成方法 - Google Patents

Abstract

【課題】少ない教師データによって行動分析のための学習を可能にする情報処理装置、学習モデル生成プログラム及び学習モデル生成方法を提供する。【解決手段】情報処理装置は、教師データを取得する取得部と、取得部によって取得された教師データに対して、観察対象物の動作が遷移前後のどちらに近いかを示す重み付け情報を記録する重み付け部と、を備える。センサ群からの加速度や気圧についての生データに基づいて特徴量を時系列に教師データとして取得し、取得した教師データを、フィルタ特徴量計算により、特徴量＃１及び＃２として計算する。フィルタ特徴量計算は、一定区間の平均値や最大値の計算によって行なわれる。計算される特徴量は、フィルタ設計に応じて３つ以上であってもよい。【選択図】図４

Description

本発明は、情報処理装置、学習モデル生成プログラム及び学習モデル生成方法に関する。

近年、Artificial Intelligence（ＡＩ）の利用が活発になっている。また、様々な業務に適切に対応するアルゴリズムが開発されている。

業務における人の動きは複雑で、作業や行動の状態の分類（別言すれば、「ラベル付け」）は観察者からは判別しにくい。そこで、人の動きを考慮したラベル付けや質の良い教師データが作成される。

特開２０１８−７２０２９号公報 特開２０１２−３４９４号公報 特開２０１６−１４９１３６号公報

T. Mori et al, "Online Recognition and Segmentation for Time-Series Motion with HMM and Conceptual Relation of Actions", In IROS2005.，２００５年８月

しかしながら、観察者（別言すれば、「タグ付けする人」）による行動や動作のタグ付けが、該当行動であるか、該当行動でないかの二値である場合には、取得データの特徴量とタグ付け結果との間に差異が生じても、差異が教師データに反映されないおそれがある。

１つの側面では、少ない教師データによって行動分析のための学習を可能にすることを目的とする。

情報処理装置は、教師データを取得する取得部と、前記取得部によって取得された前記教師データに対して、観察対象物の動作が遷移前後のどちらに近いかを示す重み付け情報を記録する重み付け部と、を備える。

１つの側面では、少ない教師データによって行動分析のための学習ができる。

関連例における教師データの取得処理を説明する図である。 実施形態の一例における計算機のハードウェア構成例を模式的に示すブロック図である。 図２に示した計算機の機能構成例を模式的に示すブロック図である。 図２に示した計算機における重み付け処理の詳細を説明する図である。 図２に示した計算機における重み付け処理の第１の例を説明する図である。 図２に示した計算機における重み付け処理の第２の例を説明する図である。 図２に示した計算機における重み付け情報へのアノテーションの確からしさの反映処理を説明する図である。 図２に示した計算機における重み付け情報に対するアノテーションの確からしさのフィルタリング処理を説明する図である。 図２に示した計算機における重み付け情報に対するアノテーションの確からしさに応じた学習の変更処理を説明する図である。 図２に示した計算機における重み付け処理を説明するフローチャートである。

以下、図面を参照して一実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。

また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。

以下、図中において、同一の各符号は同様の部分を示しているので、その説明は省略する。

〔Ａ〕関連例
図１は、関連例における教師データの取得処理を説明する図である。

図１に示す例において、例えば、動作Ａ及び動作Ｂに対して観察者によるタグ付けを行なう際に、センサ状態は動作Ａから動作Ｂへの特徴を表わしている（符号Ａ１参照）。

しかしながら、確実に動作Ｂが確認できてからタグ付けが行なわれる場合には（符号Ａ２参照）、特徴量の発現が埋もれてしまい、教師データとしての精度が不十分になる。

そして、図１に示すように、データセット＃１とデータセット＃２とが存在する場合には、観察者がタグ付けする際に、観察者の主観によって、データセット毎に、実際の特徴量の変動タイミングとタグ付けタイミングとの間でずれが生じるおそれがある。

〔Ｂ〕実施形態の一例
〔Ｂ−１〕システム構成例
図２は、実施形態の一例における計算機１のハードウェア構成例を模式的に示すブロック図である。

計算機１は、Central Processing Unit（ＣＰＵ）１１，メモリ１２，表示制御部１３，記憶装置１４，入力Interface（Ｉ／Ｆ）１５，読み書き処理部１６及び通信Ｉ／Ｆ１７を備える。

メモリ１２は、記憶部の一例であり、例示的に、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む記憶装置である。メモリ１２のＲＯＭには、Basic Input/Output System（ＢＩＯＳ）等のプログラムが書き込まれてよい。メモリ１２のソフトウェアプログラムは、ＣＰＵ１１に適宜に読み込まれて実行されてよい。また、メモリ１２のＲＡＭは、一次記録メモリあるいはワーキングメモリとして利用されてよい。

表示制御部１３は、表示装置１３０と接続され、表示装置１３０を制御する。表示装置１３０は、液晶ディスプレイやOrganic Light-Emitting Diode（ＯＬＥＤ）ディスプレイ，Cathode Ray Tube（ＣＲＴ），電子ペーパーディスプレイ等であり、オペレータ等に対する各種情報を表示する。表示装置１３０は、入力装置と組み合わされたものでもよく、例えば、タッチパネルでもよい。

記憶装置１４は、例示的に、データを読み書き可能に記憶する装置であり、例えば、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ），Storage Class Memory（ＳＣＭ）が用いられてよい。

入力Ｉ／Ｆ１５は、マウス１５１やキーボード１５２，センサ群１５３等の入力装置と接続され、マウス１５１やキーボード１５２，センサ群１５３等の入力装置を制御する。マウス１５１やキーボード１５２は、入力装置の一例であり、これらの入力装置を介して、オペレータが各種の入力操作を行なう。センサ群１５３は、観察対象物である人や動物，ロボット等の動作に関する情報を取得する。

読み書き処理部１６は、記録媒体１６０が装着可能に構成される。読み書き処理部１６は、記録媒体１６０が装着された状態において、記録媒体１６０に記録されている情報を読み取り可能に構成される。本例では、記録媒体１６０は、可搬性を有する。例えば、記録媒体１６０は、フレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、又は、半導体メモリ等である。

通信Ｉ／Ｆ１７は、外部装置との通信を可能にするためのインタフェースである。

ＣＰＵ１１は、種々の制御や演算を行なう処理装置であり、メモリ１２に格納されたOperating System（ＯＳ）やプログラムを実行することにより、種々の機能を実現する。

計算機１全体の動作を制御するための装置は、ＣＰＵ１１に限定されず、例えば、ＭＰＵやＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのいずれか１つであってもよい。また、ＷＭＳ１全体の動作を制御するための装置は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ及びＦＰＧＡのうちの２種類以上の組み合わせであってもよい。なお、ＭＰＵはMicro Processing Unitの略称であり、ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific Integrated Circuitの略称である。また、ＰＬＤはProgrammable Logic Deviceの略称であり、ＦＰＧＡはField Programmable Gate Arrayの略称である。

図３は、図２に示した計算機１の機能構成例を模式的に示すブロック図である。

計算機１は、図３に示すように、特徴量計算部１１１，タグ情報重み付け部１１２，特徴量出力部１１３及び学習モデル生成部１１４として機能する。

なお、これらの特徴量計算部１１１，タグ情報重み付け部１１２，特徴量出力部１１３及び学習モデル生成部１１４として機能を実現するためのプログラムは、例えば前述した記録媒体１６０に記録された形態で提供される。そして、コンピュータは読み書き処理部１６を介してその記録媒体１６０からプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。また、そのプログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、その記憶装置から通信経路を介してコンピュータに提供してもよい。

特徴量計算部１１１，タグ情報重み付け部１１２，特徴量出力部１１３及び学習モデル生成部１１４としての機能を実現する際には、内部記憶装置に格納されたプログラムがコンピュータのマイクロプロセッサによって実行される。このとき、記録媒体１６０に記録されたプログラムをコンピュータが読み取って実行してもよい。なお、本実施形態において、内部記憶装置はメモリ１２であり、マイクロプロセッサはＣＰＵ１１である。

図３に示すように、センサ群１５３は、センサ入力部１５３０として機能する。センサ入力部１５３０は、観察対象物である人や動物，ロボット等の動作に関する情報を取得して、教師データとしてInterface（Ｉ／Ｆ）を介して計算機１に入力する。

図３に示すように、マウス１５１やキーボード１５２等の入力装置は、タグ情報入力部１５２０として機能する。タグ情報入力部１５２０は、観察対象物の観察者からのタグ情報（「重み付け情報」と称してもよい。）入力を受け付け、受け付けたタグ情報をＩ／Ｆを介して計算機１に入力する。

特徴量計算部１１１は、センサ入力部１５３０から入力された教師データから特徴量を計算する。すなわち、特徴量計算部１１１は、教師データを取得する取得部として機能する。

タグ情報重み付け部１１２は、タグ情報入力部１５２０から入力されたタグ情報に基づき、特徴量計算部１１１によって計算された特徴量に対して重み付けする。すなわち、タグ情報重み付け部１１２は、取得された教師データに対して、観察対象物の動作が遷移前後のどちらに近いかを示す重み付け情報を記録する重み付け部として機能する。

特徴量出力部１１３は、タグ情報重み付け部１１２によって重み付けされた特徴量を出力する。

学習モデル生成部１１４は、特徴量出力部１１３によって出力された特徴量に基づき、学習モデルを生成する。

図４は、図２に示した計算機１における重み付け処理の詳細を説明する図である。

図４に示すように、センサ群１５３からの加速度や気圧についての生データに基づいて特徴量が時系列に教師データとして取得される（符号Ｂ１参照）。

取得された教師データは、フィルタ特徴量計算により、特徴量＃１及び＃２とし計算される（符号Ｂ２参照）。フィルタ特徴量計算は、例えば、一定区間の平均値や最大値の計算によって行なわれる。計算される特徴量は、フィルタ設計に応じて３つ以上であってもよい。

観察者は、被験者（別言すれば、「観察対象物」）の行動を観察して、動作のタグ付けを行なう（符号Ｂ３参照）。図示する例では、動作Ａの場合にはＪ１のタグ付けがされ、動作Ｂの場合にはＪ２のタグ付けがされる。Ｊ１からＪ２へ遷移する際には、観察者は、スライドバー１３１を用いて、動作がＪ１よりかＪ２よりかをアナログ的にタグ付けしてよい。

すなわち、図３に示したタグ情報重み付け部１１２は、表示装置１３０に表示されるスライドバー１３１によって、遷移前後の状態について段階的な入力を受け付けることにより、重み付け情報を取得する重み付け部として機能する。

図４の符号Ｂ３に示す例において、観察者は、Ｊ１からＪ２へ迷いながらスライドバー１３１を左右に動かし、最終的にはＪ２に移行したことを入力している。

符号Ｂ２において計算された特徴量＃１及び＃２と、符号Ｂ３において取得されたタグ情報とに基づき、遷移特徴量＃１及び＃２が生成される（符号Ｂ４参照）。それぞれの特徴量に対し、このように遷移状態をアナログ的に重み付けすることで、Ｊ１からＪ２への特徴量がタグとして記録され、特徴量を厳密に教師データに反映できる。

図５は、図２に示した計算機１における重み付け処理の第１の例を説明する図である。図６は、図２に示した計算機１における重み付け処理の第２の例を説明する図である。

図５及び図６に示すように、観察者によるアナログ的なタグ付け領域（図５及び図６の符号Ｃ１参照）においてスライドバー１３１を用いたタグ付けが行なわれることにより、他の動きに紛れている特徴量についても、教師データとして反映できる。

学習の際のコスト関数は、特徴量が

であり、正解ラベルが

であるとき、下記の数式１で表わされる。

ただし、

は、本実施形態の一例において計算できるサンプルの重み付けである。

は、学習対象の特徴量重みである。

は、ロス関数であり、例えはhinge-loss関数

である。ここで、

である。

ここで、全てのデータで

であり、各々の時刻サンプルに対して全て等化となり、サンプルへのアノテーションの確からしさがモデル化できない。

図７は、図２に示した計算機１における重み付け情報へのアノテーションの確からしさの反映処理を説明する図である。

サンプルへのアノテーションの確からしさをモデル化するために、図７に示すように、

をスライドバー１３１の入力値として使用する。

これにより、サンプルへのアノテーションの確からしさをタグ付けに反映できる。

図８は、図２に示した計算機１における重み付け情報に対するアノテーションの確からしさのフィルタリング処理を説明する図である。

図８に示す例では、サンプルの重み付け

において、前後のサンプルの変動が大きい区間を無視する。すなわち、

は、以下の数式２によって表わされる。

すなわち、図３に示したタグ情報重み付け部１１２は、重み付け情報の入力に対して、確からしさでフィルタリングする重み付け部の一例として機能する。

これにより、観察者の判断に迷う不確実な特徴量を除外して扱うことができ、確実な情報に限って学習可能になる。

図９は、図２に示した計算機１における重み付け情報に対するアノテーションの確からしさに応じた学習の変更処理を説明する図である。

図９に示す例においては、学習初期では判断しやすい特徴量を学習させ、学習後期では難しい特徴量を学習させることで、より複雑な特徴量を含めて学習を加速できる。

すなわち、図９に示すように初期には

を小さい

に設定（別言すれば、「特徴量を判断しやすく設定」）して、後半には大きい

に設定（別言すれば、「特徴量を判断しにくく設定」）して学習を繰り返す。

１回目の学習は、以下の数式３によって表わされる。

２回目の学習は、以下の数式４によって表わされる。

すなわち、図３に示したタグ情報重み付け部１１２は、重み付け情報の入力に対して、確からしさで学習の変更を行なう重み付け部の一例として機能する。

〔Ｂ−２〕動作例
図２に示した計算機１における重み付け処理を、図１０に示すフローチャート（ステップＳ１〜Ｓ１０）に従って説明する。

特徴量計算部１１１は、センサ入力部１５３０からの観察対象物によるタグ情報Ｊ１で示される動作Ａに関する情報の入力を受け付け、特徴量を計算する（ステップＳ１）。

タグ情報重み付け部１１２は、特徴量計算部１１１によって算出された特徴量に対して、タグ情報Ｊ１としてのタグ付けを示す重み“J1:1.0, J2:0.0”を付加する（ステップＳ２）。

タグ情報重み付け部１１２は、特徴量計算部１１１によって計算された特徴量と、タグ情報入力部１５２０からの入力とに基づき、タグ情報Ｊ１で示される動作Ａが終了したかを判定する（ステップＳ３）。

タグ情報Ｊ１で示される動作Ａが終了していない場合には（ステップＳ３のＮｏルート参照）、処理はステップＳ２へ戻る。

一方、タグ情報Ｊ１で示される動作Ａが終了している場合には（ステップＳ３のＹｅｓルート参照）、処理はステップＳ４へ移行する。そして、タグ情報重み付け部１１２は、タグ情報入力部１５２０から、スライドバー１３１がＪ１側からＪ２側へスライドされたことを示す情報の入力を受け付ける（ステップＳ４）。

タグ情報重み付け部１１２は、特徴量計算部１１１によって計算された特徴量と、タグ情報入力部１５２０からの入力とに基づき、タグ情報Ｊ２で示される動作Ｂが開始されたかを判定する（ステップＳ５）。

タグ情報Ｊ２で示される動作Ｂが開始されていない場合には（ステップＳ５のＮｏルート参照）、処理はステップＳ６へ進む。タグ情報重み付け部１１２は、タグ情報入力部１５２０から、スライドバー１３１のスライドが停止されたことを示す情報、又は、スライドバー１３１がＪ２側からＪ１側へスライドされたことを示す情報の入力を受け付ける（ステップＳ６）。そして、処理はステップＳ５へ戻る。

一方、タグ情報Ｊ２で示される動作Ｂが開始されている場合には（ステップＳ５のＹｅｓルート参照）、処理はステップＳ７へ移行する。そして、タグ情報重み付け部１１２は、タグ情報入力部１５２０から、スライドバー１３１がＪ１側からＪ２側へスライドされたことを示す情報の入力を受け付ける（ステップＳ７）。

タグ情報重み付け部１１２は、特徴量計算部１１１によって計算された特徴量と、タグ情報入力部１５２０からの入力とに基づき、タグ情報Ｊ２で示される動作Ｂの開始が確定したかを判定する（ステップＳ８）。

タグ情報Ｊ２で示される動作Ｂの開始が確定していない場合には（ステップＳ８のＮｏルート参照）、処理はステップＳ７へ戻る。

一方、タグ情報Ｊ２で示される動作Ｂの開始が確定した場合には（ステップＳ８のＹｅｓルート参照）、タグ情報重み付け部１１２は、タグ情報入力部１５２０から、スライドバー１３１がＪ２側で確定したことを示す情報の入力を受け付ける（ステップＳ９）。

タグ情報重み付け部１１２は、特徴量計算部１１１によって算出された特徴量に対して、タグ情報Ｊ２としてのタグ付けを示す重み“J1:0.0, J2:1.0”を付加する（ステップＳ１０）。そして、重み付け処理は終了する。

〔Ｂ−３〕効果
上述した実施形態の一例における計算機１によれば、例えば、以下の作用効果を奏することができる。

特徴量計算部１１１は、教師データを取得する。タグ情報重み付け部１１２は、取得された教師データに対して、動作Ａ又は動作Ｂ等の二値でのタグ付けでなく、観察対象物の動作が遷移前後のどちらに近いかを示す重み付け情報を記録する。

これにより、少ない教師データによって行動分析のための学習ができる。

タグ情報重み付け部１１２は、表示装置１３０に表示されるスライドバー１３１によって、遷移前後の状態について段階的な入力を受け付けることにより、重み付け情報を取得する。

これにより、動作の遷移に対してアナログ的にきめ細やかなタグ付けができる。

タグ情報重み付け部１１２は、重み付け情報の入力に対して、確からしさでフィルタリングする。

これにより、観察者の判断に迷う不確実な特徴量を除外して扱うことができ、確実な情報に限って学習可能になる。

タグ情報重み付け部１１２は、重み付け情報の入力に対して、確からしさで学習の変更を行なう。

これにより、学習初期では判断しやすい特徴量を学習させ、学習後期では難しい特徴量を学習させるカリキュラム学習を実施することで、より複雑な特徴量を含めて学習を加速できる。

〔Ｃ〕その他
開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。

上述した実施形態の一例においては、観察者がスライドバー１３１によってアナログ的な重み付けを入力することとしたが、これに限定されるものではない。観察者によりアナログ的な重み付けの入力は、例えば、表示装置１３０に表示される入力ボックスに対して数値が入力されることにより行なわれてもよい。また、観察者によりアナログ的な重み付けの入力は、入力Ｉ／Ｆ１５に接続されたダイヤルやつまみ等の多段階式のハードウェアスイッチにより行なわれてもよい。

〔Ｄ〕付記
以上の実施形態に関し、さらに以下の付記を開示する。

（付記１）
教師データを取得する取得部と、
前記取得部によって取得された前記教師データに対して、観察対象物の動作が遷移前後のどちらに近いかを示す重み付け情報を記録する重み付け部と、
を備える、情報処理装置。

（付記２）
前記重み付け部は、表示装置に表示されるスライドバーによって、前記遷移前後の状態について段階的な入力を受け付けることにより、前記重み付け情報を取得する、
付記１に記載の情報処理装置。

（付記３）
前記重み付け部は、前記重み付け情報の入力に対して、確からしさでフィルタリングする、
付記１又は２に記載の情報処理装置。

（付記４）
前記重み付け部は、前記重み付け情報の入力に対して、確からしさで学習の変更を行なう、
付記１又は２に記載の情報処理装置。

（付記５）
コンピュータに、
教師データを取得し、
取得された前記教師データに対して、観察対象物の動作が遷移前後のどちらに近いかを示す重み付け情報を記録する、
処理を実行させる、学習モデル生成プログラム。

（付記６）
表示装置に表示されるスライドバーによって、前記遷移前後の状態について段階的な入力を受け付けることにより、前記重み付け情報を取得する、
処理を前記コンピュータに実行させる、付記５に記載の学習モデル生成プログラム。

（付記７）
前記重み付け情報の入力に対して、確からしさでフィルタリングする、
処理を前記コンピュータに実行させる、付記５又は６に記載の学習モデル生成プログラム。

（付記８）
前記重み付け情報の入力に対して、確からしさで学習の変更を行なう、
処理を前記コンピュータに実行させる、付記５又は６に記載の学習モデル生成プログラム。

（付記９）
教師データを取得し、
取得された前記教師データに対して、観察対象物の動作が遷移前後のどちらに近いかを示す重み付け情報を記録する、
学習モデル生成方法。

（付記１０）
表示装置に表示されるスライドバーによって、前記遷移前後の状態について段階的な入力を受け付けることにより、前記重み付け情報を取得する、
付記９に記載の学習モデル生成方法。

（付記１１）
前記重み付け情報の入力に対して、確からしさでフィルタリングする、
付記９又は１０に記載の学習モデル生成方法。

（付記１２）
前記重み付け情報の入力に対して、確からしさで学習の変更を行なう、
処理を前記コンピュータに実行させる、付記９又は１０に記載の学習モデル生成方法。

１ ：計算機
１１ ：ＣＰＵ
１１１ ：特徴量計算部
１１２ ：タグ情報重み付け部
１１３ ：特徴量出力部
１１４ ：学習モデル生成部
１２ ：メモリ
１３ ：表示制御部
１３０ ：表示装置
１３１ ：スライドバー
１４ ：記憶装置
１５ ：入力Ｉ／Ｆ
１５１ ：マウス
１５２ ：キーボード
１５３ ：センサ群
１５２０ ：タグ情報入力部
１５３０ ：センサ入力部
１６ ：読み書き処理部
１６０ ：記録媒体
１７ ：通信Ｉ／Ｆ

Claims (6)

1. 教師データを取得する取得部と、
   前記取得部によって取得された前記教師データに対して、観察対象物の動作が遷移前後のどちらに近いかを示す重み付け情報を記録する重み付け部と、
   を備える、情報処理装置。
2. 前記重み付け部は、表示装置に表示されるスライドバーによって、前記遷移前後の状態について段階的な入力を受け付けることにより、前記重み付け情報を取得する、
   請求項１に記載の情報処理装置。
3. 前記重み付け部は、前記重み付け情報の入力に対して、確からしさでフィルタリングする、
   請求項１又は２に記載の情報処理装置。
4. 前記重み付け部は、前記重み付け情報の入力に対して、確からしさで学習の変更を行なう、
   請求項１又は２に記載の情報処理装置。
5. コンピュータに、
   教師データを取得し、
   取得された前記教師データに対して、観察対象物の動作が遷移前後のどちらに近いかを示す重み付け情報を記録する、
   処理を実行させる、学習モデル生成プログラム。
6. 教師データを取得し、
   取得された前記教師データに対して、観察対象物の動作が遷移前後のどちらに近いかを示す重み付け情報を記録する、
   学習モデル生成方法。

Images