JP2020173787A - 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム - Google Patents

Abstract

【課題】系列性を有する情報のうち、重要な情報を好適に判別し提示することのできる情報処理装置、端末装置、情報処理システム、情報処理方法及び情報処理プログラムを提供する。【解決手段】情報処理システムにおいて、情報処理装置１００の制御部１１０は、対象者に関する系列情報に含まれる各要素にアノテーションが付与されたアノテーション付系列情報を取得する系列情報取得部１１２と、対象者に関するアノテーション付系列情報を参照し、当該対象者のアノテーション付系列情報に含まれる各要素の重要度を判別する重要度判別部１１４と、複数の対象者に関する重要度判別部による判別結果を参照し、判別統合情報を生成する判別統合部１１６と、重要度判別部による判別結果と判別統合情報との少なくとも何れかを参照して提示用情報を生成する提示用情報生成部１１８と、を備える。【選択図】図１

Description

本発明は、情報処理装置、情報処理システム、情報処理方法、および情報処理プログラムに関する。

習得対象者による学習や作業技術の習得を支援するシステムが従来技術として知られている。例えば、特許文献１には、学習者の読み返し頻度及び視線停留をモニタリングした結果を他の学習者と比較して、その比較結果を学習者及び指導者に提示する技術が記載されている。

特開２００５−３３８１７３号公報（２００５年１２月８日公開）

また、近年、様々な場面での学習や作業等を録画した動画を振り返り、当該学習や作業等の改善に役立てることが行われている。このような技術では、録画した動画のうち、学習や作業改善に役立つ重要なシーンを自動的に判別できることが好ましい。

また、学習や作業に留まらず、系列性を有する情報のうち、重要な情報を判別し提示する技術には大きなニーズがある。

本発明では、上記課題に鑑み、系列性を有する情報のうち、重要な情報を好適に判別し提示することのできる技術を提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、対象者に関する系列情報に含まれる各要素にアノテーションが付与されたアノテーション付系列情報を取得する系列情報取得部と、前記対象者に関するアノテーション付系列情報を参照し、当該対象者のアノテーション付系列情報に含まれる各要素の重要度を判別する重要度判別部と、複数の対象者に関する前記重要度判別部による判別結果を参照し、判別統合情報を生成する判別統合部と、前記重要度判別部による判別結果と前記判別統合情報との少なくとも何れかを参照して提示用情報を生成する提示用情報生成部と、を備えている。

上記の構成によれば、系列性を有する情報のうち、重要な情報を好適に判別し提示することができる。

上記一態様に係る情報処理装置において、前記重要度判別部は、ユーザからのフィードバック情報を参照して、判別ロジックを更新してもよい。

上記の構成によれば、ユーザからのフィードバック情報を参照して、重要度判別部における判別ロジックを更新するので、重要度判別を繰り返すたびに、より的確な系列情報の重要度判別を行うことができる。

上記一態様に係る情報処理装置において、前記系列情報には、前記対象者の視線に関する情報が含まれていてもよい。

上記の構成によれば、前記対象者の視線に関する情報を参照することにより、重要度の判別をより好適に行うことができる。

上記一態様に係る情報処理装置において、前記判別統合部は、前記複数の対象者の各々に対する前記重要度判別部による判別結果から、共通する情報を抽出し、前記判別統合情報に含めてもよい。

上記の構成によれば、対象者により系列情報が異なっていても、共通する情報を抽出するので、重要度の判別をより好適に行うことができる。

上記一態様に係る情報処理装置において、前記重要度判別部は、前記重要度として、前記対象者に関する集中度を判別してもよい。

上記の構成によれば、対象者に関する集中度を参照して系列情報の重要度判別を行うことができるので、より好適に重要度判別を行うことができる。

上記の課題を解決するために、本発明の一態様に係る端末装置において、系列情報を取得する系列情報取得部と、取得した系列情報に含まれる各要素にアノテーションを付与することによってアノテーション付系列情報を生成するアノテーション付与部と、アノテーション付系列情報を参照して生成された提示用情報を取得する提示用情報取得部と、前記提示用情報を提示する提示部とを備えている。

上記の構成によれば、各系列情報が統合された提示用情報を取得し、ユーザに対して提示することができる。

上記一態様に係る端末装置において、複数の対象者のアノテーション付系列情報に関する判別結果を参照して生成された判別統合情報を取得する判別統合情報取得部を更に備え、前記アノテーション付与部は、ユーザからのフィードバック情報、及び前記判別統合情報の少なくとも何れかを参照して、アノテーション付与ロジックを更新してもよい。

上記の構成によれば、各情報を参照してアノテーション付与ロジックを更新することにより、より好適にアノテーション付与を行うことができる。

上記一態様に係る端末装置において、前記アノテーション付与部は、前記アノテーションに加え、当該アノテーションの信頼度を示す情報を前記各要素に付与してもよい。

上記の構成によれば、アノテーションを参照する各処理をより好適に実行することができる。

上記の課題を解決するために、本発明の一態様に係る情報処理システムにおいて、系列情報を取得する取得部と、取得した系列情報に含まれる各要素にアノテーションを付与することによってアノテーション付系列情報を生成するアノテーション付与部と、ある対象者に関するアノテーション付系列情報を参照し、当該対象者のアノテーション付系列情報に含まれる各要素の重要度を判別する重要度判別部と、複数の対象者に関する重要度判別部による判別結果を参照し、判別統合情報を生成する判別統合部と、前記重要度判別部による判別結果と前記判別統合情報との少なくとも何れかを参照して提示用情報を生成する提示用情報生成部と、を備えている。

上記の構成によれば、本発明の一態様に係る情報処理装置と同様の効果が得られる。

上記の課題を解決するために、本発明の一態様に係る情報処理方法において、対象者に関する系列情報に含まれる各要素にアノテーションを付与することによってアノテーション付系列情報を生成するアノテーション付与工程と、前記アノテーション付系列情報を参照し、当該対象者のアノテーション付系列情報に含まれる各要素の重要度を判別する重要度判別工程と、複数の対象者に関する前記重要度判別工程における判別結果を参照し、判別統合情報を生成する判別統合工程と、前記重要度判別工程における判別結果と前記判別統合情報との少なくとも何れかを参照して提示用情報を生成する提示用情報生成工程と、を含む。

上記の構成によれば、本発明の一態様に係る情報処理装置と同様の効果が得られる。

本発明の一態様に係る情報処理プログラムは、上記何れかに記載の情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、前記系列情報取得部、重要度判別部、判別統合部、および提示用情報生成部としてコンピュータを機能させる。

上記の構成によれば、本発明の一態様に係る情報処理装置と同様の効果が得られる。

本発明の一態様によれば、系列性を有する情報のうち、重要な情報を好適に判別し提示することができる。

本発明の一実施形態に係る情報処理システムの構成例を模式的に例示するブロック図である。 本発明の一実施形態に係る情報処理システムの動作例を例示するシーケンス図である。 本発明の一実施形態に係る録画の対象となる試験問題の一例を示す図である。 本発明の一実施形態に係る提示用情報の一例を示す図である。 本発明の一実施形態に係る提示用情報の一例を示す図である。 本発明の一実施形態に係る接客作業の学習中における対象者の視認対象の一例を示す図である。 本発明の一実施形態に係る学習者の視認対象、発話のデータの一例を示す表である。 本発明の一実施形態に係るベテラン接客者のデータの一例を示す表である。 本発明の一実施形態に係る学習者とベテラン接客者との差異情報の一例を示す図である。 本発明の一実施形態に係る学習者の視認対象、動作のデータの一例を示す表である。 本発明の一実施形態に係るベテラン組立員のデータの一例を示す表である。 本発明の一実施形態に係る学習者とベテラン組立員との差異情報の一例を示す図である。 本発明の一実施形態に係る学習者の視認対象、動作のデータの一例を示す表である。 本発明の一実施形態に係るベテラン調理人のデータの一例を示す表である。 本発明の一実施形態に係る学習者とベテラン調理人との差異情報の一例を示す図である。 本発明の一実施形態に係るプレーヤＡの視認対象、動作のデータの一例を示す表である。 本発明の一実施形態に係るプレーヤＢのデータの一例を示す表である。 本発明の一実施形態に係るプレーヤＡとプレーヤＢとの差異情報の一例を示す図である。 本発明の他の実施形態に係る情報処理システムの構成例を模式的に例示するブロック図である。 本発明の他の実施形態に係る情報処理システムの動作例を例示するシーケンス図である。 本発明の更に他の実施形態に係る情報処理システムの構成例を模式的に例示するブロック図である。 本発明の更に他の実施形態に係る情報処理システムの動作例を例示するシーケンス図である。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。

＜実施形態１＞
§１．適用例
まず、図１を参照して、本発明が適用される場面の一例について説明する。なお、ここでは、本発明の対象者が学習塾等において講義又は模擬試験を受ける学習者である場合を例に挙げるが、これは本実施形態を限定するものではなく、対象者は、系列情報と何らかの関連性を有する者であれば特に限定されない。

図１は、本発明の一実施形態に係る情報処理システム１の構成例を模式的に例示するブロック図である。情報処理システム１は、例えば、学習塾等で使用される情報処理システムである。図１に示す通り、本実施形態に係る情報処理システム１は、情報処理装置であるサーバ１００、学習者用端末装置２００Ａ、２００Ｂ、２００Ｃ、および講師用端末装置１０００を備えている。これらのサーバ１００および学習者用端末装置２００Ａ、２００Ｂ、２００Ｃ、および講師用端末装置１０００は、ネットワークを介して接続され、互いに通信を行うことができる。ネットワークの種類は、インターネット、電話網、専用網等何でもよい。なお、以下では、学習者用端末装置２００Ａ、２００Ｂ、２００Ｃを総称して、学習者用端末装置２００と称することがある。

本実施形態にかかる学習者用端末装置２００Ａ、２００Ｂ、および２００Ｃは、例えば、学習塾における各学習者（以下、対象者とも呼ぶ）Ａ、Ｂ、Ｃにそれぞれ割り当てられるコンピュータである。各学習者用端末装置２００Ａ、２００Ｂ、および２００Ｃには、カメラ２４１、マイク２４２等が備えられており、講義中、あるいは模擬試験中における各対象者の様子、発話を録画、録音することができる。この録音、録画された動画は、本実施形態における系列情報の一例である。ここで、系列情報とは、当該情報に含まれる各要素の順序に意味がある情報一般のことを意味する。また、系列情報には、動画データ、音声データ、テキストデータ、及び数値の経時的変化を示すデータ等が含まれ得る。また、各端末装置２００は、系列情報に対して、アノテーションを付与することによってアノテーション付系列情報を生成し、それぞれの記憶部２３０に記録しておくことができる。ここで、アノテーションとは、系列情報に含まれる各要素に付与されるメタ情報である。一例としてアノテーションは、系列情報の記録中の各時点又は各期間における対象者の状態等に関するメタ情報を含む。なお、アノテーションの種別は本実施形態を限定するものではないが、一例として、対象者の当該時点における集中度を示す指標をアノテーションとして用いることができる。

そして、各学習者用端末装置２００Ａ、２００Ｂ、および２００Ｃは、このアノテーション付きの各対象者に関する系列情報を、サーバ１００に送信する。

サーバ１００では、各端末装置２００から送信されたアノテーション付きの系列情報に基づいて、系列情報に含まれる各要素の重要度を判別する。そして、各端末装置２００から送信されたアノテーション付きの系列情報に基づいて判別された重要度の判別結果を統合し、提示用情報を生成する。サーバ１００では、生成された提示用情報を、記憶部１３０に格納するとともに、各端末装置２００、又は１０００に送信する。

各端末装置２００、又は１０００では、サーバ１００から送信された提示用情報を提示して、サーバ１００にフィードバック情報を送信する。このとき、対象者が講師とともに提示用情報を確認し、重要度の判別ロジック、又は後述する判別統合処理に用いられる判別ロジックの更新に関するフィードバック情報を、各端末装置２００、又は１０００を介してサーバ１００に送信してもよい。つまり、各端末装置２００、又は１０００から提示用情報を修正・確認した結果のフィードバック情報がサーバ１００に送信されてもよい。サーバ１００では、各端末装置２００、又は１０００から送信されるフィードバック情報に基づいて重要度の判別ロジックを更新する。

上述のように、サーバ１００、および各端末装置２００、又は１０００間で、系列情報の送受信を繰り返すごとに、重要度の判別等に用いることができる情報が増加するため、重要度の判別ロジック、及び判別統合処理に用いられる判別ロジックが改善される。その結果、より適切に系列情報の重要度等を判別することができる。これにより、講師は、動画を振り返る場合に、指導内容の改善につながる可能性の高い情報に絞って、動画の振り返りを行うことができ、時間を効率的に使って、指導の改善を行うことができる。
§２．構成例
以下に、図１を用いて、本実施形態における、情報処理システム１を構成する情報処理装置であるサーバ１００、学習者用端末装置２００、および講師用端末装置１０００の各構成について詳述する。

＜学習者用端末装置２００＞
実施形態にかかる学習者用端末装置２００Ａ、２００Ｂ、および２００Ｃは、一例として、同一の構成を備えている。例えば、学習者用端末装置２００は、制御部２１０、通信部２２０、記憶部２３０、カメラ２４１、マイク２４２、操作受付部２４３、表示部（提示部）２４４、スピーカ２４５を備える。

通信部２２０は、サーバ１００等の外部の装置との通信処理を行う。記憶部２３０は、各種データを格納する記憶装置である。操作受付部２４３は、対象者等の入力操作を受け付けるインターフェースであって、例えばキーボード等のボタンである。表示部２４４は、動画像を表示する表示パネルである。なお、操作受付部２４３と表示部２４４とが、対象者等の入力操作を受け付け、且つ動画像を表示するタッチパネルとして実現される構成でもよい。制御部２１０は、学習者用端末装置２００全体を統括する制御装置であって、カメラ２４１等を介して系列情報を取得する系列情報取得部２１２と、取得した系列情報に含まれる各要素に対してアノテーションを付与することによってアノテーション付系列情報を生成するアノテーション付与部２１４と、アノテーション付系列情報を参照して生成された提示用情報を通信部２２０を介して取得する提示用情報取得部２１６と、１又は複数の対象者のアノテーション付系列情報に関する判別結果を参照して生成された判別統合情報を取得する図示しない判別統合情報取得部とを備える。

＜系列情報取得部２１２＞
系列情報取得部２１２では、対象者に関する系列情報を取得する。系列情報取得部２１２が取得する系列情報を例示すれば以下の通りである。これらのデータは、一例として、模擬試験中または講義中における情報として取得されるが、これは本実施形態を限定するものではなく、その他の場面において取得されたものであってもよい。
・カメラ２４１で撮像した対象者（対象者の顔を含んでもよい）
・マイク２４２で集音した対象者の音声
・操作受付部２４３で受け付けた対象者による操作入力（テキストデータを含んでもよい）
・通信部２２０を介して取得した画像、音声、テキスト等のデータ
・記憶部２３０から読み出した画像、音声、テキスト等のデータ
・図示しない温度センサから取得した温度の経時的変化
・通信部２２０を介して取得した天候の経時的変化
・図示しないセンサから取得した脈拍データであって、対象者の緊張、ストレス、及び集中度等の度合いを読み取るための脈拍データ。

また、上記系列情報には、前記対象者の視線に関する情報が含まれていてもよい。例えば、系列情報取得部２１２は、カメラ２４１から取得した画像から、対象者の顔情報を取得する。顔情報には、対象者の顔の各部位（例えば、目、鼻、口及び眉等）の位置を示す位置情報、形状を示す形状情報、及び大きさを示す大きさ情報等の他、対象者の状態として、対象者の視線を検出する。視線は対象者の課題などに対する集中度を表す指標として特に重要である。対象者の視線の検出については、後述する。

＜アノテーション付与部２１４＞
アノテーション付与部２１４は、取得した系列情報に含まれる各要素にアノテーションを自動的に付与することによって、又はユーザの指示に基づいて付与することによって、アノテーション付系列情報を生成する。アノテーションは、系列情報に含まれる要素に対して付される。一例として、動画データの００：０１〜００：０２までの区間に対してアノテーションＡが付され、００：０５〜００：０６までの区間に対してアノテーションＢが付される。他の例として、テキストデータに含まれる文章Ａにおける文節ＡＡに対してアノテーションＸが付され、文節ＢＢに対してアノテーションＹが付されるといった具体に処理がなされる。

また、アノテーション付与部２１４は、対象者が特定の領域を視認したか否かを示す情報をアノテーションとして系列情報に付与してもよい。また、操作受付部２４３は、系列情報に対してアノテーションを付与する操作、および系列情報の各箇所に対して後述する重要度を入力する操作を受け付ける。例えば系列情報中のある箇所に対して、ユーザが操作受付部２４３を介してアノテーションを付与する旨の指示を行った場合、アノテーション付与部２１４は、系列情報の当該箇所に対して、指示されたアノテーションを付与する。

より具体的な例として、アノテーション付与部２１４は、録画された動画から、各時点における対象者の集中度を５段階で評価し、系列情報である当該動画の各時点に対して、アノテーションとして集中度を付与する。また、他の例として、模擬試験中の対象者に関する動画から、各時点において対象者が視認している問題文又は設問を特定し、何れの問題文又は設問を視認しているのかを示す情報をアノテーションとして、当該動画の各時点に付与する。

このように、何れの問題文又は設問を視認しているのかを示す情報をアノテーションとして付すことは、例えば、対象者の視線の先を示す座標と、模擬試験の問題用紙上の座標として同定することにより可能である。

なお、アノテーション付与部２１４によるアノテーション付与処理は、上記の例に限定されるものではなく、例えば、他の画像解析アルゴリズムや音声解析アルゴリズムを用いてアノテーションを付与すべきポイントを判別し、判別した箇所にアノテーションを付与する構成としてもよい。

また、一例としてアノテーションは、開始時刻、終了時刻、タグ及び信頼度によって規定されるものであってもよい。ここで、タグとは、アノテーションの種類を示す情報であって、例えば対象者の集中度、および理解度等を示す情報である。また、信頼度とは、対象となるアノテーションの確からしさを示す情報である。アノテーション付与部２１４は、アノテーション付与処理によって付与した各アノテーションについて、当該アノテーションがどの程度信頼できるものであるのかを示す上記信頼度を、当該アノテーションについて算出することができる。また、アノテーション付与部２１４は、アノテーションに加え、当該アノテーションの信頼度を示す情報を系列情報中の各要素に付与してもよい。

また、例えば集中度とは、一例として、対象者の視認対象のばらつきが小さい場合（視線のばらつきが少ない場合）に相対的に高い値に設定され、対象者の視認対象のばらつきが大きい場合（視線のばらつきが大きい場合）に相対的に低い値に設定されるものであってもよい。アノテーション付与部２１４は、対象者の視線情報を取得し参照することにより、当該対象者の集中度を特定することができる。

また、例えば理解度とは、対象者が理解すべき対象を視認している時間が比較的長い場合（或いは短い場合）に高い値に設定されるものであってもよい。

また、例えば系列情報が模擬試験中における対象者の視認対象を記録した情報である場合、アノテーション付与部２１４は、対象者が操作受付部２４３を介して模擬試験後に入力した当該模擬試験の点数、又はどの問題に正答したかを示す情報を参照して理解度を設定してもよい。また、例えばアノテーション付与部２１４は、特定のタイミングで特定の動作を行うという所定の条件を対象者が満たした場合に、系列情報中の対象となる箇所について、高い理解度を設定してもよい。また、上述した所定の条件を示す情報は、記憶部２３０等に事前に格納されていてもよい。

また、アノテーション付与部２１４は、例えば提示用情報に含まれる情報を参照して、系列情報にアノテーションを付与する場合に用いる判別ロジック（アノテーション付与ロジック）を更新してもよい。

また、アノテーション付与部２１４が、ユーザ入力によってアノテーションの付与を行う場合、ユーザによって付されたアノテーションをフィードバック情報として用いることにより、アノテーション付与ロジックを更新する構成としてもよい。また、アノテーション付与部２１４は、判別統合情報を参照して、アノテーション付与ロジックを更新してもよい。即ちアノテーション付与部２１４は、ユーザからのフィードバック情報、及び判別統合情報の少なくとも何れかを参照して、アノテーション付与ロジックを更新してもよい。

＜提示用情報取得部２１６、表示部２４４＞
提示用情報取得部２１６は、サーバ１００の提示用情報生成部１１８でアノテーション付系列情報を参照して生成された提示用情報を取得する。

表示部２４４では、提示用情報取得部２１６が取得した提示用情報を表示する。なお、提示用情報は表示部２４４を介して提示される動画像であることに限定されず、スピーカ２４５を介して提示される音声であってもよい。また、学習者用端末装置２００は、後述する講師用端末装置１０００と同様に、操作受付部２４３を介して、ユーザからのフィードバック情報を受け付ける構成としてもよい。

より具体的に言えば、一例として、対象者と講師は、表示部２４４が表示する提示用情報を確認して、対話をしながら、この提示用情報に含まれる重要度判別結果について確認を行う。そして、重要度について修正すべき点があれば、
・何れの箇所を修正すべきか、及び
・どのように修正すべきか
を含む情報を操作受付部２４３に入力する。ここで、重要度について修正すべき点とは、例えば、ある提示用情報に対応する重要度判別結果が、比較的高い重要度を示しているにも関わらず、当該提示用情報は重要でないと対象者によって判断された重要度判別結果等である。操作受付部２４３は、入力された上記情報を含むフィードバック情報を生成し、通信部２２０を介してサーバ１００に送信する構成としてもよい。

＜サーバ１００＞
図１に示すように、上記情報処理システム１のサーバ１００は、制御部１１０、通信部１２０および記憶部１３０を備えている。通信部１２０によって、情報処理システム１に含まれる他の情報処理装置（学習者用端末装置２００、講師用端末装置１０００）と通信を行うことができる。また、記憶部１３０では、他の情報処理装置から送信された情報、サーバで統合した情報等を格納しておくことができる。

制御部１１０は、サーバ１００全体を統括する制御装置であって、系列情報取得部１１２と、重要度判別部１１４と、判別統合部１１６と、提示用情報生成部１１８と、を備えている。また、通信部１２０は、学習者用端末装置２００等の外部の装置との通信処理を行う。記憶部１３０は、各種データを格納する記憶装置である。

＜系列情報取得部１１２＞
系列情報取得部１１２は、対象者に関する系列情報に含まれる各要素にアノテーションが付与されたアノテーション付系列情報を取得する。一例として、系列情報取得部１１２は、各学習者用端末装置２００から送信される各対象者に関する系列情報にアノテーションが付与された情報を、通信部１２０を介して取得する。

＜重要度判別部１１４＞
重要度判別部１１４では、前記対象者に関するアノテーション付系列情報を参照し、当該対象者のアノテーション付系列情報に含まれる各要素の重要度を判別する。

重要度判別部１１４は、重要度を、前記対象者に関する集中度に基づき判別してもよい。一例として、重要度判別部１１４は、集中度が所定の値以上である状態、又は、集中度が所定の値以下である状態が所定の期間以上続いた場合に、当該区間は０でない重要度を有すると判別する。

たとえば、サーバ１００は、下記表のようなアノテーション付系列情報を、各端末装置２００から取得したとする。
時刻 ００：０１ ００：０２ ００：０３ ００：０４ ００：０５
集中度
対象者Ａ １ ５ ５ ３ １
対象者Ｂ １ ５ ５ ５ １
対象者Ｃ ２ ５ ５ ５ ５
この場合、一例として、重要度判別部１１４は、集中度５が２秒以上続いた区間を、０でない重要度を有する区間として判別する。例えば、対象者Ａは、００：０２〜００：０３の２秒間の間、集中度５の状態を保っているので、重要度判別部１１４は、当該区間の重要度は１であると判定する。また、対象者Ｂは、００：０２〜００：０４の３秒間の間、集中度５の状態を保っているので、重要度判別部１１４は、当該区間の重要度は２であると判定する。また、対象者Ｃは、００：０２〜００：０５の４秒間の間、集中度５の状態を保っているので、重要度判別部１１４は、当該区間の重要度は３であると判定する。

同様に、重要度判別部１１４は、集中度１や２が２秒以上続いた区間を、０でない重要度を有する区間として判別する構成とすることができる。

また、例えば重要度判別部１１４は、対象者の理解度が低い箇所である程（或いは高い程）対象となる箇所の重要度が高いものとして判別してもよい。或いは重要度判別部１１４は、講義等において対象者の視線が分散し始めた箇所（或いは視線が集中し始めた箇所）の重要度が高いものとして判別してもよい。

また、他の例として、重要度判別部１１４は、アノテーション付系列情報に対して回帰解析（回帰分析）を行い、当該回帰解析を行うことによって得られた各種のパラメータを参照して、重要度の判別を行う構成としてもよい。例えば、ある対象者に関するアノテーション付系列情報に対して回帰解析を適用し、当該アノテーション付系列情報を示す回帰曲線を示すパラメータを導出する。そして、当該パラメータの値と予め定められたパラメータの値とを対比し、対比結果に応じた重要度の判別を行う構成としてもよい。

また、重要度判別部１１４は、重要度判別処理に用いる判別ロジックを、通信部１２０を介して取得したフィードバック情報を参照して更新する。一例として、重要度判別部１１４が重要度５を付した要素に対して、重要度を下げるべきである旨のフィードバック情報を取得した場合、当該重要度５を付した要素に対してより低い重要度が付されるよう、判別ロジックを更新する。

なお、重要度判別部１１４は、対象者のある期間における視線や動作が、他の対象者のものと乖離している箇所であるほど重要度が高いものとして判別してもよい。また、重要度判別部１１４は、対象者のある期間における視線や動作が、規範となるものとして設定された視線や動作と乖離している箇所であるほど重要度が高いものとして判別してもよい。また、上述した規範となる視線や動作を示す情報は、記憶部１３０等に事前に格納されていてもよい。

また、重要度判別部１１４は、アノテーション付与部２１４が系列情報にアノテーションを付与する場合における判別ロジックを改善することについての寄与度が高い箇所の重要度が高いものとして、重要度判別処理を行ってもよい。

＜判別統合部１１６＞
判別統合部１１６は、複数の対象者Ａ、Ｂ、Ｃ、・・・に関する前記重要度判別部１１４による判別結果を参照し、判別統合情報を生成する。例えば、判別統合部１１６では、各端末装置２００から取得した系列情報を収集して、系列情報を統合することにより、より適切に系列情報の重要度を判別することができる。

一例として、判別統合部１１６は、前記複数の対象者Ａ、Ｂ、Ｃの各々に対する前記重要度判別部１１４による判別結果から、共通する情報を抽出し、前記判別統合情報に含めてもよい。

例えば、重要度判別部１１４が、対象者Ａ、Ｂ、Ｃに対して以下のように重要度を判別したとする。
時刻 ００：０１ ００：０２ ００：０３ ００：０４ ００：０５
重要度
対象者Ａ ０ １ １ ０ ０
対象者Ｂ ０ ２ ２ ２ ０
対象者Ｃ ０ ３ ３ ３ ３
この場合、一例として、判別統合部１１６は、０でない重要度が付された時刻である００：０２が、対象者Ａ、Ｂ、Ｃによって重要であると判断し、当該判断結果を判別統合情報に含める。

また、例えば判別統合部１１６は、対象者のある期間における視線や動作が、他の対象者のものと乖離していることを示す情報、および乖離している度合いを示す情報を、判別統合情報に含めてもよい。また、判別統合部１１６は、対象者のある期間における視線や動作が、規範になるものとして設定された視線や動作と乖離していることを示す情報、および乖離している度合いを示す情報を、判別統合情報に含めてもよい。

また、例えば判別統合部１１６は、対象者の過去の成績記録等の対象者に関する事項を示すメタ情報、又は、対象者が受けている模擬試験等の対象者の環境に関する事項を示すメタ情報を、判別統合情報に含めてもよい。また、上述した各メタ情報は、重要度判別部１１４による判別結果に含まれていてもよい。

また、他の例として、重要度判別部１１４が、アノテーション付系列情報に対して回帰解析を行う構成の場合、判別統合部１１６は、対象者Ａ、Ｂ、Ｃに対する回帰解析によって得られたパラメータのうち、共通する性質を有するパラメータを抽出し、当該パラメータを判別統合情報に含める構成としてもよい。なお、判別統合部１１６は、複数の対象者に対応する回帰モデルを参照して、共通して用いられる回帰モデルを生成してもよい。換言すれば、判別統合部１１６は、複数の判別アルゴリズム、又はそれらが参照するパラメータ等を入力データとし、統合後の判別アルゴリズム、又はそれらが参照すパラメータを出力してもよい。また、対象者又は講師によって系列情報に重要度が入力可能な構成の場合、判別統合部１１６は、例えば複数の講師が重要だと考えた箇所が反映された判別統合情報を生成することができる。

また、判別統合部１１６は、判別統合処理を生成する判別統合処理に用いる判別ロジックを、通信部１２０を介して取得したフィードバック情報を参照して更新する。一例として、判別統合部１１６が重要度５を付した要素に対して、重要度を下げるべきである旨のフィードバック情報を取得した場合、当該重要度５を付した要素に対してより低い重要度が付されるよう、判別ロジックを更新する。

また、判別統合部１１６は、重要度判別ロジックを更新するための情報、または、更新された判別ロジックを生成し、重要度判別部１１４に供給する。重要度判別部１１４は、取得した情報を参照して重要度判別ロジックを更新する。これにより、例えば複数の対象者に対応する系列情報によって、重要度判別処理の結果をより好適なものに更新することができる。

また、判別統合部１１６は、アノテーションの付与に用いる判別ロジックを更新するための情報、または、更新された判別ロジックを生成し、通信部１２０を介して学習者用端末装置２００に送信する。アノテーション付与部２１４は取得した情報を参照して上記判別ロジックを更新する。これにより、例えば複数の対象者に対応する系列情報によって、アノテーションを付与する処理をより好適なものに更新することができる。なお、判別統合部１１６は、上述した各判別ロジックを更新する場合に、自身が生成した判別統合情報を参照してもよい。

なお、アノテーション付与部２１４によるアノテーション付与ロジック、重要度判別部１１４による重要度の判別ロジック、及び判別統合部１１６による統合ロジックは上記の例に限定されるものではない。また、アノテーション付与部２１４、重要度判別部１１４、及び判別統合部１１６による処理は、ルールベースのロジックを用いてもよいし、ニューラルネットワーク等の機械学習を用いてもよいし、その他の手法を用いてもよい。

例えば、以下のような機械学習的手法の何れかまたはそれらの組み合わせを用いることができる。

・サポートベクターマシン（SVM: Support Vector Machine）
・クラスタリング（Clustering）
・帰納論理プログラミング（ILP: Inductive Logic Programming）
・遺伝的アルゴリズム（GP: Genetic Programming）
・ベイジアンネットワーク（BN: Baysian Network）
・ニューラルネットワーク（NN: Neural Network）
ニューラルネットワークを用いる場合、ニューラルネットワークへのインプット用に入力データを予め加工して用いてもよい。このような加工には、データの１次元的配列化、または多次元的配列化に加え、例えば、データオーギュメンテーション（Deta Augumentation）等の手法を用いることができる。

また、ニューラルネットワークを用いる場合、畳み込み処理を含む畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）を用いてもよい。より具体的には、ニューラルネットワークに含まれる１又は複数の層（レイヤ）として、畳み込み演算を行う畳み込み層を設け、当該層に入力される入力データに対してフィルタ演算（積和演算）を行う構成としてもよい。またフィルタ演算を行う際には、パディング等の処理を併用したり、適宜設定されたストライド幅を採用したりしてもよい。

また、ニューラルネットワークとして、数十〜数千層に至る多層型又は超多層型のニューラルネットワークを用いてもよい。上述の機械学習は、教師あり学習であってもよいし、教師なし学習であってもよい。

＜提示用情報生成部１１８＞
提示用情報生成部１１８は、重要度判別部１１４による判別結果と判別統合情報との少なくとも何れかを参照して提示用情報を生成する。例えば、判別統合部１１６で統合された判別統合情報から、各対象者向けに加工した情報がそれぞれの端末装置２００に送信される。なお、生成された統合情報、提示用情報は、記憶部１３０に格納される。

また、例えば、提示用情報生成部１１８は、重要度判別部１１４による判別結果が示す重要度が高い程、対応する情報を優先的に提示用情報に含ませてもよい。また、提示用情報生成部１１８は、判別統合情報に含まれる情報が、対象者のある期間における視線や動作と、他の対象者の視線や動作との乖離している度合いが高いことを示している程、対応する情報を優先的に提示用情報に含ませてもよい。また、提示用情報生成部１１８は、判別統合情報に含まれる情報が、対象者のある期間における視線や動作と、規範になるものとして設定された視線や動作との乖離している度合いが高いことを示している程、対応する情報を優先的に提示用情報に含ませてもよい。

＜講師用端末装置１０００＞
講師用端末装置１０００は、制御部１０１０、操作受付部１０４３、表示部１０４４、スピーカ１０４５、通信部１０２０、記憶部１０３０を備える。

制御部１０１０は、講師用端末装置１０００全体を統括する制御装置であって、提示用情報取得部１０１４、及び、フィードバック情報取得部１０１２を備えている。

通信部１０２０は、サーバ１００等の外部の装置との通信処理を行う。記憶部１０３０は、各種データを格納する記憶装置である。操作受付部１０４３は、講師等の入力操作を受け付けるインターフェースであって、例えばキーボード等のボタンである。表示部１０４４は、動画像を表示する表示パネルである。なお、操作受付部１０４３と表示部１０４４とが、講師等の入力操作を受け付け、且つ動画像を表示するタッチパネルとして実現される構成でもよい。

＜提示用情報取得部１０１４、表示部１０４４＞
提示用情報取得部１０１４は、アノテーション付系列情報を参照してサーバ１００の提示用情報生成部１１８で生成された提示用情報を取得する。

表示部１０４４では、提示用情報取得部１０１４が取得した提示用情報を表示する。

＜フィードバック情報取得部１０１２＞
フィードバック情報取得部１０１２は、ユーザからのフィードバック情報を取得する。一例として、講師は、表示部１０４４が表示する提示用情報を確認して、この提示用情報に含まれる重要度判別結果について確認を行う。そして、重要度について修正すべき点があれば、
・何れの箇所を修正すべきか、及び
・どのように修正すべきか
を含む情報を操作受付部１０４３に入力する。ここで、重要度について修正すべき箇所とは、例えば、ある提示用情報に対応する重要度判別結果が、比較的高い重要度を示しているにも関わらず、当該提示用情報は重要でないと講師によって判断された重要度判別結果等である。操作受付部１０４３は、入力された上記情報を含むフィードバック情報を生成し、通信部１０２０を介してサーバ１００に送信する。

サーバ１００の重要度判別部１１４は、ユーザからのフィードバック情報を参照して、判別ロジックを更新する。

なお、フィードバック情報取得部１０１２は、講師用端末装置１０００に備えられていても、学習者用端末装置２００に備えられていてもよい。

＜視線の検出＞
以下では、系列情報取得部２１２、アノテーション付与部２１４における対象者の視線を検出する仕組みについて説明する。

まず、カメラ２４１が対象者の模擬試験中の様子を撮影する。系列情報取得部２１２では、カメラ２４１で撮影された動画から対象者の顔情報を取得する。対象者の顔情報には、例えば、顔の各部位（例えば、目、鼻、口及び眉等）の位置を示す位置情報、形状を示す形状情報、及び大きさを示す大きさ情報等が含まれる。特に、目の情報からは、対象者が注視する対象に対する対象者の集中度を評価することができる。目の情報としては、例えば目頭および目尻の端点、虹彩および瞳孔等のエッジ等が挙げられる。系列情報取得部２１２は、カメラ２４１から取得した動画に、ノイズ低減、エッジ強調等の補正処理を適宜行ってもよい。系列情報取得部２１２は、抽出した顔情報をアノテーション付与部２１４に送信する。

アノテーション付与部２１４では、系列情報取得部２１２が抽出した顔情報に基づき、対象者の状態を検出する。例えば、対象者の顔の各部位の状態であり、上記対象者の視線、瞳孔の状態、瞬きの回数、眉の動き、頬の動き、瞼の動き、唇の動きおよび顎の動きのうち少なくとも１つを検出する。

対象者の視線の検出方法としては、特に限定されないが、例えば、端末装置２００に、点光源（不図示）を設け、点光源からの光の角膜反射像をカメラ２４１で所定時間撮影することにより、対象者の視線の移動先を検出する方法が挙げられる。点光源の種類は特に限定されず、可視光、赤外光が挙げられるが、例えば赤外線ＬＥＤを用いることで、対象者に不快感を与えることなく、視線の検出をすることができる。視線の検出において、視線が所定時間以上移動しない場合は、同じ場所を注視しているといえる。

また、瞳孔の状態を検出する方法としては、特に限定されないが、例えば、ハフ変換を利用して、目の画像から円形の瞳孔を検出する方法等が挙げられる。一般的に、人間は、集中している場合に開瞳する傾向にあるため、瞳孔のサイズを検出することで、対象者の集中度を評価することができる。例えば、瞳孔のサイズを所定時間検出し、所定時間内で瞳孔が大きくなっている時間は、対象者がある対象を注視している可能性が高いといえる。瞳孔のサイズに関して、閾値を設定し、瞳孔のサイズが閾値以上である場合は「開」、瞳孔のサイズが閾値未満である場合は「閉」として評価してもよい。

また、瞬きの回数を検出する方法としては、特に限定されないが、例えば、赤外光対象の目に対して照射し、開眼時と、閉眼時との赤外光量反射量の差を検出する方法等が挙げられる。一般的に、人間は、集中している場合、低い頻度で安定した間隔で瞬きをする傾向にあるため、瞬きの回数を検出することで、対象者の集中度を評価することができる。例えば、瞬きの回数を所定時間検出し、所定時間内で瞬きが安定した間隔で行われている場合、対象者がある対象を注視している可能性が高いといえる。

アノテーション付与部２１４は、対象者の視線、瞳孔の状態および瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きのうち少なくとも１つを検出すればよいが、これらを組み合わせることが好ましい。このように検出方法を組み合わせることで、アノテーション付与部２１４は、ある対象物を視認しているときの対象者の集中度を好適に評価することができる。

目の状態以外では、例えば、眉の内側を持ち上げるか、外側を上げるか等の眉の動き、上瞼を上げる、瞼を緊張させる等の瞼の動き、鼻に皺を寄せる等の鼻の動き、上唇を持ち上げる、唇をすぼめる等の唇の動き、頬を持ち上げる等の頬の動き、顎を下げる等の顎の動き等の顔の各部位の状態が挙げられる。対象者の状態として、顔の複数の部位の状態を組み合わせてもよい。

また、視線の情報に加えて、上述したように、瞳孔の状態、瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きの検出結果を参照することで、対象者の集中度をさらに好適に判別することができる。また、対象者の脈拍データを更に参照して対象者の集中度を判別する構成としてもよい。

アノテーション付与部２１４では、判別された対象者の集中度を、例えば、１〜５の５段階で評価し、アノテーションとして対象者の系列情報に付与する。
§３．動作例 ＜情報処理システム１の動作＞
次に、情報処理システム１の動作について説明する。図２は、本実施形態に係る情報処理システム１の動作例を例示するシーケンス図である。図２を参照しながら、本実施形態の情報処理システム１における提示用情報を生成する処理について説明する。

（ステップＳ１０２）
ステップＳ１０２では、アノテーション付与部２１４が、系列情報取得部２１２で取得された対象者に関する系列情報に含まれる各要素にアノテーションを付与することによって、アノテーション付系列情報を生成する。通信部２２０は、生成されたアノテーション付系列情報を、サーバ１００に送信する。

（ステップＳ１０４）
ステップＳ１０４では、サーバ１００の系列情報取得部１１２が、アノテーション付系列情報が系列情報を取得する。

（ステップＳ１０６）
ステップＳ１０６では、重要度判別部１１４が、対象者に関するアノテーション付系列情報を参照し、当該対象者のアノテーション付系列情報に含まれる各要素の重要度を判別する。

（ステップＳ１０８）
ステップＳ１０８では、判別統合部１１６が、複数の対象者Ａ、Ｂ、Ｃ・・・に関する重要度の判別結果を参照して、判別統合情報を生成する。

（ステップＳ１１０）
ステップＳ１１０では、提示用情報生成部１１８が、重要度判別部１１４による判別結果と判別統合情報との少なくとも何れかを参照して提示用情報を生成する。なお、提示用情報生成部１１８が、重要度判別部１１４による判別結果のみを参照して提示用情報を生成する場合、ステップＳ１０８の処理は必ずしも実行されることを要せず、ステップＳ１０６の処理に続いて本ステップＳ１１０の処理が実行されてもよい。その後、通信部１２０が、生成された提示用情報を各学習者用端末装置２００に送信する。

（ステップＳ１１２）
ステップＳ１１２では、各学習者用端末装置２００の提示用情報取得部２１６が、生成された提示用情報を取得する。

（ステップＳ１１４）
ステップＳ１１４では、提示部（表示部）２４４が、取得した提示用情報を提示する。

また、本ステップＳ１１４では、アノテーション付与部２１４は、提示用情報に含まれる情報を参照して、系列情報にアノテーションを付与する場合に用いる判別ロジックを更新してもよい。

（ステップＳ１１６）
ステップＳ１１６では、端末装置２００（または講師用端末装置１０００）が、フィードバック情報を取得する。フィードバック情報は、上述したように、対象者が講師とともに提示用情報を確認し、判別された重要度の確認・修正を行った結果として生成される。端末装置２００の通信部２２０は、フィードバック情報をサーバ１００に送信する。

（ステップＳ１１８）
ステップＳ１１８では、サーバ１００の重要度判別部１１４または判別統合部１１６が、学習者用端末装置２００からのフィードバック情報を参照して、各判別ロジックを更新する。例えば、重要度判別部１１４は、端末装置２００からの、確認・修正された重要度を含むフィードバック情報に基づいて、重要度の判別ロジックを更新する。

（ステップＳ１２０）
端末装置２００の系列情報取得部２１２が、再び、系列情報を取得すると、アノテーション付与部２１４が、系列情報にアノテーションを付与することによって、アノテーション付系列情報を生成する。以下、ステップＳ１２０〜ステップＳ１３６の工程は、上記ステップＳ１０２〜ステップＳ１１８の工程と同じである。

情報処理システム１では、学習者用端末装置２００が系列情報を取得する度に、上記ステップＳ１０２〜ステップＳ１１８までのステップを繰り返す。

したがって、サーバ１００では、対象者から系列情報を取得する度に、各判別ロジックを更新する。対象者からの系列情報が増加するほど、各判別ロジックが改善され、より好適に各判別を行うができる。

＜アノテーション付与処理、重要度付与処理、及び提示情報生成処理等の他の例１＞
本実施形態に係る情報処理システム１によるアノテーション付与処理、重要度付与処理、及び提示用情報生成処理等は上述の例に限られるものではない。以下では、本実施形態に係る情報処理システム１によるアノテーション付与処理、重要度付与処理、及び提示用情報生成処理等の他の例について説明する。

本例における系列情報は、模擬試験中における対象者の視認対象を記録した情報である。また、図３は、録画の対象となる試験問題の一例を示す図である。図３において、領域Ｒ１〜Ｒ３は、各々の範囲を区別するために事前に規定された領域である。また、マーカー３０１は、対象者の視線の先を示す座標を、模擬試験の問題用紙上の座標として同定するためのマーカーである。

本例に係るアノテーション付与部２１４は、系列情報の記録中において、対象者が試験問題の何れの箇所を視認していたかを示す情報を、系列情報に対して付与する。例えば、アノテーション付与部２１４は、時刻００：０５に対象者が領域Ｒ１を視認していたことを示す情報等を系列情報に付与する。

図４は提示用情報の一例を示す図である。また、図４（Ａ）は、対象となる模擬試験を解く場合において規範となる視線の移動の仕方を時系列上に示した図である。図４（Ｂ）は、当該模擬試験を解いた対象者の視線の移動の仕方を時系列上に示した図である。図４（Ｃ）は、重要度判別部１１４によって系列情報に付与された、各時点における重要度を示す図である。図４の各図において横軸は時間を示している。また、図４（Ｃ）の縦軸は、重要度の高さを示している。

例えば、図４（Ｃ）中、箇所３０３は、対象者が試験問題の全体を一読した際に、視線のばらつきが規範となる視線に比べて大きかったため、重要度判別部１１４が高い重要度を設定した箇所を示している。また、箇所３０４は、対象者が解答の検討を行った際に、解答のポイントとなる領域Ｒ１を視認した割合が低かったために、対象者の理解度が低いものと判定して、重要度判別部１１４が高い重要度を設定した箇所を示している。

なお、重要度判別部１１４は、図４（Ａ）が示す情報と、図４（Ｂ）が示す情報との差異が大きい箇所、或いは小さい箇所に高い重要度を設定してもよいし、対象者が解答のポイントとなる領域を視認した割合が高かった場合に、系列情報中の対応する箇所に高い重要度を設定してもよい。また、図４（Ｃ）には、判別統合部１１６が生成した統合判別情報として、他のユーザに対応する系列情報に設定された重要度を示す情報を、ユーザが比較可能なように含める構成としてもよい。

図５は、学習者用端末装置２００の表示部２４４（或いは講師用端末装置１０００の表示部１０４４）に表示される提示用情報の一例を示す図である。
図５において、オブジェクト３１１、３１２及び３１３は、それぞれ図４（Ａ）、図４（Ｂ）及び図４（Ｃ）に対応する。

画面３１５は、対象者の視認対象を記録した映像の再生画面である。また、当該画面においては、マーカー３０１は表示されずともよい。

シークバー３１６中のオブジェクト３１７、及びオブジェクト３１４は、画面３１５において、対象者の視認対象を記録した映像の何れの箇所を再生しているかを示している。また、映像を再生する箇所は、オブジェクト３１６又はオブジェクト３１７を左右にスライドさせることによって変更可能であってもよい。オブジェクト３１８は、当該映像の再生を制御するための操作パネルである。

また、映像を再生する箇所は、画面３１５中の文章の一部を選択することによって変更可能であってもよい。つまり、文章の一部が選択された場合、対象者が当該文章の一部を視認していた箇所から映像の再生が始まる構成としてもよい。

また、表示部２４４は、図５に例示される画面に、対象者が試験問題の何れの箇所をどの程度見ていたかの割合を示す円グラフ等を含ませて表示してもよい。また、上述した規範となる視線についての円グラフ等についても同様である。

また、操作受付部２４３は、映像の各箇所に対応するコメント等の入力を受け付ける。入力されたコメント等は、フィードバック情報として通信部２２０を介してサーバ１００に送信される。

＜アノテーション付与処理、重要度付与処理、及び提示情報生成処理等の他の例２＞
本実施形態に係る情報処理システム１によるアノテーション付与処理、重要度付与処理、及び提示用情報生成処理の他の例について説明する。なお、既に上記の例において説明した事項についての重複する説明を繰り返さない。

本例における系列情報は、飲食店等における接客作業を学習する対象者の視認対象を記録した情報である。また、図６は、接客作業の学習中における対象者の視認対象の一例を示す図である。図６に示す画像は、店員である学習者から見た飲食店内の様子であり、当該画像には、客、自分の手元、自分以外の店員、及びテーブル等が表示されている。

また図７は、学習者の視認対象、発話（発話内容及び声のトーン）、動作及び集中度（瞬き、瞳孔の状態、視線停留時間及び表情）についてのデータの一例を示す表であって、本例に係るアノテーション付与部２１４が、各時点において系列情報に付与したアノテーションの一例を示す表である。

図７に示すように、アノテーション付与部２１４は、一例として、各時点において、視認対象、発話、動作、及び集中度を、アノテーションとして付与する。また、イベントとは、学習者又はベテラン接客者がオブジェクトを視認したタイミングから所定時間内に行われる一連の意思決定（発話及び動作等）のまとまりである。一例において、イベントには、タイミング、視認対象、発話、動作、及び集中度が含まれ、それぞれのイベントはＩＤによって識別可能である。

また、目の状態以外では、例えば、眉の内側を持ち上げるか、外側を上げるか等の眉の動き、上瞼を上げる、瞼を緊張させる等の瞼の動き、鼻に皺を寄せる等の鼻の動き、上唇を持ち上げる、唇をすぼめる等の唇の動き、頬を持ち上げる等の頬の動き、顎を下げる等の顎の動き等の顔の各部位の状態が挙げられる。学習者の状態として、顔の複数の部位の状態を組み合わせてもよい。

学習者の集中度を顔の表情から判断する方法としては、例えば、眉が上方向に動いた場合には、視認対象をより注視しているため集中していると判断することができる。また、例えば、人の顔を視認しているときに頬が上方向に動いた場合には、相手に対して表情を作っているとして、視認対象に集中していると判断することができる。

また、図８は、記憶部１３０に予め記憶されているベテラン接客者のデータの一例を示す表である。図８は、ベテラン接客者のデータの一例として、オブジェクトを視認したタイミング、視認対象、発話内容、声のトーン、動作及び集中度を示している。

また、図９は、図７に示す学習者のデータと図８に示すベテラン接客者のデータとの「ずれ」の情報（表中の「＋／−」又は「＋／−」を用いた（学習者−ベテラン接客者）の値によって示される定量的な情報）、又はベテラン接客者のデータに一致するかどうかの情報（表中の「○／×」によって示される定性的な情報）である。図９に示すように、学習者のデータとベテラン接客者とのデータが一致しない場合は、ベテラン接客者のデータ（表中の「正解」）を含むものであってもよい。

重要度判別部１１４は、図７〜図９に示す情報を参照して、対象者のアノテーション付系列情報に含まれる各要素の重要度を判別する。例えば、図９のイベントＩＤ「４」に対応する情報は、ベテラン接客者が「ご注文を確認いたします」と発話した箇所であるにも関わらず、対象者はそのような発話を行わなかったことを示している。このようなベテラン接客者と対象者との動作の差異が大きい系列情報中の箇所に対して、重要度判別部１１４は、他の箇所よりも高い重要度を設定してもよい。

また、例えばイベントＩＤ「３」に対応する情報は、当該情報に対応する動作を行うタイミングについて、ベテラン接客者と対象者とで７秒もの誤差があることを示している。このようなベテラン接客者と対象者との動作のタイミングの差異が大きい系列情報中の箇所に対して、重要度判別部１１４は、他の箇所よりも高い重要度を設定してもよい。また、例えば重要度判別部１１４は、対象者の集中度が所定の閾値よりも低い箇所には、仮にベテラン接客者の集中度との差異が比較的小さかったとしても、他の箇所よりも高い重要度を設定してもよい。

また、図５に例示した提示用情報の再生画面の構成は、本例においても適用可能である。また、提示用情報生成部１１８は、図５の画面３１５中に、対象となるタイミングにおいてベテラン接客者と対象者との動作の差異があったこと及び差異の内容を示すテキスト等が含まれるように提示用情報を生成してもよい。
＜アノテーション付与処理、重要度付与処理、及び提示情報生成処理等の他の例３＞
本実施形態に係る情報処理システム１によるアノテーション付与処理、重要度付与処理、及び提示用情報生成処理の更に他の例について説明する。なお、既に上記の例において説明した事項についての重複する説明を繰り返さない。

本例における系列情報は、一例として、ＦＡ（factory automation）における組立員の動作を撮像した動画データ、組立員に付されたウェアラブルカメラでの撮像データ、組立の音、視認対象を記録した情報である。なお、組立員は、同一製品を組み立てる複数組立員であってもよいし、別ラインで同一製品を組み立てる組立員であってもよい。

図１０は、対象者の視認対象、動作、集中度（瞬き、視線停留時間および瞳孔の状態）、組立の音についてのデータの一例を示す表であって、本例に係るアノテーション付与部２１４が、各時点において系列情報に付与したアノテーションの一例を示す表である。図１０に示すように、アノテーション付与部２１４は、一例として、各時点において、視認対象、発話、動作、集中度、及び組立の音を、アノテーションとして付与する。

また、図１１は、記憶部１３０に予め記憶されているベテラン組立員のデータの一例を示す表である。図１１は、ベテラン組立員のデータの一例として、オブジェクトを視認したタイミング、視認対象、動作、集中度、および組立の音を示している。 また、図１２は、図１０に示す対象者のデータと図１１に示すベテラン組立員のデータとの「ずれ」の情報（表中の「＋／−」又は「＋／−」を用いた（対象者−ベテラン組立員）の値によって示される定量的な情報）、又はベテラン組立員のデータに一致するかどうかの情報（表中の「○／×」によって示される定性的な情報）である。図１２に示すように、対象者のデータとベテラン組立員とのデータが一致しない場合は、ベテラン組立員のデータ（表中の「正解」）を含むものであってもよい。

重要度判別部１１４は、図１０〜図１２に示す情報を参照して、対象者のアノテーション付系列情報に含まれる各要素の重要度を判別する。例えば、図１０のイベントＩＤ「３」に対応する情報は、ベテラン組立員が部品Ｂの端部を左手で取っているのに対して、対象者は部品Ｂの中央部を右手で取っていることを示している。このようなベテラン組立員と対象者との動作の差異が大きい系列情報中の箇所に対して、重要度判別部１１４は、他の箇所よりも高い重要度を設定してもよい。

また、例えばイベントＩＤ「７」に対応する情報は、部品Ａに部品Ｂを組み付ける工程であるが、ベテラン組立員と対象者とで１８秒もの誤差があることを示している。したがって、同じ組み付け動作に要する時間がベテラン組立員と対象者とで１８秒もの差があることを示している。同じ動作に要する時間の差異が大きい系列情報中の箇所に対して、重要度判別部１１４は、他の箇所よりも高い重要度を設定してもよい。また、例えば重要度判別部１１４は、対象者の集中度が所定の閾値よりも低い箇所には、仮にベテラン組立員の集中度との差異が比較的小さかったとしても、他の箇所よりも高い重要度を設定してもよい。あるいは、組立員によって各イベントの重要度を指定してもよい。

提示用情報生成部は、上記重要度判別結果を統合して、例えば、下記のような提示用情報を生成してもよい。

・対象者向けに、各工程における改善すべき点、注意すべき点を提示する提示情報を生成してもよい。上記提示情報に基づいて、難しい工程、間違えやすい工程等重要度の高い工程をクローズアップやスロー再生した新人組立員向けのビデオによる作業マニュアルを作成してもよい。

・管理者による組立員管理のために、各組立員のパフォーマンスの時系列変化、複数の組立員が間違える箇所について提示した提示情報を生成してもよい。

・さらに、各工程の改善のために、ほとんどの組立員が間違える箇所について、工程順を変える、工程を複数の工程に分離する、あるいは複数の工程を統合するなど、工程自体における改善すべき点について提示した提示情報を生成してもよい。

また、図５に例示した提示用情報の再生画面の構成は、本例においても適用可能である。また、提示用情報生成部１１８は、図５の画面３１５中に、対象となるタイミングにおいてベテラン組立員と対象者との動作の差異があったこと及び差異の内容を示すテキスト等が含まれるように提示用情報を生成してもよい。
＜アノテーション付与処理、重要度付与処理、及び提示情報生成処理等の他の例４＞
本実施形態に係る情報処理システム１によるアノテーション付与処理、重要度付与処理、及び提示用情報生成処理の更に他の例について説明する。ここでも、既に上記の例において説明した事項についての重複する説明を繰り返さない。

本例における系列情報は、一例として、調理場面における調理人の動作を撮像した動画データ、調理人に付されたウェアラブルカメラでの撮像データ、調理の音、視認対象を記録した情報である。調理人は、同一メニューを調理する複数の調理人であって、各家庭で個人的に調理を習得したい調理人であってもよいし、飲食店、スーパーマーケット内の厨房で調理を行う従業員であってもよい。

図１３は、対象者の視認対象、動作、集中度（瞬き、視線停留時間および瞳孔の状態）、調理の音についてのデータの一例を示す表であって、本例に係るアノテーション付与部２１４が、各時点において系列情報に付与したアノテーションの一例を示す表である。図１３に示すように、アノテーション付与部２１４は、一例として、各時点において、視認対象、発話、動作、及び集中度を、アノテーションとして付与する。

また、図１４は、記憶部１３０に予め記憶されているベテラン調理人のデータの一例を示す表である。図１４は、ベテラン調理人のデータの一例として、オブジェクトを視認したタイミング、視認対象、動作、集中度、および調理の音を示している。 また、図１５は、図１３に示す対象者のデータと図１４に示すベテラン調理人のデータとの「ずれ」の情報（表中の「＋／−」又は「＋／−」を用いた（対象者−ベテラン調理人）の値によって示される定量的な情報）、又はベテラン調理人のデータに一致するかどうかの情報（表中の「○／×」によって示される定性的な情報）である。図１５に示すように、対象者のデータとベテラン調理人とのデータが一致しない場合は、ベテラン調理人のデータ（表中の「正解」）を含むものであってもよい。

重要度判別部１１４は、図１３〜図１５に示す情報を参照して、対象者のアノテーション付系列情報に含まれる各要素の重要度を判別する。例えば、図１３のイベントＩＤ「３」に対応する情報では、ベテラン調理人が、包丁を持つ際に、人差し指を包丁の背に乗せ、中指と親指で包丁を掴むのに対して、対象者は包丁を親指と人差し指で掴んでいることを示している。このようなベテラン調理人と対象者との動作の差異が大きい系列情報中の箇所に対して、重要度判別部１１４は、他の箇所よりも高い重要度を設定してもよい。

また、例えばイベントＩＤ「５」に対応する情報は、食材を切る場面において、ベテラン調理人と対象者とで８秒もの誤差があることを示している。したがって、同じ調理動作に要する時間がベテラン調理人と対象者とで８秒もの差があることを示している。同じ動作に要する時間の差異が大きい系列情報中の箇所に対して、重要度判別部１１４は、他の箇所よりも高い重要度を設定してもよい。また、例えば重要度判別部１１４は、対象者の集中度が所定の閾値よりも低い箇所には、仮にベテラン調理人の集中度との差異が比較的小さかったとしても、他の箇所よりも高い重要度を設定してもよい。あるいは、調理人によって、難しい工程、または味、品質に影響する工程等に高い重要度を指定してもよい。

提示用情報生成部は、上記重要度判別結果を統合して、例えば、下記のような提示用情報を提示してもよい。

・対象者向けに、各調理場面における改善すべき点、注意すべき点を提示する提示情報を生成してもよい。上記提示情報に基づいて、難しい工程、間違えやすい工程等重要度の高い工程をクローズアップやスロー再生したビデオによる調理マニュアルを作成してもよい。

・対象者が飲食店、スーパーマーケット内の厨房で調理する従業員である場合には、管理者による調理人の管理のために、各調理人のパフォーマンスの時系列変化、複数の調理人が間違える箇所について提示した提示情報を生成してもよい。

・さらに、各工程の改善のために、ほとんどの調理人が間違える箇所について、工程順を変える、工程を複数の工程に分離する、あるいは複数の工程を統合するなど、工程自体における改善すべき点について提示した提示情報を生成してもよい。

また、図５に例示した提示用情報の再生画面の構成は、本例においても適用可能である。また、提示用情報生成部１１８は、図５の画面３１５中に、対象となるタイミングにおいてベテラン組立員と対象者との動作の差異があったこと及び差異の内容を示すテキスト等が含まれるように提示用情報を生成してもよい。
＜アノテーション付与処理、重要度付与処理、及び提示情報生成処理等の他の例５＞
本実施形態に係る情報処理システム１によるアノテーション付与処理、重要度付与処理、及び提示用情報生成処理の更に他の例について説明する。ここでも、既に上記の例において説明した事項についての重複する説明を繰り返さない。

本例における対象者には、スポーツにおけるプレーヤが含まれる。アノテーションは、コーチが付与してもよいし、アノテーション付与部２１４が付与してもよいし、その組み合わせであってもよい。

また、複数のプレーヤに対して、一人のコーチがアノテーションを付与してもよいし、
一人のプレーヤに対して、複数のコーチがアノテーションを付与してもよい。さらに、複数のプレーヤに対して、複数のコーチがアノテーションを付与してもよい。

或いは、別々に学習された複数のアノテーション付与部２１４を備える構成とし、一人のプレーヤに対して、複数のアノテーション付与部がアノテーションを付与してもよい。さらに、複数のプレーヤに対して、複数のアノテーション付与部がアノテーションを付与してもよい。

本例における系列情報は、一例として、プレーヤの画像、音声、体のセンシングデータである。プレーヤは、どのスポーツのプレーヤであってもよいが、ここでは、例えば、野球のプレーヤ(バッター）を例に説明する。また、プレーヤは、プロスポーツ選手であってもよいし、学生または社会人プレーヤであってもよい。

図１６は、プレーヤＡ(打率の低いプレーヤ）の視認対象、動作、および集中度（瞬き、視線停留時間および瞳孔の状態）についてのデータの一例を示す表であって、本例に係るアノテーション付与部２１４が、各時点において系列情報に付与したアノテーションの一例を示す表である。アノテーション付与部２１４は、一例として、各時点において、視認対象、発話、動作、及び集中度を、アノテーションとして付与する。

また、図１７は、プレーヤＢ(打率の高いプレーヤ）のデータの一例として、オブジェクトを視認したタイミング、視認対象、動作、集中度、およびプレイの音を示している。

また、図１８は、図１６に示すプレーヤＡのデータと図１７に示すプレーヤＢのデータとの「ずれ」の情報（表中の「＋／−」又は「＋／−」を用いた（プレーヤＡ−プレーヤＢ）の値によって示される定量的な情報）、又はプレーヤＢのデータに一致するかどうかの情報（表中の「○／×」によって示される定性的な情報）である。図１８に示すように、プレーヤＡのデータとプレーヤＢとのデータが一致しない場合は、プレーヤＢのデータ（表中の「正解」）を含むものであってもよい。

重要度判別部１１４は、図１６〜図１８に示す情報を参照して、各プレーヤのアノテーション付系列情報に含まれる各要素の重要度を判別する。例えば、図１６のイベントＩＤ「１」に対応する情報では、プレーヤＢはバットを短めに持っているのに対して、プレーヤＡはバットを長めに持っていることを示している。このようなプレーヤ間で動作の差異が大きい系列情報中の箇所に対して、重要度判別部１１４は、他の箇所よりも高い重要度を設定してもよい。

また、例えばイベントＩＤ「３」に対応する情報は、プレーヤＡのスイング速度は１３５Ｋｍ／時であるのに対して、プレーヤＢのスイング速度は１４８Ｋｍ／時と１３ｋｍ／時もの誤差があることを示している。同じ動作を行う速度の差異が大きい系列情報中の箇所に対して、重要度判別部１１４は、他の箇所よりも高い重要度を設定してもよい。また、例えば重要度判別部１１４は、プレーヤの集中度が所定の閾値よりも低い箇所には、他の箇所よりも高い重要度を設定してもよい。あるいは、プレーヤによって差異が大きく出る動作等に高い重要度を指定してもよい。

提示用情報生成部は、上記重要度判別結果を統合して、例えば、各プレーヤ向けに、複数のコーチによってアノテーションを付与した情報を統合して各プレーヤのプレイの改善すべき点、改善すべきプレイの部分（画像のシーン）を提示する提示情報を生成してもよい。

また、複数のプレーヤに対して一人または複数のコーチがアノテーションを付与した情報を統合して、コーチ等指導者向けに、指導の改善点を提示する提示情報を生成してもよい。更に、上記提示情報に基づいて、バッティングを成功させるために重要なシーンをクローズアップやスロー再生した指導用のビデオによるマニュアルを作成してもよい。

上記の例では、系列情報としてバッティングのような個々のプレーヤによるプレイを入力する場合を例にして説明したが、系列情報としては、たとえば、サッカーにおけるフォーメーションなど複数プレーヤのよるプレイ、動作等を対象としてもよい。

更に、入力データに、試合の観戦者に対する情報を含んでもよい。例えば、観戦者の様子を撮像した動画データ、観戦者の視線情報、観戦者が発する音声を入力データとしてもよい。

これらの観戦者に関するデータに基づいて、試合中の各シーンについて観戦者の注目度、興奮度をアノテーションとして付与してもよい。

提示情報生成部は、プレーヤ、コーチ向けの、観戦者の注目度が高かったシーンを提示する提示情報を生成してもよい。

以下では、アノテーション付与処理、重要度付与処理、及び提示情報生成処理等のその他の例について説明する。
＜アノテーション付与処理、重要度付与処理、及び提示情報生成処理等の他の例６＞
本実施形態に係る情報処理システム１によるアノテーション付与処理、重要度付与処理、及び提示用情報生成処理の更に他の例について説明する。ここでも、既に上記の例において説明した事項についての重複する説明を繰り返さない。

本例では、実世界に存在するプレーヤが操作するキャラクタが仮想空間上で対戦等を行うエレクトロニックスポーツ（ｅスポーツ）を例に挙げる。なお、上記のプレーヤは、同一のｅスポーツをプレイする複数のプレーヤであってもよい。

本例における系列情報は、一例として、プレーヤによるパソコン、ゲーム操作部等へのインプットを含む。また、本例における系列情報は、これらのインプットに基づき生成される仮想空間上のキャラクタの動作に関する情報を含んでもよい。また、系列情報は、プレーヤの画像、音声、体のセンシングデータを含んでもよい。更に、本例における系列情報は、上記スポーツの場合と同様、ｅスポーツの観戦者に対する情報を含んでもよい。観戦者の注目度、興奮度に対する情報を含んでもよい。

アノテーション付与部２１４は、系列情報を参照し、一例として、各時点において、キャラクタの動作、観戦者の注目度、及び興奮度を、アノテーションとして付与する。

重要度判別部１１４は、複数のプレーヤのアノテーション付系列情報を参照し、これらのアノテーション付系列情報に含まれる各要素の重要度を判別する。例えば、キャラクタ間で動作の差異が大きい系列情報中の箇所に対して、重要度判別部１１４は、他の箇所よりも高い重要度を設定してもよい。

また、例えば重要度判別部１１４は、プレーヤの集中度が所定の閾値よりも低い箇所には、他の箇所よりも高い重要度を設定してもよい。あるいは、プレーヤによって差異が大きく出る動作等に高い重要度を指定してもよい。

そして、提示情報生成部は、プレーヤ向けに、ｅスポーツ観戦者の注目度が高かったシーンを提示する提示情報を生成してもよい。

また、提示用情報生成部は、上記重要度判別結果を統合して、例えば、各プレーヤ向けに、各プレーヤのプレイの改善すべき点、改善すべきプレイの部分を提示する提示情報を生成してもよい。
＜アノテーション付与処理、重要度付与処理、及び提示情報生成処理等の他の例７＞
本実施形態に係る情報処理システム１によるアノテーション付与処理、重要度付与処理、及び提示用情報生成処理の更に他の例について説明する。ここでも、既に上記の例において説明した事項についての重複する説明を繰り返さない。

本例における系列情報は、オフィスワークにおけるオフィスワーカの動作を撮像した動画データ、オフィスワーカに付されたウェアラブルカメラでの撮像データ、作業の音、視認対象を記録した情報である。また、系列情報には、キーボードやマウス等の端末装置の操作履歴、アプリケーションの使用履歴等を含んでもよい。

アノテーション付与部２１４は、一例として、各時点において、視認対象、発話、動作、集中度、作業音、端末装置の操作履歴、及びアプリケーションの使用履歴等に関する情報を、アノテーションとして付与する。

重要度判別部１１４は、一例として対象のオフィスワーカ（対象者）のアノテーション付系列情報と、基準となるアノテーション付系列情報とを参照することによって、対象者のアノテーション付系列情報に含まれる各要素の重要度を判別する。ここで、基準となるアノテーション付系列情報には、ベテラン等の他のオフィスワーカのアノテーション付系列情報が含まれてもよい。

例えば、重要度判別部１１４は、対象者のテキスト入力に係る時間が、他のオフィスワーカに比べて長い場合に、より高い重要度を設定してもよい。また、重要度判別部１１４は、対象者の表計算に係る時間が、他のオフィスワーカに比べて長い場合に、より高い重要度を設定してもよい。

提示用情報生成部は、上記重要度判別結果を統合して、例えば、下記のような提示用情報を提示してもよい。

・対象者向けに、各作業場面における改善すべき点、注意すべき点を提示する提示情報を生成してもよい。上記提示情報に基づいて、難しい作業、間違えやすい作業等重要度の高い作業をクローズアップやスロー再生したビデオによる作業マニュアルを作成してもよい。

・さらに、各作業内容の改善のために、ほとんどのオフィスワーカが間違える作業について、作業順を変える、作業を複数の作業に分離する、あるいは複数の作業を統合するなど、作業自体における改善すべき点について提示した提示情報を生成してもよい。
＜アノテーション付与処理、重要度付与処理、及び提示情報生成処理等の他の例８＞
本実施形態に係る情報処理システム１によるアノテーション付与処理、重要度付与処理、及び提示用情報生成処理の更に他の例について説明する。ここでも、既に上記の例において説明した事項についての重複する説明を繰り返さない。

本例における系列情報は、一例として、電話オペレータ（対象者）の動作を撮像した動画データ、電話オペレータに付されたウェアラブルカメラでの撮像データ、電話相手とのやり取りの音声データ、作業の音、視認対象を記録した情報である。また、系列情報には、キーボードやマウス等の端末装置の操作履歴を含んでもよい。

アノテーション付与部２１４は、一例として、各時点において、対象者の視認対象、発話、動作、集中度、作業音、端末装置の操作履歴、及びアプリケーションの使用履歴等に関する情報を、アノテーションとして付与する。また、アノテーション付与部２１４は、各時点における対象者の緊張度を推定し、当該緊張度を示す指標をアノテーションとして付与してもよい。なお、緊張度の推定アルゴリズムについては公知のアルゴリズムを用いることができる。

重要度判別部１１４は、一例として、対象者のアノテーション付系列情報と、基準となるアノテーション付系列情報とを参照することによって、対象者のアノテーション付系列情報に含まれる各要素の重要度を判別する。ここで、基準となるアノテーション付系列情報には、ベテラン等の他の電話オペレータのアノテーション付系列情報が含まれてもよい。

例えば、重要度判別部１１４は、対象者の緊張度が、他の電話オペレータに比べて高い場合に、より高い重要度を設定してもよい。また、重要度判別部１１４は、特定の電話相手に対する緊張度が、他の電話相手に対する緊張度よりも高い場合に、より高い重要度を設定してもよい。

提示用情報生成部は、上記重要度判別結果を統合して、例えば、下記のような提示用情報を提示してもよい。

・対象者向けに、各電話対応場面における改善すべき点、注意すべき点を提示する提示情報を生成してもよい。上記提示情報に基づいて、難しい電話対応、間違えやすい電話対応等の重要度の高い作業をクローズアップやスロー再生したビデオによる作業マニュアルを作成してもよい。

・さらに、管理者向けに、ほとんどの電話対応者の緊張度が高い電話対応内容や電話相手を示す提示情報を生成してもよい。
＜アノテーション付与処理、重要度付与処理、及び提示情報生成処理等の他の例９＞
本実施形態に係る情報処理システム１によるアノテーション付与処理、重要度付与処理、及び提示用情報生成処理の更に他の例について説明する。ここでも、既に上記の例において説明した事項についての重複する説明を繰り返さない。

本例における系列情報は、一例として、自動車学校における生徒（対象者）の動作を撮像した動画データ、対象者に付されたウェアラブルカメラでの撮像データ、教官とのやり取りの音声データ、運転動作の音、視認対象を記録した情報である。また、系列情報には、ハンドルやブレーキといった操作部のセンシングデータを含んでもよい。

アノテーション付与部２１４は、一例として、各時点において、視認対象、動作、集中度、発話、運転動作音、及び操作部の操作履歴等に関する情報を、アノテーションとして付与する。また、アノテーション付与部２１４は、各時点における対象者の緊張度を推定し、当該緊張度を示す指標をアノテーションとして付与してもよい。なお、緊張度の推定アルゴリズムについては公知のアルゴリズムを用いることができる。

重要度判別部１１４は、一例として、対象者のアノテーション付系列情報と、基準となるアノテーション付系列情報とを参照することによって、対象者のアノテーション付系列情報に含まれる各要素の重要度を判別する。ここで、基準となるアノテーション付系列情報には、教官等の模範的ドライバーのアノテーション付系列情報が含まれてもよい。

例えば、重要度判別部１１４は、あるカーブを曲がる際に、対象者がハンドルを切り始めるタイミングと模範的ドライバーがハンドルを切り始めるタイミングが所定の値よりも大きい場合に、より高い重要度を設定してもよい。また、重要度判別部１１４は、特定のコースにおける緊張度が、他のコースにおける緊張度よりも高い場合に、より高い重要度を設定してもよい。

提示用情報生成部は、上記重要度判別結果を統合して、例えば、下記のような提示用情報を提示してもよい。

・対象者向けに、各運転シーンにおける改善すべき点、注意すべき点を提示する提示情報を生成してもよい。上記提示情報に基づいて、難しい運転シーン等の重要度の高い運転をクローズアップやスロー再生したビデオによる運転マニュアルを作成してもよい。

・さらに、教官向けに、ほとんどの生徒の緊張度が高いコースや運転シーンを示す提示情報を生成してもよい。

＜実施形態２＞
本発明における、情報処理システムの構成は、上述のものに限られない。図１０は、実施形態２に係る情報処理システム１の構成例を模式的に例示するブロック図である。実施形態２の情報処理システム１では、重要度判別部２１５が、サーバ１００に備えられず、学習者用端末装置２００に備えられている点が、実施形態１の情報処理システム１と異なるが、他の構成は同一である。

次に、実施形態２の情報処理システム１の動作について説明する。図１１は、実施形態２に係る情報処理システム１の動作例を例示するシーケンス図である。図１１を参照しながら、実施形態２の情報処理システム１における提示用情報を生成する処理について説明する。

（ステップＳ２０２）
ステップＳ２０２では、アノテーション付与部２１４が、系列情報取得部２１２で取得された対象者に関する系列情報に含まれる各要素にアノテーションを付与することによって、アノテーション付系列情報を生成する。

（ステップＳ２０６）
ステップＳ２０６では、重要度判別部２１５が、アノテーション付与部２１４で生成された対象者に関するアノテーション付系列情報を参照し、当該対象者のアノテーション付系列情報に含まれる各要素の重要度を判別する。学習者用端末装置２００の通信部２２０は、上記重要度判別結果を、サーバ１００に送信する。

（ステップＳ２０７）
ステップＳ２０７では、サーバ１００の系列情報取得部１１２が、上記重要度判別結果を受信する。

（ステップＳ２０８）
ステップＳ２０８では、サーバ１００の判別統合部１１６が、複数の対象者Ａ、Ｂ、Ｃ・・・に関する重要度の判別結果を参照して、判別統合情報を生成する。

（ステップＳ２１０）
ステップＳ２１０では、提示用情報生成部１１８が、重要度判別部２１５による判別結果と判別統合情報との少なくとも何れかを参照して提示用情報を生成する。なお、提示用情報生成部１１８が、重要度判別部２１５による判別結果のみを参照して提示用情報を生成する場合、ステップＳ２０８の処理は必ずしも実行されることを要せず、ステップＳ２０７に続いて本ステップＳ２１０の処理が実行されてもよい。サーバ１００の通信部１２０は、生成された提示用情報を各学習者用端末装置２００に送信する。

（ステップＳ２１２）
ステップＳ２１２では、各学習者用端末装置２００の提示用情報取得部２１６が、生成された提示用情報を取得する。

（ステップＳ２１４）
ステップＳ２１４では、提示部（表示部）２４４が、取得した提示用情報を提示する。

また、本ステップＳ２１４では、アノテーション付与部２１４は、提示用情報に含まれる情報を参照して、系列情報にアノテーションを付与する場合に用いる判別ロジックを更新してもよい。

（ステップＳ２１６）
ステップＳ２１６では、端末装置２００が、フィードバック情報を取得する。フィードバック情報は、上述したように、対象者が講師とともに提示用情報を確認し、判別された重要度の確認・修正を行った結果として生成される。フィードバック情報は、端末装置２００からサーバ１００に送信される。

（ステップＳ２１８）
ステップＳ２１８では、学習者用端末装置２００の重要度判別部２１５が、上記フィードバック情報に基づいて、判別ロジックを更新する。例えば、重要度判別部２１５は、確認・修正された重要度を含むフィードバック情報に基づいて、重要度の判別ロジックを更新する。また、サーバ１００の判別統合部１１６も、フィードバック情報に基づいて、判別統合ロジックを更新する。

（ステップＳ２２０）
端末装置２００の系列情報取得部２１２が、再び、系列情報を取得すると、ステップS２２０では、アノテーション付与部２１４が、系列情報にアノテーションを付与することによって、アノテーション付系列情報を生成する。以下、ステップＳ２２０〜ステップＳ２３６の工程は、上記ステップＳ２０２〜ステップＳ２１８の工程と同じである。

実施形態２の情報処理システム１では、学習者用端末装置２００が系列情報を取得する度に、上記ステップＳ２０２〜ステップＳ２１８までのステップを繰り返す。

したがって、学習者用端末装置２００の重要度判別部２１５では、対象者から系列情報を取得する度に、重要度判別ロジックを更新する。対象者からの系列情報が増加するほど、重要度判別ロジックが改善され、より好適に重要度を判別することができる。また、判別統合部１１６が判別統合処理に用いる判別ロジックについても同様である。

＜実施形態３＞
図１２は、実施形態３に係る情報処理システム１の構成例を模式的に例示するブロック図である。実施形態３の情報処理システムでは、提示用情報生成部１０１３が、サーバ１００に備えられず、講師用端末装置１０００に備えられている点が、実施形態１の情報処理システムと異なるが、他の構成は同一である。

次に、実施形態３の情報処理システム１の動作について説明する。図１３は、実施形態３に係る情報処理システム１の動作例を例示するシーケンス図である。図１３を参照しながら、実施形態３の情報処理システム１における提示用情報を生成する処理について説明する。

（ステップＳ３０２）
ステップＳ３０２では、アノテーション付与部２１４が、系列情報取得部２１２で取得された対象者に関する系列情報に含まれる各要素にアノテーションを付与することによって、アノテーション付系列情報を生成する。通信部２２０は、生成されたアノテーション付系列情報を、サーバ１００に送信する。

（ステップＳ３０４）
ステップＳ３０４では、サーバ１００の系列情報取得部１１２が、アノテーション付系列情報を取得する。

（ステップＳ３０６）
ステップ３０６では、重要度判別部１１４が、対象者に関するアノテーション付系列情報を参照し、当該対象者のアノテーション付系列情報に含まれる各要素の重要度を判別する。

（ステップＳ３０８）
ステップＳ３０８では、判別統合部１１６が、複数の対象者Ａ、Ｂ、Ｃ・・・に関する重要度の判別結果を参照して、判別統合情報を生成する。生成された判別統合情報は、講師用端末装置１０００に送信される。

（ステップＳ３１０）
ステップＳ３１０では、講師用端末装置１０００の提示用情報生成部１０１３が、重要度判別部１１４による判別結果と判別統合情報との少なくとも何れかを参照して提示用情報を生成する。なお、提示用情報生成部１０１３が、重要度判別部１１４による判別結果のみを参照して提示用情報を生成する場合、ステップＳ３０８の処理は必ずしも実行されることを要せず、ステップＳ３０６における判別結果が講師用端末装置１０００に送信され、続いて本ステップＳ３１０の処理が実行されてもよい。生成された提示用情報は、各学習者用端末装置２００に送信される。

（ステップＳ３１２）
ステップＳ３１２では、各学習者用端末装置２００において、提示用情報取得部２１６が、生成された提示用情報を取得する。

（ステップＳ３１４）
ステップＳ３１４では、提示部（表示部）２４４が、取得した提示用情報を提示する。

また、本ステップＳ３１４では、アノテーション付与部２１４は、提示用情報に含まれる情報を参照して、系列情報にアノテーションを付与する場合に用いる判別ロジックを更新してもよい。

（ステップＳ３１６）
ステップＳ３１６では、講師用端末装置１０００が、フィードバック情報を取得する。フィードバック情報は、上述したように、対象者が講師とともに提示用情報を確認し、判別された重要度の確認・修正を行った結果として生成される。フィードバック情報は、講師用端末装置１０００からサーバ１００に送信される。

（ステップＳ３１８）
ステップＳ３１８では、サーバ１００の重要度判別部１１４または判別統合部１１６が、講師用端末装置１０００からのフィードバック情報に基づいて、各判別ロジックを更新する。例えば、重要度判別部１１４は、講師用端末装置１０００からの、確認・修正された重要度を含むフィードバック情報に基づいて、重要度の判別ロジックを更新する。

（ステップＳ３２０）
端末装置２００の系列情報取得部２１２が、再び、系列情報を取得すると、アノテーション付与部２１４が、系列情報にアノテーションを付与することによって、アノテーション付系列情報を生成する。以下、ステップＳ３２０〜ステップＳ３３６の工程は、上記ステップＳ３０２〜ステップＳ３１８の工程と同じである。

情報処理システム１では、学習者用端末装置２００が系列情報を取得する度に、上記ステップＳ３０２〜ステップＳ３１８までのステップを繰り返す。

したがって、サーバ１００では、対象者から系列情報を取得する度に、各判別ロジックを更新する。対象者からの系列情報が増加するほど、各判別ロジックが改善され、より好適に各判別を行うことができる。

〔ソフトウェアによる実現例〕
情報処理装置１００の制御ブロック（特に、系列情報取得部１１２、重要度判別部１１４、判別統合部１１６、提示用情報生成部１１８）、及び各端末装置２００（特に系列情報取得部２１２、アノテーション付与部２１４、および提示用情報取得部２１６）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、情報処理装置１００及び各端末装置２００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 情報処理システム
１００ 情報処理装置
１００ サーバ
１１０、２１０、１０１０ 制御部
１１２、２１２ 系列情報取得部
１１４、２１５ 重要度判別部
１１６ 判別統合部
１１８、１０１３ 提示用情報生成部
１２０、２２０、１０２０ 通信部
１３０、２３０、１０３０ 記憶部
２００ 学習者用端末装置
２１４ アノテーション付与部
２１６、１０１４ 提示用情報取得部
２４１ カメラ
２４２ マイク
２４３、１０４３ 操作受付部
２４４ 表示部（提示部）
１０４４ 表示部
２４５、１０４５ スピーカ
１０００ 講師用端末装置
１０１２ フィードバック情報取得部

Claims (11)

1. 対象者に関する系列情報に含まれる各要素にアノテーションが付与されたアノテーション付系列情報を取得する系列情報取得部と、
   前記対象者に関するアノテーション付系列情報を参照し、当該対象者のアノテーション付系列情報に含まれる各要素の重要度を判別する重要度判別部と、
   複数の対象者に関する前記重要度判別部による判別結果を参照し、判別統合情報を生成する判別統合部と、
   前記重要度判別部による判別結果と前記判別統合情報との少なくとも何れかを参照して提示用情報を生成する提示用情報生成部と、
   を備えていることを特徴とする情報処理装置。
2. 前記重要度判別部は、ユーザからのフィードバック情報、及び前記判別統合情報の少なくとも何れかを参照して、判別ロジックを更新する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記系列情報には、前記対象者の視線に関する情報が含まれている
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記判別統合部は、前記複数の対象者の各々に対する前記重要度判別部による判別結果から、共通する情報を抽出し、前記判別統合情報に含める
   ことを特徴とする請求項１から３の何れか１項に記載の情報処理装置。
5. 前記重要度判別部は、前記重要度として、前記対象者に関する集中度を判別する
   ことを特徴とする請求項１から４の何れか１項に記載の情報処理装置。
6. 対象者に関する系列情報を取得する系列情報取得部と、
   取得した系列情報に含まれる各要素にアノテーションを付与することによってアノテーション付系列情報を生成するアノテーション付与部と、
   アノテーション付系列情報を参照して生成された提示用情報を取得する提示用情報取得部と、
   前記提示用情報を提示する提示部と
   を備えている端末装置。
7. 複数の対象者のアノテーション付系列情報に関する判別結果を参照して生成された判別統合情報を取得する判別統合情報取得部を更に備え、
   前記アノテーション付与部は、ユーザからのフィードバック情報、及び前記判別統合情報の少なくとも何れかを参照して、アノテーション付与ロジックを更新する
   請求項６に記載の端末装置。
8. 前記アノテーション付与部は、前記アノテーションに加え、当該アノテーションの信頼度を示す情報を前記各要素に付与する
   請求項６又は７に記載の端末装置。
9. 系列情報を取得する取得部と、
   取得した系列情報に含まれる各要素にアノテーションを付与することによってアノテーション付系列情報を生成するアノテーション付与部と、
   ある対象者に関するアノテーション付系列情報を参照し、当該対象者のアノテーション付系列情報に含まれる各要素の重要度を判別する重要度判別部と、
   複数の対象者に関する重要度判別部による判別結果を参照し、判別統合情報を生成する判別統合部と、
   前記重要度判別部による判別結果と前記判別統合情報との少なくとも何れかを参照して提示用情報を生成する提示用情報生成部と、
   を備えている、情報処理システム。
10. 対象者に関する系列情報に含まれる各要素にアノテーションを付与することによってアノテーション付系列情報を生成するアノテーション付与工程と、
    前記アノテーション付系列情報を参照し、当該対象者のアノテーション付系列情報に含まれる各要素の重要度を判別する重要度判別工程と、
    複数の対象者に関する前記重要度判別工程における判別結果を参照し、判別統合情報を生成する判別統合工程と、
    前記重要度判別工程における判別結果と前記判別統合情報との少なくとも何れかを生成する提示用情報生成工程と、
    を含むことを特徴とする情報処理方法。
11. 請求項１から５の何れか１項に記載の情報処理装置としてコンピュータを機能させるためのプログラムであって、前記系列情報取得部、前記重要度判別部、前記判別統合部、および前記提示用情報生成部としてコンピュータを機能させるための情報処理プログラム。

Images