JP2022136068A - 情報表示装置、情報表示システム、情報表示プログラム、学習方法及びデータ構造 - Google Patents

Abstract

【課題】使用者が必要な際に、使用者に絞り込まれた情報及び使用者が気付いていない有益な情報を、使用者に提示し、情報提供の実効性及び情報の有用性を向上させる情報表示装置、情報表示システム、プログラム、学習方法及びデータ構造を提供する。【解決手段】使用者が対象物５に対して行う作業の支援を行う情報処理装置１であって、ロールテーブルを記憶する記憶部と、使用者が作業を行う作業場所であるシーンの画像である第１の画像と、位置情報と、作業関連情報と、を含む評価対象情報を取得し、第１の学習済みモデルを使用し、連関性の重み変数に基づいて使用者が作業を行うシーンを推定し、第２の画像を取得し、複数の第２の学習済みモデルのうちの１つを使用し、チャンクを推定し、参照情報を取得し、オブジェクトモデルを特定し、オブジェクトモデルが有する複数の表示領域に、参照情報を割り当て、オブジェクトモデルと、参照情報とを出力する。【選択図】図２

Description

本発明は、情報表示装置、情報表示システム、情報表示プログラム、学習方法及びデータ構造に関する。

従来、立方体、又は多面体を用いた情報表示手段として、例えば特許文献１の情報処理装置、例えば特許文献２の頭部装着型表示装置等が提案されている。

特許文献１の情報処理装置では、両眼視差により観察者が立体画像を観視可能な表示装置に、メール情報表示を出力し、入力操作にもとづいて、メール情報表示の表示状態を、第１の表示状態から表示装置における奥行き位置が第１の表示状態と異なる第２の表示状態に切り替えて表示する。

また、特許文献２の頭部装着型表示装置では、処理を指示するための命令が多面体の各面に割り当てられた多面体画像を表示部に表示させ、多面体画像に対する操作を受けて、多面体の表示される向きを切り替え、多面体画像において予め定められた向きの面に割り当てられた命令を実行する。

特開２０１３－１６１１６号公報 特開２０１８－６７１６０号公報

ここで、多面体に各種の情報を表示する場合、使用者が必要な際に、使用者に絞り込まれた情報を、適切に提示する必要がある。この点、特許文献１では、メール情報表示の表示状態を、第１の表示状態からグループ単位に設定した奥行き位置を変更する第２の表示状態に切り替えて表示する旨が開示されている。このため、特許文献１の開示技術では、メール情報の表示を第１の表示状態と異ならせ、第２の表示状態で表示しているに過ぎず、使用者が必要な際に、使用者に絞り込まれた情報が提示されるもの、使用者が気付いていない有益な情報を表示すものではない。このため、情報提供の実効性に乏しい点が、懸念として挙げられる。

また、特許文献２では、画面操作に必要な命令を多面体画像の各面に割り当て、頭部装着型表示装置内のインターフェースエリアに表示する旨が開示されている。この点、特許文献２の開示技術では、操作に必要な命令名を多面体画像の各々の面に割り当て、命令が割り当てられた多面体画像を表示するに過ぎない。また、頭部装着型表示装置内のインターフェースエリアに表示される各種の情報は、頭部装着型表示装置内のシースルー表示エリアに実際の映像に重畳して表示される。このため、表示する情報量が多い場合等は、使用者が必要な際に、使用者に絞り込まれた情報や、使用者が気付いていない有益な情報を表示す情報を、適切に提示することができず、情報の有用性を引き下げてしまう点が、懸念として挙げられる。

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、使用者が必要な際に、使用者に絞り込まれた情報及び使用者が気付いていない有益な情報を、使用者に提示し、情報提供の実効性、及び情報の有用性を向上させることができる情報表示装置、情報表示システム、情報表示プログラム、学習方法及びデータ構造を提供することを目的とする。

第１発明に係る情報表示装置は、使用者が対象物に対して行う作業の支援を行う情報表示装置であって、前記使用者を識別する資格ＩＤ、部門ＩＤ、エリアＩＤを少なくとも含むロールテーブルを記憶する記憶部と、前記使用者が前記作業を行う作業場所であるシーンの画像である第１の画像と、前記使用者がいる位置の情報である位置情報と、前記ロールテーブルを参照して前記使用者の作業に関する前記資格ＩＤ、前記エリアＩＤ、及び前記部門ＩＤを含む作業関連情報と、を含む評価対象情報を取得する取得部と、前記取得部により取得された前記評価対象情報に基づいて、前記評価対象情報と、前記シーンを一意に示すシーンＩＤに関する情報と、の間における連関性が記憶されている第１の学習済みモデルを使用し、前記連関性の重み変数に基づいて前記使用者が前記作業を行う前記シーンを推定するシーン推定部と、前記取得部は、前記シーン推定部により前記シーンが推定された後に、前記作業に関する対象物の画像である第２の画像を取得し、前記対象物に対する前記作業に関する作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用し、前記連関性の重み変数に基づいてチャンクを推定するチャンク推定部と、前記シーン推定部により推定された前記シーン及び前記チャンク推定部により推定された前記チャンクと、前記資格ＩＤと、に基づいて参照情報を取得し、取得した前記参照情報を表示するオブジェクトモデルを一意に示す前記オブジェクトモデルＩＤとの紐づけを行い、前記オブジェクトモデルを特定するオブジェクトモデル特定部と、前記オブジェクトモデル特定部により特定された前記オブジェクトモデルが有する複数の表示領域に、前記参照情報を割り当てる割当部と、前記オブジェクトモデル特定部により特定された前記オブジェクトモデルと、前記割当部により割り当てられた前記参照情報とを出力する出力部と、を備えること、を特徴とする。

第２発明に係る情報表示システムは、使用者が対象物に対して行う作業の支援を行う情報表示システムであって、前記使用者を識別する資格ＩＤ、部門ＩＤ、エリアＩＤを少なくとも含むロールテーブルを記憶する記憶手段と、前記使用者が前記作業を行う作業場所であるシーンの画像である第１の画像と、前記使用者がいる位置の情報である位置情報と、前記ロールテーブルを参照して前記使用者の作業に関する前記資格ＩＤ、前記エリアＩＤ、及び前記部門ＩＤを含む作業関連情報と、を含む評価対象情報を取得する取得手段と、前記取得手段により取得された前記評価対象情報に基づいて、前記評価対象情報と、前記シーンを一意に示すシーンＩＤに関する情報と、の間における連関性が記憶されている第１の学習済みモデルを使用し、前記連関性の重み変数に基づいて前記使用者が前記作業を行う前記シーンを推定するシーン推定手段と、前記取得手段は、前記シーン推定部により前記シーンが推定された後に、前記作業に関する対象物の画像である第２の画像を取得し、前記対象物に対する前記作業に関する作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用し、前記連関性の重み変数に基づいてチャンクを推定するチャンク推定手段と、前記シーン推定手段により推定された前記シーン及び前記チャンク推定手段により推定された前記チャンクと、前記資格ＩＤと、に基づいて参照情報を取得し、取得した前記参照情報を表示するオブジェクトモデルを一意に示す前記オブジェクトモデルＩＤとの紐づけを行い、前記オブジェクトモデルを特定するオブジェクトモデル特定手段と、前記オブジェクトモデル特定手段により特定された前記オブジェクトモデルが有する複数の表示領域に、前記参照情報を割り当てる割当手段と、前記オブジェクトモデル特定手段により特定された前記オブジェクトモデルと、前記割当部により割り当てられた前記参照情報とを出力する出力手段と、を備えること、を特徴とする。

第３発明に係る情報表示プログラムは、使用者が対象物に対して行う作業の支援を情報表示装置に行わせる情報表示プログラムであって、前記使用者を識別する資格ＩＤ、部門ＩＤ、エリアＩＤを少なくとも含むロールテーブルを記憶する記憶ステップと、前記使用者が前記作業を行う作業場所であるシーンの画像である第１の画像と、前記使用者がいる位置の情報である位置情報と、前記ロールテーブルを参照して前記使用者の作業に関する前記資格ＩＤ、前記エリアＩＤ、及び前記部門ＩＤを含む作業関連情報と、を含む評価対象情報を取得する取得ステップと、前記取得ステップにより取得された前記評価対象情報に基づいて、前記評価対象情報と、前記シーンを一意に示すシーンＩＤに関する情報と、の間における連関性が記憶されている第１の学習済みモデルを使用し、前記連関性の重み変数に基づいて前記使用者が前記作業を行う前記シーンを推定するシーン推定ステップと、前記取得ステップは、前記シーン推定ステップにより前記シーンが推定された後に、前記作業に関する対象物の画像である第２の画像を取得し、前記対象物に対する前記作業に関する作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用し、前記連関性の重み変数に基づいてチャンクを推定するチャンク推定ステップと、前記シーン推定ステップにより推定された前記シーン及び前記チャンク推定ステップにより推定された前記チャンクと、前記資格ＩＤと、に基づいて参照情報を取得し、取得した前記参照情報を表示するオブジェクトモデルを一意に示す前記オブジェクトモデルＩＤとの紐づけを行い、前記オブジェクトモデルを特定するオブジェクトモデル特定ステップと、前記オブジェクトモデル特定ステップにより特定された前記オブジェクトモデルが有する複数の表示領域に、前記参照情報を割り当てる割当ステップと、前記オブジェクトモデル特定ステップにより特定された前記オブジェクトモデルと、前記割当部により割り当てられた前記参照情報とを出力する出力ステップと、を情報表示装置に実行させること、を特徴とする。

第４発明に係る学習方法は、機械学習によりデータベースを生成する学習方法であって、熟練者が用いる使用者端末を介して取得された作業のシーン、前記熟練者の位置情報及び前記熟練者を識別する部門ＩＤ及びエリアＩＤを少なくとも含む情報を含む評価対象情報と、前記使用者端末を用いて取得した前記熟練者の作業に関するシーンＩＤを含む参照情報と、を一対の学習データとして、前記使用者端末を操作する前記シーンにおける作業の種類毎に複数取得する取得ステップと、複数の前記学習データを用いた機械学習により、複数の前記評価対象情報と、複数の前記シーン情報との間における連関性が記憶された前記データベースを生成する学習ステップと、を備えることを特徴とする。

第５発明に係る学習方法は、機械学習によりデータベースを生成する学習方法であって、熟練者が用いる使用者端末を介して取得された作業対象の対象物、前記対象物の機器に対する操作情報及び前記熟練者を識別する資格ＩＤを含む情報を含む評価対象情報と、前記使用者端末を用いて取得した前記熟練者が参照する前記対象物に対する前記作業に関する作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤを含む参照情報と、を一対の学習データとして、前記使用者端末を操作する前記対象物の作業の種類毎に複数取得する取得ステップと、複数の前記学習データを用いた機械学習により、複数の前記評価対象情報と、複数の前記チャンク情報との間における連関性が記憶された前記データベースを生成する学習ステップと、を備えることを特徴とする。

第６発明に係るデータ構造は、保存部及び制御部を備えるコンピュータに用いられ、前記保存部に記憶される使用者の作業のシーンの内容を示すシーンＩＤを出力部に表示するためのデータ構造であって、使用者端末を用いて取得された作業場所のシーン、使用者の位置情報及び使用者の作業に関する情報を含む評価対象情報と、前記使用者端末を用いて取得した前記作業に関するシーンＩＤと、を一対の学習データとして、前記使用者端末を操作する前記シーンＩＤにおける作業の種類毎に複数取得し、複数の前記学習データは、前記コンピュータの備える制御部が実行するニューラルネットワークをモデルとした機械学習により、複数の前記評価対象情報と、複数の前記シーンＩＤとの間における連関性を含む学習済みモデルを生成するために用いられることを特徴とする。

第７発明に係るデータ構造は、保存部及び制御部を備えるコンピュータに用いられ、前記保存部に記憶される使用者のシ－ン作業に紐づき対象物の作業に関するチャンクＩＤを出力部に表示するためのデータ構造であって、使用者端末を介して取得された作業対象の対象物、前記対象物の機器に対する評価対象情報と、前記使用者端末を用いて取得した前記対象物に対する前記作業に関する作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、を一対の学習データとして、前記使用者端末を操作する前記対象物の作業の種類毎に複数取得し、複数の前記学習データは、前記コンピュータの備える制御部が実行するニューラルネットワークをモデルとした機械学習により、複数の前記評価対象情報と、複数の前記チャンクＩＤとの間における連関性を含む学習済みモデルを生成するために用いられることを特徴とする。

本発明の実施の形態の一態様によれば使用者が必要な際に、使用者に絞り込まれた情報及び使用者が気付いていない有益な情報を、使用者に提示し、情報提供の実効性、及び情報の有用性を向上させることができる情報表示装置、情報表示システム、情報表示プログラム、学習方法及びデータ構造を提供することを実現できる。

図１は、本実施形態における情報表示システムの構成の一例を示す模式図である。 図２は、本実施形態における情報表示システムの動作の一例を示す模式図である。 図３（ａ）は、本実施形態における情報表示システムの構成の一例を示す模式図であり、図３（ｂ）は、本実施形態における情報表示装置の機能の一例を示す模式図である。 図４は、本実施形態におけるデータベースの一例を示す模式図である。 図５は、本実施形態におけるデータベースの一例を示す模式図である。 図６は、本実施形態におけるデータテーブルの一例を示す模式図である。 図７は、本実施形態におけるデータテーブルの一例を示す模式図である。 図８は、本実施形態におけるデータテーブルの一例を示す模式図である。 図９は、本実施形態におけるデータテーブルの一例を示す模式図である。 図１０は、本実施形態におけるデータテーブルの一例を示す模式図である。 図１１は、本実施形態におけるデータテーブルの一例を示す模式図である。 図１２は、本実施形態における情報表示システムの動作の一例を示すフローチャートである。 図１３は、本実施形態における情報表示システムの第１変形例の一例を示す模式図である。 図１４（ａ）～（ｈ）は、本実施形態における使用者端末の表示の一例を示す模式図である。 図１５は、本実施形態における情報表示システムの第２変形例の一例を示す模式図である。 図１６（ａ）は、本実施形態における使用者端末の表示の一例を示す模式図であり、図１６（ｂ）は、本実施形態における使用者端末の表示の一例を示す模式図である。

以下、本発明を適用した実施形態における情報表示システム、及び情報表示方法の一例について、図面を参照しながら説明する。

（本実施形態：情報表示システム１００）
図１～図１１を参照して、本実施形態における情報表示システム１００の構成の一例について説明する。図１は、本実施形態における情報表示システムの構成の一例を示す模式図である。

＜情報表示システム１００＞
情報表示システム１００は、例えば図１に示すように使用者（例えばトレーニー）に対象物５で行う作業で必要となる参照情報を出力する情報処理装置１を有する。情報処理装置１は、例えば通信網４を介して、作業エリア５０（例えば製造エリア）で作業を行う使用者が装着する使用者端末２、及び各種のデータをデータテーブルとして記憶するサーバ３に接続される。

情報表示システム１００は、情報処理装置１により、例えば使用者が装着する使用者端末２を介して、使用者が使用者端末２の表示エリア２ａ越しに参照して作業を行う場所、出入り口、作業空間、またはスペースなどのエリアの画像（第１の画像）、使用者が各種の作業を行う対象物５の画像（第２の画像）、および使用者が作業を行う作業エリア内の位置に関する位置情報等を取得する。情報処理装置１は、使用者が作業を行う場所、位置の情報である位置情報の他に、例えば使用者と対象物５との各種の位置関係（例えば距離など）、使用者を識別する識別情報等の、各種の画像やデータ、数値、信号等を取得するようにしてもよい。

情報理端末１が取得する位置情報は、例えば使用者が作業する床面から対象物５までの高さ、床面から使用者が対象物５を作業する手、工具などの高さ、対象物の周囲の空間の距離などの各種の位置データ、使用者の位置を示す座標データ、使用者が移動した地点間の距離データ、使用者の姿勢や身体の部位、体位などを示す姿勢データであってもよい。さらに情報処理装置１は、作業を行う使用者を識別する使用者情報、使用者が作業を行う作業場所の識別情報を取得するようにしてもよい。

情報処理装置１が取得する画像は、例えば後述する使用者端末２に予め備わるカメラ（図示せず）により取得される。また情報処理装置１が取得する位置情報は、例えば使用者端末２に予め備わる距離センサー、加速度センサー、赤外線センサー、その他の各種の公知技術により開示されるセンサー（図示せず）により取得されるようにしてもよい。

情報処理装置１は、例えば取得した各種の画像、位置情報、及び作業関連情報に基づいて、サーバ３に予め記憶される各種のデータテーブルを参照し、使用者が参照すべき情報の絞り込みを行い、適宜に使用者端末２に参照情報を出力する。

情報処理装置１は、例えば図２に示すように使用者端末２を介して取得した取得データのうち第１の画像と位置情報とに基づいて、使用者が行う作業のシーンを推定する。情報処理装置１は、例えば作業に関係する対象物５の画像である第２の画像をさらに取得し、使用者が行う作業に関する細分化されたチャンク（参照情報）を推定する。

情報処理装置１は、推定されたこれらのシーン、およびチャンクの少なくとも何れかに基づいて、シーン又はチャンクを少なくとも含む参照情報を表示するオブジェクトモデル６を特定し、特定したオブジェクトモデル６が有する表示領域８に、参照情報を表示内容８ａとして割り当てを行い、オブジェクトモデル６と、オブジェクトモデル６の各々の表示領域８に割り当てられた参照情報の出力を行う。

情報処理装置１が出力する表示内容８ａは、例えばチャンク、サマリー、コンテンツ（全体・差分）、作業チェック表、作業工程表、視点切替表示（熟練者・自分・俯瞰）、学習用収集情報、アラート表示、関連ナラティブ表示などとなる。これらの表示内容８ａは、例えば製造エリア５０で作業を行う使用者の使用者端末２によって受信され、使用者端末２の表示エリア２ａに作業情報として表示される。

情報処理装置１が使用者端末２に出力する参照情報は、例えば使用者が参照する作業情報が分割又は示唆した情報であるチャンク、作業情報のサマリー、作業情報に関する各種のコンテンツの他、例えば作業情報の全体や、更新や追加された差分等の情報であってもよい。

情報処理装置１は、例えば使用者端末２を介して作業場や対象物５の画像、使用者がいる位置の情報である位置情報と、作業に関係する作業関連情報と、を少なくとも含む評価対象情報を逐次に取得する。情報処理装置１は、取得したそれら各種の情報に基づいて、使用者が必要な際に、使用者に絞り込まれた参照情報を出力する。情報処理装置１により出力される参照情報は、例えば使用者端末２の表示エリア２ａにオブジェクトモデル６として表示される。使用者端末２の表示エリア２ａに表示されるオブジェクトモデル６は、例えば複数の表示領域８を有しており、各々の表示領域８に使用者が必要な際に、使用者に絞り込まれた情報及び使用者が気付いていない有益な情報を表示す情報が表示内容８ａとして表示される。

＜情報処理装置１＞
次に、図３を参照して、本実施形態における情報処理装置１の一例を説明する。図３（ａ）は、本実施形態における情報処理装置１の構成の一例を示す模式図であり、図３（ｂ）は、本実施形態における情報処理装置１の機能の一例を示す模式図である。

情報処理装置１として、例えばスーパーコンピュータ、サーバーコンピュータ、又はメインフレーム・汎用コンピュータ等の電子対象物が用いられる。情報処理装置１は、例えば使用者端末２、サーバ３と接続される。情報処理装置１は、例えば図３（ａ）に示すように、筐体１０と、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、保存部１０４と、Ｉ／Ｆ１０５～１０７とを備える。各構成１０１～１０７は、内部バス１１０により接続される。

ＣＰＵ１０１は、情報処理装置１全体を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。保存部１０４は、設定情報データベースや参照データベース等の各種情報が保存される。保存部１０４として、例えばＨＤＤ（Hard Disk Drive）の他、ＳＳＤ（Solid State Drive）等のデータ保存装置が用いられる。なお、例えば情報処理装置１は、図示しないＧＰＵ（Graphics Processing Unit）を有してもよい。ＧＰＵを有することで、通常よりも高速演算処理が可能となる。

Ｉ／Ｆ１０５は、例えばインターネット等の通信網４を介して、使用者端末２と接続されるほか、例えばその他の使用者（例えば熟練者であるトレーニーの指導者、または熟練者であるトレーナー、トレーニー、及びトレーナーを管理、指導する監視者などの装置、サーバ３が記憶する各種のデータベース、Ｗｅｂ検索サービス、その他のウェブサイト等との各種情報の送受信を行うためのインターフェースである。

Ｉ／Ｆ１０６は、例えば入力部１０８との情報の送受信を行うためのインターフェースである。入力部１０８として、例えばキーボードが用いられる。情報処理装置１の使用者等は、入力部１０８を介して、例えば各種情報、又は情報処理装置１の制御コマンド等を入力する。Ｉ／Ｆ１０７は、表示部１０９との各種情報の送受信を行うためのインターフェースである。表示部１０９は、保存部１０４に保存された各種情報、順位計測、又は評価結果等を表示する。表示部１０９として、ディスプレイが用いられ、例えばタッチパネル式の場合、入力部１０８と一体に設けられる。

図３（ｂ）は、情報処理装置１の機能の一例を示す模式図である。情報処理装置１は、シーン推定部１２と、チャンク推定部１３と、オブジェクトモデル特定部１４と、割当部１５と、出力部１６と、手本作業生成部１７と、手本作業登録部１７ａと、手本手順登録部１７ｂと、手本作業決定部１７ｃと、更新部１８と、記憶部１９と、学習部２０とを有してもよい。なお、図３（ｂ）に示した各機能は、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、保存部１０４等に記憶されたプログラムを実行することにより実現され、例えば人工知能等により制御されてもよい。

＜取得部１１＞
取得部１１は、例えば使用者、または使用者端末２を特定する識別情報（固有情報）の他、使用者が作業する作業場所に関する環境情報、使用者の作業や動き、使用者の生体情報などに関する各種の情報、対象物に関する各種の情報等のデータを受信する。取得部１１が取得した各種の情報は、例えばサーバ３の各種のデータを対応するデータテーブル（図示せず）に、各々に対応付けられて記憶される。

＜シーン推定部１２＞
シーン推定部１２は、使用者がいる位置の情報である位置情報と、作業に関係する作業関連情報と、を少なくとも含む評価対象情報を取得し、評価対象情報と、シーンを一意に示すシーンＩＤに関係する情報と、の間における連関性が記憶されている第１の学習済みモデルを使用して、シーンを推定する。

シーン推定部１２は、具体的にはシーンＩＤとシーンの名称であるシーン名とが１対１で紐づけられたテーブルであるシーンテーブルから、シーンＩＤを検索キーとしてシーン名を取得して、シーン名を使用者端末２に使用者端末２に送信する。使用者端末２は、シーン推定部１２から受信したシーン名を表示エリア２ａに提示する。

シーン推定部１２により推定されたシーン名は、例えば後述するオブジェクトモデル特定部１４により、推定されたシーン名に基づいて特定されるオブジェクトモデル６に表示される。シーン名は、特定されたオブジェクトモデル６が有する表示領域８に、使用者が必要な際に、使用者に絞り込まれた参照情報として表示される。

＜チャンク推定部１３＞
チャンク推定部１３は、シーン推定部１２により推定されたシーンにより作業に関係する対象物の画像である第２の画像を取得し、使用者が行う作業に関する作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用し、チャンクを推定する。

チャンク推定部１３は、複数の第２の学習済みモデルのうちの１つを、シーンＩＤと１対１に対応付けられた学習モデルＩＤを用いて選定する。またチャンク用メタＩＤは対象物５の性質に関する情報であるチャンク用メタ値を一意に示す。

チャンク推定部１３は、学習モデルＩＤとシーンＩＤとが１対１で紐づけられたテーブルである学習モデルテーブルからシーンＩＤを検索キーとして学習モデルＩＤを取得する。またチャンク推定部１３は、チャンクＩＤとチャンク用メタＩＤとが１対１又は１対複数で紐づけられたテーブルであるチャンク・メタテーブルからチャンク用メタＩＤを検索キーとしてチャンクＩＤを取得する。

またチャンク推定部１３は、チャンクテーブルからチャンクＩＤを検索キーとしてチャンクの概要を示すチャンクサマリを取得して、チャンクサマリを使用者端末２に送信する。使用者端末２は、チャンク推定部１３から受信したチャンクサマリを使用者に提示する。使用者端末２は、チャンク推定部１３から受信したシーン名を表示エリア２ａに提示する。

チャンク推定部１３により推定されたチャンクは、例えば後述するオブジェクトモデル特定部１４により、推定されたチャンクに基づいて特定されるオブジェクトモデル６に表示される。チャンクは、特定されたオブジェクトモデル６が有する表示領域８に、使用者が必要な際に、使用者に絞り込まれた参照情報として表示される。

またチャンク推定部１３は、チャンクテーブルからチャンクＩＤを検索キーとして新たにチャンクを取得した場合は、このチャンクを使用者端末２に送信するようにしてもよい。使用者端末２は、チャンク推定部１３からすでに受信したオブジェクトモデル６の対応する表示領域８にチャンクを表示することで、使用者に提示する。チャンクの表示は、例えば後述するオブジェクトモデル特定部１４によりオブジェクトモデル６が特定され、割当部１５により割当られた表示領域８に表示されてもよい。

なおチャンクテーブルは、チャンクＩＤにチャンクとチャンクサマリとハッシュ値とがそれぞれ１対１で紐づけられたテーブルである。なおハッシュ値は例えばチャンクが変更されたか否かを確認するために用いられる。

＜オブジェクトモデル特定部１４＞
オブジェクトモデル特定部１４は、シーン推定部１２により推定されたシーン及びチャンク推定部１３により推定されたチャンクの少なくとも何れかに基づいて、シーン又はチャンクを少なくとも含む参照情報を表示するオブジェクトモデルを一意に示す前記オブジェクトモデルＩＤとの紐づけを行い、オブジェクトモデルを特定する。

オブジェクトモデル特定部１４は、例えば取得部１１により取得され、サーバ３に記憶されたオブジェクトモデルテーブルを参照し、使用者が必要な際に、使用者に絞り込まれた参照情報を表示するのに適した表示領域８を有するオブジェクトモデル６を特定する。

オブジェクトモデル特定部１４は、具体的には図８に示すオブジェクトモデルテーブルを参照し、例えば推定されたシーンＩＤ、チャンクＩＤなどに基づき、作業エリア、使用者の位置等の各種の情報により、その条件で表示することができるオブジェクトモデル６を特定する。

オブジェクトモデル特定部１４は、例えばオプジェクトモデルＩＤで識別されるオブジェクトモデル６の基本サイズ、表示座標、エリアＩＤなどにより、使用者が必要な際に、使用者に絞り込まれた情報及び使用者が気付いていない有益な情報を表示す情報を、使用者に提示できるオブジェクトモデル６を特定する。

オブジェクトモデル特定部１４は、例えばオブジェクトモデル６の特定に、例えば使用者のスキル情報を特定する資格ＩＤ、作業を行う空間情報を特定する表示座標、対象物の特徴情報を特定する基本サイズ、又は作業の作業レベル情報の少なくとも何れかに基づいて特定するようにしてもよい。

オブジェクトモデル特定部１４は、推定されたシーンＩＤ、チャンクＩＤなどに基づきオブジェクトモデルテーブルを参照し、例えばオブジェクトモデルＩＤで対応付けられる形状、基本サイズ、追加個数等の各種のデータから、例えば少なくとも２面以上の表示領域８を備える形状、同一、または異なるオブジェクトモデル６が複数表示することのできるオブジェクトモデル６を特定するようにしてもよい。

オブジェクトモデル特定部１４は、推定されたシーンＩＤ、チャンクＩＤなどに基づきオブジェクトモデルテーブルを参照し、例えばオブジェクトモデル６に対する各種の操作情報により、作業の状態に基づいて、回転表示、拡大表示、縮小表示、突出表示、振動表示、状態表示、変色表示、又は濃淡表示の少なくとも何れかの形態で表示することができるオブジェクトモデル６を特定するようにしてもよい。

オブジェクトモデル特定部１４は、例えば対象物５との使用者の位置関係、利き手、使用言語等の各種の情報に基づいて特定され、表示される位置が決められるようにしてもよい。オブジェクトモデル特定部１４は、例えばチャンク推定部１３により推定されたチャンクの種類、チャンクの文字数等に基づいて表示可能な表示領域を有するオブジェクトモデル６を特定し、割当部１５は特定されたオブジェクトモデル６の各々の表示領域にチャンクの割り当てを行うようにしてもよい。

オブジェクトモデル特定部１４は、例えば使用者によって予め表示されるオブジェクトモデル６がカスタマイズされて登録されている場合は、カスタマイズされたオブジェクトモデル６を優先して表示するようにしてもよい。

オブジェクトモデル６は、例えば使用者が装着する使用者端末２を介して、オブジェクトモデル６の左右、または上下の辺の何れかの辺を掴んで回転、または移動させるようにしてもよい。

オブジェクトモデル特定部１４は、例えば割当部１５により割り当てられた参照情報が、緊急情報等の確実に情報を提示する必要がある場合には、特定されたオブジェクトモデル６を使用者方向にせり出して表示させるようにしてもい。

＜割当部１５＞
割当部１５は、オブジェクトモデル特定部１４により特定されたオブジェクトモデル６が有する表示領域８に、シーン推定部１２により推定されたシーン及びチャンク推定部１３により推定されたチャンクの少なくとも何れかに基づいて、シーン又はチャンクを少なくとも含む参照情報の割り当てを行う。

割当部１５は、具体的には図９に示すオブジェクト割当テーブルを参照し、例えば推定されたシーンＩＤ、チャンクＩＤで示される表示可能情報、作業エリア、使用者の位置、チャンクのデータ量等の各種の情報に基づいて、オブジェクトモデル特定部１４により特定されたオブジェクトモデル６が有する表示領域８への割り当てを行う。

割当部１５は、例えば推定されたチャンクの割り当てを行う場合、オブジェクト割当テーブルの他に、図６に示すチャンクテーブルを参照し、推定されたチャンクの割り当てを行う。この場合、チャンクテーブルの注目ＩＤを参照し、第２の画像に紐づいて設定される注目情報の有無を判別する。

割当部１５は、図６に示されるチャンクテーブル、図１０で示される注目テーブル、および図１０で示されるアノテーションテーブルの注目ＩＤに基づいて、例えば推定されたチャンクよりも優先する表示、又はチャンクに付随する表示されるように参照情報（注目情報、注目情報データなど）の割り当てを行う。これにより、使用者が必要な際に、使用者に絞り込まれた情報及び使用者が気付いていない有益な情報を表示す情報より注目される情報、または上位の情報を付随して、または優先するようなオブジェクトモデル６による表示として使用者に提示することができ、情報提供の実効性、及び情報の有用性を向上させることが可能となる。

割当部１５は、推定されたシーンＩＤ、チャンクＩＤなどに基づいてアノテーションテーブルを参照し、例えば注目ＩＤで各々に紐づけられる各種の映像やデータの全部、または一部を、それら映像が撮影された時間、長さ、視点に基づいて、割り当てるようにしてもよい。

割当部１５は、取得部１１が取得した第１の画像、第２の画像、位置情報に加え、例えば環境情報、使用者の作業や動き、使用者の生体情報などに関する各種の情報に基づいて、オブジェクトモデル６への表示領域８の表示を割り当てる。割当部１５は、使用者端末２の透過型ディスプレイに表示される仮想現実と、が重畳して使用者に対して表示されるように、オブジェクトモデル６と、オブジェクトモデル６の各々の表示領域８と、表示領域８に割り当てる参照情報を設定する。

割当部１５は、例えば使用者がいる位置の情報である位置情報と、作業に関係する作業関連情報と、を少なくとも含む評価対象情報を取得する。作業関連情報は、例えば対象物５の周囲の情報、使用者が作業する利き腕などであり、これらに基づいて、例えば「使用者の作業位置は対象物５に対して右寄り」、「使用者と対象物５の距離は３メートル」、「対象物５の周囲の配置物の無し」、「使用者の利き腕は右」などを確認する。

割当部１５は、確認の結果に基づいて、例えば「対象物５の左側の空間が空いている」、「使用者は右利き」、「推定されたチャンク量は２画面」であると判断した場合は、対象物５の左側の空間に表示できる「cube_02（立方体）」、「２領域に割り当て」、「オブジェクトモデル６のサイズ（W:D:H）」と「対象物の左側の表示座標（XX:YY:ZZ）」、「チャンク（1B827-01.txt_0）」等の表示に関する情報を表示領域８に設定する。

割当部１５は、オブジェクトモデル特定部１４により、例えば作業場所であるシーン、使用者と対象物との位置関係、参照情報であるチャンクのデータまたは情報量に基づいて特定されたオブジェクトモデル６が立方体で、複数の場合は、例えば複数の立方体を、上下、または左右に位置付けて表示するようにしてもよい。

割当部１５は、オブジェクトモデル特定部１４により、例えば作業場所であるシーン、使用者と対象物との位置関係、参照情報であるチャンクのデータまたは情報量に基づいて特定されたオブジェクトモデル６が立方体で、複数の場合は、例えば複数の立方体を、上下、または左右に位置付け、位置づけられた各々の立方体の表示領域に参照情報を表示するよう割り当てるようにしてもよい。

割当部１５は、例えば推定されたチャンクの他に、オブジェクトモデル６の上面に作業の状態などを、例えば顔の喜怒哀楽で示す『フェイスマーク』として割り当てて表示するようにしてもよい。フェイスマークは、例えば『平常（笑顔マーク）』、『異常（悲しみマーク）』、または『通知あり（発話マーク）』などで示すようにしてもよい。

＜出力部１６＞
出力部１６は、オブジェクトモデル特定部１４により特定されたオブジェクトモデル６と、割当部１５により割り当てられた参照情報を出力する。出力部１６は、オブジェクトモデル特定部１４により特定されたオブジェクトモデル６と、オブジェクトモデル６の表示領域８に関する情報、表示領域８に表示する参照情報を出力する。

出力部１６は、第１の画像、位置情報、及び第２の画像の少なくとも何れかに基づき特定されたオブジェクトモデル６を、例えば使用者端末２に表示される仮想表示空間内において、対象物５の近傍（周囲）に出力するようにしてもよい。

出力部１６は、第１の画像、位置情報、及び第２の画像の少なくとも何れかに基づき特定されたオブジェクトモデル６を、例えば使用者端末２に表示される仮想表示空間内において、対象物５の近傍（周囲）に固定するように出力するようにしてもよい。

＜手本作業生成部１７＞
手本作業生成部１７は、作業を行う使用者を、図１１に示すロールテーブルに記憶される各種の情報を参照し、例えば使用者の役割、資格ＩＤ、部門、エリアに関する応じた作業に関する情報を生成する。手本作業生成部１７は、トレーナー（熟練者）が使用者である場合の他、例えばインスペクター（監視者）として、各々の使用者が対象物５に対して行う作業の支援を行う。

手本作業生成部１７は、例えば熟練者であるトレーニーが作業で参照するための手本となる参照情報を登録し、登録した手本の手順を作業に応じて設定し、設定した手本作業の公開可否を決定する。手本作業生成部１７は、手本作業登録部１７ａ、手本手順登録部１７ｂ、手本作業決定部１７ｃにより構成される。

手本作業生成部１７は、手本作業に関する各種の情報を、例えば後述するカメラテーブル、ロールテーブル、アノテーションテーブル、注目テーブルの各々に対応付けて登録する。手本作業生成部１７は、カメラテーブル、ロールテーブルを参照し、例えば手本作業の新規生成や追加生成を行う。さらに、手本作業生成部１７は、各種の手本情報の手順の関連付け、手順が関連付けられた手本情報の全体、または一部の公開等の決定を行う。

＜手本作業登録部１７ａ＞
手本作業登録部１７ａは、熟練者による作業の作業映像情報を含む手本作業情報の手本内容を登録する。手本作業登録部１７ａは、例えばカメラテーブル、ロールテーブル、アノテーションテーブル、注目テーブルの各々を参照し、手本情報を生成する対象のエリア、使用者のロール、資格などの各種の情報に基づき、登録の対象となる手本情報を生成する。

＜手本手順登録部１７ｂ＞
手本手順登録部１７ｂは、手本作業登録部１７ａにより生成された手本作業情報の手本順序を登録する。手本手順登録部１７ｂは、例えばカメラテーブル、ロールテーブル、注目テーブルの各々を参照し、例えば異なるカメラで撮影された同一の作業の作業映像情報を、時系列の作業手順としてアノテーションテーブルに登録する。

＜手本作業決定部１７ｃ＞
手本作業決定部１７ｃは、手本作業登録部１７ａにより登録される手本内容と、手本手順登録部１７ｂにより登録される手本順序と、それらを一意に示すチャンクＩＤとの紐づけを行い、手本作業情報として決定する。

手本作業決定部１７ｃによりチャンクＩＤとの紐づけられた手本作業情報は、前述のチャンク推定部１３により作業に関係する対象物の画像である第２の画像が取得され、使用者が行う作業に関する作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用し、推定されることとなる。

＜更新部１８＞
更新部１８は、例えばサーバ３に記憶されるデータベースを更新する。更新部１８は、第１の画像に関係する情報と、シーンを一意に示すシーンＩＤに関係する情報の間の関係を新たに取得した場合には、関係を連関性に反映させる。

更新部１８は、第２の画像と、使用者が行う作業に関する作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤの間の関係を新たに取得した場合には、関係を連関性に反映させる。

さらに、更新部１８は、推定されたシーン及びチャンクに基づいて、チャンクを表示する表示領域を有するオブジェクトモデルを一意に示すオブジェクトモデルＩＤの間の関係を新たに取得した場合には、関係を連関性に反映させる。

＜記憶部１９＞
記憶部１９は、保存部１０４に保存されたデータベース等の各種データを必要に応じて取出す。記憶部１９は、各構成１２～１８、２０により取得又は生成された各種データを、必要に応じて保存部１０４に保存する。

＜学習部２０＞
学習部２０は、例えば第１の画像と、第１の画像に関係する情報と、シーンを一意に示すシーンＩＤに関係する情報と、の間における連関性が記憶されている第１の学習モデルを後述する機械学習によりデータベースを生成する。

また学習部２０は、作業に関係する対象物の画像である第２の画像と、第２の画像と、使用者が行う作業に関する作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習モデルを、機械学習によりデータベースを生成する。機械学習には、例えば後述する畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）等が用いられてもよい。

＜監視部２１＞
監視部２１は、例えばシーン推定部１２において推定された使用者の作業を監視する。監視部２１は、例えば作業の監視を行う監視者（インスペクター）が使用する監視者端末（図示せず）を介して、後述する図１６（ｂ）に示す画面によりリアルタイムの監視を行う。リアルタイム監視は、例えば作業場所の天井などに設置される監視カメラの映像を見ながら、使用者（トレーニー、またはトレーナなど）の作業を俯瞰した監視が行われる。監視カメラは、例えば複数台が設置されていてもよく、監視カメラの切り替えなどは、監視者により切り替えられる。

監視部２１は、使用者の作業と手本情報、普段とは異なる周辺状況、または作業手順との差分などに基づいて、使用者に対する指摘情報を通知する。管理部２１は、例えば録画再生された使用者の作業映像と、熟練者により予め登録された手本情報、または作業手順に基づいて、それら画像の差分を検出し、検出結果を出力部１６により監視者の監視者端末に出力するようにしてもよい。

＜使用者端末２＞
使用者端末２は、例えば作業エリア５０（例えば製造エリア）で作業を行う使用者に対して、対象物５の各種の作業を補助するための各種の情報（例えばチャンク、サマリー、コンテンツ（全体・差分）、作業チェック表、作業工程表、視点切替表示（熟練者・自分・俯瞰）、学習用収集情報、アラート表示、関連ナラティブ表示など）や、ユーザインタフェース等を表示、または通知する装置である。使用者端末２は、例えば情報処理装置１によって出力された情報を、使用者が必要な際に、使用者に絞り込まれた情報及び使用者が気付いていない有益な情報を表示す情報として、表示エリア２ａに表示する。

使用者端末２は、例えば使用者の頭部に装着されて使用されるヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）、により実現される。このようなヘッドマウントディスプレイでは、例えば仮想現実（ＶＲ：Virtual Reality）や拡張現実（ＡＲ：Augmented Reality）、あるいは複合現実（ＭＲ：Mixed Reality）などの技術を利用し、使用者に対して情報表示や通知する。

使用者端末２は、例えば拡張現実の技術を利用する場合、透過型のディスプレイを介して対象物５が視認できる現実の作業と、使用者端末２の透過型ディスプレイに表示される仮想現実（例えばオブジェクトモデルとチャンク等を含む）とを重畳して、使用者に対して表示する。

使用者端末２は、例えば使用者端末ウェアラブル端末が備える表示エリア２ａへの表示の他、例えば使用者端末２が備えるスピーカからの音（音声や警告音等）の出力や、使用者端末２が備えるバイブレーション機能、警告ランプの点滅、各種のインジケータによる効果等により実現するようにしてもよい。使用者端末２によるこれらの各種の処理は、例えば使用者端末２と、情報処理装置１と、サーバ３と、が通信網４を介して各々に通信を行い、これらが協働することによって実現される。

＜サーバ３＞
サーバ３は、通信網４を介して情報処理装置１と接続される。サーバ３は、過去の各種データ等が記憶され、必要に応じて情報処理装置１から各種データが送信される。サーバ３は、例えば情報処理装置１の備える機能のうち、少なくとも一部の機能を備えてもよく、例えば情報処理装置１の代わりに少なくとも一部の処理を行ってもよい。サーバ３は、例えば情報処理装置１の保存部１０４に記憶された各種データのうち少なくとも一部が記憶され、例えば保存部１０４の代わりに用いられてもよい。

＜通信網４＞
通信網４は、例えば情報処理装置１が通信回路を介して接続されるインターネット網等である。通信網４は、いわゆる光ファイバ通信網で構成されてもよい。また、通信網４は、有線通信網のほか、無線通信網等の公知の通信技術で実現してもよい。

＜データベース＞
保存部１０４に保存されるデータベースには、予め取得された過去の使用者が作業を行う作業場所であるシーンの画像である第１の画像、使用者がいる位置の情報である位置情報、及び作業関連情報を含む評価対象情報に紐づく参照情報との間における連関性が記憶され、例えば連関性を有する複数の学習モデルが記憶される。データベースには、例えば過去の過去の使用者が作業を行う作業場所であるシーンの画像である第１の画像、使用者がいる位置の情報である位置情報、及び作業関連情報が記憶されてもよい。連関性は、例えば過去の評価対象情報、及び参照情報を一組の学習データとして、複数の学習データを用いた機械学習により構築される。学習方法として、例えば畳み込みニューラルネットワーク等の深層学習が用いられる。

この場合、例えば連関性は、多対多の情報（過去の評価対象情報に含まれる複数のデータ、対、参照情報に含まれる複数のデータ）の間における繋がりの度合いを示す。連関性は、機械学習の過程で適宜更新される。即ち、連関性は、例えば過去の使用者が作業を行う作業場所であるシーンの画像である第１の画像、使用者がいる位置の情報である位置情報、及び作業関連情報に基づいて最適化された関数を示す。このため、過去に使用者が作業を行う作業場所であるシーンの画像である第１の画像、使用者がいる位置の情報である位置情報、及び作業関連情報を評価した結果を全て踏まえて構築された連関性を用いて、評価対象情報に対する評価結果が生成される。これにより、使用者が作業を行う作業場所であるシーンの画像である第１の画像、使用者がいる位置の情報である位置情報、及び作業関連情報が様々なケースであっても、最適な評価結果を生成することができる。また、評価対象情報が、過去の評価対象情報と同一又は類似である場合のほか、非類似である場合においても、最適な評価結果を定量的に生成することができる。なお、機械学習を行う際に汎化能力を高めることで、未知の評価対象情報に対する評価精度の向上を図ることができる。

なお、連関性は、例えば過去の評価対象情報に含まれる複数のデータと、参照情報に含まれる複数のデータとの間における繋がりの度合いを示す複数の連関度を有してもよい。連関度は、例えば学習モデルがニューラルネットワークで構築される場合、重み変数に対応させることができる。

過去の評価対象情報は、上述した評価対象情報と同種の情報を示す。過去の評価対象情報は、例えば過去にシーンの画像である第１の画像、使用者がいる位置の情報である位置情報、及び作業関連情報を評価した際に取得された評価対象情報を複数含む。

参照情報は、過去の評価対象情報に紐づき、シーンの画像である第１の画像、使用者がいる位置の情報である位置情報、及び作業関連情報に関する情報を示す。参照情報は、推定されるシーンのシーンＩＤを示すほか、シーンと絞り込むためのシーン名、シーンリストなどの情報を含んでもよい。なお、参照情報に含まれる具体的な内容や一意に示すＩＤは、任意に設定することができる。

連関性は、例えば図４に示すように、過去の評価対象情報と参照情報（シーンＩＤ）との間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、過去の評価対象情報に含まれる複数のデータ（図４では、例えば「第１の画像データＡ」～「第１の画像データＣ」、「位置データＡ」～「位置データＣ」、「関連データＡ」～「関連データＣ」）のそれぞれに対し、参照情報に含まれる複数のデータ（図４では「ＯＦＤ」～「ＯＦＦ」）の関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、過去の評価対象情報に含まれる１つのデータに対して、参照情報に含まれる複数のデータを紐づけることができ、使用者が必要な際に、使用者に絞り込まれた情報及び使用者が気付いていない有益な情報を表示す情報を、使用者に提示でき、情報提供の実効性、及び情報の有用性を向上させることができる。

連関性は、例えば過去の評価対象情報に含まれる複数のデータと、参照情報に含まれる複数のデータとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、１０段階、又は５段階等の３段階以上で示され、例えば線の特徴（例えば太さ等）で示される。例えば、過去の評価対象情報に含まれる「第１の画像データＡ」、「位置データＡ」、「関連データＡ」は、参照情報に含まれるシーンＩＤ「ＯＦＤ」との間の連関度ＡＡＡＡ「３９％」を示し、参照情報に含まれるシーンＩＤ「ＯＦＥ」との間の連関度ＡＡＡＢ「４５％」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。なお、上述した機械学習により連関性を構築する際、連関性が３段階以上の連関度を有するように設定してもよい。

また、例えば図５に示すように、過去の作業対象の対象物の画像データ（第２の画像データ）、対象物に対する作業情報（チャンク）、及び作業関連情報と、参照情報（チャンク用メタＩＤ）との間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、過去の評価対象情報に含まれる複数のデータ（図５では、例えば「第２の画像データＡ」～「第２の画像データＣ」、「チャンクＡ」～「チャンクＣ」、「関連データＡ」～「関連データＣ」）のそれぞれに対し、参照情報に含まれる複数のデータ（図５では「２４ＦＤ，８３Ｄ９０」～「８４Ｄ９，５４ＢＢ」）の関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、過去の評価対象情報に含まれる１つのデータに対して、参照情報に含まれる複数のデータを紐づけることができ、使用者が必要な際に、使用者に絞り込まれた情報及び使用者が気付いていない有益な情報を表示す情報を、使用者に提示でき、情報提供の実効性、及び情報の有用性を向上させることができる。

連関性は、例えば過去の評価対象情報に含まれる複数のデータと、参照情報に含まれる複数のデータとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、１０段階、又は５段階等の３段階以上で示され、例えば線の特徴（例えば太さ等）で示される。例えば、過去の評価対象情報に含まれる「第２の画像データＡ」、「チャンクＡ」、「関連データＡ」は、参照情報に含まれるシーンＩＤ「２４ＦＤ，８３Ｄ９」との間の連関度ＡＡＡＡ「１５％」を示し、参照情報に含まれるシーンＩＤ「２５ＦＤ」との間の連関度ＡＡＡＢ「９２％」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。なお、上述した機械学習により連関性を構築する際、連関性が３段階以上の連関度を有するように設定してもよい。

次に図６を用いて保存部１０４に記憶されている情報であるシーンテーブル、学習モデルテーブル、チャンク・メタテーブル、チャンクテーブルについて説明する。図６は、本実施の形態による保存部１０４に記憶されている情報を示す図である。

シーンテーブルなどに格納されるシーンＩＤは、例えば「０ＦＤ」などの３桁の１６進数とする。またシーンテーブルなどに格納されるシーン名は、例えば製造エリアや検査エリアなどとする。

学習モデルテーブルなどに格納される学習モデルＩＤは、例えば「ＭＤ１」のように２文字の英字と１桁の１０進数で表される。

チャンクテーブルに格納されるチャンクは、例えば「1B827-01.txt_0」のように対象となるチャンクと対応するコンテンツのファイル名と１桁の１０進数とで示され、対象となるチャンクと対応するコンテンツの実体の一部分へのポインタなどが格納される。

チャンクテーブルに格納されるチャンクサマリは、例えば「開梱のため、…」といったチャンクの内容を要約した文書とする。チャンクテーブルに格納されるハッシュ値は、例えば「５６４５４４ｄ８ｆ０ｂ７４６ｅ」のように１５桁の１６進数とする。またチャンクを優先する表示、又はチャンクに付随して表示される注目ＩＤとして例えば「５５」のようなＩＤが格納される。

次に図７を用いて保存部１０４に記憶されている情報であるシーン・コンテンツテーブル、コンテンツ・チャンクテーブル、チャンク・メタテーブル、チャンク用メタテーブルについて説明する。図７は、本実施の形態による保存部１０４に記憶されている情報を示す図である。

シーン・コンテンツテーブル、コンテンツ・チャンクテーブル及びチャンク・メタテーブルに示すように、作業情報のデータ構造は、チャンク用メタＩＤを最下層である第１の層とし、チャンクＩＤを第２の層とし、コンテンツＩＤを第３の層とし、シーンＩＤを最上層である第４の層とする階層構造を有している。

コンテンツ・チャンクテーブルなどに格納されるチャンクＩＤは、例えば「８２７００－０１」のように、５桁と２桁の１０進数で表される。チャンク・メタテーブルなどに格納されるチャンク用メタＩＤは、例えば「２４ＦＤ」のように４桁の１６進数とする。

チャンク用メタテーブルに格納されるチャンク用カテゴリＩＤは、例えば「３９４」のように３桁の１０進数とする。チャンク用メタテーブルに格納されるチャンク用カテゴリ名は、例えばチャンクを参照する使用者の種別「一般向け」、「手本作業」、「管理用」などとする。チャンク用メタテーブルに格納されるチャンク用メタ値は、例えば使用者が参照するチャンクのレベルや取り扱いを示す情報として「初級」、「上級」、「マル秘」などとする。なおチャンク用カテゴリＩＤ及びチャンク用カテゴリ名の値はＮＵＬＬであってもよい。

チャンク用メタＩＤの組み合わせは、（２４ＦＤ，８３Ｄ９）、（２５ＦＤ）などとし、１又は複数のチャンク用メタＩＤを組み合わせたものとする。

コンテンツテーブルなどに格納されるコンテンツＩＤは、例えば「１Ｂ８２７－０１」のように５桁の１６進数と２桁の１０進数とで表される。コンテンツテーブルなどに格納されるコンテンツは、例えば「1B827-01.txt」のようにコンテンツＩＤであるファイル名が拡張子付きで示され、コンテンツの実体へのポインタなどが格納される。

次に図８を用いて保存部１０４に記憶される情報として、例えばオブジェクトモデルテーブルについて説明する。図８は、本実施の形態による保存部１０４に記憶されている情報を示す図である。

オブジェクトモデルテーブルに示すように、オブジェクトモデル６を識別する情報として、例えばオブジェクトモデル６を識別するオブジェクトモデルＩＤ、オブジェクトモデル６に対する操作の種別を表す操作情報、オブジェクトモデル６が表示される基本サイズ、オブジェクトモデル６を複数表示可能な追加個数、オブジェクトモデル６が表示される位置を示す表示座標、推定されるシーンＩＤ及びチャンクＩＤ、作業が行われるエリアＩＤ、使用者のスキルや役割を識別する資格ＩＤなどが、各々に対応付けられて格納される。

次に図９を用いて保存部１０４に記憶されている情報であるオブジェクト割当テーブルについて説明する。図９は、本実施の形態による保存部１０４に記憶されている情報を示す図である。

オブジェクト割当テーブルに示すように、オブジェクトモデルＩＤに紐づけて、オブジェクトモデル６が有する表示領域８の個数に関する表示領域情報、表示される参照情報が紐づけられる表示領域ＩＤ、シーンＩＤ、チャンクＩＤなどが各々に対応付けられて格納される。

次に図１０を用いて保存部１０４に記憶されている情報であるアノテーションテーブル、注目テーブルについて説明する。図１０は、本実施の形態による保存部１０４に記憶されている情報を示す図である。

アノテーションテーブルに示すように、作業に関する映像を識別する映像ＩＤ、撮影したカメラを識別するカメラＩＤ、作業のシーンを識別するシーンＩＤ、映像が撮影された時刻を示す撮影時刻、映像が撮影された撮影時間、画質情報、撮影された映像の画質と視点座標、メタＩＤ、注目ＩＤなどが各々に対応付けられて格納される。また、注目テーブルに示すように、表示するチャンクの優先度などを識別する注目ＩＤ、注目情報の表示を示す注目種別情報、シーンＩＤ、内容を占める注目情報、注目情報データ（コンテンツ）、上位の参照情報、有無を示す上位注目ＩＤなどが各々に対応付けられて格納される。

次に図１１を用いて保存部１０４に記憶されている情報であるカメラテーブル、ロールテーブルについて説明する。図１１は、本実施の形態による保存部１０４に記憶されている情報を示す図である。

カメラテーブルに示すように、撮影されるカメラを識別するカメラＩＤ、カメラが設置されるエリアＩＤ、カメラのスペック、操作、役割などを示す機種情報、視線情報、切替情報、外部接続情報、操作可能者ＩＤ、ロールＩＤなどが、各々対応付けられて格納される。また、ロールテーブルに示すように、使用者を識別するロールＩＤ、社員ＩＤ、氏名、資格ＩＤ、部門ＩＤ、エリアＩＤ、関連ロールＩＤなどが各々に対応付けられて格納される。

（情報表示システム１００の動作の一例）
次に、本実施形態における情報表示システム１００の動作の一例について説明する。図１２は、本実施形態における情報表示システム１００の動作の一例を示すフローチャートである。

＜シーン推定手段Ｓ１１０＞
図１２に示すように、第１の画像及び位置情報を取得し、第１の学習済みモデルを使用して作業のシーンを推定する（シーン推定手段Ｓ１１０）。シーン推定部１２は、例えば使用者が作業を行う作業場所であるシーンの画像である第１の画像と、使用者がいる位置の情報である位置情報と、作業に関係する作業関連情報と、を少なくとも含む評価対象情報を取得する。

シーン推定部１２は、例えば使用者端末２から受信した第１のシーンＩＤリストに含まれるそれぞれのシーンＩＤのうち使用者端末２にキャッシュが無い１又は複数のシーンＩＤ（以下、これを第２のシーンＩＤリストと呼んでもよい）を検索キーとしてシーンテーブルを検索してもよい。

またシーン推定部１２は、例えば検索結果として第２のシーンＩＤリストに含まれるそれぞれのシーンＩＤに対応するシーン名（以下、これをシーン名リストと呼んでもよい）をシーンテーブルから取得するようにしてもよい。

またシーン推定部１２は、例えば取得したシーン名リストを使用者端末２にそのままに送信するようにしてもよい。利用段階において情報処理装置１は、第１の画像のシーンを、シーン名を推定することで、推定するシーン推定機能を実現する。

またシーン推定部１２は、例えば評価対象情報と、シーンを一意に示すシーンＩＤに関係する情報と、の間における連関性が記憶されている第１の学習済みモデルを使用して、シーンを推定する。取得部１１は、例えば記憶部１９を介して、評価対象情報を保存部１０４に保存する。

＜チャンク推定手段Ｓ１２０＞
次に、第２の画像を取得し、複数の第２の学習済みモデルのうちの１つを使用し、チャンクを推定する（チャンク推定手段Ｓ１２０）。チャンク推定部１３は、作業に関係する対象物の画像である第２の画像を取得する。

チャンク推定部１３は、使用者が行う作業に関する作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用し、取得部１１は、例えば記憶部１９を介して、第２の画像を保存部１０４に保存する。

また、チャンク推定部１３は、使用者端末２から受信したシーン名に対応するシーンＩＤを検索キーとして、学習モデルテーブルを検索し学習モデルＩＤを取得する。チャンク推定部１３は、学習モデルテーブルから取得した学習モデルＩＤによって、複数の第２の学習済みモデルのうちの１つを指定し、対象物５の第２の画像を指定した第２の学習済みモデルに入力する。

第２の学習済みモデルは、対象物５の第２の画像と強く結びついている１又は複数のチャンク用メタＩＤを１又は複数選択し、チャンク推定部１３に対して選択した１又は複数の、１又は複数のチャンク用メタＩＤ（以下、これをチャンク用メタＩＤリストと呼んでもよい）を出力するようにしてもよい。

また、チャンク推定部１３は、チャンク用メタＩＤリストに含まれるそれぞれの１又は複数のチャンク用メタＩＤを検索キーとして、チャンク・メタテーブルを検索する。チャンク推定部１３は、検索結果として１又は複数のチャンクＩＤ（以下、これを第１のチャンクＩＤリストと呼んでもよい）をチャンク・メタテーブルから取得する。

また、チャンク推定部１３は、取得した第１のチャンクＩＤリストを使用者端末２にそのままに送信するようにしてもよい。

また、チャンク推定部１３は、使用者端末２から受信した第１のチャンクＩＤリストに含まれるそれぞれのチャンクＩＤのうち使用者端末２にキャッシュが無い１又は複数のチャンクＩＤ（以下、これを第２のチャンクＩＤリストと呼んでもよい）を検索キーとしてチャンクテーブルを検索する。

チャンク推定部１３は、検索結果として第２のチャンクＩＤリストに含まれるそれぞれのチャンクＩＤに対応するチャンクサマリ（以下、これをチャンクサマリリストと呼んでもよい）をチャンクテーブルから取得する。チャンク推定部１３は、取得したチャンクサマリリストを使用者端末２にそのままに送信するようにしてもよい。

利用段階において情報処理装置１は、被対応５のチャンクを、チャンクサマリを推定することで、推定するチャンク推定機能を実現する。

＜オブジェクトモデル特定手段Ｓ１３０＞
次に、推定されたシーン及びチャンクの何れかから、オブジェクトモデル６を特定する（オブジェクトモデル特定手段Ｓ１３０）。オブジェクトモデル特定部１４は、シーン推定部１２により推定されたシーン及びチャンク推定部１３により推定されたチャンクの少なくとも何れかに基づいて、シーン又はチャンクを少なくとも含む参照情報を表示するオブジェクトモデル６を一意に示すオブジェクトモデルＩＤとの紐づけを行い、オブジェクトモデル６を特定する。

また、オブジェクトモデル特定部１４は、使用者のスキル情報、作業を行う空間情報、対象物の特徴情報、又は作業の作業レベル情報などの少なくとも何れかに基づいて、オブジェクトモデル６を特定する。これにより、使用者が必要な際に、使用者に絞り込まれた情報及び使用者が気付いていない有益な情報を表示す情報を、使用者に提示することができ、情報提供の実効性、及び情報の有用性を向上させることができる。

また、オブジェクトモデル特定部１４は、少なくとも２面以上の表示領域８を備える形状であって、１以上のオブジェクトモデル６により構成されるオブジェクトモデル６を特定する。これにより、使用者が必要な際に、使用者に絞り込まれた情報及び使用者が気付いていない有益な情報を表示す情報を、使用者に提示することができ、情報提供の実効性、及び情報の有用性を向上させることができる。

また、オブジェクトモデル特定部１４は、作業の状態に基づいて、回転表示、拡大表示、縮小表示、突出表示、振動表示、状態表示、変色表示、又は濃淡表示の少なくとも何れかの形態で表示することができるオブジェクトモデル６を特定する。これにより、使用者が必要な際に、使用者に絞り込まれた情報及び使用者が気付いていない有益な情報を表示す情報を、使用者に提示することができ、情報提供の実効性、及び情報の有用性を向上させることができる。

＜割当手段Ｓ１４０＞
次に、オブジェクトモデルの表示領域にチャンクを割り当てる（割当手段Ｓ１４０）。割当部１５は、オブジェクトモデル特定部１４により特定されたオブジェクトモデル６が有する表示領域８に参照情報を割り当てる。

割当部１５は、シーン推定部１２により推定されたシーンの内容を示すシーン情報、シーン情報に紐づく使用者が行う前記作業に関する作業情報、作業情報に紐づく使用者が行う作業に関する作業工程を示す作業チェック情報、作業情報に紐づくチャンク情報、作業に関する作業内容の差分情報、作業の熟練者による手本作業の内容を示す手本作業情報、使用者の作業シーンの作業映像を示す作業映像情報、又は手本作業情報と作業映像情報との作業の差分に応じて示される指示情報の少なくとも何れかの参照情報の割り当てを行う。

また、割当部１５は、第２の画像に紐づいて設定される注目情報の有無に基づいて、推定されるチャンクよりも優先する表示、又はチャンクに付随する表示として参照情報の割り当てを行う。これにより、使用者が必要な際に、使用者に優先される情報を、使用者に提示することができ、情報提供の実効性、及び情報の有用性を向上させることができる。

＜出力手段Ｓ１５０＞
次に、オブジェクトモデルと、割当部１５により割り当てられた参照情報を出力する（出力手段Ｓ１５０）。

出力部１６は、第１の画像、位置情報、及び第２の画像の少なくとも何れかに基づいて、オブジェクトモデル６を使用者の仮想表示空間内の対象物５の近傍に出力する。出力部１６は、第１の画像、位置情報、及び第２の画像の少なくとも何れかに基づいて、オブジェクトモデル６を使用者の仮想表示空間内の対象物５の近傍に表示位置を固定して出力する。これにより、使用者が必要な際に、使用者に絞り込まれた情報及び使用者が気付いていない有益な情報を表示す情報を、使用者に提示することができ、情報提供の実効性、及び情報の有用性を向上させることができる。

これにより、本実施形態における情報表示システム１００の動作が終了する。

（情報表示システム１００の第１変形例）
次に、図１３を用いて本実施形態における情報表示システム１００の第１変形例について説明する。上述した実施形態と、第１変形例との違いは、オブジェクトモデル７が複数のオブジェクトモデルにより構成され、割当部１５によりオブジェクトモデル７の各々の表示領域に別々の表示内容（表示内容８ａ、表示内容８ｂ）が割り当てられ、出力部１６により出力され、使用者端末２で表示される点である。なお、上述した実施形態と同様の内容については、説明を省略する。

複数のオブジェクトモデルは、例えば立方体の場合は、上下に２段以上が重なるように表示されてもよい。オブジェクトモデル特定部１４は、例えばシーン推定部１２により推定されたシーン及びチャンク推定部１３により推定されたチャンクの少なくとも何れかに基づいて参照情報を表示するオブジェクトモデルを一意に示すオブジェクトモデルＩＤとの紐づけを行い、オブジェクトモデルを特定するようにしてもよい。

ここで、図１４を用いて、本実施形態における使用者端末２の表示の一例について説明する。図１４は、使用者端末２において、オブジェクトモデル特定部１４により特定されたオブジェクトモデル７の複数の表示領域に、割当部１５により割り当てられ、表示された各種の表示内容を示す。

図１４（ａ）は、例えばシーン推定部１２が第１の画像及び位置情報を取得し、第１の学習済みモデルを使用して作業のシーンを推定し、推定された複数のシーンの候補がオブジェクトモデルの１つの表示領域に表示される例である。図１４（ｂ）は、例えばチャンクＩＤに紐づく参照情報として、コンテンツ・差分情報が表示領域に表示される例である。図１４（ｃ）は、例えば使用者端末２がスマートフォン等のデバイスで、自分視点の画像情報として、リアカメラに切り替えて第２の画像として対象物５を撮影し、撮影された対象物５が表示領域に表示される例である。図１４（ｄ）は、例えば熟練者である使用者（トレーニー）に対して、作業する対象物５が撮影された第２の画像に基づいて表示される作業チェック表が表示領域に表示される例である。図１４（ｅ）は、例えば熟練者（トレーナー）の使用者端末２で録画された対象物５の映像として表示領域に表示される例である。図１４（ｆ）は、例えば作業を行う使用者の行動を俯瞰して確認する映像と、関連する情報が合わせて表示領域に表示される例である。図１４（ｇ）は、例えば熟練者（トレーナー）が記録する学習用情報を取得する場合の熟練者・ＡＩ学習データの生成時用の作業情報が表示領域に表示される例である。図１４（ｈ）は、例えばチャンクＩＤに紐づく関連ナラティブ情報として、関連動画情報、原点情報が表示領域に表示される例である。

特定されたオブジェクトモデル６の表示領域には、例えば図１４（ａ）～（ｈ）に表示される各々の参照情報が表示されるが、例えばシーン推定部１２によるシーンの選択、チャンク推定部１３によるチャンクの選択の場面では、図１４（ａ）が使用者の前面に表示されるようにしてもよい。また、使用者の作業内容、作業状況などに基づいて、オブジェクトモデル６の表示領域が回転し、より重要な情報、注目情報などを優先表示するようにしてもよい。

（情報表示システム１００の第２変形例）
次に、図１５を用いて本実施形態における情報表示システム１００の第２変形例について説明する。上述した実施形態と、第１変形例と、第２変形例の違いは、通常に特定されるオブジェクトモデル６と表示内容８ａと付随して、例えばオブジェクトモデル６の上部に、異なるオブジェクトモデルＩＤで特定されたオブジェクトモデル９（board_01）を特定して表示する。そしてオブジェクトモデル９の表示領域には、例えば表示内容８ｃ（アラート情報など）が割り当てられ、出力部１６により出力され、使用者端末２で表示される点である。なお、上述した実施形態と同様の内容については、説明を省略する。

オブジェクトモデル９は、例えば熟練者である使用者（トレーニー）を監視、指導する監視者によって表示の通知操作がされるようにしてもよく、使用者はこのオブジェクトモデル９で表示される作業（問題）を解決されるまでの間は表示を継続し、作業（問題）が解決されれば消えるようにしてもよい。

これにより、使用者が必要な際に、使用者に絞り込まれた情報及び使用者が気付いていない有益な情報を表示す情報とは別の、例えば緊急性の高い情報などを提示することが可能となり、情報提供の実効性、及び情報の有用性が一層向上させることができる。

次に、図１６を用いて、本実施形態における使用者端末２の表示の一例について説明する。図１６は、使用者端末２において、オブジェクトモデル特定部１４により特定されたオブジェクトモデル７の複数の表示領域に、割当部１５により割り当てられ、表示された各種の表示内容を示す。

図１６（ａ）に示す表示例は、例えば使用者端末２がスマートフォンであり、平面的な表示として表示するようにしてもよい。図１６（ａ）に示す表示例は、例えば使用者のスマートフォンの表示画面３０の表示領域３０ａに、オブジェクトモデル８ａとオブジェクトモデル８ｂを特定し、特定されたオブジェクトモデル８ａとオブジェクトモデル８ｂの各々に表示領域にチャンクを割り当て、出力し、スマートフォンの表示画面３０に表示される。この場合、例えばオブジェクトモデルのイメージを異なるデバイス間でも共通とすることで、使用者が必要な際に、使用者に絞り込まれた情報及び使用者が気付いていない有益な情報を表示す情報を、共通の操作作法、ＵＩとして使用者に提示することができ、情報提供の実効性、及び情報の有用性を向上させることができる。

次に、図１６（ｂ）に示す表示例は、例えば使用者端末２がパソコン等であり、使用者が監視者（インスペクター）の場合における表示となる。この場合、例えば表示画面３１には、対象物５を作業する作業者を俯瞰した画像を表示する表示領域３１ａと、熟練者の熟練担当者の視点画像を表示する表示領域３１ｂと、作業者に対して情報を送信するオブジェクトモデルを選択させる表示領域３１ｃと、使用者（例えばトレーナー、トレーニーなど）にアラートを送信するための表示領域３１ｄとが表示される。これにより、使用者が必要な際に、使用者に絞り込まれた情報とは別の役割で、関連する情報を使用者になどを提示することが可能となり、情報提供の実効性、及び情報の有用性が一層向上させることができる。

また、本実形態によれば、割当部１５は、例えば模式化された情報の表示を割り当てるようにしてもよい。模式化された情報は、例えば人の表情を簡略化した『笑顔』、『不安』、『緊迫』などの表情を示す図やイラスト、使用者の作業状況に対する『注意』、『警告』などの単語やメッセージ、さらには赤色、青色、黄色などの発光状態が表示灯などとして、各々が表示されてもよい。

また、本実施形態によれば、使用者が対象物に対して行う作業の支援を行う情報表示方法は、シーン推定手段Ｓ１１０を行うシーン推定ステップ、チャンク推定手段Ｓ１２０を行うチャンク推定ステップ、オブジェクトモデル特定手段Ｓ１３０を行うオブジェクトモデル特定ステップ、割当手段Ｓ１４０を行う割当ステップ、出力手段Ｓ１５０を行う出力ステップにより提供することができる。

本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ ：情報処理装置
２ ：使用者端末
２ａ ：表示エリア
３ ：サーバ
４ ：通信網
５ ：対象物
６ ：オブジェクトモデル
７ ：オブジェクトモデル
８ ：表示領域
８ａ ：表示内容
８ｂ ：表示内容
８ｃ ：表示内容
９ ：オブジェクトモデル
１０ ：筐体
１１ ：取得部
１２ ：シーン推定部
１３ ：チャンク推定部
１４ ：オブジェクトモデル特定部
１５ ：割当部
１６ ：出力部
１７ ：手本作業生成部
１７ａ ：手本作業登録部
１７ｂ ：手本手順登録部
１７ｃ ：手本作業決定部
１８ ：更新部
１９ ：記憶部
２０ ：学習部
２１ ：監視部
３０ ：表示画面
３０ａ ：表示領域
３１ ：表示画面
３１ａ ：表示領域
３１ｂ ：表示領域
３１ｃ ：表示領域
３１ｄ ：表示領域
５０ ：作業エリア（製造エリア）
１００ ：情報表示システム
１０１ ：ＣＰＵ
１０２ ：ＲＯＭ
１０３ ：ＲＡＭ
１０４ ：保存部
１０５ ：Ｉ／Ｆ
１０６ ：Ｉ／Ｆ
１０７ ：Ｉ／Ｆ
１０８ ：入力部
１０９ ：表示部
１１０ ：内部バス
Ｓ１１０ ：シーン推定手段
Ｓ１２０ ：チャンク推定手段
Ｓ１３０ ：オブジェクトモデル特定手段
Ｓ１４０ ：割当手段
Ｓ１５０ ：出力手段

Claims (7)

1. 使用者が対象物に対して行う作業の支援を行う情報表示装置であって、
   前記使用者を識別する資格ＩＤ、部門ＩＤ、エリアＩＤを少なくとも含むロールテーブルを記憶する記憶部と、
   前記使用者が前記作業を行う作業場所であるシーンの画像である第１の画像と、前記使用者がいる位置の情報である位置情報と、前記ロールテーブルを参照して前記使用者の作業に関する前記資格ＩＤ、前記エリアＩＤ、及び前記部門ＩＤを含む作業関連情報と、を含む評価対象情報を取得する取得部と、
   前記取得部により取得された前記評価対象情報に基づいて、前記評価対象情報と、前記シーンを一意に示すシーンＩＤに関する情報と、の間における連関性が記憶されている第１の学習済みモデルを使用し、前記連関性の重み変数に基づいて前記使用者が前記作業を行う前記シーンを推定するシーン推定部と、
   前記取得部は、前記シーン推定部により前記シーンが推定された後に、前記作業に関する対象物の画像である第２の画像を取得し、前記対象物に対する前記作業に関する作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用し、前記連関性の重み変数に基づいてチャンクを推定するチャンク推定部と、
   前記シーン推定部により推定された前記シーン及び前記チャンク推定部により推定された前記チャンクと、前記資格ＩＤと、に基づいて参照情報を取得し、取得した前記参照情報を表示するオブジェクトモデルを一意に示す前記オブジェクトモデルＩＤとの紐づけを行い、前記オブジェクトモデルを特定するオブジェクトモデル特定部と、
   前記オブジェクトモデル特定部により特定された前記オブジェクトモデルが有する複数の表示領域に、前記参照情報を割り当てる割当部と、
   前記オブジェクトモデル特定部により特定された前記オブジェクトモデルと、前記割当部により割り当てられた前記参照情報とを出力する出力部と、
   を備えること、
   を特徴とする情報表示装置。
2. 使用者が対象物に対して行う作業の支援を行う情報表示システムであって、
   前記使用者を識別する資格ＩＤ、部門ＩＤ、エリアＩＤを少なくとも含むロールテーブルを記憶する記憶手段と、
   前記使用者が前記作業を行う作業場所であるシーンの画像である第１の画像と、前記使用者がいる位置の情報である位置情報と、前記ロールテーブルを参照して前記使用者の作業に関する前記資格ＩＤ、前記エリアＩＤ、及び前記部門ＩＤを含む作業関連情報と、を含む評価対象情報を取得する取得手段と、
   前記取得手段により取得された前記評価対象情報に基づいて、前記評価対象情報と、前記シーンを一意に示すシーンＩＤに関する情報と、の間における連関性が記憶されている第１の学習済みモデルを使用し、前記連関性の重み変数に基づいて前記使用者が前記作業を行う前記シーンを推定するシーン推定手段と、
   前記取得手段は、前記シーン推定部により前記シーンが推定された後に、前記作業に関する対象物の画像である第２の画像を取得し、前記対象物に対する前記作業に関する作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用し、前記連関性の重み変数に基づいてチャンクを推定するチャンク推定手段と、
   前記シーン推定手段により推定された前記シーン及び前記チャンク推定手段により推定された前記チャンクと、前記資格ＩＤと、に基づいて参照情報を取得し、取得した前記参照情報を表示するオブジェクトモデルを一意に示す前記オブジェクトモデルＩＤとの紐づけを行い、前記オブジェクトモデルを特定するオブジェクトモデル特定手段と、
   前記オブジェクトモデル特定手段により特定された前記オブジェクトモデルが有する複数の表示領域に、前記参照情報を割り当てる割当手段と、
   前記オブジェクトモデル特定手段により特定された前記オブジェクトモデルと、前記割当部により割り当てられた前記参照情報とを出力する出力手段と、
   を備えること、
   を特徴とする情報表示システム。
3. 使用者が対象物に対して行う作業の支援を情報表示装置に行わせる情報表示プログラムであって、
   前記使用者を識別する資格ＩＤ、部門ＩＤ、エリアＩＤを少なくとも含むロールテーブルを記憶する記憶ステップと、
   前記使用者が前記作業を行う作業場所であるシーンの画像である第１の画像と、前記使用者がいる位置の情報である位置情報と、前記ロールテーブルを参照して前記使用者の作業に関する前記資格ＩＤ、前記エリアＩＤ、及び前記部門ＩＤを含む作業関連情報と、を含む評価対象情報を取得する取得ステップと、
   前記取得ステップにより取得された前記評価対象情報に基づいて、前記評価対象情報と、前記シーンを一意に示すシーンＩＤに関する情報と、の間における連関性が記憶されている第１の学習済みモデルを使用し、前記連関性の重み変数に基づいて前記使用者が前記作業を行う前記シーンを推定するシーン推定ステップと、
   前記取得ステップは、前記シーン推定ステップにより前記シーンが推定された後に、前記作業に関する対象物の画像である第２の画像を取得し、前記対象物に対する前記作業に関する作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用し、前記連関性の重み変数に基づいてチャンクを推定するチャンク推定ステップと、
   前記シーン推定ステップにより推定された前記シーン及び前記チャンク推定ステップにより推定された前記チャンクと、前記資格ＩＤと、に基づいて参照情報を取得し、取得した前記参照情報を表示するオブジェクトモデルを一意に示す前記オブジェクトモデルＩＤとの紐づけを行い、前記オブジェクトモデルを特定するオブジェクトモデル特定ステップと、
   前記オブジェクトモデル特定ステップにより特定された前記オブジェクトモデルが有する複数の表示領域に、前記参照情報を割り当てる割当ステップと、
   前記オブジェクトモデル特定ステップにより特定された前記オブジェクトモデルと、前記割当部により割り当てられた前記参照情報とを出力する出力ステップと、
   を情報表示装置に実行させること、
   を特徴とする情報表示プログラム。
4. 機械学習によりデータベースを生成する学習方法であって、
   熟練者が用いる使用者端末を介して取得された作業のシーン、前記熟練者の位置情報及び前記熟練者を識別する部門ＩＤ及びエリアＩＤを少なくとも含む情報を含む評価対象情報と、前記使用者端末を用いて取得した前記熟練者の作業に関するシーンＩＤを含む参照情報と、を一対の学習データとして、前記使用者端末を操作する前記シーンにおける作業の種類毎に複数取得する取得ステップと、
   複数の前記学習データを用いた機械学習により、複数の前記評価対象情報と、複数の前記シーン情報との間における連関性が記憶された前記データベースを生成する学習ステップと、
   を備えること
   を特徴とする学習方法。
5. 機械学習によりデータベースを生成する学習方法であって、
   熟練者が用いる使用者端末を介して取得された作業対象の対象物、前記対象物の機器に対する操作情報及び前記熟練者を識別する資格ＩＤを含む情報を含む評価対象情報と、前記使用者端末を用いて取得した前記熟練者が参照する前記対象物に対する前記作業に関する作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤを含む参照情報と、を一対の学習データとして、前記使用者端末を操作する前記対象物の作業の種類毎に複数取得する取得ステップと、
   複数の前記学習データを用いた機械学習により、複数の前記評価対象情報と、複数の前記チャンク情報との間における連関性が記憶された前記データベースを生成する学習ステップと、
   を備えること
   を特徴とする学習方法。
6. 保存部及び制御部を備えるコンピュータに用いられ、前記保存部に記憶される使用者の作業のシーンの内容を示すシーンＩＤを出力部に表示するためのデータ構造であって、
   使用者端末を用いて取得された作業場所のシーン、使用者の位置情報及び使用者の作業に関する情報を含む評価対象情報と、前記使用者端末を用いて取得した前記作業に関するシーンＩＤと、を一対の学習データとして、前記使用者端末を操作する前記シーンＩＤにおける作業の種類毎に複数取得し、
   複数の前記学習データは、前記コンピュータの備える制御部が実行するニューラルネットワークをモデルとした機械学習により、複数の前記評価対象情報と、複数の前記シーンＩＤとの間における連関性を含む学習済みモデルを生成するために用いられること
   を特徴とするデータ構造。
7. 保存部及び制御部を備えるコンピュータに用いられ、前記保存部に記憶される使用者のシ－ン作業に紐づき対象物の作業に関するチャンクＩＤを出力部に表示するためのデータ構造であって、
   使用者端末を介して取得された作業対象の対象物、前記対象物の機器に対する評価対象情報と、前記使用者端末を用いて取得した前記対象物に対する前記作業に関する作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、を一対の学習データとして、前記使用者端末を操作する前記対象物の作業の種類毎に複数取得し、
   複数の前記学習データは、前記コンピュータの備える制御部が実行するニューラルネットワークをモデルとした機械学習により、複数の前記評価対象情報と、複数の前記チャンクＩＤとの間における連関性を含む学習済みモデルを生成するために用いられること
   を特徴とするデータ構造。

Images