JP2022121326A - プログラム、方法、情報処理装置及びシステム - Google Patents

Abstract

【課題】遠隔地にいる指示者に対して、作業者の作業環境に関する様々な情報を効率的に共有する。
【解決手段】プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、第１者の作業環境を、少なくとも撮影手段を含むセンシング手段によりセンシングした複数種類のセンシング情報を取得する第１ステップと、取得した複数種類のセンシング情報のうち、画像情報以外のセンシング情報を文字情報に変換する第２ステップと、画像情報に基づく第１画像と、変換された文字情報を含む第２画像とを、第１者の作業を支援する第２者に提示する第３ステップとを実行させる。
【選択図】図７

Description

本開示は、プログラム、方法、情報処理装置及びシステムに関する。

近年、情報通信技術を活用して、オペレータなどの指示者が、遠隔地から現場の作業者をサポートする技術がある。

例えば、特許文献１では、ウェアラブルデバイスを用いた遠隔作業支援システムが開示されている。当該遠隔作業支援システムでは、作業者が装備し、かつ、カメラデバイスとモーションセンサとを具備するウェアラブルデバイスにより取得される動画データと、モーションセンサにより取得されるモーションデータとが、逐次、作業支援端末へ送信される。作業支援端末は、作業者から送信される動画データとモーションデータとに基づき、一枚の広範囲の周囲の状況が写った合成静止画と、動画データによる動画とを並べてディスプレイ上に表示する。

特開２０１６－１８１７５１号公報

特許文献１で記載される作業支援端末で表示される情報は、ウェアラブルデバイスから送信された映像情報に基づく情報である。支援者には作業者の作業を支援するに当たり、映像情報に基づく情報以外の情報も確認したいという要望がある。

そこで、本開示は、遠隔地にいる指示者に対して、作業者の作業環境に関する様々な情報を効率的に共有することを目的としている。

本開示の一実施形態によると、プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムが提供される。プログラムは、プロセッサに、第１者の作業環境を、少なくとも撮影手段を含むセンシング手段によりセンシングした複数種類のセンシング情報を取得する第１ステップと、取得した複数種類のセンシング情報のうち、画像情報以外のセンシング情報を文字情報に変換する第２ステップと、画像情報に基づく第１画像と、変換された文字情報を含む第２画像とを、第１者の作業を支援する第２者に提示する第３ステップとを実行させる。

本開示によれば、遠隔地にいる指示者に対して、作業者の作業環境に関する様々な情報を効率的に共有することができる。

第１の実施形態のシステム１の全体の構成を示す図である。 第１の実施形態のシステム１を構成する、作業者が操作する端末装置１０Ａのブロック図である。 第１の実施形態のシステム１を構成する、指示者が操作する端末装置１０Ｂのブロック図である。 第１の実施形態のシステム１を構成するサーバ２０の機能的な構成を示す図である。 サーバ２０が記憶するセンシング情報データベース２８１のデータ構造を示す図である。 作業者の作業環境に関するセンシング情報を指示者の端末装置に表示する流れの一例を説明する図である。 指示者の端末装置１０Ｂの画面例の図である。 指示者の端末装置１０Ｂの画面例の図である。

以下、図面を参照しつつ、本開示の実施形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称及び機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

＜概要＞
本実施形態に係るシステムは、現場の作業者の作業環境に関する様々なセンシング情報を、遠隔地にいて作業者に対する指示を発する指示者の端末装置に表示する。例えば、システムは、カメラ、マイク、及び各種センサを備えるセンシング手段により、作業者の作業環境をセンシングし、取得した様々なセンシング情報を、指示者の端末装置に提示する。本実施形態に係るシステムは、様々な場面に活用可能であり、例えば、プロダクトの製造ライン、農園、物流、メンテナンス、小売りなどの遠隔支援に用いられる。

＜１ システム１の全体構成＞
図１は、第１の実施形態のシステム１の全体の構成を示す図である。

図１に示すように、システム１は、作業者が操作する端末装置１０Ａと、指示者が操作する端末装置１０Ｂと、サーバ２０とを含む。端末装置１０Ａと、端末装置１０Ｂと、サーバ２０とは、有線又は無線の通信規格を用いて、ネットワーク８０を介して相互に通信可能に接続されている。

端末装置１０Ａ及び端末装置１０Ｂは、例えば、移動体通信システムに対応したスマートフォン、タブレット等の携帯端末により実現される。この他に、端末装置１０Ａ及び端末装置１０Ｂは、例えば、据え置き型のＰＣ（Personal Computer）、ラップトップＰＣなどであるとしてもよい。

また、端末装置１０Ａは、作業者の身体に装着され、作業者の作業環境をセンシングするためのウェアラブルデバイスであってよい。例えば、端末装置１０Ａは、撮影手段及び各種センサを搭載しているスマートグラスである。また、例えば、端末装置１０Ａは、ジャイロセンサ等のモーションセンサを備え、作業者の動きを検知することとしてよい。これにより、作業者は、端末装置１０Ａを装着したまま、作業環境をセンシングすることができる。

端末装置１０Ａは、作業者の作業環境をセンシングするため、撮影手段及び各種センサなどによって構成されるセンシング手段を含む。センサとしては、例えば、音センサ、温度センサ、ガスセンサ、匂いセンサ、触覚センサ、距離センサ、位置情報センサ、圧力センサ、光センサ、又は加速度センサなどが挙げられる。これにより、端末装置１０Ａは、複数種類のセンシング情報を取得することが可能である。

なお、図示するように、端末装置１０Ａは、センシングデバイス１１Ａと有線又は無線により接続されてもよい。センシングデバイス１１Ａは、作業者の作業環境をセンシングするためのデバイスである。例えば、センシングデバイス１１Ａは、音センサ、温度センサ、ガスセンサ、匂いセンサ、触覚センサ、距離センサ、位置情報センサ、圧力センサ、光センサ、又は加速度センサなどの各種センサを搭載したものであってよい。センシングデバイス１１Ａにより取得したセンシング情報は、端末装置１０Ａに送信される。なお、端末装置１０Ａとセンシングデバイス１１Ａとが同一の装置であってもよい。

図１に端末装置１０Ａとして示すように、端末装置１０Ａ及び端末装置１０Ｂは、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、ストレージ１６と、プロセッサ１９とを備える。

通信ＩＦ１２は、端末装置１０Ａ及び端末装置１０Ｂが外部の装置と通信するため、信号を入出力するためのインタフェースである。入力装置１３は、ユーザからの入力操作を受け付けるための入力装置（例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等）である。出力装置１４は、ユーザに対し情報を提示するための出力装置（ディスプレイ、スピーカ等）である。メモリ１５は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。ストレージ１６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。

サーバ２０は、各作業者の作業環境に関する情報を収集し、データベースに蓄積しつつ、各作業者をサポートする指示者に提示する。例えば、サーバ２０は、作業者の端末装置１０Ａから、端末装置１０Ａ又はセンシングデバイス１１Ａの各種センシング結果を取得しつつ、指示者の端末装置１０Ｂに表示する。サーバ２０は、例えば、ネットワーク８０に接続されたコンピュータである。

図１に示すように、サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。

通信ＩＦ２２は、サーバ２０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、および、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。メモリ２５は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ等の揮発性のメモリである。ストレージ２６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤである。プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。

＜１．１ 端末装置１０Ａの構成＞
図２は、第１の実施形態のシステム１を構成する、作業者が操作する端末装置１０Ａのブロック図である。図２に示すように、端末装置１０Ａは、通信部１２１と、操作受付部１３０（タッチ・センシティブ・デバイス１３１およびディスプレイ１３２を含む）と、音声処理部１４０と、マイク１４１と、スピーカ１４２と、センサ１５０と、カメラ１６０と、記憶部１７０Ａと、制御部１８０Ａと、を含む。端末装置１０Ａは、図２では特に図示していない機能及び構成（例えば、電力を保持するためのバッテリー、バッテリーから各回路への電力の供給を制御する電力供給回路など）も有している。図２に示すように、端末装置１０Ａに含まれる各ブロックは、バス等により電気的に接続される。

通信部１２１は、有線又は無線の通信規格を用いて、端末装置１０Ａが外部の装置と通信するための処理を行う。

操作受付部１３０は、操作者の入力操作を受け付けるための機構を有する。具体的には、操作受付部１３０は、タッチスクリーンとして構成され、タッチ・センシティブ・デバイス１３１と、ディスプレイ１３２とを含む。また、操作受付部１３０は、マウス、キーボード等を含むこととしてもよい。

タッチ・センシティブ・デバイス１３１は、端末装置１０Ａの操作者の入力操作を受け付ける。タッチ・センシティブ・デバイス１３１は、例えば静電容量方式のタッチパネルを用いることによって、タッチパネルに対する操作者の接触位置を検出する。タッチ・センシティブ・デバイス１３１は、タッチパネルにより検出した操作者の接触位置を示す信号を入力操作として制御部１８０Ａへ出力する。

ディスプレイ１３２は、制御部１８０Ａの制御に応じて、画像、動画、テキストなどのデータを表示する。ディスプレイ１３２は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイによって実現される。

音声処理部１４０は、例えば、音声信号のデジタル－アナログ変換を行う。音声処理部１４０は、マイク１４１から与えられる信号をデジタル信号に変換して、変換後の信号を制御部１８０Ａへ与える。また、音声処理部１４０は、音声信号をスピーカ１４２へ与える。音声処理部１４０は、例えば音声処理用のプロセッサによって実現される。マイク１４１は、作業環境の音声情報を検知するセンサの一例であり、作業者の発言、又は、作業者の周辺音をセンシングする。マイク１４１は、検知した音声情報に対応する音声信号を音声処理部１４０へ与える。スピーカ１４２は、音声処理部１４０から与えられる音声信号を音声に変換して当該音声を端末装置１０Ａの外部へ出力する。

センサ１５０は、作業者の作業環境をセンシングする。例えば、センサ１５０は、温度センサ、ガスセンサ、匂いセンサ、触覚センサ、距離センサ、位置情報センサ、若しくは加速度センサなどを含む。例えば、センサ１５０は、温度センサにより、作業環境の温度情報を検知し、作業者周辺の空気の温度、又は、作業の対象物の温度をセンシングする。また、センサ１５０は、ガスセンサ、匂いセンサ、触覚センサ、距離センサ、位置情報センサ、又は加速度センサにより、それぞれ、作業環境における可燃性ガスや毒性ガス、各種香気や臭気成分、作業者が把持している物体の把持状況、作業者と物体との距離、作業者の位置情報、又は作業者の加速度や動きを検知する。

カメラ１６０は、受光素子により光を受光して、画像情報として出力するためのデバイスである。カメラ１６０は、例えば、カメラ１６０から撮影対象までの距離を検出できる深度カメラであってもよい。カメラ１６０は、作業環境を撮影して画像情報を取得する。

記憶部１７０Ａは、例えばストレージ１６などにより実現され、端末装置１０Ａが使用するデータおよびプログラムを記憶する。ある局面において、記憶部１７０Ａは、作業者情報１７１を記憶する。

作業者情報１７１は、それぞれの作業者に関する情報である。例えば、作業者情報１７１は、作業者ＩＤ、作業者が使用している端末装置１０Ａの端末ＩＤ、作業者の名前、所属に関する情報などを含む。

制御部１８０Ａは、記憶部１７０Ａに記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、端末装置１０Ａの動作を制御する。制御部１８０Ａは、プログラムに従って動作することにより、入力操作受付部１８１と、送受信部１８２Ａと、センシング部１８３、表示制御部１８４Ａとしての機能を発揮する。

入力操作受付部１８１は、タッチ・センシティブ・デバイス１３１等の入力装置に対する操作者の入力操作を受け付ける処理を行う。

送受信部１８２Ａは、端末装置１０Ａが、サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。例えば、送受信部１８２Ａは、端末装置１０Ａに搭載されているセンシング手段、又はセンシングデバイス１１Ａが作業環境をセンシングして取得した各種センシング情報をサーバ２０へ送信する。また、送受信部１８２Ａは、サーバ２０から、後述する指示者の端末装置に表示された情報の一部を受信する。

センシング部１８３は、端末装置１０Ａに搭載されているセンシング手段、又はセンシングデバイス１１Ａによって、作業者の作業環境をセンシングし、センシング情報を取得する。例えば、センシング部１８３は、端末装置１０Ａのカメラ１６０によって、作業環境を撮影して画像情報を取得する。また、例えば、センシング部１８３は、端末装置１０Ａのマイク１４１によって、作業環境の音声情報を検知して取得する。また、例えば、センシング部１８３は、センサ１５０によって、作業環境の温度情報、可燃性ガスや毒性ガス、各種香気や臭気成分、作業者が把持している物体の把持状況、作業者と物体との距離、作業者の位置情報、又は作業者の加速度や動きなどを検知して取得する。

センシング部１８３は、センシング手段、又はセンシングデバイス１１Ａを制御してセンシング情報を自動的に取得してもよいし、作業者の指示操作に基づいてセンシング情報を取得してもよい。例えば、センシング部１８３は、作業者が作業しているとき、作業環境をリアルタイムにセンシングしてよいし、所定の時間間隔をおいてセンシングしてもよい。センシング頻度は、例えば、作業者により設定されてよい。また、センシング部１８３は、作業者がセンシング手段、又はセンシングデバイス１１Ａを起動する都度、作業環境をセンシングしてよい。

また、センシング部１８３は、指示者の指定に基づいて、取得するセンシング情報の種類と、センシング情報を取得する頻度とが設定されてもよい。例えば、指示者が端末装置１０Ｂに表示するセンシング情報の種類を指定した場合、センシング部１８３は、指定された種類のセンシング情報を取得することを設定する。また、例えば、指定された種類のセンシング情報を取得する頻度を指示者が指定した場合、センシング部１８３は、指定された頻度でセンシング情報を取得する。なお、センシング情報を取得する頻度が指定されず、デフォルト値が予め設定されていてもよい。また、センシング情報が指定されず、センシング情報を取得する頻度のみが指定されてもよい。

表示制御部１８４Ａは、端末装置１０Ａで利用可能な機能を提供するため、ディスプレイ１３２を制御する。例えば、表示制御部１８４Ａは、後述する指示者の端末装置に表示された情報の一部を、作業者に表示する。また、表示制御部１８４Ａは、指示者による指示情報を作業者に表示してもよい。例えば、表示制御部１８４Ａは、指示者が送信した指示メッセージ（支援メッセージ）を作業者に表示する。

＜１．２ 端末装置１０Ｂの構成＞
図３は、第１の実施形態に係るシステム１を構成する、指示者が操作する端末装置１０Ｂのブロック図である。指示者は、例えば、作業者に対して指示を発する者であり、また、作業者の作業を支援する者である。端末装置１０Ｂは、記憶部１７０Ｂに記憶されている指示者情報１７２、及び、制御部１８０Ｂを構成する送受信部１８２Ｂ、表示制御部１８４Ｂ以外、図２に示す端末装置１０Ａと同じように構成されているので、その説明を省略する。以下、指示者情報１７２、送受信部１８２Ｂ、表示制御部１８４Ｂについて説明する。

指示者情報１７２は、それぞれの指示者に関する情報である。例えば、指示者情報１７２は、指示者ＩＤ、指示者が使用している端末装置１０Ｂの端末ＩＤ、指示者の名前、所属に関する情報などを含む。

送受信部１８２Ｂは、端末装置１０Ｂが、サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。送受信部１８２Ｂは、サーバ２０から送信される情報を受信する。また、送受信部１８２Ｂは、指示者から受け付けた指示情報をサーバ２０に送信する。

表示制御部１８４Ｂは、サーバ２０から送信される情報に基づき、複数種類のセンシング情報を指示者に提示するため、ディスプレイ１３２を制御する。また、表示制御部１８４Ｂは、指示者から指示操作を受け付けるためのオブジェクトを表示するため、ディスプレイ１３２を制御する。

＜１．３ サーバ２０の機能的な構成＞
図４は、第１の実施形態のシステム１を構成するサーバ２０の機能的な構成を示す図である。図４に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。

通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。

記憶部２０２は、サーバ２０が使用するデータ及びプログラムを記憶する。記憶部２０２は、センシング情報データベース２８１を記憶する。

センシング情報データベース２８１は、センシング手段により作業者の作業環境をセンシングすることで取得した複数種類のセンシング情報を保持するためのデータベースである。詳細は後述する。

制御部２０３は、サーバ２０のプロセッサがプログラムに従って処理を行うことにより、各種モジュールとして示す機能を発揮する。具体的に、制御部２０３は、プログラムに従って処理を行うことにより、受信制御部２０３１、送信制御部２０３２、取得部２０３３、変換部２０３４、提示部２０３５として示す機能を発揮する。

受信制御部２０３１は、サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。受信制御部２０３１は、例えば、端末装置１０Ａから送信される複数種類のセンシング情報を受信する。受信制御部２０３１は、受信したセンシング情報をセンシング情報データベース２８１に格納する。受信制御部２０３１は、例えば、端末装置１０Ｂから送信される指示者から信号を受信する。

送信制御部２０３２は、サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。送信制御部２０３２は、例えば、端末装置１０Ｂにセンシング情報を提示させるための情報を送信する。送信制御部２０３２は、例えば、端末装置１０Ａへ指示者からの信号を送信する。

取得部２０３３は、端末装置１０Ａに対し、取得するセンシング情報の種類、センシング情報を取得する頻度を設定する。例えば、取得部２０３３は、センシング情報として、例えば、画像情報、音声情報、温度情報、又は、ガスセンサ、匂いセンサ、触覚センサ、距離センサ、位置情報センサ、若しくは加速度センサによって取得した情報を取得することを設定する。画像情報は、作業者の作業環境を示すものである。音声情報は、作業者の発言、又は、作業者の周辺音を示すものである。温度情報は、作業者周辺の空気の温度、又は、作業の対象物の温度を示すものである。

変換部２０３４は、取得したセンシング情報を端末装置１０Ｂに提示するのに適した態様に変換する。例えば、変換部２０３４は、画像情報以外の情報を文字情報に変換する。例えば、変換部２０３４は、センシング情報における音声情報を認識し、文字情報に変換する。また、例えば、変換部２０３４は、センシング情報における温度情報を、温度を示す文字情報に変換する。また、例えば、変換部２０３４は、ガスセンサ又は匂いセンサによって検知したセンシング情報を、作業環境における可燃性ガスや毒性ガス、各種香気や臭気成分の濃度を示す文字情報に変換する。

また、例えば、変換部２０３４は、触覚センサ、距離センサ、圧力センサ、光センサ、又は加速度センサによって検知したセンシング情報をそれぞれ、作業者が把持している物体の把持状況、作業者と物体との距離、大気圧、光量、又は作業者の加速度や動きを示す文字情報に変換する。また、変換部２０３４は、位置情報センサによって検知したセンシング情報を、作業者の位置情報を示す文字情報に変換する。位置情報を示す文字情報は、例えば、緯度及び経度を表す文字情報、又は住所を表す文字情報などである。

提示部２０３５は、端末装置１０Ａで取得されたセンシング情報を指示者に提示する。具体的には、例えば、提示部２０３５は、作業環境を撮影して得られる画像情報に基づく第１画像と、変換部２０３４で変換された文字情報を含む複数の第２画像とを端末装置１０Ｂに表示させる。提示部２０３５は、例えば、第１画像を画面の中央に配置し、第２画像を第１画像の周囲に配置する。

例えば、提示部２０３５は、音声情報から変換された文字情報を、発話者が識別可能な態様で含む第２画像を指示者に提示する。また、例えば、提示部２０３５は、温度情報から変換された文字情報と、温度情報の程度又は推移が把握可能な画像とを含む第２画像を指示者に提示する。情報の程度が把握可能な画像とは、例えば、回転計表示などによる画像を含む。情報の推移が把握可能な画像とは、例えば、折れ線グラフなどによる画像を含む。また、例えば、提示部２０３５は、ガスセンサ又は匂いセンサによって検知されたセンシング情報から変換された文字情報と、当該情報の程度又は推移が把握可能な画像とを含む第２画像を指示者に提示する。

また、例えば、提示部２０３５は、触覚センサ、距離センサ、圧力センサ、光量センサ、又は加速度センサによって検知されたセンシング情報から変換された文字情報を含む第２画像を指示者に提示する。また、提示部２０３５は、位置情報センサによって検知された位置情報から変換された文字情報と、当該情報の位置を表す地図画像とを含む第２画像を指示者に提示する。

また、提示部２０３５は、センシング情報が所定の条件を満たしている場合、当該センシング情報を示す文字情報の表示形態を変更して提示してよい。ここでいう「所定の条件」とは、例えば、基準値を超えること、又は、基準値を下回ることなどである。例えば、提示部２０３５は、温度センサによって検知された温度情報を、文字情報に変換して表示し、温度が所定の基準値を超える場合、当該文字情報の色を変更したり、大きさを変更したりして表示する。

また、提示部２０３５は、センシング情報が所定の条件を満たしている場合、予め設定された内容を第２画像に含めて表示してよい。例えば、提示部２０３５は、ガスセンサによって検知された可燃性ガスの濃度を、文字情報に変換して表示し、可燃性ガスの濃度が所定の基準値を超える場合、予め設定されたアラームメッセージを指示者に提示する。

また、提示部２０３５は、指示者が表示するセンシング情報を設定している場合、設定されているセンシング情報についての情報を指示者に提示してもよい。具体的に、指示者の端末装置１０Ｂは、指示者から、端末装置１０Ｂに表示すべきセンシング情報の種類を指定する操作を受け付ける。提示部２０３５は、当該指定に基づいて、複数種類のセンシング情報のうち、指示者によって指定された種類のセンシング情報を、指示者に提示する。

また、提示部２０３５は、所定のタイミングで、センシング情報の種類を切り替えて指示者に提示してもよい。所定のタイミングは、例えば、所定周期、所定の時刻への到達、所定の数値への到達、指示者からの指示などである。具体的に、センシング情報の種類が多い場合、提示部２０３５は、それぞれのセンシング情報の表示順を予め決定して、一定時間ごとに、表示するセンシング情報の種類を切り替える。例えば、提示部２０３５は、温度センサ、ガスセンサ、匂いセンサ、触覚センサ、圧力センサ、光センサによりセンシング情報が取得される場合、温度センサ、ガスセンサ、匂いセンサにより検知されるセンシング情報から変換される文字情報を含む第２画像を所定秒間表示すると、触覚センサ、圧力センサ、光センサにより検知されるセンシング情報から変換される文字情報を含む第２画像の表示へ切り替える。

また、提示部２０３５は、端末装置１０Ｂに表示された文字情報の少なくとも一部を、端末装置１０Ａに表示してよい。例えば、提示部２０３５は、指示者に提示する、温度情報から変換された文字情報を、端末装置１０Ａに表示させる。これにより、作業者も自身が置かれた作業環境を把握することが可能となる。また、指示者に表示されている情報を作業者が認識することが可能となる。

また、提示部２０３５は、指示者から取得した、遠隔作業を指示するための指示情報を、作業者に提示する。例えば、提示部２０３５は、指示者から取得した音声指示情報を端末装置１０Ａに再生させる。また、提示部２０３５は、指示者から取得した文字による指示情報、又は画像による指示情報を、端末装置１０Ａに表示させる。このとき、例えば、指示者は、作業者の撮影手段で撮影した画像情報に対して赤ペンなどで指示情報を追記し、追記した指示情報を送信し、端末装置１０Ａに表示させる。

＜２ データ構造＞
以下、図５を参照しながら、サーバ２０が記憶するセンシング情報データベース２８１のデータ構造について説明する。

図５は、サーバ２０が記憶するセンシング情報データベース２８１のデータ構造を示す図である。センシング情報データベース２８１は、センシング手段により作業者の作業環境をセンシングすることで取得した複数種類のセンシング情報を保持するためのデータベースである。

図５に示すように、センシング情報データベース２８１のレコードのそれぞれは、項目「作業者ＩＤ」、項目「指示者ＩＤ」、項目「画像情報」、項目「音声情報」、項目「温度情報」、項目「位置情報」、項目「可燃性ガス濃度情報」を含む。なお、ここに示す項目はすべてではなく、他の項目があっても構わない。例えば、匂いセンサ、触覚センサ、距離センサ、圧力センサ、光センサ、又は加速度センサによって取得したセンシング情報があってもよい。

項目「作業者ＩＤ」は、それぞれの作業者を識別する情報を記憶する。

項目「指示者ＩＤ」は、それぞれの指示者を識別する情報を記憶する。

項目「画像情報」は、取得時刻において、作業者のセンシング手段で撮影した画像情報を記憶する。項目「画像情報」は、例えば、作業者と指示者とが通信している間の画像情報を記憶する。

項目「音声情報」は、各取得時刻において、作業者の端末装置１０Ａのマイク１４１で取得した音声情報を記憶する。音声情報は、例えば、作業者の発言でもよいし、作業者の周辺音であってもよい。音声情報は、サーバ２０により文字情報に変換される。

項目「温度情報」は、各取得時刻において、作業者のセンシング手段で取得した温度情報を記憶する。温度情報は、例えば、作業者周辺の空気の温度であってもよいし、作業の対象物の温度であってもよい。温度情報は、サーバ２０により文字情報に変換される。

項目「位置情報」は、各取得時刻において、作業者のセンシング手段で取得した位置情報を記憶する。位置情報は、例えば緯度及び経度の形で記憶されており、サーバ２０により文字情報に変換される。サーバ２０により変換される文字情報は、緯度及び経度であってもよいし、緯度及び経度と、地図に関する情報とから取得される住所であってもよい。住所には、例えば、建物の名称、フロア数等も含まれる。

項目「可燃性ガス濃度情報」は、各取得時刻において、作業者のガスセンサによって検知した可燃性ガスの濃度に関する情報を記憶する。可燃性ガス濃度情報は、サーバ２０により文字情報に変換される。

＜３ 動作＞
以下、図６を参照しながら、作業者の作業環境をセンシングすることで取得した複数種類のセンシング情報を、サーバ２０が指示者に提示する処理について説明する。

ステップＳ６２１において、サーバ２０の受信制御部２０３１は、作業者の端末装置１０Ａから送信される複数種類のセンシング情報を受信する。

具体的に、作業者の端末装置１０Ａのセンシング部１８３は、端末装置１０Ａに搭載されているセンシング手段、又はセンシングデバイス１１Ａによって、作業者の作業環境をセンシングし、複数種類のセンシング情報を取得する。例えば、センシング部１８３は、端末装置１０Ａのカメラ１６０によって、作業環境を撮影して画像情報を取得する。また、例えば、センシング部１８３は、マイク１４１によって、作業環境の音声情報を取得する。また、例えば、センシング部１８３は、センサ１５０によって、作業環境の温度情報、可燃性ガスや毒性ガスの濃度情報、各種香気や臭気成分の濃度情報、作業者が把持している物体の把持状況（接触情報）、作業者と物体との距離情報、作業者の位置情報、圧力情報、光量情報、又は作業者の加速度情報や動き情報などを、所定の周期で検知して取得する。なお、端末装置１０Ａに搭載されているセンシング手段、又はセンシングデバイス１１Ａにより取得されるセンシング情報の種類、又は取得頻度は、指示者からの指定信号に基づき、取得部２０３３により設定されていてもよい。

センシング部１８３が取得した複数種類のセンシング情報は、送受信部１８２Ａにより、サーバ２０に送信される。サーバ２０の受信制御部２０３１は、当該センシング情報を取得する。

ステップＳ６２２において、サーバ２０の変換部２０３４は、取得したセンシング情報のうち、画像情報以外のセンシング情報を文字情報に変換する。

例えば、変換部２０３４は、センシング情報における音声情報を認識し、文字情報に変換する。また、例えば、変換部２０３４は、センシング情報における温度情報を、温度を示す文字情報に変換する。また、例えば、変換部２０３４は、ガスセンサ又は匂いセンサによって検知したセンシング情報を、作業環境における可燃性ガスや毒性ガス、各種香気や臭気成分の濃度を示す文字情報に変換する。

また、例えば、変換部２０３４は、触覚センサ、距離センサ、圧力センサ、光センサ、又は加速度センサによって検知したセンシング情報を、作業者が把持している物体の把持状況、作業者と物体との距離、大気圧、光量、又は作業者の加速度や動きを示す文字情報に変換する。また、変換部２０３４は、位置情報センサによって検知したセンシング情報を、作業者の位置情報を示す文字情報に変換する。

ステップＳ６２３において、サーバ２０の提示部２０３５は、作業環境を撮影して得られる画像情報に基づく第１画像と、変換部２０３４で変換された文字情報を含む複数の第２画像とを端末装置１０Ｂに表示させる。

これにより、サーバ２０は、画像情報を含む複数種類のセンシング情報を取得し、指示者の端末装置１０Ｂに提示することが可能となる。このため、指示者は、作業者の作業環境を把握可能な情報を取得可能となる。また、サーバ２０は、端末装置１０Ｂに複数種類のセンシング情報を同時に表示させることが可能となる。このため、指示者は、複数種類のセンシング情報を一目で確認することが可能となる。

また、画像情報以外のセンシング情報は、文字情報に変換されて提示されるので、複数種類のセンシング情報を、視認性良く可視化して指示者に同時に提示することができる。

ステップＳ６２３において、提示部２０３５は、センシング情報が所定の条件を満たしている場合、当該センシング情報を示す文字情報の表示形態を変更して提示してよい。これにより、注目すべきセンシング情報を目立ちやすい形で指示者に提示することができる。

また、提示部２０３５は、センシング情報が所定の条件を満たしている場合、予め設定された内容を表示してもよい。これにより、センシング情報に基づいて注意すべき内容を指示者に提示することができる。

ステップＳ６２３において、提示部２０３５は、指示者が表示するセンシング情報を設定している場合、設定されているセンシング情報についての情報を指示者に提示してもよい。例えば、指示者の端末装置１０Ｂは、指示者から、端末装置１０Ｂに表示すべきセンシング情報の種類を指定する操作を受け付ける。提示部２０３５は、当該指定に基づいて、複数種類のセンシング情報のうち、指示者によって指定された種類のセンシング情報を、指示者に提示する。

これにより、サーバ２０は、指示者が知りたいセンシング情報のみを指示者に提示することができる。

また、端末装置及びサーバは、必要な情報に絞ってセンシング情報の取得と送受信を行うことで、通信速度や端末処理能力を節約することができる。

ステップＳ６２３において、提示部２０３５は、所定のタイミングで、センシング情報の種類を切り替えて指示者に提示してもよい。これにより、センシング情報の種類は多い場合であっても、これらのセンシング情報を切り替えながら提示することができる。

以上のように、遠隔地にいる指示者に対して、作業者の作業環境に関する様々な情報を効率的に共有することができる。

＜４ 画面例＞
図７、図８は、指示者が操作する端末装置１０Ｂの画面例の図である。

図７は、指示者の端末装置１０Ｂにおいて、複数種類のセンシング情報を同時に表示する局面を示す図である。

図７に示すように、指示者の端末装置１０Ｂのディスプレイ１３２において、複数種類のセンシング情報は、複数のエリア、例えば、エリアＡ１～エリアＡ７で表示されている。エリアＡ１では、端末装置１０Ａのカメラ１６０により撮影された作業環境の画像情報に基づく第１画像が表示されている。エリアＡ２～エリアＡ７は、エリアＡ１の周囲に配置されている。エリアＡ２～エリアＡ７は、エリアＡ１の外に配置されていると換言可能である。また、エリアＡ２～エリアＡ７は、エリアＡ１が画面に表示された際に余った領域に配置されていると換言可能である。

エリアＡ２では、作業者の発言（音声情報）から変換された文字情報を、発話者の発言と指示者の発言とが識別可能な態様で含む第２画像が表示されている。エリアＡ３では、位置情報センサによって検知された位置情報から変換された文字情報と、当該情報の位置を表す地図画像とを含む第２画像が表示されている。エリアＡ４～Ａ７では、各種センシング手段により検知されたセンシング情報（ＰＭ２．５の濃度、二酸化炭素の濃度、温度、湿度）から変換された文字情報と、当該情報の程度が把握可能な画像とを含む第２画像が表示されている。また、エリアＡ８，Ａ９では、各種センシング手段により検知されたセンシング情報（気圧、照度）から変換された文字情報を含む第２画像が表示されている。

なお、エリアＡ３では、位置を表す文字情報として（経度：○○，緯度：○○）が表示されているが、エリアＡ３で表示される位置を表す文字情報はこれに限定されない。位置を表す文字情報は、住所であってもよい。また、住所から抜粋される所定の情報、例えば、建物名、建物名とフロア数等であってもよい。

これにより、サーバ２０は、画像情報を含む複数種類のセンシング情報を取得し、指示者の端末装置１０Ｂに提示することが可能となる。このため、指示者は、作業者の作業環境を把握可能な情報を取得可能となる。また、サーバ２０は、端末装置１０Ｂに複数種類のセンシング情報を同時に表示させることが可能となる。このため、指示者は、複数種類のセンシング情報を一目で確認することが可能となる。

また、画像情報以外のセンシング情報は、文字情報に変換されて提示されるので、複数種類のセンシング情報を、視認性良く可視化して指示者に同時に提示することができる。

エリアＡ４～Ａ７に示すように、センシング情報が変換された文字情報は、値の程度が把握可能な回転計を表す画像と共に表示されている。また、図示されていないが、センシング情報の数値の変化につれて、文字情報の色を変更させるようにしてもよい。例えば、二酸化炭素の濃度情報について、基準範囲が予め設定され、基準範囲内の数値を黄色で表示し、基準範囲を超えた数値を赤色で表示し、基準範囲を下回る数値を緑色で表示する。

これにより、サーバ２０は、センシング情報を文字情報に変換した上で、指示者が視認しやすい形で端末装置１０Ｂに表示させることができる。また、サーバ２０は、センシング情報の数値に基づいて文字情報の表示形態を変更することで、注目すべきセンシング情報を目立ちやすい形で指示者に提示することができる。

次に、指示者による、端末装置１０Ｂに表示させるセンシング情報の設定について説明する。

図８は、端末装置１０Ｂのディスプレイ１３２において、表示すべきセンシング情報の種類の指定を受け付ける画面の例を示す図である。

図８に示すように、ディスプレイ１３２には、指示者から、端末装置１０Ｂに表示すべきセンシング情報の種類を指定する操作を受け付けるためのチェックボックスが表示されている。指示者がチェックボックスにチェックを入力し、操作オブジェクト１３２１を押下すると、指定したセンシング情報を取得する旨の指示信号がサーバ２０に送信される。なお、図８において、取得頻度に関する指定を入力するオブジェクトが表示されていてもよい。当該オブジェクトに指示者から情報が入力されると、入力された情報に基づく頻度でセンシング情報を取得する旨の指示信号がサーバ２０に送信される。

サーバ２０は、取得部２０３３により、端末装置１０Ａに対し、取得するセンシング情報の種類を設定する。取得頻度についての指示がある場合、サーバ２０は、端末装置１０Ａに対し、センシング情報を取得する頻度を設定する。

これにより、サーバ２０は、指示者によって指定された種類のセンシング情報を、端末装置１０Ｂに表示させることが可能となる。このため、サーバ２０は、指示者が知りたいセンシング情報のみを指示者に提示し、効率的にセンシング情報を共有することができる。また、端末装置及びサーバは、必要な情報に絞ってセンシング情報の取得と送受信を行うことで、通信速度や端末処理能力を節約することができる。

＜５ 変形例＞
上記実施形態では、指示者からの指定があった場合、端末装置１０Ａのセンシング部１８３が、指定された種類のセンシング情報を取得する場合を例に説明した。しかしながら、取得されるセンシング情報の種類はセンシング部１８３で設定されるものに限定されない。例えば、サーバ２０の取得部２０３３で設定されてもよい。

具体的には、例えば、端末装置１０Ａは、端末装置１０Ａに搭載されているセンシング手段、又はセンシングデバイス１１Ａによって取得されるセンシング情報をサーバ２０へ送信する。取得部２０３３は、受信したセンシング情報のうち、指示者から指定されるセンシング情報の種類を指示者に提示する。

また、上記実施形態では、指示者からの指定があった場合、端末装置１０Ａのセンシング部１８３が、指定された頻度でセンシング情報を取得する場合を例に説明した。しかしながら、センシング情報の取得頻度はセンシング部１８３で設定されるものに限定されない。例えば、サーバ２０の取得部２０３３で設定されてもよい。

具体的には、例えば、取得部２０３３は、端末装置１０Ａに搭載されているセンシング手段、又はセンシングデバイス１１Ａによって取得されるセンシング情報を、端末装置１０Ａに対して所定の頻度で要求してもよい。取得部２０３３は、要求に応じて端末装置１０Ａから送信されるセンシング情報を指示者に提示する。

また、上記実施形態では、サーバ２０が変換部２０３４を備える例を説明した。しかしながら、センシング情報は、端末装置１０Ｂで文字情報へ変換されてもよい。

これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

＜付記＞
以上の各実施形態で説明した事項を以下に付記する。

（付記１）プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、第１者の作業環境を、少なくとも撮影手段を含むセンシング手段によりセンシングした複数種類のセンシング情報を取得する第１ステップ（ステップＳ６２１）と、取得した複数種類のセンシング情報のうち、画像情報以外のセンシング情報を文字情報に変換する第２ステップ（ステップＳ６２２）と、画像情報に基づく第１画像と、変換された文字情報を含む第２画像とを、第１者の作業を支援する第２者に提示する第３ステップ（ステップＳ６２３）とを実行させるプログラム。

（付記２）第３ステップにおいて、センシング情報が所定の条件を満たしている場合、当該センシング情報を示す文字情報の表示形態を変更する、（付記１）に記載のプログラム。

（付記３）第３ステップ（ステップＳ６２３）において、センシング情報が所定の条件を満たしている場合、当該センシング情報を示す文字情報の大きさ又は色を変更する、（付記２）に記載のプログラム。

（付記４）第３ステップ（ステップＳ６２３）において、センシング情報が所定の条件を満たしている場合、予め設定された内容を表示する、（付記１）から（付記３）のいずれかに記載のプログラム。

（付記５）第２者に提示する第２画像に含めるセンシング情報の種類を指定する操作を第２者から受け付けるステップをプロセッサに実行させ、第２ステップ（ステップＳ６２２）において、画像情報以外のセンシング情報のうち、第２者によって指定された種類のセンシング情報を文字情報に変換する、（付記１）から（付記４）のいずれかに記載のプログラム。

（付記６）第２者に提示する第２画像に含めるセンシング情報を取得する頻度を指定する操作を第２者から受け付けるステップをプロセッサに実行させ、第１ステップ（ステップＳ６２１）において、複数種類のセンシング情報を頻度で取得する、（付記５）に記載のプログラム。

（付記７）第３ステップ（ステップＳ６２３）において、所定のタイミングで、第２画像の内容を切り替える、（付記１）から（付記６）のいずれかに記載のプログラム。

（付記８）第１ステップ（ステップＳ６２１）において、センシング情報は、少なくとも、音声情報、温度情報、濃度情報、接触情報、距離情報、位置情報、圧力情報、光量情報、又は加速度情報を含む、（付記１）から（付記７）のいずれかに記載のプログラム。

（付記９）第３ステップ（ステップＳ６２３）において、第２画像は、第１画像の周囲に配置される（付記１）から（付記８）のいずれかに記載のプログラム。

（付記１０）第２者に提示した第２画像に含まれる文字情報の少なくとも一部を、第１者に提示するステップをプロセッサに実行させる、（付記１）から（付記９）のいずれかに記載のプログラム。

（付記１１）プロセッサと、メモリとを備えるコンピュータにより実行される方法であって、プロセッサが、第１者の作業環境を、少なくとも撮影手段を含むセンシング手段によりセンシングした複数種類のセンシング情報を取得する第１ステップ（ステップＳ６２１）と、取得した複数種類のセンシング情報のうち、画像情報以外のセンシング情報を文字情報に変換する第２ステップ（ステップＳ６２２）と、画像情報に基づく第１画像と、変換された文字情報を含む第２画像とを、第１者の作業を支援する第２者に提示する第３ステップ（ステップＳ６２３）とを実行する方法。

（付記１２）制御部と、記憶部とを備える情報処理装置であって、制御部が、第１者の作業環境を、少なくとも撮影手段を含むセンシング手段によりセンシングした複数種類のセンシング情報を取得する第１ステップ（ステップＳ６２１）と、取得した複数種類のセンシング情報のうち、画像情報以外のセンシング情報を文字情報に変換する第２ステップ（ステップＳ６２２）と、画像情報に基づく第１画像と、変換された文字情報を含む第２画像とを、第１者の作業を支援する第２者に提示する第３ステップ（ステップＳ６２３）とを実行する情報処理装置。

（付記１３）第１者の作業環境を、少なくとも撮影手段を含むセンシング手段によりセンシングした複数種類のセンシング情報を取得する手段（ステップＳ６２１）と、取得した複数種類のセンシング情報のうち、画像情報以外のセンシング情報を文字情報に変換する手段（ステップＳ６２２）と、画像情報に基づく第１画像と、変換された文字情報を含む第２画像とを、第１者の作業を支援する第２者に提示する手段（ステップＳ６２３）とを具備するシステム。

１０Ａ、１０Ｂ 端末装置、２０ サーバ、８０ ネットワーク、１２ 通信ＩＦ、１３ 入力装置、１４ 出力装置、１５ メモリ、１６ 記憶部、１９ プロセッサ、２０１ 通信部、２０２ 記憶部、２８１ センシング情報データベース、２０３ 制御部。

Claims (13)

1. プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
   第１者の作業環境を、少なくとも撮影手段を含むセンシング手段によりセンシングした複数種類のセンシング情報を取得する第１ステップと、
   前記取得した複数種類のセンシング情報のうち、画像情報以外のセンシング情報を文字情報に変換する第２ステップと、
   前記画像情報に基づく第１画像と、前記変換された文字情報を含む第２画像とを、前記第１者の作業を支援する第２者に提示する第３ステップと
   を実行させるプログラム。
2. 前記第３ステップにおいて、前記センシング情報が所定の条件を満たしている場合、当該センシング情報を示す前記文字情報の表示形態を変更する、請求項１に記載のプログラム。
3. 前記第３ステップにおいて、前記センシング情報が所定の条件を満たしている場合、当該センシング情報を示す前記文字情報の大きさ又は色を変更する、請求項２に記載のプログラム。
4. 前記第３ステップにおいて、前記センシング情報が所定の条件を満たしている場合、予め設定された内容を表示する、請求項１から３のいずれかに記載のプログラム。
5. 前記第２者に提示する前記第２画像に含めるセンシング情報の種類を指定する操作を前記第２者から受け付けるステップを前記プロセッサに実行させ、
   前記第２ステップにおいて、前記画像情報以外のセンシング情報のうち、前記第２者によって指定された種類のセンシング情報を文字情報に変換する、請求項１から４のいずれかに記載のプログラム。
6. 前記第２者に提示する前記第２画像に含めるセンシング情報を取得する頻度を指定する操作を前記第２者から受け付けるステップを前記プロセッサに実行させ、
   前記第１ステップにおいて、前記複数種類のセンシング情報を前記頻度で取得する、請求項５に記載のプログラム。
7. 前記第３ステップにおいて、所定のタイミングで、前記第２画像の内容を切り替える、請求項１から６のいずれかに記載のプログラム。
8. 前記第１ステップにおいて、前記センシング情報は、少なくとも、音声情報、温度情報、濃度情報、接触情報、距離情報、位置情報、圧力情報、光量情報、又は加速度情報を含む、請求項１から７のいずれかに記載のプログラム。
9. 前記第３ステップにおいて、前記第２画像は、前記第１画像の周囲に配置される請求項１から８のいずれかに記載のプログラム。
10. 前記第２者に提示した前記第２画像に含まれる文字情報の少なくとも一部を、前記第１者に提示するステップを前記プロセッサに実行させる、請求項１から９のいずれかに記載のプログラム。
11. プロセッサと、メモリとを備えるコンピュータにより実行される方法であって、
    前記プロセッサが、
    第１者の作業環境を、少なくとも撮影手段を含むセンシング手段によりセンシングした複数種類のセンシング情報を取得する第１ステップと、
    前記取得した複数種類のセンシング情報のうち、画像情報以外のセンシング情報を文字情報に変換する第２ステップと、
    前記画像情報に基づく第１画像と、前記変換された文字情報を含む第２画像とを、前記第１者の作業を支援する第２者に提示する第３ステップと
    を実行する方法。
12. 制御部と、記憶部とを備える情報処理装置であって、
    前記制御部が、
    第１者の作業環境を、少なくとも撮影手段を含むセンシング手段によりセンシングした複数種類のセンシング情報を取得する第１ステップと、
    前記取得した複数種類のセンシング情報のうち、画像情報以外のセンシング情報を文字情報に変換する第２ステップと、
    前記画像情報に基づく第１画像と、前記変換された文字情報を含む第２画像とを、前記第１者の作業を支援する第２者に提示する第３ステップと
    を実行する情報処理装置。
13. 第１者の作業環境を、少なくとも撮影手段を含むセンシング手段によりセンシングした複数種類のセンシング情報を取得する手段と、
    前記取得した複数種類のセンシング情報のうち、画像情報以外のセンシング情報を文字情報に変換する手段と、
    前記画像情報に基づく第１画像と、前記変換された文字情報を含む第２画像とを、前記第１者の作業を支援する第２者に提示する手段と
    を具備するシステム。
    
    

Images