JP2012133534A - 遠隔作業支援システム、遠隔作業支援端末及び遠隔作業支援方法 - Google Patents
遠隔作業支援システム、遠隔作業支援端末及び遠隔作業支援方法 Download PDFInfo
- Publication number
- JP2012133534A JP2012133534A JP2010284519A JP2010284519A JP2012133534A JP 2012133534 A JP2012133534 A JP 2012133534A JP 2010284519 A JP2010284519 A JP 2010284519A JP 2010284519 A JP2010284519 A JP 2010284519A JP 2012133534 A JP2012133534 A JP 2012133534A
- Authority
- JP
- Japan
- Prior art keywords
- work
- information
- document
- work terminal
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Computer And Data Communications (AREA)
Abstract
【課題】効率的な情報伝達を行うことができる遠隔作業支援システムを提供することを目的とする。
【解決手段】複数の作業端末3、4と、ネットワーク2を介して複数の作業端末3、4の間にSIP通信のセッションを確立させるサーバ1とを備え、サーバ1により確立されたセッションを使用して複数の作業端末3、4の間において、映像を含む主要情報と主要情報を補足する補足情報とを含む伝達情報を共有する。作業端末3は、画面に伝達情報を表示するとともに画面における位置情報を入力するタッチスクリーン37aと、サーバ1及び他の作業端末4とSIP通信を行うSIP通信手段31aと、主要情報を入出力する処理及び送受信する処理を行う主要情報通信手段32aと、タッチスクリーン37aに入力された情報を補足情報とし、補足情報を入出力する処理及び送受信する処理を行う補足情報通信手段33aと、を有する。
【選択図】図1
【解決手段】複数の作業端末3、4と、ネットワーク2を介して複数の作業端末3、4の間にSIP通信のセッションを確立させるサーバ1とを備え、サーバ1により確立されたセッションを使用して複数の作業端末3、4の間において、映像を含む主要情報と主要情報を補足する補足情報とを含む伝達情報を共有する。作業端末3は、画面に伝達情報を表示するとともに画面における位置情報を入力するタッチスクリーン37aと、サーバ1及び他の作業端末4とSIP通信を行うSIP通信手段31aと、主要情報を入出力する処理及び送受信する処理を行う主要情報通信手段32aと、タッチスクリーン37aに入力された情報を補足情報とし、補足情報を入出力する処理及び送受信する処理を行う補足情報通信手段33aと、を有する。
【選択図】図1
Description
この発明は、携帯型作業端末と無線ネットワークを利用し、機械設備等の点検や保守作業等の作業を支援する遠隔作業支援システムに関する。
近年、遠隔地で作業を行う遠隔作業者に対して、作業指示者がその作業を指示、管理する遠隔作業支援を行うために、使用する端末の間で音声、映像等のマルチメディア情報である環境情報をリアルタイムに共有することが可能となっている。このような遠隔作業を支援するシステムは、例えば、特許文献1に記載されている。
特許文献1の遠隔作業支援システムは、多地点における複数の遠隔作業端末間での接続切替えを行うものである。複数の遠隔作業端末は、ネットワークを介して、相互にマルチメディア情報である環境情報を送受信し、それぞれが受信したマルチメディア情報を表示することにより情報共有するものである。この環境情報は、音声、映像等のマルチメディア情報であって、作業環境の周囲から取得される、作業に必要とされる情報である。遠隔作業者の遠隔作業端末により撮影された映像情報がこの環境情報に該当する。この場合、作業指示者及び遠隔作業者は、共に作業場周囲の映像情報を見ながら、音声情報によりコミュニケーションを行い、遠隔作業者は、音声情報により作業指示者の作業指示、例えば、危険回避策の指示を受けて作業を行っていた。
しかしながら、特許文献1に記載の遠隔作業支援システムおいて、一方の遠隔作業端末から他方の遠隔作業端末に送る情報は、映像と音声のみである。すなわち、カメラで撮影された映像、マイクで取得した環境音が作業指示者の遠隔作業端末に送られ、これらの情報に対する作業指示者の質問やコメントは音声情報のみで、遠隔作業者の遠隔作業端末に伝えることになる。そのため、遠隔作業者は、具体的に映像のどの部分について質問やコメントしているのか、判断することが難しい場合もあり、情報伝達に余分な時間がかかってしまい、効率的な情報伝達ができない問題があった。
この発明は、映像や音声等の主要情報に加え、主要情報を補足する補足情報を共有化することができ、効率的な情報伝達を行うことができる遠隔作業支援システムを提供することを目的とする。
複数の作業端末と、ネットワークを介して複数の作業端末の間にSIP通信のセッションを確立させるサーバとを備え、サーバにより確立されたセッションを使用して複数の作業端末の間において、映像を含む主要情報と主要情報を補足する補足情報とを含む伝達情報を共有する。作業端末は、画面に伝達情報を表示するとともに画面における位置情報を入力するタッチスクリーンと、サーバ及び他の作業端末とSIP通信を行うSIP通信手段と、主要情報を入出力する処理及び送受信する処理を行う主要情報通信手段と、タッチスクリーンに入力された情報を補足情報とし、補足情報を入出力する処理及び送受信する処理を行う補足情報通信手段と、を有する。
この発明に係る遠隔作業支援システムは、複数の作業端末の間において、映像を含む主要情報と主要情報を補足する補足情報とを含む伝達情報を共有できるので、効率的な情報伝達を行うことができる
実施の形態1.
図1は、この発明の実施の形態1の遠隔作業支援システムを示す図である。本システムは、サーバ1と複数の作業端末(作業端末3、作業端末4)をネットワーク2で接続する
。ここでは、作業指示側、遠隔作業側の双方で同じ仕様の作業端末を使用するものとする。
図1は、この発明の実施の形態1の遠隔作業支援システムを示す図である。本システムは、サーバ1と複数の作業端末(作業端末3、作業端末4)をネットワーク2で接続する
。ここでは、作業指示側、遠隔作業側の双方で同じ仕様の作業端末を使用するものとする。
サーバ1は、作業端末(遠隔作業支援端末)3、4とSIP通信を実現する指令や応答等の通信、すなわち制御通信を行うためのSIP通信手段11、作業端末間で映像や音声の主要情報とタッチ位置等の補足情報を含む伝達情報の共有に使用するSIP(Session
Initiation Protocol)通信のためのセッション確立を行うためのセッション確立手段12を有する。
Initiation Protocol)通信のためのセッション確立を行うためのセッション確立手段12を有する。
作業端末3(3a)は、サーバ1および他の作業端末4(4a)とSIP通信を実現する指令や応答等の通信、すなわち制御通信を行うためのSIP通信手段31a、他の作業端末4(4a)と映像や音声を送受信したりマイク34a、スピーカ35a、カメラ36a、タッチスクリーン37aを使って、作業端末3(3a)の使用者に映像や音声を入出力する処理を行う、映像・音声通信手段32a、タッチスクリーン37aのタッチ位置を他の作業端末4(4a)に送信したり、他の作業端末4(4a)のタッチ位置を受信しタッチスクリーン37aに表示する処理を行うタッチ位置通信手段33aを有する。また、作業端末3(3a)は、サーバ1や他の作業端末4(4a)と通信するためのアンテナ30a、作業端末間のセッション確立に使用する接続ボタン38a、確立したセッションを終了するための切断ボタン39aを備える。
タッチスクリーン37aは、その画面に伝達情報を表示するとともに画面における位置情報を入力する。位置情報は、限定された位置が入力された場合はタッチ位置となり、隣接する位置が連続的に入力された場合は軌跡となる。映像・音声通信手段32aは主要情報を入出力する処理及び送受信する処理を行う主要情報通信手段である。タッチ位置通信手段33aは、タッチスクリーン37aに入力された位置入力であるタッチ位置を補足情報とし、補足情報を入出力する処理及び送受信する処理を行う補足情報通信手段である。作業端末4(4a)は、基本的に作業端末3(3a)と同じ構成である。
ネットワーク2は、SIP通信を行うための通信インフラであり、インターネットかローカルエリアネットワークは問わず、また無線か有線かは問わない。
次に作業端末3(3a)、4(4a)の外観について説明する。作業端末3(3a)、4(4a)ともに同じ外観なので、作業端末3(3a)について説明する。図2は作業端末3(3a)の表面外観を示す図であり、図3は作業端末3(3a)の裏面外観を示す図である。作業端末3(3a)の表面に、作業者の音声を入力するマイク34a、他の作業端末4(4a)の作業者音声を出力するスピーカ35a、映像およびタッチ位置を出力し、タッチ位置を入力するタッチスクリーン37a、映像を撮影するカメラ36a、接続ボタン38a、切断ボタン39a、が配置されている。作業端末3(3a)の裏面に、映像を撮影するカメラ36a、サーバ1や他の作業端末4(4a)と通信するためのアンテナ30aが、が配置されている。カメラ36aは、図3に示すように撮影対象に向けられるレンズが通常裏面に向いている。しかし、必要に応じて回転させることで、表面側に向きを変えることができる。例えば、カメラを表面側に向けて作業者の表情を映すことで、テレビ電話のような使い方が可能である。
次に作業端末間での映像、音声やタッチ位置の共有動作について説明する。図4は実施の形態1の動作シーケンスの前半を示す図であり、図5は実施の形態1の動作シーケンスの後半を示す図である。作業端末3(3a)と作業端末4(4a)で情報共有するとして、作業端末3(3a)を呼び出し側、作業端末4(4a)を応答側とする。
まず概略を説明する。まず、サーバ1のセッション確立手段12により、作業端末3(3a)と作業端末4(4a)とのセッションの確立を行う(ステップS11)。セッションの確立後は、映像・音声通信手段32a、32bを用いて、映像や音声の共有を行う(ステップS12)。映像や音声を補足する情報、すなわち補足情報として、タッチ位置の共有を、タッチ位置通信手段33a、33bを用いて行う(ステップS13)。映像、音声やタッチ位置の共有により所望の情報伝達が終了したあとに、SIP通信手段31a、31bを用いてセッションの切断を行う(ステップS14)。以下に上記ステップS11〜S14について、詳述する。
ステップS11に示すセッションの確立の動作は以下の通りである。呼び出し側である
作業端末3aにて接続ボタン38aを押す(ステップS111)ことにより、SIP通信手段31aを介してサーバ1に対し接続要求(制御通信)を行う(ステップS112)。サーバ1のセッション確立手段12は、SIP通信手段11を介して作業端末3aからの接続要求を、作業端末4aに転送する(ステップS113)。作業端末4aにてスピーカ35bより呼び出し音がするので、応答側である作業端末4aの接続ボタン38bを押す(ステップS114)。接続ボタン38bを押すと、SIP通信手段31bを介して接続要求の受諾のメッセージをサーバ1に応答する(ステップS115)。サーバ1のセッション確立手段12は、SIP通信手段11を介して作業端末3aに対し、作業端末4aからの接続要求の応答を返す(ステップS116)と、作業端末3aと作業端末4aとのセッションが確立される(ステップS117)。セッション確立により、データ通信経路が決まり、映像や音声の主要情報とタッチ位置等の補足情報を含んだ本質的な情報、すなわち伝達情報を双方向に通信することが可能となる。ステップS112、S113、S115、S116の制御通信は、SIP通信手段31a、31b、11により送受信される。
作業端末3aにて接続ボタン38aを押す(ステップS111)ことにより、SIP通信手段31aを介してサーバ1に対し接続要求(制御通信)を行う(ステップS112)。サーバ1のセッション確立手段12は、SIP通信手段11を介して作業端末3aからの接続要求を、作業端末4aに転送する(ステップS113)。作業端末4aにてスピーカ35bより呼び出し音がするので、応答側である作業端末4aの接続ボタン38bを押す(ステップS114)。接続ボタン38bを押すと、SIP通信手段31bを介して接続要求の受諾のメッセージをサーバ1に応答する(ステップS115)。サーバ1のセッション確立手段12は、SIP通信手段11を介して作業端末3aに対し、作業端末4aからの接続要求の応答を返す(ステップS116)と、作業端末3aと作業端末4aとのセッションが確立される(ステップS117)。セッション確立により、データ通信経路が決まり、映像や音声の主要情報とタッチ位置等の補足情報を含んだ本質的な情報、すなわち伝達情報を双方向に通信することが可能となる。ステップS112、S113、S115、S116の制御通信は、SIP通信手段31a、31b、11により送受信される。
ステップS12に示す映像や音声の共有の動作は以下の通りである。ここでは、映像の共有の例は、呼び出し側の作業端末3aの映像を共有する例を説明する。作業端末間で共有される本質的な情報を送受信する通信は情報通信と呼ぶことにし、SIP通信を実現する指令や応答等の通信である制御通信と区別することにする。作業端末3aのカメラ36aにて動画や静止画を含むカメラ映像を撮影し(ステップS121)、そのカメラ映像をまず作業端末3aのタッチスクリーン37aに表示する(ステップS122)。続けて、ステップS117で確立したセッションを使用し、映像・音声通信手段32aにより作業端末3aのカメラ映像を作業端末4aに送信する(ステップS123)。作業端末4aは、映像・音声通信手段32bにより当該カメラ映像を受信する。カメラ映像を受信した作業端末4aは、タッチスクリーン37bに作業端末3aのカメラ映像を表示する(ステップS124)。以上により、作業端末3aと作業端末4aにて、作業端末3aのカメラ映像を共有することができる。映像共有の概念は後述する。
音声に関しては、次の通りである。セッション確立後はマイクに向かって話しかけることで、映像・音声通信手段32a、32bにより相手側の作業端末スピーカに音声が出力される(ステップS125)。作業端末3aのマイク34aで捉えた音声情報は作業端末4aのスピーカ35bに音声が出力される。作業端末4aのマイク34bで捉えた音声情報は作業端末3aのスピーカ35aに音声報が出力される。
図6は、実施の形態1の映像共有の概念を説明する図である。図6において、左側は作業端末3aを示し、右側は作業端末4aを示している。作業端末3aの前方には、映像や音声の共有の対象となる対象物51、52がある。カメラ36aにて撮影されたカメラ映像として、対象物映像61a、62aがタッチスクリーン37aに表示されている。対象物映像61aは対象物51の映像であり、対象物映像62aは対象物52の映像である。矢印70で示した方向に、すなわち作業端末3aから作業端末4aに、映像・音声通信手段32aにより対象物映像61a、62aが送信される。作業端末4aは、映像・音声通信手段32bにより当該カメラ映像を受信する。受信した対象物映像61b、62bがタッチスクリーン37bに表示されている。対象物映像61bは対象物51の映像であり、対象物映像62bは対象物52の映像である。
ステップS13に示すタッチ位置の共有の動作を、図5及び図7を用いて説明する。図7は、実施の形態1のタッチ位置共有の概念を説明する図である。図7において、左側は作業端末3aを示し、右側は作業端末4aを示している。タッチ位置の共有は、呼び出し側である作業端末3a、応答側である作業端末4a双方のタッチ位置を共有する。
図7の左側に示すように、作業者が手53aの指で作業端末3aのタッチスクリーン3
7aをタッチする(ステップS131)と、ステップS117で確立したセッションを使用して、タッチ位置通信手段33aにより作業端末3aのタッチ位置を作業端末4aに送信する(ステップS132)。作業端末4aは、タッチ位置通信手段33bにより当該タッチ位置を受信する。作業端末3aのタッチ位置を受信した作業端末4aは、タッチスクリーン37b上の映像表示に重畳するように、作業端末3aのタッチ位置に該当する位置にタッチアイコン(指マーク)55bを表示する(ステップS133)。
7aをタッチする(ステップS131)と、ステップS117で確立したセッションを使用して、タッチ位置通信手段33aにより作業端末3aのタッチ位置を作業端末4aに送信する(ステップS132)。作業端末4aは、タッチ位置通信手段33bにより当該タッチ位置を受信する。作業端末3aのタッチ位置を受信した作業端末4aは、タッチスクリーン37b上の映像表示に重畳するように、作業端末3aのタッチ位置に該当する位置にタッチアイコン(指マーク)55bを表示する(ステップS133)。
反対に作業端末4aのタッチ位置を作業端末3aに送信する場合は、図7の右側に示すように、作業者が手53bの指で作業端末4aにてタッチスクリーン37bに対しタッチする(ステップS134)と、ステップS117で確立したセッションを使用して、タッチ位置通信手段33bにより作業端末4aのタッチ位置を作業端末3aに送信する(ステップS135)。作業端末3aは、タッチ位置通信手段33aにより当該タッチ位置を受信する。作業端末4aのタッチ位置を受信した作業端末3aは、タッチスクリーン37a上の映像表示に重畳するように、作業端末4aのタッチ位置に該当する位置に映像に対するタッチアイコン(指マーク)55aを表示する(ステップS136)。なお、矢印71は、作業端末4aから作業端末3aに通信する通信方向を示している。
ステップS14に示すセッションの切断の動作は以下の通りである。作業端末4aから切断する場合を説明する。映像、音声やタッチ位置の共有により所望の情報伝達が終了したあとに、作業端末4aにて切断ボタン39bを押す(ステップS141)と、作業端末4aはSIP通信手段31bを介して、作業端末3aにセッション切断を要求する(ステップS142)。作業端末3aは、SIP通信手段31aを介して、切断要求を受諾すると(ステップS143)、セッションが切断される(ステップS144)。セッション切断により、情報共有が終了となる。ステップS142、S143の通信はSIP通信手段31a、31bにより処理される。
実施の形態1の遠隔作業支援システムでは、通信を行う作業端末3a、4aが作業端末間で映像や音声等の主要情報に加え、主要情報を補足する補足情報であるタッチ位置を共有する手段であるタッチ位置通信手段33a、33bを備えたので、映像に対する質問やコメントの具体的な指摘箇所をタッチアイコン55a、55bで示すことができる。このため、作業者の質問やコメントが音声情報のみで行われていた従来とは異なり、主要情報を補足する補足情報を共有化することができ、従来よりも効率的な情報伝達を行うことができる。
以上のように実施の形態1の遠隔作業支援システムによれば、複数の作業端末3、4と、ネットワーク2を介して複数の作業端末3、4の間にSIP通信のセッションを確立させるサーバ1とを備え、サーバ1により確立されたセッションを使用して複数の作業端末3、4の間において、映像を含む主要情報と主要情報を補足する補足情報とを含む伝達情報を共有する。作業端末3(4)は、画面に伝達情報を表示するとともに画面における位置情報を入力するタッチスクリーン37a(37b)と、サーバ1及び他の作業端末4(3)とSIP通信を行うSIP通信手段31a(31b)と、主要情報を入出力する処理及び送受信する処理を行う主要情報通信手段32a(32b)と、タッチスクリーン37a(37b)に入力された情報を補足情報とし、補足情報を入出力する処理及び送受信する処理を行う補足情報通信手段33a(33b)と、を有するので、主要情報及び主要情報を補足する補足情報を共有化することができ、従来よりも効率的な情報伝達を行うことができる。
実施の形態1の遠隔作業支援端末によれば、画面に伝達情報を表示するとともに画面における位置情報を入力するタッチスクリーン37a(37b)と、サーバ1及び他の作業端末4(3)とSIP通信を行うSIP通信手段31a(31b)と、主要情報を入出力
する処理及び送受信する処理を行う主要情報通信手段32a(32b)と、タッチスクリーン37a(37b)に入力された情報を補足情報とし、補足情報を入出力する処理及び送受信する処理を行う補足情報通信手段33a(33b)と、を有するので、主要情報及び主要情報を補足する補足情報を他の遠隔作業支援端末の間において共有化することができ、従来よりも効率的な情報伝達を行うことができる。
する処理及び送受信する処理を行う主要情報通信手段32a(32b)と、タッチスクリーン37a(37b)に入力された情報を補足情報とし、補足情報を入出力する処理及び送受信する処理を行う補足情報通信手段33a(33b)と、を有するので、主要情報及び主要情報を補足する補足情報を他の遠隔作業支援端末の間において共有化することができ、従来よりも効率的な情報伝達を行うことができる。
実施の形態1の遠隔作業支援方法によれば、複数の作業端末3、4の間において、サーバ1を介してSIP通信のセッションを確立させる手順と、複数の作業端末3、4の間において、画面に伝達情報を表示するとともに画面における位置情報を入力するタッチスクリーン37a(37b)に表示された主要情報を送受信し、当該補足情報を共有する手順と、複数の作業端末3、4の間において、タッチスクリーン37a(37b)に入力された情報を補足情報とし、当該補足情報を送受信し、当該補足情報を共有する手順と、を含むので、主要情報及び主要情報を補足する補足情報を他の遠隔作業支援端末の間において共有化することができ、従来よりも効率的な情報伝達を行うことができる。
実施の形態2.
図8は、この発明の実施の形態2の遠隔作業支援システムを示す図である。実施の形態1の遠隔作業支援システムとは、作業端末3、4が、描画図形通信手段40a、40bが追加された作業端末3(3b)、4(4b)である点で異なる。描画図形通信手段40a、40bは、作業端末のタッチスクリーン上でなぞった軌跡を描画図形に変換し、情報共有している別の作業端末に描画図形を送ることで、作業端末間で描画図形を共有することができる。描画図形通信手段40a、40bは、補足情報通信手段に含まれる。
図8は、この発明の実施の形態2の遠隔作業支援システムを示す図である。実施の形態1の遠隔作業支援システムとは、作業端末3、4が、描画図形通信手段40a、40bが追加された作業端末3(3b)、4(4b)である点で異なる。描画図形通信手段40a、40bは、作業端末のタッチスクリーン上でなぞった軌跡を描画図形に変換し、情報共有している別の作業端末に描画図形を送ることで、作業端末間で描画図形を共有することができる。描画図形通信手段40a、40bは、補足情報通信手段に含まれる。
この描画図形の共有方法について、図9〜11を用いて説明する。図9は実施の形態2の動作シーケンスの前半を示す図であり、図10は実施の形態2の動作シーケンスの後半を示す図である。図11は、実施の形態2の描画図形共有の概念を説明する図である。図11において、左側は作業端末3bを示し、右側は作業端末4bを示している。図9及び図10において、セッションの確立(ステップS11)、映像や音声の共有(ステップS12)、タッチ位置の共有(ステップS13)、セッションの切断(ステップS14)は、実施の形態1と同様であるため、説明を省略する。実施の形態2で追加した、描画図形の共有(ステップS21)について、以降に説明する。
図11の左側に示すように、作業者が手53aの指で作業端末3bのタッチスクリーン37a上を指でなぞる(ステップS211)と、作業端末3bの描画図形通信手段40aは、その軌跡を描画図形に変換する(ステップS212)。図11において、破線で示した手53cは軌跡の開始位置における手を示している。作業者が手53aの指でなぞった軌跡は描画図形56である。
ステップS211にて変換された描画図形56を、ステップS117で確立したセッションを使用して、作業端末3bから作業端末4bに送信する(ステップS213)。作業端末4bに送られた描画図形56は、描画図形通信手段40bにより作業端末4bのタッチスクリーン37b上に描画図形映像66として表示される(ステップS214)。これにより、作業端末3bの作業者が映像上の意図する範囲を矩形で囲ったり、方向を示す矢印を描画図形として描画し、作業端末4bの作業者に伝えたりすることができる。
作業端末4bでも同様に、図11の右側に示すように、作業者が手53bの指でタッチスクリーン37b上を指でなぞる(ステップS215)と、作業端末4bの描画図形通信手段40bは、その軌跡を描画図形に変換する(ステップS216)。作業者が手53bの指でなぞった軌跡は描画図形57である。
ステップS216にて変換された描画図形57を、ステップS117で確立したセッションを使用して、作業端末4bから作業端末3bに送信する(ステップS217)。作業端末3bに送られた描画図形57は、描画図形通信手段40aにより作業端末3aのタッチスクリーン37a上に描画図形映像67として表示される(ステップS218)。
なお、描画図形通信手段40aにより変換された描画図形56は、描画図形通信手段40aによりタッチスクリーン37aに表示してもよい。描画図形通信手段40bにより変換された描画図形57は、描画図形通信手段40bによりタッチスクリーン37bに表示してもよい。この場合、作業端末3bにおいて、作業端末3bに表示された描画図形56と、作業端末4bから送信された画図形57の描画図形映像67とを区別するために、例えば作業端末3bの描画図形を実線、作業端末4bの描画図形を点線で描画するなど分けたり、あるいは端末ごとに描画図形の色を変えたりするなどの工夫をしてもよい。また、作業端末4bにおいても、同様に、作業端末4bに表示された描画図形57と、作業端末3bから送信された画図形56の描画図形映像66とを区別することができる。
以上のように、実施の形態2の遠隔作業支援システムは、タッチスクリーン37a、37b上で描画した描画図形56、57を作業端末間で共有することができる。このため、タッチスクリーン37a、37b上の映像に対して範囲や方向を示したりするなど、描画図形を補足情報として共有することができる。これにより、より具体的な指示や質問を行うことができ、実施の形態1より効率的に情報伝達を行うことができる。
実施の形態3.
図12は、この発明の実施の形態3の遠隔作業支援システムを示す図である。実施の形態2の遠隔作業支援システムとは、作業端末3、4が、カメラ切り替えボタン41a、41bが追加された作業端末3(3c)、4(4c)である点で異なる。カメラ切り替えボタンを押すと、ボタンを押した作業端末のカメラ映像を共有情報として使用することができる。
図12は、この発明の実施の形態3の遠隔作業支援システムを示す図である。実施の形態2の遠隔作業支援システムとは、作業端末3、4が、カメラ切り替えボタン41a、41bが追加された作業端末3(3c)、4(4c)である点で異なる。カメラ切り替えボタンを押すと、ボタンを押した作業端末のカメラ映像を共有情報として使用することができる。
カメラ切り替えボタン41a、41bを追加した作業端末の外観を図13に示す。図13は実施の形態3の作業端末の表面外観を示す図である。図13は作業端末3(3c)について示したが、作業端末4(4c)も同様である。このカメラ切り替えボタン41a、41bを追加した情報共有シーケンスについて、図14〜16を用いて説明する。図14は実施の形態3の動作シーケンスの前半を示す図であり、図15は実施の形態3の動作シーケンスの後半を示す図である。図16は、実施の形態3の映像共有の概念を説明する図である。図16(a)はカメラ切り替えボタン41bを押す前の状態を示し、図16(b)はカメラ切り替えボタン41bを押すところを示し、図16(c)は作業端末4cのカメラ映像が作業端末3cに共有された状態を示している。図16(a)、(c)において、左側は作業端末3cを示し、右側は作業端末4cを示している。
図14及び図15において、セッションの確立(ステップS11)、映像や音声の共有(ステップS12)、タッチ位置の共有(ステップS13)、描画図形の共有(ステップS21)、セッションの切断(ステップS14)は、実施の形態2と同様であるため、説明を省略する。実施の形態3で追加した、カメラの切り替え1(ステップS31)及びカメラの切り替え2(ステップS32)について、以降に説明する。
カメラの切り替え1(ステップS31)は作業端末4(4c)のカメラ36bで撮影したカメラ映像に切り替える場合であり、カメラの切り替え2(ステップS32)は作業端末3(3c)のカメラ36aで撮影したカメラ映像に切り替える場合である。ステップS31を実行する前の状態は、図16(a)のようになっている場合で説明する。作業端末3c、4cのそれぞれのタッチスクリーン37a、37bに、作業端末3cのカメラ映像
である対象物映像61a、62aと対象物映像61b、62bとが映っている。図16(b)のように、作業端末4cにて作業者が手53bでカメラ切り替えボタン41bを押すと(ステップS311)、作業端末4cのタッチスクリーン37b上に、作業端末4cのカメラ36bの映像を表示する(ステップS312)。図16(c)の右側に示すように、タッチスクリーン37b上に、対象物54の対象物映像64bが表示される。
である対象物映像61a、62aと対象物映像61b、62bとが映っている。図16(b)のように、作業端末4cにて作業者が手53bでカメラ切り替えボタン41bを押すと(ステップS311)、作業端末4cのタッチスクリーン37b上に、作業端末4cのカメラ36bの映像を表示する(ステップS312)。図16(c)の右側に示すように、タッチスクリーン37b上に、対象物54の対象物映像64bが表示される。
続けて、ステップS117で確立したセッションを使用して、作業端末4cのカメラ映像を作業端末3cに送信する(ステップS313)。作業端末3cは作業端末4cのカメラ映像を受信すると、図16(c)の左側のように、タッチスクリーン37a上にカメラ映像(受信カメラ映像)である対象物映像64aを表示する(ステップS314)。
作業端末4cのカメラ映像を共有した後で、また、作業端末3cのカメラ映像の共有状態に戻すこともできる。作業端末3cにてカメラ切り替えボタン41aを押すと(ステップS321)、作業端末3cのタッチスクリーン37a上に、作業端末3cのカメラ36aの映像を表示する(ステップS322)。この状態は、図16(a)の左側の状態と同様である。続けて、ステップS117で確立したセッションを使用して、作業端末3cのカメラ映像を作業端末4cに送信する(ステップS323)。作業端末4cは作業端末3cのカメラ映像を受信すると、タッチスクリーン37b上にカメラ映像(受信カメラ映像)である対象物映像61b、62bを表示する(ステップS324)。この状態は、図16(a)の右側の状態と同様である。
以上のように、実施の形態3の遠隔作業支援システムは、カメラ切り替えボタン41a、41bを押すことで、呼び出し側の作業端末3(3c)のカメラ36aで撮影したカメラ映像だけではなく、応答側の作業端末4(4c)のカメラ36bで撮影したカメラ映像を情報共有することができる。例えば、複数の作業現場に分かれた作業者間でお互いの現場映像を共有することで、離れた場所でもより正確に協調作業を行うことができるようになる。
また、作業端末3(3c)の作業者が現場にいて、作業端末4(4c)の作業者が事務所にいた場合、もし作業手順書などのマニュアルが作業端末4(4c)の作業者がいる事務所にしかない場合でも、その作業手順書を作業端末4(4c)のカメラに写すことで、作業端末3(3c)の作業者も作業手順書を現場の作業端末3(3c)で確認することができるようになる。
実施の形態4.
図17は、この発明の実施の形態4の遠隔作業支援システムを示す図である。実施の形態3の遠隔作業支援システムとは、ドキュメントサーバ5が追加され、作業端末3、4が、ドキュメント参照ボタン42a、42b、ドキュメント取得通信手段43a、43b、ドキュメント表示手段44a、44bが追加された作業端末3(3d)、4(4d)である点で異なる。それぞれの作業端末3、4において、ドキュメント取得通信手段43a、43bと、ドキュメント表示手段44a、44bは、ドキュメント通信手段を構成する。ドキュメント通信手段は主要情報通信手段に含まれる。
図17は、この発明の実施の形態4の遠隔作業支援システムを示す図である。実施の形態3の遠隔作業支援システムとは、ドキュメントサーバ5が追加され、作業端末3、4が、ドキュメント参照ボタン42a、42b、ドキュメント取得通信手段43a、43b、ドキュメント表示手段44a、44bが追加された作業端末3(3d)、4(4d)である点で異なる。それぞれの作業端末3、4において、ドキュメント取得通信手段43a、43bと、ドキュメント表示手段44a、44bは、ドキュメント通信手段を構成する。ドキュメント通信手段は主要情報通信手段に含まれる。
ドキュメントサーバ5は、図面や作業手順書、過去の点検履歴など、現場作業に関連する様々な文章や画像データ等を保存しているサーバであり、作業端末3(3d)、4(4d)からネットワーク2経由でデータを取得することができる。
作業端末3(3d)、4(4d)には図18に示すように、ドキュメント参照ボタン42aを追加する。図18は実施の形態4の作業端末の表面外観を示す図である。図18は作業端末3(3d)について示したが、作業端末4(4d)も同様である。図19は、実施の形態4のドキュメント参照の概念を説明する図である。図19(a)はカメラ映像が表示されている状態を示し、図19(b)はドキュメント一覧が表示された状態を示し、図19(c)は選択されたドキュメントが表示された状態を示している。
図19(a)において、作業端末3dのタッチスクリーン37aに、作業端末3dのカメラ映像である対象物映像61a、62aが映っている。作業者が手53aでドキュメント参照ボタン42aを押すと、図19(b)に示すとおり、タッチスクリーン37aに表示されたカメラ映像の画面21aから、ドキュメントサーバ5上のドキュメント一覧をツリー状に示された画面21bをタッチスクリーン37aに表示する。さらに図19(c)に示すとおり、ツリー状にされた項目表示から任意のドキュメントの項目表示22をタッチで選択することにより、ドキュメント一覧をツリーの画面21bから当該ドキュメントをタッチスクリーン37a上に表示する。すなわち、項目表示22をタッチで選択することにより、当該ドキュメントが表示された画面21cに変更することができる。ドキュメント参照を行うと、情報共有を行っている別の作業端末に同じドキュメントを表示し、ドキュメントを共有することができる。
実施の形態4の遠隔作業支援システムの動作シーケンスについて、図20及び21を用いて説明する。図20は実施の形態4の動作シーケンスの前半を示す図であり、図21は実施の形態4の動作シーケンスの後半を示す図である。図20及び図21において、セッションの確立(ステップS11)、映像や音声の共有(ステップS12)、タッチ位置の共有(ステップS13)、描画図形の共有(ステップS21)、カメラの切り替え1(ステップS31)、カメラの切り替え2(ステップS32)、セッションの切断(ステップS14)は、実施の形態3と同様であるため、説明を省略する。実施の形態4で追加した、ドキュメント参照(ステップS41)について、以降に説明する。
ステップS41を実行する前の状態は、図19(a)のようになっている場合で説明する。作業端末3dのタッチスクリーン37aに、作業端末3dのカメラ映像である対象物映像61a、62aが映っている。図19(a)のように、作業端末3dにて作業者が手53aでドキュメント参照ボタン42aを押す(ステップS411)と、作業端末3dのドキュメント取得通信手段43aにより、ドキュメントサーバ5からドキュメント一覧を取得し(ステップS412)、図19(b)のように、タッチスクリーン37a上にドキュメント一覧を表示する(ステップS413)。
図19(b)のように、ドキュメント一覧より参照するドキュメント(項目表示22)を選択する(ステップS414)と、作業端末3dのドキュメント取得通信手段43aにより、ドキュメントサーバ5から当該ドキュメントを取得する(ステップS415)。図19(c)のように、ドキュメント表示手段44aによりタッチスクリーン37a上にドキュメントを表示する(ステップS416)。続けて、作業端末3dにて取得したドキュメントをドキュメント取得通信手段43aにより作業端末4dに送信し(ステップS417)、作業端末4dはドキュメント取得通信手段43bにより当該ドキュメントを受信し、ドキュメント表示手段44bにより作業端末4dのタッチスクリーン37b上に、当該ドキュメントを表示する(ステップS418)。
ドキュメントを表示した状態でも、タッチ位置や描画図形の補足情報と、音声情報は、共有することができる。ドキュメント上でのタッチ位置共有について図22に示し、ドキュメント上での描画図形の共有について図23に示す。ドキュメント上で、タッチ位置や描画図形の補足情報を共有することで、ドキュメントについて正確な情報伝達が可能となる。例えば、ドキュメントとしてある作業の手順書を表示している場合、タッチ位置により作業項目を指示したり、描画図形で複数の作業項目を囲むことで、作業範囲を指示したりすることができるようになる。
ドキュメント上でのタッチ位置共有について説明する。動作シーケンスのステップは実施の形態1で示した図5と同様である。図22は、実施の形態4のタッチ位置共有の概念を説明する図である。図22において、左側は作業端末3dを示し、右側は作業端末4dを示している。タッチ位置の共有は、呼び出し側である作業端末3d、応答側である作業端末4d双方のタッチ位置を共有する。図22の左側に示すように、作業者が手53aの指で作業端末3dのタッチスクリーン37aをタッチする(ステップS131)と、ステップS117で確立したセッションを使用して、タッチ位置通信手段33aにより作業端末3dのタッチ位置を作業端末4dに送信する(ステップS132)。作業端末4dは、タッチ位置通信手段33bにより当該タッチ位置を受信する。作業端末3dのタッチ位置を受信した作業端末4dは、タッチスクリーン37b上のドキュメントに重畳するように、作業端末3aのタッチ位置に該当する位置にタッチアイコン(指マーク)55bを表示する(ステップS133)。
反対に作業端末4dのタッチ位置を作業端末3dに送信する場合は、図22の右側に示すように、作業者が手53bの指で作業端末4dにてタッチスクリーン37bに対しタッチする(ステップS134)と、ステップS117で確立したセッションを使用して、タッチ位置通信手段33bにより作業端末4dのタッチ位置を作業端末3dに送信する(ステップS135)。作業端末3dは、タッチ位置通信手段33aにより当該タッチ位置を受信する。作業端末4dのタッチ位置を受信した作業端末3dは、タッチスクリーン37a上のドキュメントに重畳するように、作業端末4dのタッチ位置に映像に対するタッチアイコン(指マーク)55aを表示する(ステップS136)。
ドキュメント上での描画図形の共有について説明する。動作シーケンスのステップは実施の形態2で示した図10と同様である。図23は、実施の形態4の描画図形共有の概念を説明する図である。図23において、左側は作業端末3dを示し、右側は作業端末4dを示している。図23の左側に示すように、作業者が手53aの指で作業端末3dのタッチスクリーン37a上を指でなぞる(ステップS211)と、描画図形通信手段40aは、その軌跡を描画図形に変換する(ステップS212)。図23において、破線で示した手53cは軌跡の開始位置における手を示している。作業者が手53aの指でなぞった軌跡は描画図形56である。
ステップS211にて変換された描画図形56を、ステップS117で確立したセッションを使用して、描画図形通信手段40aにより作業端末3dから作業端末4dに送信する(ステップS213)。作業端末4dは、描画図形通信手段40bにより当該描画図形56を受信する。作業端末4dに送られた描画図形56は、描画図形通信手段40bにより作業端末4dのタッチスクリーン37b上に描画図形映像66として表示される(ステップS214)。これにより、作業端末3dの作業者がドキュメント上の意図する範囲を矩形で囲ったり、方向を示す矢印を描画図形として描画し、作業端末4dの作業者に伝えたりすることができる。
作業端末4dでも同様に、図23の右側に示すように、作業者が手53bの指でタッチスクリーン37b上を指でなぞる(ステップS215)と、作業端末4dの描画図形通信手段40bは、その軌跡を描画図形に変換する(ステップS216)。作業者が手53bの指でなぞった軌跡は描画図形57である。
ステップS216にて変換された描画図形57を、ステップS117で確立したセッションを使用して、描画図形通信手段40bにより作業端末4dから作業端末3dに送信する(ステップS217)。作業端末3dは、描画図形通信手段40aにより当該描画図形57を受信する。作業端末3dに送られた描画図形57は、描画図形通信手段40aにより作業端末3dのタッチスクリーン37a上に描画図形映像67として表示される(ステップS218)。
ドキュメントを表示した状態でカメラ切り替えボタン41a、41bを押すことで、実施の形態3で説明したカメラモード(カメラ映像をタッチスクリーンに表示して情報共有)に切り替えることができる。このため、ドキュメント表示とカメラ映像表示を必要に応じて選択することが可能である。ドキュメント表示から映像表示に切り替える概念を図24に示す。
図24は、実施の形態4の映像への切り替えを説明する図である。図24(a)はカメラ切り替えボタン41aを押す前の状態を示し、図24(b)はカメラ映像に切り替えられた状態を示している。作業端末3のタッチスクリーン37aに、ドキュメントが表示されている。すなわち、タッチスクリーン37aの画面21cはドキュメント表示になっている。
図24(a)のように、作業者が手53aでカメラ切り替えボタン41aを押すと、作業端末3dのタッチスクリーン37a上に、カメラ36aの映像を表示する。図24(b)に示すように、タッチスクリーン37a上に、対象物51、52の対象物映像61a、62aが表示される。すなわち、タッチスクリーン37aの画面21aはカメラ映像表示になっている。
図24(a)のように、作業者が手53aでカメラ切り替えボタン41aを押すと、作業端末3dのタッチスクリーン37a上に、カメラ36aの映像を表示する。図24(b)に示すように、タッチスクリーン37a上に、対象物51、52の対象物映像61a、62aが表示される。すなわち、タッチスクリーン37aの画面21aはカメラ映像表示になっている。
以上により、実施の形態4の遠隔作業支援システムは、ドキュメントを使って作業指示や質問事項を行うことができ、より正確な情報伝達が可能となる。なお、ドキュメント一覧は、ツリー状にされたものに限定されず、ドキュメントの名称が表示されたものでもよい。
実施の形態5.
図25は、この発明の実施の形態5の遠隔作業支援システムを示す図である。実施の形態4の遠隔作業支援システムとは、作業端末3、4が、スクリーンキャプチャーボタン45a、45b、スクリーンキャプチャー手段46a、46bが追加された作業端末3(3e)、4(4e)である点で異なる。
図25は、この発明の実施の形態5の遠隔作業支援システムを示す図である。実施の形態4の遠隔作業支援システムとは、作業端末3、4が、スクリーンキャプチャーボタン45a、45b、スクリーンキャプチャー手段46a、46bが追加された作業端末3(3e)、4(4e)である点で異なる。
スクリーンキャプチャーボタン45aを追加した作業端末3(3e)の外観を図26に示す。図26は、実施の形態5の作業端末の表面外観を示す図である。図26は作業端末3(3e)について示したが、作業端末4(4e)も同様である。スクリーンキャプチャーボタン45aを押すと、タッチスクリーン37aに表示している情報(映像、タッチ位置、描画図形、ドキュメント)を、画像データとして合成して保存し、ドキュメントサーバ5上の専用フォルダにアップロードすることができる。ドキュメントサーバ5は、画像データを保存する保存サーバに該当する。
実施の形態5の遠隔作業支援システムの動作シーケンスについて、図27及び28を用いて説明する。図27は実施の形態5の動作シーケンスの前半を示す図であり、図28は実施の形態5の動作シーケンスの後半を示す図である。図27及び図28において、セッションの確立(ステップS11)、映像や音声の共有(ステップS12)、タッチ位置の共有(ステップS13)、描画図形の共有(ステップS21)、カメラの切り替え1(ステップS31)、カメラの切り替え2(ステップS32)、ドキュメント参照(ステップS41)、セッションの切断(ステップS14)は、実施の形態4と同様であるため、説明を省略する。実施の形態5で追加した、スクリーンキャプチャー情報共有(ステップS51)について、以降に説明する。
ステップS51を実行する前の状態は、例えば図19(a)に示したように、タッチス
クリーン37aの画面21aはカメラ映像表示になっている。作業端末3eにてスクリーンキャプチャーボタン45aを押す(ステップS511)と、スクリーンキャプチャー手段46aによりタッチスクリーン37aの表示内容をキャプチャーして画像ファイルとしてドキュメントサーバ5に保存する(ステップS512)。取得した画像ファイルはタッチスクリーン37aにそのまま表示する(ステップS513)。さらに、取得した画像ファイルを情報共有のため、映像・音声通信手段32aにより作業端末4eに送信する(ステップS514)。作業端末4eは、映像・音声通信手段32bにより当該画像ファイルを受信する。そして、作業端末4eにて、受信した画像ファイルをタッチスクリーン37b上に表示する(ステップS515)。
クリーン37aの画面21aはカメラ映像表示になっている。作業端末3eにてスクリーンキャプチャーボタン45aを押す(ステップS511)と、スクリーンキャプチャー手段46aによりタッチスクリーン37aの表示内容をキャプチャーして画像ファイルとしてドキュメントサーバ5に保存する(ステップS512)。取得した画像ファイルはタッチスクリーン37aにそのまま表示する(ステップS513)。さらに、取得した画像ファイルを情報共有のため、映像・音声通信手段32aにより作業端末4eに送信する(ステップS514)。作業端末4eは、映像・音声通信手段32bにより当該画像ファイルを受信する。そして、作業端末4eにて、受信した画像ファイルをタッチスクリーン37b上に表示する(ステップS515)。
タッチスクリーン37aの表示内容をキャプチャーすること、すなわちスクリーンキャプチャーを行うことにより、動画の共有では、手振れ等により不鮮明になることで情報共有が難しい場合であっても、静止画として映像を保存したり、静止画を送信したりすることで、正確な情報を共有でき、効率的な情報伝達を行うことができる。また、スクリーンキャプチャーを行うことにより、現場写真として画像データをドキュメントサーバ5に取りためて、後で分析を行ったりすることに利用することができる。
また、タッチ位置や描画図形を、映像やドキュメントと合成した状態で画像ファイルとしてドキュメントサーバ5に保存することで、作業実績のエビデンスとして使用することもできる。例えば、点検時のチェックリストをドキュメントとして表示しておき、チェックマークの描画図形(指でチェックの軌跡を描く)をチェックリスト上に書き込んでから、スクリーンキャプチャーを行うことで、チェックリストのチェック記録として残すことができる。
以上のように、実施の形態5の遠隔作業支援システムは、タッチスクリーン37aの表示内容をキャプチャーすること、すなわちスクリーンキャプチャーを行うことにより、作業指示や質問事項を正確に行うことができ、より効率的な情報伝達を行うことができる。また、ドキュメントサーバ5に保存された画像データを後で分析を行ったり、作業実績のエビデンスとして使用したりすることもできる。
なお、実施の形態1乃至5にて、作業端末上に設置しているボタン、すなわち、接続ボタン38a、38b、切断ボタン39a、39b、カメラ切り替えボタン41a、41b、ドキュメント参照ボタン42a、42b、スクリーンキャプチャーボタン45a、45bは、例えばタッチスクリーン37a、37b上のタッチメニュー等に変更してもよい。作業端末上に設置しているボタンをタッチメニュー等に変更ことで、物理的なボタン装置を不要とすることもできる。
また、実施の形態1乃至5にて、2台の作業端末にて通信を行う例として説明したが、作業端末が追加された場合(3台以上の場合)でもよい。各作業端末に上述したSIP通信手段31、映像・音声通信手段32、タッチ位置通信手段33、描画図形通信手段40、ドキュメント取得通信手段43、ドキュメント表示手段44、スクリーンキャプチャー手段46が備えられていることにより、映像、音声やタッチ位置、描画図形、ドキュメント、スクリーンキャプチャーのそれぞれについて情報共有ができる。また、実施の形態1乃至5の内容は、矛盾しない範囲で相互に適用することができる。
1…サーバ、2…ネットワーク、3、3a、3b、3c、3d、3e、4、4a、4b、4c、4d、4e…作業端末、5…ドキュメントサーバ、31a、31b…SIP通信手段、32a、32b…映像・音声通信手段(主要情報通信手段)、33a、33b…タッチ位置通信手段(補足情報通信手段)、36a、36b…カメラ、37a、37b…タッ
チスクリーン、40a、40b…描画図形通信手段(補足情報通信手段)、41a、41b…カメラ切り替えボタン、42a、42b…ドキュメント参照ボタン、43a、43b…ドキュメント取得通信手段(主要情報通信手段)、44a、44b…ドキュメント表示手段(主要情報通信手段)、45a、45b…スクリーンキャプチャーボタン、46a、46b…スクリーンキャプチャー手段、51、52、54…対象物、56、57…描画図形、61a、61b、62a、62b、64a、64b…対象物映像。
チスクリーン、40a、40b…描画図形通信手段(補足情報通信手段)、41a、41b…カメラ切り替えボタン、42a、42b…ドキュメント参照ボタン、43a、43b…ドキュメント取得通信手段(主要情報通信手段)、44a、44b…ドキュメント表示手段(主要情報通信手段)、45a、45b…スクリーンキャプチャーボタン、46a、46b…スクリーンキャプチャー手段、51、52、54…対象物、56、57…描画図形、61a、61b、62a、62b、64a、64b…対象物映像。
Claims (10)
- 複数の作業端末と、ネットワークを介して前記複数の作業端末の間にSIP通信のセッションを確立させるサーバとを備え、前記サーバにより確立された前記セッションを使用して前記複数の作業端末の間において伝達情報を共有する遠隔作業支援システムであって、
前記伝達情報は映像を含む主要情報と前記主要情報を補足する補足情報とを含み、
前記作業端末は、
画面に前記伝達情報を表示するとともに前記画面における位置情報を入力するタッチスクリーンと、
前記サーバ及び他の作業端末とSIP通信を行うSIP通信手段と、
前記主要情報を入出力する処理及び送受信する処理を行う主要情報通信手段と、
前記タッチスクリーンに入力された情報を前記補足情報とし、前記補足情報を入出力する処理及び送受信する処理を行う補足情報通信手段と、を有することを特徴とする遠隔作業支援システム。 - 前記補足情報通信手段は、前記タッチスクリーンに入力された入力位置を前記補足情報として処理することを特徴とする請求項1記載の遠隔作業支援システム。
- 前記補足情報通信手段は、前記タッチスクリーンにおいて連続的に入力された軌跡を描画図形に変換し、前記描画図形を前記補足情報として処理することを特徴とする請求項1または2に記載の遠隔作業支援システム。
- 前記補足情報通信手段は、前記タッチスクリーンにおいて連続的に入力された軌跡を描画図形に変換した前記補足情報を、当該変換を行った作業端末における前記タッチスクリーンに当該補足情報を表示することを特徴とする請求項3記載の遠隔作業支援システム。
- 前記作業端末は、対象物を撮影するカメラと、他の作業端末から受信した受信カメラ映像から前記カメラで撮影したカメラ映像に切り替えを行うカメラ切り替えボタンとを有し、
前記主要情報通信手段は、前記カメラ切り替えボタンが押された場合に、当該作業端末の前記タッチスクリーンに前記カメラ映像を表示するとともに、前記カメラ映像を前記主要情報として処理することを特徴とする請求項1乃至4のいずれか1項に記載の遠隔作業支援システム。 - 前記ネットワークに接続されたドキュメントサーバを備え、
前記作業端末は、前記ドキュメントサーバに保存されたドキュメントを参照するドキュメント参照ボタンを有し、
前記主要情報通信手段は、前記ドキュメント参照ボタンが押された場合に、前記ドキュメントを前記主要情報として処理するドキュメント通信手段を含むことを特徴とする請求項1乃至5のいずれか1項に記載の遠隔作業支援システム。 - 前記ドキュメント通信手段は、
前記ドキュメントサーバからドキュメントの名称を一覧にしたドキュメント一覧及び前記ドキュメント一覧から選択されたドキュメントを取得するとともに、前記ドキュメントを他の作業端末との間で送受信するドキュメント取得通信手段と、
前記ドキュメントを前記タッチスクリーンに表示するドキュメント表示手段と、を有し、前記ドキュメント取得通信手段は、前記ドキュメント参照ボタンが押された場合に、前記サーバから前記ドキュメント一覧を前記タッチスクリーンに表示することを特徴とする請求項6記載の遠隔作業支援システム。 - 前記ネットワークに接続された保存サーバを備え、
前記作業端末は、前記タッチスクリーンに表示された情報を画像データとして合成するスクリーンチャプチャーボタンと、前記スクリーンチャプチャーボタンが押された場合に、前記画像データを合成するともに前記画像データを前記保存サーバに保存するスクリーンチャプチャー手段と、を有し、
前記主要情報通信手段は、前記スクリーンチャプチャーボタンが押された場合に、前記画像データを前記主要情報として処理することを特徴とする請求項1乃至7のいずれか1項に記載の遠隔作業支援システム。 - ネットワークに接続されたサーバにより確立されたSIP通信のセッションを使用して他の作業端末との間において、映像を含む主要情報と前記主要情報を補足する補足情報とを含んだ伝達情報を共有する遠隔作業支援端末であって、
当該遠隔作業支援端末は、請求項1乃至8のいずれか1項に記載の作業端末であることを特徴とする遠隔作業支援端末。 - ネットワークに接続されたサーバにより確立されたSIP通信のセッションを使用して複数の作業端末の間において、映像を含む主要情報と前記主要情報を補足する補足情報とを含んだ伝達情報を共有する遠隔作業支援方法であって、
前記複数の作業端末の間において、前記サーバを介してSIP通信のセッションを確立させる手順と、
前記複数の作業端末の間において、画面に前記伝達情報を表示するとともに前記画面における位置情報を入力するタッチスクリーンに表示された前記主要情報を送受信し、当該補足情報を共有する手順と、
前記複数の作業端末の間において、前記タッチスクリーンに入力された情報を前記補足情報とし、当該補足情報を送受信し、当該補足情報を共有する手順と、を含む遠隔作業支援方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010284519A JP2012133534A (ja) | 2010-12-21 | 2010-12-21 | 遠隔作業支援システム、遠隔作業支援端末及び遠隔作業支援方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010284519A JP2012133534A (ja) | 2010-12-21 | 2010-12-21 | 遠隔作業支援システム、遠隔作業支援端末及び遠隔作業支援方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012133534A true JP2012133534A (ja) | 2012-07-12 |
Family
ID=46649071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010284519A Pending JP2012133534A (ja) | 2010-12-21 | 2010-12-21 | 遠隔作業支援システム、遠隔作業支援端末及び遠隔作業支援方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012133534A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017056632A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
-
2010
- 2010-12-21 JP JP2010284519A patent/JP2012133534A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017056632A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
US10771739B2 (en) | 2015-09-30 | 2020-09-08 | Sony Corporation | Information processing device and information processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3014367A1 (en) | Method and video communication device for transmitting video to a remote user | |
JP6812203B2 (ja) | 情報処理システム、情報処理方法、携帯投影端末 | |
JP2014197745A (ja) | 遠隔作業支援システム及び遠隔作業支援プログラム | |
JP6179653B1 (ja) | 情報処理装置及びプログラム | |
CN106896920B (zh) | 虚拟现实系统、虚拟现实设备、虚拟现实控制装置及方法 | |
US10404867B2 (en) | System and information processing method | |
JP7073868B2 (ja) | 情報処理装置およびプログラム | |
JP7270154B2 (ja) | 遠隔作業支援システム | |
WO2019107138A1 (ja) | 表示制御装置、表示制御方法、およびプログラム | |
JP2015041219A (ja) | リモート支援装置、電子装置、リモート支援方法及びコンピュータプログラム | |
KR20120063508A (ko) | 증강 객체와의 상호 작용을 위한 디바이스 | |
US20150177729A1 (en) | Remote accessory for generating customized and synchronized reference notes for a programmable metrology system | |
JP2017004174A (ja) | 通信装置、通信装置の制御方法、通信システム及びプログラム | |
JP6146528B1 (ja) | 情報処理装置及びプログラム | |
CN108141565A (zh) | 信息处理设备及信息处理方法 | |
JP6160761B1 (ja) | 情報処理装置及びプログラム | |
WO2022032688A1 (en) | Method for remote assistance and device | |
WO2018193509A1 (ja) | 遠隔作業支援システム、遠隔作業支援方法、及びプログラム | |
CN105786169B (zh) | 多个电子设备进行协同动作的方法、电子设备 | |
JP2012133534A (ja) | 遠隔作業支援システム、遠隔作業支援端末及び遠隔作業支援方法 | |
JP2012054891A (ja) | 画像処理装置、方法及びプログラム | |
JP6327387B2 (ja) | 情報処理装置及びプログラム | |
KR20150105131A (ko) | 증강현실 제어 시스템 및 제어 방법 | |
KR102082433B1 (ko) | 프로젝터-카메라 기반의 로봇형 디바이스와 헤드 마운트 디스플레이를 사용하는 원격 협업 시스템 및 이를 이용한 원격 인터랙션 방법 | |
CN102215338A (zh) | 摄影设备 |