JP2017037434A

JP2017037434A - マーク処理装置、プログラム

Info

Publication number: JP2017037434A
Application number: JP2015157703A
Authority: JP
Inventors: 太一三宅; Taichi MIYAKE; 大津　誠; Makoto Otsu; 誠大津; 拓人市川; Takuto Ichikawa
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2015-08-07
Filing date: 2015-08-07
Publication date: 2017-02-16
Anticipated expiration: 2035-08-07
Also published as: JP6531007B2

Abstract

【課題】情報伝達の迅速性を確保する。【解決手段】遠隔通信システムＡは、作業端末１０３にて撮影される映像を作業端末１０３および指示端末１０８の両方にて表示されるようになっている。指示端末１０８において、表示されている映像に示される目標位置に指示マークを描画するための入力操作が行われると、作業端末１０３および指示端末１０８にて表示される映像にて前記目標位置の動きに追随して動くように前記指示マークが前記目標位置に重畳表示される。指示端末１０８が有する判定部は、作業者へ前記指示マークの存在を通知する必要性の有無を判定し、必要性有と判定した場合、前記指示マークの存在を前記ユーザへ通知する通知処理を作業端末１０３に実行させる。【選択図】図１

Description

本発明は、テレコミュニケーション（遠隔通信）システムの端末に表示される映像上に描画されるマークを処理するマーク処理装置に関するものである。

有識者や熟練者の知見が重要視される作業の現場では、有識者や熟練者等の指示者が、当該作業に習練していない者や若手である作業者に対して指示（指導）するシーンが多い。例えば、作業手順、判断基準、問題の対処法、といったノウハウを伝達するシーンが挙げられる。その際に、指示者と作業者（指示を受ける者）とが同じ場所にいて、対面でコミュニケーションを取りながら作業の内容を伝えることができれば、指示内容の伝達を効率的に行える。

しかし、作業者と指示者とが同時に同じ場所にいないケースがあり、そのようなケースでは、作業者が指示者の指示を仰ぐ事や、作業者が指示者の説明を受けるといった事が困難となる。例えば、作業現場が狭くて複数人が集まって作業を行うことが物理的に困難である場合や、指示者が作業現場から遠く離れた場所にいて、作業現場の作業者の元にすぐに向かうことができない場合などがある。これらの場合であっても、作業を行う際の判断基準や手順が示されたマニュアルがあるならば、作業者はマニュアルに従って作業を進めていくことができる。しかし、実際には、マニュアルに記載の無いような事態（突発的な問題、または、状況に応じて経験的に判断しなければならない事態）が生じることがあり、経験の浅い作業者では対処しきれていないことが多い。

これに対し、従来、指示者がその場に居られないような場合でも作業者に指示ができるように、テレビ電話（ビデオ電話）を用いて遠隔地から作業支援を行う解決手法が知られている。この方法では、作業者は、作業箇所や作業の様子を端末によって撮影し、この撮影にて得られた映像を指示者に送信し、指示者は、受信した映像をもとに主に音声通信を介して指示を伝達するようになっている。

しかし、この方法では、指示者は、視覚的な指示と併せた音声での説明（例えば、説明対象箇所を指差しながらの音声での説明）を行うことはできず、あくまで音声のみで説明しなければならない。

ここで、音声のみでの説明の場合、「ここ」「あれ」といった曖昧な表現で説明対象箇所を特定することになると、現場の作業者に対して指示者の意図が正確に伝わらない。それゆえ、音声のみでの説明の場合、可能な限り曖昧な表現を避け、「右端から何番目の上から何番目」というように、普遍的な表現で説明対象箇所を特定することが求められる。

しかし、例えば、作業者が絶えず動いているような作業の場合においては、指示者にとって「三番目」の場所であっても、作業者にとっては最早「四番目」やそれ以外の場所に変わっている可能性がある。それゆえ、音声のみでの説明の場合、指示者が普遍的な表現で説明対象箇所を特定したとしても、現場の作業者に対して指示者の意図が正確に伝わらない事が多い。

そして、現場の作業者に対して指示者の意図が正確に伝わらないと、両者の間で認識に齟齬が生じやすくなり、作業効率が低下するという問題が生じる。また、仮に、普遍的な表現（例えば「右端から何番目の上から何番目」というような表現）によって説明対象箇所を作業者に正確に伝えることができたとしても、通常作業（作業者と指示者とが同時に同じ場所にいて、前記解決方法を用いない作業）とは異なり、詳細な説明（会話）が必要になり、作業効率の低下の問題が生じる。

ところで、近年、撮影されている映像に対してコンピュータグラフィックス（ＣＧ）にて作成した画像を重畳描画する拡張現実（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）技術の研究が盛んになってきている。ＡＲ技術を用いることによって、リアルタイムで撮影されている映像上にＣＧで作成した目印（絵柄、符号、文字など）を描画できる。これにより、作業現場において実際に存在しない目印を、作業現場を映している映像において当該作業現場に存在しているかのように示すことができる。つまり、テレビ電話（ビデオ電話）を用いて遠隔地から作業支援を行う解決手法にＡＲ技術を適用すれば、以上にて示した問題を抑制できる。

例えば、以下にて示す非特許文献１に開示されている技術によれば、指示者（オペレータ）の端末は、作業者の端末にて撮影された映像を受信し、指示者の操作によって当該映像上の目標箇所に丸や矢印等の目印を描画するようになっている。このように描画された目印は作業者の端末にも表示されるようになっている（また、作業者の端末の向きや位置が変わることで撮影範囲がシフトしても、目標箇所に付された目印は目標箇所から離れずに（目標箇所に追随する）表示されるようになっている）。これにより、指示者が「ここ」「あれ」といった曖昧な表現を用いて会話を行っても、目印により、作業者にとっても目標位置が明らかになるため、両者の間で認識に齟齬が生じにくくなる。このような技術によれば、作業の効率化、スキル習熟度によらない専門性の高い作業の実現、作業期間やコスト削減等のメリットが得られる。

特表２０１３−５１８２７５号公報

ＡＲサポート機能[オンライン]、日本電信電話株式会社、[平成２７年７月２日検索]、インターネット、〈URL:http://www.ntt-east.co.jp/release/detail/20131024_01.html〉

一般的に、ＡＲ技術を用いた作業支援では、指示者は、作業者によって現在作業対象となっている箇所、作業者との会話の対象となっている箇所、作業者に対する説明の対象となっている箇所、もしくは、これらの箇所に関連する箇所に対して、目印を描画する。

ここで、作業者自身が常に動いていることが想定され、そのため、作業者が保持する端末（撮影端末）も動き、端末の撮影範囲も動いていることが想定される。ところが、端末の動きは作業者の動きに応じたものであるため、指示者は、端末の撮影範囲の動きを予測困難な状況であるが、このような状況下で、映像上の目標箇所を識別し、目標箇所に目印を付するという一連の操作を行わなければならない。

そのため、指示者は、表示画面において予測困難な動きをする目標箇所に正確に目印を設定することが非常に困難であるため、指示者側の端末の表示画面に表示されている映像を一時停止することで同一フレームを表示させ続けている状況下で前記の操作を実施することが望ましい。

これに対し、作業者は、作業を継続し、作業者側の端末では映像は、一時停止されておらず、撮影更新され続けているため、作業者側の端末と指示者側の端末とで互いに異なるシーンが表示されることになる（互いに異なるフレームが表示される）。これは、指示者が目標箇所に目印を付するための一連の操作を行っている際に作業者が大きく動くと、指示者に新たに設定された目印の位置が、作業者側の端末の表示画面から外れてしまうことを意味する。

テレコミュニケーションを利用した作業支援においては即時の情報伝達が重要であり、現時点で作業中の作業内容に関連した重要度の高い情報の伝達を迅速に行うことが求められる。

これに対し、指示者が重要と判断して目印を描画したとしても、上述したように、作業者側の端末にて表示されているシーンと、指示者側の端末にて表示されているシーンとが異なることが起こり得るため、作業者は、新たに目印が描画されたことを認識できていない状態になり、情報伝達の迅速性が損なわれる可能性がある。

本発明は、遠隔通信システムにおいて情報伝達の迅速性を確保することを目的としている。

上記の課題を解決するために、本発明の一態様は、互いに通信可能な第１端末と第２端末とを含み、第１端末にて撮影される映像が第１端末および第２端末の両方にて表示され、第２端末において、表示されている映像に示される目標位置にマークを描画するための入力操作が行われると、第１端末および第２端末にて表示される映像にて前記目標位置の動きに追随して動くように前記マークが前記目標位置に重畳表示される遠隔通信システムに含まれるマーク処理装置であって、前記第１端末のユーザへ前記マークの存在を通知する必要性の有無を判定し、必要性有と判定した場合、前記マークの存在を前記ユーザへ通知する通知処理を前記第１端末に実行させる判定部を備えたことを特徴としている。

本発明の一態様によれば、前記マークの入力操作が行われると、前記第１端末のユーザへ前記マークの存在を通知する必要性が高いと判定されるマークについては、その存在を第１端末のユーザに迅速に通知できる。それゆえ、本発明によれば、遠隔通信システムにおいて情報伝達の迅速性を確保できるという効果を奏する。

本発明の一実施形態に係る遠隔通信システムの利用シーンの一例を模式的に示した図である。図１の遠隔通信システムの各構成要素を示した概略図である。図１の遠隔通信システムに含まれる作業端末の構成の概略を示したブロック図である。図１の遠隔通信システムに含まれる指示端末の情報処理装置の概略を示したブロック図である。作業端末として利用でき、また、指示端末としても利用可能な端末装置の構成の概略を示したブロック図である。図４または図５のマーク追跡部の構成を示したブロック図である。作業端末の処理の流れを示すフローチャートである。指示端末の情報処理装置の流れを示すフローチャートである。図６に示す判定部の処理の流れを示したフローチャートである。作業端末の表示部に表示される映像の一例を模式的に示した図である。作業端末の表示部に表示される映像の一例であり、図１０とは異なる例を模式的に示した図である。作業端末の表示部に表示される映像の一例であり、図１０および図１１とは異なる例を模式的に示した図である。

[実施形態１]
本発明の一実施形態に係る遠隔通信システム（テレコミュニケーションシステム）について、図１から図１０を参照しながら説明を行う。

図１は、本実施形態に係る遠隔通信システムＡの利用シーンの一例を模式的に示した図である。図１の左側が作業現場１００であり、図１の右側が指示室１０６を示しており、お互いに離れたところに位置している。遠隔通信システムＡは、互いに離れて位置している作業者と指示者との間における作業に関する情報伝達を行うことによって作業支援を実現するシステムである。

図１は、作業現場１００にいる作業者１０１が、指示室１０６にいる指示者１０７から、作業対象１０２に関する作業指示を作業端末（第１端末）１０３によって受けながら、作業を行なっているシーンを示している。より詳細に説明すると、作業対象１０２の修理を行っている作業者１０１が、監督する指示者１０７から修理に関する指示をもらっている例である。

作業端末１０３は、タブレット状のコンピュータであり、表面側に設けられる表示部１０３ｂと、背面側に設けられているカメラ１０３ａとを備えている。作業端末１０３は、カメラ１０３ａによって作業対象１０２を撮影でき、撮影にて得られた映像を表示部１０３ｂに表示させることができ、且つ、当該映像を遠隔地の指示端末（第２端末）１０８へ送信できるようになっている。

指示室１０６に設置されている指示端末１０８は、情報処理装置（マーク処理装置）１０８ａと、表示装置１０８ｂとからなる。情報処理装置１０８ａと表示装置１０８ｂとは接続されており、表示装置１０８ｂは情報処理装置１０８ａに表示制御される。情報処理装置１０８ａは、図１に示すようにデスクトップ型のパーソナルコンピュータ（Personal Computer）の形態であるが、当該形態に限定されるものではなく、作業者１０１が用いているようなタブレット状のコンピュータであってもよい。

情報処理装置１０８ａは、遠隔地の作業端末１０３から送られてきた映像を受信し、その映像を表示装置１０８ｂに表示させることができる。指示者は、表示装置１０８ｂに表示されている映像１１０を見ながら、表示装置１０８ｂおよび指示端末１０８を用いて作業者１０１に対して作業指示を行う。

具体的には、指示者１０７がタッチパネルやマウスを利用した入力指示を行うと、指示端末１０８は、当該入力指示に基づいて、指示マークを示すマーク情報を生成する。指示マークとは、表示装置１０８ｂおよび表示部１０３ｂに表示される映像において、指示者１０７に指定される指定位置に重畳して表示されるマークであり、指示者１０７が作業者に指示を行うのに利用される。なお、本実施形態において、指示マークとは、単なるマークの他、ポインタ、マーカー、テキスト、絵柄であってもよいし、これらの２以上の組み合わせからなるものであってもよい。

指示端末１０８は、マーク情報を生成すると、当該マーク情報に基づいて表示装置１０８ｂに指示マークを表示させ、且つ、当該マーク情報を作業端末１０３へ送信する。作業端末１０３も、当該マーク情報に基づいて表示部１０３ｂに指示マークを表示させる。すなわち、作業端末１０３と指示端末１０８とは、マーク情報を共有し、当該マーク情報に基づいて、其々が同じ指示マークを映像に重畳させる。

つまり、指示端末１０８は、図１の表示装置１０８ｂの映像１１０に示される作業対象映像１０２ａ（作業対象１０２に対応する映像）に対して指示マークを重畳させるための入力操作が指示者によって行われると、作業対象映像１０２ａに対して指示マークを重畳させることを示したマーク情報を生成し、当該マーク情報を作業端末１０３に送信し、当該マーク情報を作業端末１０３と共有する。

そして、指示端末１０８は、当該マーク情報に基づいて、図１の表示装置１０８ｂの映像１１０に示される作業対象映像１０２ａに対して指示マーク１１１を重畳させ、作業端末１０３は、当該指示マーク情報に基づいて、図１の表示部１０３ｂの映像１０４に示される作業対象映像１０２ａに対して指示マーク１０５を重畳させる。

作業者１０１は、表示部１０３ｂによって、指示マーク１０５と、指示マーク１０５にて指定される箇所（目標位置）とを把握できる。これにより、作業者１０１は、遠隔地にある指示室１０６からの作業指示を視覚的に把握できる。なお、作業端末１０３は、作業者１０１の入力指示に基づいてマーク情報を設定して、当該マーク情報に基づき、表示部１０３ｂの映像１０４に指示マークを重畳表示することもできる。この際、勿論であるが、作業端末１０３が指示端末１０８へマーク情報を送信し、作業端末１０３と指示端末１０８とで当該マーク情報を共有し、指示端末１０８は、作業端末１０３から送られてきたマーク情報に基づいて、表示装置１０８ｂの映像１１０に指示マークを重畳させることができる。これにより、指示者１０７と作業者１０１とのうちの一方が設定した指示マークを、指示者１０７および作業者１０１の両者が認識可能となる。

また、図２に示すように、遠隔通信システムＡは、作業端末１０３と指示端末１０８と公衆通信網（例えばインターネット）ＮＴとを含んでおり、作業端末１０３と指示端末１０８とは、公衆通信網ＮＴを介して、ＴＣＰ／ＩＰやＵＤＰ等のプロトコルに従って通信することができる。

遠隔通信システムＡには、図２に示すように、マーク情報を一括して管理するための管理サーバ２００が設けられ、管理サーバ２００も公衆通信網ＮＴに接続されている。なお、作業端末１０３と公衆通信網ＮＴとは、無線通信によって接続されてもよい。この場合、無線通信は、例えば、Wi-Fi（登録商標） Alliance（米国業界団体）によって規定された国際標準規格（IEEE 802.11）のワイファイ（Wi-Fi：Wireless Fidelity）接続によって実現することが可能である。また、以上では、通信網に関し、インターネットなどの公衆通信網を例示しているが、例えば、企業などで使用されているLAN(Local Area Network)を用いることも可能であり、それらが混在した構成であっても良い。なお、図２では、管理サーバ２００を用いた構成を示しているが、作業端末１０３と指示端末１０８とが直接通信を行う形態でも問題はなく、以下の説明では、作業端末１０３と指示端末１０８とが直接通信する形態を説明する。また、通常のテレビ会議システムで用いられる一般的な音声通信処理や付加画面情報以外の映像通信処理に関しては、支障のない範囲で説明を省略する。

まず、作業端末１０３において処理を行う各ブロックについて、図３を用いて説明する。図３に示すように、作業端末１０３は、制御部３０８と、通信部３０１と、表示制御部３０２と、映像取得部３０３と、エンコード部３０４とを有する。

映像取得部３０３は、作業端末１０３が備えるカメラ１０３ａに接続されており、カメラ１０３ａから映像を取得して、制御部３０８の制御に基づいて当該映像をエンコード部３０４に出力する処理を行う。

制御部３０８は、作業端末１０３の処理全体の制御を行い、且つ、各部間の情報のやり取りの制御を行うものである。

エンコード部３０４は、映像取得部３０３から入力した映像信号を、元の信号量より小さくなるよう圧縮する符号化処理を行う。符号化処理については、例えば動画像符号化に適したH.264（国際標準動画圧縮規格）を適用できるし、他の手法を用いることもできる。また、エンコード部３０４は、映像信号を符号化処理して得られる映像符号を通信部３０１に出力する。

通信部３０１は、エンコード部３０４から映像符号を受け取ると、ネットワークを介した通信を行えるようにデータ（映像符号）を整形し、作業端末１０３の外部（例えば後述する指示端末１０８）に映像符号を送信する処理を行う。ネットワーク通信を行うためのデータの整形は、例えば、ＴＣＰ／ＩＰやＵＤＰ等のプロトコルに従った、通信のために必要な情報を付加する処理とする。

通信部３０１は、さらに、作業端末１０３の外部（例えば指示端末１０８）からマーク情報を受け取り、その情報を表示制御部３０２に出力する。

表示制御部３０２は、通信部３０１からマーク情報を入力すると、当該マーク情報を参照して、映像取得部３０３で取得された映像上に指示マークを重畳し、指示マークを重畳した映像を表示部１０３ｂに表示させる処理を行う。指示マークの重畳処理は従来技術を用いることができる。

続いて、指示端末１０８の情報処理装置１０８ａにおいて処理を行う各ブロックについて、図４を用いて説明する。

指示端末１０８の情報処理装置１０８ａは、制御部４０８と、通信部４０１と、表示制御部４０２と、デコード部４０５と、映像保持部４０６と、マーク追跡部４０７と、入力部４０９とを有する。

制御部４０８は、指示端末１０８の処理全体の制御を行い、且つ、各部間の情報のやり取りの制御を行うものである。

情報処理装置１０８ａが、指示端末１０８の外部（例えば後述する作業端末１０３）から映像符号を受信すると、その映像符号は通信部４０１に入力される。通信部４０１は、その映像符号をデコード部４０５に出力する処理を行う。

デコード部４０５は、通信部４０１から映像符号を受け取ると、前述したエンコード部３０４における符号化処理とは逆の処理（復号化処理）を行う。これにより、映像符号は元の映像信号に復号されることになる。デコード部４０５は、復号した映像信号を、表示制御部４０２と、映像保持部４０６と、マーク追跡部４０７と、に出力する処理を行う。

情報処理装置１０８ａに接続されている表示装置１０８ｂはタッチパネルであり、入力部４０９は、指示者１０７が表示装置１０８ｂの画面をタッチした位置を検出する。

映像保持部４０６は、デコード部４０５から受け取った映像信号を保持し、現時点のフレームよりも１フレーム前の映像信号をマーク追跡部４０７に出力する。

マーク追跡部４０７は、デコード部４０５から現時点のフレームの映像信号と、映像保持部４０６から現時点よりも１フレーム前のフレームの映像信号と、入力部４０９の検出結果とを受け取り、マーク情報を生成する処理を行う。この処理については後述する。

マーク追跡部４０７で生成されたマーク情報は、表示制御部４０２および通信部４０１に出力される。通信部４０１は、マーク追跡部４０７からマーク情報を受け取ると、外部（例えば作業端末１０３）に送信する処理を行う。

表示制御部４０２は、デコード部４０５から映像信号を受け取ると、映像信号に応じた映像を表示装置１０８ｂに表示させる。また、表示制御部４０２は、マーク追跡部４０７からマーク情報を受け取ると、指示マークを重畳した映像を表示装置１０８ｂに表示させる。

以上にて説明したように、図３の構成が作業端末１０３において処理を行う各ブロックであり、図４の構成が指示端末１０８の情報処理装置１０８ａにおいて処理を行う各ブロックである。ところで、作業端末１０３と指示端末１０８とを共通の構成にすることも可能であり、この構成の端末装置５００を図５に示す。つまり、図５の端末装置５００は、作業端末１０３（図３参照）として利用でき、また、指示端末１０８（図４参照）としても利用可能である。

なお、図５の端末装置５００が作業端末１０３として利用される場合、通信部５０１は通信部３０１として機能し、表示制御部５０２は表示制御部３０２として機能し、制御部５０８は制御部３０８として機能する。また、図５の端末装置５００が指示端末１０８として利用される場合、通信部５０１は通信部４０１として機能し、表示制御部５０２は表示制御部４０２として機能し、制御部５０８は制御部４０８として機能する。また、図５に示す各ブロックのうち、図３または図５のブロックと同じ符号の付されたブロックは、図３または図５の同じ符号のブロックと同じ処理を行う。但し、図５の端末装置５００が作業端末１０３として利用される場合、図５の各ブロックのうちの図３に示すブロックと同じ符号の付されたブロックは休止し、図５の端末装置５００が指示端末１０８として利用される場合、図５の各ブロックのうち図３に示すブロックと同じ符号の付されたブロックは休止する。

続いて、図４または図５のマーク追跡部４０７の詳細について図６を用いて説明する。図６に示されるように、マーク追跡部４０７は、映像信号取得部６０１と、変位ベクトル算出部６０２と、変位ベクトル加算部（加算処理部）６０５と、マーク管理部６０６と、位置算出部（更新処理部）６０７と、判定部６０８と、マーク情報生成部（位置情報生成部）６１０とを含む。また、同図に示すように、変位ベクトル算出部６０２は、オプティカルフロー算出部６０３と、平均処理部６０４とを含む。

映像信号取得部６０１は、デコード部４０５から現時点のフレームの映像信号ｔと、映像保持部４０６から現時点のフレームの１フレーム前のフレームの映像信号ｔ−１とを取得し、これら映像信号を変位ベクトル算出部６０２に渡す処理を行う。

映像信号取得部６０１から変位ベクトル算出部６０２へ映像信号ｔおよび映像信号ｔ−１の組み合わせが入力される度に、オプティカルフロー算出部６０３および平均処理部６０４は以下にて述べる処理を行う。

オプティカルフロー算出部６０３は、映像信号ｔおよび映像信号ｔ−１に基づき、オプティカルフローの算出処理を実行する。オプティカルフローとは、ｘ方向の成分とｙ方向の成分とからなる２次元ベクトルであり、映像に示されている物体の動きの移動量および方向を示すベクトルである。オプティカルフロー算出部６０３は、映像信号ｔおよび映像信号ｔ−１の組み合わせから算出される全てのオプティカルフローを平均処理部６０４に出力する。

平均処理部６０４は、オプティカルフロー算出部６０３から入力する全てのオプティカルフローの平均を変位ベクトルとして算出する。つまり、変位ベクトルとは、映像全体の動きの移動量および方向を示すベクトルである。

平均処理部６０４にて求められた変位ベクトルは位置算出部６０７へ送られる。また、入力部４０９から入力されるコマンド（指示者によるコマンド）に応じて表示装置１０８ｂに表示させる映像が一時停止にされている期間中においては、平均処理部６０４にて求められた変位ベクトルは、位置算出部６０７のみならず変位ベクトル加算部６０５へも送られる。

マーク情報生成部６１０は、指示者が表示装置１０８ｂに表示されている映像のうちの指定位置にマークを描画するためのタッチ操作を行うと、このタッチ操作に応じたマーク情報を生成することで、当該マーク情報に応じた指示マークを設定する。マーク情報には、前記の指定位置の位置情報と、前記の指定位置に付される指示マークの画像データとが示されている。

マーク管理部６０６は、マーク情報生成部６１０によって指示マークが設定されると、前記指示マークのマーク情報を図示しないメモリに記憶させることで指示マークを登録し、かつ、登録されている指示マークのマーク情報を管理する。

変位ベクトル加算部６０５は、入力部４０９から入力されるコマンド（指示者によるコマンド）に応じて表示制御部４０２が表示装置１０８ｂに表示させる映像を一時停止にしている期間中にのみ処理を実行する。なお、一時停止とは、同じフレームが表示され続ける状態を指す。

具体的に説明すると、変位ベクトル加算部６０５は、表示装置１０８ｂに表示されている映像が一時停止されている期間、平均処理部６０４にて算出される変位ベクトルを加算し続ける（積算し続ける）。この加算にて得られるベクトルを加算変位ベクトルと称す。

また、変位ベクトル加算部６０５は、表示装置１０８ｂに表示されている映像が一時停止されている期間、マーク情報生成部６１０が新たに指示マークを設定すると、設定時の加算変位ベクトルをマーク情報に示される位置情報に加算することで、当該位置情報を補正するようになっている。

つまり、表示装置１０８ｂに表示されている映像の一時停止が解除されている間、マーク情報生成部６１０が新たに指示マークを設定すると、当該指示マークに対応するマーク情報は、当該マーク情報に含まれる位置情報に加算変位ベクトルが変位ベクトル加算部６０５によって加算されることなく、マーク管理部６０６によってメモリに記憶される。これに対し、表示装置１０８ｂに表示されている映像が一時停止されている間、マーク情報生成部６１０が新たに指示マークを設定すると、当該指示マークに対応するマーク情報は、当該マーク情報に含まれる位置情報に加算変位ベクトルが変位ベクトル加算部６０５によって加算された上で、マーク管理部６０６によってメモリに記憶される。

なお、変位ベクトル加算部６０５は、一時停止が解除されると、加算変位ベクトルをゼロにリセットする。

位置算出部６０７は、現時点のフレームが変化する度に、この変化の度に変位ベクトル算出部６０２から送られてくる変位ベクトル参照して、マーク管理部６０６に管理されている指示マークのマーク情報の更新処理を行う。

この更新処理は、変位ベクトル算出部６０２によって変位ベクトルが算出される度に行われるものであり、登録されている指示マークのマーク情報に示される位置情報を変位ベクトルに応じて更新することにより、指示マークの位置を変位ベクトルに応じて移動させる処理である。

更新処理が行われると、更新処理後のマーク情報が位置算出部６０７からマーク管理部６０６に送られ、マーク管理部６０６は、更新処理後のマーク情報をメモリに上書きする。これにより、マーク管理部６０６にて管理されている指示マークのマーク情報は常に更新処理後のものとなる。また、位置算出部６０７は、更新処理後のマーク情報を判定部６０８に出力する。

判定部６０８は、登録されている指示マークについて、その存在を作業者に通知する必要性の有無を判定するブロックである。処理の内容については後述する。

続いて、図３に示す作業端末１０３における処理の流れについて図７を用いて説明する。図７は、作業端末１０３の処理の流れを示すフローチャートである。

ステップ７０１（Ｓ７０１）：映像取得部３０３は、カメラ１０３ａから映像を取得し、得られた映像の映像信号をエンコード部３０４と表示制御部３０２とに出力する。エンコード部３０４は、映像取得部３０３から入力された映像信号に対して符号化処理を実施する。エンコード部３０４は、符号化処理で生成された映像符号を通信部３０１に出力する。制御部３０８は、その後、処理をステップ７０２に進める。

ステップ７０２（Ｓ７０２）：通信部３０１は、エンコード部３０４から映像符号を受け取ると、通信できるようにデータを整形後、作業端末１０３の外部に出力（送信）する。制御部３０８は、その後、処理をステップ７０３に進める。

ステップ７０３（Ｓ７０３）：表示制御部３０２は、映像取得部３０３から映像信号を受け取ると、その映像信号に示される映像を表示部１０３ｂに表示させる。制御部３０８は、その後、処理をステップ７０４に進める。

ステップ７０４（Ｓ７０４）：通信部３０１は、外部からマーク情報を受信し、そのマーク情報を表示制御部３０２に出力する。制御部３０８は、その後、処理をステップ７０５に進める。

ステップ７０５（Ｓ７０５）：表示制御部３０２は、通信部３０１から受け取ったマーク情報に基づき、指示マークを映像に重畳して表示させる。制御部３０８は、その後、処理をステップ７０６に進める。

ステップ７０６（Ｓ７０６）：制御部３０８は、処理を終了させるか否かを判断する。制御部３０８は、処理を終了させると判断する場合には全ての処理を終了させる。これに対し、制御部３０８は、処理を終了させないと判断する場合（処理を継続する場合）、ステップ７０１に戻り、ステップ７０１以降が繰り返し実行される。例えば、制御部３０８は、作業者から終了コマンドが入力されている場合は全ての処理を終了し、それ以外の場合はＳ７０１に戻る。

続いて、図４に示す指示端末１０８の情報処理装置１０８ａの処理の流れについて図８を用いて説明する。図８は、指示端末１０８の処理の流れを示すフローチャートである。

情報処理装置１０８ａに備わる制御部４０８は、処理が開始されると、ステップ８０１とステップ８０８とを同時に起動する。

ステップ８０１（Ｓ８０１）：通信部４０１は、作業端末１０３から送られてきた映像符号を受信すると、その映像符号をデコード部４０５に出力する。制御部４０８は、その後、処理をステップ８０２に進める。

ステップ８０２（Ｓ８０２）：デコード部４０５は、通信部４０１から映像符号を受け取ると、前述した復号化処理を実施する。デコード部４０５は、復号化処理にて得られた映像信号を、表示制御部４０２と、映像保持部４０６と、マーク追跡部４０７とに出力する。制御部４０８は、その後、処理をステップ８０３に進める。

ステップ８０３（Ｓ８０３）：表示制御部４０２は、デコード部４０５から映像信号を受け取ると、当該映像信号の映像を表示装置１０８ｂに表示させる。制御部４０８は、その後、処理をステップ８０４に進める。

ステップ８０４（Ｓ８０４）：マーク追跡部４０７が、デコード部４０５から映像信号ｔと、映像保持部４０６から映像信号ｔ−１とを入力すると、オプティカルフロー算出部６０３が、オプティカルフローを算出し、平均処理部６０４が、オプティカルフローを用いて変位ベクトルを算出する。同時に、指示者からのコマンドに応じて表示装置１０８ｂの映像が一時停止されている間、変位ベクトル加算部６０５が、変位ベクトルの加算を行って加算変位ベクトルを算出する。続いて、処理はステップ８０５に移行する。

ステップ８０５（Ｓ８０５）：マーク追跡部４０７の位置算出部６０７は、マーク管理部６０６に登録されている指示マークが存在する場合、登録されている指示マークのマーク情報の位置情報を更新する。具体的には、Ｓ８０４の変位ベクトルに相当する向きおよび方向にて、前記位置情報に示される位置が変位するように、位置情報が更新される。マーク管理部６０６は、メモリに記憶されるマーク情報を更新後の内容に上書きする。マーク追跡部４０７は、登録されている指示マークのマーク情報を、表示制御部４０２と、通信部４０１とに出力する。制御部４０８は、その後、処理をステップ８０６に進める。

ステップ８０６（Ｓ８０６）：表示制御部４０２は、マーク追跡部４０７からマーク情報を受け取ると、マーク情報に基づいて指示マークを映像に重畳して表示装置１０８ｂに表示させる。制御部４０８は、その後、処理をステップ８０７に進める。

ステップ８０７（Ｓ８０７）：通信部４０１は、マーク追跡部４０７からマーク情報を受け取ると、指示端末１０８の外部に出力（送信）する。制御部４０８は、その後、ステップ８１０に進める。

ステップ８０８（Ｓ８０８）：マーク情報生成部６１０は、表示装置１０８ｂの表示画面に対する指示者のタッチ操作の位置に応じてマーク情報を生成し、そのマーク情報をマーク追跡部４０７に出力する。制御部４０８は、その後、処理をステップ８０９に進める。

ステップ８０９（Ｓ８０９）：変位ベクトル加算部６０５は、マーク情報生成部６１０からマーク情報を受け取ると、ステップ８０４で算出した加算変位ベクトルを、マーク情報に示される位置情報に加算することで、位置情報の補正を行う。具体的には、Ｓ８０９の加算変位ベクトルに相当する向きおよび方向にて、前記位置情報に示される位置が変位するように、位置情報が補正される。マーク管理部６０６は、位置情報の補正が行われたマーク情報をメモリに記憶させることで、当該マーク情報の指示マークを登録する。制御部４０８は、その後、処理をステップ８１０に進める。

ステップ８１０（Ｓ８１０）：制御部４０８は、処理を終了させるか否かを判断する。制御部４０８は、処理を終了させると判断する場合には全ての処理を終了させる。これに対し、制御部４０８は、処理を終了させないと判断する場合（処理を継続する場合）、ステップ８０１および８０８に戻り、図８のフローが繰り返し実行される。例えば、制御部３０８は、指示者から終了コマンドが入力されている場合は全ての処理を終了し、それ以外の場合は図８のフローを繰り返し実行する。

続いて、マーク追跡部４０７において実施される工程について詳細に説明する。マーク追跡部４０７に実行される工程は、指示マークの登録およびマーク情報の更新を行う工程と、指示マークの存在を作業端末１０３の作業者に通知する必要性の有無を判定する工程とを含んでいる。

まずは、指示マークの登録およびマーク情報の更新について説明する。指示マークは、作業端末１０３の表示部１０３ｂの画面を作業者１０１がタッチすることで設定されるものと、表示装置１０８ｂの画面を指示者１０７がタッチすることで設定されるものとがある。いずれの指示マークであっても同様に扱うことが可能であり、指示端末１０８の情報処理装置１０８ａでそれらの管理・更新が行われる。

実際の作業者１０１の動きに伴う映像の動きに基づいて、マーク情報に示される位置情報を随時更新する必要がある。これは、例えば作業対象映像１０２ａ上に設定された指示マークの場合、作業対象映像１０２ａの動きに追随するように指示マークを表示させるためである。更新の方法はさまざまあるが、本実施形態では、映像のオプティカルフローを用いる方法によって実現する。

オプティカルフローとは、映像内の物体の動きをベクトルで表したもので、既存の手法を適用できる。例えば、汎用の画像処理ライブラリ群のひとつであるＯｐｅｎＣＶにも、オプティカルフローを算出できる関数（ｃｖＣａｌｃＯｐｔｉｃａｌＦｌｏｗＬＫ）があり、その関数を用いることもできる。映像から、複数のオプティカルフローがベクトルとして抽出されるが、全てのオプティカルフローの平均である平均ベクトルを、映像全体の動きを表す代表ベクトル（変位ベクトル）として用いることとする。登録されている指示マークのマーク情報に示される位置情報をこの変位ベクトルを用いて更新することで、指示マークを、撮影されているシーンの動きに追随する様に表示させることができる。

ここで、本実施形態では、位置算出部６０７が、登録されている指示マークのマーク情報に示される位置情報を更新するようになっているが、以下の式ａによって実現できる。

ところで、本実施形態では、指示者１０７が指示マークを設定するためのタッチ操作を行う際、映像を一時停止することを想定している。これは、指示マークの設定位置の精度を高めるために有効であり、指示者１０７による実際の操作において必要性の高い機能である。

但し、指示者１０７が見ている表示装置１０８ｂの映像を一時停止させても、作業端末１０３の映像は一時停止しない。それゆえ、指示者１０７が見ている表示装置１０８ｂの映像を一時停止させると、指示者用の表示装置１０８ｂに表示される映像のシーンと、作業端末１０３にて表示される映像のシーンとが異なることになり、指示者にて設定される指示マークを映像に適切に反映させることができなくなる。

そこで、本実施形態では、指示者の表示装置１０８ｂの映像が一時停止になると、変位ベクトル加算部６０５が、一時停止時のフレームから現時点のフレームまでに渡り、変位ベクトル算出部６０２の平均処理部６０４にて算出される変位ベクトルを常に加算し（積算し）、加算結果である加算変位ベクトルを保持する。

そして、変位ベクトル加算部６０５は、一時停止中において、マーク情報生成部６１０にて指示マーク情報が新たに設定されると、当該指示マークのマーク情報に示される位置情報に対して、加算変位ベクトルを加算することで当該位置情報を補正する。

但し、この補正は、一時停止中（同じフレームを表示させ続ける）に新たに設定される指示マークに対してのみ必要な処理であり、一時停止されていない状態にて新たに設定される指示マークについては当該補正を行わない。

また、一時停止中に新たに設定される指示マークの位置情報は、変位ベクトル加算部６０５による補正が一度行われると、その後は、位置算出部６０７による更新処理のみで正確に更新されていくことが可能になる。

以下、変位ベクトル加算部６０５によって実行される補正処理の具体的内容を説明する。指示者１０７が用いている表示装置１０８ｂの映像が指示者１０７の入力コマンドによって一時停止されると、変位ベクトル加算部６０５は、以下の式ｂを用いて、一時停止の期間中において、現時点のフレームが変わる度に平均処理部６０４から出力される変位ベクトルを加算していく。変位ベクトル加算部６０５は、前記の加算を一時静止が解除されるまで継続する。

一時停止中に新たに指示マークが設定されると、変位ベクトル加算部６０５は、以下の式ｃを用いて、指示マークのマーク情報に示される位置情報を補正する。

式ｃは、一時停止中に生成される加算変位ベクトルを、一時停止にて表示されているフレームに対応する位置情報に加算することで、現時点のフレームでの位置情報を算出することを意味している。なお、式ｃにて求められる位置情報（現時点のフレームに対応）を含むマーク情報がマーク管理部６０６によってメモリに記憶されると、以降は、式ａを用いることによって、常時、現時点のフレームに対応するように位置情報を更新することが可能になる。

以上にて述べた点からすれば、新たに指示マークが設定されると、当該指示マークが登録される際の位置情報は〔数４〕に示すようになる。

続いて、図６に示される判定部６０８の処理について説明する。判定部（未読・既読判定部）６０８は、登録されている指示マークについて、その存在を作業端末１０３のユーザ（作業者）に通知する通知処理を行う必要性の有無を判定する。ブロックである。

前述したように、指示者１０７が指示マークを設定するために表示装置１０８ｂの映像を一時停止している場合、作業端末１０３の映像と表示装置１０８ｂの映像とでは互いに異なるシーンを示していることがある。

そのため、指示者１０７が指示マークを設定した際に指示マークの位置が作業端末１０３の表示範囲から外れていることもあり、この場合、作業者１０１は指示マークの存在を認識できないことになる。また、表示装置１０８ｂの映像が一時停止されている間、指示者１０７は、作業者１０１によって撮影されているリアルタイムの映像を把握できていない。それゆえ、指示者１０７は、作業者１０１が指示マークの存在を実際に認識できていなくても、作業者１０１が指示マークの存在を認識していると思い込んでしまう事があり得る。

そこで、本実施形態では、判定部６０８は、作業者１０１が指示マークの存在を認識できていない可能性が高い場合、「通知必要（前記通知処理を行う必要性有）」と判定する。

具体的には、指示マークが一度も表示部１０３ｂに表示されたことがない場合、作業者１０１が指示マークの存在を認識できていないので、「通知必要」と判定する。この判定は、後述するＳ５１〜Ｓ５３にて実現される。

また、指示マークが表示部１０３ｂに表示された場合、連続表示時間が長いほど作業者１０１が認識している可能性が高いものの、連続表示時間が短いほど作業者１０１が認識している可能性が低い。そこで、表示部１０３ｂに表示されたことのある指示マークのうち、連続表示時間（現フレームを含めた連続表示時間）が閾値以下の指示マークについては、「通知必要」と判定する。この判定は、後述するＳ５４〜Ｓ５６にて実現される。

つぎに、判定部６０８の処理の流れを説明する。図９は、ある指示マークが新規で登録された場合の当該指示マークに対する判定部６０８の処理の流れを示したフローチャートである。

判定部６０８は、処理対象となる指示マークが登録されると、当該指示マークが表示部１０３ｂに一度も表示されていない間については、「通知必要」と判定する（Ｓ５１〜Ｓ５３）。この判定処理を以下説明する。

表示部１０３ｂの表示画面に対する位置特定のための平面座標における指示マークの座標をＱｍ（ｘ、ｙ）、表示部１０３ｂの縦の画素数をｈ、横の画素数をｗとすると、〔数５〕において、trueの場合、指示マークは表示部１０３ｂの表示画面内に位置することになり、falseの場合は、指示マークは表示部１０３ｂの表示画面から外れていることになる。

そこで、判定部６０８は、現時点のフレームについて、位置算出部６０７にて算出される位置情報を参照してＱｍ（ｘ、ｙ）を把握する。そして、判定部６０８は、数５においてfalseの場合、つまり指示マークが表示部１０３ｂの表示画面内に位置していない場合、「通知必要」と判定し（Ｓ５２）、次のフレームについて再度Ｓ５１以降を繰り返す（Ｓ５３にてＹＥＳ）。

これに対し、数５においてtrueの場合、つまり指示マークが表示部１０３ｂの表示画面内に位置している場合、指示マークは表示部１０３ｂに表示されたことになる。この場合、判定部６０８は、処理をＳ５４以降へ移行させる。

Ｓ５４〜Ｓ５６では、判定部６０８は、処理対象の指示マークの連続表示時間が閾値を超えていない場合に「通知必要」と判定するようになっている。この判定処理を以下説明する。

指示マークの連続表示時間（現フレームから遡って連続表示され続けている期間の長さ）をＴ_ｍ、閾値をα_ｔとする（なお、ｍは指示マークのインデックスとする）。判定部６０８は、〔数６〕においてfalseの場合、つまり指示マークの連続表示時間が閾値を超えていない場合、「通知必要」と判定し（Ｓ５５）、次のフレームについて再度Ｓ５４以降を繰り返す（Ｓ５６にてＹＥＳ）。なお、数６において、α_ｔの値は限定されるものではないが、経験的に１秒程度に設定されるものとする。また、判定部６０８は、例えば、数５を判定し続け、trueと判定され続けられた期間をＴ_ｍとすることができる。

なお、連続表示時間は、前述のとおり、現フレームから遡って連続表示され続けている期間の長さである。それゆえ、指示マークが一旦表示されてＳ５４に移行した後、連続表示時間が閾値を超える前に再度指示マークが表示画面から外れた場合、再度指示マークが表示画面から外れている期間中は連続表示時間がゼロとしてカウントされ、Ｓ５４にてＮＯと判定され続ける。そして、指示マークが再度表示されると、表示された時点を起算点として連続表示時間がカウントされる。

判定部６０８は、〔数６〕においてtrueの場合、つまり指示マークの連続表示時間が閾値を超えている場合、Ｓ５７において「通知不要（前記通知処理を行う必要性無）」と判定し、処理を終了する。

以上にて示した図９の処理により、指示マークが一度も表示部１０３ｂに表示されたことがない場合、および、表示されたことがあっても表示時間が極めて短い場合、判定部６０８は、当該指示マークについて「通知必要（前記通知処理を行う必要性有）」と判定できるのである。

なお、表示部１０３ｂにおいて指示マークが表示されたとしても、表示部１０３ｂに表示されている指示マークの移動速度（通過速度）が速すぎると、作業者１０１は指示マークを認識することが困難である（読みづらい）。

そこで、Ｓ５４において、数６を用いた判定（指示マークの連続表示時間が閾値を超えているか否かの判定）が行われるのではなく、以下に示す数７の処理を行うようになっていてもよい。

数７において、Ｖ_ｍは、指示マークの移動速度であり、ｔ_ｍ（ｘ、ｙ）は、指示マークが表示部１０３ｂにて表示され始めたタイミングにおける指示マークの位置（例えば中心の画素）の座標であり、ｓ_ｍ（ｘ、ｙ）は、ｔ_ｍからｎフレーム後の現時点のフレームでの座標であり、閾値をα_ｖとする。そして、判定部６０８は、〔数７〕においてtrueの場合、つまり指示マークの移動速度が閾値を超えている場合、「通知必要」と判定し（Ｓ５５）、次のフレームについて再度Ｓ５４以降を繰り返す（Ｓ５６にてＹＥＳ）。これに対し、判定部６０８は、〔数７〕においてfalseの場合、つまり指示マークの移動速度が閾値を超えていない場合、「通知不要」と判定し（Ｓ５７）、処理を終了する。

あるいは、Ｓ５４において、〔数６〕の判定と〔数７〕の判定との両方が行われる形態であってもよい。この形態において、判定部６０８は、数６にてfalseであり且つ数７にてtrueである場合に「通知必要」と判定し、それ以外の場合には「通知不要」と判定するようになっていてもよい。あるいは、前記の形態において、判定部６０８は、少なくとも数６にてfalseであるか数７にてtrueであれば「通知不要」と判定し、それ以外の場合は「通知必要」と判定するようになっていてもよい。

あるいは、図９において、Ｓ５４〜Ｓ５６を削除し、Ｓ５１にてＹＥＳの場合にＳ５７へ移行するようになっていてもよい（すなわち、数６および数７の判定は行わなくてもよい）。

ところで、判定部６０８は、登録されている各指示マークの各マーク情報を位置算出部６０７から受け取ると、各マーク情報を、通信部４０１および表示制御部４０２へ送信するようになっている。

それとともに、判定部６０８は、新たに指示マークが登録された場合には、当該指示マーク（処理対象の指示マーク）について、図９の処理を開始し、Ｓ５７にて「通知不要」と判定されるまで図９の処理を継続する。そして、図９の処理が継続され続けている間に、判定部６０８は、「通知必要」と判定した場合、「通知必要」を示すフラグを処理対象の指示マークのマーク情報に含めた上で当該マーク情報を通信部４０１および表示制御部４０２へ送信するようになっている。

これに対し、判定部６０８は、Ｓ５７にて「通知不要」と判定すると、処理対象の指示マークについて図９の処理を終了し、且つ、「通知不要」を示すフラグを処理対象の指示マークのマーク情報に含めた上で当該マーク情報を通信部４０１および表示制御部４０２へ送信するようになっている。その後、判定部６０８は、一度「通知不要」と判定した指示マークについては、図９の処理を行うことなく、位置算出部６０７からマーク情報を入力しても、当該マーク情報に「通知不要」を示すフラグを含めた上で当該マーク情報を通信部４０１および表示制御部４０２に送信するようになっている。

通信部４０１は、マーク追跡部４０７の位置算出部６０７からマーク情報を受け取ると、当該マーク情報を作業端末１０３へ送信する。作業端末１０３では、通信部３０１がマーク情報を受信し、通信部３０１はマーク情報を表示制御部３０２へ送信するようになっている。表示制御部３０２は、マーク情報に基づいて指示マークを表示部１０３ｂに表示させる。

表示制御部３０２は、「通知不要」のフラグを含むマーク情報の指示マークについては、表示部１０３ｂの映像上にそのまま重畳表示する。例えば、図１に示すように、表示部１０３ｂの映像上に指示マーク１０５が表示される。

これに対し、表示制御部３０２は、「通知必要」のフラグを含むマーク情報の指示マークについては以下のように、指示マークの存在を作業者へ通知する通知処理を行う。

まず、指示マークが表示部１０３ｂの表示画面から外れている場合を説明する。この場合、表示制御部３０２は、マーク情報に示される位置情報に基づいて、表示部１０３ｂの表示画面に対する相対位置を示す座標値を特定し、指示マークの存在および位置を作業者に知らせるための通知情報を表示部１０３ｂに表示させる。

例えば、図１０に示すように、指示マークの位置を文章にて示したメッセージ５５０が表示されるようになっていてもよい。或いは、指示マークの位置を特定できる絵柄や向きを示す情報を表示させるようになっていてもよい。また、特許文献２の図３に示されるように矢印を表示させるようになっていてもよい。

これにより、表示部１０３ｂにおける表示画面から外れた位置に新たに指示マークが設定されたとしても、前記の通知情報により、その存在を作業者に認識させることが可能となる。また、指示マークの位置も通知されるため、作業者は、作業端末１０３の撮影範囲をシフトさせることで指示マークを表示させる事を迅速に行える。例えば、図１０に示す状況の場合、撮影範囲を右側へシフトさせることにより、指示マークを表示させることができる。

つぎに、指示マークが表示部１０３ｂの表示画面に表示されているが、マーク情報に「通知必要」のフラグが含まれている場合について説明する。この場合、表示制御部３０２は、マーク情報に示される位置情報に基づいて、表示部１０３ｂの表示画面上の位置を示す座標値を特定し、この座標値の位置に指示マークを表示させるとともに、指示マークの存在および位置を作業者に知らせるための通知情報を表示部１０３ｂに表示させる。

例えば、図１１に示すように、表示部１０３ｂにおいて、指示マーク６００を表示させると共に、指示マーク６００の存在および位置を作業者に通知するメッセージ６５０を表示させるようになっていてもよい。また、メッセージではなく、指示マークの存在および位置を知らせるための絵柄や向きを示す情報を表示させるようになっていてもよい。これにより、指示マーク６００の表示時間が短い等によって作業者にとって指示マーク６００を認識しづらい状況だったとしても、指示マーク６００の存在をユーザに迅速に知らせることができる。

すなわち、以上にて示した実施形態によれば、判定部６０８は、指示マークの存在を作業端末１０３のユーザ（作業者）に通知する必要性の有無を判定し、必要性有と判定した場合、「必要性有」のフラグを含むマーク情報を出力することによって、指示マークの存在を前記ユーザへ通知する通知処理を作業端末１０３に実行させるようになっている。ここで、通知処理とは、図１０や図１１に示すようにメッセージ（通知情報）５００・６５０を表示することで、指示マークの存在を作業者へ通知する処理である。

これにより、例えば、指示マークが未だ作業端末１０３にて未表示であったり、作業端末１０３での表示時間が短くて作業者がその存在を認識していないため、指示マークの存在を作業者へ通知する必要性が高いと判定される指示マークについては、その存在を作業端末１０３のユーザに迅速に通知できる。それゆえ、本実施形態によれば、遠隔通信システムにおいて情報伝達の迅速性を確保できるという効果を奏する。

また、以上にて示した実施形態において、指示者１０７によって設定された直後の指示マークは、作業端末１０３の表示部１０３ｂにおける表示画面から外れた位置にあったとしても、作業者１０１が実施中の作業に関係していると言える。すなわち、一番新しく設定された指示マークは、重要度が高く、優先的に認識すべきものといえる。また、指示マークは、現時点にて表示画面に表示されていてもいなくても、過去に表示された事によって作業者に既に認識されているものは重要度が低く、作業者に未だに認識されていないものは重要度が高い。

この点、本実施形態では、未だ表示されていない指示マークについては勿論のこと、表示時間が短い等により作業者に認識されていない指示マークについては、指示マークの存在および位置を通知するための通知情報を表示しているため、情報伝達の迅速性を確保できる。

以上より、ＡＲ技術を用いた遠隔通信システムＡにおいて、作業端末１０３に表示されている映像のシーンとは異なるシーンに指示マークが付されたとしても、指示マークの存在を作業者１０１に素早く認知させることが可能になる。また、表示部１０３ｂの表示画面から指示マークが外れた位置にある場合、指示マークの位置が表示画面から近くであろうが遠くであろうが、未だ表示画面に表示されていない指示マークは重要度が高く、当該指示マークを作業者１０１に迅速に気づかせることができる。

また、本実施形態では、判定部６０８は、指示マークについて「通知必要」か「通知不要」かを判定しているが、「通知必要」の場合とは、作業者にとって指示マークが未読である可能性の高い状態を意味し、「通知不要」の場合とは、作業者にとって指示マークが既読である可能性の高い状態を意味する。それゆえ、判定部６０８は、「通知必要」と判定する代わりに「未読」と判定し、「通知不要」と判定する代わりに「既読」と判定するようになっていてもよい。

また、本実施形態では、マーク追跡部４０７は指示端末１０８に含まれており、指示端末１０８がマーク処理装置として機能しているが、マーク追跡部４０７は、図２の管理サーバに含まれていてもよし、作業端末１０３に含まれていてもよい。マーク追跡部４０７が管理サーバ２００に含まれている場合、管理サーバ２００がマーク処理装置として機能し、マーク追跡部４０７が作業端末１０３に含まれている場合、作業端末１０３がマーク処理装置として機能する。

なお、本実施形態では、作業端末１０３は、指示マークの存在および位置を通知するための通知情報を表示することで作業者に通知を行っているが、表示による通知ではなく、音声による通知であっても勿論よい。

本実施形態の遠隔通信システムＡは１台の作業端末１０３と１台の指示端末１０８とを含む構成であるが、勿論、作業端末（第１端末）１０３や指示端末（第２端末）１０８の台数は限定されるものではない。つまり、遠隔通信システムＡには、作業端末（第１端末）１０３が複数台含まれ、指示端末（第２端末）１０８から各作業端末（各第１端末）１０３に指示が送信されるようになっていてもよい。また、遠隔通信システムＡには、指示端末（第２端末）１０８が複数台含まれ、複数の指示端末（第２端末）１０８から作業端末（第１端末）１０３に指示が送信されるようになっていてもよい。あるいは、遠隔通信システムＡには、複数台の指示端末（第２端末）１０８と複数台の作業端末（第１端末）１０３とが含まれる構成でもよい。

[実施形態２]
「通知必要」と判定される指示マークが複数存在する場合、その全てについて、指示マークの存在および位置を作業者に知らせるための通知情報（例えば図１０の符号５５０のメッセージ）を表示させるとなると、作業者に通知する情報が多くなりすぎ、効率的な情報伝達や作業支援を図れないことがある。

これに対し、作業支援では、現時点において指示者１０７が指示をしている内容が最も重要であり優先されるべきである。すなわち、設定された時が現時点に近い指示マークほど重要であって優先して表示する必要があり、設定された時が現時点から離れている指示マークほど重要度が低くなる。

そこで、本実施形態では、「通知必要」と判定される指示マークが複数存在する場合、設定時点が現時点に近い指示マークほど重要度が高くなるように、「通知必要」と判定される指示マークの夫々に対して重要度を設定する。そして、所定数以上（例えば２以上）の通知情報を表示しないようになっており、重要度の高い指示マークから優先して通知情報を表示するようになっている（つまり、重要度の高い指示マークは通知情報が表示されるものの、重要度の低い指示マークは通知情報が表示されない）。

この場合、マーク管理部６０６は、指示マークを登録する際、マーク情報に対して登録時刻を追加するようになっている。そして、判定部６０８は、「通知必要」と判定した指示マークが２以上ある場合、これらの指示マークの登録時刻をマーク管理部６０６に問い合わせ、登録時刻が現時点に近いほど重要度が高くなるように、各指示マークに対して重要度を設定する。

ある時刻ｔにおける指示マークの重要度をＨ_ｔとすると、数８のように重要度の高低関係が設定される。なお、Ｈ_ｔ、Ｈ_ｔ−１、Ｈ_ｔ−２、Ｈ_ｔ−３、…、Ｈ_０の順序
は、登録時刻が現時点から近い順序である。

また、重要度の設定方法については、これ以外の方法を用いることも可能であり、指示内容を解析した結果を用いて決定することもできる。指示マークに文章（指示者に設定され、指示内容を示す文章）が付随する場合、判定部６０８は、その文章の構文を解析して単語を抽出し、抽出した単語と、作業現場１００にて実施されている作業と関係のある単語とのマッチングを行い、一致した数が多いほど重要度が高くなるようにしてもよい。これにより効果的な指示マークの選択が可能になる。また、指示者１０７が現在の作業のカテゴリーと指示マークのカテゴリーとを予め入力することで、これらカテゴリーを示す情報がメモリに記憶され、判定部６０８は、カテゴリーが作業のカテゴリーと一致している指示マークの重要度を、カテゴリーが作業のカテゴリーと一致していない指示マークの重要度よりも高く設定するようになっていてもよい。

[実施形態３]
実施形態１において、判定部６０８による判定の指標として、指示マークの通過速度を用いてもよい点を記載した（数７）。この点、日常生活においては、意味を持つ文字列の向き（方向）に関しては偏りが存在する。具体的には、横書きや縦書きは多く存在するが、斜め書きについてはこれらの方向に比べて圧倒的に少ない。さらに、動きを伴う文字列は、文字列の向き（縦向き、横向き、斜め向き）と、動きの方向（縦方向、横方向、斜め方向）とに応じて、読みやすさに大きな違いがでてくる。文字列の向きと、その動きの方向とが一致する場合、その文字列が読みやすくなることが経験的に分かっている。

そこで、本実施形態では、文字列を伴う指示マークについては、文字列の向きと動きの方向とが一致する場合、それ以外の場合よりも、通過速度と対比する閾値を低く設定することで、より精度良く「識別状態」のフラグが立ちやすくなるように制御する。以下、その方法について記載する。

初めに、文字列の向きと移動の方向との組み合わせと、可読性との関係を表１に示す。なお、表１において、「○」は読みやすい事を示し、「△」は、読みやすさが標準である事を示し、「×」は読みにくい事を示す。表１に従って閾値の制御を行う。

図１２は、本実施形態の作業端末１０３の表示部１０３ｂにて表示される映像を模式的に示した図である。図１２に示されるように、横書きの文字列９０３ａを伴う指示マーク９０３と、縦書きの文字列９０２ａを伴う指示マーク９０２とが示されている場合、指示マーク９０３と指示マーク９０２とでは、其々別々の閾値を用いることになる。

表１に示したように、文字列の向きと移動の方向との組み合わせによって可読性の良否が決まるので、文字列の向きおよび移動の方向に応じて閾値が制御されることになる。

文字列の向きについては、指示マークを示すマーク情報が電子情報であるため、判定部６０８は、マーク情報を参照すればその向きを確定できる。

続いて、指示マークの移動の方向であるが、〔数９〕によって、指示マークの移動方向を示すベクトルを求めることができる。例えば、図１２に示すように、現時点のフレームにて表示されている指示マーク９０３は、Ｎフレーム前の一時停止中において位置９０３’にて描画されたものとする。ここで、指示マーク９０３の現時点での座標をＰ_ｔ（ｘ、ｙ）とし、現時点からＮフレーム前の一時停止中において位置９０３’にて描画された際の指示マーク９０３の座標をＰ_ｔ−Ｎ（ｘ、ｙ）とすると、指示マーク９０３の移動方向を示すベクトル９０５は、数９のＤ_ｔとなる。

続いて、閾値について説明する。本実施形態では、指示マークの移動方向と、指示マークに付随する文字列の方向（縦方向ないし横方向）とが合致する場合に、閾値Ｔｈが大きくなるように、閾値Ｔｈを調整（制御）する（大きくなれば、「通知不要（既読）」と判定されやすくなる）。具体的には、指示マークの移動方向のベクトルと、文字列の方向に関するベクトルと、の内積を求め、この内積と定数との積を閾値Ｔｈとする。具体的には、閾値Ｔｈは数１０によって算出できる。

数１０において、normalized(Ｄ_ｔ)は、数９のＤ_ｔを正規化したベクトルである。つまり、指示マークの移動方向のベクトルであり、且つ、正規化されたベクトルである。

Ｖ_ｎは、文字列の単位ベクトルである（ｎ=０またはｎ=１）。文字例が縦方向であれば、文字列の単位ベクトルはＶ_０=（０，１）であり、文字例が横方向であれば、文字列の単位ベクトルはＶ_１=（１，０）である。なお、図１２において、符号９０６のベクトルがＶ_０に相当し、符号９０７のベクトルがＶ_１に相当する（つまり、図１２の符号９０６、９０７のベクトルは、単位ベクトルの説明のために便宜的に示したものであり、表示部１０３ｂにおいて実際に表示されている内容を示すものではない）。

βは任意の定数であり、判定の程度を制御するパラメータである。βは、所定の固定値を設定しても良いし、画像解析により自動で決定してもよい。βが小さければ小さいほど、指示マークが画面上に映った際に「通知不要（既読）」と判定されにくくなり、作業端末１０３をゆっくり動かさなければ「通知不要（既読）」のフラグが立たなくなる。

つぎに、判定部６０８の処理の流れを説明する。まず、判定部６０８は、数９および数１０を用いて閾値Ｔｈを求める。続いて、判定部６０８は、数７のα_ｖに閾値Ｔｈを代入し、数７の判定を行う。

以上の実施形態によれば、指示マークの移動方向および文字列の向きに応じて閾値Ｔｈを調整し、文字列の向きと指示マークの移動方向とが合致する際に、より「通知不要（既読）」と判断されやすくなるように制御することが可能になる。

[実施形態４]
さらに、遠隔通信システムＡにおいては、作業者自身の状態に応じて、処理対象の指示マークが「通知必要」か「通知不要」かの判定が行われてもよい。

例えば、本実施形態の遠隔通信システムＡは、作業現場にて用いることを前提としたものであり、作業者が実際に対象物に触れながら作業を行うことが想定される。すなわち、作業者が、一方の手で作業端末１０３を持ちながら、他方の手で対象物を触ることもあり得る。その場合、作業端末１０３のカメラ１０３ａにて撮影される映像に作業者の手が示されることになる。ここで、当該映像において、作業者の手と指示マークの位置とが重なれば、作業者は指示マークを認識していると考えられる。

そこで、判定部６０８は、映像信号を入力して肌色部分抽出処理を行って作業者の手の位置を抽出し、作業者の手と指示マークの位置とが一度も一致した事がない間は「通知必要」と判定し、一度作業者の手と指示マークの位置とが一致すれば「通知不要」と判定するようになっていてもよい。肌色部分抽出処理は、汎用画像処理ライブラリであるＯｐｅｎＣＶ（ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ）を用いて行われてもよい。例えば、判定部６０８は、作業端末１０３から送られてきた映像に対してｃｖ：：Ｔｈｒｅｓｈｏｌｄ関数を用いて２値化処理を行い、手の肌色部分の領域の抽出を行う。肌色は、赤味の領域を含むため、ＨＳＶ色空間におけるＨｕｅ値が０〜３０の範囲に収まる。つまり、判定部６０８は、映像の色空間をＨＳＶ色空間に変換し、前記の２値化処理を用いてＨｕｅの数値が前記範囲内にある画素を抽出する。具体的には、Ｈｕｅの数値が０〜３０（肌色の範囲）を白画素として、Ｈｕｅの数値が３１以上の画素を黒画素とする２値化処理を行い、手にあたる画素を白で表現する。さらに、判定部６０８は、ｃｖ：：ｃｏｎｖｅｘＨｕｌｌ関数を用いて手領域を円形に近似し、指示マークの位置が近似領域と重なっている場合に「識別状態」のフラグを設定する（なお、以上の処理では、肌色を白画素とし、それ以外を黒画素としているが、肌色を黒画素とし、それ以外を白画素としてもよい）。

また、判定部６０８によって一旦「通知不要」と判定された指示マークであっても、作業者がその指示マークが示される映像を注視しているか否かを判定し、注視していない場合は「通知不要」を「通知必要」に変更するようになっていてもよい。例えば、作業端末１０３の表面側（表示部１０３ｂの側）にインカメラ（カメラ１０３ａとは別のカメラ）が取り付けられており、表示部１０３ｂを覗き込んでいる作業者をカメラが撮影できるようになっている。そして、作業端末１０３のインカメラの撮影画像を指示端末１０８へ送信し、判定部６０８が、撮影画像（作業者の顔画像が示されている画像）に対して画像処理をかけて、作業者がその指示マークが示される映像を注視しているか否かを判定する。

判定は以下のようにして行う。判定部６０８は、ＯｐｅｎＣＶのカスケード分類器を用いて視線の推定を行う。ＯｐｅｎＣＶのカスケード分類器では、目の形状について事前に学習済みのファイルを用いて、作業者の目の位置および目の領域が推定される。そして、判定部６０８は、目の領域に２値化処理をかけて黒目領域を抽出し、さらにｃｖ：：Ｍｏｍｅｎｔｓ関数を用いて黒目の座標を抽出するが、カスケード分類器に推定された目の領域の左右両端のいずれかと黒目の座標とが重なっている場合、画面を注視していない（画面とはあさっての方向を見ている）と判定し、それ以外の場合、画面を注視していると判定する。なお、目の領域の左右両端のいずれかと黒目の座標とが重なっている場合に「画面を注視していない」と判定する手法に限定されず、例えば、黒目の座標と目の領域の左右両端との距離が閾値以下の場合に「画面を注視していない」と判定し、それ以外の場合に「画面を注視している」と判定する形態であってもよい。

[ソフトウェアでの実現例]
図３〜図５に示される各ブロックは、ＣＰＵを用いてソフトウェアにて実現してもよいし、集積回路等に形成された論理回路によって実現してもよい。なお、ソフトウェアによる場合、情報処理装置１０８ａは、前記ソフトウェアであるプログラムがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭまたは記憶装置等の記録媒体を備えている。上記記録媒体としては、例えば、カード、ディスク、半導体メモリ、プログラマブルな論理回路などの「一時的でない有形の媒体」であってもよい。また、上記プログラムは、任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに伝送されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

[補足事項]
以下、背景技術の問題点を補足する。前述した非特許文献１は、作業者から送信された映像上にオペレータである指示者が丸や矢印等を指示箇所に設置することで、作業者に対しグラフィカルに位置を示すことが可能である。これにより、曖昧な指示語を用いても、位置は目印により明らかになり、齟齬が生じなくなる。また、作業の効率化、スキル習熟度によらない専門性の高い作業の実現、作業期間やコスト削減等のメリットが得られる。

しかし、作業者は画面を通して、重畳された指示内容と作業対象を注視する必要があり、視野が極端に制限される問題がある。その際に画面の外、すなわち視界の外に指示対象があるなどの場合も多く、今見えている目印が画面外に消えてしまった場合、改めて同じ場所の同じ目印を探すのは困難であることが課題となる。

特許文献１は、画面外にある客体の位置を示す案内情報（矢印）を表示することで、画面外であってもわかるようにしている。また、視界外に複数の客体がある場合、最も近くの客体２つに絞って表示する上、距離毎に案内情報の表示の大きさを変化させる工夫を行っている。

上述のような映像を用いた遠隔地間の作業支援では、一般的には作業者が今行っている作業箇所、もしくは、会話や説明している個所に基づいて、指示者が情報を提示する。しかし、作業者は常に動いていることが想定されるため、指示者は自身の意図しない動作をする映像を元に指示箇所を識別、および該箇所に情報を設置するという一連の操作を行わなければならない。その際、意図しない動きをする対象の細部に正確に目印を設定することは非常に困難であり、指示者は映像を一時停止して前記操作を実施する必要がある。その間も作業者は作業を継続し、映像を撮影更新し続けているため、作業者と指示者が見ている映像は時間的に異なるシーンとなる。これは、指示者が情報の設置操作をしている際に作業者が大きく移動させると、新しく設置された情報が画面外に外れてしまうことを意味する。

テレコミュニケーションにおいては即時性が重要で、現在の作業と関連した重要度の高い情報の伝達が求められる。すなわち、指示者が重要と思い情報を設置したとしても、上述したように、作業者が見ている場面の映像と指示者の場面が異なることが起こり得る。その場合、作業者はいつ、どこに、何に関する情報が設置されるか知らない状態になる。

特許文献１は、既に表示されたことがあるかどうか等に関係なく、現時点で表示画面に表示されていない客体を案内する方法に過ぎない。それゆえ、既に見た客体なのか未知の客体なのかを判別するのが困難であることが課題として挙げられる。また、表示画面からの客体の距離とユーザにとっての重要度とが無関係であり、特許文献１の手法では、ユーザにとって重要でない客体の案内情報の方が、重要な客体の案内情報よりも目立って表示されてしまう。

[まとめ]
本発明の態様１は、互いに通信可能な第１端末（作業端末１０３）と第２端末（指示端末１０８）とを少なくとも含み、第１端末にて撮影される映像が第１端末および第２端末の両方にて表示され、第２端末において、表示されている映像に示される目標位置にマークを描画するための入力操作が行われると、第１端末および第２端末にて表示される映像にて前記目標位置の動きに追随して動くように前記マークが前記目標位置に重畳表示される遠隔通信システムＡに含まれるマーク処理装置（情報処理装置）であって、前記第１端末のユーザへ前記マークの存在を通知する必要性の有無を判定し、通知の必要性有と判定した場合、前記マークの存在を前記ユーザへ通知する通知処理を前記第１端末に実行させる判定部６０８を備えたことを特徴とする。

本発明の態様１によれば、前記マークの入力操作が行われると、前記第１端末のユーザへ前記マークの存在を通知する必要性が高いと判定されるマークについては、その存在を第１端末のユーザに迅速に通知できる。それゆえ、本発明の態様１によれば、遠隔通信システムにおいて情報伝達の迅速性を確保できるという効果を奏する。

本発明の態様２のマーク処理装置において、前記判定部６０８は、前記マークが前記第１端末にて表示されたことがない場合、通知の必要性有と判定することを特徴とする。

第１端末では撮影されている映像がリアルタイムで表示されている一方で、第２端末では映像が一時停止されている場合、第１端末と第２端末とで互いに異なるシーンを表示していることがある。それゆえ、第２端末において映像が一時停止されている場合に前記入力操作が行われると、第１端末の表示画面から外れた位置に前記マークが設定されることがあり、この場合は第１端末のユーザは当該マークを視認できていない状況であり、当該マークの存在をユーザに通知する必要性が高い。この点、本発明の態様２によれば、このような状況の場合、当該マークの存在を第１端末のユーザに迅速に通知でき、情報伝達の迅速性を確保できるという効果を奏する。

本発明の態様３のマーク処理装置において、前記判定部６０８は、前記第１端末において前記マークが連続して表示されている連続表示時間が第１閾値未満である場合、通知の必要性有と判定することを特徴とする。

前記第１端末において前記マークが表示されたとしても、前記連続表示時間が短い場合、第１端末のユーザは当該マークを視認できていない可能性が高く、当該マークの存在をユーザに通知する必要性が高い。この点、本発明の態様３によれば、このような状況の場合、当該マークの存在を第１端末のユーザに迅速に通知でき、情報伝達の迅速性を確保できるという効果を奏する。

本発明の態様４のマーク処理装置において、前記判定部６０８は、前記マークが前記第１端末に表示され始めてからの前記第１端末の表示部に表示されている前記マークの移動速度が第２閾値を超えている場合、通知の必要性有と判定することを特徴とする。

前記第１端末において前記マークが表示されたとしても、第１端末で表示されている前記マークの移動速度が速すぎると、第１端末のユーザは前記マークを視認できていない可能性が高く、当該マークの存在をユーザに通知する必要性が高い。この点、本発明の態様４によれば、このような状況の場合、当該マークの存在を第１端末のユーザに迅速に通知でき、情報伝達の迅速性を確保できるという効果を奏する。

本発明の態様５のマーク処理装置は、前記第１端末にて撮影されている映像の映像信号を参照して、前記映像の動きの方向および移動量を示した変位ベクトルを算出する変位ベクトル算出部６０２と、前記変位ベクトル算出部にて算出される変位ベクトルに示される方向および移動量にて前記マークの位置が変位するように、前記マークの位置を示す位置情報を更新する更新処理部（位置算出部６０７）と、を備えており、前記第１端末および第２端末は、前記更新処理部にて更新される位置情報の位置に前記マークを表示させるようになっていることを特徴とする。

第１端末を保持しているユーザが第１端末を動かしたり、ユーザ自身が移動すると、第１端末の撮影範囲がシフトするため、第１端末および第２端末にて表示されている映像が動くことになる。この点、本発明の態様５によれば、前記映像の動きの方向および移動量を示した変位ベクトルに示される方向および移動量にて前記マークの位置が変位するように、前記マークの位置を示す位置情報を更新するようになっている。それゆえ、映像の動きに追随してマークの位置が変位するため、映像に示される目標位置に付されたマークを目標位置から離さずに重畳表示させることができる。

本発明の態様６のマーク処理装置は、前記入力操作が行われると、前記入力操作に応じて前記マークの位置を示す位置情報を生成する位置情報生成部（マーク情報生成部６１０）と、一時停止コマンドが前記第２端末に入力されることによって第２端末に同じフレームが表示され続けている一時停止期間において、前記変位ベクトル算出部にて算出される変位ベクトルを加算する加算処理部（変位ベクトル加算部６０５）と、を備え、前記加算処理部は、前記一時停止期間において前記入力操作が行われると、前記加算処理部による加算結果に相当する方向および移動量にて、前記位置情報生成部にて生成される位置情報の位置が変位するように、当該位置情報を補正することを特徴とする。

第１端末にて撮影されている映像がリアルタイムで表示されている一方で、第２端末にて映像が一時停止されている間、第２端末では現時点のフレームが表示されていない。それゆえ、第２端末にて表示されているフレームに対して前記入力操作が行われた場合、前記入力操作において指定された目標位置（前記マークの位置）を、現時点のフレームに適合するように補正する必要がある。この点、本発明の態様６によれば、一時停止期間中において、前記加算処理部が前記変位ベクトルを加算することにより、現時点のフレームと一時停止されているフレームとの間での映像の動きを数値化している。そして、前記加算処理部による加算結果に相当する方向および移動量にて、前記位置情報生成部にて生成される位置情報の位置が変位するように、当該位置情報を補正している。

これにより、第１端末にて撮影されている映像がリアルタイムで表示されている一方で、第２端末にて映像が一時停止されている間に、第２端末にて表示されているフレームに対して前記入力操作が行われた場合であっても、前記入力操作において指定された目標位置を現時点のフレームに適合するように補正できる。

本発明の態様７のマーク処理装置において、前記判定部６０８は、前記マークに文字列が含まれている場合、前記マークの移動方向と前記文字列の向きとに応じて第２閾値の大きさを変更することを特徴とする。

前記マークに文字列が含まれている場合、文字列の向きと文字列の移動方向との組み合わせによって、文字の読みやすさに大きな違いがでてくる。この点、本発明の態様７によれば、前記マークの移動方向と前記文字列の向きとに応じて第２閾値の大きさを変更しているため、ユーザの文字列を視認し易さに応じて第２閾値の大きさを変更していることになり、前記判定部による判定をより適したものとすることができる。

また、本発明の態様1〜７のマーク処理装置は、前記第２端末に含まれていてもかまわない。

また、本発明の態様１〜７に係るマーク処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを本発明の態様１〜７のマーク処理装置が備える各部として動作させることにより、前記マーク処理装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１０３作業端末（第１端末）
１０３ｂ表示部
１０３ａカメラ
１０８指示端末（第２端末）
１０８ａ情報処理装置（マーク処理装置）
１０８ｂ表示装置
４０７マーク追跡部
６０２変位ベクトル算出部
６０５変位ベクトル加算部（加算処理部）
６０６マーク管理部
６０７位置算出部（更新処理部）
６０８判定部
６１０マーク情報生成部（位置情報生成部）

Claims

互いに通信可能な第１端末と第２端末とを少なくとも含み、
第１端末にて撮影される映像が第１端末および第２端末の両方にて表示され、
第２端末において、表示されている映像に示される目標位置にマークを描画するための入力操作が行われると、第１端末および第２端末にて表示される映像にて前記目標位置の動きに追随して動くように前記マークが前記目標位置に重畳表示される遠隔通信システムに含まれるマーク処理装置であって、
前記第１端末のユーザへ前記マークの存在を通知する必要性の有無を判定し、通知の必要性有と判定した場合、前記マークの存在を前記ユーザへ通知する通知処理を前記第１端末に実行させる判定部を備えたマーク処理装置。
前記判定部は、前記マークが前記第１端末にて表示されたことがない場合、通知の必要性有と判定することを特徴とする請求項１に記載のマーク処理装置。
前記判定部は、前記第１端末において前記マークが連続して表示されている連続表示時間が第１閾値未満である場合、通知の必要性有と判定することを特徴とする請求項１または２に記載のマーク処理装置。
前記判定部は、前記マークが前記第１端末に表示され始めてからの前記第１端末の表示部に表示されている前記マークの移動速度が第２閾値を超えている場合、通知の必要性有と判定することを特徴とする請求項１から３のいずれか１項に記載のマーク処理装置。
前記第１端末にて撮影されている映像の映像信号を参照して、前記映像の動きの方向および移動量を示した変位ベクトルを算出する変位ベクトル算出部と、
前記変位ベクトル算出部にて算出される変位ベクトルに示される方向および移動量にて前記マークの位置が変位するように、前記マークの位置を示す位置情報を更新する更新処理部と、を備えており、
前記第１端末および第２端末は、前記更新処理部にて更新される位置情報の位置に前記マークを表示させるようになっていることを特徴とする請求項１から４のいずれか１項に記載のマーク処理装置。
前記入力操作が行われると、前記入力操作に応じて前記マークの位置を示す位置情報を生成する位置情報生成部と、
一時停止コマンドが前記第２端末に入力されることによって第２端末に同じフレームが表示され続けている一時停止期間において、前記変位ベクトル算出部にて算出される変位ベクトルを加算する加算処理部と、を備え、
前記加算処理部は、前記一時停止期間において前記入力操作が行われると、前記加算処理部による加算結果に相当する方向および移動量にて、前記位置情報生成部にて生成される位置情報の位置が変位するように、当該位置情報を補正することを特徴とする請求項５に記載のマーク処理装置。
前記判定部は、前記マークに文字列が含まれている場合、前記マークの移動方向と前記文字列の向きとに応じて第２閾値の大きさを変更することを特徴とする請求項４に記載のマーク処理装置。
請求項１から請求項７のいずれか１項に記載のマーク処理装置を動作させるプログラムであって、コンピュータを前記各部として機能させるプログラム。