JP2015179947A - 撮影動画像に指示画像を同期して重畳する映像指示表示方法、システム、端末、及びプログラム - Google Patents

Abstract

【課題】指示側端末のオペレータが、被指示側端末のディスプレイで表示される指示画像に対して適切な基準マーカを選択することができる映像指示表示方法等を提供する。
【解決手段】第２の端末が、第１の端末からカメラによる撮影動画像を逐次受信し、該撮影動画像をディスプレイに表示すると共に、（基準１）撮影動画像に基準マーカ画像を検出した場合に既存の基準マーカ画像を用いるか、又は、（基準２）撮影画像の全部若しくは一部を基準マーカ画像として用いるかを、ユーザに選択させる第１のステップと、第２の端末が、撮影動画像に重畳表示すべき指示画像と、基準マーカ画像に対する当該指示画像の相対位置と、基準２の場合の基準マーカ画像とを、第１の端末へ送信する第２のステップと、第１の端末が、当該撮影動画像に映る基準マーカ画像から相対位置に相当する位置に、指示画像を重畳してディスプレイに表示する第３のステップとを有する。
【選択図】図２

Description

本発明は、端末間のオンラインビデオサービスの技術に関する。

近年、スマートフォンやタブレット等の端末の普及に伴って、地理的に離れた端末間で、ネットワークを介したオンラインビデオサービスが提供されている（例えば非特許文献１参照）。このサービスによれば、例えば現場作業の用途として、現場作業員が持つ端末で撮影された映像を、遠隔の作業管理者へリアルタイムに送信することができる。これに対し、作業管理者は、映像でその作業現場の状況を認識し、音声で指示することができる。

図１は、オンラインビデオサービスのシステム構成図である。

図１のシステムによれば、携帯電話機やスマートフォンのような端末が、撮影した映像データを、ネットワークを介してリアルタイムに他方の端末へ、ストリーミングで伝送している。近年、携帯端末のようなポータブル型機器でも、ＨＤ(High-Definition)クラスの映像を撮影することができる。

図１によれば、端末１は、現場作業員（被指示者）によって所持され、搭載されたカメラによってその映像が撮影される。一方で、端末２は、作業管理者（指示者）によって所持される。そして、端末１は、アクセスネットワーク及びインターネットを介して、その映像データを端末２へリアルタイムに送信する。端末２は、受信した映像データをディスプレイに再生することによって、作業管理者に対し、現場作業員の状況を視認させることができる。

しかしながら、作業管理者にとって、音声だけでは、現場作業員に対して明確に指示できない場合も多い。例えば、作業管理者としては、現場の多種多様な機器や操作部分の位置を、現場作業員へ画像で指示することできれば望ましい。

従来、現場作業員が、自ら所持する端末によって撮影した静止画像を、作業管理者の端末へ送信し、これに対し、作業管理者が指示情報を重畳した静止画像を、現場作業員の端末へ送信する技術がある（例えば非特許文献２参照）。これによって、作業管理者は、音声以外の静止画像によって現場作業員へ指示することができる。

また、映像上の所定位置を特定するために、拡張現実感（ＡＲ(Augmented Reality)）の技術を適用することもできる（例えば非特許文献３、４参照）。映像の中からＡＲマーカを画像認識することよって、その位置を特定する。また、ＡＲマーカを用いることなく、多数のオブジェクト画像の中から、その映像に写るオブジェクトを検出するマーカレス型・物体認識方式を用いることもできる。但し、マーカレス型・物体認識方式の技術によれば、予めオブジェクト画像を事前登録しておく必要がある。ここで、映像に写る対象物と、オブジェクト画像との形状が類似する場合、誤ったオブジェクト画像を対応付けてしまう場合もある。

ＡＲ技術を用いることで、操作の対象箇所等を直感的に理解できるため、マニュアルや対象機器のヘルプ文章を参照する場合や、遠隔のオペレータから音声のみによるサポートを受けた場合と比較して、スムーズに問題を解決することが期待されている。

更に、マーカを用いた他の従来技術として、２次元マーカを用いて、ユーザが撮影したサポート対象機器の映像に、ヘルプサーバから取得した指示画像を重畳表示する技術がある（例えば特許文献１参照）。また、２次元マーカを用いて、作業者が撮影したサポート対象機器の映像に、遠隔のオペレータが入力した指示画像を重畳表示する技術もある（例えば特許文献２参照）。更に、作業者が撮影したサポート対象機器の映像を予め登録したサポート対象機器の画像をマーカとして、映像と比較することによって対象機器を認識し、遠隔のオペレータが入力した指示画像を重畳表示する技術もある（例えば特許文献３参照）。

特開２０１０−２１９８７９号公報 特開２０１３−１１５５７８号公報 特開２０１１−０３４３１５号公報

「Skype」、[online]、［平成２６年３月１１日検索］、インターネット＜URL:http://www.skype.com/ja/＞ 構造計画研究所、「Remote Guideware」、[online]、［平成２６年３月１１日検索］、インターネット＜http://www4.kke.co.jp/guideware/＞ 富士通、「ＡＲを利用した作業支援技術」、[online]、［平成２６年３月１１日検索］、インターネット＜http://jp.fujitsu.com/solutions/industry/nextvalue/technology/tec_ar.html＞ ＮＴＴ技研、「ＡＲを用いた設備管理業務システム」、[online]、［平成２６年３月１１日検索］、インターネット＜http://www.ntt.co.jp/journal/1302/files/jn201302042.pdf＞ 「画像処理ソリューション」、[online]、［平成２６年３月１１日検索］、インターネット＜http://imagingsolution.blog107.fc2.com/blog-entry-86.html＞ 「行列計算」、[online]、［平成２６年３月１１日検索］、インターネット＜http://www.cg.info.hiroshima-cu.ac.jp/~miyazaki/knowledge/tech07.html＞ 「カメラキャリブレーションと３次元再構成」、[online]、［平成２６年３月１１日検索］、インターネット＜http://opencv.jp/opencv-2svn/cpp/camera_calibration_and_3d_reconstruction.html＞ 「３次元幾何解析」、[online]、［平成２６年３月１１日検索］、インターネット＜http://www.ieice-hbkb.org/files/02/02gun_02hen_03.pdf＞ 「AutoStitch: a new dimension in automatic image stitching」、[online]、［平成２６年３月１１日検索］、インターネット＜http://www.cs.bath.ac.uk/brown/autostitch/autostitch.html＞ 「コンピュータビジョンのセカイ - 今そこにあるミライ」、[online]、［平成２６年３月１１日検索］、インターネット＜http://news.mynavi.jp/series/computer_vision/027/＞

特許文献３に記載の技術によれば、視点の変化によって対象設備と基準マーカ（予め登録した対象設備の画像）との見え方のズレが大きくなった場合、指示画像が表示できないか、誤った位置に表示することとなる。

これに対し、本願の発明者らは、基準となるマーカ画像をどのように設定すれば良いのか？について問題とした。従来技術によれば、撮影動画像の中にマーカ画像が映り込んでいなければ、その部分に指示画像の位置を特定することができない。即ち、マーカ画像から離れた位置にあるほど、指示画像を重畳的に表示させることが難しくなる。

また、特許文献１に記載の技術によれば、予めヘルプサーバに記録されている定められた種類の指示画像しか提供できず、サポートの範囲が限られるという問題があった。また、特許文献２又は３に記載の技術によれば、オペレータ側で指示画像の重畳表示を確認することができず、誤った重畳表示に起因する操作指示をしてしまうという問題があった。特許文献３に記載の技術によっても、重畳表示の失敗は、オペレータ側から把握できない。

これに対し、本願の発明者らは、現場作業者側で指示画像の重畳表示のために算出された表示位置が、オペレータ側と共有されないことが問題ではないか？と考えた。ＡＲ技術によれば、撮影動画像の中からマーカ画像を検出し、その位置に指示画像を重畳的に表示させなければならない。このような画像処理は、演算プロセッサにかかる処理負荷が大きいにも拘わらず、一般的にＧＰＵ(Graphic Processing Unit)側では処理できない。そのために、ＣＰＵ(Central Processing Unit)側で処理することとなってしまう。

撮影動画像は、できる限りリアルタイムに伝送する必要があり、指示画像と重畳させて伝送することはその演算処理に時間がかかるという問題がある。また、既存のオンラインサービスによるビデオ伝送技術の中で、撮影動画像に指示画像を重畳させるシーケンスをリアルタイムに埋め込むことも難しい。そのために、撮影動画像と、指示画像及び表示位置とは、一般的に別々に伝送される。結果的に、指示側端末２は、撮影動画像を受信し且つ表示しつつ、その指示画像及び表示位置は、被指示側端末１へ一方的に送信するだけとなる。そのために、指示側端末２のオペレータは、被指示側端末１のディスプレイに指示画像が撮影動画像にどのように表示されているかを視認することができていない。

そこで、本発明は、指示側端末のオペレータが、被指示側端末のディスプレイで表示される指示画像に対して適切な基準マーカを選択することができる映像指示表示方法、システム、端末、及びプログラムを提供することを目的とする。

本発明によれば、カメラ及びディスプレイを有する第１の端末と、ディスプレイを有する第２の端末とが、ネットワークを介して接続されたシステムにおける映像指示表示方法において、
第１の端末及び第２の端末は、撮影動画像に映るであろう基準マーカ画像を記憶しており、
第２の端末が、第１の端末からカメラによる撮影動画像を逐次受信し、該撮影動画像をディスプレイに表示すると共に、
（基準１）撮影動画像に基準マーカ画像を検出した場合に当該基準マーカ画像を用いるか、又は、
（基準２）撮影画像の全部若しくは一部を基準マーカ画像として用いるか
を、ユーザに選択させる第１のステップと、
第２の端末が、撮影動画像に重畳表示すべき指示画像と、基準マーカ画像に対する当該指示画像の相対位置と、基準２の場合の基準マーカ画像とを、第１の端末へ送信する第２のステップと、
第１の端末が、カメラによる撮影動画像を第２の端末へ送信すると共に、当該撮影動画像に映る基準マーカ画像を検出し、当該基準マーカ画像から相対位置に相当する位置に、指示画像を重畳してディスプレイに表示する第３のステップと
を有することを特徴とする。

本発明の映像指示表示方法における他の実施形態によれば、
第１のステップについて、第２の端末は、
（基準３）第１の端末から所定時間範囲で受信し続けた複数の撮影画像を１枚の画像として生成し、該画像の全部を基準マーカ画像として用いるか
を、ユーザに更に選択させることも好ましい。

本発明の映像指示表示方法における他の実施形態によれば、
第２のステップについて、第２の端末は、
予め記憶された基準マーカ画像がマッチングする、撮影動画像に映る基準マーカ画像（第０の所定範囲）を検出し、
基準マーカ画像（第０の所定範囲）と指示画像（第１の所定範囲）との間の座標変換を、相対位置として算出することも好ましい。

本発明の映像指示表示方法における他の実施形態によれば、
相対位置は、平行移動行列、平行移動行列及び拡大縮小行列の組み合わせ、ユークリッド変換行列、アフィン変換行列、射影変換行列、又は、姿勢変換行列である
ことも好ましい。

本発明の映像指示表示方法における他の実施形態によれば、
第２の端末に搭載されたディスプレイは、タッチパネルディスプレイであって、
第２のステップについて、第２の端末は、タッチパネルディスプレイ上でユーザに指によって描かれた画像を指示画像とすることも好ましい。

本発明の映像指示表示方法における他の実施形態によれば、
第２の端末は、ディスプレイに表示された撮影動画像に、ユーザによって描かせるタッチペン入力装置を更に接続しており、
第２のステップについて、第２の端末は、タッチペンによってユーザに描かれた画像を指示画像とすることも好ましい。

本発明の映像指示表示方法における他の実施形態によれば、
第１の端末が、撮影動画像の画面に対する指示画像の表示位置を算出し、当該表示位置を第２の端末へ送信する第４のステップと、
第２の端末が、撮影動画像の画面に対する表示位置に相当する位置に、指示画像を重畳してディスプレイに表示する第５のステップと
を更に有し、第３のステップから第５のステップが常時繰り返されることも好ましい。

本発明の映像指示表示方法における他の実施形態によれば、
第４のステップについて、第１の端末は、表示位置を算出した際に、その撮影動画像のフレームＩＤ(IDentifier)を、第２の端末へ更に送信し、
第５のステップについて、第２の端末は、フレームＩＤと一致する撮影動画像のフレームに、指示画像を重畳表示することも好ましい。

本発明の映像指示表示方法における他の実施形態によれば、
第４のステップについて、第１の端末は、
予め記憶された基準マーカ画像がマッチングする、撮影動画像に映る基準マーカ画像（第０の所定範囲）を検出し、
基準マーカ画像（第０の所定範囲）から相対位置に相当する位置に、指示画像（第２の所定範囲）を重畳してディスプレイに表示し、
指示画像（第２の所定範囲）の座標位置を、表示位置とすることも好ましい。

本発明の映像指示表示方法における他の実施形態によれば、
システムは、複数の第２の端末を有し、
第２のステップについて、一方の第２の端末が、指示画像を、他方の第２の端末へ予め送信し、
第４のステップについて、第１の端末は、複数の第２の端末へ、撮影動画像及び表示位置を同報的に送信することも好ましい。

本発明の映像指示表示方法における他の実施形態によれば、
第２のステップについて、複数の第２の端末各々が、指示画像及び相対位置を、第１の端末へ予め送信しており、
第３のステップについて、第１の端末が、基準マーカ画像から、各相対位置に相当する位置に、各指示画像を重畳してディスプレイに表示することも好ましい。

本発明の映像指示表示方法における他の実施形態によれば、
第２の端末は、ユーザ操作に応じて重畳表示中止通知を第１の端末へ送信し、
第１の端末は、第２の端末から重畳表示中止通知を受信した際に、第３のステップにおける指示画像の重畳表示を中止することも好ましい。

本発明によれば、カメラ及びディスプレイを有する第１の端末と、ディスプレイを有する第２の端末とが、ネットワークを介して接続されたシステムにおいて、
第１の端末は、
撮影動画像に映るであろう基準マーカ画像を記憶する基準マーカ記憶手段と、
カメラによる撮影動画像を、第２の端末へ送信する撮影動画像送信手段と、
第２の端末から、撮影動画像に重畳表示すべき指示画像と、基準マーカ画像に対する当該指示画像の相対位置とを受信すると共に、ユーザの選択に応じて基準マーカ画像を受信する指示画像受信手段と、
カメラによる撮影動画像に映る基準マーカ画像を検出する基準マーカ検出手段と、
当該基準マーカ画像から相対位置に相当する位置に、指示画像を重畳してディスプレイに表示する表示制御手段と
を有し、
第２の端末は、
撮影動画像に映るであろう基準マーカ画像を記憶する基準マーカ記憶手段と、
（基準１）撮影動画像に基準マーカ画像を検出した場合に当該基準マーカ画像を用いるか、又は、（基準２）撮影画像の全部若しくは一部を基準マーカ画像として用いるかを、ユーザに選択させる基準マーカ選択手段と、
撮影動画像に重畳表示すべき指示画像と、基準マーカ画像に対する当該指示画像の相対位置と、基準２の場合の基準マーカ画像とを、第１の端末へ送信する指示画像送信手段と、
第１の端末から撮影動画像を受信する撮影動画像受信手段と
を有することを特徴とする。

本発明によれば、ディスプレイ及びカメラを搭載した端末において、
撮影動画像に映るであろう基準マーカ画像を記憶した基準マーカ記憶手段と、
被指示側機能として、
カメラによる撮影動画像を、相手方端末へ送信する撮影動画像送信手段と、
カメラによる撮影動画像に映る基準マーカ画像を検出する基準マーカ検出手段と、
相手方端末から、撮影動画像に重畳表示すべき指示画像と、基準マーカ画像に対する当該指示画像の相対位置とを受信すると共に、ユーザの選択に応じて基準マーカ画像を受信する指示画像受信手段と、
当該基準マーカ画像から相対位置に相当する位置に、指示画像を重畳してディスプレイに表示する表示制御手段と
を有し、
指示側機能として、
（基準１）撮影動画像に基準マーカ画像を検出した場合に当該基準マーカ画像を用いるか、又は、（基準２）撮影画像の全部若しくは一部を基準マーカ画像として用いるかを、ユーザに選択させる基準マーカ選択手段と、
撮影動画像に重畳表示すべき指示画像と、基準マーカ画像に対する当該指示画像の相対位置とを、基準２の場合の基準マーカ画像とを、相手方端末へ送信する指示画像送信手段と、
相手方端末から撮影動画像を受信する撮影動画像受信手段と
を有することを特徴とする。

本発明によれば、ディスプレイ及びカメラを搭載した端末に搭載されたコンピュータを機能させるプログラムにおいて、
撮影動画像に映るであろう基準マーカ画像を記憶した基準マーカ記憶手段と、
被指示側機能として、
カメラによる撮影動画像を、相手方端末へ送信する撮影動画像送信手段と、
カメラによる撮影動画像に映る基準マーカ画像を検出する基準マーカ検出手段と、
相手方端末から、撮影動画像に重畳表示すべき指示画像と、基準マーカ画像に対する当該指示画像の相対位置とを受信すると共に、ユーザの選択に応じて基準マーカ画像を受信する指示画像受信手段と、
当該基準マーカ画像から相対位置に相当する位置に、指示画像を重畳してディスプレイに表示する表示制御手段と
を有し、
指示側機能として、
（基準１）撮影動画像に基準マーカ画像を検出した場合に当該基準マーカ画像を用いるか、又は、（基準２）撮影画像の全部若しくは一部を基準マーカ画像として用いるかを、ユーザに選択させる基準マーカ選択手段と、
撮影動画像に重畳表示すべき指示画像と、基準マーカ画像に対する当該指示画像の相対位置とを、基準２の場合の基準マーカ画像とを、相手方端末へ送信する指示画像送信手段と、
相手方端末から撮影動画像を受信する撮影動画像受信手段と
してコンピュータを機能させることを特徴とする。

本発明の映像指示表示方法、システム、端末、及びプログラムによれば、指示側端末のオペレータが、被指示側端末のディスプレイで表示される指示画像に対して適切な基準マーカを選択することができる。

オンラインビデオサービスのシステム構成図である。 本発明におけるシーケンス図である。 「既存マーカ」の選択を表す画面図である。 「撮影画像マーカ」の選択を表す画面図である。 「パノラマ画像マーカ」の選択を表す画面図である。 指示者が第２の端末に指示を書き込んでいる第１の画面図である。 指示者が第２の端末に指示を書き込んでいる第２の画面図である。 パノラマ画像を基準マーカ画像とした場合における指示画像の相対位置を表す説明図である。 指示側端末における基準マーカ画像と指示画像との間の相対位置を表す第１の説明図である。 被指示側端末における基準マーカ画像と指示画像との間の相対位置を表す第１の説明図である。 被指示側の第１の端末に映る画面図である。 撮影対象物に対する撮影位置が射影移動した場合における第２の端末の画面図である。 １台の被指示側端末と複数の指示側端末とからなるシーケンス図である。 第１の端末及び第２の端末の機能構成図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

図２は、本発明におけるシーケンス図である。

図２によれば、ディスプレイ及びカメラを有する端末１（被指示側端末）と、少なくともディスプレイを有する端末２（指示側端末）とが、ネットワークを介して接続されている。ディスプレイやカメラは、当該端末に予め搭載されたものであってもよいし、外部に接続されたものであってもよい。カメラは、例えばＷｅｂカメラのように映像を取得し続けるものである。

端末１及び端末２は、撮影動画像に映るであろう既存マーカ画像を「基準マーカ画像」として予め記憶している。「既存マーカ画像」は、画像マッチングの「キー画像」として用いられるものであって、後述する「指示画像」を適切な位置に表示するための基準位置として用いられる。例えば撮影対象物に貼られた２次元マーカ（例えばＱＲ(Quick Response)（登録商標）コード、特許文献１及び２参照）のようなものであってもよいし、予め登録された対象物画像（例えばマーカレス型の対象物画像、特許文献３参照）であってもよい。

尚、予め記憶される「既存マーカ画像」は、画像そのものである必要はなく、マッチングのための特徴量画像であってもよい。特徴量画像とは、画像の局所領域から算出された特徴量であって、例えば画像内のエッジやコーナー等の局所領域から抽出される。代表的には例えばＳＩＦＴ(Scale-Invariant Feature Transform)やＳＵＲＦ(Speeded Up Robust Features)が用いられる。その他、計算コストに優れるバイナリ特徴量を用いることもできる。また、ＳＳＤ(Sum of Squared Difference)や、正規化相互相関（ＮＣＣ）でマッチングを行うための、局所的な切り出し画像（パッチ）であってもよい。

［第１のステップＳ１］
（Ｓ１１）端末１は、カメラによって対象物を撮影する。例えば現場作業員（被指示者）によって操作される端末１は、作業状況（対象物）を、動画像（ビデオ）として撮影する。そして、端末１は、その撮影動画像を、作業管理者（指示者）によって操作される端末２へ逐次送信する。端末２は、受信した撮影動画像をディスプレイに表示する。

（Ｓ１２）端末２は、端末１から受信した撮影動画像に映る「基準マーカ画像」としての既存マーカ画像を検出する。既存マーカ画像としてのＱＲコードが撮影対象物に貼り付けられており、既存の２次元コード検出技術を適用して、その基準マーカ画像を検出する。勿論、基準マーカ画像を検出できる場合もあれば、検出できない場合もある。

（Ｓ１３）ここで、端末２は、基準マーカ画像を、以下のいずれかにするかをユーザ（オペレータ）に選択させる。ユーザは、以下の３つのボタンのいずれか１つを選択することができる。
［既存マーカ］：予め登録された基準マーカ画像
［撮影画像マーカ］：撮影画像の全部又は一部を基準マーカ画像としたもの
［パノラマ画像マーカ］：被指示者側の端末１から所定時間範囲で受信し続けた複数の撮影画像を１枚の画像として生成し、その画像の全部を基準マーカ画像としたもの
尚、ここでは、指示側となる端末２のユーザによって、基準マーカ画像が選択されている。指示者の方が、被指示者よりも、作業支援を円滑に進めるべく選択権を与えたものである。

図３は、「既存マーカ」の選択を表す画面図である。

図３によれば、撮影動画像から、基準マーカ画像として予め記憶された既存マーカ画像が検出されている（画像的なマッチング）。その場合、「既存マーカ」のボタンをタップすることができる。一方で、既存マーカ画像が検出されない場合、「既存マーカ」のボタンは表示されない。

図４は、「撮影画像マーカ」の選択を表す画面図である。

図４によれば、撮影動画像から、基準マーカ画像として予め記憶された既存マーカ画像が検出されていない。その場合、「既存マーカ」のボタンは表示されない。図４によれば、ユーザによって「撮影画像マーカ」がタップされており、撮影画像の全部又は一部を、基準マーカ画像として用いる。

端末２のディスプレイ全体から切り出された撮影画像マーカ（静止画像）が、平面の「基準マーカ画像」として使用される。勿論、その撮影画像マーカも、前述した特徴量画像であってもよい。

撮影画像マーカは平面的なものであるために、被写体及び背景が概ね平面的に撮影されるように、できる限り被写体に対してほぼ真正面から撮影されたものであることが好ましい。但し、被写体と背景の奥行の差が大きく、平面として全体に認識しにくい場合もある。即ち、撮影視点の移動によってオクルージョンが発生し、静止画全体を基準マーカ画像として使用することが難しい場合もある。

この場合、端末２は、切り出した静止画から一部の部分領域をトリミングし、その部分領域のみから基準マーカ情報を作成することも好ましい。この部分領域は、被写体の領域であることが好ましいが、背景領域であっても、被写体と概ね同じ奥行の部分であれば含んでもよい。一方で、被写体領域の一部分の奥行が異なる場合、部分領域から除外することも好ましい。即ち、撮影画像マーカは、部分領域であっても、概ね平面的で、且つ、カメラからほぼ真正面から撮影されたものであるほど、撮影視点の移動に影響されなくなる。

尚、撮影画像マーカについて、その部分領域は、必ずしも矩形状である必要はなく、ユーザによってフリーハンドで指定された凸包領域であってもよい。また、撮影画像に、複数の撮影画像マーカの部分領域が含まれるように指定することもできる。

図５は、「パノラマ画像マーカ」の選択を表す画面図である。

図５によれば、ユーザによって「パノラマ画像マーカ」がタップされており、端末１から所定時間範囲で受信し続けた複数の撮影画像を１枚の画像として生成し、その画像の全部を基準マーカ画像として用いる。例えば５秒間程度、被指示者が平面的に査撮影できるように端末１を動かす。その時間範囲で撮影された撮影画像は、端末２によって１枚のパノラマ画像に生成される。パノラマ画像を生成する技術は、一般に「Image Stitching」と称される。この技術によれば、互いに重なる部分のある複数の画像を入力とし、それら画像のカメラの移動量を算出し、その移動量に基づいて１つの座標系上に合成することができる。具体的には、ブリティッシュ・コロンビア大学によって公開されたアプリケーション「AutoStich」がある（例えば非特許文献９及び１０参照）。

図５によれば、個々の撮影画像では被写体の一部しか撮影されていないが、端末１を動かすことによって、被写体の全部のパノラマ画像が生成されている。特に、被指示者が、被写体（例えば対象機器）全体を広角に撮影することが難しい場合に、被写体全体のパノラマ画像を生成することは有効となる。勿論、撮影画像マーカと同様に、パノラマ画像の中から、一部の部分領域をユーザ操作によってトリミングして、その部分領域を基準マーカ画像とすることもできる。

［第２のステップＳ２］
図６は、指示者が第２の端末に指示を書き込んでいる第１の画面図である。

（Ｓ２１）図６によれば、端末２のディスプレイの右上に、「指示書込」用ボタンが明示されている。端末２を操作する指示者は、撮影動画像が表示されている途中で、「指示書込」用ボタンを押下することによって１枚の画像を対象として、停止させることができる。そして、指示者は、停止させた画像に対して、指示を書き込むことができる。

図６によれば、指示者は、端末２のタッチパネルディスプレイ上に指で、当該撮影動画像に対する「指示画像」を書き込むことができる。ここで、指示者は、被写体のキーボードのキー［Ｒ］の部分を差して、「←ココ」と描いている。

また、他の実施形態として、端末２は、ディスプレイに表示された撮影動画像に、ユーザによって描かせるタッチペン入力装置を更に接続しているものであってもよい。この場合、端末２は、タッチペンによってユーザに描かれた画像を「指示画像」とすることができる。

尚、前述した「基準マーカ画像」及び「指示画像」は、低データ量のための解像度圧縮画像であってもよい。これら画像は、bitmap形式の画像である必要はなく、例えばJPEGのような圧縮画像であってもよい。

図７は、指示者が第２の端末に指示を書き込んでいる第２の画面図である。

図７によれば、端末２を操作する指示者は、「指示書込」用ボタンを押下することによって１枚の画像を対象として停止させた後、指示を書き込んでいる。ここで、指示者は、被写体のディスプレイの左上部分を差して、「←ソコ」と描いている。

（Ｓ２２）端末２は、基準マーカ画像に対する指示画像の「相対位置」を算出する。

図８は、パノラマ画像を基準マーカ画像とした場合における指示画像の相対位置を表す説明図である。図８によれば、パノラマ画像は撮影画像よりも広いために、被写体として映っていない指示画像であっても、基準マーカ画像に対する相対位置を特定することができる。

図９は、指示側端末における基準マーカ画像と指示画像との間の相対位置を表す第１の説明図である。

指示側端末２のディスプレイの撮影動画像に映る基準マーカ画像（第０の所定範囲）を検出する。ここで、基準マーカ画像を、射影／姿勢変換させながら、撮影動画像にマッチングさせる。撮影動画像は常に動いているものであるので、基準マーカ画像とのマッチングの追従処理は常に実行されている。

図９によれば、端末２は、基準マーカ画像（第０の所定範囲）と指示画像（第１の所定範囲）との間の座標変換を、「相対位置」として算出する（図９における行列Ｈｐ参照）。
第０の所定範囲：基準マーカ画像の範囲
第１の所定範囲：指示側端末でユーザが書き込んだ指示画像を含む範囲
ここで、「相対位置」は、平行移動行列、平行移動行列及び拡大縮小行列の組み合わせ、ユークリッド変換行列、アフィン変換行列、射影変換行列、又は、姿勢変換行列による変換関係を有する（例えば非特許文献５〜８参照）。これは、例えば矩形状の範囲であれば、第０の所定範囲の４頂点座標と、第１の所定範囲の４頂点座標との間の移動差分を意味する。これら行列の掛け算だけで、位置関係を変換することができる。

アフィン変換の場合、第０の所定範囲と第１の所定範囲との間で、線形変換は座標に対する２×２行列を乗算することによって表され、平行移動は２次元のベクトルの加算で表わされる。

ｘ，ｙ：第１の所定範囲におけるｘ座標及びｙ座標
ｘ'，ｙ'：第０の所定範囲におけるｘ座標及びｙ座標
ｈ₁₁，ｈ₁₂，ｈ₂₁，ｈ₂₂要素：線形変換要素
ｈ₁₃，ｈ₂₃要素：平行移動要素

また、ユークリッド変換の場合、以下のように表される。

ｘ，ｙ：第１の所定範囲におけるｘ座標及びｙ座標
ｘ'，ｙ'：第０の所定範囲におけるｘ座標及びｙ座標
θ：回転変換要素
tx，ty：平行移動要素

更に、「射影変換」の場合、平行回転移動に、平面の遠近感を表現する射影を更に加えることができ、例えば以下のように表される。

ｘ，ｙ：基準マーカ画像におけるｘ座標及びｙ座標
ｘ'，ｙ'：マッチング先のｘ座標及びｙ座標
ｈ₁₁〜ｈ₃₃：パラメータ

更に、「姿勢変換」の場合、３次元空間内の剛体運動であって、６自由度の姿勢行列で表現することができる。ここで「姿勢行列」とは、３次元特殊ユークリッド群ＳＥ（基準３）に属し、３自由度の３次元回転行列と３次元並進ベクトルとで表される。例えば以下のような行列式によって表される。

Ａ：カメラの内部パラメータ
予めカメラキャリブレーションによって求めておくことが望ましい。
しかしながら、実際の値とずれた場合でも最終的に姿勢行列と打ち消し合う
ために、重畳表示の位置には影響しない。そのため、本発明の利用用途の場合、
一般的なカメラの値で代用することができる。
Ｒ（r11〜r33）：３次元空間内の回転を表すパラメータ
各パラメータはオイラー角等の表現によって３パラメータで表現可能
ｔ（t1〜t3）：３次元空間内の平行移動を表すパラメータ。
ｘ，ｙ：基準マーカ画像におけるｘ座標及びｙ座標
ｘ'，ｙ'：マッチング先のｘ座標及びｙ座標
姿勢変換によれば、カメラの視点（撮影角度や撮影距離の変化を含む）が大きく変わった場合でも、その位置に正確に指示画像を表示することができる。

（Ｓ２３）そして、ユーザが、例えば端末２に対して「指示送信」を操作する（例えば送信用ボタンのタップ）。これによって、端末２は、撮影動画像に重畳表示すべき「指示画像」と、基準マーカ画像に対する当該指示画像の「相対位置」（図９における行列Ｈｐのパラメータ要素）とを、被指示側端末１へ予め送信する。また、「撮影画像マーカ」「パノラマ画像マーカ」も、被指示側端末１へ予め送信する。尚、「既存マーカ」の場合は、端末１及び端末２の両方で、既存マーカを記憶しているために、送信する必要はない。

［第３のステップＳ３］
（Ｓ３１）被指示者端末１は、カメラによって対象物を、動画像として撮影する。そして、端末１は、その撮影動画像を端末２へ逐次送信する。端末２は、受信した撮影動画像をディスプレイに表示する。

図１０は、被指示側端末における基準マーカ画像と指示画像との間の相対位置を表す第１の説明図である。

（Ｓ３２）端末１は、カメラから連続的に入力される撮影動画像の各フレームに対して、予め記憶された基準マーカ画像とマッチングし、撮影動画像に映る基準マーカ画像（第０の所定範囲）を検出する。これは、端末２のＳ１２と同じ処理である。基準マーカ画像を、射影／姿勢変換させながら、撮影動画像にマッチングさせる。撮影動画像は常に動いているものであるので、基準マーカ画像とのマッチングの追従処理は常に実行されている。

（Ｓ３３）そして、端末１は、検出された基準マーカ画像（第０の所定範囲）に相対位置（図１０における行列Ｈｐ参照）を反映した第２の所定範囲に、「指示画像」を重畳させてディスプレイに表示する。
第０の所定範囲：被指示側端末で撮影動画像に映る基準マーカ画像の範囲
第２の所定範囲：被指示側端末で撮影動画像に映る指示画像を含む範囲
ここで、所定範囲間の相対位置も、平行移動行列、平行移動行列及び拡大縮小行列の組み合わせ、ユークリッド変換行列、アフィン変換行列、射影変換行列、又は、姿勢変換行列による変換関係を有する（例えば非特許文献５〜９参照）。

図１１は、被指示側の第１の端末に映る画面図である。

図１１によれば、端末１に映る撮影動画像に、端末２の指示者によって書き込まれた「指示画像」が重畳して表示されている。ここでは、キーボードのキー［Ｒ］の部分を差して、「←ココ」と表示されている。

尚、端末１が、ヘッドマウントディスプレイ（ＨＭＤ）のような装置である場合、撮影動画像までもディスプレイに表示される必要はない。このような、シースルー型のＨＭＤの場合、視界に指示画像のみを重畳して表示させればよい。

［第４のステップＳ４］
（Ｓ４１）端末１は、撮影動画像の画面に対する指示画像の「表示位置」を算出する。「表示位置」とは、撮影動画像の画面に対する頂点座標（例えば矩形状の場合は４頂点）や、所定位置（例えば画面枠）からの変換行列のパラメータであってもよい。このような「表示位置」は、基準マーカ画像の検出処理を必要とせず、指示画像の重畳位置を直接的に決定することができる。

表示位置の算出処理は、カメラのフレームレート（大抵のカメラは３０flame/sec）で実行可能である。これに対し、撮影動画像の伝送処理は、符号化処理や通信帯域の制約等の理由から、カメラのフレームレート以下のフレームレート（例えばflame/sec）でしか伝送できない。即ち、動画像に対する通信バッファや符号化／復号処理によって遅延が発生する。図２によれば十分に表現できないが、１枚の撮影動画像については、端末１は、「表示位置」（＋フレームＩＤ）を端末２へ伝送した後、撮影動画像を端末２へ伝送することとなる。端末２は、「表示位置＋フレームＩＤ」を受信した後、そのフレームの撮影動画像を待って、指示画像を重畳表示することができる。

（Ｓ４２）端末１は、その「表示位置」を端末２へ逐次送信する。ここで、端末１は、表示位置を算出した際に、その撮影動画像のフレームＩＤ(IDentifier)を、第２の端末へ更に送信することも好ましい。フレームＩＤは、例えばＭＰＥＧにおける動画フレームを識別するインデックスである。フレームＩＤを更に送信することによって、最終的に第２端末で撮影動画像と指示画像との重畳表示を完全に同期させることができる。

［第５のステップＳ５］
端末２は、撮影動画像の画面に対する表示位置に相当する位置に、自らの指示画像を重畳してディスプレイに表示する。

図１２は、撮影対象物に対する撮影位置が射影移動した場合における第２の端末の画面図である。

これによって、端末２は、基準マーカ画像の検出処理を必要とせず、指示画像の重畳位置を直接的に決定することができる。また、端末２は、端末１から表示位置と共に、重畳すべきフレームＩＤを受信することによって、フレームＩＤと一致する撮影動画像のフレームに、指示画像を重畳表示することができる。

そして、図２のシーケンスの流れに沿って、Ｓ３〜Ｓ５のシーケンスが常時繰り返されることとなる。これによって、指示側端末２のオペレータは、被指示側端末１のディスプレイで指示画像が撮影動画像にどのように重畳して表示されているかを視認することができ、ＡＲによる遠隔作業を支援することができる。

尚、他の実施形態として、図１２によれば、端末２のディスプレイに、「重畳表示停止」ボタンが表示されている。Ｓ３〜Ｓ５のシーケンスが常時繰り返されることによって、指示側端末２のオペレータから見て、撮影動画像に重畳された指示画像の位置にズレが生じる場合がある。この場合、端末２は、オペレータによる「重畳表示停止」ボタンのタッチによって、重畳表示中止通知を端末１へ送信することができる。これに対し、端末１は、端末２から重畳表示中止通知を受信した際に、Ｓ３（第３のステップ）における指示画像の重畳表示を中止する。オペレータ操作によって、誤った重畳表示が視認されることを防止することができる。その後、この場合、端末２は、改めてＳ１（第１のステップ）を実行することによって、撮影動画像に対する指示画像の重畳表示の位置を改めて調整することができる。

図１３は、１台の被指示側端末と複数の指示側端末とからなるシーケンス図である。

図１３によれば、例えば遠隔に位置する複数のオペレータによって、それぞれ異なる指示画像が作成される場合である。この場合、端末１は、複数の端末２から受信した複数の指示画像を同時に重畳して表示することとなる。勿論、端末１及び複数の端末２は、互いに相手方の宛先アドレスを認識しているものとする。

図１３によれば、シーケンス番号が適宜飛ばされているが、未記載のシーケンス番号は、図２の処理と同様に実行されているものとする。
（Ｓ１１）端末１は、カメラによる撮影動画像を、複数の端末２１及び２２へ同報的に送信する。
（Ｓ２３）端末２１について、オペレータによって指示画像が書き込まれたとする。端末２１は、指示画像及び相対位置を、端末１へ送信すると共に、他方の端末２２へも送信する。指示側の複数の端末２の間で、指示画像及び相対位置が共有される。
（Ｓ３１）その後、端末１は、カメラによる撮影動画像を、複数の端末２１及び２２へ同報的に送信する。
（Ｓ３２）端末１は、カメラによる撮影動画像に、端末２１から受信した指示画像を重畳して表示する。
（Ｓ４）端末１は、撮影動画像の画面に対する指示画像の表示位置を、複数の端末２１及び２２へ同報的に送信する。
（Ｓ５）端末２１及び２２は、端末１から受信した撮影動画像の画面に対する表示位置に、指示画像を重畳して表示する。これによって、指示画像を作成しない指示側端末２２であっても、端末１における撮影動画像と指示画像との重畳表示を視認することができる。

次に、端末２２について、オペレータによって指示画像が書き込まれたとする。
（Ｓ２３）端末２２は、指示画像及び相対位置を、端末１へ送信すると共に、他方の端末２１へも送信する。指示側の複数の端末２の間で、指示画像及び相対位置が共有される。
（Ｓ３１）その後、端末１は、カメラによる撮影動画像を、複数の端末２１及び２２へ同報的に送信する。
（Ｓ３２）端末１は、カメラによる撮影動画像に、端末２２から受信した指示画像を重畳して表示する。
（Ｓ４）端末１は、撮影動画像の画面に対する指示画像の表示位置を、複数の端末２１及び２２へ同報的に送信する。
（Ｓ５）端末２１及び２２は、端末１から受信した撮影動画像の画面に対する表示位置に、指示画像を重畳して表示する。これによって、指示画像を作成しない指示側端末２１であっても、端末１における撮影動画像と指示画像との重畳表示を視認することができる。

尚、他の実施形態として、複数の端末１と、１台の端末２とからなるシステムであってもよい。この場合、端末２は、複数の端末１から撮影動画像を受信する必要があり、これらを同時に表示するか、又は、ユーザ操作に基づく選択ボタンによって切り替えて表示するものであってもよい。勿論、複数の端末１と、複数の端末２とからなるシステムにも適用できる。

図１４は、第１の端末及び第２の端末の機能構成図である。

被指示側端末としての端末１は、ネットワークに接続すると共に、ディスプレイ１７及びカメラ１８とを有する。また、端末１は、基準マーカ記憶部１０と、撮影動画像送信部１１と、基準マーカ検出部１２と、指示画像受信部１３と、表示制御部１４と、表示位置算出部１５と、表示位置送信部１６とを有する。これら機能構成部は、端末１に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

基準マーカ記憶部１０は、撮影動画像に映るであろう基準マーカ画像を記憶する。この基準マーカ画像は、基準マーカ検出部１２によって参照される。
撮影動画像送信部１１は、カメラによる撮影動画像を、端末２へ送信する（図２のＳ１１、Ｓ３１の処理と同様）。
基準マーカ検出部１２は、カメラによる撮影動画像に映る基準マーカ画像を検出する（図２のＳ３２の処理と同様）。検出した基準マーカ画像の位置範囲（第０の所定範囲）を表示制御部１４へ出力する。
指示画像受信部１３は、端末２から、撮影動画像に重畳表示すべき「指示画像」と、基準マーカ画像に対する当該指示画像の「相対位置」とを予め受信する（図２のＳ２３の処理と同様）。受信した指示画像及び相対位置は、表示制御部１４へ出力される。
表示制御部１４は、当該基準マーカ画像から相対位置に相当する位置に、指示画像を重畳してディスプレイに表示する（図２のＳ３３の処理と同様）。
表示位置算出部１５は、撮影動画像の画面に対する指示画像の表示位置を算出する（図２のＳ４１の処理と同様）。算出された表示位置は、表示位置送信部１６へ出力される。
表示位置送信部１６は、表示位置を端末２へ送信する（図２のＳ４２の処理と同様）。

指示側端末としての端末２は、ネットワークに接続すると共に、タッチパネルディスプレイ２７を有する。また、端末２は、基準マーカ記憶部２０と、撮影動画像受信部２１と、基準マーカ選択部２２と、指示画像送信部２３と、表示制御部２４と、表示位置受信部２６とを有する。これら機能構成部は、端末２に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

基準マーカ記憶部２０は、撮影動画像に映るであろう基準マーカ画像を記憶する。この基準マーカ画像は、基準マーカ選択部２２によって参照される。
撮影動画像受信部２１は、端末１から撮影動画像を受信する（図２のＳ１１、Ｓ３１の処理と同様）。
基準マーカ選択部２２は、端末１から受信した撮影動画像に映る基準マーカ画像を検出する（図２のＳ１２及び１３の処理と同様）。
指示画像送信部２３は、撮影動画像に重畳表示すべき指示画像と、基準マーカ画像に対する当該指示画像の相対位置とを、端末１へ予め送信する（図２のＳ２３の処理と同様）。
表示位置受信部２６は、端末１から表示位置を受信する（図２のＳ４２の処理と同様）。
表示制御部２４は、撮影動画像の画面に対する表示位置に相当する位置に、指示画像を重畳してディスプレイに表示する（図２のＳ５の処理と同様）。

尚、図１４における指示側機能と被指示側機能とを合わせて、両用端末とすることもできる。これら機能構成部は、１つの端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

以上、詳細に説明したように、本発明の映像指示表示方法、システム、端末、及びプログラムによれば、指示側端末のオペレータが、被指示側端末のディスプレイで表示される指示画像に対して適切な基準マーカを選択することができる。また、指示側端末のオペレータが、被指示側端末のディスプレイで指示画像が撮影動画像にどのように重畳して表示されているかを視認することができる。指示側端末のオペレータに撮影動画像に対する指示画像の位置のズレを認識させることによって、円滑な遠隔作業を実現する。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 被指示側端末
１０ 基準マーカ記憶部
１１ 撮影動画像送信部
１２ 基準マーカ検出部
１３ 指示画像受信部
１４ 表示制御部
１５ 表示位置算出部
１６ 表示位置送信部
１７ ディスプレイ
１８ カメラ
２ 被指示側端末
２０ 基準マーカ記憶部
２１ 撮影動画像受信部
２２ 基準マーカ選択部
２３ 指示画像送信部
２４ 表示制御部
２６ 表示位置受信部
２７ タッチパネルディスプレイ

Claims (15)

1. カメラ及びディスプレイを有する第１の端末と、ディスプレイを有する第２の端末とが、ネットワークを介して接続されたシステムにおける映像指示表示方法において、
   第１の端末及び第２の端末は、撮影動画像に映るであろう基準マーカ画像を記憶しており、
   第２の端末が、第１の端末から前記カメラによる撮影動画像を逐次受信し、該撮影動画像をディスプレイに表示すると共に、
   （基準１）前記撮影動画像に前記基準マーカ画像を検出した場合に当該基準マーカ画像を用いるか、又は、
   （基準２）前記撮影画像の全部若しくは一部を基準マーカ画像として用いるか
   を、ユーザに選択させる第１のステップと、
   第２の端末が、前記撮影動画像に重畳表示すべき指示画像と、前記基準マーカ画像に対する当該指示画像の相対位置と、基準２の場合の基準マーカ画像とを、第１の端末へ送信する第２のステップと、
   第１の端末が、前記カメラによる撮影動画像を第２の端末へ送信すると共に、当該撮影動画像に映る前記基準マーカ画像を検出し、当該基準マーカ画像から前記相対位置に相当する位置に、前記指示画像を重畳してディスプレイに表示する第３のステップと
   を有することを特徴とする映像指示表示方法。
2. 第１のステップについて、第２の端末は、
   （基準３）第１の端末から所定時間範囲で受信し続けた複数の撮影画像を１枚の画像として生成し、該画像の全部を基準マーカ画像として用いるか
   を、ユーザに更に選択させる
   ことを特徴とする請求項１に記載の映像指示表示方法。
3. 第２のステップについて、第２の端末は、
   予め記憶された前記基準マーカ画像がマッチングする、前記撮影動画像に映る基準マーカ画像（第０の所定範囲）を検出し、
   前記基準マーカ画像（第０の所定範囲）と前記指示画像（第１の所定範囲）との間の座標変換を、前記相対位置として算出する
   ことを特徴とする請求項１又は２に記載の映像指示表示方法。
4. 前記相対位置は、平行移動行列、平行移動行列及び拡大縮小行列の組み合わせ、ユークリッド変換行列、アフィン変換行列、射影変換行列、又は、姿勢変換行列である
   ことを特徴とする請求項１から３のいずれか１項に記載の映像指示表示方法。
5. 第２の端末に搭載されたディスプレイは、タッチパネルディスプレイであって、
   第２のステップについて、第２の端末は、前記タッチパネルディスプレイ上でユーザに指によって描かれた画像を指示画像とする
   ことを特徴とする請求項１から４のいずれか１項に記載の映像指示表示方法。
6. 第２の端末は、前記ディスプレイに表示された撮影動画像に、ユーザによって描かせるタッチペン入力装置を更に接続しており、
   第２のステップについて、第２の端末は、前記タッチペンによってユーザに描かれた画像を指示画像とする
   ことを特徴とする請求項１から４のいずれか１項に記載の映像指示表示方法。
7. 第１の端末が、前記撮影動画像の画面に対する前記指示画像の表示位置を算出し、当該表示位置を第２の端末へ送信する第４のステップと、
   第２の端末が、前記撮影動画像の画面に対する前記表示位置に相当する位置に、前記指示画像を重畳してディスプレイに表示する第５のステップと
   を更に有し、第３のステップから第５のステップが常時繰り返されることを特徴とする請求項１から６のいずれか１項に記載の映像指示表示方法。
8. 第４のステップについて、第１の端末は、前記表示位置を算出した際に、その撮影動画像のフレームＩＤ(IDentifier)を、第２の端末へ更に送信し、
   第５のステップについて、第２の端末は、前記フレームＩＤと一致する撮影動画像のフレームに、前記指示画像を重畳表示する
   ことを特徴とする請求項７に記載の映像指示表示方法。
9. 第４のステップについて、第１の端末は、
   予め記憶された基準マーカ画像がマッチングする、前記撮影動画像に映る基準マーカ画像（第０の所定範囲）を検出し、
   前記基準マーカ画像（第０の所定範囲）から前記相対位置に相当する位置に、前記指示画像（第２の所定範囲）を重畳してディスプレイに表示し、
   前記指示画像（第２の所定範囲）の座標位置を、前記表示位置とする
   ことを特徴とする請求項７又は８に記載の映像指示表示方法。
10. 前記システムは、複数の第２の端末を有し、
    第２のステップについて、一方の第２の端末が、前記指示画像を、他方の第２の端末へ予め送信し、
    第４のステップについて、第１の端末は、複数の第２の端末へ、前記撮影動画像及び前記表示位置を同報的に送信する
    ことを特徴とする請求項７から９のいずれか１項に記載の映像指示表示方法。
11. 第２のステップについて、複数の第２の端末各々が、前記指示画像及び前記相対位置を、第１の端末へ予め送信しており、
    第３のステップについて、第１の端末が、前記基準マーカ画像から、各相対位置に相当する位置に、各指示画像を重畳してディスプレイに表示する
    ことを特徴とする請求項１０に記載の映像指示表示方法。
12. 第２の端末は、ユーザ操作に応じて重畳表示中止通知を第１の端末へ送信し、
    第１の端末は、第２の端末から前記重畳表示中止通知を受信した際に、第３のステップにおける指示画像の重畳表示を中止する
    ことを特徴とする請求項１から１１のいずれか１項に記載の映像指示表示方法。
13. カメラ及びディスプレイを有する第１の端末と、ディスプレイを有する第２の端末とが、ネットワークを介して接続されたシステムにおいて、
    第１の端末は、
    撮影動画像に映るであろう基準マーカ画像を記憶する基準マーカ記憶手段と、
    前記カメラによる撮影動画像を、第２の端末へ送信する撮影動画像送信手段と、
    第２の端末から、前記撮影動画像に重畳表示すべき指示画像と、前記基準マーカ画像に対する当該指示画像の相対位置とを受信すると共に、ユーザの選択に応じて基準マーカ画像を受信する指示画像受信手段と、
    前記カメラによる撮影動画像に映る前記基準マーカ画像を検出する基準マーカ検出手段と、
    当該基準マーカ画像から前記相対位置に相当する位置に、前記指示画像を重畳してディスプレイに表示する表示制御手段と
    を有し、
    第２の端末は、
    撮影動画像に映るであろう基準マーカ画像を記憶する基準マーカ記憶手段と、
    （基準１）前記撮影動画像に前記基準マーカ画像を検出した場合に当該基準マーカ画像を用いるか、又は、（基準２）前記撮影画像の全部若しくは一部を基準マーカ画像として用いるかを、ユーザに選択させる基準マーカ選択手段と、
    前記撮影動画像に重畳表示すべき指示画像と、前記基準マーカ画像に対する当該指示画像の相対位置と、基準２の場合の基準マーカ画像とを、第１の端末へ送信する指示画像送信手段と、
    第１の端末から撮影動画像を受信する撮影動画像受信手段と
    を有することを特徴とするシステム。
14. ディスプレイ及びカメラを搭載した端末において、
    撮影動画像に映るであろう基準マーカ画像を記憶した基準マーカ記憶手段と、
    被指示側機能として、
    前記カメラによる撮影動画像を、相手方端末へ送信する撮影動画像送信手段と、
    前記カメラによる撮影動画像に映る前記基準マーカ画像を検出する基準マーカ検出手段と、
    相手方端末から、前記撮影動画像に重畳表示すべき指示画像と、前記基準マーカ画像に対する当該指示画像の相対位置とを受信すると共に、ユーザの選択に応じて基準マーカ画像を受信する指示画像受信手段と、
    当該基準マーカ画像から前記相対位置に相当する位置に、前記指示画像を重畳してディスプレイに表示する表示制御手段と
    を有し、
    指示側機能として、
    （基準１）前記撮影動画像に前記基準マーカ画像を検出した場合に当該基準マーカ画像を用いるか、又は、（基準２）前記撮影画像の全部若しくは一部を基準マーカ画像として用いるかを、ユーザに選択させる基準マーカ選択手段と、
    前記撮影動画像に重畳表示すべき指示画像と、前記基準マーカ画像に対する当該指示画像の相対位置とを、基準２の場合の基準マーカ画像とを、相手方端末へ送信する指示画像送信手段と、
    相手方端末から撮影動画像を受信する撮影動画像受信手段と
    を有することを特徴とする端末。
15. ディスプレイ及びカメラを搭載した端末に搭載されたコンピュータを機能させるプログラムにおいて、
    撮影動画像に映るであろう基準マーカ画像を記憶した基準マーカ記憶手段と、
    被指示側機能として、
    前記カメラによる撮影動画像を、相手方端末へ送信する撮影動画像送信手段と、
    前記カメラによる撮影動画像に映る前記基準マーカ画像を検出する基準マーカ検出手段と、
    相手方端末から、前記撮影動画像に重畳表示すべき指示画像と、前記基準マーカ画像に対する当該指示画像の相対位置とを受信すると共に、ユーザの選択に応じて基準マーカ画像を受信する指示画像受信手段と、
    当該基準マーカ画像から前記相対位置に相当する位置に、前記指示画像を重畳してディスプレイに表示する表示制御手段と
    を有し、
    指示側機能として、
    （基準１）前記撮影動画像に前記基準マーカ画像を検出した場合に当該基準マーカ画像を用いるか、又は、（基準２）前記撮影画像の全部若しくは一部を基準マーカ画像として用いるかを、ユーザに選択させる基準マーカ選択手段と、
    前記撮影動画像に重畳表示すべき指示画像と、前記基準マーカ画像に対する当該指示画像の相対位置とを、基準２の場合の基準マーカ画像とを、相手方端末へ送信する指示画像送信手段と、
    相手方端末から撮影動画像を受信する撮影動画像受信手段と
    してコンピュータを機能させることを特徴とする端末用のプログラム。

Images