JP2023056195A - 副端末と同一の仮想空間へ参入する主端末、システム、プログラム及び方法 - Google Patents

Abstract

【課題】本願の第１の発明として、主端末からみて現実空間で視認可能な位置に存在する副端末と同一の仮想空間へ参入することができる主端末等を提供する。【解決手段】カメラを搭載した主端末において、副端末自体に又は副端末に接続する周辺機器に、当該副端末がログインする仮想空間サーバのサーバアドレスが記録されたマーカが付与されており、カメラによって撮影された副端末自体に又は副端末に接続する周辺機器が映り込む映像から当該マーカを検出し、仮想空間サーバのサーバアドレスを読み取るマーカ読み取り手段と、読み取ったサーバアドレスに基づく仮想空間サーバへログインするサーバアクセス手段とを有し、副端末と同一の仮想空間へ参入する。副端末は、マーカを、外部から視認可能なディスプレイに表示するものでもよい。ディスプレイには、副端末を装着するユーザによって異なるサーバアドレスが記録されたマーカが表示される。【選択図】図４

Description

本発明は、仮想現実(Virtual Reality)、拡張現実(Augmented Reality)又は複合現実(Mixed Reality)の技術に関する。

仮想現実とは、ユーザの頭部にＨＭＤ(Head Mount Display)端末を装着し、ユーザの視界に３次元の仮想空間を表示する技術をいう。ユーザは、自ら動きながら仮想空間への没入感を得ることができる。
拡張現実とは、ユーザの視界に映る現実空間に、ＣＧ(Computer Graphics)映像を表示する技術をいう。例えばシースルーのディスプレイ上に、又は、現実空間をカメラで撮影した映像上に、ＣＧを重畳的に表示することによって、現実空間を拡張する。
複合現実とは、ＣＧで人工的に作られた仮想空間を、現実空間と融合させる技術をいう。現実空間の物体が仮想空間と一体化しており、ユーザは、自らの動きが、現実空間且つ仮想空間として相互に影響する。
これら技術によれば、ＨＭＤ端末やＡＲ／ＭＲ端末は、姿勢センサによってユーザの動きを検知すると共に、仮想空間サーバにアクセスすることによって仮想空間情報を取得して表示する。

従来、複数のユーザ間における体験共有システムの技術がある（例えば特許文献１参照）。この技術によれば、カメラによって撮影された映像を無線で送信する「スマートめがね」と、そのスマートめがねから映像を受信し、ユーザに仮想現実映像を表示する「ＶＲ機器」とを有する。

また、拡張現実空間（又は仮想現実空間）を介したサービスを提供する技術もある（例えば特許文献２参照）。この技術によれば、識別コードが貼り付けられたＩｏＴ機器と、識別コードを撮影するＡＲ（又はＶＲ）機器とを有する。ＡＲ機器は、識別コードを読み取ることによって、その基準点となる拡張現実空間をユーザに表示すると共に、ＩｏＴ機器は、拡張現実空間と連携してユーザにサービスを提供する。

特表２０２０－５０６５６５号公報 特開２０１６－７１４９６号公報

SteamVR・lighthouse、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://www.moguravr.com/terms/index-r/lighthouse/#:~:text=Lighthouse%E3%81%A8%E3%81%AF%E3%80%81PC%E5%90%91%E3%81%91,%E3%81%99%E3%82%8B%E3%81%93%E3%81%A8%E3%81%8C%E5%8F%AF%E8%83%BD%E3%81%A7%E3%81%99%E3%80%82＞ 回転行列、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/%E5%9B%9E%E8%BB%A2%E8%A1%8C%E5%88%97＞ ARToolkit Overview、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://im-lab.net/artoolkit-overview/＞ OpenCV Detection of ArUco Markers、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://docs.opencv.org/master/d5/dae/tutorial_aruco_detection.html＞ ＳＬＡＭ、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/SLAM＞ 指さし行動の理解支援に向けたＡＲ図示システムの提案、[online]、［令和３年１０月１日検索］、インターネット＜URL:http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/201703g_UENO_Kaede.pdf＞ コリジョンの概要、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://docs.unrealengine.com/ja/InteractiveExperiences/Physics/Collision/Overview/index.html＞

図１は、オペレータが視認可能な現実空間に複数の副端末が存在するシステム構成図である。

図１によれば、オペレータが、現実空間に存在する複数のユーザａ～ｃを視認している。複数のユーザａ～ｃはそれぞれ、ＨＭＤ端末のような副端末２を頭部に装着し、各ＨＭＤ端末は、仮想空間サーバ３にアクセスしている。これによって、副端末２はそれぞれ、ユーザ所望の仮想空間を再生することができる。

しかしながら、以下のような２つの課題がある。
［第１の課題］
ＨＭＤ端末によって再生中の仮想空間は、そのＨＭＤ端末を装着したユーザ主導で体験するものである。勿論、仮想空間の映像を、他のディスプレイに表示することは既存技術でもできる。しかしながら、あくまで、その仮想空間に干渉できるのは、ＨＭＤ端末を装着したユーザのみであり、極めて個人的な体験になってしまっている。

図１によれば、例えば、身体が不自由な要介護者（ユーザ）に、ＨＭＤ端末（副端末２）を装着させ、仮想空間を体験してもらうことを想定する。このとき、要介護者は、個人的に仮想空間に没頭することができるが、介護者（オペレータ）は、その要介護者がＨＭＤ端末によって視認している仮想空間を認識することができない。当然、介護者は、要介護者の仮想空間に対する操作を補助することもできない。
このような課題は、介護の場面に限らない。例えばＨＭＤ端末を装着した職業訓練者と、仮想空間における訓練を指導する指導者との関係も同様なものである。

これに対し、本願の発明者は、オペレータも例えば主端末（例えばＡＲ端末）を頭部に装着することによって、シースルーディスプレイを通して副端末２と同一の仮想空間へ参入することができればよいのではないか、と考えた。

そこで、第１の課題を解決する本願の第１の発明として、現実空間で視認可能な位置に存在する副端末と同一の仮想空間へ参入することができる主端末、システム、プログラム及び方法を提供することを目的とする。

［第２の課題］
オペレータが装着した主端末１は、ユーザが装着した複数のＨＭＤ端末（副端末２）と通信することは可能である。しかしながら、オペレータが、現実空間で視認可能な複数のＨＭＤ端末の中で、所望のＨＭＤ端末を選択することは難しい。
ＡＲ端末であれば、例えばオペレータの視認先となるＨＭＤ端末のオブジェクトを、オペレータの指で指し示すことによって、そのＨＭＤ端末を選択できるかもしれない。しかしながら、オペレータのＡＲ端末のカメラから見える映像内のオブジェクトとして選択できたに過ぎない。このとき、オペレータ所望のＨＭＤ端末と通信するためのアドレス（端末ＩＤ）を特定することはできない。アドレスとは、例えばＩＰアドレスやＭＡＣ(Media Access Control)アドレス、ビーコンＩＤのような端末ＩＤである。
結局、オペレータの主端末１は、ユーザの副端末２を任意に選択し、直接的な通信をすることができない。

これに対し、本願の発明者は、ユーザが、現実空間で視認可能な位置に存在する複数の副端末の中から、所望の通信相手となる副端末を選択した際に、その副端末のアドレスを特定することができないか、と考えた。

そこで、本発明は、第２の課題を解決する本願の第２の発明として、現実空間で視認可能な位置に存在する副端末を選択でき、その副端末と通信することができる主端末、システム、プログラム及び方法を提供することを目的とする。

本発明によれば、第１の課題を解決する第１の発明と、第２の課題を解決する第２の発明とを開示する。

＜第１の発明＞
本願の第１の発明は、副端末と同一の仮想空間へ参入する主端末、システム、プログラム及び方法に関する。

本願の第１の発明によれば、カメラを搭載した主端末において、
副端末自体に又は副端末に接続する周辺機器に、当該副端末がログインする仮想空間サーバのサーバアドレスが記録されたマーカが付与されており、
カメラによって撮影された副端末自体に又は副端末に接続する周辺機器が映り込む映像から当該マーカを検出し、仮想空間サーバのサーバアドレスを読み取るマーカ読み取り手段と、
読み取ったサーバアドレスに基づく仮想空間サーバへログインするサーバアクセス手段と
を有し、副端末と同一の仮想空間へ参入することを特徴とする。

本願の第１の発明における他の実施形態によれば、
サーバアクセス手段は、
広域通信を介して外部ネットワークに配置された仮想空間サーバへ、
狭域通信を介してローカルに配置された仮想空間サーバへ、又は、
狭域通信を介して副端末に搭載された仮想空間サーバへ
アクセスすることも好ましい。

本願の第１の発明における他の実施形態によれば、
マーカには、当該副端末の端末識別子又はユーザ識別子が更に記録されており、
マーカ読み取り手段は、当該マーカから、当該副端末の端末識別子又はユーザ識別子を読み取り、
サーバアクセス手段は、読み取った当該副端末の端末識別子又はユーザ識別子を、仮想空間サーバへ更に送信し、
仮想空間サーバによって、現実空間の当該副端末と仮想空間の端末とが紐付けられる
ことも好ましい。

本願の第１の発明における他の実施形態によれば、
マーカに記録された当該副端末の端末識別子は、近距離通信又は狭域通信におけるＭＡＣ(Media Access Control)アドレスである
ことも好ましい。

本願の第１の発明における他の実施形態によれば、
主端末は、ディスプレイを搭載した眼鏡型、コンタクトレンズ型、又は、ヘッドマウント型の端末であり、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する複数の副端末をオペレータに視認させる
ことも好ましい。

本願の第１の発明における他の実施形態によれば、
前述した主端末と、当該副端末とを有するシステムであって、
当該副端末は、当該マーカを、外部から視認可能なディスプレイに表示する
ことも好ましい。

本願の第１の発明における他の実施形態によれば、
ディスプレイには、当該副端末を装着するユーザによって異なるサーバアドレスが記録されたマーカが表示される
ことも好ましい。

本願の第１の発明における他の実施形態によれば、
当該副端末は、ユーザが所持するスマートフォンと通信可能であり、
当該副端末は、スマートフォンからユーザ情報を受信し、当該ユーザ情報に基づいてマーカを変化させてディスプレイに表示する
ことも好ましい。

本願の第１の発明によれば、カメラを搭載した主端末に搭載されたコンピュータを機能させるプログラムにおいて、
副端末自体に又は副端末に接続する周辺機器に、当該副端末がログインする仮想空間サーバのサーバアドレスが記録されたマーカが付与されており、
カメラによって撮影された副端末自体に又は副端末に接続する周辺機器が映り込む映像から当該マーカを検出し、仮想空間サーバのサーバアドレスを読み取るマーカ読み取り手段と、
読み取ったサーバアドレスに基づく仮想空間サーバへログインするサーバアクセス手段と
してコンピュータを機能させ、副端末と同一の仮想空間へ参入する
ことを特徴とする。

本願の第１の発明によれば、カメラを搭載した主端末の仮想空間サーバ接続方法であって、
副端末自体に又は副端末に接続する周辺機器に、当該副端末がログインする仮想空間サーバのサーバアドレスが記録されたマーカが付与されており、
主端末は、
カメラによって撮影された副端末自体に又は副端末に接続する周辺機器が映り込む映像から当該マーカを検出し、仮想空間サーバのサーバアドレスを読み取る第１のステップと、
読み取ったサーバアドレスに基づく仮想空間サーバへログインする第２のステップと
を実行し、副端末と同一の仮想空間へ参入する
ことを特徴とする。

＜第２の発明＞
本願の第２の発明は、カメラに映り込む現実空間でユーザによって選択された副端末を特定する主端末、システム、プログラム及び方法に関する。

本願の第２の発明によれば、カメラ及び姿勢センサを搭載した主端末について、当該現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末であって、
副端末それぞれから、端末識別子を取得する副端末検出手段と、
所定時間毎に、副端末それぞれから、副端末座標系Ｈの副端末姿勢Ｔ_H2を受信する副端末姿勢受信手段と、
カメラによって撮影された映像から、現実空間の複数の副端末を認識する物体認識手段と、
所定時間毎に、カメラによって撮影された映像から、副端末それぞれについて、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢Ｔ_A2を検出する物体姿勢検出手段と、
所定時間毎に、副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と、主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2とを検出する姿勢変位検出手段と、
副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と最も近い変位となる主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける副端末特定手段と
を有することを特徴とする。

本願の第２の発明における他の実施形態によれば、
カメラによって撮影された映像に映り込む現実空間の複数の副端末の中で、１つの副端末のオブジェクトをオペレータ操作によって選択させ、当該副端末の端末識別子を特定する副端末選択手段と、
特定された端末識別子に対応する副端末と通信する副端末通信手段と
を更に有することも好ましい。

本願の第２の発明における他の実施形態によれば、
副端末通信手段は、副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得し、
副端末から取得したサーバアドレスに基づく仮想空間サーバへログインするサーバアクセス手段を更に有し、
副端末と同一の仮想空間へ参入することも好ましい。

本願の第２の発明における他の実施形態によれば、
サーバアクセス手段は、
外部に配置された仮想空間サーバへ、ネットワークを介してログインするか、又は、
副端末に搭載された仮想空間サーバへ、狭域通信を介してログインする
ことも好ましい。

本願の第２の発明における他の実施形態によれば、
副端末は、姿勢センサを有し、
主端末座標系Ａは、主端末の座標系であり、
主端末座標系Ａの副端末姿勢Ｔ_A2は、映像に映り込む副端末におけるユーザが向く前面に対する傾きベクトルから導出されたものであり、
副端末座標系Ｈは、副端末の座標系であり、
副端末座標系Ｈの副端末姿勢Ｔ_H2は、当該副端末の姿勢センサによって検知されたものである
ことも好ましい。

本願の第２の発明における他の実施形態によれば、
主端末座標系Ａの副端末姿勢Ｔ_A2について、映像に映り込む副端末におけるユーザが向く前面は、副端末に配置された所定マーカの位置に基づいて特定されることも好ましい。

本願の第２の発明における他の実施形態によれば、
副端末姿勢受信手段は、当該副端末座標系Ｈに基づく位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ｈの副端末姿勢Ｔ_H2とし、
物体姿勢検出手段は、カメラによって撮影された映像から、副端末それぞれについて、主端末座標系Ａに基づく位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａの副端末姿勢Ｔ_A2とする
ことも好ましい。

本願の第２の発明における他の実施形態によれば、
主端末は、ディスプレイを搭載した眼鏡型、コンタクトレンズ型、又は、ヘッドマウント型の端末であり、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する複数の副端末をオペレータに視認させる
ことも好ましい。

本願の第２の発明によれば、カメラ及び姿勢センサを搭載した主端末について、当該現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末に搭載されたコンピュータを機能させるプログラムであって、
副端末それぞれから、端末識別子を取得する副端末検出手段と、
所定時間毎に、副端末それぞれから、副端末座標系Ｈの副端末姿勢Ｔ_H2を受信する副端末姿勢受信手段と、
カメラによって撮影された映像から、現実空間の複数の副端末を認識する物体認識手段と、
所定時間毎に、カメラによって撮影された映像から、副端末それぞれについて、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢Ｔ_A2を検出する物体姿勢検出手段と、
所定時間毎に、副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と、主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2とを検出する姿勢変位検出手段と、
副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と最も近い変位となる主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける副端末特定手段と
を有することを特徴とする。

本願の第２の発明によれば、カメラ及び姿勢センサを搭載した主端末と、当該主端末からみて現実空間で視認可能な位置に存在する複数の副端末と通信可能なシステムであって、
主端末は、
副端末それぞれから、端末識別子を取得する副端末検出手段と、
所定時間毎に、副端末それぞれから、副端末座標系Ｈの副端末姿勢Ｔ_H2を受信する副端末姿勢受信手段と、
カメラによって撮影された映像から、現実空間の複数の副端末を認識する物体認識手段と、
所定時間毎に、カメラによって撮影された映像から、副端末それぞれについて、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢Ｔ_A2を検出する物体姿勢検出手段と、
所定時間毎に、副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と、主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2とを検出する姿勢変位検出手段と、
副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と最も近い変位となる主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける副端末特定手段と
を有し、
副端末は、
主端末からの要求に応じて、端末識別子を応答する副端末識別子応答手段と、
所定時間毎に、当該副端末座標系Ｈの副端末姿勢Ｔ_H2を送信する副端末姿勢送信手段と
を有することを特徴とする。

本願の第２の発明によれば、カメラ及び姿勢センサを搭載した主端末について、当該現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末の副端末特定方法であって、
主端末は、
副端末それぞれから、端末識別子を取得する第１のステップと、
所定時間毎に、副端末それぞれから、副端末座標系Ｈの副端末姿勢Ｔ_H2を受信する第２のステップと、
カメラによって撮影された映像から、現実空間の複数の副端末を認識する第３のステップと、
所定時間毎に、カメラによって撮影された映像から、副端末それぞれについて、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢Ｔ_A2を検出する第４のステップと、
所定時間毎に、副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と、主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2とを検出する第５のステップと、
副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と最も近い変位となる主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける第６のステップと
を実行することを特徴とする

本願の第１の発明における主端末、システム、プログラム及び方法によれば、現実空間で視認可能な位置に存在する副端末と同一の仮想空間へ参入することができる。
また、本願の第２の発明における主端末、システム、プログラム及び方法によれば、現実空間で視認可能な位置に存在する副端末を選択でき、その副端末と通信することができる。

オペレータが視認可能な現実空間に複数の副端末が存在するシステム構成図である。 本発明におけるシステム構成図である。 副端末に表示されたマーカを表す説明図である。 第１の発明における主端末の機能構成図である。 第２の発明におけるシステム構成図である。 第２の発明における主端末の機能構成図である。 第２の発明における主端末のフローチャートである。 第２の発明における主端末座標系と副端末座標系との関係を表す説明図である。 第２の発明における現実空間と仮想空間との関係を表す説明図である。

以下では、図面を用いて、本発明を実施するための形態について詳細に説明する。

図２は、本発明におけるシステム構成図である。

既存技術によれば、仮想空間サーバは、一般的に、遠隔地に滞在する複数のユーザ同士を、同じ仮想空間に存在できるようにするものである。
これに対し、本発明によれば、オペレータが所持する主端末１と、ユーザが所持する副端末２とは、互いに、現実空間で視認可能な位置に存在することにある。即ち、本発明によれば、現実空間の近距離周辺で実現されることに特徴がある。

主端末１は、例えば眼鏡型のＡＲ(Augmented Reality)端末であり、シースルーディスプレイに仮想空間のＣＧを表示することができる。オペレータは、主端末１を装着し、シースルーディスプレイを通して複数のユーザａ～ｃを視認することができる。
一方で、副端末２は、例えばＨＭＤ(Head Mount Display)端末であり、仮想空間サーバ３へアクセスすることができる。ユーザａ～ｃは、ＨＭＤを装着し、仮想空間を体験しているとする。

図２によれば、主端末１はＡＲ端末であるとしているが、ＭＲ(Mixed Reality)端末であってもよいし、これらに限られるものではない。主端末１は、コンタクトレンズ型であってもよいし、カメラ付きで外界の映像も再生するＨＭＤ端末であってもよい。オペレータは、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する複数の副端末２を視認することができる。
一方で、副端末２もＨＭＤ端末であるとしているが、勿論、ＡＲ端末又はＭＲ端末であってよいし、これに限られるものでもない。
主端末１及び副端末２は、例えばスマートフォンのような、カメラとディスプレイとを搭載した端末であってもよいし、タブレットやパーソナルコンピュータであってもよい。

図２によれば、主端末１も、仮想空間サーバ３にアクセスすることができる。仮想空間サーバ３が配置される場所として、例えば以下の３つのパターンがある。
（１）外部ネットワーク（インターネット）に配置された仮想空間サーバ(Dedicated Server)
（２）ローカルに配置された仮想空間サーバ(Dedicated Server)
（３）副端末に搭載された仮想空間サーバ(Listen Server)
ここで、仮想空間サーバ３がインターネットに配置されている場合、主端末１は、広域通信によってインターネットに接続する。そのインタフェースとなる広域通信も、無線であってもよいし、又は、有線であってもよい。
一方で、仮想空間サーバ３がローカルや副端末自体に配置されている場合、主端末１は、狭域通信を介して通信することができる。

＜第１の発明＞
本願の第１の発明としての主端末、システム、プログラム及び方法は、主端末からみて現実空間で視認可能な位置に存在する副端末と同一の仮想空間へ参入することができる。

図３は、副端末に表示されたマーカを表す説明図である。

図３によれば、副端末２には、例えばＱＲ(Quick Response)コードのような「マーカ」が装着されている。マーカは、副端末自体に装着されたものであってもよいし、又は、副端末に接続する周辺機器に装着されたものであってもよい。少なくとも、マーカは、副端末２について、主端末１から視認可能な位置に装着されたものであればよい。

本発明によれば、マーカには、当該副端末２がログインする仮想空間サーバ３の「サーバアドレス」が記録されている。
また、マーカには、サーバアドレスと共に、当該副端末３の「端末識別子」又は「ユーザ識別子」が更に記録されたものであってもよい。
端末識別子は、仮想空間サーバ３の仮想空間内における、副端末２の存在を特定するものである。尚、端末識別子は、近距離通信又は狭域通信におけるＭＡＣ(Media Access Control)アドレスであってもよい。
ユーザ識別子は、仮想空間サーバ３の仮想空間内における、副端末２を装着したユーザの存在を特定するものである。

また、副端末２は、マーカを、外部から視認可能なディスプレイに表示するものであってもよい。ディスプレイは、主端末１から視認可能となるように、例えば副端末２の前面に配置される。そして、ディスプレイには、当該副端末２を装着するユーザによって異なるサーバアドレスが記録されたマーカが表示される。

他の実施形態として、副端末２は、ユーザが所持するスマートフォンと通信可能なものであってもよい。図３によれば、ユーザｂはスマートフォンを所持しており、そのスマートフォンは副端末２と通信する。副端末２は、スマートフォンからユーザ情報を受信し、当該ユーザ情報に基づいてマーカを変化させてディスプレイに表示することができる。即ち、副端末２を装着するユーザに応じて、仮想空間サーバ３のサーバアドレスと、端末識別子又はユーザ識別子とに基づいて、マーカを可変することができる。

図４は、第１の発明における主端末の機能構成図である。

図４によれば、主端末１は、ハードウェアとして少なくとも、オペレータの視覚に映すディスプレイ１０１と、現実空間の映像を撮影する２Ｄのカメラ１０４とを有する。また、アクセスすべき仮想空間サーバ３の場所によっては、狭域通信部１０２及び／又は広域通信部１０３も必要とする。

図４によれば、主端末１は、ソフトウェアとして、マーカ読み取り部１０と、サーバアクセス部１４とを有する。これら機能構成部は、主端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、仮想空間参入方法としても理解できる。

［マーカ読み取り部１０］
マーカ読み取り部１０は、カメラ１０４によって撮影された映像に映り込む「マーカ」を検出する。そして、そのマーカから、仮想空間サーバ３の「サーバアドレス」を読み取る。このとき、当該マーカから、当該副端末の「端末識別子」又は「ユーザ識別子」を読み取るものであってもよい。
マーカから読み取った情報は、サーバアクセス部１４へ出力される。

［サーバアクセス部１４］
サーバアクセス部１４は、読み取った「サーバアドレス」に基づく仮想空間サーバ３へログインする。サーバアドレスとは、ＵＲＬ(Uniform Resource Locator)や、ＩＰアドレス、ポート番号、その他の仮想空間サーバにアクセスするために必要な情報を含む。尚、サーバアドレスは、例えばVRChat（登録商標）のようなソーシャルＶＲプラットフォームにおける識別子であってもよい。
また、読み取った当該副端末２の「端末識別子」又は「ユーザ識別子」を、仮想空間サーバ３へ更に送信するものであってもよい。これによって、仮想空間サーバ３の仮想空間の中で、現実空間の当該副端末又はユーザと、仮想空間の端末又はユーザとが紐付けられる。

本願の第１の発明として、主端末からみて現実空間で視認可能な位置に存在する副端末と同一の仮想空間へ参入することができる。

＜第２の発明＞
本願の第２の発明としての主端末、システム、プログラム及び方法は、主端末からみて現実空間で視認可能な位置に存在する副端末を選択でき、その副端末と通信することができる。

図５は、第２の発明におけるシステム構成図である。

図５によれば、主端末１及び副端末２は、図２と比較して、姿勢センサ１０５及び２０５を更に有する。
［姿勢センサ１０５及び２０５］
姿勢センサ１０５及び２０５は、起動中は常時、自らの姿勢(Transform)となる「位置ｖ」及び「傾きｒ」を検知するものである。
図５によれば、以下のような姿勢が表されている。
Ｔ_A1：主端末座標系Ａの主端末姿勢
Ｔ_H2：副端末座標系Ｈの副端末姿勢
尚、主端末座標系Ａは、機器起動時に設定される基準座標系とする。同様に、副端末座標系Ｈも、機器起動時に設定される基準座標系とする。

姿勢センサ１０５及び２０５は、「傾きｒ」を検知するために、ＩＭＵ(Inertial Measurement Unit)を搭載している。これは、一般的なスマートフォンなどに搭載されたものと同じものである。
また、姿勢センサ１０５及び２０５は、「位置ｖ」を検知するために、例えばSteamVR（登録商標）のLighthouse（登録商標）のような、ヘッドマウントディスプレイに搭載されたトラッキングデバイスを搭載する（例えば非特許文献１参照）。これは、現実空間に設置されたアンカー（ベースステーション）と通信することによって、所定範囲内における位置ｖを追跡することができる。
又は、姿勢センサ１０５及び２０５は、前述したＩＭＵやカメラを搭載することによって、ＳＬＡＭ(Simultaneous Localization And Mapping)を用いて、自己位置ｖ及び傾きｒを同時に追跡することができる（例えば非特許文献５参照）。

本発明における「姿勢」とは、現実空間（３次元空間）における「位置ｖ」（３行列）と、傾きｒ（３行列）から算出された「回転行列Ｒ」（３×３行列）とから、以下のように「姿勢Ｔ」（４×４行列）を定義する（例えば非特許文献２参照）。

これによって、位置ｖ及び傾きｒから姿勢Ｔを導出することができると共に、逆に、姿勢Ｔから位置ｖ及び傾きｒを導出することもできる。

図６は、第２の発明における主端末の機能構成図である。
図７は、第２の発明における主端末のフローチャートである。

主端末１は、狭域通信によって、複数の副端末２と通信する。
「狭域通信」としては、無線であってもよいし、又は、有線であってもよい。特に、例えばBluetooth（登録商標）やZigbee（登録商標）のような近距離無線通信や、無線ＬＡＮのような狭域無線ネットワークであることが好ましい。
例えばBluetoothの場合、特に電波の到達範囲が狭いＢＬＥ(Bluetooth Low Energy)が適する。低消費電力版Bluetoothとして、１／３程度の電力で動作するために、主端末１及び副端末２の電力消費を低く抑えることができる。
例えば副端末２が、タグデバイスとして、広報パケット(Advertising Packet)を常時発信する。広報パケットは、例えば100msの間隔で、周期的に送信される。ＢＬＥ規格によれば、副端末２を「advertiser」として機能させ、広報パケットには、端末ＩＤとして「ビーコンＩＤ」が含められる。

図６によれば、主端末１は、副端末検出部１１と、副端末姿勢受信部１１１と、物体認識部１１２と、物体姿勢検出部１１３と、姿勢変位検出部１１４と、副端末特定部１１５と、副端末選択部１２と、副端末通信部１３と、サーバアクセス部１４とを有する。これら機能構成部も、主端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、端末特定方法としても理解できる。

［副端末検出部１１］
副端末検出部１１は、副端末２それぞれから、端末ＩＤを取得する。
端末ＩＤとしては、例えばビーコンＩＤやＩＰアドレス、ＭＡＣ(Media Access Control)アドレスであってもよい。
例えば狭域通信がＢＬＥである場合、副端末２は定期的に端末ＩＤを発信しており、主端末１の副端末検出部１１は、その端末ＩＤを受信することができる。
例えば狭域通信が無線ＬＡＮである場合、主端末１の副端末検出部１１は、マルチキャストで問い合わせ要求を配信することによって、副端末２から端末ＩＤを受信することができる。
取得された端末ＩＤは、副端末姿勢受信部１１１へ出力される。

［副端末姿勢受信部１１１］
副端末姿勢受信部１１１は、所定時間毎（Δt）に、副端末検出部１１によって既に検出された副端末２それぞれから、副端末座標系Ｈの副端末姿勢Ｔ_H2（位置ｖ及び傾きｒ）を受信する。副端末座標系Ｈの副端末姿勢Ｔ_H2は、副端末２の姿勢センサ２０５によって検知されたものである。
Ｔ_H2：副端末座標系Ｈの副端末姿勢
副端末２それぞれにおける所定時間毎の副端末座標系Ｈの副端末姿勢Ｔ_H2は、姿勢変位検出部１１４へ出力される。

［物体認識部１１２］
物体認識部１１２は、カメラ１０４によって撮影された映像から、現実空間の複数の副端末２を、オブジェクトとして認識する。

副端末２は、現実空間では同一物体であっても、視点によって多様な形状で映像に映り込む。そのように形状が変化しても、同一物体として検出できるようにロバストな特徴抽出技術が用いられる。例えば副端末２の外観（例えばＨＭＤ端末の外観）を予め学習した物体認識エンジンを用いて、副端末２のオブジェクトを認識するものであってもよい。一般的には、例えばＳＩＦＴ(Scale-Invariant Feature Transform)や深層ニューラルネットワークのクラス分類技術がある。このような特徴抽出技術は、２Ｄ画像であっても、３Ｄ画像（又はポイントクラウド）であっても可能となる。
最も簡易には、２Ｄ画像であれば、物体認識部１１２は、例えば副端末２自体に貼り付けられたマーカを認識するものであってもよい。マーカは、例えば２次元的なＱＲコード（登録商標）であってもよい。

［物体姿勢検出部１１３］
物体姿勢検出部１１３は、所定時間毎（Δt）に、副端末２（のオブジェクト）それぞれについて、主端末１の姿勢センサ１０５に基づく主端末座標系Ａの副端末姿勢Ｔ_A2を検出する。
Ｔ_A2：主端末座標系Ａの副端末姿勢
物体姿勢検出部１１３は、カメラによって撮影された映像から、物体認識部１１２によって認識された副端末２のオブジェクトそれぞれについて、主端末座標系Ａに基づく位置ｖ及び傾きｒを検出する。そして、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａの副端末姿勢Ｔ_A2として検出する。
前述した図５によれば、主端末座標系Ａの副端末姿勢Ｔ_A2は、映像に映り込む副端末２（ＨＭＤ端末）を装着したユーザが向く前面に対する位置ｖ及び傾きｒから導出されたものである。ユーザが向く前面は、副端末２に配置された所定マーカの位置に基づいて特定される。

カメラ１０４によって撮影された２Ｄ画像に、物体（例えばマーカ）が映り込む場合、そのオブジェクトは、カメラの向きに応じて異なる角度から映る。映像に映り込むオブジェクトの画像の形状から、その姿勢（位置ｖ及び傾きｒ）を検出することができる（例えば非特許文献３参照）。具体的には、マーカの中心位置を示す位置ベクトルと、ｘ軸及びｙ軸がマーカの辺に平行で、z軸がそれらに垂直になるような回転軸ベクトルが検出される。

回転軸ベクトルとは、ロドリゲスの回転公式に従って、物体を任意の傾きにするべく回転させる際の軸方向を「向き」とし、回転角度を「ノルム」として持つベクトルを意味する。具体的には、OpenCV（登録商標）のarucoというマーカ検出機能を用いることができる（例えば非特許文献４参照）。

尚、主端末座標系Ａの副端末姿勢Ｔ_A2は、物体検知場所（例えばマーカ設置位置）に大きな影響を受けるために、姿勢補正行列を導入することが好ましい。
Ｔ_A2＝Ｔ_A1Ｔ_1sＴ_S2Ｔ_c
Ｔ_A1：主端末座標系Ａにおける主端末姿勢
Ｔ_1s：主端末姿勢座標系におけるカメラ（センサ）座標系の姿勢
Ｔ_S2：カメラ（センサ）座標系における映像認識された副端末の姿勢
Ｔ_c：姿勢補正行列
ここで、主端末姿勢座標系とは、主端末座標系Ａにおける主端末姿勢を基準とする座標系である。
このように実際には、センサ座標系から主端末座標系に変換する処理が必要となる。

［姿勢変位検出部１１４］
姿勢変位検出部１１４は、所定時間毎（Δt）に、副端末姿勢受信部１１１から、副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2を入力すると共に、物体姿勢検出部１１３から主端末座標系Ａの副端末姿勢Ｔ_A2を入力する。
（時刻t）
副端末２１の副端末座標系Ｈの副端末姿勢Ｔ_H21(t)
副端末２２の副端末座標系Ｈの副端末姿勢Ｔ_H22(t)
副端末２３の副端末座標系Ｈの副端末姿勢Ｔ_H23(t)
映像認識されたオブジェクトａの主端末座標系Ａの副端末姿勢Ｔ_A2a(t)
映像認識されたオブジェクトｂの主端末座標系Ａの副端末姿勢Ｔ_A2b(t)
映像認識されたオブジェクトｃの主端末座標系Ａの副端末姿勢Ｔ_A2c(t)
（時刻t+Δt）
副端末２１の副端末座標系Ｈの副端末姿勢Ｔ_H21(t+Δt)
副端末２２の副端末座標系Ｈの副端末姿勢Ｔ_H22(t+Δt)
副端末２３の副端末座標系Ｈの副端末姿勢Ｔ_H23(t+Δt)
映像認識されたオブジェクトａの主端末座標系Ａの副端末姿勢Ｔ_A2a(t+Δt)
映像認識されたオブジェクトｂの主端末座標系Ａの副端末姿勢Ｔ_A2b(t+Δt)
映像認識されたオブジェクトｃの主端末座標系Ａの副端末姿勢Ｔ_A2c(t+Δt)

そして、姿勢変位検出部１１４は、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と、主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2とを検出する。
副端末２１の副端末座標系Ｈの副端末姿勢Ｔ_H21の変位：
ΔＴ_H21＝（Ｔ_H21(t)）^-1Ｔ_H21(t+Δt)
副端末２２の副端末座標系Ｈの副端末姿勢Ｔ_H22の変位：
ΔＴ_H22＝（Ｔ_H22(t)）^-1Ｔ_H22(t+Δt)
副端末２３の副端末座標系Ｈの副端末姿勢Ｔ_H23の変位：
ΔＴ_H23＝（Ｔ_H23(t)）^-1Ｔ_H23(t+Δt)
映像認識されたオブジェクトａの主端末座標系Ａの副端末姿勢Ｔ_A2aの変位：
ΔＴ_A2a＝（Ｔ_A2a(t)）^-1Ｔ_A2a(t+Δt)
映像認識されたオブジェクトｂの主端末座標系Ａの副端末姿勢Ｔ_A2bの変位：
ΔＴ_A2b＝（Ｔ_A2b(t)）^-1Ｔ_A2b(t+Δt)
映像認識されたオブジェクトｃの主端末座標系Ａの副端末姿勢Ｔ_A2cの変位：
ΔＴ_A2c＝（Ｔ_A2c(t)）^-1Ｔ_A2c(t+Δt)

図８は、第２の発明における主端末座標系と副端末座標系との関係を表す説明図である。
図９は、第２の発明における現実空間と仮想空間との関係を表す説明図である。

図８によれば、１つの物体としての副端末であっても、基準とする座標系が異なれば、姿勢も異なる。また、副端末座標系Ｈも、異なる主端末座標系Ａを基準とした姿勢を持つ。
Ｔ_A1：主端末座標系Ａの主端末姿勢
Ｔ_A2：主端末座標系Ａの副端末姿勢
Ｔ_H2：副端末座標系Ｈの副端末姿勢
Ｔ_AH：主端末座標系Ａからみた副端末座標系Ｈの姿勢
Ｔ_HA：副端末座標系Ｈからみた主端末座標系Ａの姿勢

主端末座標系Ａの主端末姿勢Ｔ_A1は、主端末１に搭載された姿勢センサ１０５によって検知されたものである。
副端末座標系Ｈの副端末姿勢Ｔ_H2も、副端末２に搭載された姿勢センサ２０５によって検知されたものである。主端末１は、副端末２から、その副端末座標系Ｈの副端末姿勢Ｔ_H2を受信する。
主端末座標系Ａの副端末姿勢Ｔ_A2は、主端末１のカメラ１０４によって撮影された映像に映り込むオブジェクトから、物体姿勢検出部１１４によって検出されたものである。

現実空間の相対姿勢としては、主端末座標系Ａの副端末姿勢Ｔ_A2と、副端末座標系Ｈの副端末姿勢Ｔ_H2とから算出した、例えば主端末座標系Ａからみた副端末座標系Ｈの相対姿勢Ｔ_AHである。これは、以下のように算出される。
Ｔ_AH＝Ｔ_A2Ｔ_H2 ^-1
Ｔ_A2：主端末座標系Ａの副端末姿勢
Ｔ_H2 ^-1：副端末座標系Ｈの副端末姿勢Ｔ_H2の逆行列

図９によれば、現実空間と仮想空間との関係を、主端末座標系Ａからみた副端末座標系Ｈの姿勢Ｔ_AHと、副端末座標系Ｈからみた主端末座標系Ａの姿勢Ｔ_HAとを逆行列で一致させることができる。
Ｔ_AH：主端末座標系Ａからみた副端末座標系Ｈの姿勢
Ｔ_HA：副端末座標系Ｈからみた主端末座標系Ａの姿勢
Ｔ_AH＝Ｔ_HA ^-1

［副端末特定部１１５］
副端末特定部１１５は、副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と最も近い変位となる主端末座標系Ａの副端末姿勢変位ΔＴ_A2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける。
（副端末の端末ＩＤ） （映像認識されたオブジェクト）
副端末２１ <-> 副端末ａ
副端末２２ <-> 副端末ｃ
副端末２３ <-> 副端末ｂ

副端末特定部１１５は、変位が最小となる副端末同士を対応付けるために、各ΔＴ_Aと各ΔＴ_Hにおける各要素の差の絶対値の和である「行列ノルム」を用いてもよい。他の方法としては、各ΔＴ_Aから抽出した位置ｖ又は傾きｒと、各ΔＴ_Hから抽出した位置ｖ又は傾きｒにおいて、ベクトル差を求め、その大きさである「ベクトルノルム」を用いてもよいし、各ΔＴ_Aから抽出した傾きrと各ΔＴ_Hから抽出した傾きrから回転軸ベクトルを算出し、そのノルムを用いてもよい。
これらのノルムが閾値以下かつ最も小さい副端末同士を対応付ける。

［副端末選択部１２］
副端末選択部１２は、オペレータ操作によって、いずれかの副端末２を選択する。選択された副端末２の端末ＩＤは、副端末通信部１３へ出力される。

副端末選択部１２は、カメラ１０４によって撮影された映像に映り込む現実空間の複数の副端末の中で、１つの副端末のオブジェクトをオペレータ操作によって選択させる。このとき、ディスプレイ１０１には、オペレータから視認するカメラの映像のオブジェクトと、取得した端末ＩＤとが対応付けて表示され、オペレータにとって選択しやすくすることができる。また、各端末ＩＤに、予め設定されたユーザ識別名を対応付けてディスプレイ１０１に表示することもできる。

前述した図７によれば、副端末選択部１２は、カメラ１０４にオペレータの指が映り込んだ場合、その指で指し示すことによって、映像上の副端末２を選択することができる（例えば非特許文献６及び７参照）。具体的には、副端末２と認識された映像内のオブジェクトと、指と認識された映像内のオブジェクトとのコリジョンを判定する。

［副端末通信部１３］
副端末通信部１３は、副端末選択部１２によって選択された副端末２から、当該副端末２がログイン中の仮想空間サーバ３のサーバアドレスを取得する。
例えば、副端末通信部１３は、サーバアドレス要求を副端末２へ送信する。これに対し、副端末２は、アクセス中の仮想空間サーバ３のサーバアドレスを返信する。
これによって取得されたサーバアドレスは、サーバアクセス部１４へ出力される。

（サーバアクセス部１４）
そして、サーバアクセス部１４は、読み取った「サーバアドレス」に基づく仮想空間サーバ３へログインする。

本願の第２の発明として、主端末からみて現実空間で視認可能な位置に存在する副端末を選択でき、その副端末と通信することができる。

以上、詳細に説明したように、本願の第１の発明として、主端末からみて現実空間で視認可能な位置に存在する副端末と同一の仮想空間へ参入することができる。
また、本願の第２の発明として、主端末からみて現実空間で視認可能な位置に存在する副端末を選択でき、その副端末と通信することができる。

前述した本発明における種々の実施形態によれば、当業者は、本発明の技術思想及び見地の範囲における種々の変更、修正及び省略を容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 主端末
１０１ ディスプレイ
１０２ 狭域通信部
１０３ 広域通信部
１０４ カメラ
１０５ 姿勢センサ
１０ マーカ読み取り部
１１ 副端末検出部
１２ 副端末選択部
１３ 副端末通信部
１４ サーバアクセス部
１１１ 副端末姿勢受信部
１１２ 物体認識部
１１３ 物体姿勢検出部
１１４ 姿勢変位検出部
１１５ 副端末特定部
２ 副端末
２０５ 姿勢センサ
３ 仮想空間サーバ

Claims (10)

1. カメラを搭載した主端末において、
   副端末自体に又は副端末に接続する周辺機器に、当該副端末がログインする仮想空間サーバのサーバアドレスが記録されたマーカが付与されており、
   カメラによって撮影された副端末自体に又は副端末に接続する周辺機器が映り込む映像から当該マーカを検出し、仮想空間サーバのサーバアドレスを読み取るマーカ読み取り手段と、
   読み取ったサーバアドレスに基づく仮想空間サーバへログインするサーバアクセス手段と
   を有し、副端末と同一の仮想空間へ参入することを特徴とする主端末。
2. サーバアクセス手段は、
   広域通信を介して外部ネットワークに配置された仮想空間サーバへ、
   狭域通信を介してローカルに配置された仮想空間サーバへ、又は、
   狭域通信を介して副端末に搭載された仮想空間サーバへ
   アクセスすることを特徴とする請求項１に記載の主端末。
3. マーカには、当該副端末の端末識別子又はユーザ識別子が更に記録されており、
   マーカ読み取り手段は、当該マーカから、当該副端末の端末識別子又はユーザ識別子を読み取り、
   サーバアクセス手段は、読み取った当該副端末の端末識別子又はユーザ識別子を、仮想空間サーバへ更に送信し、
   仮想空間サーバによって、現実空間の当該副端末と仮想空間の端末とが紐付けられる
   ことを特徴とする請求項１又は２に記載の主端末。
4. マーカに記録された当該副端末の端末識別子は、近距離通信又は狭域通信におけるＭＡＣ(Media Access Control)アドレスである
   ことを特徴とする請求項３に記載の主端末。
5. 主端末は、ディスプレイを搭載した眼鏡型、コンタクトレンズ型、又は、ヘッドマウント型の端末であり、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する複数の副端末をオペレータに視認させる
   ことを特徴とする請求項１から４のいずれか１項に記載の主端末。
6. 請求項１から５のいずれ１項に記載の主端末と、当該副端末とを有するシステムであって、
   当該副端末は、当該マーカを、外部から視認可能なディスプレイに表示する
   ことを特徴とするシステム。
7. ディスプレイには、当該副端末を装着するユーザによって異なるサーバアドレスが記録されたマーカが表示される
   ことを特徴とする請求項６に記載のシステム。
8. 当該副端末は、ユーザが所持するスマートフォンと通信可能であり、
   当該副端末は、スマートフォンからユーザ情報を受信し、当該ユーザ情報に基づいてマーカを変化させてディスプレイに表示する
   ことを特徴とする請求項７に記載のシステム。
9. カメラを搭載した主端末に搭載されたコンピュータを機能させるプログラムにおいて、
   副端末自体に又は副端末に接続する周辺機器に、当該副端末がログインする仮想空間サーバのサーバアドレスが記録されたマーカが付与されており、
   カメラによって撮影された副端末自体に又は副端末に接続する周辺機器が映り込む映像から当該マーカを検出し、仮想空間サーバのサーバアドレスを読み取るマーカ読み取り手段と、
   読み取ったサーバアドレスに基づく仮想空間サーバへログインするサーバアクセス手段と
   してコンピュータを機能させ、副端末と同一の仮想空間へ参入する
   ことを特徴とする主端末のプログラム。
10. カメラを搭載した主端末の仮想空間サーバ接続方法であって、
    副端末自体に又は副端末に接続する周辺機器に、当該副端末がログインする仮想空間サーバのサーバアドレスが記録されたマーカが付与されており、
    主端末は、
    カメラによって撮影された副端末自体に又は副端末に接続する周辺機器が映り込む映像から当該マーカを検出し、仮想空間サーバのサーバアドレスを読み取る第１のステップと、
    読み取ったサーバアドレスに基づく仮想空間サーバへログインする第２のステップと
    を実行し、副端末と同一の仮想空間へ参入する
    ことを特徴とする主端末の仮想空間サーバ接続方法。
    
    

Images