JP2022175911A

JP2022175911A - 副端末と同一の仮想空間へ参入する主端末、プログラム、システム及び方法

Info

Publication number: JP2022175911A
Application number: JP2021082689A
Authority: JP
Inventors: 英悟池谷; Eigo Iketani
Original assignee: Ikeya Seisakusho Co Ltd
Current assignee: Ikeya Seisakusho Co Ltd
Priority date: 2021-05-14
Filing date: 2021-05-14
Publication date: 2022-11-25
Anticipated expiration: 2041-05-14
Also published as: JP7015081B1

Abstract

【課題】本願の第１の発明として、主端末からみて現実空間で視認可能な位置に存在する副端末と同一の仮想空間へ参入することができる主端末等を提供する。【解決手段】主端末は、副端末それぞれから、端末識別子を取得する副端末検出手段と、オペレータ操作によって、いずれかの副端末を選択する副端末選択手段と、選択された副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段と、副端末から取得したサーバアドレスに基づく仮想空間サーバへログインするサーバアクセス手段とを有し、副端末と同一の仮想空間へ参入する。サーバアクセス手段は、広域通信を介して外部ネットワークに配置された仮想空間サーバへ、狭域通信を介してローカルに配置された仮想空間サーバへ、又は、狭域通信を介して副端末に搭載された仮想空間サーバへアクセスする。【選択図】図３

Description

本発明は、仮想現実(Virtual Reality)、拡張現実(Augmented Reality)又は複合現実(Mixed Reality)の技術に関する。

仮想現実とは、ユーザの頭部にＨＭＤ(Head Mount Display)端末を装着し、ユーザの視界に３次元の仮想空間を表示する技術をいう。ユーザは、自ら動きながら仮想空間への没入感を得ることができる。
拡張現実とは、ユーザの視界に映る現実空間に、ＣＧ(Computer Graphics)映像を表示する技術をいう。例えばシースルーのディスプレイ上に、又は、現実空間をカメラで撮影した映像上に、ＣＧを重畳的に表示することによって、現実空間を拡張する。
複合現実とは、ＣＧで人工的に作られた仮想空間を、現実空間と融合させる技術をいう。現実空間の物体が仮想空間と一体化しており、ユーザは、自らの動きが、現実空間且つ仮想空間として相互に影響する。
これら技術によれば、ＨＭＤ端末やＡＲ／ＭＲ端末は、姿勢センサによってユーザの動きを検知すると共に、仮想空間サーバにアクセスすることによって仮想空間情報を取得して表示する。

従来、複数のユーザ間における体験共有システムの技術がある（例えば特許文献１参照）。この技術によれば、カメラによって撮影された映像を無線で送信する「スマートめがね」と、そのスマートめがねから映像を受信し、ユーザに仮想現実映像を表示する「ＶＲ機器」とを有する。

また、拡張現実空間（又は仮想現実空間）を介したサービスを提供する技術もある（例えば特許文献２参照）。この技術によれば、識別コードが貼り付けられたＩｏＴ機器と、識別コードを撮影するＡＲ（又はＶＲ）機器とを有する。ＡＲ機器は、識別コードを読み取ることによって、その基準点となる拡張現実空間をユーザに表示すると共に、ＩｏＴ機器は、拡張現実空間と連携してユーザにサービスを提供する。

特表２０２０－５０６５６５号公報特開２０１６－７１４９６号公報

SteamVR・lighthouse、[online]、［令和２年５月１日検索］、インターネット＜URL:https://www.moguravr.com/terms/index-r/lighthouse/#:~:text=Lighthouse%E3%81%A8%E3%81%AF%E3%80%81PC%E5%90%91%E3%81%91,%E3%81%99%E3%82%8B%E3%81%93%E3%81%A8%E3%81%8C%E5%8F%AF%E8%83%BD%E3%81%A7%E3%81%99%E3%80%82＞回転行列、[online]、［令和２年５月１日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/%E5%9B%9E%E8%BB%A2%E8%A1%8C%E5%88%97＞ ARToolkit Overview、[online]、［令和２年５月１日検索］、インターネット＜URL:https://im-lab.net/artoolkit-overview/＞ OpenCV Detection of ArUco Markers、[online]、［令和２年５月１日検索］、インターネット＜URL:https://docs.opencv.org/master/d5/dae/tutorial_aruco_detection.html＞ＳＬＡＭ、[online]、［令和２年５月１日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/SLAM＞指さし行動の理解支援に向けたＡＲ図示システムの提案、[online]、［令和２年５月１日検索］、インターネット＜URL:http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/201703g_UENO_Kaede.pdf＞コリジョンの概要、[online]、［令和２年５月１日検索］、インターネット＜URL:https://docs.unrealengine.com/ja/InteractiveExperiences/Physics/Collision/Overview/index.html＞

図１は、オペレータが視認可能な現実空間に複数の副端末が存在するシステム構成図である。

図１によれば、オペレータが、現実空間に存在する複数のユーザａ～ｃを視認している。複数のユーザａ～ｃはそれぞれ、ＨＭＤ端末のような副端末２を頭部に装着し、各ＨＭＤ端末は、仮想空間サーバ３にアクセスしている。これによって、副端末２はそれぞれ、ユーザ所望の仮想空間を再生することができる。

しかしながら、以下のような２つの課題がある。
［第１の課題］
ＨＭＤ端末によって再生中の仮想空間は、そのＨＭＤ端末を装着したユーザ主導で体験するものである。勿論、仮想空間の映像を、他のディスプレイに表示することは既存技術でもできる。しかしながら、あくまで、その仮想空間に干渉できるのは、ＨＭＤ端末を装着したユーザのみであり、極めて個人的な体験になってしまっている。

図１によれば、例えば、身体が不自由な要介護者（ユーザ）に、ＨＭＤ端末（副端末２）を装着させ、仮想空間を体験してもらうことを想定する。このとき、要介護者は、個人的に仮想空間に没頭することができるが、介護者（オペレータ）は、その要介護者がＨＭＤ端末によって視認している仮想空間を認識することができない。当然、介護者は、要介護者の仮想空間に対する操作を補助することもできない。
このような課題は、介護の場面に限らない。例えばＨＭＤ端末を装着した職業訓練者と、仮想空間における訓練を指導する指導者との関係も同様なものである。

これに対し、本願の発明者は、オペレータも例えば主端末（例えばＡＲ端末）を頭部に装着することによって、シースルーディスプレイを通して副端末２と同一の仮想空間へ参入することができればよいのではないか、と考えた。

そこで、第１の課題を解決する本願の第１の発明として、現実空間で視認可能な位置に存在する副端末と同一の仮想空間へ参入することができる主端末、プログラム、システム及び方法を提供することを目的とする。

［第２の課題］
オペレータが装着した主端末１は、ユーザが装着した複数のＨＭＤ端末（副端末２）と通信することは可能である。しかしながら、オペレータが、現実空間で視認可能な複数のＨＭＤ端末の中で、所望のＨＭＤ端末を選択することは難しい。
ＡＲ端末であれば、例えばオペレータの視認先となるＨＭＤ端末のオブジェクトを、オペレータの指で指し示すことによって、そのＨＭＤ端末を選択できるかもしれない。しかしながら、オペレータのＡＲ端末のカメラから見える映像内のオブジェクトとして選択できたに過ぎない。このとき、オペレータ所望のＨＭＤ端末と通信するためのアドレス（端末ＩＤ）を特定することはできない。アドレスとは、例えばＩＰアドレスやＭＡＣ(Media Access Control)アドレス、ビーコンＩＤのような端末ＩＤである。
結局、オペレータの主端末１は、ユーザの副端末２を任意に選択し、直接的な通信をすることができない。

これに対し、本願の発明者は、ユーザが、現実空間で視認可能な位置に存在する複数の副端末の中から、所望の通信相手となる副端末を選択した際に、その副端末のアドレスを特定することができないか、と考えた。

そこで、本発明は、第２の課題を解決する本願の第２の発明として、現実空間で視認可能な位置に存在する副端末を選択でき、その副端末と通信することができる主端末、プログラム、システム及び方法を提供することを目的とする。

本発明によれば、第１の課題を解決する第１の発明と、第２の課題を解決する第２の発明とを開示する。

＜第１の発明＞
本願の第１の発明は、副端末と同一の仮想空間へ参入する主端末、プログラム、システム及び方法に関する。

本願の第１の発明によれば、現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末であって、
副端末それぞれから、端末識別子を取得する副端末検出手段と、
オペレータ操作によって、いずれかの副端末を選択する副端末選択手段と、
選択された副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段と、
副端末から取得したサーバアドレスに基づく仮想空間サーバへログインするサーバアクセス手段と
を有し、副端末と同一の仮想空間へ参入することを特徴とする。

本願の第１の発明の主端末における他の実施形態によれば、
サーバアクセス手段は、
広域通信を介して外部ネットワークに配置された仮想空間サーバへ、
狭域通信を介してローカルに配置された仮想空間サーバへ、又は、
狭域通信を介して副端末に搭載された仮想空間サーバへ
アクセスすることも好ましい。

本願の第１の発明の主端末における他の実施形態によれば、
主端末は、カメラと、姿勢センサとを更に搭載し、
所定時間毎に、副端末それぞれから、副端末座標系Ｈの副端末姿勢Ｔ_H2を受信する副端末姿勢受信手段と、
カメラによって撮影された映像から、現実空間の複数の副端末を認識する物体認識手段と、
所定時間毎に、カメラによって撮影された映像から、副端末それぞれについて、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢Ｔ_A2を検出する物体姿勢検出手段と、
所定時間毎に、副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と、主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2とを検出する姿勢変位検出手段と、
副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と最も近い変位となる主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける副端末特定手段と
を有し、
副端末選択手段は、カメラによって撮影された映像に映り込む現実空間の複数の副端末の中で、１つの副端末のオブジェクトをオペレータ操作によって選択させる
ことも好ましい。

本願の第１の発明の主端末における他の実施形態によれば、
副端末は、姿勢センサを有し、
主端末座標系Ａの副端末姿勢Ｔ_A2は、映像に映り込む副端末におけるユーザが向く前面に対する位置ｖ及び傾きｒから導出されたものであり、
副端末座標系Ｈの副端末姿勢Ｔ_H2は、当該副端末の姿勢センサによって検知されたものであることも好ましい。

本願の第１の発明の主端末における他の実施形態によれば、
主端末座標系Ａの副端末姿勢Ｔ_A2について、映像に映り込む副端末におけるユーザが向く前面は、副端末に配置された所定マーカの位置に基づいて特定されることも好ましい。

本願の第１の発明の主端末における他の実施形態によれば、
副端末姿勢受信手段は、当該副端末座標系Ｈに基づく位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ｈの副端末姿勢Ｔ_H2とし、
物体姿勢検出手段は、カメラによって撮影された映像から、副端末それぞれについて、主端末座標系Ａに基づく位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａの副端末姿勢Ｔ_A2とする
ことも好ましい。

本願の第１の発明の主端末における他の実施形態によれば、
主端末は、ディスプレイを搭載した眼鏡型、コンタクトレンズ型、又は、ヘッドマウント型の端末であり、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する複数の副端末をオペレータに視認させる
ことも好ましい。

本願の第１の発明によれば、現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末に搭載されたコンピュータを機能させるプログラムであって、
副端末それぞれから、端末識別子を取得する副端末検出手段と、
オペレータ操作によって、いずれかの副端末を選択する副端末選択手段と、
選択された副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段と、
副端末から取得したサーバアドレスに基づく仮想空間サーバへログインするサーバアクセス手段と
してコンピュータを機能させることを特徴とする。

本願の第１の発明によれば、主端末と、当該主端末からみて現実空間で視認可能な位置に存在する複数の副端末と通信可能なシステムであって、
主端末は、
副端末それぞれから、端末識別子を取得する副端末検出手段と、
オペレータ操作によって、いずれかの副端末を選択する副端末選択手段と、
選択された副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段と、
副端末から取得したサーバアドレスに基づく仮想空間サーバへログインするサーバアクセス手段と
を有し、
副端末は、主端末からの要求に応じて、端末識別子及びサーバアドレスを応答する
ことを特徴とする。

本願の第１の発明によれば、現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末の仮想空間サーバ接続方法であって、
主端末は、
副端末それぞれから、端末識別子を取得する第１のステップと、
オペレータ操作によって、いずれかの副端末を選択する第２のステップと、
選択された副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する第３のステップと、
副端末から取得したサーバアドレスに基づく仮想空間サーバへログインする第４のステップと
を実行することを特徴とする。

＜第２の発明＞
本願の第２の発明は、カメラに映り込む現実空間でユーザによって選択された副端末を特定する主端末、プログラム、システム及び方法に関する。

本願の第２の発明によれば、カメラ及び姿勢センサを搭載した主端末について、当該現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末であって、
副端末それぞれから、端末識別子を取得する副端末検出手段と、
所定時間毎に、副端末それぞれから、副端末座標系Ｈの副端末姿勢Ｔ_H2を受信する副端末姿勢受信手段と、
カメラによって撮影された映像から、現実空間の複数の副端末を認識する物体認識手段と、
所定時間毎に、カメラによって撮影された映像から、副端末それぞれについて、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢Ｔ_A2を検出する物体姿勢検出手段と、
所定時間毎に、副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と、主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2とを検出する姿勢変位検出手段と、
副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と最も近い変位となる主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける副端末特定手段と
を有することを特徴とする。

本願の第２の発明における他の実施形態によれば、
カメラによって撮影された映像に映り込む現実空間の複数の副端末の中で、１つの副端末のオブジェクトをオペレータ操作によって選択させ、当該副端末の端末識別子を特定する副端末選択手段と、
特定された端末識別子に対応する副端末と通信する副端末通信手段と
を更に有することも好ましい。

本願の第２の発明における他の実施形態によれば、
副端末通信手段は、副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得し、
副端末から取得したサーバアドレスに基づく仮想空間サーバへログインするサーバアクセス手段を更に有し、
副端末と同一の仮想空間へ参入することも好ましい。

本願の第２の発明における他の実施形態によれば、
サーバアクセス手段は、
外部に配置された仮想空間サーバへ、ネットワークを介してログインするか、又は、
副端末に搭載された仮想空間サーバへ、狭域通信を介してログインする
ことも好ましい。

本願の第２の発明における他の実施形態によれば、
副端末は、姿勢センサを有し、
主端末座標系Ａは、主端末の座標系であり、
主端末座標系Ａの副端末姿勢Ｔ_A2は、映像に映り込む副端末におけるユーザが向く前面に対する傾きベクトルから導出されたものであり、
副端末座標系Ｈは、副端末の座標系であり、
副端末座標系Ｈの副端末姿勢Ｔ_H2は、当該副端末の姿勢センサによって検知されたものである
ことも好ましい。

本願の第２の発明における他の実施形態によれば、
主端末座標系Ａの副端末姿勢Ｔ_A2について、映像に映り込む副端末におけるユーザが向く前面は、副端末に配置された所定マーカの位置に基づいて特定されることも好ましい。

本願の第２の発明における他の実施形態によれば、
副端末姿勢受信手段は、当該副端末座標系Ｈに基づく位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ｈの副端末姿勢Ｔ_H2とし、
物体姿勢検出手段は、カメラによって撮影された映像から、副端末それぞれについて、主端末座標系Ａに基づく位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａの副端末姿勢Ｔ_A2とする
ことも好ましい。

本願の第２の発明における他の実施形態によれば、
主端末は、ディスプレイを搭載した眼鏡型、コンタクトレンズ型、又は、ヘッドマウント型の端末であり、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する複数の副端末をオペレータに視認させる
ことも好ましい。

本願の第２の発明によれば、カメラ及び姿勢センサを搭載した主端末について、当該現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末に搭載されたコンピュータを機能させるプログラムであって、
副端末それぞれから、端末識別子を取得する副端末検出手段と、
所定時間毎に、副端末それぞれから、副端末座標系Ｈの副端末姿勢Ｔ_H2を受信する副端末姿勢受信手段と、
カメラによって撮影された映像から、現実空間の複数の副端末を認識する物体認識手段と、
所定時間毎に、カメラによって撮影された映像から、副端末それぞれについて、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢Ｔ_A2を検出する物体姿勢検出手段と、
所定時間毎に、副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と、主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2とを検出する姿勢変位検出手段と、
副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と最も近い変位となる主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける副端末特定手段と
を有することを特徴とする。

本願の第２の発明によれば、カメラ及び姿勢センサを搭載した主端末と、当該主端末からみて現実空間で視認可能な位置に存在する複数の副端末と通信可能なシステムであって、
主端末は、
副端末それぞれから、端末識別子を取得する副端末検出手段と、
所定時間毎に、副端末それぞれから、副端末座標系Ｈの副端末姿勢Ｔ_H2を受信する副端末姿勢受信手段と、
カメラによって撮影された映像から、現実空間の複数の副端末を認識する物体認識手段と、
所定時間毎に、カメラによって撮影された映像から、副端末それぞれについて、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢Ｔ_A2を検出する物体姿勢検出手段と、
所定時間毎に、副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と、主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2とを検出する姿勢変位検出手段と、
副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と最も近い変位となる主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける副端末特定手段と
を有し、
副端末は、
主端末からの要求に応じて、端末識別子を応答する副端末識別子応答手段と、
所定時間毎に、当該副端末座標系Ｈの副端末姿勢Ｔ_H2を送信する副端末姿勢送信手段と
を有することを特徴とする。

本願の第２の発明によれば、カメラ及び姿勢センサを搭載した主端末について、当該現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末の副端末特定方法であって、
主端末は、
副端末それぞれから、端末識別子を取得する第１のステップと、
所定時間毎に、副端末それぞれから、副端末座標系Ｈの副端末姿勢Ｔ_H2を受信する第２のステップと、
カメラによって撮影された映像から、現実空間の複数の副端末を認識する第３のステップと、
所定時間毎に、カメラによって撮影された映像から、副端末それぞれについて、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢Ｔ_A2を検出する第４のステップと、
所定時間毎に、副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と、主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2とを検出する第５のステップと、
副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と最も近い変位となる主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける第６のステップと
を実行することを特徴とする

本願の第１の発明における主端末、プログラム、システム及び方法によれば、現実空間で視認可能な位置に存在する副端末と同一の仮想空間へ参入することができる。
また、本願の第２の発明における主端末、プログラム、システム及び方法によれば、現実空間で視認可能な位置に存在する副端末を選択でき、その副端末と通信することができる。

オペレータが視認可能な現実空間に複数の副端末が存在するシステム構成図である。本発明におけるシステム構成図である。第１の発明における主端末の機能構成図である。第１の発明における主端末の処理フローを表す説明図である。第２の発明におけるシステム構成図である。第２の発明における主端末の機能構成図である。第２の発明における主端末のフローチャートである。第２の発明における主端末座標系と副端末座標系との関係を表す説明図である。第２の発明における現実空間と仮想空間との関係を表す説明図である。

以下では、図面を用いて、本発明を実施するための形態について詳細に説明する。

図２は、本発明におけるシステム構成図である。

既存技術によれば、仮想空間サーバは、一般的に、遠隔地に滞在する複数のユーザ同士を、同じ仮想空間に存在できるようにするものである。
これに対し、本発明によれば、オペレータが所持する主端末１と、ユーザが所持する副端末２とは、互いに、現実空間で視認可能な位置に存在することにある。即ち、本発明によれば、現実空間の近距離周辺で実現されることに特徴がある。

主端末１は、例えば眼鏡型のＡＲ(Augmented Reality)端末であり、シースルーディスプレイに仮想空間のＣＧを表示することができる。オペレータは、主端末１を装着し、シースルーディスプレイを通して複数のユーザａ～ｃを視認することができる。
一方で、副端末２は、例えばＨＭＤ(Head Mount Display)端末であり、仮想空間サーバ３へアクセスすることができる。ユーザａ～ｃは、ＨＭＤを装着し、仮想空間を体験しているとする。

図２によれば、主端末１はＡＲ端末であるとしているが、ＭＲ(Mixed Reality)端末であってもよいし、これらに限られるものではない。主端末１は、コンタクトレンズ型であってもよいし、カメラ付きで外界の映像も再生するＨＭＤ端末であってもよい。オペレータは、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する複数の副端末２を視認することができる。
一方で、副端末２もＨＭＤ端末であるとしているが、勿論、ＡＲ端末又はＭＲ端末であってよいし、これに限られるものでもない。
主端末１及び副端末２は、例えばスマートフォンのような、カメラとディスプレイとを搭載した端末であってもよいし、タブレットやパーソナルコンピュータであってもよい。

図２によれば、主端末１は、狭域通信によって、複数の副端末２と通信する。
「狭域通信」としては、無線であってもよいし、又は、有線であってもよい。特に、例えばBluetooth（登録商標）やZigbee（登録商標）のような近距離無線通信や、無線ＬＡＮのような狭域無線ネットワークであることが好ましい。
例えばBluetoothの場合、特に電波の到達範囲が狭いＢＬＥ(Bluetooth Low Energy)が適する。低消費電力版Bluetoothとして、１／３程度の電力で動作するために、主端末１及び副端末２の電力消費を低く抑えることができる。
例えば副端末２が、タグデバイスとして、広報パケット(Advertising Packet)を常時発信する。広報パケットは、例えば100msの間隔で、周期的に送信される。ＢＬＥ規格によれば、副端末２を「advertiser」として機能させ、広報パケットには、端末ＩＤとして「ビーコンＩＤ」が含められる。

図２によれば、主端末１も、仮想空間サーバ３にアクセスすることができる。仮想空間サーバ３が配置される場所として、例えば以下の３つのパターンがある。
（１）外部ネットワーク（インターネット）に配置された仮想空間サーバ(Dedicated Server)
（２）ローカルに配置された仮想空間サーバ(Dedicated Server)
（３）副端末に搭載された仮想空間サーバ(Listen Server)
ここで、仮想空間サーバ３がインターネットに配置されている場合、主端末１は、広域通信によってインターネットに接続する。そのインタフェースとなる広域通信も、無線であってもよいし、又は、有線であってもよい。
一方で、仮想空間サーバ３がローカルや副端末自体に配置されている場合、主端末１は、狭域通信を介して通信することができる。

図２によれば、副端末２はそれぞれ、自らの端末ＩＤを用いて主端末１と通信する。また、本発明の特徴として、副端末２は、主端末１からの要求に応じて、ユーザが体験中の仮想空間サーバ３のアドレスを、主端末１へ応答することができる。

＜第１の発明＞
本願の第１の発明としての主端末、プログラム、システム及び方法は、主端末からみて現実空間で視認可能な位置に存在する副端末と同一の仮想空間へ参入することができる。

図３は、第１の発明における主端末の機能構成図である。
図４は、第１の発明における主端末の処理フローを表す説明図である。

図３によれば、主端末１は、ハードウェアとして少なくとも、ディスプレイ１０１と、狭域通信部１０２とを有する。アクセスすべき仮想空間サーバ３の場所によっては、広域通信部１０３も必要とする。
図３によれば、主端末１は、副端末検出部１１と、副端末選択部１２と、副端末通信部１３と、サーバアクセス部１４とを有する。これら機能構成部は、主端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、仮想空間参入方法としても理解できる。

［副端末検出部１１］
副端末検出部１１は、副端末２それぞれから、端末ＩＤを取得する。
端末ＩＤとしては、例えばビーコンＩＤやＩＰアドレス、ＭＡＣ(Media Access Control)アドレスであってもよい。
例えば狭域通信がＢＬＥである場合、副端末２は定期的に端末ＩＤを発信しており、主端末１の副端末検出部１１は、その端末ＩＤを受信することができる。
例えば狭域通信が無線ＬＡＮである場合、主端末１の副端末検出部１１は、マルチキャストで問い合わせ要求を配信することによって、副端末２から端末ＩＤを受信することができる。
取得された端末ＩＤは、副端末選択部１２へ出力される。

［副端末選択部１２］
副端末選択部１２は、オペレータ操作によって、いずれかの副端末２を選択する。選択された副端末２の端末ＩＤは、副端末通信部１３へ出力される。

副端末選択部１２は、例えば周辺から取得した複数の端末ＩＤを、ディスプレイ１０１に表示し、オペレータに選択させるものであってもよい。各端末ＩＤに、予め設定されたユーザ識別名を対応付けてディスプレイ１０１に表示することによって、オペレータが選択しやすくしたものであってもよい。図４によれば、複数の副端末２から取得したビーコンＩＤが表示されており、オペレータ自ら選択することができる。
尚、副端末２の選択機能については、本願の第２の発明を用いることによって、オペレータから視認するカメラの映像のオブジェクトと、取得した端末ＩＤとを対応付けることができる。

［副端末通信部１３］
副端末通信部１３は、副端末選択部１２によって選択された副端末２から、当該副端末２がログイン中の仮想空間サーバ３のサーバアドレスを取得する。取得されたサーバアドレスは、サーバアクセス部１４へ出力される。

例えば主端末１が、サーバアドレス要求を副端末２へ送信する。これに対し、副端末２は、アクセス中の仮想空間サーバ３のサーバアドレスを、主端末１へ返信する。
サーバアドレスとは、ＵＲＬ(Uniform Resource Locator)や、ＩＰアドレス、ポート番号、その他の仮想空間サーバにアクセスするために必要な情報を含む。

［サーバアクセス部１４］
サーバアクセス部１４は、副端末通信部１３によって副端末２から取得されたサーバアドレスに基づく仮想空間サーバ３へログインする。

これによって、本願の第１の発明として、主端末からみて現実空間で視認可能な位置に存在する副端末と同一の仮想空間へ参入することができる。

＜第２の発明＞
本願の第２の発明としての主端末、プログラム、システム及び方法は、主端末からみて現実空間で視認可能な位置に存在する副端末を選択でき、その副端末と通信することができる。

図５は、第２の発明におけるシステム構成図である。

図５によれば、主端末１は、図２と比較して、カメラ１０４を更に有する。
［カメラ１０４］
カメラ１０４は、一般的な２Ｄカメラであってもよいし、３Ｄカメラであってもよい。例えば、レーザーに基づくＬＩＤＡＲ(light detection and ranging)であってもよい。尚、カメラに代えて、ＵＷＢ(Ultra Wide Band)センサであってもよい。

また、図５によれば、主端末１及び副端末２は、図２と比較して、姿勢センサ１０５及び２０５を更に有する。
［姿勢センサ１０５及び２０５］
姿勢センサ１０５及び２０５は、起動中は常時、自らの姿勢(Transform)となる「位置ｖ」及び「傾きｒ」を検知するものである。
図５によれば、以下のような姿勢が表されている。
Ｔ_A1：主端末座標系Ａの主端末姿勢
Ｔ_H2：副端末座標系Ｈの副端末姿勢
尚、主端末座標系Ａは、機器起動時に設定される基準座標系とする。同様に、副端末座標系Ｈも、機器起動時に設定される基準座標系とする。

姿勢センサ１０５及び２０５は、「傾きｒ」を検知するために、ＩＭＵ(Inertial Measurement Unit)を搭載している。これは、一般的なスマートフォンなどに搭載されたものと同じものである。
また、姿勢センサ１０５及び２０５は、「位置ｖ」を検知するために、例えばSteamVR（登録商標）のLighthouse（登録商標）のような、ヘッドマウントディスプレイに搭載されたトラッキングデバイスを搭載する（例えば非特許文献１参照）。これは、現実空間に設置されたアンカー（ベースステーション）と通信することによって、所定範囲内における位置ｖを追跡することができる。
又は、姿勢センサ１０５及び２０５は、前述したＩＭＵやカメラを搭載することによって、ＳＬＡＭ(Simultaneous Localization And Mapping)を用いて、自己位置ｖ及び傾きｒを同時に追跡することができる（例えば非特許文献５参照）。

本発明における「姿勢」とは、現実空間（３次元空間）における「位置ｖ」（３行列）と、傾きｒ（３行列）から算出された「回転行列Ｒ」（３×３行列）とから、以下のように「姿勢Ｔ」（４×４行列）を定義する（例えば非特許文献２参照）。

これによって、位置ｖ及び傾きｒから姿勢Ｔを導出することができると共に、逆に、姿勢Ｔから位置ｖ及び傾きｒを導出することもできる。

図６は、第２の発明における主端末の機能構成図である。
図７は、第２の発明における主端末のフローチャートである。

図６によれば、主端末１は、図２と比較して、副端末姿勢受信部１１１と、物体認識部１１２と、物体姿勢検出部１１３と、姿勢変位検出部１１４と、副端末特定部１１５とを更に有する。これら機能構成部も、主端末１搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、端末特定方法としても理解できる。

［副端末姿勢受信部１１１］
副端末姿勢受信部１１１は、所定時間毎（Δt）に、副端末検出部１１０によって既に検出された副端末２それぞれから、副端末座標系Ｈの副端末姿勢Ｔ_H2（位置ｖ及び傾きｒ）を受信する。副端末座標系Ｈの副端末姿勢Ｔ_H2は、副端末２の姿勢センサ２０５によって検知されたものである。
Ｔ_H2：副端末座標系Ｈの副端末姿勢
副端末２それぞれにおける所定時間毎の副端末座標系Ｈの副端末姿勢Ｔ_H2は、姿勢変位検出部１１４へ出力される。

［物体認識部１１２］
物体認識部１１２は、カメラ１０４によって撮影された映像から、現実空間の複数の副端末２を、オブジェクトとして認識する。

副端末２は、現実空間では同一物体であっても、視点によって多様な形状で映像に映り込む。そのように形状が変化しても、同一物体として検出できるようにロバストな特徴抽出技術が用いられる。例えば副端末２の外観（例えばＨＭＤ端末の外観）を予め学習した物体認識エンジンを用いて、副端末２のオブジェクトを認識するものであってもよい。一般的には、例えばＳＩＦＴ(Scale-Invariant Feature Transform)や深層ニューラルネットワークのクラス分類技術がある。このような特徴抽出技術は、２Ｄ画像であっても、３Ｄ画像（又はポイントクラウド）であっても可能となる。
最も簡易には、２Ｄ画像であれば、物体認識部１１２は、例えば副端末２自体に貼り付けられたマーカを認識するものであってもよい。マーカは、例えば２次元的なＱＲコード（登録商標）であってもよい。

［物体姿勢検出部１１３］
物体姿勢検出部１１３は、所定時間毎（Δt）に、副端末２（のオブジェクト）それぞれについて、主端末１の姿勢センサ１０５に基づく主端末座標系Ａの副端末姿勢Ｔ_A2を検出する。
Ｔ_A2：主端末座標系Ａの副端末姿勢
物体姿勢検出部１１３は、カメラによって撮影された映像から、物体認識部１１２によって認識された副端末２のオブジェクトそれぞれについて、主端末座標系Ａに基づく位置ｖ及び傾きｒを検出する。そして、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａの副端末姿勢Ｔ_A2として検出する。
前述した図５によれば、主端末座標系Ａの副端末姿勢Ｔ_A2は、映像に映り込む副端末２（ＨＭＤ端末）を装着したユーザが向く前面に対する位置ｖ及び傾きｒから導出されたものである。ユーザが向く前面は、副端末２に配置された所定マーカの位置に基づいて特定される。

カメラ１０４によって撮影された２Ｄ画像に、物体（例えばマーカ）が映り込む場合、そのオブジェクトは、カメラの向きに応じて異なる角度から映る。映像に映り込むオブジェクトの画像の形状から、その姿勢（位置ｖ及び傾きｒ）を検出することができる（例えば非特許文献３参照）。具体的には、マーカの中心位置を示す位置ベクトルと、ｘ軸及びｙ軸がマーカの辺に平行で、z軸がそれらに垂直になるような回転軸ベクトルが検出される。

回転軸ベクトルとは、ロドリゲスの回転公式に従って、物体を任意の傾きにするべく回転させる際の軸方向を「向き」とし、回転角度を「ノルム」として持つベクトルを意味する。具体的には、OpenCV（登録商標）のarucoというマーカ検出機能を用いることができる（例えば非特許文献４参照）。

尚、主端末座標系Ａの副端末姿勢Ｔ_A2は、物体検知場所（例えばマーカ設置位置）に大きな影響を受けるために、姿勢補正行列を導入することが好ましい。
Ｔ_A2＝Ｔ_A1Ｔ_1sＴ_S2Ｔ_c
Ｔ_A1：主端末座標系Ａにおける主端末姿勢
Ｔ_1s：主端末姿勢座標系におけるカメラ（センサ）座標系の姿勢
Ｔ_S2：カメラ（センサ）座標系における映像認識された副端末の姿勢
Ｔ_c：姿勢補正行列
ここで、主端末姿勢座標系とは、主端末座標系Ａにおける主端末姿勢を基準とする座標系である。
このように実際には、センサ座標系から主端末座標系に変換する処理が必要となる。

［姿勢変位検出部１１４］
姿勢変位検出部１１４は、所定時間毎（Δt）に、副端末姿勢受信部１１１から、副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2を入力すると共に、物体姿勢検出部１１３から主端末座標系Ａの副端末姿勢Ｔ_A2を入力する。
（時刻t）
副端末２１の副端末座標系Ｈの副端末姿勢Ｔ_H21(t)
副端末２２の副端末座標系Ｈの副端末姿勢Ｔ_H22(t)
副端末２３の副端末座標系Ｈの副端末姿勢Ｔ_H23(t)
映像認識されたオブジェクトａの主端末座標系Ａの副端末姿勢Ｔ_A2a(t)
映像認識されたオブジェクトｂの主端末座標系Ａの副端末姿勢Ｔ_A2b(t)
映像認識されたオブジェクトｃの主端末座標系Ａの副端末姿勢Ｔ_A2c(t)
（時刻t+Δt）
副端末２１の副端末座標系Ｈの副端末姿勢Ｔ_H21(t+Δt)
副端末２２の副端末座標系Ｈの副端末姿勢Ｔ_H22(t+Δt)
副端末２３の副端末座標系Ｈの副端末姿勢Ｔ_H23(t+Δt)
映像認識されたオブジェクトａの主端末座標系Ａの副端末姿勢Ｔ_A2a(t+Δt)
映像認識されたオブジェクトｂの主端末座標系Ａの副端末姿勢Ｔ_A2b(t+Δt)
映像認識されたオブジェクトｃの主端末座標系Ａの副端末姿勢Ｔ_A2c(t+Δt)

そして、姿勢変位検出部１１４は、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と、主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2とを検出する。
副端末２１の副端末座標系Ｈの副端末姿勢Ｔ_H21の変位：
ΔＴ_H21＝（Ｔ_H21(t)）^-1Ｔ_H21(t+Δt)
副端末２２の副端末座標系Ｈの副端末姿勢Ｔ_H22の変位：
ΔＴ_H22＝（Ｔ_H22(t)）^-1Ｔ_H22(t+Δt)
副端末２３の副端末座標系Ｈの副端末姿勢Ｔ_H23の変位：
ΔＴ_H23＝（Ｔ_H23(t)）^-1Ｔ_H23(t+Δt)
映像認識されたオブジェクトａの主端末座標系Ａの副端末姿勢Ｔ_A2aの変位：
ΔＴ_A2a＝（Ｔ_A2a(t)）^-1Ｔ_A2a(t+Δt)
映像認識されたオブジェクトｂの主端末座標系Ａの副端末姿勢Ｔ_A2bの変位：
ΔＴ_A2b＝（Ｔ_A2b(t)）^-1Ｔ_A2b(t+Δt)
映像認識されたオブジェクトｃの主端末座標系Ａの副端末姿勢Ｔ_A2cの変位：
ΔＴ_A2c＝（Ｔ_A2c(t)）^-1Ｔ_A2c(t+Δt)

図８は、第２の発明における主端末座標系と副端末座標系との関係を表す説明図である。
図９は、第２の発明における現実空間と仮想空間との関係を表す説明図である。

図８によれば、１つの物体としての副端末であっても、基準とする座標系が異なれば、姿勢も異なる。また、副端末座標系Ｈも、異なる主端末座標系Ａを基準とした姿勢を持つ。
Ｔ_A1：主端末座標系Ａの主端末姿勢
Ｔ_A2：主端末座標系Ａの副端末姿勢
Ｔ_H2：副端末座標系Ｈの副端末姿勢
Ｔ_AH：主端末座標系Ａからみた副端末座標系Ｈの姿勢
Ｔ_HA：副端末座標系Ｈからみた主端末座標系Ａの姿勢

主端末座標系Ａの主端末姿勢Ｔ_A1は、主端末１に搭載された姿勢センサ１０５によって検知されたものである。
副端末座標系Ｈの副端末姿勢Ｔ_H2も、副端末２に搭載された姿勢センサ２０５によって検知されたものである。主端末１は、副端末２から、その副端末座標系Ｈの副端末姿勢Ｔ_H2を受信する。
主端末座標系Ａの副端末姿勢Ｔ_A2は、主端末１のカメラ１０４によって撮影された映像に映り込むオブジェクトから、物体姿勢検出部１１４によって検出されたものである。

現実空間の相対姿勢としては、主端末座標系Ａの副端末姿勢Ｔ_A2と、副端末座標系Ｈの副端末姿勢Ｔ_H2とから算出した、例えば主端末座標系Ａからみた副端末座標系Ｈの相対姿勢Ｔ_AHである。これは、以下のように算出される。
Ｔ_AH＝Ｔ_A2Ｔ_H2 ^-1
Ｔ_A2：主端末座標系Ａの副端末姿勢
Ｔ_H2 ^-1：副端末座標系Ｈの副端末姿勢Ｔ_H2の逆行列

図９によれば、現実空間と仮想空間との関係を、主端末座標系Ａからみた副端末座標系Ｈの姿勢Ｔ_AHと、副端末座標系Ｈからみた主端末座標系Ａの姿勢Ｔ_HAとを逆行列で一致させることができる。
Ｔ_AH：主端末座標系Ａからみた副端末座標系Ｈの姿勢
Ｔ_HA：副端末座標系Ｈからみた主端末座標系Ａの姿勢
Ｔ_AH＝Ｔ_HA ^-1

［副端末特定部１１５］
副端末特定部１１５は、副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と最も近い変位となる主端末座標系Ａの副端末姿勢変位ΔＴ_A2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける。
（副端末の端末ＩＤ）（映像認識されたオブジェクト）
副端末２１ <-> 副端末ａ
副端末２２ <-> 副端末ｃ
副端末２３ <-> 副端末ｂ

副端末特定部１１５は、変位が最小となる副端末同士を対応付けるために、各ΔＴ_Aと各ΔＴ_Hにおける各要素の差の絶対値の和である「行列ノルム」を用いてもよい。他の方法としては、各ΔＴ_Aから抽出した位置ｖ又は傾きｒと、各ΔＴ_Hから抽出した位置ｖ又は傾きｒにおいて、ベクトル差を求め、その大きさである「ベクトルノルム」を用いてもよいし、各ΔＴ_Aから抽出した傾きrと各ΔＴ_Hから抽出した傾きrから回転軸ベクトルを算出し、そのノルムを用いてもよい。
これらのノルムが閾値以下かつ最も小さい副端末同士を対応付ける。

（副端末選択部１２）
前述した図６における副端末選択部１２は、カメラ１０４によって撮影された映像に映り込む現実空間の複数の副端末の中で、１つの副端末のオブジェクトをオペレータ操作によって選択させる。

図７によれば、副端末選択部１２は、カメラ１０４にオペレータの指が映り込んだ場合、その指で指し示すことによって、映像上の副端末２を選択することができる（例えば非特許文献６及び７参照）。具体的には、副端末２と認識された映像内のオブジェクトと、指と認識された映像内のオブジェクトとのコリジョンを判定する。

これによって、本願の第２の発明として、主端末からみて現実空間で視認可能な位置に存在する副端末を選択でき、その副端末と通信することができる。

以上、詳細に説明したように、本願の第１の発明として、主端末からみて現実空間で視認可能な位置に存在する副端末と同一の仮想空間へ参入することができる。
また、本願の第２の発明として、主端末からみて現実空間で視認可能な位置に存在する副端末を選択でき、その副端末と通信することができる。

前述した本発明における種々の実施形態によれば、当業者は、本発明の技術思想及び見地の範囲における種々の変更、修正及び省略を容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１主端末
１０１ディスプレイ
１０２狭域通信部
１０３広域通信部
１０４カメラ
１０５姿勢センサ
１１副端末検出部
１２副端末選択部
１３副端末通信部
１４サーバアクセス部
１１１副端末姿勢受信部
１１２物体認識部
１１３物体姿勢検出部
１１４姿勢変位検出部
１１５副端末特定部
２副端末
３仮想空間サーバ

特表２０２０－５０６５６５号公報特許第６４１７４６７号公報

SteamVR・lighthouse、[online]、［令和３年５月１日検索］、インターネット＜URL:https://www.moguravr.com/terms/index-r/lighthouse/#:~:text=Lighthouse%E3%81%A8%E3%81%AF%E3%80%81PC%E5%90%91%E3%81%91,%E3%81%99%E3%82%8B%E3%81%93%E3%81%A8%E3%81%8C%E5%8F%AF%E8%83%BD%E3%81%A7%E3%81%99%E3%80%82＞回転行列、[online]、［令和３年５月１日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/%E5%9B%9E%E8%BB%A2%E8%A1%8C%E5%88%97＞ ARToolkit Overview、[online]、［令和２年５月１日検索］、インターネット＜URL:https://im-lab.net/artoolkit-overview/＞ OpenCV Detection of ArUco Markers、[online]、［令和３年５月１日検索］、インターネット＜URL:https://docs.opencv.org/master/d5/dae/tutorial_aruco_detection.html＞ＳＬＡＭ、[online]、［令和３年５月１日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/SLAM＞指さし行動の理解支援に向けたＡＲ図示システムの提案、[online]、［令和３年５月１日検索］、インターネット＜URL:http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/201703g_UENO_Kaede.pdf＞コリジョンの概要、[online]、［令和３年５月１日検索］、インターネット＜URL:https://docs.unrealengine.com/ja/InteractiveExperiences/Physics/Collision/Overview/index.html＞

本願の第１の発明の主端末における他の実施形態によれば、
主端末は、カメラと、姿勢センサとを更に搭載し、
副端末検出手段によって端末識別子が取得された副端末それぞれから、所定時間毎に、副端末座標系Ｈの副端末姿勢Ｔ_H2を受信する副端末姿勢受信手段と、
カメラによって撮影された映像から、現実空間の複数の副端末を認識する物体認識手段と、
所定時間毎に、カメラによって撮影された映像から、副端末それぞれについて、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢Ｔ_A2を検出する物体姿勢検出手段と、
所定時間毎に、副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と、主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2とを検出する姿勢変位検出手段と、
副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と最も近い変位となる主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける副端末特定手段と
を有し、
副端末選択手段は、カメラによって撮影された映像に映り込む現実空間の複数の副端末の中で、１つの副端末のオブジェクトをオペレータ操作によって選択させる
ことも好ましい。

本願の第１の発明によれば、主端末と、当該主端末からみて現実空間で視認可能な位置に存在する複数の副端末とを有するシステムであって、
主端末は、
副端末それぞれから、端末識別子を取得する副端末検出手段と、
オペレータ操作によって、いずれかの副端末を選択する副端末選択手段と、
選択された副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段と、
副端末から取得したサーバアドレスに基づく仮想空間サーバへログインするサーバアクセス手段と
を有し、
副端末は、主端末からの要求に応じて、端末識別子及びサーバアドレスを応答する
ことを特徴とする。

本願の第２の発明によれば、カメラ及び姿勢センサを搭載した主端末と、当該主端末からみて現実空間で視認可能な位置に存在する複数の副端末とを有するシステムであって、
主端末は、
副端末それぞれから、端末識別子を取得する副端末検出手段と、
所定時間毎に、副端末それぞれから、副端末座標系Ｈの副端末姿勢Ｔ_H2を受信する副端末姿勢受信手段と、
カメラによって撮影された映像から、現実空間の複数の副端末を認識する物体認識手段と、
所定時間毎に、カメラによって撮影された映像から、副端末それぞれについて、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢Ｔ_A2を検出する物体姿勢検出手段と、
所定時間毎に、副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と、主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2とを検出する姿勢変位検出手段と、
副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と最も近い変位となる主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける副端末特定手段と
を有し、
副端末は、
主端末からの要求に応じて、端末識別子を応答する副端末識別子応答手段と、
所定時間毎に、当該副端末座標系Ｈの副端末姿勢Ｔ_H2を送信する副端末姿勢送信手段と
を有することを特徴とする。

図６によれば、主端末１は、図２と比較して、副端末姿勢受信部１１１と、物体認識部１１２と、物体姿勢検出部１１３と、姿勢変位検出部１１４と、副端末特定部１１５とを更に有する。これら機能構成部も、主端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、端末特定方法としても理解できる。

［副端末姿勢受信部１１１］
副端末姿勢受信部１１１は、所定時間毎（Δt）に、副端末検出部１１によって既に検出された副端末２それぞれから、副端末座標系Ｈの副端末姿勢Ｔ_H2（位置ｖ及び傾きｒ）を受信する。副端末座標系Ｈの副端末姿勢Ｔ_H2は、副端末２の姿勢センサ２０５によって検知されたものである。
Ｔ_H2：副端末座標系Ｈの副端末姿勢
副端末２それぞれにおける所定時間毎の副端末座標系Ｈの副端末姿勢Ｔ_H2は、姿勢変位検出部１１４へ出力される。

Claims

現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末であって、
副端末それぞれから、端末識別子を取得する副端末検出手段と、
オペレータ操作によって、いずれかの副端末を選択する副端末選択手段と、
選択された副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段と、
副端末から取得したサーバアドレスに基づく仮想空間サーバへログインするサーバアクセス手段と
を有し、副端末と同一の仮想空間へ参入することを特徴とする主端末。
サーバアクセス手段は、
広域通信を介して外部ネットワークに配置された仮想空間サーバへ、
狭域通信を介してローカルに配置された仮想空間サーバへ、又は、
狭域通信を介して副端末に搭載された仮想空間サーバへ
アクセスすることを特徴とする請求項１に記載の主端末。
主端末は、カメラと、姿勢センサとを更に搭載し、
所定時間毎に、副端末それぞれから、副端末座標系Ｈの副端末姿勢Ｔ_H2を受信する副端末姿勢受信手段と、
カメラによって撮影された映像から、現実空間の複数の副端末を認識する物体認識手段と、
所定時間毎に、カメラによって撮影された映像から、副端末それぞれについて、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢Ｔ_A2を検出する物体姿勢検出手段と、
所定時間毎に、副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と、主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2とを検出する姿勢変位検出手段と、
副端末それぞれについて、副端末座標系Ｈの副端末姿勢Ｔ_H2の変位ΔＴ_H2と最も近い変位となる主端末座標系Ａの副端末姿勢Ｔ_A2の変位ΔＴ_A2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける副端末特定手段と
を有し、
副端末選択手段は、カメラによって撮影された映像に映り込む現実空間の複数の副端末の中で、１つの副端末のオブジェクトをオペレータ操作によって選択させる
ことを特徴とする請求項１又は２に記載の主端末。
副端末は、姿勢センサを有し、
主端末座標系Ａの副端末姿勢Ｔ_A2は、映像に映り込む副端末におけるユーザが向く前面に対する位置ｖ及び傾きｒから導出されたものであり、
副端末座標系Ｈの副端末姿勢Ｔ_H2は、当該副端末の姿勢センサによって検知されたものである
ことを特徴とする請求項３に記載の主端末。
主端末座標系Ａの副端末姿勢Ｔ_A2について、映像に映り込む副端末におけるユーザが向く前面は、副端末に配置された所定マーカの位置に基づいて特定される
ことを特徴とする請求項４に記載の主端末。
副端末姿勢受信手段は、当該副端末座標系Ｈに基づく位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ｈの副端末姿勢Ｔ_H2とし、
物体姿勢検出手段は、カメラによって撮影された映像から、副端末それぞれについて、主端末座標系Ａに基づく位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａの副端末姿勢Ｔ_A2とする
ことを特徴とする請求項３から５のいずれか１項に記載の主端末。
主端末は、ディスプレイを搭載した眼鏡型、コンタクトレンズ型、又は、ヘッドマウント型の端末であり、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する複数の副端末をオペレータに視認させる
ことを特徴とする請求項１から６のいずれか１項に記載の主端末。
現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末に搭載されたコンピュータを機能させるプログラムであって、
副端末それぞれから、端末識別子を取得する副端末検出手段と、
オペレータ操作によって、いずれかの副端末を選択する副端末選択手段と、
選択された副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段と、
副端末から取得したサーバアドレスに基づく仮想空間サーバへログインするサーバアクセス手段と
してコンピュータを機能させることを特徴とする主端末のプログラム。
主端末と、当該主端末からみて現実空間で視認可能な位置に存在する複数の副端末と通信可能なシステムであって、
主端末は、
副端末それぞれから、端末識別子を取得する副端末検出手段と、
オペレータ操作によって、いずれかの副端末を選択する副端末選択手段と、
選択された副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段と、
副端末から取得したサーバアドレスに基づく仮想空間サーバへログインするサーバアクセス手段と
を有し、
副端末は、主端末からの要求に応じて、端末識別子及びサーバアドレスを応答する
ことを特徴とするシステム。
現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末の仮想空間サーバ接続方法であって、
主端末は、
副端末それぞれから、端末識別子を取得する第１のステップと、
オペレータ操作によって、いずれかの副端末を選択する第２のステップと、
選択された副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する第３のステップと、
副端末から取得したサーバアドレスに基づく仮想空間サーバへログインする第４のステップと
を実行することを特徴とする主端末の仮想空間サーバ接続方法。