JP7130213B1 - 現実空間における副端末との相対位置姿勢を仮想空間内で維持する主端末、プログラム、システム及び方法 - Google Patents

現実空間における副端末との相対位置姿勢を仮想空間内で維持する主端末、プログラム、システム及び方法 Download PDF

Info

Publication number
JP7130213B1
JP7130213B1 JP2021082690A JP2021082690A JP7130213B1 JP 7130213 B1 JP7130213 B1 JP 7130213B1 JP 2021082690 A JP2021082690 A JP 2021082690A JP 2021082690 A JP2021082690 A JP 2021082690A JP 7130213 B1 JP7130213 B1 JP 7130213B1
Authority
JP
Japan
Prior art keywords
terminal
sub
attitude
coordinate system
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021082690A
Other languages
English (en)
Other versions
JP2022175912A (ja
Inventor
英悟 池谷
Original Assignee
有限会社池谷製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 有限会社池谷製作所 filed Critical 有限会社池谷製作所
Priority to JP2021082690A priority Critical patent/JP7130213B1/ja
Priority to PCT/JP2022/018862 priority patent/WO2022239639A1/ja
Application granted granted Critical
Publication of JP7130213B1 publication Critical patent/JP7130213B1/ja
Publication of JP2022175912A publication Critical patent/JP2022175912A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Abstract

【課題】本願の第１の発明として、現実空間における副端末との相対位置姿勢を仮想空間内で維持することができる主端末等を提供する。【解決手段】副端末から、当該副端末座標系Ｈの副端末姿勢ＴH2を受信する副端末姿勢受信手段と、カメラによって撮影された映像から、現実空間の副端末を認識する物体認識手段と、カメラによって撮影された映像から、副端末について、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢ＴA2を検出する物体姿勢検出手段と、主端末座標系Ａの副端末姿勢ＴA2と、副端末座標系Ｈの副端末姿勢ＴH2とから、現実空間の相対姿勢を算出する相対姿勢算出手段と、現実空間の相対姿勢を、仮想空間サーバへ送信するサーバアクセス手段とを有し、仮想空間サーバの同一の仮想空間内で主端末と副端末との間の現実空間の相対姿勢を維持する。【選択図】図４

Description

本発明は、仮想現実(Virtual Reality)、拡張現実(Augmented Reality)又は複合現実(Mixed Reality)の技術に関する。
仮想現実とは、ユーザの頭部にＨＭＤ(Head Mount Display)端末を装着し、ユーザの視界に３次元の仮想空間を表示する技術をいう。ユーザは、自ら動きながら仮想空間への没入感を得ることができる。
拡張現実とは、ユーザの視界に映る現実空間に、ＣＧ(Computer Graphics)映像を表示する技術をいう。例えばシースルーのディスプレイ上に、又は、現実空間をカメラで撮影した映像上に、ＣＧを重畳的に表示することによって、現実空間を拡張する。
複合現実とは、ＣＧで人工的に作られた仮想空間を、現実空間と融合させる技術をいう。現実空間の物体が仮想空間と一体化しており、ユーザは、自らの動きが、現実空間且つ仮想空間として相互に影響する。
これら技術によれば、ＨＭＤ端末やＡＲ／ＭＲ端末は、姿勢センサによってユーザの動きを検知すると共に、仮想空間サーバにアクセスすることによって仮想空間情報を取得して表示する。
従来、複数のユーザ間における体験共有システムの技術がある（例えば特許文献１参照）。この技術によれば、カメラによって撮影された映像を無線で送信する「スマートめがね」と、そのスマートめがねから映像を受信し、ユーザに仮想現実映像を表示する「ＶＲ機器」とを有する。
また、拡張現実空間（又は仮想現実空間）を介したサービスを提供する技術もある（例えば特許文献２参照）。この技術によれば、識別コードが貼り付けられたＩｏＴ機器と、識別コードを撮影するＡＲ（又はＶＲ）機器とを有する。ＡＲ機器は、識別コードを読み取ることによって、その基準点となる拡張現実空間をユーザに表示すると共に、ＩｏＴ機器は、拡張現実空間と連携してユーザにサービスを提供する。
特表２０２０－５０６５６５号公報 特許第６４１７４６７号公報
SteamVR・lighthouse、[online]、［令和２年５月１日検索］、インターネット＜URL:https://www.moguravr.com/terms/index-r/lighthouse/#:~:text=Lighthouse%E3%81%A8%E3%81%AF%E3%80%81PC%E5%90%91%E3%81%91,%E3%81%99%E3%82%8B%E3%81%93%E3%81%A8%E3%81%8C%E5%8F%AF%E8%83%BD%E3%81%A7%E3%81%99%E3%80%82＞ 回転行列、[online]、［令和２年５月１日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/%E5%9B%9E%E8%BB%A2%E8%A1%8C%E5%88%97＞ ARToolkit Overview、[online]、［令和２年５月１日検索］、インターネット＜URL:https://im-lab.net/artoolkit-overview/＞ OpenCV Detection of ArUco Markers、[online]、［令和２年５月１日検索］、インターネット＜URL:https://docs.opencv.org/master/d5/dae/tutorial_aruco_detection.html＞ ＳＬＡＭ、[online]、［令和２年５月１日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/SLAM＞ 指さし行動の理解支援に向けたＡＲ図示システムの提案、[online]、［令和２年５月１日検索］、インターネット＜URL:http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/201703g_UENO_Kaede.pdf＞ コリジョンの概要、[online]、［令和２年５月１日検索］、インターネット＜URL:https://docs.unrealengine.com/ja/InteractiveExperiences/Physics/Collision/Overview/index.html＞ 仮想空間にアバターで出勤、クラウドオフィス「RISA」が100人規模オフィスをリリース、[online]、［令和２年５月１日検索］、インターネット＜URL:https://it.impress.co.jp/articles/-/20649＞ 画像から被写体をAIで自動的に切り出す「Grapick」が新たに動画にも対応、[online]、［令和２年５月１日検索］、インターネット＜URL:https://marvin.news/6622＞
図１は、オペレータが視認可能な現実空間に副端末が存在するシステム構成図である。
図１によれば、オペレータが、現実空間に存在するユーザａを視認している。ユーザａは、ＨＭＤ端末のような副端末２を頭部に装着し、各ＨＭＤ端末は、仮想空間サーバ３にアクセスしている。これによって、副端末２は、ユーザ所望の仮想空間を再生することができる。
しかしながら、以下のような２つの課題がある。
［第１の課題］
仮想空間コンテンツには、ＨＭＤ端末を装着するユーザのみならず、ＡＲ端末又はＨＭＤ端末を装着するオペレータも参入することはできる。仮想空間内では、ユーザも自由に行動し、オペレータも自由に行動することができる。しかしながら、ユーザとオペレータとの間の仮想空間における距離感（具体的には位置及び角度に基づく姿勢）と、現実空間における距離感とは、異なっている。そのために、オペレータとユーザとが同じ仮想空間に参入したとしても、オペレータは現実空間のようにユーザを補助することができない。
図１によれば、例えば、身体が不自由な要介護者（ユーザ）に、ＨＭＤ端末（副端末２）を装着させ、仮想空間を体験してもらうことを想定する。このとき、要介護者は、個人的に仮想空間に没頭することができるが、介護者（オペレータ）は、仮想空間の中で、その要介護者との距離感を認識することができず、要介護者の仮想空間に対する操作を補助することもできない。
このような課題は、介護の場面に限らない。例えばＨＭＤ端末を装着した職業訓練者と、仮想空間における訓練を指導する指導者との関係も同様なものである。
これに対し、本願の発明者は、現実空間における副端末との相対位置姿勢を仮想空間内で維持することができればよいのではないか、と考えた。
そこで、第１の課題を解決する本願の第１の発明として、現実空間における副端末との相対位置姿勢を仮想空間内で維持することができる主端末、プログラム、システム及び方法を提供することを目的とする。
［第２の課題］
仮想空間コンテンツでは、ＨＭＤ端末を装着するユーザ自らがアバターとなって、その仮想空間内を移動することができる。ユーザとオペレータとが同一の仮想空間に参入した場合、その仮想空間内では、アバターによって相手方を認識することができる。しかしながら、オペレータは、ユーザをアバターでしか認識できないために、現実空間と異なった態様であって、現実空間のようにユーザを補助することができない。
これに対し、本願の発明者は、現実空間におけるユーザの映像を仮想空間内に展開することができればよいのではないか、と考えた。
そこで、本発明は、第２の課題を解決する本願の第２の発明として、現実空間におけるユーザの映像を仮想空間内に展開することができる主端末、プログラム、システム及び方法を提供することを目的とする。
本発明によれば、第１の課題を解決する第１の発明と、第２の課題を解決する第２の発明とを開示する。
＜第１の発明＞
本願の第１の発明は、現実空間における副端末との相対位置姿勢を仮想空間内で維持することができる主端末、プログラム、システム及び方法に関する。
本願の第１の発明によれば、カメラ及び姿勢センサを搭載した主端末について、現実空間で視認可能な位置に存在する副端末と通信可能な主端末であって、
副端末から、当該副端末座標系Ｈの副端末姿勢ＴH2を受信する副端末姿勢受信手段と、
カメラによって撮影された映像から、現実空間の副端末を認識する物体認識手段と、
カメラによって撮影された映像から、副端末について、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢ＴA2を検出する物体姿勢検出手段と、
主端末座標系Ａの副端末姿勢ＴA2と、副端末座標系Ｈの副端末姿勢ＴH2とから、現実空間の相対姿勢を算出する相対姿勢算出手段と、
現実空間の相対姿勢を、仮想空間サーバへ送信するサーバアクセス手段と
を有し、仮想空間サーバの同一の仮想空間内で主端末と副端末との間の現実空間の相対姿勢を維持する
ことを特徴とする。
本願の第１の発明における他の実施形態によれば、
相対姿勢算出手段は、主端末座標系Ａの副端末姿勢ＴA2と、副端末座標系Ｈの副端末姿勢ＴH2とから、主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAHを算出する
ことも好ましい。
本願の第１の発明における他の実施形態によれば、
サーバアクセス手段は、現実空間の相対姿勢として、以下のいずれかを仮想空間サーバへ送信する
主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAH、
相対姿勢ＴAHから導出された位置ｖ及び傾きｒ、
相対姿勢ＴAHの逆行列ＴAH -1（副端末座標系Ｈに対する主端末座標系Ａの相対姿勢ＴHA）、又は、
相対姿勢ＴAHの逆行列ＴAH -1から導出された位置ｖ及び傾きｒ
ことも好ましい。
本願の第１の発明における他の実施形態によれば、
副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段を更に有し、
サーバアクセス手段は、副端末から取得したサーバアドレスに基づく仮想空間サーバへログインし、副端末と同一の仮想空間へ参入する
ことも好ましい。
本願の第１の発明における他の実施形態によれば、
サーバアクセス手段は、
広域通信を介して外部ネットワークに配置された仮想空間サーバへ、
狭域通信を介してローカルに配置された仮想空間サーバへ、又は、
狭域通信を介して副端末に搭載された仮想空間サーバへ
アクセスすることも好ましい。
本願の第１の発明における他の実施形態によれば、
副端末は、姿勢センサを有し、
主端末座標系Ａの副端末姿勢ＴA2は、映像に映り込む副端末におけるユーザが向く前面に対する位置ｖ及び傾きｒから導出されたものであり、
副端末座標系Ｈの副端末姿勢ＴH2は、当該副端末の姿勢センサによって検知されたものである
ことも好ましい。
本願の第１の発明における他の実施形態によれば、
主端末座標系Ａの副端末姿勢ＴA2について、映像に映り込む副端末におけるユーザが向く前面は、副端末に配置された所定マーカの位置に基づいて特定される
ことも好ましい。
本願の第１の発明における他の実施形態によれば、
副端末姿勢受信手段は、当該副端末座標系Ｈに基づく位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ｈの副端末姿勢ＴH2とし、
物体姿勢検出手段は、カメラによって撮影された映像から、副端末について、主端末座標系Ａに基づく位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａの副端末姿勢ＴA2とする
ことも好ましい。
本願の第１の発明における他の実施形態によれば、
主端末は、ディスプレイを搭載した眼鏡型、コンタクトレンズ型、又は、ヘッドマウント型の端末であり、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する副端末をオペレータに視認させる
ことも好ましい。
本願の第１の発明における他の実施形態によれば、
副端末と同一の仮想空間サーバにおける同一の仮想空間にログインしており、
サーバアクセス手段は、仮想空間サーバから、副端末を所持するユーザをアバターとして表現した仮想空間情報を受信し、
カメラによって撮影された映像から、副端末を装着したユーザと認識されたユーザ画像部分を切り出すユーザ画像切出手段と、
切り出されたユーザ画像部分を、仮想空間情報におけるアバター画像部分に重畳する仮想画像生成手段と
を更に有するも好ましい。
本願の第１の発明によれば、カメラ及び姿勢センサを搭載した主端末について、当該主端末からみて現実空間で視認可能な位置に存在する副端末と通信可能な主端末に搭載されたコンピュータを機能させるプログラムであって、
副端末から、当該副端末座標系Ｈの副端末姿勢ＴH2を受信する副端末姿勢受信手段と、
カメラによって撮影された映像から、現実空間の副端末を認識する物体認識手段と、
カメラによって撮影された映像から、副端末について、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢ＴA2を検出する物体姿勢検出手段と、
主端末座標系Ａの副端末姿勢ＴA2と、副端末座標系Ｈの副端末姿勢ＴH2とから、現実空間の相対姿勢を算出する相対姿勢算出手段と、
現実空間の相対姿勢を、仮想空間サーバへ送信するサーバアクセス手段と
を有し、仮想空間サーバの同一の仮想空間内で主端末と副端末との間の現実空間の相対姿勢を維持する
ようにコンピュータを機能させることを特徴とする。
本願の第１の発明によれば、カメラ及び姿勢センサを搭載した主端末と、当該主端末からみて現実空間で視認可能な位置に存在する副端末とを有するシステムであって、
主端末は、
副端末から、当該副端末座標系Ｈの副端末姿勢ＴH2を受信する副端末姿勢受信手段と、
カメラによって撮影された映像から、現実空間の副端末を認識する物体認識手段と、
カメラによって撮影された映像から、副端末について、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢ＴA2を検出する物体姿勢検出手段と、
主端末座標系Ａの副端末姿勢ＴA2と、副端末座標系Ｈの副端末姿勢ＴH2とから、現実空間の相対姿勢を算出する相対姿勢算出手段と、
現実空間の相対姿勢を、仮想空間サーバへ送信するサーバアクセス手段と
を有し、
副端末は、
所定時間毎に、当該副端末座標系Ｈの副端末姿勢ＴH2を送信する副端末姿勢送信手段を有し、
仮想空間サーバの仮想空間内で主端末と副端末との間の現実空間の相対姿勢を維持する
ことを特徴とする。
本願の第１の発明によれば、カメラ及び姿勢センサを搭載した主端末について、当該主端末からみて現実空間で視認可能な位置に存在する副端末と通信可能な主端末の仮想空間姿勢維持方法であって、
主端末は、
副端末から、当該副端末座標系Ｈの副端末姿勢ＴH2を受信する第１のステップと、
カメラによって撮影された映像から、現実空間の副端末を認識する第２のステップと、
カメラによって撮影された映像から、副端末について、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢ＴA2を検出する第３のステップと、
主端末座標系Ａの副端末姿勢ＴA2と、副端末座標系Ｈの副端末姿勢ＴH2とから、現実空間の相対姿勢を算出する第４のステップと、
現実空間の相対姿勢を、仮想空間サーバへ送信する第５のステップと
を実行し、仮想空間サーバの同一の仮想空間内で主端末と副端末との間の現実空間の相対姿勢を維持する
ことを特徴とする。
＜第２の発明＞
本願の第２の発明は、現実空間におけるユーザの映像を仮想空間内に展開することができる主端末、プログラム、システム及び方法に関する。
本願の第２の発明によれば、カメラを搭載した主端末について、当該主端末からみて現実空間で視認可能な位置に存在し且つユーザに装着された副端末と通信可能な主端末であって、
副端末と同一の仮想空間サーバにおける同一の仮想空間にログインしており、
仮想空間サーバから、副端末を所持するユーザをアバターとして表現した仮想空間情報を受信するサーバアクセス手段と、
カメラによって撮影された映像から、現実空間の副端末を装着したユーザを認識する物体認識手段と、
カメラによって撮影された映像から、副端末を装着したユーザと認識されたユーザ画像部分を切り出すユーザ画像切出手段と、
切り出されたユーザ画像部分を、仮想空間情報におけるアバター画像部分に重畳する仮想画像生成手段と
を有することを特徴とする。
本願の第２の発明における主端末の他の実施形態によれば、
サーバアクセス手段は、
広域通信を介して外部ネットワークに配置された仮想空間サーバへ、
狭域通信を介してローカルに配置された仮想空間サーバへ、又は、
狭域通信を介して副端末に搭載された仮想空間サーバへ
アクセスすることも好ましい。
本願の第２の発明によれば、カメラを搭載した主端末について、当該主端末からみて現実空間で視認可能な位置に存在し且つユーザに装着された副端末と通信可能な主端末に搭載されたコンピュータを機能させるプログラムであって、
副端末と同一の仮想空間サーバにおける同一の仮想空間にログインしており、
仮想空間サーバから、副端末を所持するユーザをアバターとして表現した仮想空間情報を受信するサーバアクセス手段と、
カメラによって撮影された映像から、現実空間の副端末を認識する物体認識手段と、
カメラによって撮影された映像から、副端末を装着したユーザと認識されたユーザ画像部分を切り出すユーザ画像切出手段と、
切り出されたユーザ画像部分を、仮想空間情報におけるアバター画像部分に重畳する仮想画像生成手段と
してコンピュータを機能させることを特徴とする。
本願の第２の発明によれば、カメラを搭載した主端末について、当該主端末からみて現実空間で視認可能な位置に存在し且つユーザに装着された副端末と通信可能な主端末における仮想画像生成方法において、
主端末は、
副端末と同一の仮想空間サーバにおける同一の仮想空間にログインしており、
仮想空間サーバから、副端末を所持するユーザをアバターとして表現した仮想空間情報を受信する第１のステップと、
カメラによって撮影された映像から、現実空間の副端末を認識する第２のステップと、
カメラによって撮影された映像から、副端末を装着したユーザと認識されたユーザ画像部分を切り出す第３のステップと、
切り出されたユーザ画像部分を、仮想空間情報におけるアバター画像部分に重畳する第４のステップと
を実行することを特徴とする。
本願の第１の発明における主端末、プログラム、システム及び方法によれば、現実空間における副端末との相対位置姿勢を仮想空間内で維持することができる。
また、本願の第２の発明における主端末、プログラム、システム及び方法によれば、現実空間におけるユーザの映像を仮想空間内に展開することができる。
オペレータが視認可能な現実空間に副端末が存在するシステム構成図である。 本発明におけるシステム構成図である。 第１の発明における姿勢センサの座標系を表す説明図である。 第１の発明における主端末の機能構成図である。 第１の発明における主端末の処理フローを表す説明図である。 第１の発明における主端末座標系と副端末座標系との関係を表す説明図である。 第１の発明における現実空間と仮想空間との関係を表す説明図である。 第２の発明における主端末の機能構成図である。 第２の発明における主端末の処理フローを表す説明図である。
以下では、図面を用いて、本発明を実施するための形態について詳細に説明する。
図２は、本発明におけるシステム構成図である。
既存技術によれば、仮想空間サーバは、一般的に、遠隔地に滞在する複数のユーザ同士を、同じ仮想空間に存在できるようにするものである。
これに対し、本発明によれば、オペレータが所持する主端末１と、ユーザが所持する副端末２とは、互いに、現実空間で視認可能な位置に存在することにある。即ち、本発明によれば、現実空間の近距離周辺で実現されることに特徴がある。
主端末１は、例えば眼鏡型のＡＲ(Augmented Reality)端末であり、シースルーディスプレイに仮想空間のＣＧを表示することができる。オペレータは、主端末１を装着し、シースルーディスプレイを通してユーザａを視認することができる。
一方で、副端末２は、例えばＨＭＤ(Head Mount Display)端末であり、仮想空間サーバ３へアクセスすることができる。ユーザａは、ＨＭＤを装着し、仮想空間を体験しているとする。
図２によれば、主端末１はＡＲ端末であるとしているが、ＭＲ(Mixed Reality)端末であってもよいし、これらに限られるものではない。主端末１は、コンタクトレンズ型であってもよいし、カメラ付きで外界の映像も再生するＨＭＤ端末であってもよい。オペレータは、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する副端末２を視認することができる。
一方で、副端末２もＨＭＤ端末であるとしているが、勿論、ＡＲ端末又はＭＲ端末であってよいし、これに限られるものでもない。
主端末１及び副端末２は、例えばスマートフォンのような、カメラとディスプレイとを搭載した端末であってもよいし、タブレットやパーソナルコンピュータであってもよい。
図２によれば、主端末１は、狭域通信によって、副端末２と通信する。
「狭域通信」としては、無線であってもよいし、又は、有線であってもよい。特に、例えばBluetooth（登録商標）やZigbee（登録商標）のような近距離無線通信や、無線ＬＡＮのような狭域無線ネットワークであることが好ましい。
例えばBluetoothの場合、特に電波の到達範囲が狭いＢＬＥ(Bluetooth Low Energy)が適する。低消費電力版Bluetoothとして、１／３程度の電力で動作するために、主端末１及び副端末２の電力消費を低く抑えることができる。
例えば副端末２が、タグデバイスとして、広報パケット(Advertising Packet)を常時発信する。広報パケットは、例えば100msの間隔で、周期的に送信される。ＢＬＥ規格によれば、副端末２を「advertiser」として機能させ、広報パケットには、端末ＩＤとして「ビーコンＩＤ」が含められる。
図２によれば、主端末１も、仮想空間サーバ３にアクセスすることができる。仮想空間サーバ３が配置される場所として、例えば以下の３つのパターンがある。
（１）外部ネットワーク（インターネット）に配置された仮想空間サーバ(Dedicated Server)
（２）ローカルに配置された仮想空間サーバ(Dedicated Server)
（３）副端末に搭載された仮想空間サーバ(Listen Server)
ここで、仮想空間サーバ３がインターネットに配置されている場合、主端末１は、広域通信によってインターネットに接続する。そのインタフェースとなる広域通信も、無線であってもよいし、又は、有線であってもよい。
一方で、仮想空間サーバ３がローカルや副端末自体に配置されている場合、主端末１は、狭域通信を介して通信することができる。
＜第１の発明＞
本願の第１の発明としての主端末、プログラム、システム及び方法は、現実空間における副端末との相対位置姿勢を仮想空間内で維持することができる。
図３は、第１の発明における姿勢センサの座標系を表す説明図である。
図３によれば、主端末１は、図２と比較して、ハードウェアとして少なくとも、カメラ１０４と、姿勢センサ１０５とを更に有する。また、副端末２も、姿勢センサ２０５を有する。
［カメラ１０４］
カメラ１０４は、一般的な２Ｄカメラであってもよいし、３Ｄカメラであってもよい。例えば、レーザーに基づくＬＩＤＡＲ(light detection and ranging)であってもよい。尚、カメラに代えて、ＵＷＢ(Ultra Wide Band)センサであってもよい。
［姿勢センサ１０５・２０５］
姿勢センサ１０５及び２０５は、起動中は常時、自らの姿勢(Transform)となる「位置ｖ」及び「傾きｒ」を検知するものである。
図３によれば、以下のような姿勢が表されている。
ＴA1：主端末座標系Ａの主端末姿勢
ＴH2：副端末座標系Ｈの副端末姿勢
尚、主端末座標系Ａは、機器起動時に設定される基準座標系とする。同様に、副端末座標系Ｈも、機器起動時に設定される基準座標系とする。
姿勢センサ１０５及び２０５は、「傾きｒ」を検知するために、ＩＭＵ(Inertial Measurement Unit)を搭載している。これは、一般的なスマートフォンなどに搭載されたものと同じものである。
また、姿勢センサ１０５及び２０５は、「位置ｖ」を検知するために、例えばSteamVR（登録商標）のLighthouse（登録商標）のような、ヘッドマウントディスプレイに搭載されたトラッキングデバイスを搭載する（例えば非特許文献１参照）。これは、現実空間に設置されたアンカー（ベースステーション）と通信することによって、所定範囲内における位置ｖを追跡することができる。
又は、姿勢センサ１０５及び２０５は、前述したＩＭＵやカメラを搭載することによって、ＳＬＡＭ(Simultaneous Localization And Mapping)を用いて、自己位置ｖ及び傾きｒを同時に追跡することができる（例えば非特許文献５参照）。
本発明における「姿勢」とは、現実空間（３次元空間）における「位置ｖ」（３行列）と、傾きｒ（３行列）から算出された「回転行列Ｒ」（３×３行列）とから、以下のように「姿勢Ｔ」（４×４行列）を定義する（例えば非特許文献２参照）。
Figure 0007130213000002
 これによって、位置ｖ及び傾きｒから姿勢Ｔを導出することができると共に、逆に、姿勢Ｔから位置ｖ及び傾きｒを導出することもできる。
図４は、第１の発明における主端末の機能構成図である。
図５は、第１の発明における主端末の処理フローを表す説明図である。
図４によれば、主端末１は、副端末検出部１１０と、副端末姿勢受信部１１１と、物体認識部１１２と、物体姿勢検出部１１３と、相対姿勢算出部１２と、副端末通信部１３と、サーバアクセス部１４とを有する。これら機能構成部は、主端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、仮想空間姿勢維持方法としても理解できる。
［副端末検出部１１０］
副端末検出部１１０は、副端末２から、端末ＩＤを取得する。
端末ＩＤとしては、例えばビーコンＩＤやＩＰアドレス、ＭＡＣ(Media Access Control)アドレスであってもよい。
例えば狭域通信がＢＬＥである場合、副端末２は定期的に端末ＩＤを発信しており、主端末１の副端末検出部１１０は、その端末ＩＤを受信することができる。
例えば狭域通信が無線ＬＡＮである場合、主端末１の副端末検出部１１０は、マルチキャストで問い合わせ要求を配信することによって、副端末２から端末ＩＤを受信することができる。
［副端末姿勢受信部１１１］
副端末姿勢受信部１１１は、副端末検出部１１０によって既に検出された副端末２から、副端末座標系Ｈの副端末姿勢ＴH2（位置ｖ及び傾きｒ）を受信する。副端末座標系Ｈの副端末姿勢ＴH2は、副端末２の姿勢センサ２０５によって検知されたものである。
ＴH2：副端末座標系Ｈの副端末姿勢
副端末２における副端末座標系Ｈの副端末姿勢ＴH2は、相対姿勢算出部１２へ出力される。
［物体認識部１１２］
物体認識部１１２は、カメラ１０４によって撮影された映像から、現実空間の副端末２を、オブジェクトとして認識する。
副端末２は、現実空間では同一物体であっても、視点によって多様な形状で映像に映り込む。そのように形状が変化しても、同一物体として検出できるようにロバストな特徴抽出技術が用いられる。例えば副端末２の外観（例えばＨＭＤ端末の外観）を予め学習した物体認識エンジンを用いて、副端末２のオブジェクトを認識するものであってもよい。一般的には、例えばＳＩＦＴ(Scale-Invariant Feature Transform)や深層ニューラルネットワークのクラス分類技術がある。このような特徴抽出技術は、２Ｄ画像であっても、３Ｄ画像（又はポイントクラウド）であっても可能となる。
最も簡易には、２Ｄ画像であれば、物体認識部１１２は、例えば副端末２自体に貼り付けられたマーカを認識するものであってもよい。マーカは、例えば２次元的なＱＲコード（登録商標）であってもよい。
［物体姿勢検出部１１３］
物体姿勢検出部１１３は、副端末２（のオブジェクト）について、主端末１の姿勢センサ１０５に基づく主端末座標系Ａの副端末姿勢ＴA2を検出する。
ＴA2：主端末座標系Ａの副端末姿勢
物体姿勢検出部１１３は、カメラによって撮影された映像から、物体認識部１１２によって認識された副端末２のオブジェクトについて、主端末座標系Ａに基づく位置ｖ及び傾きｒを検出する。そして、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａの副端末姿勢ＴA2として検出する。
前述した図３によれば、主端末座標系Ａの副端末姿勢ＴA2は、映像に映り込む副端末２（ＨＭＤ端末）を装着したユーザが向く前面に対する位置ｖ及び傾きｒから導出されたものである。ユーザが向く前面は、副端末２に配置された所定マーカの位置に基づいて特定される。
カメラ１０４によって撮影された２Ｄ画像に、物体（例えばマーカ）が映り込む場合、そのオブジェクトは、カメラの向きに応じて異なる角度から映る。映像に映り込むオブジェクトの画像の形状から、その姿勢（位置ｖ及び傾きｒ）を検出することができる（例えば非特許文献３参照）。具体的には、マーカの中心位置を示す位置ベクトルと、ｘ軸及びｙ軸がマーカの辺に平行で、z軸がそれらに垂直になるような回転軸ベクトルが検出される。
回転軸ベクトルとは、ロドリゲスの回転公式に従って、物体を任意の傾きにするべく回転させる際の軸方向を「向き」とし、回転角度を「ノルム」として持つベクトルを意味する。具体的には、OpenCV（登録商標）のarucoというマーカ検出機能を用いることができる（例えば非特許文献４参照）。
尚、主端末座標系Ａの副端末姿勢ＴA2は、物体検知場所（例えばマーカ設置位置）に大きな影響を受けるために、姿勢補正行列を導入することが好ましい。
ＴA2＝ＴA1Ｔ1sＴS2Ｔc
ＴA1：主端末座標系Ａにおける主端末姿勢
Ｔ1s：主端末姿勢座標系におけるカメラ（センサ）座標系の姿勢
ＴS2：カメラ（センサ）座標系における映像認識された副端末の姿勢
Ｔc：姿勢補正行列
ここで、主端末姿勢座標系とは、主端末座標系Ａにおける主端末姿勢を基準とする座標系である。
このように実際には、センサ座標系から主端末座標系に変換する処理が必要となる。
［相対姿勢算出部１２］
相対姿勢算出部１２は、主端末座標系Ａの副端末姿勢ＴA2と、副端末座標系Ｈの副端末姿勢ＴH2とから、現実空間の相対姿勢を算出する。
図６は、第１の発明における主端末座標系と副端末座標系との関係を表す説明図である。
図７は、第１の発明における現実空間と仮想空間との関係を表す説明図である。
図６によれば、１つの物体としての副端末であっても、基準とする座標系が異なれば、姿勢も異なる。また、副端末座標系Ｈも、異なる主端末座標系Ａを基準とした姿勢を持つ。
ＴA1：主端末座標系Ａの主端末姿勢
ＴA2：主端末座標系Ａの副端末姿勢
ＴH2：副端末座標系Ｈの副端末姿勢
ＴAH：主端末座標系Ａからみた副端末座標系Ｈの姿勢
ＴHA：副端末座標系Ｈからみた主端末座標系Ａの姿勢
主端末座標系Ａの主端末姿勢ＴA1は、主端末１に搭載された姿勢センサ１０５によって検知されたものである。
副端末座標系Ｈの副端末姿勢ＴH2も、副端末２に搭載された姿勢センサ２０５によって検知されたものである。主端末１は、副端末２から、その副端末座標系Ｈの副端末姿勢ＴH2を受信する。
主端末座標系Ａの副端末姿勢ＴA2は、主端末１のカメラ１０４によって撮影された映像に映り込むオブジェクトから、物体姿勢検出部１１３によって検出されたものである。
現実空間の相対姿勢としては、主端末座標系Ａの副端末姿勢ＴA2と、副端末座標系Ｈの副端末姿勢ＴH2とから算出した、例えば主端末座標系Ａからみた副端末座標系Ｈの相対姿勢ＴAHである。これは、以下のように算出される。
ＴAH＝ＴA2ＴH2 -1
ＴA2：主端末座標系Ａの副端末姿勢
ＴH2 -1：副端末座標系Ｈの副端末姿勢ＴH2の逆行列
図７によれば、現実空間と仮想空間との関係を、主端末座標系Ａからみた副端末座標系Ｈの姿勢ＴAHと、副端末座標系Ｈからみた主端末座標系Ａの姿勢ＴHAとを逆行列で一致させることができる。
ＴAH：主端末座標系Ａからみた副端末座標系Ｈの姿勢
ＴHA：副端末座標系Ｈからみた主端末座標系Ａの姿勢
ＴAH＝ＴHA -1
［副端末通信部１３］
副端末通信部１３は、副端末２から、当該副端末２がログイン中の仮想空間サーバ３のサーバアドレスを取得する。取得されたサーバアドレスは、サーバアクセス部１４へ出力される。
例えば主端末１が、サーバアドレス要求を副端末２へ送信する。これに対し、副端末２は、アクセス中の仮想空間サーバ３のサーバアドレスを、主端末１へ返信する。
サーバアドレスとは、ＵＲＬ(Uniform Resource Locator)や、ＩＰアドレス、ポート番号、その他の仮想空間サーバにアクセスするために必要な情報を含む。
［サーバアクセス部１４］
サーバアクセス部１４は、副端末通信部１３によって副端末２から取得されたサーバアドレスに基づく仮想空間サーバ３へログインする。これによって、主端末１は、現実空間で視認可能な位置に存在する副端末２と同一の仮想空間へ参入することができる。
また、本発明の特徴として、サーバアクセス部１４は、現実空間の相対姿勢を、仮想空間サーバ３へ送信する。
ここで、サーバアクセス部１４は、仮想空間サーバ３へ送信する現実空間の相対姿勢として、以下の４つの実施形態がある。
（１）主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAH
（２）主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAHから導出された位置ｖ及び傾きｒ
（３）主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAHの逆行列ＴAH -1（副端末座標系Ｈに対する主端末座標系Ａの相対姿勢ＴHA）
（４）主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAHの逆行列ＴAH -1から導出された位置ｖ及び傾きｒ
前述した図４における主端末について、カメラ１０４は、常時撮影し、その映像を物体認識部１１２へ入力する。物体認識部１１２と、物体姿勢検出部１１３と、端末姿勢受信部１１１と、相対姿勢算出部１２とも、常時機能し、サーバアクセス部１４は、リアルタイムに、現実空間の相対姿勢ＴAHを、仮想空間サーバ３へ送信する。そのために、図７のように、仮想空間サーバ３は、現実空間と仮想空間との関係を、主端末座標系Ａからみた副端末座標系Ｈの姿勢ＴAHによって一致させることができる。
これによって、本願の第１の発明として、現実空間における副端末との相対位置姿勢を仮想空間内で維持することができる。
＜第２の発明＞
本願の第２の発明としての主端末、プログラム、システム及び方法は、現実空間におけるユーザの映像を仮想空間内に展開することができる。
図８は、第２の発明における主端末の機能構成図である。
図９は、第２の発明における主端末の処理フローを表す説明図である。
図８によれば、主端末１は、図３の物体認識部１１２及び物体姿勢検出部１１３に加えて、ユーザ画像切出部１５と、仮想画像生成部１６とを更に有する。これら機能構成部は、主端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、仮想画像生成方法としても理解できる。
物体認識部１１２は、カメラ１０４によって撮影された映像から、現実空間の副端末２を装着したユーザを、オブジェクトとして認識する。ユーザを認識した画像部分を、ユーザ画像切出部１５へ出力する。
サーバアクセス部１４は、本願の第１の発明と同様に、副端末２と同一の仮想空間サーバ３における同一の仮想空間にログインしているとする。
また、サーバアクセス部１４は、仮想空間サーバ３から、副端末２を所持するユーザをアバターとして表現した仮想空間情報を受信する。仮想空間情報として再生された画像を、仮想画像生成部１６へ出力する。
ここで、仮想空間情報とは、同一の仮想空間内で、ユーザ及びオペレータをアバターとして表現した映像空間を意味する（例えば非特許文献８参照）。ユーザやオペレータに相当するアバターは、その仮想空間内を自由に移動したり、互いに話をすることもできる。アバターの向きや行動は、そのアバターに対応するユーザやオペレータによって装着された端末（例えばＨＭＤ端末）に連動する。既存技術によれば、一般的には、遠隔に離れた人同士が、１つの仮想空間内でアバターとして存在するのに対し、本願の第２の発明によれば、現実空間に存在する人同士が、１つの仮想空間内で、現実空間と同じ距離及び姿勢でアバターとして存在することを想定している。
［ユーザ画像切出部１５］
ユーザ画像切出部１５は、カメラ１０４によって撮影された映像から、副端末２を装着したユーザと認識されたユーザ画像部分を切り出す。
具体的には、ＡＩによって画像から被写体を自動的に切り出す物体検知技術もある（例えば非特許文献９参照）。
［仮想画像生成部１６］
仮想画像生成部１６は、切り出されたユーザ画像部分を、仮想空間情報におけるアバター画像部分に重畳する。
このとき、ユーザ画像部分のサイズが、アバター画像部分のサイズと一致するように拡大縮小の処理をするものであってもよい。
これによって、現実空間に存在するユーザの現実の映像が、１つの仮想空間内に存在することとなる。即ち、主端末１を装着したオペレータは、仮想空間に、現実空間のユーザがそのまま存在しているように視認することができる。また、仮想空間に存在するユーザは、現実空間と同じ距離及び姿勢で存在する。
図８によれば、図４とは別の機能として表現されているが、図４に組み合わせて実装される。カメラ１０４は、常時撮影し、その映像を物体認識部１１２へ入力する。また、物体認識部１１２と、サーバアクセス部１４と、ユーザ画像切出部１５と、仮想画像生成部１６とも、常時機能する。そのために、オペレータが視認する仮想空間では、現実空間におけるユーザの副端末との相対位置姿勢が維持されると共に、現実空間のユーザが存在しているように視認できる。
以上、詳細に説明したように、本願の第１の発明として、現実空間における副端末との相対位置姿勢を仮想空間内で維持することができる。
また、本願の第２の発明として、現実空間におけるユーザの映像を仮想空間内に展開することができる。
前述した本発明における種々の実施形態によれば、当業者は、本発明の技術思想及び見地の範囲における種々の変更、修正及び省略を容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ 主端末
１０１ ディスプレイ
１０２ 狭域通信部
１０３ 広域通信部
１０４ カメラ
１０５ 姿勢センサ
１１０ 副端末検出部
１１１ 副端末姿勢受信部
１１２ 物体認識部
１１３ 物体姿勢検出部
１２ 相対姿勢算出部
１３ 副端末通信部
１４ サーバアクセス部
１５ ユーザ画像切出部
１６ 仮想画像生成部
２ 副端末
２０５ 姿勢センサ
３ 仮想空間サーバ

Claims (13)

  1. カメラ及び姿勢センサを搭載した主端末について、現実空間で視認可能な位置に存在する副端末と通信可能な主端末であって、
    副端末から、当該副端末座標系Ｈの副端末姿勢ＴH2を受信する副端末姿勢受信手段と、
    カメラによって撮影された映像から、現実空間の副端末を認識する物体認識手段と、
    カメラによって撮影された映像から、副端末について、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢ＴA2を検出する物体姿勢検出手段と、
    主端末座標系Ａの副端末姿勢ＴA2と、副端末座標系Ｈの副端末姿勢ＴH2とから、現実空間の相対姿勢を算出する相対姿勢算出手段と、
    現実空間の相対姿勢を、仮想空間サーバへ送信するサーバアクセス手段と
    を有し、仮想空間サーバの同一の仮想空間内で主端末と副端末との間の現実空間の相対姿勢を維持する
    ことを特徴とする主端末。
  2. 相対姿勢算出手段は、主端末座標系Ａの副端末姿勢ＴA2と、副端末座標系Ｈの副端末姿勢ＴH2とから、主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAHを算出する
    ことを特徴とする請求項１に記載の主端末。
  3. サーバアクセス手段は、現実空間の相対姿勢として、以下のいずれかを仮想空間サーバへ送信する
    主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAH、
    相対姿勢ＴAHから導出された位置ｖ及び傾きｒ、
    相対姿勢ＴAHの逆行列ＴAH -1（副端末座標系Ｈに対する主端末座標系Ａの相対姿勢ＴHA）、又は、
    相対姿勢ＴAHの逆行列ＴAH -1から導出された位置ｖ及び傾きｒ
    ことを特徴とする請求項２に記載の主端末。
  4. 副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段を更に有し、
    サーバアクセス手段は、副端末から取得したサーバアドレスに基づく仮想空間サーバへログインし、副端末と同一の仮想空間へ参入する
    ことを特徴とする請求項１から３のいずれか１項に記載の主端末。
  5. サーバアクセス手段は、
    広域通信を介して外部ネットワークに配置された仮想空間サーバへ、
    狭域通信を介してローカルに配置された仮想空間サーバへ、又は、
    狭域通信を介して副端末に搭載された仮想空間サーバへ
    アクセスすることを特徴とする請求項１から４のいずれか１項に記載の主端末。
  6. 副端末は、姿勢センサを有し、
    主端末座標系Ａの副端末姿勢ＴA2は、映像に映り込む副端末におけるユーザが向く前面に対する位置ｖ及び傾きｒから導出されたものであり、
    副端末座標系Ｈの副端末姿勢ＴH2は、当該副端末の姿勢センサによって検知されたものである
    ことを特徴とする請求項５に記載の主端末。
  7. 主端末座標系Ａの副端末姿勢ＴA2について、映像に映り込む副端末におけるユーザが向く前面は、副端末に配置された所定マーカの位置に基づいて特定される
    ことを特徴とする請求項６に記載の主端末。
  8. 副端末姿勢受信手段は、当該副端末座標系Ｈに基づく位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ｈの副端末姿勢ＴH2とし、
    物体姿勢検出手段は、カメラによって撮影された映像から、副端末について、主端末座標系Ａに基づく位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａの副端末姿勢ＴA2とする
    ことを特徴とする請求項５から７のいずれか１項に記載の主端末。
  9. 主端末は、ディスプレイを搭載した眼鏡型、コンタクトレンズ型、又は、ヘッドマウント型の端末であり、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する副端末をオペレータに視認させる
    ことを特徴とする請求項１から８のいずれか１項に記載の主端末。
  10. 副端末と同一の仮想空間サーバにおける同一の仮想空間にログインしており、
    サーバアクセス手段は、仮想空間サーバから、副端末を所持するユーザをアバターとして表現した仮想空間情報を受信し、
    カメラによって撮影された映像から、副端末を装着したユーザと認識されたユーザ画像部分を切り出すユーザ画像切出手段と、
    切り出されたユーザ画像部分を、仮想空間情報におけるアバター画像部分に重畳する仮想画像生成手段と
    を更に有することを特徴とする請求項１から９のいずれか１項に記載の主端末。
  11. カメラ及び姿勢センサを搭載した主端末について、当該主端末からみて現実空間で視認可能な位置に存在する副端末と通信可能な主端末に搭載されたコンピュータを機能させるプログラムであって、
    副端末から、当該副端末座標系Ｈの副端末姿勢ＴH2を受信する副端末姿勢受信手段と、
    カメラによって撮影された映像から、現実空間の副端末を認識する物体認識手段と、
    カメラによって撮影された映像から、副端末について、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢ＴA2を検出する物体姿勢検出手段と、
    主端末座標系Ａの副端末姿勢ＴA2と、副端末座標系Ｈの副端末姿勢ＴH2とから、現実空間の相対姿勢を算出する相対姿勢算出手段と、
    現実空間の相対姿勢を、仮想空間サーバへ送信するサーバアクセス手段と
    を有し、仮想空間サーバの同一の仮想空間内で主端末と副端末との間の現実空間の相対姿勢を維持する
    ようにコンピュータを機能させることを特徴とする主端末のプログラム。
  12. カメラ及び姿勢センサを搭載した主端末と、当該主端末からみて現実空間で視認可能な位置に存在する副端末とを有するシステムであって、
    主端末は、
    副端末から、当該副端末座標系Ｈの副端末姿勢ＴH2を受信する副端末姿勢受信手段と、
    カメラによって撮影された映像から、現実空間の副端末を認識する物体認識手段と、
    カメラによって撮影された映像から、副端末について、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢ＴA2を検出する物体姿勢検出手段と、
    主端末座標系Ａの副端末姿勢ＴA2と、副端末座標系Ｈの副端末姿勢ＴH2とから、現実空間の相対姿勢を算出する相対姿勢算出手段と、
    現実空間の相対姿勢を、仮想空間サーバへ送信するサーバアクセス手段と
    を有し、
    副端末は、
    所定時間毎に、当該副端末座標系Ｈの副端末姿勢ＴH2を送信する副端末姿勢送信手段を有し、
    仮想空間サーバの仮想空間内で主端末と副端末との間の現実空間の相対姿勢を維持する
    ことを特徴とするシステム。
  13. カメラ及び姿勢センサを搭載した主端末について、当該主端末からみて現実空間で視認可能な位置に存在する副端末と通信可能な主端末の仮想空間姿勢維持方法であって、
    主端末は、
    副端末から、当該副端末座標系Ｈの副端末姿勢ＴH2を受信する第１のステップと、
    カメラによって撮影された映像から、現実空間の副端末を認識する第２のステップと、
    カメラによって撮影された映像から、副端末について、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢ＴA2を検出する第３のステップと、
    主端末座標系Ａの副端末姿勢ＴA2と、副端末座標系Ｈの副端末姿勢ＴH2とから、現実空間の相対姿勢を算出する第４のステップと、
    現実空間の相対姿勢を、仮想空間サーバへ送信する第５のステップと
    を実行し、仮想空間サーバの同一の仮想空間内で主端末と副端末との間の現実空間の相対姿勢を維持する
    ことを特徴とする主端末の仮想空間姿勢維持方法。
JP2021082690A 2021-05-14 2021-05-14 現実空間における副端末との相対位置姿勢を仮想空間内で維持する主端末、プログラム、システム及び方法 Active JP7130213B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021082690A JP7130213B1 (ja) 2021-05-14 2021-05-14 現実空間における副端末との相対位置姿勢を仮想空間内で維持する主端末、プログラム、システム及び方法
PCT/JP2022/018862 WO2022239639A1 (ja) 2021-05-14 2022-04-26 現実空間における副端末との相対位置姿勢を仮想空間内で維持する主端末、プログラム及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021082690A JP7130213B1 (ja) 2021-05-14 2021-05-14 現実空間における副端末との相対位置姿勢を仮想空間内で維持する主端末、プログラム、システム及び方法

Publications (2)

Publication Number Publication Date
JP7130213B1 true JP7130213B1 (ja) 2022-09-05
JP2022175912A JP2022175912A (ja) 2022-11-25

Family

ID=83152200

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021082690A Active JP7130213B1 (ja) 2021-05-14 2021-05-14 現実空間における副端末との相対位置姿勢を仮想空間内で維持する主端末、プログラム、システム及び方法

Country Status (2)

Country Link
JP (1) JP7130213B1 (ja)
WO (1) WO2022239639A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019186800A (ja) 2018-04-12 2019-10-24 Kddi株式会社 情報端末装置、プログラム及び方法
WO2021053805A1 (ja) 2019-09-20 2021-03-25 マクセル株式会社 情報端末装置および位置認識共有方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019186800A (ja) 2018-04-12 2019-10-24 Kddi株式会社 情報端末装置、プログラム及び方法
WO2021053805A1 (ja) 2019-09-20 2021-03-25 マクセル株式会社 情報端末装置および位置認識共有方法

Also Published As

Publication number Publication date
JP2022175912A (ja) 2022-11-25
WO2022239639A1 (ja) 2022-11-17

Similar Documents

Publication Publication Date Title
US10496910B2 (en) Inconspicuous tag for generating augmented reality experiences
US10062213B2 (en) Augmented reality spaces with adaptive rules
CN105190484B (zh) 个人全息告示牌
KR101985703B1 (ko) 증강현실 서비스형 소프트웨어 기반의 증강현실운영시스템
CN103091844B (zh) 头戴式显示设备及其控制方法
US9536350B2 (en) Touch and social cues as inputs into a computer
JP6992761B2 (ja) サーバ、クライアント端末、制御方法、記憶媒体、およびプログラム
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
EP2974509B1 (en) Personal information communicator
CN111768479B (zh) 图像处理方法、装置、计算机设备以及存储介质
WO2013028586A1 (en) Location based skins for mixed reality displays
KR20080022983A (ko) 3ｄ 가상지도상의 사용자의 아바타 객체의 위치 및 활동정보를 현실 세계로 광고하는 시스템 및 방법
WO2021068356A1 (zh) 一种基于用户-展品距离的增强现实博物馆协作交互方法与系统
CN108351689B (zh) 用于显示处于预定义区域中的对象的全息图像的方法和系统
Irfan et al. Crowd analysis using visual and non-visual sensors, a survey
JP7304639B2 (ja) デジタル現実内の強化されたユーザ間通信を可能にするための方法及びシステム
JP7130213B1 (ja) 現実空間における副端末との相対位置姿勢を仮想空間内で維持する主端末、プログラム、システム及び方法
CN105893452B (zh) 一种呈现多媒体信息的方法及装置
JP2015531130A (ja) イベントに関連付けられる情報を人に供給するための方法
JP7266329B2 (ja) 現実空間で視認可能な位置に存在する副端末を特定する主端末、プログラム、システム及び方法
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7015081B1 (ja) 副端末と同一の仮想空間へ参入する主端末、プログラム、システム及び方法
JP7285586B2 (ja) 副端末と同一の仮想空間へ主端末を参入させる方法、システム、主端末、副端末及びプログラム
JP2023056195A (ja) 副端末と同一の仮想空間へ参入する主端末、システム、プログラム及び方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220323

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220816

R150 Certificate of patent or registration of utility model

Ref document number: 7130213

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150