JP2021081943A - 仮想現実(vr)と拡張現実(ar)の画像情報を共有する画像共有システム - Google Patents

仮想現実(vr)と拡張現実(ar)の画像情報を共有する画像共有システム Download PDF

Info

Publication number
JP2021081943A
JP2021081943A JP2019208360A JP2019208360A JP2021081943A JP 2021081943 A JP2021081943 A JP 2021081943A JP 2019208360 A JP2019208360 A JP 2019208360A JP 2019208360 A JP2019208360 A JP 2019208360A JP 2021081943 A JP2021081943 A JP 2021081943A
Authority
JP
Japan
Prior art keywords
image
site
office
compatible device
sharing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019208360A
Other languages
English (en)
Inventor
優樹 桑山
Yuki Kuwayama
優樹 桑山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ykuw Design Co Ltd
Original Assignee
Ykuw Design Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ykuw Design Co Ltd filed Critical Ykuw Design Co Ltd
Priority to JP2019208360A priority Critical patent/JP2021081943A/ja
Publication of JP2021081943A publication Critical patent/JP2021081943A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】VR画像同士やAR画像同士での空間共用は存在していたが、VRの視覚情報とARの視覚情報を双方向で共有するシステムは存在しなかった。【解決手段】建築現場で、AR画像を生成可能な位置/方向検知可能なカメラ機能付きタブレット端末でAR画像を生成し、このAR画像を事務所のVR対応可能なPCへ送信してPCに接続されたゴーグル上のVR画像の一部に受信したAR画像を表示し、また逆に事務所のPCに接続されたゴーグルに表示されたVR画像を建築現場のタブレット端末のAR画像の一部に表示する画像共有システム(S)を提供する。【選択図】図1

Description

本発明は2か所以上の離れた場所、例えば設計事務所と建築現場間において、仮想現実(VR:Virtual Reality)と拡張現実(AR:Augmented Reality)の2つの画像情報を夫々の場所で同時に共有することが出来る画像共有システムに関する。
近年、複数の端末装置の間で画像を共有する数多くの技術が知られている。例えば建築現場で生成されたVR画像を共有するシステムに関して特表2019−516174号がある。この引例には、同一場所で仮想現実(VR)ヘッドマウントディスプレイ(HMD)により得られた2つのVR画像を共有するシステムが開示されている。このVR画像は仮想現実(VR)をヘッドマウントディスプレイ(HMD)により得られる場合が多い。同じ物理環境内に第1と第2のVR HMDが位置する場合、第1のVR HMDは、物理環境内の第2のVR HMDの動作を追跡して作動するように構成する。例えば、両VR HMDの慣性データに加えて、VR HMDが取り込んだ画像データを使って、第2のVR HMDの3次元(3D)物理位置が特定され、3D物理位置が経時的に追跡される。そしてこの追跡から、動作の3自由度(DOF)または6DOFが導出される。
しかしながらこのシステムは、第1と第2のVR HMDが同一の物理環境内に位置することを前提とする。換言すれば本願発明のような例えば設計事務所と建築現場という異なる物理環境内における画像共有を前提とするものではなく、更に本システムは単に仮想現実(VR)を共有するのであり、VR画像とAR画像を夫々の場所で同時に共有するするシステムではない。
また例えば建築現場で現場作業者により得られたAR画像、すなわち現実の建築現場の現実画像に、予めCAD等で作成した設計図面を基に生成されたVR画像(仮想画像)を重ね合わせたAR画像を事務所のPC画面に送信するシステムなどは従来から存在していた。この場合3次元CAD画像をPCの画面で確認しながら現場から受信したAR画像を画面で平面的に見比べることは出来たが、3次元CAD画像の実寸大の仮想空間をHMDで立体視で確認しながら仮想空間内に表示されたAR画像を比較するよりも、画像認知度が格段に低下するという不具合を有していた。また更にVR画像同士やAR画像同士での空間共用は存在していたが、VRの視覚情報とARの視覚情報を双方向で共有するシステムは存在しなかった。
特表2019−516174号 特表2019−511781号 特開2019−130295号 特開2017−120588号 特開2019−96330号 特表2018−503165号 特開2003−99560号 特開平10−301474号
解決しようとする問題点は、VR画像同士やAR画像同士での空間共用は存在していたが、VRの視覚情報とARの視覚情報を双方向に共有するシステムは存在しなかった点である。
本発明はこのような問題に鑑みてなされたものであり、例えば設計事務所と建築現場間のような2か所以上の離れた場所において、VR画像と現場で生成されたAR画像の2つの画像情報を夫々の場所で同時に共有することが出来る画像情報共有システムを提供することを目的とする。
複数の情報処理機器をネット上で相互に接続し、この情報処理機器の少なくとも1つを現場に持ち込まれたAR対応機器、例えばカメラを搭載し画像処理能力を有した携帯端末、例えばタブレット端末(以下タブレット端末という)で構成する。また他の1つは事務所に設置されたVR対応機器の例えばPCとそれに接続したゴーグル等で構成する。そしてタブレット端末で生成した建築現場のAR画像を、VR対応機器のPCへネット経由で送信し、PCに接続したゴーグル上のVR画像の一部としてこの受信したAR画像を表示する。また逆に事務所に設置したVR対応機器のゴーグル上に表示されたVR画像をAR対応機器であるタブレット端末に送信し、AR画像の一部に受信したVR画像を表示可能とする画像共有システムを提供する。
本発明によれば、事務所側ではVR画像の一部にロケーションAR画像を重ねて表示し、また同時に現場側ではロケーションAR画像の一部に事務所で表示されているVR画像が重ねて表示される。これにより事務所側と現場側では、その時点のVR画像とロケーションAR画像を完全に視覚共有することが可能となる。例えば現場で見ているAR画像を事務所側でヘッドマウントディスプレイ(ゴーグル)で見ることが可能であり、また事務所で見ているVR画像を現場のタブレット端末で見ることができる。すなわち双方向で送受信したAR画像とVR画像を、事務所側と現場側が同時に同一内容の画像を視覚共有することが可能となる。これにより従来よりも情報量の多い仮想空間での打合せが可能となる。
図1は本発明に係る画像共有システムSの概念を示すシステム構成図である。 図2は本願の画像共有システムSの機能構成を示すブロック図である。 図3は本願の画像共有システムSにおけるVR側すなわち事務所側のソフト処理手順を示す処理フローチャートである。 図4は本願の画像共有システムSにおけるAR側すなわち例えば建築現場側ソフトの処理手順を示す処理フローチャートである。 図5は建設業界における事務所側の設計者と、現場側の施工業者間での会話例を示す会話フローチャートである。 図6は史跡ツアーにおける事務所側の識者と、史跡現地のツアー参加者の間の会話例を示す会話フローチャートである。
以下、図面を参照して本発明の画像共有システムSの一実施形態について説明する。
(システム構成)
図1は、本発明に係る画像共有システムSの概念を示すシステム構成図である。以下本発明の概要を機能面より概説する。この画像共有システムSは、事務所側VR対応機器Aと現場側AR対応機器3により構成され、両者は例えば事務所に設置したサーバ4を経由して相互にネットワークで接続されている。事務所側VR対応機器Aは、既存のPC1とそれに接続されたVR機器、例えばゴーグル2で構成されている。一方現場側AR対応機器3は既存のカメラ機能付きタブレット端末で構成されている。なお事務所側VR対応機器Aおよび現場側AR対応機器3とも、相対位置と方向を検知できる慣性測定機能を有している。
事務所側VR対応機器Aでは、予めCAD(BIM)データを基に作成したVRアプリを起動させサーバ4にログインしておく。同じく現場側AR対応機器3でも、予めCAD(BIM)データを基に作成したARアプリを起動させ、サーバ4にログインする。そして現場側AR対応機器3は、カメラにより映された現実画像にVRアプリで生成された仮想画像を合成してロケーションAR画像を生成する。従って現場の施工業者はカメラから得られた現実画像にVR画像を重ねたロケーションAR画像により、例えば建築現場における建築完成後のイメージをタブレット端末上で表示確認することが出来る。ここまでの画像処理は既存技術により生成される画像技術を活用するので詳細な処理手順についての説明は省略する。
本願発明の特徴は、従来は現場の担当者のみが視覚確認できたこのロケーションAR画像を、サーバ4経由で事務所側VR対応機器Aへ同時配信し(T1)、PC1で処理されゴーグル2に表示されているVR画像の一部に、この受信したロケーションAR画像が同時表示される構成となっている。この画像送信の送信技術自体は既存技術であるが、このロケーションAR画像を事務所側へ同時配信し、現場側と事務所側が同一ロケーションAR画像を視覚共有することは従来の技術思想には存在しない。また更に現場側AR対応機器3には、事務所側で表示されているVR画像が同時配信され(T2)、ロケーションAR画像の一部に表示される。すなわち本願発明の画像共有システムSでは、事務所側ではVR画像上にロケーションAR画像を重ねて表示し、現場側ではロケーションAR画像上に事務所で表示されているVR画像を重ねて表示される。これにより事務所側と現場側では、その時点のVR画像とロケーションAR画像を完全に視覚共有することが可能となる。例えば事務所側でヘッドマウントディスプレイ(ゴーグル)2で見ているVR画像や現場のタブレット端末で体験するAR画像を、双方向で事務所側と現場側へ送受信し両者が同時に同一内容の画像を視覚共有することが可能となる。
これにより上記本願発明の画像共有システムSを活用することにより、事務所側ではVR画像で仮想空間を体験しながら、例えば建築現場で得られたAR画像をリアルタイムで見ることにより、従来よりも情報量の多い仮想空間での打合せを可能とする。建築現場では、建設地に完成予想の家屋CG画像を重ねるAR画像で完成状態を予測し、周辺との景観や、出来上がった家屋躯体とこれから作業する仕上げ材などの部材との相互干渉を現場で確認することができる。このAR画像生成技術は従来技術と変わるところはないが、本願構成ではこのAR画像をVR体験している事務所へ送信することで(T1)、事務所に居ながら現場の進捗状況や、ARによる完成予想を確認することができる。すなわち事務所ではこの完成予想モデルと現場のAR画像を見比べながら現場の状況を確認することができる。一方現場側では、事務所側の例えば設計担当者が見ているVR画像を受信するので(T2)、事務所側の設計担当者と現場の例えば施工担当者がお互い、画像上の何処を見ているのかを確認し合うことで、意思疎通の向上を図ることが可能となる。例えば建築現場でドアノブと柱とが実際にはぶつかる“干渉”を起こしており、この干渉を防ぐには設計変更を行う必要ある場合に、事務所の設計担当者は現場へ行かずとも事務所でVRにログインし、現場施工業者には現場のAR画像を送信してもらい、この受信したAR画像を事務所のVR画像上の一部にリアルタイムで表示すれば、事務所の設計者はVR画像を見ながらAR画像を確認することも可能となる。そして設計者は必要に応じて設計変更を行い、設計変更後のVR画像を再び現場へ送信し、これに対応するAR画像を再び生成してもらうという手順を繰り返せば、本願発明の画像共有システムSは設計業務支援に最適なシステムとなり得る。また一方、現場の例えば施工担当者にとっても、事務所側の設計者がVR画像の何処を見ているのかを視覚確認でき、自分と事務所の設計者が相互に間違った箇所を見ていないことを確認しながら安心して打合せを進めることが可能となる。
この様に本願の画像共有システムSシステムでは、事務所側と現場側ではVR画像とAR画像を共有できるが、他の応用例ではこのシステムを観光業に応用することも可能となる。例えば現地には史跡建物が現存しない史跡保存公園で、建物を復元したCG画像をAR画像上で見ている観光客に、研究者など識者がオフィスなど場所を選ばずにVRにログインして史跡説明をする史跡観光ツアーも開催することが可能となる。具体的には事務所側の識者は、史跡現地のAR体験者(史跡観光客)が見ているAR画像をVR画像内で確認しながら案内できるので、史跡観光客が今興味を持っている史跡内の場所を的確に判断し遠隔案内することが可能である。また間違った案内を防ぐことができる。
また史跡観光客であるAR体験者は、VR画像上で案内している識者の見ている箇所を確認しながら現地で案内を受けられるので、自分が見ている箇所と識者が説明している箇所とが一致しているのかを確認しながら史跡説明を聴けるので間違った史跡解釈を防止することが可能である。またAR体験者は、史跡で復元CG画像についての史実を音声解説や文字情報で説明を受けたり、更に識者の生の声を聴きながら史跡ツアーを体験することもできる。識者は従来なら現地史跡へ行けなかったツアーでも、史跡観光客が観ているAR画像をオフィス等の遠隔地で同時に視覚確認しながら案内できるので、本願の画像共有システムSでは史跡ツアーを開催することが可能となる。この様に従来なら識者の移動時間などからイベント開催には半日から1日は要し、スケジュール調整の難しさから限られた回数しか開催できない場合にも、本願の画像共有システムSを利用すれば遠隔地で2〜3時間の時間帯を利用して史跡ツアーを開催することができるので、観光や地元学習での史跡活用の活発化が可能となる。
(ブロック図)
図2は、本願の画像共有システムSの機能構成を示すブロック図である。事務所側VR対応機器Aと現場側AR対応機器3とは、図示しないサーバ経由で接続されている。事務所側VR対応機器AはPC1とVR機器例えばゴーグル2で構成されているが、これ等は全て一般的な従来機器であり、従ってその構成の詳細説明は割愛する。また現場側AR対応機器3はカメラ機能を有する従来のタブレット端末等で構成されているのでこれも構成の詳細説明は割愛する。なおAR画像を生成するため現場画像を撮像するカメラ35は必須である。またゴーグルタブレット端末とも、その位置と方向性を検知する慣性測定ユニット等が装備されている。
(VR側でのフローチャート)
図3は、本願の画像共有システムSにおけるVR側すなわち事務所側のソフトの処理手順を示している。まずサーバにログイン後、サーバ内のVR情報から見たい箇所のVR画像を取得する(VR-S1)。例えば建築現場のドアー付近を見たいのであれば、ドアー付近のVR画像を取得する。次にその取得したドアー付近のVR画像をAR側すなわち現場側のAR対応機器3に送信する(VR-S2)。またAR側との画像上の位置関係を合致させる為にVR画像上の空間内での自分の位置情報を取得し(VR-S4)、AR側にその位置情報(相対的位置と方向情報)を送信する(VR-S5)。VR画像ではコンテンツ制作ソフト上で制作者が原点に設定した位置を原点とすることができる。その上で現場のAR側との原点を合わせるために、AR側でマーカにした特定の座標と、VR側での原点を一致させる必要がある。この実施例ではAR側では現場にある特定の柱の基礎をマーカにしているため、VR側でも建造物のその柱の基礎と同じ場所を原点としている。このように原点をAR側とVR側とで同じところに設定ができると、それぞれの仮想空間上の原点からの相対的な距離、角度を、AR、VR画像上でそれぞれで計測できるので(これはどちらも既存の技術を使用する)、その仮想空間上での位置情報を互いに送信し合うことで各々の場所が判るようになる利点を有する。そして本願発明では、この仮想空間上での位置情報を判り易いように、相手が見ている場所に所定の方向を向いた青い人形のマーカを追従させるように構成されている。この青い人形のマーカはAR、VR両方での相手側の位置、角度(方向)を基に生成されているので相手の場所、向いている方向が判るようになる。なおこのVR画像とVR画像で画像上の位置関係を合致させる構成に関し本願発明と従来技術を対比させると、従来技術ではAR画像とAR画像同士の位置共有技術は存在している。またAR画像と同一場所(例えば所定の部屋の中)でのVR画像の位置共有技術も存在している。しかしながら本願発明の画像共有システムSのように、例えば現場の建築現場に行って、現実の位置を起点にしてそこに入り込み、AR画像とVR画像の位置を共有する構成は従来技術には存在していない。
図2に戻って、VR側すなわち事務所側では、AR側から送られてきた現場のAR画像をVR機器2の表示部21に表示する(VR-S7)。更にAR側から送られてきた位置情報をマップ上に表示する(VR-S9)。この位置情報によりVR画像上で、現場施工業者がどの位置および方向を向いてカメラ35を撮影しているかを表示することが可能となる。
なおステップVR-S9の現場の施工業者から受信したAR画像が例えば建設現場における母屋付近のAR画像であり、その母屋内の配線の収まり具合を事務所にいる設計者が確認後、その事務所にいる設計者が次に母屋に隣接する車庫付近の配線を見たい場合は、設計者が装着しているVR機器2(ゴーグル)を移動させステップVR-S1へ戻り、さらにここで車庫のVR画像が現場の施工業者に送られ、そのVR画像にある車庫付近を現場の施工業者が撮像してAR画像を生成し、この新たに生成した車庫付近のAR画像を受信して事務所の設計者は車庫付近の収まり具合を確認することができる。このようにこの操作が次々に繰り返される。従って本願発明の画像共有システムSを利用すれば、事務所の設計者と現場施工業者間で、相互にAR画像とVR画像の画像確認が従来よりもスムーズに確実に行われる利点を有する。
(AR側でのフローチャート)
図4は、本願の画像共有システムSにおけるAR側すなわち例えば建築現場側のソフトの処理手順を示している。まずサーバにログイン後、ARマーカを読み込み(AR-S1)、ARマーカの場所を空間の原点に設定する。一般にAR側の原点設定方法は、AR画像では起動した端末の位置がARでの原点になるため端末ごとに原点が固定されない。そのため現実世界のある看板や掲示物をARマーカとして、その場所をARでの原点に設定することによって現実世界のあるユニークな座標をすべての端末での共通な原点に設定できる。この場合はステップVR-S5でVR側から送信された位置情報に基づきAR画像の原点の設定が行われる(AR-S2)。この様にしてVR側とAR側の端末同士の位置情報の共有ができるようになる。
次に本願発明に係る画像共有システムSの特徴的な画像送信のステップについて説明する。カメラ35で所定の箇所の生画像を取得する(AR-S3)。例えば上述の母屋内の配線の収まり具合を見たい場合は、まずこの母屋を撮像することになる。そしてこの母屋の画像上に予め事務所側で作成されたVR画像と撮像した母屋の画像を重ね合わせ1つのAR画像を生成する(AR-S4、AR-S5)。この画像合成は従来技術により行われるので詳細は省略する。ここまでは従来技術であり、今までもこのAR画像は例えば現場の施工業者が視覚確認していた。そして施工業者は視覚確認に基づき、例えば携帯電話で事務所の設計者と母屋内の配線の収まり具合を口頭で伝えることにより施工業者と設計者が工事手順について打ち合わせていた。しかしながらこの方法では、事務所側の設計者は、現場の施工業者が現場の何処を現在視認しながら電話で説明しているのかが十分には分からない。そのため本願発明の画像共有システムSでは上記ステップAR-S5で得られたAR画像をVR側すなわち上述の例であれば事務所の設計者へ送信する(AR-S6)。図1ではT1で示すようにこの送信されたAR画像は、事務所側のVR画像上に表示される。従ってこのAR画像は現場の施工業者のみでなく事務所の設計者においても視覚視認が可能となる。また他の撮像例としては、図1のT2に示すように事務所側の設計者が確認したい例えば母屋に隣接する車庫付近のVR画像は現場の設計者の表示部34に表示されているため、この設計者の発意により現場の施工業者は車庫付近を撮影しこの付近のAR画像を生成し、事務所の設計者へ送信するようにしてもよい。
このように現場の施工業者の発意によりAR画像を得て事務所の設計者にAR画像を送信し、或いはこれとは逆に設計者の発意により設計者が見ているVR画像を施工業者へ送信し、施工業者は受信したVR画像に対応するAR画像を得て事務所の設計者にこのAR画像を送信することも可能である。すなわちAR画像は双方の発意に基づき生成されるので、両者間で今まで以上にスムーズな双方向性のコミュニケーションを図ること可能となる。この様なスムーズな双方向性のコミュニケーションの可能性を本願発明は有しているため、上記の設計者と施工業者間での応用に限らず、既に説明した史跡観光ビジネスにおける史跡にいる観光客と事務所側の識者間でも同様に応用可能であり、遠隔地においてVR、AR画像を共用するビジネス等の幅広い応用ができるという利点を有する。
更に図4を参照してAR側での動作フローの説明を続ける。事務所側と現場側での位置と向いている方向を相互に確認する場合は、現場の施工業者の空間内での自分の位置情報(相対的位置と方向)を取得する(AR-S8)。そしてこの取得した位置情報はVR側へ送信され(AR-S9)、VR画像とAR画像の位置関係を合致させる。
また事務所側の設計者が現場の例えば母屋に隣接する車庫の部分を見たい場合は、その車庫の部分のVR画像がAR側の施工業者の表示部34に表示される(AR-S11)。これにより現場の施工業者は設計者が車庫の部分を見たいという要求が判るので、この車庫に合わせてカメラを移動させ車庫の部分のAR画像を生成することが可能となる。この様に事務所側と現場側の間でVR画像とAR画像を共有することにより、双方向性のコミュニケーションを容易に図ることができる利点を有する。
更にまたVR側から送られてきた位置情報(相対的位置と方向)に基づいて空間内にいる人形のオブジェクトに反映させ(AR-S13)、その位置を基にマップ上にVR側の位置を表示する(AR-S14)。これにより双方の位置関係を合致させることが可能となる。
このように本願発明に係る画像共有システムSにおいては、現場にいる施工業者の発意により現場から事務所へAR画像を送信し(図1のT1)、事務所の設計者はVR画像と共に居ながらにして現場で生成されたAR画像を視認することが可能である(図1における事務所での画像)。そしてこれとは逆に設計者の発意により設計者が選択した箇所のVR画像を現場へ送信し(図のT2)、現場の施工業者は受信したVR画像に対応する箇所にカメラを合わせてAR画像を得て、事務所の設計者にこのAR画像を送信することも可能である。すなわちAR画像は現場側および事務所側の双方の発意に基づき生成されるので、両者間で今まで以上にスムーズな双方向性のコミュニケーションを図ること可能となる。
(建築現場での会話例)
次に本願発明の利点を更に理解するため事務所側の設計者と現場側の施工業者間での会話例を図5に示し、本願発明に係る画像共有システムSがどの様に使用されるかについて説明する。この場合、図5の左側には現場にいる施工業者の会話例を示し、右側には事務所にいる設計者の会話例を示す。なお左側の施工業者は例えばカメラ付きかつ方向性も感知可能なタブレット端末を有しており、AR画像を生成し視認できる環境にある。また右側の設計者は現場には行けないが、CAD等により作成された設計図面を基にVR画像を生成・変更することができ、かつヘッドマウントディスプレイ(HMD)等によりVR画像を視認できる環境にある。なお現場は既に新築の住宅が建てられており、左側の設計者により新規にドアーを所定の場所に追加設置する設計がされおり、右側の施工業者によりその新規のドアーの追加施工がされるところである。
まず現場の施工業者の発意により、会話AR-C1で既存の柱とこれから追加設置するドアーの収まり具合について、設計者の設計図を基に作成したVR画像とカメラで撮影した現実画像を重ね合わせて生成したAR画像1を生成する。施工業者はこのAR画像1を見て、既存の柱とこれから設置するドアーが干渉することが判った。そのため会話AR-C1でこの干渉の事実を事務所の設計者へ伝える。この会話はネット経由でも携帯電話経由でもよい。一方、事務所の設計者は会話VR-C1で現場のAR画像でドアーの収まり具合を実際の画像で確認するためAR画像の送信を施工業者へ要求する。次に現場の施工業者は会話VR-C1でAR画像を設計者へ送信し(図1のT1)実際のドアーが干渉のAR画像を設計者へ送る。設計者は会話AR-C2で受信したAR画像1を確認する。このように施工業者、設計者が同一のAR画像1を視認しながら会話が可能になるという本願発明に係る画像共有システムSの有用性が十分発揮されている。従来技術では、現場で得られたAR画像1を設計者は見られないからこのような確認はできなかった。更にこの設計者の会話VR-C2では、設計者の発意によりドアー設置予定箇所の「この角度」で見たい旨の要求を施工業者へ伝える。この場合の「この角度」とは、具体的に図1に示すゴーグル2を動かし別角度から見たVR画像を設計者から施工業者に送信している(図1のT2)。そしてこの「別角度から見たVR画像」を施工業者は確認し、その角度から実際の柱を撮像し、この部分へVR画像を重ね合わせたAR画像2を生成する。施工業者はこのAR画像2を設計者へ改めて送信し、その上で会話AR-C3でドアーを左に100mm移動する提案を設計者へ行う。つまり設計者から特定角度から見たVR画像を施工業者へ送信し、施工業者からはその特定角度から撮像したAR画像を設計者へ送信することにより、両者間でVR画像とAR画像を確認しながらスムーズな打ち合わせが可能となる。この様な両者間でVR画像とAR画像を確認は従来例では不可能であった。その後、会話VR-C3、会話AR-C4、会話VR-C4がされて、スムーズなドアー位置の設計変更が行われることになる。
(史跡ツアーでの会話例)
図6には別の実施例である史跡ツアーにおける事務所側の識者と史跡現地のツアー参加者の間の会話例である。基本的には図5と同様な会話構成であり会話内容を通読すれば内容把握は可能であるため詳細な説明は割愛する。
相互に離れた場所にいる複数人間で、VR画像とAR画像を確認しながらスムーズな打ち合わせが可能となる。従って遠隔地においてVR、AR画像を共用する幅広いビジネスに応用ができるという利点を有する。
S 画像共有システム
A 事務所側VR対応機器
1 PC
2 ゴーグル
3 現場側AR対応機器
4 サーバ

Claims (6)

  1. 複数の情報処理機器がネット上で相互に接続され画像通信が可能な画像共有システムにおいて、該複数の情報処理機器の少なくとも1つはAR対応機器(3)と、少なくとも1つはVR対応機器(A)で構成され、AR対応機器で生成されたAR画像をVR対応機器に送信しVR対応機器に表示可能であり、また逆にVR対応機器に表示されたVR画像をAR対応機器に送信しAR対応機器に表示可能であるように構成されたことを特徴とする画像共有システム(S)。
  2. 前記AR対応機器(3)が位置/方向検知可能なカメラ機能付きタブレット端末であり、前記VR対応機器(A)がPC(1)と該PCに接続された位置/方向検知可能なゴーグル(2)で構成され、相互に相手機器から受信した位置/方向情報に基づきVR画像の原点とAR画像の原点を一致させるように構成されたことを特徴とする請求項1記載の画像共有システム(S)。
  3. 前記VR画像の原点とAR画像の原点に対する現在地点に、相手機器の位置および方向を示すマーカを表示するように構成されたことを特徴とする請求項2記載の画像共有システム(S)。
  4. 前記VR対応機器(A)が事務所に設置され、前記AR対応機器(3)であるタブレット端末が事務所から離れた現場に持ち込まれ、該タブレット端末で生成されたAR画像が事務所の前記VR対応機器(A)のVR画像の一部に表示されると共に、逆に前記VR対応機器(A)のゴーグル(2)に表示されたVR画像が前記タブレット端末にAR画像の一部に表示されるように構成されたことを特徴とする請求項2記載の画像共有システム(S)。
  5. 前記前記VR対応機器(A)が設置された事務所が建築設計事務所であり、前記AR対応機器(3)であるタブレット端末が持ち込まれた現場が建築現場であり、建築設計事務所と建築現場の双方で、AR画像とVR画像を同時に視認できるように構成されたことを特徴とする請求項2記載の画像共有システム(S)。
  6. 前記前記VR対応機器(A)が設置された事務所が史跡に関する識者がいる事務所であり、前記AR対応機器(3)であるタブレット端末が持ち込まれた現場が史跡現場であり、識者と史跡めぐりの観光客の双方で、AR画像とVR画像を同時に視認できるように構成されたことを特徴とする請求項2記載の画像共有システム(S)。


JP2019208360A 2019-11-19 2019-11-19 仮想現実(vr)と拡張現実(ar)の画像情報を共有する画像共有システム Pending JP2021081943A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019208360A JP2021081943A (ja) 2019-11-19 2019-11-19 仮想現実(vr)と拡張現実(ar)の画像情報を共有する画像共有システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019208360A JP2021081943A (ja) 2019-11-19 2019-11-19 仮想現実(vr)と拡張現実(ar)の画像情報を共有する画像共有システム

Publications (1)

Publication Number Publication Date
JP2021081943A true JP2021081943A (ja) 2021-05-27

Family

ID=75965205

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019208360A Pending JP2021081943A (ja) 2019-11-19 2019-11-19 仮想現実(vr)と拡張現実(ar)の画像情報を共有する画像共有システム

Country Status (1)

Country Link
JP (1) JP2021081943A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023248832A1 (ja) * 2022-06-22 2023-12-28 ソニーグループ株式会社 遠隔視認システム、現地撮像システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012133586A (ja) * 2010-12-21 2012-07-12 Ntt Docomo Inc 表示装置、画面画像転送方法、及びプログラム
JP2015192436A (ja) * 2014-03-28 2015-11-02 キヤノン株式会社 送信端末、受信端末、送受信システム、およびそのプログラム
JP2017120588A (ja) * 2015-12-28 2017-07-06 株式会社オプティム 画面共有システム、画面共有方法、および画面共有プログラム
WO2018194137A1 (ja) * 2017-04-19 2018-10-25 小柳建設株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019096330A (ja) * 2018-12-25 2019-06-20 Kddi株式会社 画面共有システム、画面共有方法及びプログラム
US20190197788A1 (en) * 2017-12-22 2019-06-27 Unity IPR ApS Method and system for synchronizing a plurality of augmented reality devices to a virtual reality device
US20190304188A1 (en) * 2018-03-29 2019-10-03 Eon Reality, Inc. Systems and methods for multi-user virtual reality remote training
JP2020126455A (ja) * 2019-02-05 2020-08-20 凸版印刷株式会社 空間情報管理装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012133586A (ja) * 2010-12-21 2012-07-12 Ntt Docomo Inc 表示装置、画面画像転送方法、及びプログラム
JP2015192436A (ja) * 2014-03-28 2015-11-02 キヤノン株式会社 送信端末、受信端末、送受信システム、およびそのプログラム
JP2017120588A (ja) * 2015-12-28 2017-07-06 株式会社オプティム 画面共有システム、画面共有方法、および画面共有プログラム
WO2018194137A1 (ja) * 2017-04-19 2018-10-25 小柳建設株式会社 情報処理装置、情報処理方法、及びプログラム
US20190197788A1 (en) * 2017-12-22 2019-06-27 Unity IPR ApS Method and system for synchronizing a plurality of augmented reality devices to a virtual reality device
US20190304188A1 (en) * 2018-03-29 2019-10-03 Eon Reality, Inc. Systems and methods for multi-user virtual reality remote training
JP2019096330A (ja) * 2018-12-25 2019-06-20 Kddi株式会社 画面共有システム、画面共有方法及びプログラム
JP2020126455A (ja) * 2019-02-05 2020-08-20 凸版印刷株式会社 空間情報管理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
凸版印刷株式会社, 凸版印刷とTIS、離れていても体験を共有できる技術を共同開発、サイバー空間とフィジカル空間をリアルタイ, JPN6023003113, 19 March 2019 (2019-03-19), ISSN: 0004977058 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023248832A1 (ja) * 2022-06-22 2023-12-28 ソニーグループ株式会社 遠隔視認システム、現地撮像システム

Similar Documents

Publication Publication Date Title
US11875309B2 (en) Asynchronous virtual collaboration environments
CN105659170B (zh) 用于向远程用户传送视频的方法及视频通信装置
EP3457253B1 (en) Collaboration methods to improve use of 3d models in mixed reality environments
CN106548517B (zh) 基于增强现实技术进行视频会议的方法及装置
US20230421725A1 (en) Virtual environment generation for collaborative building assessment
US20140104368A1 (en) Telepresence portal system
US9310902B2 (en) Digital signs
US11757947B2 (en) Asymmetric collaborative virtual environments
JP6896688B2 (ja) 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム
CN110770798B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
Nakanishi et al. Transcendent communication: location-based guidance for large-scale public spaces
CN115134519B (zh) 远程操作系统、远程操作移动体、远程操作方法以及计算机可读介质
JP2021081943A (ja) 仮想現実(vr)と拡張現実(ar)の画像情報を共有する画像共有システム
JP2011097447A (ja) コミュニケーションシステム
JPH1055257A (ja) 3次元仮想空間表示方法
US20200366869A1 (en) Virtual window for teleconferencing
US20230035962A1 (en) Space recognition system, space recognition method and information terminal
CN116670722A (zh) 增强现实协作系统
CN108261761B (zh) 一种空间定位方法和装置、计算机可读存储介质
KR102467017B1 (ko) 다중 사용자 간의 증강현실 커뮤니케이션 방법
JP2021005347A (ja) 空間再現方法及び空間再現システム
WO2023190091A1 (ja) 仮想現実会議システム
KR102391898B1 (ko) 영상 데이터 전송을 위한 원격 접속 시스템 및 이의 실행 방법
WO2023190092A1 (ja) 立体像表示システム
KR20190048291A (ko) 영상 클리핑을 이용한 화상 회의 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231113

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240305