JP2023157818A - 多拠点空間共有システムおよび合成映像生成システム - Google Patents
多拠点空間共有システムおよび合成映像生成システム Download PDFInfo
- Publication number
- JP2023157818A JP2023157818A JP2022128140A JP2022128140A JP2023157818A JP 2023157818 A JP2023157818 A JP 2023157818A JP 2022128140 A JP2022128140 A JP 2022128140A JP 2022128140 A JP2022128140 A JP 2022128140A JP 2023157818 A JP2023157818 A JP 2023157818A
- Authority
- JP
- Japan
- Prior art keywords
- base
- video
- composite
- site
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002131 composite material Substances 0.000 claims abstract description 81
- 239000000203 mixture Substances 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 29
- 239000000463 material Substances 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 17
- 230000010365 information processing Effects 0.000 description 12
- 241000251468 Actinopterygii Species 0.000 description 6
- 238000004891 communication Methods 0.000 description 2
- 229920002994 synthetic fiber Polymers 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、多拠点で撮影された複数の拠点映像を用いた合成映像をユーザに表示させるための多拠点空間共有システムおよび合成映像生成システムに関する。
出願人は、仮想空間上にユーザ周辺の現実映像を合成してなる拡張仮想空間をユーザに体験させるためのシステムとして、以下の特許文献1,2に示す発明を着想している。
本発明は、上記発明の発展系として、種々の用途に適用可能な多拠点空間共有システムおよび合成映像生成システムを提供することを目的の1つとする。
上記課題を解決すべく、本発明では、多拠点で撮影された複数の拠点映像を用いた合成映像をユーザに表示する、多拠点空間共有システムであって、各拠点に1つ以上配置し、それぞれ拠点映像を取得する、撮影部と、前記複数の拠点映像のうち1つ以上の拠点映像に対し、任意部分の除去処理を行う、加工部と、前記除去処理後の拠点映像を含む、前記複数の拠点映像を、合成素材の一部または全部として、合成映像を生成する、合成部と、前記合成映像を表示する、表示部と、を少なくとも具備するよう構成した。
当該構成により、多拠点で撮影された複数の拠点映像を組み合わせた1つの合成映像を生成して、各拠点間の人や物を1つの合成映像の中で共有可能とした。
当該構成により、多拠点で撮影された複数の拠点映像を組み合わせた1つの合成映像を生成して、各拠点間の人や物を1つの合成映像の中で共有可能とした。
本発明によれば、以下に記載する効果のうち、少なくとも何れか1つの効果を奏する。
(1)多拠点で撮影された複数の拠点映像を組み合わせてなる1つの合成映像を生成することで、各拠点の人や物を1つの合成映像の中で共有することができる。
(2)近年メタバースとも呼ばれる仮想空間上に、異なる拠点で撮影された実際のユーザの撮影映像を組み込むことができるため、CGからなるアバターを介したコミュニケーションが必要なく、ユーザ間でのよりリアルなコミュニケーションが可能となる。
(3)ユーザのリアルタイム映像を合成映像に組み込むことができるため、各ユーザが離れた場所にあっても各ユーザ間でコラボレーションしながら作業を行う必要性の高い用途(医療行為、工事作業、教育、その他の製作作業など)等への適用に好適である。
(1)多拠点で撮影された複数の拠点映像を組み合わせてなる1つの合成映像を生成することで、各拠点の人や物を1つの合成映像の中で共有することができる。
(2)近年メタバースとも呼ばれる仮想空間上に、異なる拠点で撮影された実際のユーザの撮影映像を組み込むことができるため、CGからなるアバターを介したコミュニケーションが必要なく、ユーザ間でのよりリアルなコミュニケーションが可能となる。
(3)ユーザのリアルタイム映像を合成映像に組み込むことができるため、各ユーザが離れた場所にあっても各ユーザ間でコラボレーションしながら作業を行う必要性の高い用途(医療行為、工事作業、教育、その他の製作作業など)等への適用に好適である。
以下、図面を参照しながら、本発明の詳細について説明する。
<1>全体構成(図1)
本発明に係る多拠点空間共有システムは、各拠点で撮影された複数の拠点映像を含んで合成してなる合成映像を、少なくとも一人以上のユーザに表示するためのシステムである。
図1に示す多拠点空間共有システムは、撮影部10、加工部20、合成部30および表示部40を少なくとも具備しており、その他、計測部50および保存部60を具備している。
各部は、ハードウェアおよびソフトウェアを任意に組み合わせて実現することができるほか、各部を個別の装置とする構成や、複数の各部を一つの装置に組み込んで一体化した構成等を採用することができる。
また、本発明において、拠点の数、各部の数、各部の配置場所、各拠点における構成の異同は特段限定しない。
本発明に係る多拠点空間共有システムは、各拠点で撮影された複数の拠点映像を含んで合成してなる合成映像を、少なくとも一人以上のユーザに表示するためのシステムである。
図1に示す多拠点空間共有システムは、撮影部10、加工部20、合成部30および表示部40を少なくとも具備しており、その他、計測部50および保存部60を具備している。
各部は、ハードウェアおよびソフトウェアを任意に組み合わせて実現することができるほか、各部を個別の装置とする構成や、複数の各部を一つの装置に組み込んで一体化した構成等を採用することができる。
また、本発明において、拠点の数、各部の数、各部の配置場所、各拠点における構成の異同は特段限定しない。
次に、図2~図4に、本発明に係る多拠点空間共有システムの構成例を示す。
なお、本発明において、各構成例から任意の箇所を取りだして、更に組み合わせた態様を採用することができることは言うまでも無い。
また、各拠点で表示される合成映像は、同一の映像であっても良いし、異なる映像であっても良く、用途に応じて適宜選択することができる。
なお、本発明において、各構成例から任意の箇所を取りだして、更に組み合わせた態様を採用することができることは言うまでも無い。
また、各拠点で表示される合成映像は、同一の映像であっても良いし、異なる映像であっても良く、用途に応じて適宜選択することができる。
<1.1>構成例1(図2)
本例は、拠点毎に、各部を全て具備する装置を配置する構成である。
各拠点に設置した装置では、他拠点からの拠点映像を受信して、自拠点の拠点映像とともに、合成素材の一部または全部として合成映像を生成し、自拠点の表示部40に表示することで、ユーザに合成映像を体験させる。
本例は、拠点毎に、各部を全て具備する装置を配置する構成である。
各拠点に設置した装置では、他拠点からの拠点映像を受信して、自拠点の拠点映像とともに、合成素材の一部または全部として合成映像を生成し、自拠点の表示部40に表示することで、ユーザに合成映像を体験させる。
<1.2>構成例2(図3)
本例は、前記構成例1において、加工部20や合成部30を、各拠点とは異なる場所(データセンター等)に設置したサーバで担う構成である。
サーバは、各拠点からの拠点映像を受信して、適宜除去処理を行いつつ各拠点向けの合成映像を生成し、この合成映像を、各拠点の表示部40に送信して、ユーザに合成映像を体験させる。
本例は、前記構成例1において、加工部20や合成部30を、各拠点とは異なる場所(データセンター等)に設置したサーバで担う構成である。
サーバは、各拠点からの拠点映像を受信して、適宜除去処理を行いつつ各拠点向けの合成映像を生成し、この合成映像を、各拠点の表示部40に送信して、ユーザに合成映像を体験させる。
<1.3>構成例3(図4)
本例は、各拠点での目的に応じて、拠点毎に各部の組合せが異なる構成である。
図4では、一方の拠点(拠点1)では、当該拠点にいる人や物を拠点映像として撮影する撮影部10のみを配置し、他方の拠点(拠点2)では、一方の拠点(拠点1)からの拠点映像を受信して、合成素材の一部または全部として合成映像を生成して拠点2の表示部40に表示し、ユーザに合成映像を体験させる。
本例は、各拠点での目的に応じて、拠点毎に各部の組合せが異なる構成である。
図4では、一方の拠点(拠点1)では、当該拠点にいる人や物を拠点映像として撮影する撮影部10のみを配置し、他方の拠点(拠点2)では、一方の拠点(拠点1)からの拠点映像を受信して、合成素材の一部または全部として合成映像を生成して拠点2の表示部40に表示し、ユーザに合成映像を体験させる。
以下、各部の詳細ならびに演算手順の詳細について説明する。
<2>撮影部(図1)
撮影部10は、合成映像の素材の一部または全部となる、拠点映像を取得するための機能を有する。
撮影部10は、各拠点のうち合成対象の映像を取得する複数の拠点において、各拠点に1つ以上配置するものとする。
撮影部10は、合成映像の素材の一部または全部となる、拠点映像を取得するための機能を有する。
撮影部10は、各拠点のうち合成対象の映像を取得する複数の拠点において、各拠点に1つ以上配置するものとする。
<2.1>拠点映像の種類
撮影部10は、ノートPC、タブレット、スマートフォンに内蔵されているカメラや、PCとの接続インターフェースを備えたWEBカメラやデジタルカメラ、拠点に常設されている固定式カメラ、ユーザが装着するヘッドマウントディスプレイ(以下、「HMD」ともいう。)の内蔵カメラ、またはHMDに外付けするカメラなどを用いることができる。
また、撮影部10には、デプスカメラや3Dカメラとも呼ばれる、撮影映像に深度情報を紐付けることが可能なカメラを用いることもできる。
また、本発明において、撮影部10の画角等は特段限定しない。
撮影部10は、ノートPC、タブレット、スマートフォンに内蔵されているカメラや、PCとの接続インターフェースを備えたWEBカメラやデジタルカメラ、拠点に常設されている固定式カメラ、ユーザが装着するヘッドマウントディスプレイ(以下、「HMD」ともいう。)の内蔵カメラ、またはHMDに外付けするカメラなどを用いることができる。
また、撮影部10には、デプスカメラや3Dカメラとも呼ばれる、撮影映像に深度情報を紐付けることが可能なカメラを用いることもできる。
また、本発明において、撮影部10の画角等は特段限定しない。
<3>計測部(図1)
計測部50は、ユーザの位置情報を取得する機能を具備する装置である。
この「位置情報」とは、ユーザの姿勢や位置を認識可能な情報を少なくとも含むものであり、この位置情報に基づいて、合成映像の表示を変更することができる。
計測部50は、角度センサ、加速度センサ、ジャイロスコープなどのセンサ群、モーションキャプチャー装置、GPS装置、トラッカー等を用いることができる。
また、計測部50は、拠点に設置するタイプ、ユーザが装着するHMDに内蔵されているタイプ、ユーザの身体に別途装着するタイプ、ユーザが使用するコントローラに内蔵されているタイプなど、あらゆるタイプが含まれる。
計測部50は、ユーザの位置情報を取得する機能を具備する装置である。
この「位置情報」とは、ユーザの姿勢や位置を認識可能な情報を少なくとも含むものであり、この位置情報に基づいて、合成映像の表示を変更することができる。
計測部50は、角度センサ、加速度センサ、ジャイロスコープなどのセンサ群、モーションキャプチャー装置、GPS装置、トラッカー等を用いることができる。
また、計測部50は、拠点に設置するタイプ、ユーザが装着するHMDに内蔵されているタイプ、ユーザの身体に別途装着するタイプ、ユーザが使用するコントローラに内蔵されているタイプなど、あらゆるタイプが含まれる。
<4>加工部(図1)
加工部20は、各撮影部10によって得られる拠点映像のうち、1つ以上の拠点映像に対し、任意部分の除去処理を行って、除去処理後の拠点映像を取得する機能を有する。
この「任意部分の除去処理」とは、拠点映像を構成するフレーム画像に対して、任意の部分を除去して、その余の箇所を抽出する処理である。
本発明において、「任意部分の除去処理」の手法は特段限定しないが、代表的な除去処理として、クロマ系除去処理とデプス系除去処理がある。
以下、各除去処理の詳細について説明する。
加工部20は、各撮影部10によって得られる拠点映像のうち、1つ以上の拠点映像に対し、任意部分の除去処理を行って、除去処理後の拠点映像を取得する機能を有する。
この「任意部分の除去処理」とは、拠点映像を構成するフレーム画像に対して、任意の部分を除去して、その余の箇所を抽出する処理である。
本発明において、「任意部分の除去処理」の手法は特段限定しないが、代表的な除去処理として、クロマ系除去処理とデプス系除去処理がある。
以下、各除去処理の詳細について説明する。
<4.1>デプス系除去処理(図5)
デプス系除去処理は、除去処理対象である拠点映像について、当該拠点映像に紐付けられている深度情報の値に基づいた除去を行う処理である。
拠点映像に紐付けられている深度情報は、撮影部10としてデプスカメラを用いた場合において拠点映像に予め埋め込まれているデータや、拠点映像を画像解析して別途生成するデータ、または別途設けた3Dスキャナ等から得られるデータなどを用いることができる。
デプス系除去処理は、除去処理対象である拠点映像について、当該拠点映像に紐付けられている深度情報の値に基づいた除去を行う処理である。
拠点映像に紐付けられている深度情報は、撮影部10としてデプスカメラを用いた場合において拠点映像に予め埋め込まれているデータや、拠点映像を画像解析して別途生成するデータ、または別途設けた3Dスキャナ等から得られるデータなどを用いることができる。
デプス系除去処理の一例としては、拠点映像に対し、該拠点映像の深度情報に基づいて、所定の距離以上の深度情報を有する部分を除去する処理がある。
例えば、撮影部10から、50cm以上の深度情報を有する箇所を除去対象とした場合、除去処理後の拠点映像は、撮影部10から、50cm未満の深度情報を有する箇所の映像のみが抽出されたものとなる。
例えば、撮影部10から、50cm以上の深度情報を有する箇所を除去対象とした場合、除去処理後の拠点映像は、撮影部10から、50cm未満の深度情報を有する箇所の映像のみが抽出されたものとなる。
例えば、ユーザが装着したHMDの前方を撮影するデプスカメラを撮影部10として想定した場合、図5に示すように、拠点映像A1に対しデプス系除去処理を行った除去処理後の拠点映像A2は、当該ユーザの手元Bのみが抽出された映像となる。
なお、デプス系除去処理による抽出箇所は、ユーザの身体に限らないため、ユーザが持つコントローラや、ユーザの周辺に存在する物体(椅子、机、梯子、食品等)も含めて抽出することができる。
<4.2>クロマ系除去処理(図6)
クロマ系除去処理は、除去処理対象である拠点映像について、当該拠点映像の色空間情報の値に基づいた除去を行う処理である。
クロマ系除去処理は、除去処理対象である拠点映像について、当該拠点映像の色空間情報の値に基づいた除去を行う処理である。
クロマ系除去処理は、RGB,RGBA,CMY,HSV,HLSなどの周知の色空間情報に基づき、各色空間で定義される要素および数値範囲の中で所定の範囲を設定することによって、特定の均質色に対応する部分を除去して行う。
例えば、HSV色空間情報を用いてクロマ系除去処理を行う場合、HSV色空間情報は、色相(hue:0°~360°)、彩度(saturation:0%~100%)、明度(value:0%~100%)のパラメータを含んだ情報であり、各パラメータの数値範囲を設定することで、特定の均質色に対応する部分を除去することになる。
例えば、HSV色空間情報を用いてクロマ系除去処理を行う場合、HSV色空間情報は、色相(hue:0°~360°)、彩度(saturation:0%~100%)、明度(value:0%~100%)のパラメータを含んだ情報であり、各パラメータの数値範囲を設定することで、特定の均質色に対応する部分を除去することになる。
クロマ系除去処理を実施する際には、予め、拠点に設けた撮影部10の画角に含まれる箇所に、均一色を呈する背景材Cを設置しておくことが望ましい。
<4.3>各除去処理の組合せ(図7)
本発明では、上記した「任意部分の除去処理」の実施内容、実施順、実施回数は特段限定せず、本発明に係るシステムの用途に応じて適宜決定することができる。
なお、図7に示すように、除去処理対象である1つの拠点映像に対し、デプス系除去処理を行ってから、更にクロマ系除去処理を行うことで、デプス系除去処理では明瞭に除去しきれなかった、ユーザの手指間の隙間や、ユーザの足元周辺の床部分等を、より明瞭に除去することもできる。
本発明では、上記した「任意部分の除去処理」の実施内容、実施順、実施回数は特段限定せず、本発明に係るシステムの用途に応じて適宜決定することができる。
なお、図7に示すように、除去処理対象である1つの拠点映像に対し、デプス系除去処理を行ってから、更にクロマ系除去処理を行うことで、デプス系除去処理では明瞭に除去しきれなかった、ユーザの手指間の隙間や、ユーザの足元周辺の床部分等を、より明瞭に除去することもできる。
<5>保存部(図1)
保存部60は、拠点映像以外の合成素材(以下「素材映像」ともいう)を保存しておく機能を有する。
保存部60で保存される素材映像には、拠点映像とは別に、現実の場所を予め撮影しておいた映像、予め製作されたCG映像、VR空間を提供する仮想映像(VR映像)またはこれらの組合せ映像を用いることができる。
保存部60は、拠点映像以外の合成素材(以下「素材映像」ともいう)を保存しておく機能を有する。
保存部60で保存される素材映像には、拠点映像とは別に、現実の場所を予め撮影しておいた映像、予め製作されたCG映像、VR空間を提供する仮想映像(VR映像)またはこれらの組合せ映像を用いることができる。
<5.1>素材映像の選択
また、各ユーザに体験させる合成映像の生成では、合成映像毎に同一の素材映像を提供しても良いし、異なる素材映像を提供してもよく、本発明に係る多拠点空間共有システムの用途に応じて適宜決定すればよい。
また、本発明は、素材映像に対して、前記した「任意部分の除去処理」を行うことを除外するものでもない。
また、各ユーザに体験させる合成映像の生成では、合成映像毎に同一の素材映像を提供しても良いし、異なる素材映像を提供してもよく、本発明に係る多拠点空間共有システムの用途に応じて適宜決定すればよい。
また、本発明は、素材映像に対して、前記した「任意部分の除去処理」を行うことを除外するものでもない。
<6>合成部(図1)
合成部30は、複数の拠点映像を、合成素材の一部または全部として、合成映像を生成する機能を有する。
この「複数の拠点映像」には、撮影部10による拠点映像と、加工部20によって除去処理が施された後の拠点映像の何れもが含まれる。
したがって、全ての拠点映像に対し、除去処理後の拠点映像を合成素材としても良いし、一部の拠点映像は、除去処理後の拠点映像を合成素材とし、その余の拠点映像は、加工部20を経由せずにそのまま合成素材とすることもできる。
また、合成素材には、前記した保存部60に保存されている素材映像を含めることもできる。
合成部30での合成は、単純に各合成素材を重ね合わせても良いし、計測部50から得られる位置情報や、拠点映像等に紐付けられている深度情報等を用いて、素材映像でのVR空間上での位置を計算して合成素材を重ね合わせても良い。
合成部30は、複数の拠点映像を、合成素材の一部または全部として、合成映像を生成する機能を有する。
この「複数の拠点映像」には、撮影部10による拠点映像と、加工部20によって除去処理が施された後の拠点映像の何れもが含まれる。
したがって、全ての拠点映像に対し、除去処理後の拠点映像を合成素材としても良いし、一部の拠点映像は、除去処理後の拠点映像を合成素材とし、その余の拠点映像は、加工部20を経由せずにそのまま合成素材とすることもできる。
また、合成素材には、前記した保存部60に保存されている素材映像を含めることもできる。
合成部30での合成は、単純に各合成素材を重ね合わせても良いし、計測部50から得られる位置情報や、拠点映像等に紐付けられている深度情報等を用いて、素材映像でのVR空間上での位置を計算して合成素材を重ね合わせても良い。
<7>表示部(図1)
表示部40は、合成部30で生成した合成映像を、ユーザに表示する機能を有する。
表示部40は、一般的なディスプレイ、モニター、プロジェクター等に限らず、VR、AR、XR等の空間体験で使用可能な、ヘッドマウントディスプレイやゴーグル、ハウジングに収容してゴーグル化可能なスマートフォンなどの携帯端末などを用いることができる。
表示部40は、合成部30で生成した合成映像を、ユーザに表示する機能を有する。
表示部40は、一般的なディスプレイ、モニター、プロジェクター等に限らず、VR、AR、XR等の空間体験で使用可能な、ヘッドマウントディスプレイやゴーグル、ハウジングに収容してゴーグル化可能なスマートフォンなどの携帯端末などを用いることができる。
<1>全体構成(図8)
図8は、前記した構成例1に係る多拠点空間共有システムを、医療教育の現場で活用した場合の構成イメージ図である。
各拠点には、デプスカメラである第1のカメラX1を備えたヘッドマウントディスプレイY1と、このヘッドマウントディスプレイY1を装着するユーザU1(U2)を撮影する第2のカメラX2と、情報処理装置Zを備えている。
各ヘッドマウントディスプレイY1には、図示しないトラッカーが内蔵されており、ヘッドマウントディスプレイY1の位置から、装着したユーザU1(U2)の位置情報を適宜取得している。
本実施例では、各拠点の第1のカメラX1および第2のカメラX2が、撮影部10として機能し、情報処理装置Zが、少なくとも加工部20、合成部30および保存部60として機能し、ヘッドマウントディスプレイY1が、表示部40および計測部50として機能する構成を呈している。
図8は、前記した構成例1に係る多拠点空間共有システムを、医療教育の現場で活用した場合の構成イメージ図である。
各拠点には、デプスカメラである第1のカメラX1を備えたヘッドマウントディスプレイY1と、このヘッドマウントディスプレイY1を装着するユーザU1(U2)を撮影する第2のカメラX2と、情報処理装置Zを備えている。
各ヘッドマウントディスプレイY1には、図示しないトラッカーが内蔵されており、ヘッドマウントディスプレイY1の位置から、装着したユーザU1(U2)の位置情報を適宜取得している。
本実施例では、各拠点の第1のカメラX1および第2のカメラX2が、撮影部10として機能し、情報処理装置Zが、少なくとも加工部20、合成部30および保存部60として機能し、ヘッドマウントディスプレイY1が、表示部40および計測部50として機能する構成を呈している。
なお、本発明は、上記した図8に示す構成に替えて、前記した構成例2のように、別途設けたデータセンターに設置されたサーバに、加工部20、合成部30および保存部60の機能を割り当てても良い。
次に、拠点1側の合成映像の生成および表示の流れについて説明する。
なお、本発明において、下記の各処理は、動作に矛盾のない範囲で順番を入れ換えたり、並行実施したりすることができる。
(1)第1のカメラX1で撮影された拠点映像は、拠点1の情報処理装置Zに送られ、当該情報処理装置Z内で、任意部分の除去処理(本例では、デプス系除去処理およびクロマ系除去処理)が施され、ユーザU1の周辺のみが抽出された、除去処理後の拠点映像を生成し、合成素材とする。
(2)次に、拠点1の情報処理装置Zでは、拠点2の第2のカメラX2で撮影された拠点映像を、拠点2の情報処理装置Zを介して受信する。本実施例では、第2のカメラX2に係る撮影映像には深度情報が紐付けられていないことから、第2のカメラX2で撮影された拠点映像にはクロマ系除去処理のみを施して、ユーザU2を抽出した除去処理後の拠点映像を生成し、合成素材とする。
(3)さらに、拠点1の情報処理装置Zには、手術台に乗せられた患者を表示する仮想空間の映像が、合成素材として保存されている。
(4)拠点1の情報処理装置Zでは、前記(1)(2)(3)の合成素材を適宜組み合わせて、合成映像を生成する。このとき、前記(2)の除去処理後の拠点映像には深度情報が紐付けられていないため、(3)の仮想空間の映像上に予め仮想表示枠を設けておき、この仮想表示枠に前記(2)の除去処理後の拠点映像を合成するものとする。
(5)拠点1の情報処理装置Zで生成された合成映像は、ユーザU1の位置情報に基づいて表示態様を変更するように、ユーザU1が装着するヘッドマウントディスプレイY1で表示される。
なお、本発明において、下記の各処理は、動作に矛盾のない範囲で順番を入れ換えたり、並行実施したりすることができる。
(1)第1のカメラX1で撮影された拠点映像は、拠点1の情報処理装置Zに送られ、当該情報処理装置Z内で、任意部分の除去処理(本例では、デプス系除去処理およびクロマ系除去処理)が施され、ユーザU1の周辺のみが抽出された、除去処理後の拠点映像を生成し、合成素材とする。
(2)次に、拠点1の情報処理装置Zでは、拠点2の第2のカメラX2で撮影された拠点映像を、拠点2の情報処理装置Zを介して受信する。本実施例では、第2のカメラX2に係る撮影映像には深度情報が紐付けられていないことから、第2のカメラX2で撮影された拠点映像にはクロマ系除去処理のみを施して、ユーザU2を抽出した除去処理後の拠点映像を生成し、合成素材とする。
(3)さらに、拠点1の情報処理装置Zには、手術台に乗せられた患者を表示する仮想空間の映像が、合成素材として保存されている。
(4)拠点1の情報処理装置Zでは、前記(1)(2)(3)の合成素材を適宜組み合わせて、合成映像を生成する。このとき、前記(2)の除去処理後の拠点映像には深度情報が紐付けられていないため、(3)の仮想空間の映像上に予め仮想表示枠を設けておき、この仮想表示枠に前記(2)の除去処理後の拠点映像を合成するものとする。
(5)拠点1の情報処理装置Zで生成された合成映像は、ユーザU1の位置情報に基づいて表示態様を変更するように、ユーザU1が装着するヘッドマウントディスプレイY1で表示される。
<2>合成映像例(図9)
本実施例に係る多拠点空間共有システムにおいて、各ユーザのヘッドマウントディスプレイY1に表示される合成映像のイメージ図を図9に示す。
本実施例に係る多拠点空間共有システムにおいて、各ユーザのヘッドマウントディスプレイY1に表示される合成映像のイメージ図を図9に示す。
<2.1>拠点1側の合成映像
図9(a)は、拠点1のユーザU1が視認する合成映像のイメージ図である。
この合成映像では、前記(3)に係る、手術台と、手術台に乗せられた患者を表示する仮想空間の映像からなる素材映像Dと、仮想空間上の手術台を挟んで手前側に、前記(1)に係る、除去処理後の拠点映像に含まれるユーザU1の周辺映像が合成され、さらに、前記手術台を挟んで奥側に、仮想的に配置した仮想表示枠D1に、前記(2)に係る除去処理後の拠点映像に含まれる、ユーザU2の映像が合成されている。
また、ユーザU1が手術台に近づくように移動すると、ユーザU1のヘッドマウントディスプレイY1から得られる位置情報に基づいて合成映像も手術台に接近した位置にユーザU1が移動するように表示が変更される。
図9(a)は、拠点1のユーザU1が視認する合成映像のイメージ図である。
この合成映像では、前記(3)に係る、手術台と、手術台に乗せられた患者を表示する仮想空間の映像からなる素材映像Dと、仮想空間上の手術台を挟んで手前側に、前記(1)に係る、除去処理後の拠点映像に含まれるユーザU1の周辺映像が合成され、さらに、前記手術台を挟んで奥側に、仮想的に配置した仮想表示枠D1に、前記(2)に係る除去処理後の拠点映像に含まれる、ユーザU2の映像が合成されている。
また、ユーザU1が手術台に近づくように移動すると、ユーザU1のヘッドマウントディスプレイY1から得られる位置情報に基づいて合成映像も手術台に接近した位置にユーザU1が移動するように表示が変更される。
<2.2>拠点2側の合成映像
図9(b)は、拠点2のユーザU2が視認する合成映像のイメージ図である。
この合成映像では、素材映像Dの手術台を挟んで奥側に、拠点1の第2のカメラX2からなる、除去処理後の拠点映像が、仮想表示枠D1上に合成されている。
また、素材映像Dの手術台を挟んで手前側には、ユーザU2の周辺映像が合成されることになるが、ユーザU2は両手を上げており、第1のカメラX1の画角内に両手が映らない状態であるため、合成映像上にはユーザU2の手元は表示されていない。
図9(b)は、拠点2のユーザU2が視認する合成映像のイメージ図である。
この合成映像では、素材映像Dの手術台を挟んで奥側に、拠点1の第2のカメラX2からなる、除去処理後の拠点映像が、仮想表示枠D1上に合成されている。
また、素材映像Dの手術台を挟んで手前側には、ユーザU2の周辺映像が合成されることになるが、ユーザU2は両手を上げており、第1のカメラX1の画角内に両手が映らない状態であるため、合成映像上にはユーザU2の手元は表示されていない。
<3>補足説明
上記説明では、素材映像である仮想空間上に手術台と患者を用意しているが、例えば、何れかの拠点に、実物の手術台と患者の模型を用意した態様とすることができる。
例えば、拠点1側に実物模型を用意した場合には、以下の方法等を採用することができる。
(方法1)拠点1側の第1のカメラX1で、実物の手術台と患者の模型を撮影し、デプス系除去処理で抽出対象とする距離を長めにして、第1のカメラX1に基づく除去処理後の拠点映像内に実物の手術台と患者の模型を含める方法。
(方法2)拠点1側の第2のカメラX2でもって実物の手術台と患者の模型を撮影した映像を、拠点2側に送信するだけでなく、拠点1側の合成映像の素材映像として利用する方法。
上記説明では、素材映像である仮想空間上に手術台と患者を用意しているが、例えば、何れかの拠点に、実物の手術台と患者の模型を用意した態様とすることができる。
例えば、拠点1側に実物模型を用意した場合には、以下の方法等を採用することができる。
(方法1)拠点1側の第1のカメラX1で、実物の手術台と患者の模型を撮影し、デプス系除去処理で抽出対象とする距離を長めにして、第1のカメラX1に基づく除去処理後の拠点映像内に実物の手術台と患者の模型を含める方法。
(方法2)拠点1側の第2のカメラX2でもって実物の手術台と患者の模型を撮影した映像を、拠点2側に送信するだけでなく、拠点1側の合成映像の素材映像として利用する方法。
<4>まとめ
以上説明した構成によれば、遠隔地にいるユーザ間で、1つの空間を共有しつつ、合成映像の中で自分の手元や周辺領域、および相手の姿を現実映像で認識することができることになる。したがって、本実施例で説明した医療教育のように、各人の行動を互いに確認しあう必要性の高い用途に好適である。
以上説明した構成によれば、遠隔地にいるユーザ間で、1つの空間を共有しつつ、合成映像の中で自分の手元や周辺領域、および相手の姿を現実映像で認識することができることになる。したがって、本実施例で説明した医療教育のように、各人の行動を互いに確認しあう必要性の高い用途に好適である。
<1>全体構成(図10)
図10は、前記した構成例3に係る多拠点空間共有システムを、水族館が提供するサービスとして活用した場合の構成イメージ図である。
拠点1には、ユーザU3の前方に設置したディスプレイY2と、当該ディスプレイY2の上部に取り付けて、ユーザU3を撮影する第3のカメラX3と、情報処理装置Zとを設けている。
拠点2は、水族館の館内の水槽Tを撮影する第4のカメラX4を設けている。
第3のカメラX3および第4のカメラX4は何れも、撮影映像に深度情報を紐付けることが可能なデプスカメラである。
本実施例では、第3のカメラX3および第4のカメラX4が、撮影部10として機能し、情報処理装置Zが、少なくとも加工部20および合成部30として機能し、ディスプレイY2が表示部40として機能する構成を呈している。
図10は、前記した構成例3に係る多拠点空間共有システムを、水族館が提供するサービスとして活用した場合の構成イメージ図である。
拠点1には、ユーザU3の前方に設置したディスプレイY2と、当該ディスプレイY2の上部に取り付けて、ユーザU3を撮影する第3のカメラX3と、情報処理装置Zとを設けている。
拠点2は、水族館の館内の水槽Tを撮影する第4のカメラX4を設けている。
第3のカメラX3および第4のカメラX4は何れも、撮影映像に深度情報を紐付けることが可能なデプスカメラである。
本実施例では、第3のカメラX3および第4のカメラX4が、撮影部10として機能し、情報処理装置Zが、少なくとも加工部20および合成部30として機能し、ディスプレイY2が表示部40として機能する構成を呈している。
拠点1側での合成映像の生成および表示の流れについて、以下に説明する。
(1)第3のカメラX3で撮影された拠点映像は、拠点1の情報処理装置Zに送られ、当該情報処理装置Z内で、任意部分の除去処理(本例では、デプス系除去処理およびクロマ系除去処理)が施されて、ユーザU3の周辺のみが抽出された、除去処理後の拠点映像を生成し、合成素材とする。
(2)次に、拠点1の情報処理装置Zでは、拠点2の第4のカメラX4で水槽Tを撮影した拠点映像を受信し、水槽T内の魚介類の映像に深度情報が紐付けられた形で抽出された、除去処理後の拠点映像を生成し、合成素材とする。
(3)拠点1の情報処理装置Zでは、前記(1)(2)の合成素材を適宜組み合わせて、合成映像を生成する。各映像は深度情報を有することから、一定の深度位置を基準として合成を行えば良い。
(1)第3のカメラX3で撮影された拠点映像は、拠点1の情報処理装置Zに送られ、当該情報処理装置Z内で、任意部分の除去処理(本例では、デプス系除去処理およびクロマ系除去処理)が施されて、ユーザU3の周辺のみが抽出された、除去処理後の拠点映像を生成し、合成素材とする。
(2)次に、拠点1の情報処理装置Zでは、拠点2の第4のカメラX4で水槽Tを撮影した拠点映像を受信し、水槽T内の魚介類の映像に深度情報が紐付けられた形で抽出された、除去処理後の拠点映像を生成し、合成素材とする。
(3)拠点1の情報処理装置Zでは、前記(1)(2)の合成素材を適宜組み合わせて、合成映像を生成する。各映像は深度情報を有することから、一定の深度位置を基準として合成を行えば良い。
<2>合成映像例(図11)
本実施例に係る多拠点空間共有システムにおいて、拠点1のディスプレイY2に表示される合成映像のイメージ図を、図11に示す。
図11に示した合成映像には、前記(2)に係る、深度情報が紐付けられた形で水槽Tが撮影された映像と、深度情報が紐付けられた形で撮影されたユーザU3の映像とが合成されている。
前記(1)(2)の何れの拠点映像も深度情報を有するため、例えば水槽Tの手前側で魚が移動する場合には、魚は、ユーザU3の前を横切るように表示されることとなり、ユーザU3が前を横切る魚よりも前に手を伸ばした際には、魚がユーザU3の手に隠れるように表示されることとなる。
したがって、あたかもユーザU3が水槽T内にいて、ユーザU3の周辺を魚が移動しているような映像をディスプレイY2に映すことができ、ユーザU3が水層Tの内部に入り込んで魚と空間を共有したような体験をすることができる。
本実施例に係る多拠点空間共有システムにおいて、拠点1のディスプレイY2に表示される合成映像のイメージ図を、図11に示す。
図11に示した合成映像には、前記(2)に係る、深度情報が紐付けられた形で水槽Tが撮影された映像と、深度情報が紐付けられた形で撮影されたユーザU3の映像とが合成されている。
前記(1)(2)の何れの拠点映像も深度情報を有するため、例えば水槽Tの手前側で魚が移動する場合には、魚は、ユーザU3の前を横切るように表示されることとなり、ユーザU3が前を横切る魚よりも前に手を伸ばした際には、魚がユーザU3の手に隠れるように表示されることとなる。
したがって、あたかもユーザU3が水槽T内にいて、ユーザU3の周辺を魚が移動しているような映像をディスプレイY2に映すことができ、ユーザU3が水層Tの内部に入り込んで魚と空間を共有したような体験をすることができる。
<3>補足説明
上記説明では、何れの拠点映像も深度情報が紐付けられた態様としているが、例えば、拠点2側の拠点映像にのみ深度情報が紐付けられた態様とし、拠点2の拠点映像中の所定の深度位置に、拠点1側の拠点映像を合成するように構成してもよい。
上記説明では、何れの拠点映像も深度情報が紐付けられた態様としているが、例えば、拠点2側の拠点映像にのみ深度情報が紐付けられた態様とし、拠点2の拠点映像中の所定の深度位置に、拠点1側の拠点映像を合成するように構成してもよい。
<4>まとめ
以上説明した構成によれば、水族館の開園が困難な状況下においても、遠隔地のユーザに対し、仮想的なふれ合いの機会を与えたり、現実では不可能な、展示水槽の内部にユーザが入り込むような体験を提供したりすることができる。
したがって、水族館に限らず、動物園、遊園地、球技場などの施設において、開園中に提供可能な体験とは異なる、新たな体験を顧客に提供することができる。
以上説明した構成によれば、水族館の開園が困難な状況下においても、遠隔地のユーザに対し、仮想的なふれ合いの機会を与えたり、現実では不可能な、展示水槽の内部にユーザが入り込むような体験を提供したりすることができる。
したがって、水族館に限らず、動物園、遊園地、球技場などの施設において、開園中に提供可能な体験とは異なる、新たな体験を顧客に提供することができる。
なお、本発明は、前記した加工部20および合成部30を少なくとも含んで構成した、合成映像生成システムとしての活用も可能である。
合成素材となる映像データは特段限定されず、リアルタイムに撮影されている映像データや、予め撮影・保存されている映像データを適宜用いることができる。
また、本実施例に係る合成映像生成システムには、さらに計測部50や保存部60を具備することもできる。
本実施例に係る合成映像生成システムによれば、動画作成作業において、予め撮影済みのデータを適宜組み合わせて合成映像を作成する場合にも適用が可能である。
合成素材となる映像データは特段限定されず、リアルタイムに撮影されている映像データや、予め撮影・保存されている映像データを適宜用いることができる。
また、本実施例に係る合成映像生成システムには、さらに計測部50や保存部60を具備することもできる。
本実施例に係る合成映像生成システムによれば、動画作成作業において、予め撮影済みのデータを適宜組み合わせて合成映像を作成する場合にも適用が可能である。
10 撮影部
20 加工部
30 合成部
40 表示部
50 計測部
60 保存部
A1 拠点映像
A2 除去処理後の拠点映像
B 手元
C 背景材
U1、U2 ユーザ
X1 第1のカメラ
X2 第2のカメラ
X3 第3のカメラ
X4 第4のカメラ
Y1 ヘッドマウントディスプレイ
Y2 ディスプレイ
Z 情報処理装置
20 加工部
30 合成部
40 表示部
50 計測部
60 保存部
A1 拠点映像
A2 除去処理後の拠点映像
B 手元
C 背景材
U1、U2 ユーザ
X1 第1のカメラ
X2 第2のカメラ
X3 第3のカメラ
X4 第4のカメラ
Y1 ヘッドマウントディスプレイ
Y2 ディスプレイ
Z 情報処理装置
Claims (6)
- 多拠点で撮影された複数の拠点映像を用いた合成映像をユーザに表示する、多拠点空間共有システムであって、
各拠点に1つ以上配置し、それぞれ拠点映像を取得する、撮影部と、
前記複数の拠点映像のうち1つ以上の拠点映像に対し、任意部分の除去処理を行う、加工部と、
前記除去処理後の拠点映像を含む、前記複数の拠点映像を、合成素材の一部または全部として、合成映像を生成する、合成部と、
前記合成映像を表示する、表示部と、を少なくとも具備することを特徴とする、
多拠点空間共有システム。 - 前記除去処理対象の拠点映像のうち少なくとも1つに、深度情報が紐付けられており、
前記加工部は、
前記深度情報が紐付けられた前記除去処理対象の拠点映像に対し、
前記深度情報に基づく除去処理である、デプス系除去処理、および、
色空間情報の値に基づく除去処理である、クロマ系除去処理、
を行うことを特徴とする、
請求項1に記載の多拠点空間共有システム。 - 前記合成部による合成素材の一部として使用可能な素材映像を保存する、保存部をさらに具備することを特徴とする、
請求項1に記載の多拠点空間共有システム。 - 前記素材映像に、VR空間を提供する仮想映像が含まれることを特徴とする、
請求項3に記載の多拠点空間共有システム。 - 前記ユーザの位置情報を計測する、計測部をさらに具備し、
前記合成部は、前記位置情報に基づいて、前記合成映像を生成することを特徴とする、
請求項1に記載の多拠点空間共有システム。 - 合成映像生成システムであって、
異なるカメラで撮影された複数の映像データのうち、1つ以上の映像データに対し、任意部分の除去処理を行う、加工部と、
前記除去処理後の映像データを含む、前記複数の映像データを、合成素材の一部または全部として、1つの合成映像データを生成する、合成部と、を少なくとも有し、
前記除去処理対象の映像データのうち少なくとも1つに、深度情報が紐付けられており、
前記加工部は、
前記深度情報が紐付けられた前記除去処理対象の映像データに対し、
前記深度情報に基づく除去処理である、デプス系除去処理、および、
色空間情報の値に基づく除去処理である、クロマ系除去処理、
を行うことを特徴とする、合成映像生成システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022128140A JP2023157818A (ja) | 2022-04-14 | 2022-08-10 | 多拠点空間共有システムおよび合成映像生成システム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022066899A JP7157271B1 (ja) | 2022-04-14 | 2022-04-14 | 多拠点空間共有システム |
JP2022128140A JP2023157818A (ja) | 2022-04-14 | 2022-08-10 | 多拠点空間共有システムおよび合成映像生成システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022066899A Division JP7157271B1 (ja) | 2022-04-14 | 2022-04-14 | 多拠点空間共有システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023157818A true JP2023157818A (ja) | 2023-10-26 |
Family
ID=83688403
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022066899A Active JP7157271B1 (ja) | 2022-04-14 | 2022-04-14 | 多拠点空間共有システム |
JP2022128140A Pending JP2023157818A (ja) | 2022-04-14 | 2022-08-10 | 多拠点空間共有システムおよび合成映像生成システム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022066899A Active JP7157271B1 (ja) | 2022-04-14 | 2022-04-14 | 多拠点空間共有システム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7157271B1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5971316B2 (ja) * | 2013-12-25 | 2016-08-17 | キヤノンマーケティングジャパン株式会社 | 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム |
JP2016032277A (ja) * | 2014-07-30 | 2016-03-07 | 日本電信電話株式会社 | 映像通信システム及び映像通信方法 |
JP6717486B1 (ja) * | 2019-11-08 | 2020-07-01 | 株式会社Acw−Deep | 拡張仮想空間提供システム |
-
2022
- 2022-04-14 JP JP2022066899A patent/JP7157271B1/ja active Active
- 2022-08-10 JP JP2022128140A patent/JP2023157818A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7157271B1 (ja) | 2022-10-19 |
JP2023157165A (ja) | 2023-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10684467B2 (en) | Image processing for head mounted display devices | |
KR102574874B1 (ko) | 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템 | |
US11983830B2 (en) | Systems and methods for generating and facilitating access to a personalized augmented rendering of a user | |
US8928659B2 (en) | Telepresence systems with viewer perspective adjustment | |
GB2543913A (en) | Virtual conference room | |
US20170237941A1 (en) | Realistic viewing and interaction with remote objects or persons during telepresence videoconferencing | |
WO2010102288A2 (en) | Methods, systems, and computer readable media for shader-lamps based physical avatars of real and virtual people | |
CN108416832B (zh) | 媒体信息的显示方法、装置和存储介质 | |
Lincoln et al. | Animatronic shader lamps avatars | |
JP2020513704A (ja) | ビデオデータ処理方法、装置および機器 | |
JP2000175171A (ja) | テレビ会議の映像生成装置及びその生成方法 | |
JP2023157818A (ja) | 多拠点空間共有システムおよび合成映像生成システム | |
EP2525573A1 (en) | Method and system for conducting a video conference | |
JP2020530218A (ja) | 没入型視聴覚コンテンツを投影する方法 | |
JP6916896B2 (ja) | 情報処理装置および画像生成方法 | |
JP2024054570A (ja) | 合成映像提供システム | |
JP7479473B2 (ja) | メタバース空間提供プログラム | |
JP2019121074A (ja) | Vr空間における自撮り装置、方法、およびプログラム | |
JP2023065073A (ja) | 画像生成システム及び画像生成方法 | |
JP7250809B2 (ja) | 仮想現実システムおよび方法 | |
CN116560511A (zh) | 画面展示方法、装置、计算机设备和存储介质 | |
JPH07104718A (ja) | 多人数用立体情報表示装置 | |
Takano et al. | Improved Displaying System for HMD with Focusing on Gazing Point Using Photographed Panorama Light Field | |
JP2005136538A (ja) | 電子姿見 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20230510 |