JP2023157165A - Multi-site space sharing system - Google Patents
Multi-site space sharing system Download PDFInfo
- Publication number
- JP2023157165A JP2023157165A JP2022066899A JP2022066899A JP2023157165A JP 2023157165 A JP2023157165 A JP 2023157165A JP 2022066899 A JP2022066899 A JP 2022066899A JP 2022066899 A JP2022066899 A JP 2022066899A JP 2023157165 A JP2023157165 A JP 2023157165A
- Authority
- JP
- Japan
- Prior art keywords
- base
- video
- composite
- unit
- sharing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002131 composite material Substances 0.000 claims abstract description 86
- 238000003384 imaging method Methods 0.000 claims abstract description 12
- 239000000203 mixture Substances 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 29
- 239000000463 material Substances 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 17
- 230000010365 information processing Effects 0.000 description 12
- 241000251468 Actinopterygii Species 0.000 description 6
- 238000004891 communication Methods 0.000 description 2
- 229920002994 synthetic fiber Polymers 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、多拠点で撮影された複数の拠点映像を用いた合成映像をユーザに表示させるための多拠点空間共有システムおよび合成映像生成システムに関する。 The present invention relates to a multi-site space sharing system and a composite video generation system for displaying to a user a composite video using videos taken at multiple locations.
出願人は、仮想空間上にユーザ周辺の現実映像を合成してなる拡張仮想空間をユーザに体験させるためのシステムとして、以下の特許文献1,2に示す発明を着想している。
The applicant has conceived the inventions shown in
本発明は、上記発明の発展系として、種々の用途に適用可能な多拠点空間共有システムおよび合成映像生成システムを提供することを目的の1つとする。 One of the objects of the present invention, as an extension of the above-described invention, is to provide a multi-site space sharing system and a composite video generation system that are applicable to various uses.
上記課題を解決すべく、本発明では、多拠点で撮影された複数の拠点映像を用いた合成映像をユーザに表示する、多拠点空間共有システムであって、各拠点に1つ以上配置し、それぞれ拠点映像を取得する、撮影部と、前記複数の拠点映像のうち1つ以上の拠点映像に対し、任意部分の除去処理を行う、加工部と、前記除去処理後の拠点映像を含む、前記複数の拠点映像を、合成素材の一部または全部として、合成映像を生成する、合成部と、前記合成映像を表示する、表示部と、を少なくとも具備するよう構成した。
当該構成により、多拠点で撮影された複数の拠点映像を組み合わせた1つの合成映像を生成して、各拠点間の人や物を1つの合成映像の中で共有可能とした。
In order to solve the above-mentioned problems, the present invention provides a multi-site space sharing system that displays a composite video using multiple site videos shot at multiple sites to the user, in which one or more sites are placed at each site, a processing unit that performs a removal process on one or more base images of the plurality of base images, and a base image after the removal process; The present invention is configured to include at least a compositing unit that generates a composite video using a plurality of base videos as part or all of the composite material, and a display unit that displays the composite video.
With this configuration, it is possible to generate one composite video by combining videos of multiple locations taken at multiple locations, and to share people and objects between each location in one composite video.
本発明によれば、以下に記載する効果のうち、少なくとも何れか1つの効果を奏する。
(1)多拠点で撮影された複数の拠点映像を組み合わせてなる1つの合成映像を生成することで、各拠点の人や物を1つの合成映像の中で共有することができる。
(2)近年メタバースとも呼ばれる仮想空間上に、異なる拠点で撮影された実際のユーザの撮影映像を組み込むことができるため、CGからなるアバターを介したコミュニケーションが必要なく、ユーザ間でのよりリアルなコミュニケーションが可能となる。
(3)ユーザのリアルタイム映像を合成映像に組み込むことができるため、各ユーザが離れた場所にあっても各ユーザ間でコラボレーションしながら作業を行う必要性の高い用途(医療行為、工事作業、教育、その他の製作作業など)等への適用に好適である。
According to the present invention, at least one of the effects described below is achieved.
(1) By generating one composite video by combining videos of multiple locations taken at multiple locations, people and objects from each location can be shared in one composite video.
(2) In recent years, it has become possible to incorporate actual user footage taken at different locations into a virtual space, also known as the metaverse, which eliminates the need for communication via CG avatars, creating a more realistic relationship between users. Communication becomes possible.
(3) Since users' real-time images can be incorporated into composite images, applications that require collaboration among users even if they are in separate locations (medical practice, construction work, education, etc.) , other manufacturing work, etc.).
以下、図面を参照しながら、本発明の詳細について説明する。 Hereinafter, details of the present invention will be explained with reference to the drawings.
<1>全体構成(図1)
本発明に係る多拠点空間共有システムは、各拠点で撮影された複数の拠点映像を含んで合成してなる合成映像を、少なくとも一人以上のユーザに表示するためのシステムである。
図1に示す多拠点空間共有システムは、撮影部10、加工部20、合成部30および表示部40を少なくとも具備しており、その他、計測部50および保存部60を具備している。
各部は、ハードウェアおよびソフトウェアを任意に組み合わせて実現することができるほか、各部を個別の装置とする構成や、複数の各部を一つの装置に組み込んで一体化した構成等を採用することができる。
また、本発明において、拠点の数、各部の数、各部の配置場所、各拠点における構成の異同は特段限定しない。
<1> Overall configuration (Figure 1)
The multi-site space sharing system according to the present invention is a system for displaying a composite image including a plurality of site images shot at each site to at least one user.
The multi-site space sharing system shown in FIG. 1 includes at least an
Each part can be realized by arbitrarily combining hardware and software, and it is also possible to adopt a configuration in which each part is an individual device, or a configuration in which multiple parts are integrated into one device. .
Further, in the present invention, there are no particular limitations on the number of bases, the number of each part, the location of each part, or the difference in configuration at each base.
次に、図2~図4に、本発明に係る多拠点空間共有システムの構成例を示す。
なお、本発明において、各構成例から任意の箇所を取りだして、更に組み合わせた態様を採用することができることは言うまでも無い。
また、各拠点で表示される合成映像は、同一の映像であっても良いし、異なる映像であっても良く、用途に応じて適宜選択することができる。
Next, FIGS. 2 to 4 show configuration examples of a multi-site space sharing system according to the present invention.
In addition, in the present invention, it goes without saying that arbitrary parts can be taken out from each configuration example and further combinations can be adopted.
Further, the composite video displayed at each location may be the same video or different videos, and can be selected as appropriate depending on the purpose.
<1.1>構成例1(図2)
本例は、拠点毎に、各部を全て具備する装置を配置する構成である。
各拠点に設置した装置では、他拠点からの拠点映像を受信して、自拠点の拠点映像とともに、合成素材の一部または全部として合成映像を生成し、自拠点の表示部40に表示することで、ユーザに合成映像を体験させる。
<1.1> Configuration example 1 (Figure 2)
In this example, a device including all of the respective parts is arranged at each base.
The device installed at each base receives the base video from other bases, generates a composite video as part or all of the composite material together with the base video of the own base, and displays it on the
<1.2>構成例2(図3)
本例は、前記構成例1において、加工部20や合成部30を、各拠点とは異なる場所(データセンター等)に設置したサーバで担う構成である。
サーバは、各拠点からの拠点映像を受信して、適宜除去処理を行いつつ各拠点向けの合成映像を生成し、この合成映像を、各拠点の表示部40に送信して、ユーザに合成映像を体験させる。
<1.2> Configuration example 2 (Figure 3)
This example is a configuration in which the
The server receives the base video from each base, performs removal processing as appropriate, generates a composite video for each base, transmits this composite video to the
<1.3>構成例3(図4)
本例は、各拠点での目的に応じて、拠点毎に各部の組合せが異なる構成である。
図4では、一方の拠点(拠点1)では、当該拠点にいる人や物を拠点映像として撮影する撮影部10のみを配置し、他方の拠点(拠点2)では、一方の拠点(拠点1)からの拠点映像を受信して、合成素材の一部または全部として合成映像を生成して拠点2の表示部40に表示し、ユーザに合成映像を体験させる。
<1.3> Configuration example 3 (Figure 4)
This example has a configuration in which the combinations of parts differ from base to base depending on the purpose of each base.
In FIG. 4, one base (base 1) is equipped with only the photographing
以下、各部の詳細ならびに演算手順の詳細について説明する。 The details of each part and the calculation procedure will be explained below.
<2>撮影部(図1)
撮影部10は、合成映像の素材の一部または全部となる、拠点映像を取得するための機能を有する。
撮影部10は、各拠点のうち合成対象の映像を取得する複数の拠点において、各拠点に1つ以上配置するものとする。
<2> Photography department (Figure 1)
The photographing
It is assumed that one or
<2.1>拠点映像の種類
撮影部10は、ノートPC、タブレット、スマートフォンに内蔵されているカメラや、PCとの接続インターフェースを備えたWEBカメラやデジタルカメラ、拠点に常設されている固定式カメラ、ユーザが装着するヘッドマウントディスプレイ(以下、「HMD」ともいう。)の内蔵カメラ、またはHMDに外付けするカメラなどを用いることができる。
また、撮影部10には、デプスカメラや3Dカメラとも呼ばれる、撮影映像に深度情報を紐付けることが可能なカメラを用いることもできる。
また、本発明において、撮影部10の画角等は特段限定しない。
<2.1> Types of base video The
Furthermore, for the photographing
Further, in the present invention, the angle of view of the
<3>計測部(図1)
計測部50は、ユーザの位置情報を取得する機能を具備する装置である。
この「位置情報」とは、ユーザの姿勢や位置を認識可能な情報を少なくとも含むものであり、この位置情報に基づいて、合成映像の表示を変更することができる。
計測部50は、角度センサ、加速度センサ、ジャイロスコープなどのセンサ群、モーションキャプチャー装置、GPS装置、トラッカー等を用いることができる。
また、計測部50は、拠点に設置するタイプ、ユーザが装着するHMDに内蔵されているタイプ、ユーザの身体に別途装着するタイプ、ユーザが使用するコントローラに内蔵されているタイプなど、あらゆるタイプが含まれる。
<3>Measurement section (Figure 1)
The
This "position information" includes at least information that allows the user's posture and position to be recognized, and the display of the composite video can be changed based on this position information.
The
The
<4>加工部(図1)
加工部20は、各撮影部10によって得られる拠点映像のうち、1つ以上の拠点映像に対し、任意部分の除去処理を行って、除去処理後の拠点映像を取得する機能を有する。
この「任意部分の除去処理」とは、拠点映像を構成するフレーム画像に対して、任意の部分を除去して、その余の箇所を抽出する処理である。
本発明において、「任意部分の除去処理」の手法は特段限定しないが、代表的な除去処理として、クロマ系除去処理とデプス系除去処理がある。
以下、各除去処理の詳細について説明する。
<4> Processing section (Figure 1)
The
This "arbitrary part removal process" is a process of removing an arbitrary part of the frame image forming the base video and extracting the remaining part.
In the present invention, the method of "arbitrary part removal processing" is not particularly limited, but representative removal processing includes chroma removal processing and depth removal processing.
The details of each removal process will be explained below.
<4.1>デプス系除去処理(図5)
デプス系除去処理は、除去処理対象である拠点映像について、当該拠点映像に紐付けられている深度情報の値に基づいた除去を行う処理である。
拠点映像に紐付けられている深度情報は、撮影部10としてデプスカメラを用いた場合において拠点映像に予め埋め込まれているデータや、拠点映像を画像解析して別途生成するデータ、または別途設けた3Dスキャナ等から得られるデータなどを用いることができる。
<4.1> Depth system removal processing (Figure 5)
Depth-based removal processing is processing in which a base video that is a target of removal processing is removed based on the value of depth information linked to the base video.
The depth information linked to the base video may be data embedded in the base video in advance when a depth camera is used as the
デプス系除去処理の一例としては、拠点映像に対し、該拠点映像の深度情報に基づいて、所定の距離以上の深度情報を有する部分を除去する処理がある。
例えば、撮影部10から、50cm以上の深度情報を有する箇所を除去対象とした場合、除去処理後の拠点映像は、撮影部10から、50cm未満の深度情報を有する箇所の映像のみが抽出されたものとなる。
An example of depth-based removal processing includes processing for removing a portion of a base image having depth information of a predetermined distance or more based on depth information of the base image.
For example, if a location with depth information of 50 cm or more is targeted for removal from the
例えば、ユーザが装着したHMDの前方を撮影するデプスカメラを撮影部10として想定した場合、図5に示すように、拠点映像A1に対しデプス系除去処理を行った除去処理後の拠点映像A2は、当該ユーザの手元Bのみが抽出された映像となる。
For example, when the
なお、デプス系除去処理による抽出箇所は、ユーザの身体に限らないため、ユーザが持つコントローラや、ユーザの周辺に存在する物体(椅子、机、梯子、食品等)も含めて抽出することができる。 Note that the locations extracted by depth-based removal processing are not limited to the user's body, so controllers held by the user and objects around the user (chairs, desks, ladders, food, etc.) can also be extracted. .
<4.2>クロマ系除去処理(図6)
クロマ系除去処理は、除去処理対象である拠点映像について、当該拠点映像の色空間情報の値に基づいた除去を行う処理である。
<4.2> Chroma removal process (Figure 6)
The chroma removal process is a process in which a base video to be removed is removed based on the value of color space information of the base video.
クロマ系除去処理は、RGB,RGBA,CMY,HSV,HLSなどの周知の色空間情報に基づき、各色空間で定義される要素および数値範囲の中で所定の範囲を設定することによって、特定の均質色に対応する部分を除去して行う。
例えば、HSV色空間情報を用いてクロマ系除去処理を行う場合、HSV色空間情報は、色相(hue:0°~360°)、彩度(saturation:0%~100%)、明度(value:0%~100%)のパラメータを含んだ情報であり、各パラメータの数値範囲を設定することで、特定の均質色に対応する部分を除去することになる。
Chroma system removal processing is based on well-known color space information such as RGB, RGBA, CMY, HSV, HLS, etc., and by setting a predetermined range among the elements and numerical ranges defined in each color space, a specific homogeneous color is removed. This is done by removing the part that corresponds to the color.
For example, when performing chroma removal processing using HSV color space information, the HSV color space information includes hue (hue: 0° to 360°), saturation (saturation: 0% to 100%), and brightness (value: This information includes parameters (0% to 100%), and by setting the numerical range of each parameter, parts corresponding to a specific homogeneous color are removed.
クロマ系除去処理を実施する際には、予め、拠点に設けた撮影部10の画角に含まれる箇所に、均一色を呈する背景材Cを設置しておくことが望ましい。
When performing the chroma removal process, it is desirable to install a background material C exhibiting a uniform color in advance at a location included in the angle of view of the
<4.3>各除去処理の組合せ(図7)
本発明では、上記した「任意部分の除去処理」の実施内容、実施順、実施回数は特段限定せず、本発明に係るシステムの用途に応じて適宜決定することができる。
なお、図7に示すように、除去処理対象である1つの拠点映像に対し、デプス系除去処理を行ってから、更にクロマ系除去処理を行うことで、デプス系除去処理では明瞭に除去しきれなかった、ユーザの手指間の隙間や、ユーザの足元周辺の床部分等を、より明瞭に除去することもできる。
<4.3> Combinations of each removal process (Figure 7)
In the present invention, the implementation details, the order of implementation, and the number of times of implementation of the above-described "arbitrary part removal process" are not particularly limited, and can be determined as appropriate depending on the application of the system according to the present invention.
As shown in Figure 7, by performing depth removal processing and then chroma removal processing on one base image that is the target of removal processing, it is possible to clearly remove images that cannot be clearly removed by depth removal processing. It is also possible to more clearly remove the gaps between the user's fingers and the floor area around the user's feet, which were previously absent.
<5>保存部(図1)
保存部60は、拠点映像以外の合成素材(以下「素材映像」ともいう)を保存しておく機能を有する。
保存部60で保存される素材映像には、拠点映像とは別に、現実の場所を予め撮影しておいた映像、予め製作されたCG映像、VR空間を提供する仮想映像(VR映像)またはこれらの組合せ映像を用いることができる。
<5> Storage section (Figure 1)
The
In addition to the base video, the material videos stored in the
<5.1>素材映像の選択
また、各ユーザに体験させる合成映像の生成では、合成映像毎に同一の素材映像を提供しても良いし、異なる素材映像を提供してもよく、本発明に係る多拠点空間共有システムの用途に応じて適宜決定すればよい。
また、本発明は、素材映像に対して、前記した「任意部分の除去処理」を行うことを除外するものでもない。
<5.1> Selection of material video In addition, when generating a composite video for each user to experience, the same material video may be provided for each composite video, or different material videos may be provided, and the present invention It may be determined as appropriate depending on the purpose of the multi-site space sharing system.
Furthermore, the present invention does not exclude performing the above-described "arbitrary portion removal processing" on the material video.
<6>合成部(図1)
合成部30は、複数の拠点映像を、合成素材の一部または全部として、合成映像を生成する機能を有する。
この「複数の拠点映像」には、撮影部10による拠点映像と、加工部20によって除去処理が施された後の拠点映像の何れもが含まれる。
したがって、全ての拠点映像に対し、除去処理後の拠点映像を合成素材としても良いし、一部の拠点映像は、除去処理後の拠点映像を合成素材とし、その余の拠点映像は、加工部20を経由せずにそのまま合成素材とすることもできる。
また、合成素材には、前記した保存部60に保存されている素材映像を含めることもできる。
合成部30での合成は、単純に各合成素材を重ね合わせても良いし、計測部50から得られる位置情報や、拠点映像等に紐付けられている深度情報等を用いて、素材映像でのVR空間上での位置を計算して合成素材を重ね合わせても良い。
<6> Synthesis section (Figure 1)
The
The "multiple base videos" include both base videos captured by the
Therefore, for all base videos, the base video after the removal process may be used as the composite material, or for some base videos, the base video after the removal process is used as the composite material, and the remaining base videos are used by the processing section. It can also be used as a synthetic material as it is without going through 20.
Further, the composite material may also include the material video stored in the
The composition in the
<7>表示部(図1)
表示部40は、合成部30で生成した合成映像を、ユーザに表示する機能を有する。
表示部40は、一般的なディスプレイ、モニター、プロジェクター等に限らず、VR、AR、XR等の空間体験で使用可能な、ヘッドマウントディスプレイやゴーグル、ハウジングに収容してゴーグル化可能なスマートフォンなどの携帯端末などを用いることができる。
<7>Display section (Figure 1)
The
The
<1>全体構成(図8)
図8は、前記した構成例1に係る多拠点空間共有システムを、医療教育の現場で活用した場合の構成イメージ図である。
各拠点には、デプスカメラである第1のカメラX1を備えたヘッドマウントディスプレイY1と、このヘッドマウントディスプレイY1を装着するユーザU1(U2)を撮影する第2のカメラX2と、情報処理装置Zを備えている。
各ヘッドマウントディスプレイY1には、図示しないトラッカーが内蔵されており、ヘッドマウントディスプレイY1の位置から、装着したユーザU1(U2)の位置情報を適宜取得している。
本実施例では、各拠点の第1のカメラX1および第2のカメラX2が、撮影部10として機能し、情報処理装置Zが、少なくとも加工部20、合成部30および保存部60として機能し、ヘッドマウントディスプレイY1が、表示部40および計測部50として機能する構成を呈している。
<1> Overall configuration (Figure 8)
FIG. 8 is an image diagram of the configuration when the multi-site space sharing system according to Configuration Example 1 described above is utilized in a medical education field.
Each base includes a head-mounted display Y1 equipped with a first camera X1 that is a depth camera, a second camera X2 that photographs the user U1 (U2) wearing the head-mounted display Y1, and an information processing device Z. It is equipped with
Each head-mounted display Y1 has a built-in tracker (not shown), and appropriately acquires positional information of the user U1 (U2) wearing the head-mounted display Y1 from the position of the head-mounted display Y1.
In this embodiment, the first camera X1 and the second camera X2 at each base function as the photographing
なお、本発明は、上記した図8に示す構成に替えて、前記した構成例2のように、別途設けたデータセンターに設置されたサーバに、加工部20、合成部30および保存部60の機能を割り当てても良い。
In addition, in the present invention, instead of the configuration shown in FIG. 8 described above, as in the configuration example 2 described above, the
次に、拠点1側の合成映像の生成および表示の流れについて説明する。
なお、本発明において、下記の各処理は、動作に矛盾のない範囲で順番を入れ換えたり、並行実施したりすることができる。
(1)第1のカメラX1で撮影された拠点映像は、拠点1の情報処理装置Zに送られ、当該情報処理装置Z内で、任意部分の除去処理(本例では、デプス系除去処理およびクロマ系除去処理)が施され、ユーザU1の周辺のみが抽出された、除去処理後の拠点映像を生成し、合成素材とする。
(2)次に、拠点1の情報処理装置Zでは、拠点2の第2のカメラX2で撮影された拠点映像を、拠点2の情報処理装置Zを介して受信する。本実施例では、第2のカメラX2に係る撮影映像には深度情報が紐付けられていないことから、第2のカメラX2で撮影された拠点映像にはクロマ系除去処理のみを施して、ユーザU2を抽出した除去処理後の拠点映像を生成し、合成素材とする。
(3)さらに、拠点1の情報処理装置Zには、手術台に乗せられた患者を表示する仮想空間の映像が、合成素材として保存されている。
(4)拠点1の情報処理装置Zでは、前記(1)(2)(3)の合成素材を適宜組み合わせて、合成映像を生成する。このとき、前記(2)の除去処理後の拠点映像には深度情報が紐付けられていないため、(3)の仮想空間の映像上に予め仮想表示枠を設けておき、この仮想表示枠に前記(2)の除去処理後の拠点映像を合成するものとする。
(5)拠点1の情報処理装置Zで生成された合成映像は、ユーザU1の位置情報に基づいて表示態様を変更するように、ユーザU1が装着するヘッドマウントディスプレイY1で表示される。
Next, the flow of generating and displaying a composite image on the
Note that in the present invention, the following processes can be rearranged in order or performed in parallel as long as there is no contradiction in operation.
(1) The base video captured by the first camera Chroma system removal processing) is performed, and a post-removal base image in which only the surroundings of the user U1 are extracted is generated and used as a composite material.
(2) Next, the information processing device Z of the
(3) Furthermore, in the information processing device Z of
(4) The information processing device Z at
(5) The composite video generated by the information processing device Z at the
<2>合成映像例(図9)
本実施例に係る多拠点空間共有システムにおいて、各ユーザのヘッドマウントディスプレイY1に表示される合成映像のイメージ図を図9に示す。
<2> Example of composite video (Figure 9)
FIG. 9 shows an image diagram of a composite video displayed on each user's head-mounted display Y1 in the multi-site space sharing system according to this embodiment.
<2.1>拠点1側の合成映像
図9(a)は、拠点1のユーザU1が視認する合成映像のイメージ図である。
この合成映像では、前記(3)に係る、手術台と、手術台に乗せられた患者を表示する仮想空間の映像からなる素材映像Dと、仮想空間上の手術台を挟んで手前側に、前記(1)に係る、除去処理後の拠点映像に含まれるユーザU1の周辺映像が合成され、さらに、前記手術台を挟んで奥側に、仮想的に配置した仮想表示枠D1に、前記(2)に係る除去処理後の拠点映像に含まれる、ユーザU2の映像が合成されている。
また、ユーザU1が手術台に近づくように移動すると、ユーザU1のヘッドマウントディスプレイY1から得られる位置情報に基づいて合成映像も手術台に接近した位置にユーザU1が移動するように表示が変更される。
<2.1> Composite video on the
In this composite image, a material image D consisting of an image of a virtual space displaying an operating table and a patient placed on the operating table according to (3) above, and a material image D on the near side across the operating table in the virtual space, The surrounding images of the user U1 included in the base image after the removal process according to (1) above are combined, and the above ( The user U2's video included in the base video after the removal process related to 2) is combined.
Furthermore, when the user U1 moves closer to the operating table, the display of the composite image is changed so that the user U1 moves closer to the operating table based on the position information obtained from the head-mounted display Y1 of the user U1. Ru.
<2.2>拠点2側の合成映像
図9(b)は、拠点2のユーザU2が視認する合成映像のイメージ図である。
この合成映像では、素材映像Dの手術台を挟んで奥側に、拠点1の第2のカメラX2からなる、除去処理後の拠点映像が、仮想表示枠D1上に合成されている。
また、素材映像Dの手術台を挟んで手前側には、ユーザU2の周辺映像が合成されることになるが、ユーザU2は両手を上げており、第1のカメラX1の画角内に両手が映らない状態であるため、合成映像上にはユーザU2の手元は表示されていない。
<2.2> Composite video on base 2 side FIG. 9(b) is an image diagram of the composite video visually recognized by user U2 at base 2.
In this composite image, the removed site image, which is obtained from the second camera X2 of the
In addition, the peripheral images of the user U2 will be synthesized on the front side of the material image D across the operating table, but the user U2 has both hands raised, and both hands are within the field of view of the first camera X1. is not displayed, so the hand of the user U2 is not displayed on the composite video.
<3>補足説明
上記説明では、素材映像である仮想空間上に手術台と患者を用意しているが、例えば、何れかの拠点に、実物の手術台と患者の模型を用意した態様とすることができる。
例えば、拠点1側に実物模型を用意した場合には、以下の方法等を採用することができる。
(方法1)拠点1側の第1のカメラX1で、実物の手術台と患者の模型を撮影し、デプス系除去処理で抽出対象とする距離を長めにして、第1のカメラX1に基づく除去処理後の拠点映像内に実物の手術台と患者の模型を含める方法。
(方法2)拠点1側の第2のカメラX2でもって実物の手術台と患者の模型を撮影した映像を、拠点2側に送信するだけでなく、拠点1側の合成映像の素材映像として利用する方法。
<3> Supplementary explanation In the above explanation, an operating table and a patient are prepared in a virtual space that is a raw image, but for example, an actual operating table and a model of a patient may be prepared at one of the bases. be able to.
For example, if a physical model is prepared on the
(Method 1) Photograph the actual operating table and patient model with the first camera X1 on the
(Method 2) The video of the actual operating table and patient model taken by the second camera how to.
<4>まとめ
以上説明した構成によれば、遠隔地にいるユーザ間で、1つの空間を共有しつつ、合成映像の中で自分の手元や周辺領域、および相手の姿を現実映像で認識することができることになる。したがって、本実施例で説明した医療教育のように、各人の行動を互いに確認しあう必要性の高い用途に好適である。
<4> Summary According to the configuration described above, users in remote locations can share a single space and recognize their own hands, surrounding areas, and the appearance of the other party in the synthesized video in the real video. You will be able to do that. Therefore, it is suitable for applications where it is highly necessary to mutually confirm the actions of each person, such as the medical education described in this embodiment.
<1>全体構成(図10)
図10は、前記した構成例3に係る多拠点空間共有システムを、水族館が提供するサービスとして活用した場合の構成イメージ図である。
拠点1には、ユーザU3の前方に設置したディスプレイY2と、当該ディスプレイY2の上部に取り付けて、ユーザU3を撮影する第3のカメラX3と、情報処理装置Zとを設けている。
拠点2は、水族館の館内の水槽Tを撮影する第4のカメラX4を設けている。
第3のカメラX3および第4のカメラX4は何れも、撮影映像に深度情報を紐付けることが可能なデプスカメラである。
本実施例では、第3のカメラX3および第4のカメラX4が、撮影部10として機能し、情報処理装置Zが、少なくとも加工部20および合成部30として機能し、ディスプレイY2が表示部40として機能する構成を呈している。
<1> Overall configuration (Figure 10)
FIG. 10 is an image diagram of the configuration when the multi-site space sharing system according to configuration example 3 described above is utilized as a service provided by an aquarium.
The
The base 2 is equipped with a fourth camera X4 that photographs the water tank T inside the aquarium.
Both the third camera X3 and the fourth camera X4 are depth cameras that can link depth information to captured images.
In this embodiment, the third camera X3 and the fourth camera X4 function as the photographing
拠点1側での合成映像の生成および表示の流れについて、以下に説明する。
(1)第3のカメラX3で撮影された拠点映像は、拠点1の情報処理装置Zに送られ、当該情報処理装置Z内で、任意部分の除去処理(本例では、デプス系除去処理およびクロマ系除去処理)が施されて、ユーザU3の周辺のみが抽出された、除去処理後の拠点映像を生成し、合成素材とする。
(2)次に、拠点1の情報処理装置Zでは、拠点2の第4のカメラX4で水槽Tを撮影した拠点映像を受信し、水槽T内の魚介類の映像に深度情報が紐付けられた形で抽出された、除去処理後の拠点映像を生成し、合成素材とする。
(3)拠点1の情報処理装置Zでは、前記(1)(2)の合成素材を適宜組み合わせて、合成映像を生成する。各映像は深度情報を有することから、一定の深度位置を基準として合成を行えば良い。
The flow of generating and displaying a composite video on the
(1) The base video captured by the third camera A post-removal base image in which only the surroundings of the user U3 are extracted is generated and used as a composite material.
(2) Next, the information processing device Z at
(3) The information processing device Z at
<2>合成映像例(図11)
本実施例に係る多拠点空間共有システムにおいて、拠点1のディスプレイY2に表示される合成映像のイメージ図を、図11に示す。
図11に示した合成映像には、前記(2)に係る、深度情報が紐付けられた形で水槽Tが撮影された映像と、深度情報が紐付けられた形で撮影されたユーザU3の映像とが合成されている。
前記(1)(2)の何れの拠点映像も深度情報を有するため、例えば水槽Tの手前側で魚が移動する場合には、魚は、ユーザU3の前を横切るように表示されることとなり、ユーザU3が前を横切る魚よりも前に手を伸ばした際には、魚がユーザU3の手に隠れるように表示されることとなる。
したがって、あたかもユーザU3が水槽T内にいて、ユーザU3の周辺を魚が移動しているような映像をディスプレイY2に映すことができ、ユーザU3が水層Tの内部に入り込んで魚と空間を共有したような体験をすることができる。
<2> Example of composite video (Figure 11)
FIG. 11 shows an image diagram of the composite video displayed on the display Y2 of the
The composite image shown in FIG. 11 includes a video of the aquarium T photographed with depth information associated with it and a video of user U3 photographed with depth information associated with it, according to (2) above. The video is composited.
Since both of the base images in (1) and (2) above have depth information, for example, if a fish moves on the near side of the aquarium T, the fish will be displayed so as to cross in front of the user U3. , when the user U3 extends his hand in front of the fish passing in front of him, the fish is displayed so as to be hidden by the user U3's hand.
Therefore, an image can be displayed on the display Y2 as if the user U3 were in the aquarium T and the fish were moving around the user U3, and the user U3 could enter inside the water layer T and see the fish and the space. You can have a shared experience.
<3>補足説明
上記説明では、何れの拠点映像も深度情報が紐付けられた態様としているが、例えば、拠点2側の拠点映像にのみ深度情報が紐付けられた態様とし、拠点2の拠点映像中の所定の深度位置に、拠点1側の拠点映像を合成するように構成してもよい。
<3> Supplementary explanation In the above explanation, it is assumed that depth information is linked to all base images, but for example, depth information is linked only to the base image on the base 2 side, and It may be configured such that the base video of the
<4>まとめ
以上説明した構成によれば、水族館の開園が困難な状況下においても、遠隔地のユーザに対し、仮想的なふれ合いの機会を与えたり、現実では不可能な、展示水槽の内部にユーザが入り込むような体験を提供したりすることができる。
したがって、水族館に限らず、動物園、遊園地、球技場などの施設において、開園中に提供可能な体験とは異なる、新たな体験を顧客に提供することができる。
<4> Summary According to the configuration described above, even in situations where it is difficult to open an aquarium, users in remote areas can be given the opportunity to interact virtually, and the inside of an exhibition tank can be It is possible to provide an immersive experience for the user.
Therefore, it is possible to provide customers with a new experience that is different from the experience that can be provided while the park is open, not only in aquariums but also in facilities such as zoos, amusement parks, and baseball stadiums.
なお、本発明は、前記した加工部20および合成部30を少なくとも含んで構成した、合成映像生成システムとしての活用も可能である。
合成素材となる映像データは特段限定されず、リアルタイムに撮影されている映像データや、予め撮影・保存されている映像データを適宜用いることができる。
また、本実施例に係る合成映像生成システムには、さらに計測部50や保存部60を具備することもできる。
本実施例に係る合成映像生成システムによれば、動画作成作業において、予め撮影済みのデータを適宜組み合わせて合成映像を作成する場合にも適用が可能である。
Note that the present invention can also be utilized as a composite video generation system that includes at least the
The video data serving as the composite material is not particularly limited, and video data shot in real time or video data shot and stored in advance can be used as appropriate.
Furthermore, the composite video generation system according to this embodiment can further include a
The composite video generation system according to the present embodiment can also be applied to create a composite video by appropriately combining previously photographed data in video creation work.
10 撮影部
20 加工部
30 合成部
40 表示部
50 計測部
60 保存部
A1 拠点映像
A2 除去処理後の拠点映像
B 手元
C 背景材
U1、U2 ユーザ
X1 第1のカメラ
X2 第2のカメラ
X3 第3のカメラ
X4 第4のカメラ
Y1 ヘッドマウントディスプレイ
Y2 ディスプレイ
Z 情報処理装置
10 Photographing
本発明は、多拠点で撮影された複数の拠点映像を用いた合成映像をユーザに表示させるための多拠点空間共有システムに関する。
The present invention relates to a multi-site space sharing system for displaying to a user a composite image using videos taken at multiple sites.
Claims (8)
各拠点に1つ以上配置し、それぞれ拠点映像を取得する、撮影部と、
前記複数の拠点映像のうち1つ以上の拠点映像に対し、任意部分の除去処理を行う、加工部と、
前記除去処理後の拠点映像を含む、前記複数の拠点映像を、合成素材の一部または全部として、合成映像を生成する、合成部と、
前記合成映像を表示する、表示部と、を少なくとも具備することを特徴とする、
多拠点空間共有システム。 A multi-site space sharing system that displays a composite image to a user using videos taken at multiple sites, the system comprising:
A photography department, which is placed at least one at each base and acquires footage from each base;
a processing unit that performs a process of removing an arbitrary portion from one or more base videos among the plurality of base videos;
a compositing unit that generates a composite video by using the plurality of base videos, including the base video after the removal process, as part or all of a composite material;
characterized by comprising at least a display unit that displays the composite image;
Multi-site space sharing system.
前記加工部は、
前記深度情報が紐付けられた前記除去処理対象の拠点映像に対し、
前記深度情報に基づく除去処理である、デプス系除去処理、および、
色空間情報の値に基づく除去処理である、クロマ系除去処理、
を行うことを特徴とする、
請求項1に記載の多拠点空間共有システム。 Depth information is linked to at least one of the base images to be removed,
The processing section is
With respect to the base image to be removed that is linked with the depth information,
Depth-based removal processing, which is removal processing based on the depth information, and
Chroma removal processing, which is removal processing based on the value of color space information;
characterized by performing
The multi-site space sharing system according to claim 1.
請求項1に記載の多拠点空間共有システム。 The method further comprises a storage unit that stores a material video that can be used as a part of the composite material by the composition unit,
The multi-site space sharing system according to claim 1.
請求項3に記載の多拠点空間共有システム。 The material video includes a virtual video that provides a VR space.
The multi-site space sharing system according to claim 3.
前記合成部は、前記位置情報に基づいて、前記合成映像を生成することを特徴とする、
請求項1に記載の多拠点空間共有システム。 further comprising a measurement unit that measures location information of the user,
The synthesis unit is characterized in that it generates the composite video based on the position information.
The multi-site space sharing system according to claim 1.
前記表示部が、各拠点のユーザが装着する、HMD(ヘッドマウントディスプレイ)であり、
前記複数の撮影部が、
前記HMDに取り付けて当該HMDの前方を撮影し、かつ、深度情報を取得可能な、第1のカメラと、
前記HMDの装着者を撮影する、第2のカメラと、を少なくとも含み、
前記一方の拠点のHMDに表示される合成映像を構成する、前記合成素材として、
前記一方の拠点で撮影される、前記第1のカメラによる拠点映像に対し、任意部分の除去処理を行った拠点映像と、
その他の拠点で撮影される、前記第2のカメラによる拠点映像に対し、任意部分の除去処理を行った拠点映像と、が含まれることを特徴とする、
請求項1に記載の多拠点空間共有システム。 The display section and the plurality of photographing sections are provided at a plurality of bases,
The display unit is an HMD (head mounted display) worn by a user at each base,
The plurality of photographing departments,
a first camera that is attached to the HMD and can photograph the front of the HMD and acquire depth information;
at least a second camera that photographs the wearer of the HMD,
As the composite material that constitutes the composite image displayed on the HMD of the one base,
a base video obtained by removing an arbitrary portion from the base video taken by the first camera, which is shot at the one base;
A base video obtained by removing an arbitrary part from the base video taken by the second camera, which is shot at another base, is included.
The multi-site space sharing system according to claim 1.
前記表示部が、ディスプレイ、モニターまたはプロジェクターであり、
前記表示部を設けた拠点における前記撮影部のうち何れか1つが、前記表示部の表示画面の前方を撮影する、第3のカメラであり、
前記表示部に表示される合成映像を構成する、前記合成素材として、
前記第3のカメラによる拠点映像に対し、任意部分の除去処理を行った拠点映像と、
その他の拠点に設けた前記撮影部における拠点映像または当該拠点映像に対し、任意部分の除去処理を行った拠点映像と、が含まれる
ことを特徴とする、
請求項1に記載の多拠点空間共有システム。 One or more of the photographing sections are provided at a plurality of bases, and the display section is provided at at least one of the bases,
The display unit is a display, a monitor, or a projector,
Any one of the photographing units at the base where the display unit is provided is a third camera that photographs the front of the display screen of the display unit,
As the composite material constituting the composite image displayed on the display unit,
A base video obtained by removing an arbitrary part from the base video captured by the third camera;
A base video obtained by the imaging unit installed at another base or a base video obtained by removing an arbitrary part from the base video,
The multi-site space sharing system according to claim 1.
異なるカメラで撮影された複数の映像データのうち、1つ以上の映像データに対し、任意部分の除去処理を行う、加工部と、
前記除去処理後の映像データを含む、前記複数の映像データを、合成素材の一部または全部として、1つの合成映像データを生成する、合成部と、を少なくとも有し、
前記除去処理対象の映像データのうち少なくとも1つに、深度情報が紐付けられており、
前記加工部は、
前記深度情報が紐付けられた前記除去処理対象の映像データに対し、
前記深度情報に基づく除去処理である、デプス系除去処理、および、
色空間情報の値に基づく除去処理である、クロマ系除去処理、
を行うことを特徴とする、合成映像生成システム。 A synthetic video generation system,
a processing unit that performs processing to remove an arbitrary portion of one or more video data among a plurality of video data shot with different cameras;
at least a compositing unit that generates one composite video data by using the plurality of video data including the video data after the removal process as part or all of a composite material,
Depth information is linked to at least one of the video data to be removed,
The processing section is
With respect to the video data to be removed to which the depth information is linked,
Depth-based removal processing, which is removal processing based on the depth information, and
Chroma removal processing, which is removal processing based on the value of color space information;
A synthetic video generation system that is characterized by performing the following.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022066899A JP7157271B1 (en) | 2022-04-14 | 2022-04-14 | Multisite space sharing system |
JP2022128140A JP2023157818A (en) | 2022-04-14 | 2022-08-10 | Multi-site space sharing system and synthetic video generation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022066899A JP7157271B1 (en) | 2022-04-14 | 2022-04-14 | Multisite space sharing system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022128140A Division JP2023157818A (en) | 2022-04-14 | 2022-08-10 | Multi-site space sharing system and synthetic video generation system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7157271B1 JP7157271B1 (en) | 2022-10-19 |
JP2023157165A true JP2023157165A (en) | 2023-10-26 |
Family
ID=83688403
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022066899A Active JP7157271B1 (en) | 2022-04-14 | 2022-04-14 | Multisite space sharing system |
JP2022128140A Pending JP2023157818A (en) | 2022-04-14 | 2022-08-10 | Multi-site space sharing system and synthetic video generation system |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022128140A Pending JP2023157818A (en) | 2022-04-14 | 2022-08-10 | Multi-site space sharing system and synthetic video generation system |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7157271B1 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5971316B2 (en) * | 2013-12-25 | 2016-08-17 | キヤノンマーケティングジャパン株式会社 | INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM |
JP2016032277A (en) * | 2014-07-30 | 2016-03-07 | 日本電信電話株式会社 | Video communication system and video communication method |
JP6717486B1 (en) * | 2019-11-08 | 2020-07-01 | 株式会社Acw−Deep | Extended virtual space providing system |
-
2022
- 2022-04-14 JP JP2022066899A patent/JP7157271B1/en active Active
- 2022-08-10 JP JP2022128140A patent/JP2023157818A/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7157271B1 (en) | 2022-10-19 |
JP2023157818A (en) | 2023-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10684467B2 (en) | Image processing for head mounted display devices | |
KR102574874B1 (en) | Improved method and system for video conference using head mounted display (HMD) | |
US11983830B2 (en) | Systems and methods for generating and facilitating access to a personalized augmented rendering of a user | |
RU2668408C2 (en) | Devices, systems and methods of virtualising mirror | |
US20170237941A1 (en) | Realistic viewing and interaction with remote objects or persons during telepresence videoconferencing | |
CN108416832B (en) | Media information display method, device and storage medium | |
Lincoln et al. | Animatronic shader lamps avatars | |
US20230105064A1 (en) | System and method for rendering virtual reality interactions | |
JP2000175171A (en) | Video image generator for video conference and video image generating method for video conference | |
CN111602391B (en) | Method and apparatus for customizing a synthetic reality experience from a physical environment | |
JP7525598B2 (en) | COMMUNICATION TERMINAL DEVICE, COMMUNICATION METHOD, AND SOFTWARE PROGRAM | |
JP2023157165A (en) | Multi-site space sharing system | |
JP7275480B2 (en) | Multiplayer Simultaneous Operation System, Method, and Program in VR | |
JP2005284775A (en) | Image processing apparatus | |
JP2020530218A (en) | How to project immersive audiovisual content | |
JP6916896B2 (en) | Information processing device and image generation method | |
JP7020115B2 (en) | Selfie devices, methods, and programs in VR space | |
JP7479473B2 (en) | Metaverse Space Provision Program | |
JP2023065073A (en) | Image generation system and image generation method | |
JP7250809B2 (en) | Virtual reality system and method | |
WO2022259480A1 (en) | Video processing device, video processing method, and video processing program | |
CN116560511A (en) | Picture display method, device, computer equipment and storage medium | |
JP2024150589A (en) | Communication terminal equipment | |
JPH07104718A (en) | Stereoscopic information display device for a great number of persons | |
JP2005136538A (en) | Electronic full-length mirror |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220415 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220621 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220823 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220921 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221006 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7157271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |