JP2023157165A - Multi-site space sharing system - Google Patents

Multi-site space sharing system Download PDF

Info

Publication number
JP2023157165A
JP2023157165A JP2022066899A JP2022066899A JP2023157165A JP 2023157165 A JP2023157165 A JP 2023157165A JP 2022066899 A JP2022066899 A JP 2022066899A JP 2022066899 A JP2022066899 A JP 2022066899A JP 2023157165 A JP2023157165 A JP 2023157165A
Authority
JP
Japan
Prior art keywords
base
video
composite
unit
sharing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022066899A
Other languages
Japanese (ja)
Other versions
JP7157271B1 (en
Inventor
聡 山口
Satoshi Yamaguchi
均 新舘
Hitoshi Niidate
昌啓 箕輪
Masahiro Minowa
恒偉 沈
Hengwei Shen
信幸 瀬間
Nobuyuki Sema
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Acw-Deep Corp
SWCC Corp
Original Assignee
Acw-Deep Corp
SWCC Showa Cable Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acw-Deep Corp, SWCC Showa Cable Systems Co Ltd filed Critical Acw-Deep Corp
Priority to JP2022066899A priority Critical patent/JP7157271B1/en
Priority to JP2022128140A priority patent/JP2023157818A/en
Application granted granted Critical
Publication of JP7157271B1 publication Critical patent/JP7157271B1/en
Publication of JP2023157165A publication Critical patent/JP2023157165A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

To generate a single composite video by combining a plurality of site videos captured at a plurality of sites, and to share people and objects between respective sites in the single composite video.SOLUTION: A multi-site space sharing system displays a composite video using a plurality of site videos captured at a plurality of sites to a user. The multi-site space sharing system includes at least: imaging units 10, one or more of which are arranged at each site and acquire respective site videos; a processing unit 20 that performs removal processing of an arbitrary portion for one or more site videos of the plurality of site videos; a composition unit 30 that generates a composite video by using the plurality of site videos including a site video after the removal processing as a part or all of composite materials; and a display unit 40 that displays the composite video.SELECTED DRAWING: Figure 1

Description

本発明は、多拠点で撮影された複数の拠点映像を用いた合成映像をユーザに表示させるための多拠点空間共有システムおよび合成映像生成システムに関する。 The present invention relates to a multi-site space sharing system and a composite video generation system for displaying to a user a composite video using videos taken at multiple locations.

出願人は、仮想空間上にユーザ周辺の現実映像を合成してなる拡張仮想空間をユーザに体験させるためのシステムとして、以下の特許文献1,2に示す発明を着想している。 The applicant has conceived the inventions shown in Patent Documents 1 and 2 below as a system for allowing a user to experience an augmented virtual space formed by combining real images of the user's surroundings on a virtual space.

特許第6717486号公報Patent No. 6717486 特許第6991494号公報Patent No. 6991494

本発明は、上記発明の発展系として、種々の用途に適用可能な多拠点空間共有システムおよび合成映像生成システムを提供することを目的の1つとする。 One of the objects of the present invention, as an extension of the above-described invention, is to provide a multi-site space sharing system and a composite video generation system that are applicable to various uses.

上記課題を解決すべく、本発明では、多拠点で撮影された複数の拠点映像を用いた合成映像をユーザに表示する、多拠点空間共有システムであって、各拠点に1つ以上配置し、それぞれ拠点映像を取得する、撮影部と、前記複数の拠点映像のうち1つ以上の拠点映像に対し、任意部分の除去処理を行う、加工部と、前記除去処理後の拠点映像を含む、前記複数の拠点映像を、合成素材の一部または全部として、合成映像を生成する、合成部と、前記合成映像を表示する、表示部と、を少なくとも具備するよう構成した。
当該構成により、多拠点で撮影された複数の拠点映像を組み合わせた1つの合成映像を生成して、各拠点間の人や物を1つの合成映像の中で共有可能とした。
In order to solve the above-mentioned problems, the present invention provides a multi-site space sharing system that displays a composite video using multiple site videos shot at multiple sites to the user, in which one or more sites are placed at each site, a processing unit that performs a removal process on one or more base images of the plurality of base images, and a base image after the removal process; The present invention is configured to include at least a compositing unit that generates a composite video using a plurality of base videos as part or all of the composite material, and a display unit that displays the composite video.
With this configuration, it is possible to generate one composite video by combining videos of multiple locations taken at multiple locations, and to share people and objects between each location in one composite video.

本発明によれば、以下に記載する効果のうち、少なくとも何れか1つの効果を奏する。
(1)多拠点で撮影された複数の拠点映像を組み合わせてなる1つの合成映像を生成することで、各拠点の人や物を1つの合成映像の中で共有することができる。
(2)近年メタバースとも呼ばれる仮想空間上に、異なる拠点で撮影された実際のユーザの撮影映像を組み込むことができるため、CGからなるアバターを介したコミュニケーションが必要なく、ユーザ間でのよりリアルなコミュニケーションが可能となる。
(3)ユーザのリアルタイム映像を合成映像に組み込むことができるため、各ユーザが離れた場所にあっても各ユーザ間でコラボレーションしながら作業を行う必要性の高い用途(医療行為、工事作業、教育、その他の製作作業など)等への適用に好適である。
According to the present invention, at least one of the effects described below is achieved.
(1) By generating one composite video by combining videos of multiple locations taken at multiple locations, people and objects from each location can be shared in one composite video.
(2) In recent years, it has become possible to incorporate actual user footage taken at different locations into a virtual space, also known as the metaverse, which eliminates the need for communication via CG avatars, creating a more realistic relationship between users. Communication becomes possible.
(3) Since users' real-time images can be incorporated into composite images, applications that require collaboration among users even if they are in separate locations (medical practice, construction work, education, etc.) , other manufacturing work, etc.).

本発明に係る多拠点空間共有システムの機能ブロック図。FIG. 1 is a functional block diagram of a multi-site space sharing system according to the present invention. 本発明に係る多拠点空間共有システムの構成例1を示す機能ブロック図。FIG. 1 is a functional block diagram showing a first configuration example of a multi-site space sharing system according to the present invention. 本発明に係る多拠点空間共有システムの構成例2を示す機能ブロック図。FIG. 2 is a functional block diagram showing a second configuration example of a multi-site space sharing system according to the present invention. 本発明に係る多拠点空間共有システムの構成例3を示す機能ブロック図。FIG. 3 is a functional block diagram showing a third configuration example of a multi-site space sharing system according to the present invention. デプス系除去処理のイメージ図。An image diagram of depth system removal processing. クロマ系除去処理のイメージ図。An image diagram of chroma removal processing. デプス系除去処理とクロマ系除去処理の組合せのイメージ図。An image diagram of a combination of depth-based removal processing and chroma-based removal processing. 実施例1に係る多拠点空間共有システムの構成図。FIG. 1 is a configuration diagram of a multi-site space sharing system according to a first embodiment. 実施例1に係る多拠点空間共有システムでの合成映像のイメージ図。FIG. 3 is an image diagram of a composite video in the multi-site space sharing system according to the first embodiment. 実施例2に係る多拠点空間共有システムの構成図。FIG. 2 is a configuration diagram of a multi-site space sharing system according to a second embodiment. 実施例2に係る多拠点空間共有システムでの合成映像のイメージ図。FIG. 3 is an image diagram of a composite video in the multi-site space sharing system according to the second embodiment.

以下、図面を参照しながら、本発明の詳細について説明する。 Hereinafter, details of the present invention will be explained with reference to the drawings.

<1>全体構成(図1)
本発明に係る多拠点空間共有システムは、各拠点で撮影された複数の拠点映像を含んで合成してなる合成映像を、少なくとも一人以上のユーザに表示するためのシステムである。
図1に示す多拠点空間共有システムは、撮影部10、加工部20、合成部30および表示部40を少なくとも具備しており、その他、計測部50および保存部60を具備している。
各部は、ハードウェアおよびソフトウェアを任意に組み合わせて実現することができるほか、各部を個別の装置とする構成や、複数の各部を一つの装置に組み込んで一体化した構成等を採用することができる。
また、本発明において、拠点の数、各部の数、各部の配置場所、各拠点における構成の異同は特段限定しない。
<1> Overall configuration (Figure 1)
The multi-site space sharing system according to the present invention is a system for displaying a composite image including a plurality of site images shot at each site to at least one user.
The multi-site space sharing system shown in FIG. 1 includes at least an imaging section 10, a processing section 20, a composition section 30, and a display section 40, and also includes a measurement section 50 and a storage section 60.
Each part can be realized by arbitrarily combining hardware and software, and it is also possible to adopt a configuration in which each part is an individual device, or a configuration in which multiple parts are integrated into one device. .
Further, in the present invention, there are no particular limitations on the number of bases, the number of each part, the location of each part, or the difference in configuration at each base.

次に、図2~図4に、本発明に係る多拠点空間共有システムの構成例を示す。
なお、本発明において、各構成例から任意の箇所を取りだして、更に組み合わせた態様を採用することができることは言うまでも無い。
また、各拠点で表示される合成映像は、同一の映像であっても良いし、異なる映像であっても良く、用途に応じて適宜選択することができる。
Next, FIGS. 2 to 4 show configuration examples of a multi-site space sharing system according to the present invention.
In addition, in the present invention, it goes without saying that arbitrary parts can be taken out from each configuration example and further combinations can be adopted.
Further, the composite video displayed at each location may be the same video or different videos, and can be selected as appropriate depending on the purpose.

<1.1>構成例1(図2)
本例は、拠点毎に、各部を全て具備する装置を配置する構成である。
各拠点に設置した装置では、他拠点からの拠点映像を受信して、自拠点の拠点映像とともに、合成素材の一部または全部として合成映像を生成し、自拠点の表示部40に表示することで、ユーザに合成映像を体験させる。
<1.1> Configuration example 1 (Figure 2)
In this example, a device including all of the respective parts is arranged at each base.
The device installed at each base receives the base video from other bases, generates a composite video as part or all of the composite material together with the base video of the own base, and displays it on the display unit 40 of the own base. Let the user experience the composite image.

<1.2>構成例2(図3)
本例は、前記構成例1において、加工部20や合成部30を、各拠点とは異なる場所(データセンター等)に設置したサーバで担う構成である。
サーバは、各拠点からの拠点映像を受信して、適宜除去処理を行いつつ各拠点向けの合成映像を生成し、この合成映像を、各拠点の表示部40に送信して、ユーザに合成映像を体験させる。
<1.2> Configuration example 2 (Figure 3)
This example is a configuration in which the processing section 20 and the synthesis section 30 in the configuration example 1 are handled by a server installed at a location (such as a data center) different from each base.
The server receives the base video from each base, performs removal processing as appropriate, generates a composite video for each base, transmits this composite video to the display unit 40 of each base, and displays the composite video to the user. Let them experience it.

<1.3>構成例3(図4)
本例は、各拠点での目的に応じて、拠点毎に各部の組合せが異なる構成である。
図4では、一方の拠点(拠点1)では、当該拠点にいる人や物を拠点映像として撮影する撮影部10のみを配置し、他方の拠点(拠点2)では、一方の拠点(拠点1)からの拠点映像を受信して、合成素材の一部または全部として合成映像を生成して拠点2の表示部40に表示し、ユーザに合成映像を体験させる。
<1.3> Configuration example 3 (Figure 4)
This example has a configuration in which the combinations of parts differ from base to base depending on the purpose of each base.
In FIG. 4, one base (base 1) is equipped with only the photographing unit 10 that takes pictures of people and things at the base as base video, and the other base (base 2) is equipped with the camera unit 10 that takes pictures of people and things at the base as base video. The base unit 2 receives the base video from the base 2, generates a composite video as part or all of the composite material, displays it on the display unit 40 of the base 2, and allows the user to experience the composite video.

以下、各部の詳細ならびに演算手順の詳細について説明する。 The details of each part and the calculation procedure will be explained below.

<2>撮影部(図1)
撮影部10は、合成映像の素材の一部または全部となる、拠点映像を取得するための機能を有する。
撮影部10は、各拠点のうち合成対象の映像を取得する複数の拠点において、各拠点に1つ以上配置するものとする。
<2> Photography department (Figure 1)
The photographing unit 10 has a function of acquiring base video, which becomes part or all of the material of the composite video.
It is assumed that one or more imaging units 10 are disposed at each of a plurality of bases that acquire images to be combined among the bases.

<2.1>拠点映像の種類
撮影部10は、ノートPC、タブレット、スマートフォンに内蔵されているカメラや、PCとの接続インターフェースを備えたWEBカメラやデジタルカメラ、拠点に常設されている固定式カメラ、ユーザが装着するヘッドマウントディスプレイ(以下、「HMD」ともいう。)の内蔵カメラ、またはHMDに外付けするカメラなどを用いることができる。
また、撮影部10には、デプスカメラや3Dカメラとも呼ばれる、撮影映像に深度情報を紐付けることが可能なカメラを用いることもできる。
また、本発明において、撮影部10の画角等は特段限定しない。
<2.1> Types of base video The imaging unit 10 uses a camera built into a notebook PC, tablet, or smartphone, a web camera or digital camera equipped with a connection interface with a PC, or a fixed camera permanently installed at the base. A camera, a built-in camera in a head-mounted display (hereinafter also referred to as "HMD") worn by the user, or a camera attached externally to the HMD can be used.
Furthermore, for the photographing unit 10, a camera which is also called a depth camera or a 3D camera and which can link depth information to a photographed image can also be used.
Further, in the present invention, the angle of view of the photographing section 10, etc. are not particularly limited.

<3>計測部(図1)
計測部50は、ユーザの位置情報を取得する機能を具備する装置である。
この「位置情報」とは、ユーザの姿勢や位置を認識可能な情報を少なくとも含むものであり、この位置情報に基づいて、合成映像の表示を変更することができる。
計測部50は、角度センサ、加速度センサ、ジャイロスコープなどのセンサ群、モーションキャプチャー装置、GPS装置、トラッカー等を用いることができる。
また、計測部50は、拠点に設置するタイプ、ユーザが装着するHMDに内蔵されているタイプ、ユーザの身体に別途装着するタイプ、ユーザが使用するコントローラに内蔵されているタイプなど、あらゆるタイプが含まれる。
<3>Measurement section (Figure 1)
The measurement unit 50 is a device that has a function of acquiring user position information.
This "position information" includes at least information that allows the user's posture and position to be recognized, and the display of the composite video can be changed based on this position information.
The measurement unit 50 can use a sensor group such as an angle sensor, an acceleration sensor, and a gyroscope, a motion capture device, a GPS device, a tracker, and the like.
The measurement unit 50 can be of any type, including a type installed at a base, a type built into an HMD worn by the user, a type worn separately on the user's body, and a type built into a controller used by the user. included.

<4>加工部(図1)
加工部20は、各撮影部10によって得られる拠点映像のうち、1つ以上の拠点映像に対し、任意部分の除去処理を行って、除去処理後の拠点映像を取得する機能を有する。
この「任意部分の除去処理」とは、拠点映像を構成するフレーム画像に対して、任意の部分を除去して、その余の箇所を抽出する処理である。
本発明において、「任意部分の除去処理」の手法は特段限定しないが、代表的な除去処理として、クロマ系除去処理とデプス系除去処理がある。
以下、各除去処理の詳細について説明する。
<4> Processing section (Figure 1)
The processing unit 20 has a function of performing removal processing on an arbitrary portion of one or more base videos among the base videos obtained by each imaging unit 10, and obtaining a base video after the removal process.
This "arbitrary part removal process" is a process of removing an arbitrary part of the frame image forming the base video and extracting the remaining part.
In the present invention, the method of "arbitrary part removal processing" is not particularly limited, but representative removal processing includes chroma removal processing and depth removal processing.
The details of each removal process will be explained below.

<4.1>デプス系除去処理(図5)
デプス系除去処理は、除去処理対象である拠点映像について、当該拠点映像に紐付けられている深度情報の値に基づいた除去を行う処理である。
拠点映像に紐付けられている深度情報は、撮影部10としてデプスカメラを用いた場合において拠点映像に予め埋め込まれているデータや、拠点映像を画像解析して別途生成するデータ、または別途設けた3Dスキャナ等から得られるデータなどを用いることができる。
<4.1> Depth system removal processing (Figure 5)
Depth-based removal processing is processing in which a base video that is a target of removal processing is removed based on the value of depth information linked to the base video.
The depth information linked to the base video may be data embedded in the base video in advance when a depth camera is used as the imaging unit 10, data generated separately by image analysis of the base video, or data provided separately. Data obtained from a 3D scanner or the like can be used.

デプス系除去処理の一例としては、拠点映像に対し、該拠点映像の深度情報に基づいて、所定の距離以上の深度情報を有する部分を除去する処理がある。
例えば、撮影部10から、50cm以上の深度情報を有する箇所を除去対象とした場合、除去処理後の拠点映像は、撮影部10から、50cm未満の深度情報を有する箇所の映像のみが抽出されたものとなる。
An example of depth-based removal processing includes processing for removing a portion of a base image having depth information of a predetermined distance or more based on depth information of the base image.
For example, if a location with depth information of 50 cm or more is targeted for removal from the imaging unit 10, only images of locations with depth information of less than 50 cm are extracted from the imaging unit 10 in the base video after removal processing. Become something.

例えば、ユーザが装着したHMDの前方を撮影するデプスカメラを撮影部10として想定した場合、図5に示すように、拠点映像A1に対しデプス系除去処理を行った除去処理後の拠点映像A2は、当該ユーザの手元Bのみが抽出された映像となる。 For example, when the imaging unit 10 is assumed to be a depth camera that photographs the front of the HMD worn by the user, as shown in FIG. , only the hand B of the user is extracted.

なお、デプス系除去処理による抽出箇所は、ユーザの身体に限らないため、ユーザが持つコントローラや、ユーザの周辺に存在する物体(椅子、机、梯子、食品等)も含めて抽出することができる。 Note that the locations extracted by depth-based removal processing are not limited to the user's body, so controllers held by the user and objects around the user (chairs, desks, ladders, food, etc.) can also be extracted. .

<4.2>クロマ系除去処理(図6)
クロマ系除去処理は、除去処理対象である拠点映像について、当該拠点映像の色空間情報の値に基づいた除去を行う処理である。
<4.2> Chroma removal process (Figure 6)
The chroma removal process is a process in which a base video to be removed is removed based on the value of color space information of the base video.

クロマ系除去処理は、RGB,RGBA,CMY,HSV,HLSなどの周知の色空間情報に基づき、各色空間で定義される要素および数値範囲の中で所定の範囲を設定することによって、特定の均質色に対応する部分を除去して行う。
例えば、HSV色空間情報を用いてクロマ系除去処理を行う場合、HSV色空間情報は、色相(hue:0°~360°)、彩度(saturation:0%~100%)、明度(value:0%~100%)のパラメータを含んだ情報であり、各パラメータの数値範囲を設定することで、特定の均質色に対応する部分を除去することになる。
Chroma system removal processing is based on well-known color space information such as RGB, RGBA, CMY, HSV, HLS, etc., and by setting a predetermined range among the elements and numerical ranges defined in each color space, a specific homogeneous color is removed. This is done by removing the part that corresponds to the color.
For example, when performing chroma removal processing using HSV color space information, the HSV color space information includes hue (hue: 0° to 360°), saturation (saturation: 0% to 100%), and brightness (value: This information includes parameters (0% to 100%), and by setting the numerical range of each parameter, parts corresponding to a specific homogeneous color are removed.

クロマ系除去処理を実施する際には、予め、拠点に設けた撮影部10の画角に含まれる箇所に、均一色を呈する背景材Cを設置しておくことが望ましい。 When performing the chroma removal process, it is desirable to install a background material C exhibiting a uniform color in advance at a location included in the angle of view of the imaging unit 10 provided at the base.

<4.3>各除去処理の組合せ(図7)
本発明では、上記した「任意部分の除去処理」の実施内容、実施順、実施回数は特段限定せず、本発明に係るシステムの用途に応じて適宜決定することができる。
なお、図7に示すように、除去処理対象である1つの拠点映像に対し、デプス系除去処理を行ってから、更にクロマ系除去処理を行うことで、デプス系除去処理では明瞭に除去しきれなかった、ユーザの手指間の隙間や、ユーザの足元周辺の床部分等を、より明瞭に除去することもできる。
<4.3> Combinations of each removal process (Figure 7)
In the present invention, the implementation details, the order of implementation, and the number of times of implementation of the above-described "arbitrary part removal process" are not particularly limited, and can be determined as appropriate depending on the application of the system according to the present invention.
As shown in Figure 7, by performing depth removal processing and then chroma removal processing on one base image that is the target of removal processing, it is possible to clearly remove images that cannot be clearly removed by depth removal processing. It is also possible to more clearly remove the gaps between the user's fingers and the floor area around the user's feet, which were previously absent.

<5>保存部(図1)
保存部60は、拠点映像以外の合成素材(以下「素材映像」ともいう)を保存しておく機能を有する。
保存部60で保存される素材映像には、拠点映像とは別に、現実の場所を予め撮影しておいた映像、予め製作されたCG映像、VR空間を提供する仮想映像(VR映像)またはこれらの組合せ映像を用いることができる。
<5> Storage section (Figure 1)
The storage unit 60 has a function of storing composite materials other than the base video (hereinafter also referred to as "material video").
In addition to the base video, the material videos stored in the storage unit 60 include videos taken in advance of real locations, CG videos produced in advance, virtual videos (VR videos) that provide a VR space, or any of these. A combination of images can be used.

<5.1>素材映像の選択
また、各ユーザに体験させる合成映像の生成では、合成映像毎に同一の素材映像を提供しても良いし、異なる素材映像を提供してもよく、本発明に係る多拠点空間共有システムの用途に応じて適宜決定すればよい。
また、本発明は、素材映像に対して、前記した「任意部分の除去処理」を行うことを除外するものでもない。
<5.1> Selection of material video In addition, when generating a composite video for each user to experience, the same material video may be provided for each composite video, or different material videos may be provided, and the present invention It may be determined as appropriate depending on the purpose of the multi-site space sharing system.
Furthermore, the present invention does not exclude performing the above-described "arbitrary portion removal processing" on the material video.

<6>合成部(図1)
合成部30は、複数の拠点映像を、合成素材の一部または全部として、合成映像を生成する機能を有する。
この「複数の拠点映像」には、撮影部10による拠点映像と、加工部20によって除去処理が施された後の拠点映像の何れもが含まれる。
したがって、全ての拠点映像に対し、除去処理後の拠点映像を合成素材としても良いし、一部の拠点映像は、除去処理後の拠点映像を合成素材とし、その余の拠点映像は、加工部20を経由せずにそのまま合成素材とすることもできる。
また、合成素材には、前記した保存部60に保存されている素材映像を含めることもできる。
合成部30での合成は、単純に各合成素材を重ね合わせても良いし、計測部50から得られる位置情報や、拠点映像等に紐付けられている深度情報等を用いて、素材映像でのVR空間上での位置を計算して合成素材を重ね合わせても良い。
<6> Synthesis section (Figure 1)
The compositing unit 30 has a function of generating a composite video using a plurality of base videos as part or all of the composite material.
The "multiple base videos" include both base videos captured by the imaging unit 10 and base videos subjected to removal processing by the processing unit 20.
Therefore, for all base videos, the base video after the removal process may be used as the composite material, or for some base videos, the base video after the removal process is used as the composite material, and the remaining base videos are used by the processing section. It can also be used as a synthetic material as it is without going through 20.
Further, the composite material may also include the material video stored in the storage unit 60 described above.
The composition in the composition section 30 may be done by simply superimposing each composite material, or by using the position information obtained from the measurement section 50, the depth information linked to the base video, etc. The synthetic materials may be superimposed by calculating the position in the VR space.

<7>表示部(図1)
表示部40は、合成部30で生成した合成映像を、ユーザに表示する機能を有する。
表示部40は、一般的なディスプレイ、モニター、プロジェクター等に限らず、VR、AR、XR等の空間体験で使用可能な、ヘッドマウントディスプレイやゴーグル、ハウジングに収容してゴーグル化可能なスマートフォンなどの携帯端末などを用いることができる。
<7>Display section (Figure 1)
The display section 40 has a function of displaying the composite video generated by the composition section 30 to the user.
The display unit 40 is not limited to general displays, monitors, projectors, etc., but can also be used for head-mounted displays, goggles, and smartphones that can be housed in a housing and turned into goggles, which can be used for spatial experiences such as VR, AR, and XR. A mobile terminal or the like can be used.

<1>全体構成(図8)
図8は、前記した構成例1に係る多拠点空間共有システムを、医療教育の現場で活用した場合の構成イメージ図である。
各拠点には、デプスカメラである第1のカメラX1を備えたヘッドマウントディスプレイY1と、このヘッドマウントディスプレイY1を装着するユーザU1(U2)を撮影する第2のカメラX2と、情報処理装置Zを備えている。
各ヘッドマウントディスプレイY1には、図示しないトラッカーが内蔵されており、ヘッドマウントディスプレイY1の位置から、装着したユーザU1(U2)の位置情報を適宜取得している。
本実施例では、各拠点の第1のカメラX1および第2のカメラX2が、撮影部10として機能し、情報処理装置Zが、少なくとも加工部20、合成部30および保存部60として機能し、ヘッドマウントディスプレイY1が、表示部40および計測部50として機能する構成を呈している。
<1> Overall configuration (Figure 8)
FIG. 8 is an image diagram of the configuration when the multi-site space sharing system according to Configuration Example 1 described above is utilized in a medical education field.
Each base includes a head-mounted display Y1 equipped with a first camera X1 that is a depth camera, a second camera X2 that photographs the user U1 (U2) wearing the head-mounted display Y1, and an information processing device Z. It is equipped with
Each head-mounted display Y1 has a built-in tracker (not shown), and appropriately acquires positional information of the user U1 (U2) wearing the head-mounted display Y1 from the position of the head-mounted display Y1.
In this embodiment, the first camera X1 and the second camera X2 at each base function as the photographing unit 10, and the information processing device Z functions as at least the processing unit 20, the composition unit 30, and the storage unit 60, The head-mounted display Y1 is configured to function as a display section 40 and a measurement section 50.

なお、本発明は、上記した図8に示す構成に替えて、前記した構成例2のように、別途設けたデータセンターに設置されたサーバに、加工部20、合成部30および保存部60の機能を割り当てても良い。 In addition, in the present invention, instead of the configuration shown in FIG. 8 described above, as in the configuration example 2 described above, the processing unit 20, the synthesis unit 30, and the storage unit 60 are installed in a server installed in a separately provided data center. You may also assign functions.

次に、拠点1側の合成映像の生成および表示の流れについて説明する。
なお、本発明において、下記の各処理は、動作に矛盾のない範囲で順番を入れ換えたり、並行実施したりすることができる。
(1)第1のカメラX1で撮影された拠点映像は、拠点1の情報処理装置Zに送られ、当該情報処理装置Z内で、任意部分の除去処理(本例では、デプス系除去処理およびクロマ系除去処理)が施され、ユーザU1の周辺のみが抽出された、除去処理後の拠点映像を生成し、合成素材とする。
(2)次に、拠点1の情報処理装置Zでは、拠点2の第2のカメラX2で撮影された拠点映像を、拠点2の情報処理装置Zを介して受信する。本実施例では、第2のカメラX2に係る撮影映像には深度情報が紐付けられていないことから、第2のカメラX2で撮影された拠点映像にはクロマ系除去処理のみを施して、ユーザU2を抽出した除去処理後の拠点映像を生成し、合成素材とする。
(3)さらに、拠点1の情報処理装置Zには、手術台に乗せられた患者を表示する仮想空間の映像が、合成素材として保存されている。
(4)拠点1の情報処理装置Zでは、前記(1)(2)(3)の合成素材を適宜組み合わせて、合成映像を生成する。このとき、前記(2)の除去処理後の拠点映像には深度情報が紐付けられていないため、(3)の仮想空間の映像上に予め仮想表示枠を設けておき、この仮想表示枠に前記(2)の除去処理後の拠点映像を合成するものとする。
(5)拠点1の情報処理装置Zで生成された合成映像は、ユーザU1の位置情報に基づいて表示態様を変更するように、ユーザU1が装着するヘッドマウントディスプレイY1で表示される。
Next, the flow of generating and displaying a composite image on the base 1 side will be explained.
Note that in the present invention, the following processes can be rearranged in order or performed in parallel as long as there is no contradiction in operation.
(1) The base video captured by the first camera Chroma system removal processing) is performed, and a post-removal base image in which only the surroundings of the user U1 are extracted is generated and used as a composite material.
(2) Next, the information processing device Z of the base 1 receives the base video captured by the second camera X2 of the base 2 via the information processing device Z of the base 2. In this embodiment, since depth information is not linked to the image taken by the second camera X2, only chroma removal processing is applied to the base image taken by the second camera A post-removal base video with U2 extracted is generated and used as a composite material.
(3) Furthermore, in the information processing device Z of base 1, an image of a virtual space displaying a patient placed on an operating table is stored as a composite material.
(4) The information processing device Z at base 1 generates a composite video by appropriately combining the composite materials of (1), (2), and (3) above. At this time, since depth information is not linked to the base image after the removal process in (2) above, a virtual display frame is provided in advance on the image in the virtual space in (3), and this virtual display frame is It is assumed that the base images after the removal process in (2) above are combined.
(5) The composite video generated by the information processing device Z at the base 1 is displayed on the head-mounted display Y1 worn by the user U1 so that the display mode is changed based on the position information of the user U1.

<2>合成映像例(図9)
本実施例に係る多拠点空間共有システムにおいて、各ユーザのヘッドマウントディスプレイY1に表示される合成映像のイメージ図を図9に示す。
<2> Example of composite video (Figure 9)
FIG. 9 shows an image diagram of a composite video displayed on each user's head-mounted display Y1 in the multi-site space sharing system according to this embodiment.

<2.1>拠点1側の合成映像
図9(a)は、拠点1のユーザU1が視認する合成映像のイメージ図である。
この合成映像では、前記(3)に係る、手術台と、手術台に乗せられた患者を表示する仮想空間の映像からなる素材映像Dと、仮想空間上の手術台を挟んで手前側に、前記(1)に係る、除去処理後の拠点映像に含まれるユーザU1の周辺映像が合成され、さらに、前記手術台を挟んで奥側に、仮想的に配置した仮想表示枠D1に、前記(2)に係る除去処理後の拠点映像に含まれる、ユーザU2の映像が合成されている。
また、ユーザU1が手術台に近づくように移動すると、ユーザU1のヘッドマウントディスプレイY1から得られる位置情報に基づいて合成映像も手術台に接近した位置にユーザU1が移動するように表示が変更される。
<2.1> Composite video on the base 1 side FIG. 9(a) is an image diagram of the composite video visually recognized by the user U1 at the base 1.
In this composite image, a material image D consisting of an image of a virtual space displaying an operating table and a patient placed on the operating table according to (3) above, and a material image D on the near side across the operating table in the virtual space, The surrounding images of the user U1 included in the base image after the removal process according to (1) above are combined, and the above ( The user U2's video included in the base video after the removal process related to 2) is combined.
Furthermore, when the user U1 moves closer to the operating table, the display of the composite image is changed so that the user U1 moves closer to the operating table based on the position information obtained from the head-mounted display Y1 of the user U1. Ru.

<2.2>拠点2側の合成映像
図9(b)は、拠点2のユーザU2が視認する合成映像のイメージ図である。
この合成映像では、素材映像Dの手術台を挟んで奥側に、拠点1の第2のカメラX2からなる、除去処理後の拠点映像が、仮想表示枠D1上に合成されている。
また、素材映像Dの手術台を挟んで手前側には、ユーザU2の周辺映像が合成されることになるが、ユーザU2は両手を上げており、第1のカメラX1の画角内に両手が映らない状態であるため、合成映像上にはユーザU2の手元は表示されていない。
<2.2> Composite video on base 2 side FIG. 9(b) is an image diagram of the composite video visually recognized by user U2 at base 2.
In this composite image, the removed site image, which is obtained from the second camera X2 of the site 1 on the far side of the material image D across the operating table, is combined on the virtual display frame D1.
In addition, the peripheral images of the user U2 will be synthesized on the front side of the material image D across the operating table, but the user U2 has both hands raised, and both hands are within the field of view of the first camera X1. is not displayed, so the hand of the user U2 is not displayed on the composite video.

<3>補足説明
上記説明では、素材映像である仮想空間上に手術台と患者を用意しているが、例えば、何れかの拠点に、実物の手術台と患者の模型を用意した態様とすることができる。
例えば、拠点1側に実物模型を用意した場合には、以下の方法等を採用することができる。
(方法1)拠点1側の第1のカメラX1で、実物の手術台と患者の模型を撮影し、デプス系除去処理で抽出対象とする距離を長めにして、第1のカメラX1に基づく除去処理後の拠点映像内に実物の手術台と患者の模型を含める方法。
(方法2)拠点1側の第2のカメラX2でもって実物の手術台と患者の模型を撮影した映像を、拠点2側に送信するだけでなく、拠点1側の合成映像の素材映像として利用する方法。
<3> Supplementary explanation In the above explanation, an operating table and a patient are prepared in a virtual space that is a raw image, but for example, an actual operating table and a model of a patient may be prepared at one of the bases. be able to.
For example, if a physical model is prepared on the base 1 side, the following method etc. can be adopted.
(Method 1) Photograph the actual operating table and patient model with the first camera X1 on the base 1 side, increase the distance to be extracted by depth-based removal processing, and perform removal based on the first camera X1. A method to include a real operating table and patient model in the processed base image.
(Method 2) The video of the actual operating table and patient model taken by the second camera how to.

<4>まとめ
以上説明した構成によれば、遠隔地にいるユーザ間で、1つの空間を共有しつつ、合成映像の中で自分の手元や周辺領域、および相手の姿を現実映像で認識することができることになる。したがって、本実施例で説明した医療教育のように、各人の行動を互いに確認しあう必要性の高い用途に好適である。
<4> Summary According to the configuration described above, users in remote locations can share a single space and recognize their own hands, surrounding areas, and the appearance of the other party in the synthesized video in the real video. You will be able to do that. Therefore, it is suitable for applications where it is highly necessary to mutually confirm the actions of each person, such as the medical education described in this embodiment.

<1>全体構成(図10)
図10は、前記した構成例3に係る多拠点空間共有システムを、水族館が提供するサービスとして活用した場合の構成イメージ図である。
拠点1には、ユーザU3の前方に設置したディスプレイY2と、当該ディスプレイY2の上部に取り付けて、ユーザU3を撮影する第3のカメラX3と、情報処理装置Zとを設けている。
拠点2は、水族館の館内の水槽Tを撮影する第4のカメラX4を設けている。
第3のカメラX3および第4のカメラX4は何れも、撮影映像に深度情報を紐付けることが可能なデプスカメラである。
本実施例では、第3のカメラX3および第4のカメラX4が、撮影部10として機能し、情報処理装置Zが、少なくとも加工部20および合成部30として機能し、ディスプレイY2が表示部40として機能する構成を呈している。
<1> Overall configuration (Figure 10)
FIG. 10 is an image diagram of the configuration when the multi-site space sharing system according to configuration example 3 described above is utilized as a service provided by an aquarium.
The base 1 is provided with a display Y2 installed in front of the user U3, a third camera X3 attached to the top of the display Y2 to photograph the user U3, and an information processing device Z.
The base 2 is equipped with a fourth camera X4 that photographs the water tank T inside the aquarium.
Both the third camera X3 and the fourth camera X4 are depth cameras that can link depth information to captured images.
In this embodiment, the third camera X3 and the fourth camera X4 function as the photographing section 10, the information processing device Z functions as at least the processing section 20 and the composition section 30, and the display Y2 functions as the display section 40. Presents a functional configuration.

拠点1側での合成映像の生成および表示の流れについて、以下に説明する。
(1)第3のカメラX3で撮影された拠点映像は、拠点1の情報処理装置Zに送られ、当該情報処理装置Z内で、任意部分の除去処理(本例では、デプス系除去処理およびクロマ系除去処理)が施されて、ユーザU3の周辺のみが抽出された、除去処理後の拠点映像を生成し、合成素材とする。
(2)次に、拠点1の情報処理装置Zでは、拠点2の第4のカメラX4で水槽Tを撮影した拠点映像を受信し、水槽T内の魚介類の映像に深度情報が紐付けられた形で抽出された、除去処理後の拠点映像を生成し、合成素材とする。
(3)拠点1の情報処理装置Zでは、前記(1)(2)の合成素材を適宜組み合わせて、合成映像を生成する。各映像は深度情報を有することから、一定の深度位置を基準として合成を行えば良い。
The flow of generating and displaying a composite video on the base 1 side will be described below.
(1) The base video captured by the third camera A post-removal base image in which only the surroundings of the user U3 are extracted is generated and used as a composite material.
(2) Next, the information processing device Z at base 1 receives the base video captured by the fourth camera The extracted base video after removal processing is generated and used as a composite material.
(3) The information processing device Z at base 1 generates a composite video by appropriately combining the composite materials of (1) and (2) above. Since each video has depth information, it is sufficient to perform the synthesis using a fixed depth position as a reference.

<2>合成映像例(図11)
本実施例に係る多拠点空間共有システムにおいて、拠点1のディスプレイY2に表示される合成映像のイメージ図を、図11に示す。
図11に示した合成映像には、前記(2)に係る、深度情報が紐付けられた形で水槽Tが撮影された映像と、深度情報が紐付けられた形で撮影されたユーザU3の映像とが合成されている。
前記(1)(2)の何れの拠点映像も深度情報を有するため、例えば水槽Tの手前側で魚が移動する場合には、魚は、ユーザU3の前を横切るように表示されることとなり、ユーザU3が前を横切る魚よりも前に手を伸ばした際には、魚がユーザU3の手に隠れるように表示されることとなる。
したがって、あたかもユーザU3が水槽T内にいて、ユーザU3の周辺を魚が移動しているような映像をディスプレイY2に映すことができ、ユーザU3が水層Tの内部に入り込んで魚と空間を共有したような体験をすることができる。
<2> Example of composite video (Figure 11)
FIG. 11 shows an image diagram of the composite video displayed on the display Y2 of the base 1 in the multi-site space sharing system according to this embodiment.
The composite image shown in FIG. 11 includes a video of the aquarium T photographed with depth information associated with it and a video of user U3 photographed with depth information associated with it, according to (2) above. The video is composited.
Since both of the base images in (1) and (2) above have depth information, for example, if a fish moves on the near side of the aquarium T, the fish will be displayed so as to cross in front of the user U3. , when the user U3 extends his hand in front of the fish passing in front of him, the fish is displayed so as to be hidden by the user U3's hand.
Therefore, an image can be displayed on the display Y2 as if the user U3 were in the aquarium T and the fish were moving around the user U3, and the user U3 could enter inside the water layer T and see the fish and the space. You can have a shared experience.

<3>補足説明
上記説明では、何れの拠点映像も深度情報が紐付けられた態様としているが、例えば、拠点2側の拠点映像にのみ深度情報が紐付けられた態様とし、拠点2の拠点映像中の所定の深度位置に、拠点1側の拠点映像を合成するように構成してもよい。
<3> Supplementary explanation In the above explanation, it is assumed that depth information is linked to all base images, but for example, depth information is linked only to the base image on the base 2 side, and It may be configured such that the base video of the base 1 is synthesized at a predetermined depth position in the video.

<4>まとめ
以上説明した構成によれば、水族館の開園が困難な状況下においても、遠隔地のユーザに対し、仮想的なふれ合いの機会を与えたり、現実では不可能な、展示水槽の内部にユーザが入り込むような体験を提供したりすることができる。
したがって、水族館に限らず、動物園、遊園地、球技場などの施設において、開園中に提供可能な体験とは異なる、新たな体験を顧客に提供することができる。
<4> Summary According to the configuration described above, even in situations where it is difficult to open an aquarium, users in remote areas can be given the opportunity to interact virtually, and the inside of an exhibition tank can be It is possible to provide an immersive experience for the user.
Therefore, it is possible to provide customers with a new experience that is different from the experience that can be provided while the park is open, not only in aquariums but also in facilities such as zoos, amusement parks, and baseball stadiums.

なお、本発明は、前記した加工部20および合成部30を少なくとも含んで構成した、合成映像生成システムとしての活用も可能である。
合成素材となる映像データは特段限定されず、リアルタイムに撮影されている映像データや、予め撮影・保存されている映像データを適宜用いることができる。
また、本実施例に係る合成映像生成システムには、さらに計測部50や保存部60を具備することもできる。
本実施例に係る合成映像生成システムによれば、動画作成作業において、予め撮影済みのデータを適宜組み合わせて合成映像を作成する場合にも適用が可能である。
Note that the present invention can also be utilized as a composite video generation system that includes at least the processing section 20 and the composition section 30 described above.
The video data serving as the composite material is not particularly limited, and video data shot in real time or video data shot and stored in advance can be used as appropriate.
Furthermore, the composite video generation system according to this embodiment can further include a measurement section 50 and a storage section 60.
The composite video generation system according to the present embodiment can also be applied to create a composite video by appropriately combining previously photographed data in video creation work.

10 撮影部
20 加工部
30 合成部
40 表示部
50 計測部
60 保存部
A1 拠点映像
A2 除去処理後の拠点映像
B 手元
C 背景材
U1、U2 ユーザ
X1 第1のカメラ
X2 第2のカメラ
X3 第3のカメラ
X4 第4のカメラ
Y1 ヘッドマウントディスプレイ
Y2 ディスプレイ
Z 情報処理装置
10 Photographing section 20 Processing section 30 Composition section 40 Display section 50 Measurement section 60 Storage section A1 Base image A2 Base image B after removal processing Hand C Background material U1, U2 User X1 First camera X2 Second camera X3 Third Camera X4 Fourth camera Y1 Head-mounted display Y2 Display Z Information processing device

本発明は、多拠点で撮影された複数の拠点映像を用いた合成映像をユーザに表示させるための多拠点空間共有システムに関する。

The present invention relates to a multi-site space sharing system for displaying to a user a composite image using videos taken at multiple sites.

Claims (8)

多拠点で撮影された複数の拠点映像を用いた合成映像をユーザに表示する、多拠点空間共有システムであって、
各拠点に1つ以上配置し、それぞれ拠点映像を取得する、撮影部と、
前記複数の拠点映像のうち1つ以上の拠点映像に対し、任意部分の除去処理を行う、加工部と、
前記除去処理後の拠点映像を含む、前記複数の拠点映像を、合成素材の一部または全部として、合成映像を生成する、合成部と、
前記合成映像を表示する、表示部と、を少なくとも具備することを特徴とする、
多拠点空間共有システム。
A multi-site space sharing system that displays a composite image to a user using videos taken at multiple sites, the system comprising:
A photography department, which is placed at least one at each base and acquires footage from each base;
a processing unit that performs a process of removing an arbitrary portion from one or more base videos among the plurality of base videos;
a compositing unit that generates a composite video by using the plurality of base videos, including the base video after the removal process, as part or all of a composite material;
characterized by comprising at least a display unit that displays the composite image;
Multi-site space sharing system.
前記除去処理対象の拠点映像のうち少なくとも1つに、深度情報が紐付けられており、
前記加工部は、
前記深度情報が紐付けられた前記除去処理対象の拠点映像に対し、
前記深度情報に基づく除去処理である、デプス系除去処理、および、
色空間情報の値に基づく除去処理である、クロマ系除去処理、
を行うことを特徴とする、
請求項1に記載の多拠点空間共有システム。
Depth information is linked to at least one of the base images to be removed,
The processing section is
With respect to the base image to be removed that is linked with the depth information,
Depth-based removal processing, which is removal processing based on the depth information, and
Chroma removal processing, which is removal processing based on the value of color space information;
characterized by performing
The multi-site space sharing system according to claim 1.
前記合成部による合成素材の一部として使用可能な素材映像を保存する、保存部をさらに具備することを特徴とする、
請求項1に記載の多拠点空間共有システム。
The method further comprises a storage unit that stores a material video that can be used as a part of the composite material by the composition unit,
The multi-site space sharing system according to claim 1.
前記素材映像に、VR空間を提供する仮想映像が含まれることを特徴とする、
請求項3に記載の多拠点空間共有システム。
The material video includes a virtual video that provides a VR space.
The multi-site space sharing system according to claim 3.
前記ユーザの位置情報を計測する、計測部をさらに具備し、
前記合成部は、前記位置情報に基づいて、前記合成映像を生成することを特徴とする、
請求項1に記載の多拠点空間共有システム。
further comprising a measurement unit that measures location information of the user,
The synthesis unit is characterized in that it generates the composite video based on the position information.
The multi-site space sharing system according to claim 1.
複数の拠点に、前記表示部および前記複数の撮影部を設けてなり、
前記表示部が、各拠点のユーザが装着する、HMD(ヘッドマウントディスプレイ)であり、
前記複数の撮影部が、
前記HMDに取り付けて当該HMDの前方を撮影し、かつ、深度情報を取得可能な、第1のカメラと、
前記HMDの装着者を撮影する、第2のカメラと、を少なくとも含み、
前記一方の拠点のHMDに表示される合成映像を構成する、前記合成素材として、
前記一方の拠点で撮影される、前記第1のカメラによる拠点映像に対し、任意部分の除去処理を行った拠点映像と、
その他の拠点で撮影される、前記第2のカメラによる拠点映像に対し、任意部分の除去処理を行った拠点映像と、が含まれることを特徴とする、
請求項1に記載の多拠点空間共有システム。
The display section and the plurality of photographing sections are provided at a plurality of bases,
The display unit is an HMD (head mounted display) worn by a user at each base,
The plurality of photographing departments,
a first camera that is attached to the HMD and can photograph the front of the HMD and acquire depth information;
at least a second camera that photographs the wearer of the HMD,
As the composite material that constitutes the composite image displayed on the HMD of the one base,
a base video obtained by removing an arbitrary portion from the base video taken by the first camera, which is shot at the one base;
A base video obtained by removing an arbitrary part from the base video taken by the second camera, which is shot at another base, is included.
The multi-site space sharing system according to claim 1.
複数の拠点に1つ以上の前記撮影部を設け、かつ、少なくとも何れか1つの拠点に前記表示部を設けてなり、
前記表示部が、ディスプレイ、モニターまたはプロジェクターであり、
前記表示部を設けた拠点における前記撮影部のうち何れか1つが、前記表示部の表示画面の前方を撮影する、第3のカメラであり、
前記表示部に表示される合成映像を構成する、前記合成素材として、
前記第3のカメラによる拠点映像に対し、任意部分の除去処理を行った拠点映像と、
その他の拠点に設けた前記撮影部における拠点映像または当該拠点映像に対し、任意部分の除去処理を行った拠点映像と、が含まれる
ことを特徴とする、
請求項1に記載の多拠点空間共有システム。
One or more of the photographing sections are provided at a plurality of bases, and the display section is provided at at least one of the bases,
The display unit is a display, a monitor, or a projector,
Any one of the photographing units at the base where the display unit is provided is a third camera that photographs the front of the display screen of the display unit,
As the composite material constituting the composite image displayed on the display unit,
A base video obtained by removing an arbitrary part from the base video captured by the third camera;
A base video obtained by the imaging unit installed at another base or a base video obtained by removing an arbitrary part from the base video,
The multi-site space sharing system according to claim 1.
合成映像生成システムであって、
異なるカメラで撮影された複数の映像データのうち、1つ以上の映像データに対し、任意部分の除去処理を行う、加工部と、
前記除去処理後の映像データを含む、前記複数の映像データを、合成素材の一部または全部として、1つの合成映像データを生成する、合成部と、を少なくとも有し、
前記除去処理対象の映像データのうち少なくとも1つに、深度情報が紐付けられており、
前記加工部は、
前記深度情報が紐付けられた前記除去処理対象の映像データに対し、
前記深度情報に基づく除去処理である、デプス系除去処理、および、
色空間情報の値に基づく除去処理である、クロマ系除去処理、
を行うことを特徴とする、合成映像生成システム。
A synthetic video generation system,
a processing unit that performs processing to remove an arbitrary portion of one or more video data among a plurality of video data shot with different cameras;
at least a compositing unit that generates one composite video data by using the plurality of video data including the video data after the removal process as part or all of a composite material,
Depth information is linked to at least one of the video data to be removed,
The processing section is
With respect to the video data to be removed to which the depth information is linked,
Depth-based removal processing, which is removal processing based on the depth information, and
Chroma removal processing, which is removal processing based on the value of color space information;
A synthetic video generation system that is characterized by performing the following.
JP2022066899A 2022-04-14 2022-04-14 Multisite space sharing system Active JP7157271B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022066899A JP7157271B1 (en) 2022-04-14 2022-04-14 Multisite space sharing system
JP2022128140A JP2023157818A (en) 2022-04-14 2022-08-10 Multi-site space sharing system and synthetic video generation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022066899A JP7157271B1 (en) 2022-04-14 2022-04-14 Multisite space sharing system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022128140A Division JP2023157818A (en) 2022-04-14 2022-08-10 Multi-site space sharing system and synthetic video generation system

Publications (2)

Publication Number Publication Date
JP7157271B1 JP7157271B1 (en) 2022-10-19
JP2023157165A true JP2023157165A (en) 2023-10-26

Family

ID=83688403

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022066899A Active JP7157271B1 (en) 2022-04-14 2022-04-14 Multisite space sharing system
JP2022128140A Pending JP2023157818A (en) 2022-04-14 2022-08-10 Multi-site space sharing system and synthetic video generation system

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022128140A Pending JP2023157818A (en) 2022-04-14 2022-08-10 Multi-site space sharing system and synthetic video generation system

Country Status (1)

Country Link
JP (2) JP7157271B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5971316B2 (en) * 2013-12-25 2016-08-17 キヤノンマーケティングジャパン株式会社 INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM
JP2016032277A (en) * 2014-07-30 2016-03-07 日本電信電話株式会社 Video communication system and video communication method
JP6717486B1 (en) * 2019-11-08 2020-07-01 株式会社Acw−Deep Extended virtual space providing system

Also Published As

Publication number Publication date
JP7157271B1 (en) 2022-10-19
JP2023157818A (en) 2023-10-26

Similar Documents

Publication Publication Date Title
US10684467B2 (en) Image processing for head mounted display devices
KR102574874B1 (en) Improved method and system for video conference using head mounted display (HMD)
US11983830B2 (en) Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
RU2668408C2 (en) Devices, systems and methods of virtualising mirror
US20170237941A1 (en) Realistic viewing and interaction with remote objects or persons during telepresence videoconferencing
CN108416832B (en) Media information display method, device and storage medium
Lincoln et al. Animatronic shader lamps avatars
US20230105064A1 (en) System and method for rendering virtual reality interactions
JP2000175171A (en) Video image generator for video conference and video image generating method for video conference
CN111602391B (en) Method and apparatus for customizing a synthetic reality experience from a physical environment
JP7525598B2 (en) COMMUNICATION TERMINAL DEVICE, COMMUNICATION METHOD, AND SOFTWARE PROGRAM
JP2023157165A (en) Multi-site space sharing system
JP7275480B2 (en) Multiplayer Simultaneous Operation System, Method, and Program in VR
JP2005284775A (en) Image processing apparatus
JP2020530218A (en) How to project immersive audiovisual content
JP6916896B2 (en) Information processing device and image generation method
JP7020115B2 (en) Selfie devices, methods, and programs in VR space
JP7479473B2 (en) Metaverse Space Provision Program
JP2023065073A (en) Image generation system and image generation method
JP7250809B2 (en) Virtual reality system and method
WO2022259480A1 (en) Video processing device, video processing method, and video processing program
CN116560511A (en) Picture display method, device, computer equipment and storage medium
JP2024150589A (en) Communication terminal equipment
JPH07104718A (en) Stereoscopic information display device for a great number of persons
JP2005136538A (en) Electronic full-length mirror

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220415

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221006

R150 Certificate of patent or registration of utility model

Ref document number: 7157271

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115