JP2023086246A - Communication system and communication method - Google Patents
Communication system and communication method Download PDFInfo
- Publication number
- JP2023086246A JP2023086246A JP2021200627A JP2021200627A JP2023086246A JP 2023086246 A JP2023086246 A JP 2023086246A JP 2021200627 A JP2021200627 A JP 2021200627A JP 2021200627 A JP2021200627 A JP 2021200627A JP 2023086246 A JP2023086246 A JP 2023086246A
- Authority
- JP
- Japan
- Prior art keywords
- facility
- screen
- sound
- image
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000003321 amplification Effects 0.000 claims abstract description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 6
- 238000007654 immersion Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000021158 dinner Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、通信システム及び通信方法、特に、第1設備と第2設備との間で通信が可能な通信システム及びこの通信システムを用いた通信方法に関する。 TECHNICAL FIELD The present invention relates to a communication system and a communication method, and more particularly to a communication system capable of communication between first equipment and second equipment and a communication method using this communication system.
昨今の情報通信技術の進展等に伴って、コンピュータ資源を用いたオンライン上の会議や会合等が実施される機会が増大している。特に、近年の感染症拡大の防止対策として実施されることがある不要不急の外出の取りやめの要請に応じる等の観点から、オンライン環境でコミュニケーションをとることができるオンラインツールの需要が急速に増大している。 2. Description of the Related Art With the recent development of information communication technology, etc., there are increasing opportunities for online conferences and meetings using computer resources. In particular, the demand for online tools that can communicate in an online environment is rapidly increasing from the perspective of responding to requests to refrain from going out unnecessarily and non-urgently, which is sometimes implemented as a measure to prevent the spread of infectious diseases in recent years. are doing.
特許文献1には、ネットワークを介して互いに接続された複数の会議用端末を備え、会議を識別するための識別コードに基づいて、複数の会議用端末を用いてオンライン環境で会議を実施することができるオンライン会議システムが開示されている。
ところで、この種のオンラインツールに関する技術で実現されるコミュニケーションについては、映像や音声によって効率的かつ適切な情報の伝達及び交換を行うことができるコミュニケーションが求められることは当然のことながら、近年は、オンライン環境であることを意識させないで実空間でコミュニケーションをとっているかのようなコミュニケーションも求められることがある。 By the way, regarding the communication realized by the technology related to this type of online tool, it is natural that the communication that enables the efficient and appropriate transmission and exchange of information by video and sound is required. There is also a demand for communication as if communicating in a real space without being conscious of being in an online environment.
一方、この種のオンラインツールに関する技術では、オンラインツールのユーザが使用する既存のコンピュータ資源が用いられてオンライン上でのコミュニケーションが実現されることから、ユーザが使用する既存のコンピュータ資源に依拠して情報の伝達及び交換を行うことになる。 On the other hand, in the technology related to this type of online tool, the existing computer resources used by the user of the online tool are used to achieve online communication. Information will be communicated and exchanged.
そうとすれば、ユーザが使用するコンピュータ資源によっては、オンライン環境であることを意識させないで実空間でコミュニケーションをとっているかのようなコミュニケーションを実現することができないことも想定される。 In that case, depending on the computer resources used by the user, it may not be possible to realize communication as if the user were communicating in a real space without being aware of the online environment.
本発明は、上記事情に鑑みてなされたものであり、オンライン環境であることを意識することがないような没入感が得られるコミュニケーションを実現することができる通信システム及び通信方法を提供することを課題とするものである。 SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and aims to provide a communication system and a communication method that can realize communication that gives a sense of immersion without being aware that the user is in an online environment. This is an issue.
上記目的を達成するための本発明に係る通信システムは、第1設備と第2設備との間で通信が可能な通信システムであって、第1設備に配備される立体的な投影面を有する第1スクリーンと、第2設備に配備される立体的な投影面を有する第2スクリーンと、第1設備内の映像を取得する第1映像取得手段及び第1映像取得手段で取得した第1設備内の映像を第2設備の第2スクリーンに投影する第2投影手段を有するとともに、第2設備内の映像を取得する第2映像取得手段及び第2映像取得手段で取得した第2設備内の映像を第1設備の第1スクリーンに投影する第1投影手段を有する映像処理部と、第1設備内の音声を収音する第1収音手段及び第1収音手段で収音した第1設備内の音声を第2設備内で拡声する第2拡声手段を有するとともに、第2設備内の音声を収音する第2収音手段及び第2収音手段で収音した第2設備内の音声を第1設備内で拡声する第1拡声手段を有する音声処理部とを備えるものである。 A communication system according to the present invention for achieving the above object is a communication system capable of communication between a first facility and a second facility, and has a three-dimensional projection plane arranged in the first facility. A first screen, a second screen having a three-dimensional projection surface arranged in a second facility, a first image acquisition means for acquiring an image in the first facility, and the first facility acquired by the first image acquisition means It has a second projection means for projecting the image inside the second equipment on the second screen of the second equipment, and the second image acquisition means for acquiring the image in the second equipment and the second image acquisition means acquired by the second image acquisition means A video processing unit having a first projection means for projecting an image onto a first screen of the first equipment, a first sound collection means for collecting sound in the first equipment, and a first sound collected by the first sound collection means It has a second loudspeaker means for amplifying the sound in the facility in the second facility, and the second sound pickup means for picking up the sound in the second facility and the sound in the second facility picked up by the second sound pickup means. and an audio processor having a first loudspeaker means for amplifying voice within the first equipment.
これによれば、第1スクリーンには、立体的な投影面を有する第1スクリーンに応じた実空間に近い第2設備内の自然な映像が投影され、第2スクリーンにも、立体的な投影面を有する第2スクリーンに応じた実空間に近い第1設備内の自然な映像が投影される。 According to this, on the first screen, a natural image in the second facility close to the real space corresponding to the first screen having a three-dimensional projection surface is projected, and the second screen is also projected three-dimensionally. A natural image in the first facility close to the real space corresponding to the second screen having a surface is projected.
さらに、第1設備の第1収音手段が収音した第1設備内の音声が第2設備の第2拡声手段で拡声され、かつ第2設備の第2収音手段が収音した第2設備内の音声が第1設備の第1収音手段で拡声される。 Furthermore, the sound in the first equipment picked up by the first sound collecting means of the first equipment is amplified by the second loudspeaking means of the second equipment, and the second sound picked up by the second sound collecting means of the second equipment The sound in the equipment is amplified by the first sound collecting means of the first equipment.
したがって、第1設備を使用するユーザ及び第2設備を使用するユーザが、互いにオンライン環境であることを意識することがなく、実空間でコミュニケーションを行っているかのような没入感を共有できることが期待される。 Therefore, it is expected that the user using the first equipment and the user using the second equipment will be able to share an immersive feeling as if they were communicating in a real space without being aware that they are in an online environment. be done.
この通信システムの第1スクリーン及び第2スクリーンは、複数の投影面によって立体的に形成され、複数の投影面は、正面視で略矩形の正面、正面の上縁から下方に折曲する上面、正面の下縁から上方に折曲する下面、正面の両側縁から前方に折曲して上面及び下面と連続する両側面を備えるものである。 The first screen and the second screen of this communication system are three-dimensionally formed by a plurality of projection planes, and the plurality of projection planes include a substantially rectangular front when viewed from the front, an upper face bent downward from the upper edge of the front, It has a lower surface that is bent upward from the lower edge of the front surface, and both side surfaces that are bent forward from both side edges of the front surface and are continuous with the upper and lower surfaces.
通信システムは、第1映像取得手段が第1スクリーンの正面の中央位置に配置され、第2映像取得手段が第2スクリーンの正面の中央位置に配置されるものである。 In the communication system, the first image acquisition means is arranged at the front center position of the first screen, and the second image acquisition means is arranged at the front center position of the second screen.
通信システムは、第1スクリーンの複数の投影面に投影される第2設備内の映像及び第2スクリーンの複数の投影面に投影される第1設備内の映像のそれぞれの画角が調整されるものである。 In the communication system, the angle of view of each of the video in the second facility projected onto the plurality of projection planes of the first screen and the video in the first facility projected onto the plurality of projection planes of the second screen is adjusted. It is.
この通信システムは、第1設備を使用する複数のユーザごとに第1収音手段及び第1拡声手段がそれぞれ配置され、第2設備を使用する複数のユーザごとに第2収音手段及び第2拡声手段がそれぞれ配置されるものである。 In this communication system, a first sound collection means and a first loudspeaker means are arranged for each of a plurality of users using the first equipment, and a second sound collection means and a second loudspeaker means are arranged for each of the plurality of users using the second equipment. A loudspeaker means is arranged respectively.
さらに、通信システムでは、第1収音手段と第1拡声手段との干渉により発生する鳴音及び第2収音手段と第2拡声手段との干渉により発生する鳴音のそれぞれのキャンセル処理が実行されるものである。 Further, in the communication system, cancellation processing is executed for each of the ringing sound generated by the interference between the first sound collecting means and the first loudspeaking means and the sound generated by the interference between the second sound collecting means and the second loudspeaking means. It is what is done.
上記目的を達成するための本発明に係る通信方法は、立体的な投影面を有する
第1スクリーンが配備される第1設備と立体的な投影面を有する第2スクリーンが配備される第2設備との間で通信が可能な通信システムを用いた通信方法であって、第1設備内の映像を取得して取得した第1設備内の映像を第2設備の第2スクリーンに投影するとともに、第2設備内の映像を取得して取得した第2設備内の映像を第1設備の第1スクリーンに投影する映像処理と、第1設備内の音声を収音して収音した第1設備内の音声を第2設備内で拡声するとともに、第2設備内の音声を収音して収音した第2設備内の音声を第1設備内で拡声する音声処理とを実行するものである。
A communication method according to the present invention for achieving the above object is a first facility equipped with a first screen having a stereoscopic projection surface and a second facility equipped with a second screen having a stereoscopic projection surface. A communication method using a communication system capable of communicating with, acquiring an image in the first facility and projecting the acquired image in the first facility on the second screen of the second facility, Image processing that acquires the image in the second equipment and projects the acquired image in the second equipment on the first screen of the first equipment, and the first equipment that collects and collects the sound in the first equipment Amplifies the sound in the second equipment in the second equipment, collects the sound in the second equipment, and amplifies the collected sound in the second equipment in the first equipment. .
この発明によれば、オンライン環境であることを意識することがなく、実空間でコミュニケーションを行っているかのような没入感を共有することができる。 According to this invention, it is possible to share an immersive feeling as if communicating in a real space without being conscious of being in an online environment.
次に、図1~図9に基づいて、本発明の実施の形態に係る通信システムについて説明する。 Next, a communication system according to an embodiment of the present invention will be described with reference to FIGS. 1 to 9. FIG.
図1は、本実施の形態に係る通信システムの構成の概略を説明する図であり、図2は、通信システムによって通信が可能となる第1設備及び第2設備の構成の概略を説明する図である。 FIG. 1 is a diagram for explaining the outline of the configuration of a communication system according to the present embodiment, and FIG. 2 is a diagram for explaining the outline of the configuration of a first facility and a second facility that enable communication by the communication system. is.
図1で示すように、通信システム10は、インターネット網等のネットワークNを介して接続される第1設備1と第2設備2との間での通信を実現するものである。
As shown in FIG. 1, a
本実施の形態では、第1設備1を使用する複数のユーザU1a、U1bと第2設備2を使用する複数のユーザU2a、U2bとが通信システム10を用いて通信を行う。
In this embodiment, a plurality of users U1a and U1b using the
この第1設備1及び第2設備2は、本実施の形態では、例えばオフィスビルや商業施設等の各種施設のフロアの一部が、図2で示すようなパイプ材100aで形成されるラック100によって区画されて構成され、第1設備1と第2設備2とが互いに異なる施設、あるいは同じ施設内であっても例えば異なるフロアである等のように、互いに離間した任意の場所に配置される。
In this embodiment, the
本実施の形態に係る通信システム10は、第1設備に配備される第1スクリーン21、第1映像取得手段である第1カメラ22、第1投影手段である第1プロジェクタ23、第1収音手段である第1マイク24、第1アンプ25、第1拡声手段である第1スピーカ26及び第1制御装置27を備える。
A
さらに、通信システム10は、第2設備に配備される第2スクリーン31、第2映像取得手段である第2カメラ32、第2投影手段である第2プロジェクタ33、第2収音手段である第2マイク34、第2アンプ35、第2拡声手段である第2スピーカ36及び第2制御装置37を備える。
Further, the
なお、本実施の形態では、第1設備1の第1スクリーン21と第2設備2の第2スクリーン31、第1設備1の第1カメラ22と第2設備2の第2カメラ32、第1設備1の第1プロジェクタ23と第2設備2の第2プロジェクタ33、第1設備1の第1マイク24と第2設備2の第2マイク34、第1設備1の第1アンプ25と第2設備2の第2アンプ35、第1設備1の第1スピーカ26と第2設備2の第2スピーカ36、及び第1設備1の第1制御装置27と第2設備2の第2制御装置37とは同一の構成であって、第1設備1と第2設備2とは同様の構成を有することから、主に第1設備1の構成を中心として説明する。
In this embodiment, the
図3及び図4は、第1スクリーン21の構成の概略を説明する図である。この第1スクリーン21は、本実施の形態では、図3の矢線Aで示す奥行き方向に凹む凹状となるように、複数の投影面によって立体的に形成される。
3 and 4 are diagrams for explaining the outline of the configuration of the
この第1スクリーン21は、本実施の形態では、奥行き方向Aからみた正面視で略矩形の正面21A、正面21Aの上縁21Aaから前縁21Ba側が下方に折曲する上面21B、正面21Aの下縁21Abから前縁21Ca側が上方に折曲する下面21C、正面21Aの両側縁21Ac、21Acから前縁21Da、21Da側が前方に折曲して上面21B及び下面21Cと連続する両側面21D、21Dの五面からなる投影面を備える。
In the present embodiment, the
図1及び図2で示す第1カメラ22は、本実施の形態では、第1設備1内の映像を第1映像として取得する装置であって、例えば、第1設備1の空間の背景や、第1設備1を使用するユーザU1a、U1bの顔の表情や動作を第1映像として取得する。
In this embodiment, the
この第1カメラ22は、第1スクリーン21に配置されるものであって、本実施の形態では、図4で示すように、第1スクリーン21の正面21Aの対角線dの交点、すなわち正面21Aの中央位置に配置されるものであるが、第1スクリーン21に配置されるのであれば、正面21Aの中央位置に限られるものではなく、第1スクリーン21の任意の部位に配置されるものであってよい。
This
図1及び図2で示す第1プロジェクタ23は、本実施の形態では、第2設備2の第2カメラ32が第2映像として取得した第2設備2内の映像を第1スクリーン21に投影する装置であって、例えば、第2設備2の空間の背景や、第2設備2を使用するユーザU2a、U2bの顔の表情や動作を投影する。
In this embodiment, the
第1マイク24は、本実施の形態では、第1設備1内の音声を第1音声として収音する装置であって、例えば、第1設備1内の環境音や、第1設備1を使用するユーザU1a、U1bの声を第1音声として取得する。
In this embodiment, the
第1アンプ25は、本実施の形態では、第2設備2の第2マイク34が第2音声として収音した音声を増幅する装置であって、第1スピーカ26は、第1アンプ25が増幅した第2音声を第1設備1内で拡声する装置である。
In this embodiment, the
この第1スピーカ26は、本実施の形態では、例えば、第2設備2内の環境音や、第2設備2を使用するユーザU2a、U2bの声を第2音声として拡声する。
In the present embodiment, the
図5は、第1設備1の第1スクリーン21が配備される部分を上方から見た場合における第1カメラ22、第1プロジェクタ23、第1マイク24及び第1スピーカ26の配置を模式的に示す図である。
FIG. 5 schematically shows the arrangement of the
図示のように、奥行き方向Aの後方で第1スクリーン21の正面21Aの中央位置に配置される第1カメラ22と対向する位置であって、図2で示すラック100の上部には、第1プロジェクタ23が配置される。
As shown in the figure, a
一方、第1スクリーン21における奥行き方向Aの後方で第1スクリーン21の下面21Cの上であって、下面21Cの前縁21Ca側には、第1マイク24が配置される。
On the other hand, the
さらに、第1スクリーン21における奥行き方向Aの前方で第1スクリーン21の正面21Aに近接する位置であって、第1スクリーン21の下面21Cの上には、第1スピーカ26が配置される。
Further, a
本実施の形態では、第1マイク24及び第1スピーカ26は、第1設備1を使用するユーザU1a、U1bごとにそれぞれ配置される。
In this embodiment, the
図1で示す第1制御装置27は、本実施の形態では、第1カメラ22、第1プロジェクタ23、第1マイク24、第1アンプ25及び第1スピーカ26を制御する装置であって、例えばコンピュータによって実装される。
In this embodiment, the
図6は、第1制御装置27の構成の概略を説明するブロック図である。図示のように、第1制御装置27は、プロセッサ27a、メモリ27b、ストレージ27c、送受信部27d及び入出力部27eを主要構成として備え、これらが互いにバス27fを介して電気的に接続される。
FIG. 6 is a block diagram for explaining the outline of the configuration of the
プロセッサ27aは、第1制御装置27の動作を制御し、各要素間におけるデータの送受信の制御や、アプリケーションプログラムの実行に必要な処理等を行う演算装置である。
The
このプロセッサ27aは、本実施の形態では例えばCPU(Central Processing Unit)であり、後述するストレージ27cに格納されてメモリ27bに展開されたアプリケーションプログラムを実行して各処理を行う。
The
メモリ27bは、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶装置として実装される。
The
このメモリ27bは、プロセッサ27aの作業領域として使用される一方、第1制御装置27の起動時に実行されるBIOS(Basic Input/Output System)、及び各種の設定情報等が格納される。
The
ストレージ27cは、アプリケーションプログラムや各種の処理に用いられるデータ等が格納されている。本実施の形態では、後述する通信プログラムが格納される。
The
送受信部27dは、第1制御装置27をネットワークNに接続する。この送受信部27dは、Bluetooth(登録商標)やBLE(Bluetooth Low Energy)といった近距離通信インターフェースを具備するものであってもよい。
The transmitter/
入出力部27eには、必要に応じて、キーボードやマウスといった情報入力機器やディスプレイ等の出力機器が接続される。本実施の形態では、第1カメラ22、第1プロジェクタ23、第1マイク24、第1アンプ25及び第1スピーカ26が接続される。
Information input devices such as a keyboard and a mouse and output devices such as a display are connected to the input/
バス27fは、接続したプロセッサ27a、メモリ27b、ストレージ27c、送受信部27d及び入出力部27eの間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。
The
図7は、第1制御装置27のストレージ27cに格納される通信プログラムの構成の概略を説明するブロック図である。図示のように、通信プログラム40は、本実施の形態では、第1制御装置27を映像制御部41及び音声制御部42として機能させるプログラムである。
FIG. 7 is a block diagram outlining the configuration of the communication program stored in the
映像制御部41は、本実施の形態では、第1カメラ22及び第1プロジェクタ23での映像処理に際して、第1制御S1及び第2制御S2を実行するものである。
In this embodiment, the
第1制御S1は、本実施の形態では、第1カメラ22が取得した第1映像を第2制御装置37に送信し、第2カメラ32が取得した第2映像を取得し、かつ取得した第2映像を第1プロジェクタ23が第1スクリーン21に投影するといった制御を実行する。
In the present embodiment, the first control S1 transmits the first image acquired by the
一方、第2制御S2は、本実施の形態では、第2設備2の第2プロジェクタ33が第1画像を第2スクリーン31に投影する際に発生する第1映像の歪みを補正して、画角の調整を実行する。
On the other hand, in the present embodiment, the second control S2 corrects the distortion of the first image that occurs when the
本実施の形態では、第2スクリーン31の上面31B、下面31C及び両側面31D、31Dに投影される第1映像に歪みが発生することから、これらの投影面に投影される第1映像の画角を調整する。
In the present embodiment, the first image projected on the upper surface 31B, the lower surface 31C, and both side surfaces 31D, 31D of the
画角の調整は、例えば、第1映像の一部を抽出して、抽出した部分を投影面に応じて拡大あるいは縮小する等の処理を施すことによって実行する。 The adjustment of the angle of view is performed, for example, by extracting a part of the first image and performing processing such as enlarging or reducing the extracted part according to the projection plane.
音声制御部42は、本実施の形態では、第1マイク24、第1アンプ25及び第1スピーカ26での音声処理に際して、第1制御S1及び第2制御S2を実行するものである。
In this embodiment, the
第1制御S3は、本実施の形態では、第1マイク24が収音した第1音声を第2制御装置37に送信し、第2マイク34が収音した第2音声を取得し、かつ取得した第2音声を第1スピーカ26で拡声するといった制御を実行する。
In the present embodiment, the first control S3 transmits the first sound picked up by the
一方、第2制御S4は、本実施の形態では、第1マイク24と第1スピーカ26とが干渉することによって発生する鳴音であるハウリングをキャンセルして、ハウリングの除去あるいはハウリングの発生を抑制する。
On the other hand, in the present embodiment, the second control S4 cancels the howling, which is a ringing sound generated by the interference between the
ハウリングのキャンセルは、例えば、第1マイク24が収音した第1スピーカ26から拡声された第2音声に含まれるハウリングを除去する、あるいは第1スピーカ26から拡声された第2音声が第1マイク24によって収音されないようにすることによって実行する。
Howling cancellation is, for example, removing howling included in the second sound amplified from the
これにより、第1マイク24による第1音声の収音と第1スピーカ26による第2音声の拡声とが錯綜して第1マイク24と第1スピーカ26とが干渉することが抑制されることから、第1設備1を使用するユーザU1a、U1bと第2設備2を使用するユーザU2a、U2bとの間の会話が円滑に行われる。
As a result, interference between the
さらに、本実施の形態では、第1マイク24及び第1スピーカ26が第1設備1を使用するユーザU1a、U1bごとにそれぞれ配置されることから、ユーザU1a、U1bの声がそれぞれ第1音声として収音され、かつ第2設備2を使用するユーザU2a、U2bの声がそれぞれ第2音声としてユーザU1a、U1bのそれぞれに拡声される。
Furthermore, in the present embodiment, since the
したがって、例えば図8で示すように、第1設備1のユーザU1aとこのユーザU1aが投影される第2スクリーン31を介してユーザU1aと対面する第2設備2のユーザU2aとの間の会話と、第1設備1のユーザU1bとこのユーザU1bが投影される第2スクリーン31を介してユーザU1bと対面する第2設備2のユーザU2bとの間の会話とが互いに相紛れることがない。
Therefore, for example, as shown in FIG. 8, a conversation between a user U1a of the
その結果、ユーザU1aとユーザU2aとの間の会話が、ユーザU1b及びユーザU2bにとって耳障りとなって、ユーザU1bとユーザU2bとの間の会話が阻害されたり、ユーザU1bとユーザU2bとの間の会話が、ユーザU1a及びユーザU2aにとって耳障りとなって、ユーザU1aとユーザU2aとの間の会話が阻害されたりすることが抑制される。 As a result, the conversation between the user U1a and the user U2a becomes offensive to the user U1b and the user U2b, and the conversation between the user U1b and the user U2b is disturbed. It is possible to prevent the conversation from disturbing the user U1a and the user U2a and hindering the conversation between the user U1a and the user U2a.
一方、第1設備1のユーザU1aとこのユーザU1aが投影される第2スクリーン31を介してユーザU1aとはす向かいとなる第2設備2のユーザU2bとの間の会話と、第1設備1のユーザU1bとこのユーザU1bが投影される第2スクリーン31を介してユーザU1bとはす向かいとなる第2設備2のユーザU2aとの間の会話とが互いに相紛れることがない。
On the other hand, the conversation between the user U1a of the
その結果、ユーザU1aとユーザU2bとの間の会話が、ユーザU1b及びユーザU2aにとって耳障りとなって、ユーザU1bとユーザU2aとの間の会話が阻害されたり、ユーザU1bとユーザU2aとの間の会話が、ユーザU1a及びユーザU2bにとって耳障りとなって、ユーザU1aとユーザU2bとの間の会話が阻害されたりすることが抑制される。 As a result, the conversation between the user U1a and the user U2b becomes offensive to the user U1b and the user U2a, and the conversation between the user U1b and the user U2a is disturbed. It is possible to prevent the conversation from disturbing the user U1a and the user U2b and hindering the conversation between the user U1a and the user U2b.
したがって、第1設備1と第2設備2との間の音声通信において、ユーザU1a、U1bとユーザU2a、U2bとが実空間で会話をしているかのようなコミュニケーション環境を生み出すことができる。
Therefore, in voice communication between the
これら第1カメラ22、第1プロジェクタ23及び第1制御装置27の通信プログラム40における映像制御部41によって、本実施の形態では映像処理部が構成され、第1マイク24、第1アンプ25、第1スピーカ26及び第1制御装置27の通信プログラム40における音声制御部42によって、本実施の形態では音声処理部が構成される。
The
次に、本実施の形態に係る通信システム10の処理の概略について説明する。
Next, an outline of processing of the
図9は、本実施の形態に係る通信システムの処理の概略を説明するフローチャートである。図示のように、まず、ステップS10において、第1カメラ22が第1設備1において第1映像を取得する。
FIG. 9 is a flowchart for explaining an outline of processing of the communication system according to this embodiment. As illustrated, first, in step S10, the
本実施の形態では、第1カメラ22は、第1スクリーン21の正面21Aの中央位置に配置されることから、第1スクリーン21の正面21Aを向いた目線のユーザU1a及びユーザU1bの映像を第1映像として取得する。
In the present embodiment, since the
続いて、ステップS11において、第1制御装置27が、取得した第1映像の画角を調整し、ステップS12において、第1制御装置27が第1映像を第2制御装置37に送信する。
Subsequently, in step S11, the
さらに、ステップS13において、第2プロジェクタ33が、第2設備2の第2スクリーン31に第1映像を投影する。
Furthermore, in step S<b>13 , the
本実施の形態では、第1スクリーン21の正面21Aを向いた目線のユーザU1a及びユーザU1bの映像を第1映像として投影することから、第1映像におけるユーザU1a及びユーザU1bの目線と、第2スクリーン31の正面31Aを見るユーザU2a及びユーザU2bの目線とが合う。
In the present embodiment, since the image of the user U1a and the user U1b whose line of sight is directed toward the
続いて、ステップS14において、第2カメラ32が第2設備2において第2映像を取得する。
Subsequently, in step S14, the
本実施の形態では、第2カメラ32は、第2スクリーン31の正面31Aの中央位置に配置されることから、第2スクリーン31の正面31Aを向いた目線のユーザU2a及びユーザU2bの映像を第2映像として取得する。
In the present embodiment, since the
続いて、ステップS15において、第2制御装置37が、取得した第2映像の画角を調整し、ステップS16において、第2制御装置37が第2映像を第1制御装置27に送信する。
Subsequently, in step S15, the
さらに、ステップS17において、第1プロジェクタ23が、第1設備1の第1スクリーン21に第2映像を投影する。
Furthermore, in step S<b>17 , the
本実施の形態では、第2スクリーン31の正面31Aを向いた目線のユーザU2a及びユーザU2bの映像を第2映像として投影することから、第2映像におけるユーザU2a及びユーザU2bの目線と、第1スクリーン21の正面21Aを見るユーザU1a及びユーザU1bの目線とが合う。
In the present embodiment, since the image of the user U2a and the user U2b whose line of sight is directed toward the front surface 31A of the
一方、ステップS20において、第1マイク24が第1設備1において第1音声を収音し、ステップS21において、第1制御装置27が第1音声を第2制御装置37に送信する。
On the other hand, the
さらに、ステップS22において、第2スピーカ36が、第2設備2において第1音声を拡声するとともに、ステップS23において、第2マイク34と第2スピーカ36とが干渉することによって発生するハウリングをキャンセルする。
Further, in step S22, the
続いて、ステップS24において、第2マイク34が第2設備2において第2音声を収音し、ステップS25において、第2制御装置37が第2音声を第1制御装置27に送信する。
Subsequently, in step S24, the
さらに、ステップS26において、第1スピーカ26が、第1設備1において第2音声を拡声するとともに、ステップS27において、第1マイク24と第1スピーカ26とが干渉することによって発生するハウリングをキャンセルする。
Further, in step S26, the
このように、第1スクリーン21には、複数の投影面によって立体的な凹状に形成される第1スクリーン21に応じた奥行きのある自然な第2映像が投影され、第2スクリーン31にも、複数の投影面によって立体的な凹状に形成される第2スクリーン31に応じた奥行きのある自然な第1映像が投影される。
In this way, the
さらに、第1設備1の第1マイク24が収音した第1音声が第2設備2の第2スピーカ36で拡声され、かつ第2設備2の第2マイク34が収音した第2音声が第1設備1の第1スピーカ26で拡声される。
Furthermore, the first sound picked up by the
したがって、第1設備1を使用するユーザU1a、U1b及び第2設備2を使用するユーザU2a、U2bが互いにオンライン環境であることを意識することがなく、実空間でコミュニケーションを行っているかのような没入感を共有できることが期待される。
Therefore, the users U1a and U1b using the
特に、本実施の形態では、第1スクリーン21及び第2スクリーン31が正面21A(31A)、上面21B(31B)、下面21C(31C)、両側面21D(31D)、21D(31D)の五面からなる投影面を備えることから、第1映像(第2映像)が投影されることによって、より立体的で実空間に近い環境が実現される。
In particular, in this embodiment, the
さらに、本実施の形態では、第1スクリーン21及び第2スクリーン31を介して、第1設備1のユーザU1a、U1bの目線と第2設備2のユーザU2a、U2bの目線とが合うことから、各ユーザ間でのコミュニケーションの質が向上することが想定される。
Furthermore, in the present embodiment, since the line of sight of the users U1a and U1b of the
このような通信システム10は、例えば、遠方の友人や家族等との会食、病院や介護施設等に入居する家族との面会、いわゆるテレワークの際の会議、面接や各種面談、あるいはスクーリングや各種のレッスン等といった種々の目的で利用することが可能である。
Such a
なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。 The present invention is not limited to the above-described embodiments, and various modifications are possible without departing from the scope of the invention.
上記実施の形態では、第1設備1及び第2設備2がパイプ材100aで形成されるラック100によって構成される場合を説明したが、例えばパーテーション等で間仕切りされた小室(ブース)として構成されてもよい。
In the above embodiment, the case where the
更には、第1設備1及び第2設備2は、各種施設のフロアの一部がラック100や小室(ブース)として区画されないで、例えば第1スクリーン21や第2スクリーン31等が各種施設のフロアの任意の領域に配備されることによって構成されてもよい。
Further, in the
上記実施の形態では、音声制御部42の第2制御S2でハウリングがキャンセルされる場合を説明したが、ハウリングのキャンセルは、例えばデジタルシグナルプロセッサ等のハードウェア構成が用いられて実行されるものであってもよい。
In the above embodiment, the case where the howling is canceled by the second control S2 of the
上記実施の形態では、第1映像には第1設備1の背景が含まれ、第2映像には第2設備2の背景が含まれる場合を説明したが、いわゆるバーチャル背景に差し替えられるように構成してもよい。
In the above embodiment, the first video includes the background of the
上記実施の形態では、第1設備1及び第2設備2にそれぞれ第1スクリーン21及び第2スクリーン31が配備される場合を説明したが、第1スクリーン21及び第2スクリーン31とは別途で、第1設備1及び第2設備2にそれぞれサブスクリーンが配備されてもよい。
In the above embodiment, the
このサブスクリーンに同じ映像(例えば車窓から見える風景の映像)が投影されることによって、ユーザの没入感が更に向上することが想定される。 By projecting the same image (for example, an image of a landscape seen from a car window) on this sub-screen, it is expected that the user's sense of immersion will be further improved.
ところで、通信システム10の第1カメラ22及び第2カメラ32には、モーションセンサ等の画像認識技術が搭載されて、この画像認識技術によってユーザの動作が認識されて通信システム10が操作されるように構成してもよい。
By the way, the
更に、通信システム10には、同時通訳機能や議事録の自動作成機能等が搭載されてもよい。
Furthermore, the
1 第1設備
2 第2設備
10 通信システム
21 第1スクリーン
22 第1カメラ(第1映像取得手段)
23 第1プロジェクタ(第1投影手段)
24 第1マイク(第1収音手段)
26 第1スピーカ(第1拡声手段)
27 第1制御装置
31 第2スクリーン
32 第2カメラ(第2映像取得手段)
33 第2プロジェクタ(第2投影手段)
34 第2マイク(第2収音手段)
36 第2スピーカ(第2拡声手段)
37 第2制御装置
40 通信プログラム
41 映像制御部
42 音声制御部
1
23 first projector (first projection means)
24 first microphone (first sound collecting means)
26 first speaker (first loudspeaker means)
27
33 second projector (second projection means)
34 Second microphone (second sound collecting means)
36 Second speaker (second loudspeaker means)
37
Claims (8)
前記第1設備に配備される立体的な投影面を有する第1スクリーンと、
前記第2設備に配備される立体的な投影面を有する第2スクリーンと、
前記第1設備内の映像を取得する第1映像取得手段及び該第1映像取得手段で取得した前記第1設備内の前記映像を前記第2設備の前記第2スクリーンに投影する第2投影手段を有するとともに、前記第2設備内の映像を取得する第2映像取得手段及び該第2映像取得手段で取得した前記第2設備内の前記映像を前記第1設備の前記第1スクリーンに投影する第1投影手段を有する映像処理部と、
前記第1設備内の音声を収音する第1収音手段及び該第1収音手段で収音した前記第1設備内の前記音声を前記第2設備内で拡声する第2拡声手段を有するとともに、前記第2設備内の音声を収音する第2収音手段及び該第2収音手段で収音した前記第2設備内の音声を前記第1設備内で拡声する第1拡声手段を有する音声処理部と、
を備える通信システム。 A communication system capable of communication between a first facility and a second facility,
a first screen having a three-dimensional projection surface provided in the first facility;
a second screen having a three-dimensional projection surface provided in the second facility;
A first image acquiring means for acquiring an image within the first facility and a second projecting means for projecting the image within the first facility acquired by the first image acquiring means onto the second screen of the second facility. and projecting the image in the second equipment acquired by the second image acquisition means for acquiring the image in the second equipment and the image in the second equipment acquired by the second image acquisition means on the first screen of the first equipment a video processing unit having a first projection means;
It has a first sound collection means for collecting sound in the first equipment and a second sound amplification means for amplifying the sound in the first equipment picked up by the first sound collection means in the second equipment. In addition, second sound collecting means for collecting sound in the second equipment and first sound amplification means for amplifying the sound in the second equipment collected by the second sound collecting means in the first equipment an audio processing unit having
communication system.
請求項1に記載の通信システム。 The first screen and the second screen are three-dimensionally formed by a plurality of projection planes,
A communication system according to claim 1.
正面視で略矩形の正面、該正面の上縁から下方に折曲する上面、前記正面の下縁から上方に折曲する下面、前記正面の両側縁から前方に折曲して前記上面及び前記下面と連続する両側面を備える、
請求項2に記載の通信システム。 the plurality of projection planes of the first screen and the second screen,
A front surface that is approximately rectangular in front view, an upper surface that is bent downward from the upper edge of the front surface, a lower surface that is bent upward from the lower edge of the front surface, both side edges of the front surface that are bent forward to form the upper surface and the upper surface. With both side surfaces that are continuous with the lower surface,
A communication system according to claim 2.
請求項3に記載の通信システム。 The first image acquisition means is arranged at the center position of the front of the first screen, and the second image acquisition means is arranged at the center position of the front of the second screen,
A communication system according to claim 3.
請求項2~4のいずれか1項に記載の通信システム。 The angle of view of each of the images in the second facility projected onto the plurality of projection planes of the first screen and the image in the first facility projected onto the plurality of projection planes of the second screen is adjusted. to be
The communication system according to any one of claims 2-4.
請求項1~5のいずれか1項に記載の通信システム。 The first sound collection means and the first loudspeaker means are arranged for each of the plurality of users using the first equipment, and the second sound collection means and the first sound amplification means are arranged for each of the plurality of users using the second equipment. 2 loudspeaker means are arranged respectively,
A communication system according to any one of claims 1-5.
請求項1~6のいずれか1項に記載の通信システム。 Cancellation processing is performed for each of a sound produced by interference between the first sound collecting means and the first loudspeaking means and a sound produced by interference between the second sound collecting means and the second loudspeaking means. ,
A communication system according to any one of claims 1-6.
前記第1設備内の映像を取得して取得した前記第1設備内の前記映像を前記第2設備の前記第2スクリーンに投影するとともに、前記第2設備内の映像を取得して取得した前記第2設備内の前記映像を前記第1設備の前記第1スクリーンに投影する映像処理と、
前記第1設備内の音声を収音して収音した前記第1設備内の前記音声を前記第2設備内で拡声するとともに、前記第2設備内の音声を収音して収音した前記第2設備内の前記音声を前記第1設備内で拡声する音声処理と、
を実行する通信方法。 A communication method using a communication system capable of communicating between a first facility provided with a first screen having a stereoscopic projection surface and a second facility provided with a second screen having a stereoscopic projection surface and
Acquiring the image in the first facility and projecting the acquired image in the first facility on the second screen of the second facility, and acquiring and acquiring the image in the second facility Image processing for projecting the image in the second facility onto the first screen of the first facility;
The sound in the first facility is picked up and the sound in the first facility is amplified in the second facility, and the sound in the second facility is picked up and collected. audio processing for amplifying the audio in the second facility in the first facility;
communication method to perform.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021200627A JP2023086246A (en) | 2021-12-10 | 2021-12-10 | Communication system and communication method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021200627A JP2023086246A (en) | 2021-12-10 | 2021-12-10 | Communication system and communication method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023086246A true JP2023086246A (en) | 2023-06-22 |
Family
ID=86850474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021200627A Pending JP2023086246A (en) | 2021-12-10 | 2021-12-10 | Communication system and communication method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023086246A (en) |
-
2021
- 2021-12-10 JP JP2021200627A patent/JP2023086246A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11531518B2 (en) | System and method for differentially locating and modifying audio sources | |
WO2017215295A1 (en) | Camera parameter adjusting method, robotic camera, and system | |
US10616681B2 (en) | Suppressing ambient sounds | |
US20040254982A1 (en) | Receiving system for video conferencing system | |
US8411126B2 (en) | Methods and systems for close proximity spatial audio rendering | |
CN114697812B (en) | Sound collection method, electronic equipment and system | |
WO2020063675A1 (en) | Smart loudspeaker box and method for using smart loudspeaker box | |
CN114363512B (en) | Video processing method and related electronic equipment | |
US20230410826A1 (en) | Audio modification using interconnected electronic devices | |
JP2019220848A (en) | Data processing apparatus, data processing method and program | |
JP2020010329A (en) | System guiding speaker array and microphone array by using coded beam, method, and, program | |
JP2023086246A (en) | Communication system and communication method | |
JP7095356B2 (en) | Communication terminal and conference system | |
CN114531425B (en) | Processing method and processing device | |
JP7052792B2 (en) | Communication devices, communication methods, programs, and telepresence systems | |
US11184184B2 (en) | Computer system, method for assisting in web conference speech, and program | |
JP4244416B2 (en) | Information processing apparatus and method, and recording medium | |
WO2021220665A1 (en) | Virtual space connection device | |
JP2009060220A (en) | Communication system and communication program | |
JP2006339869A (en) | Apparatus for integrating video signal and voice signal | |
KR20150087017A (en) | Audio control device based on eye-tracking and method for visual communications using the device | |
CN114124911A (en) | Live broadcast echo cancellation method, computer-readable storage medium and electronic device | |
CN115942108A (en) | Video processing method and electronic equipment | |
JP6930280B2 (en) | Media capture / processing system | |
WO2021028716A1 (en) | Selective sound modification for video communication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220401 |