JP2023086246A - Communication system and communication method - Google Patents

Communication system and communication method Download PDF

Info

Publication number
JP2023086246A
JP2023086246A JP2021200627A JP2021200627A JP2023086246A JP 2023086246 A JP2023086246 A JP 2023086246A JP 2021200627 A JP2021200627 A JP 2021200627A JP 2021200627 A JP2021200627 A JP 2021200627A JP 2023086246 A JP2023086246 A JP 2023086246A
Authority
JP
Japan
Prior art keywords
facility
screen
sound
image
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021200627A
Other languages
Japanese (ja)
Inventor
次郎 高野
Jiro Takano
雅博 西川
Masahiro Nishikawa
聡一 吉武
Soichi Yoshitake
彩季 金原
Saki Kimbara
美那 望月
Mina Mochizuki
直弥 宮本
Naoya Miyamoto
佑希 徳保
Yuki Tokuho
康夫 森永
Yasuo Morinaga
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Nomura Co Ltd
Original Assignee
NTT Docomo Inc
Nomura Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc, Nomura Co Ltd filed Critical NTT Docomo Inc
Priority to JP2021200627A priority Critical patent/JP2023086246A/en
Publication of JP2023086246A publication Critical patent/JP2023086246A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

To provide a system and a method capable of achieving communication that gives a sense of immersion without making a user conscious of an online environment.SOLUTION: A communication system 10 includes: a first screen 21 having a three-dimensional projection surface arranged in a first facility 1; a second screen 31 having a three-dimensional projection surface arranged in a second facility 2; a video processing unit that has first video acquisition means 22 for acquiring video in the first facility and second projection means 33 for projecting the acquired video on the second screen 31 in the second facility 2, and has second video acquisition means 32 for acquiring video in the second facility and first projection means 23 for projecting the acquired video on the first screen 21 in the first facility 1; and audio processing unit that has first sound collection means 24 for collecting audio in the first facility and second sound amplification means 26 for amplifying the collected audio in the second facility, and has second sound collection means 34 for collecting audio in the second facility and first sound amplification means 26 for amplifying the collected audio in the first facility.SELECTED DRAWING: Figure 1

Description

本発明は、通信システム及び通信方法、特に、第1設備と第2設備との間で通信が可能な通信システム及びこの通信システムを用いた通信方法に関する。 TECHNICAL FIELD The present invention relates to a communication system and a communication method, and more particularly to a communication system capable of communication between first equipment and second equipment and a communication method using this communication system.

昨今の情報通信技術の進展等に伴って、コンピュータ資源を用いたオンライン上の会議や会合等が実施される機会が増大している。特に、近年の感染症拡大の防止対策として実施されることがある不要不急の外出の取りやめの要請に応じる等の観点から、オンライン環境でコミュニケーションをとることができるオンラインツールの需要が急速に増大している。 2. Description of the Related Art With the recent development of information communication technology, etc., there are increasing opportunities for online conferences and meetings using computer resources. In particular, the demand for online tools that can communicate in an online environment is rapidly increasing from the perspective of responding to requests to refrain from going out unnecessarily and non-urgently, which is sometimes implemented as a measure to prevent the spread of infectious diseases in recent years. are doing.

特許文献1には、ネットワークを介して互いに接続された複数の会議用端末を備え、会議を識別するための識別コードに基づいて、複数の会議用端末を用いてオンライン環境で会議を実施することができるオンライン会議システムが開示されている。 Patent Literature 1 discloses a technique of providing a plurality of conference terminals connected to each other via a network, and holding a conference in an online environment using the plurality of conference terminals based on an identification code for identifying the conference. An online conference system capable of

特開2017-111608公報Japanese Patent Application Laid-Open No. 2017-111608

ところで、この種のオンラインツールに関する技術で実現されるコミュニケーションについては、映像や音声によって効率的かつ適切な情報の伝達及び交換を行うことができるコミュニケーションが求められることは当然のことながら、近年は、オンライン環境であることを意識させないで実空間でコミュニケーションをとっているかのようなコミュニケーションも求められることがある。 By the way, regarding the communication realized by the technology related to this type of online tool, it is natural that the communication that enables the efficient and appropriate transmission and exchange of information by video and sound is required. There is also a demand for communication as if communicating in a real space without being conscious of being in an online environment.

一方、この種のオンラインツールに関する技術では、オンラインツールのユーザが使用する既存のコンピュータ資源が用いられてオンライン上でのコミュニケーションが実現されることから、ユーザが使用する既存のコンピュータ資源に依拠して情報の伝達及び交換を行うことになる。 On the other hand, in the technology related to this type of online tool, the existing computer resources used by the user of the online tool are used to achieve online communication. Information will be communicated and exchanged.

そうとすれば、ユーザが使用するコンピュータ資源によっては、オンライン環境であることを意識させないで実空間でコミュニケーションをとっているかのようなコミュニケーションを実現することができないことも想定される。 In that case, depending on the computer resources used by the user, it may not be possible to realize communication as if the user were communicating in a real space without being aware of the online environment.

本発明は、上記事情に鑑みてなされたものであり、オンライン環境であることを意識することがないような没入感が得られるコミュニケーションを実現することができる通信システム及び通信方法を提供することを課題とするものである。 SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and aims to provide a communication system and a communication method that can realize communication that gives a sense of immersion without being aware that the user is in an online environment. This is an issue.

上記目的を達成するための本発明に係る通信システムは、第1設備と第2設備との間で通信が可能な通信システムであって、第1設備に配備される立体的な投影面を有する第1スクリーンと、第2設備に配備される立体的な投影面を有する第2スクリーンと、第1設備内の映像を取得する第1映像取得手段及び第1映像取得手段で取得した第1設備内の映像を第2設備の第2スクリーンに投影する第2投影手段を有するとともに、第2設備内の映像を取得する第2映像取得手段及び第2映像取得手段で取得した第2設備内の映像を第1設備の第1スクリーンに投影する第1投影手段を有する映像処理部と、第1設備内の音声を収音する第1収音手段及び第1収音手段で収音した第1設備内の音声を第2設備内で拡声する第2拡声手段を有するとともに、第2設備内の音声を収音する第2収音手段及び第2収音手段で収音した第2設備内の音声を第1設備内で拡声する第1拡声手段を有する音声処理部とを備えるものである。 A communication system according to the present invention for achieving the above object is a communication system capable of communication between a first facility and a second facility, and has a three-dimensional projection plane arranged in the first facility. A first screen, a second screen having a three-dimensional projection surface arranged in a second facility, a first image acquisition means for acquiring an image in the first facility, and the first facility acquired by the first image acquisition means It has a second projection means for projecting the image inside the second equipment on the second screen of the second equipment, and the second image acquisition means for acquiring the image in the second equipment and the second image acquisition means acquired by the second image acquisition means A video processing unit having a first projection means for projecting an image onto a first screen of the first equipment, a first sound collection means for collecting sound in the first equipment, and a first sound collected by the first sound collection means It has a second loudspeaker means for amplifying the sound in the facility in the second facility, and the second sound pickup means for picking up the sound in the second facility and the sound in the second facility picked up by the second sound pickup means. and an audio processor having a first loudspeaker means for amplifying voice within the first equipment.

これによれば、第1スクリーンには、立体的な投影面を有する第1スクリーンに応じた実空間に近い第2設備内の自然な映像が投影され、第2スクリーンにも、立体的な投影面を有する第2スクリーンに応じた実空間に近い第1設備内の自然な映像が投影される。 According to this, on the first screen, a natural image in the second facility close to the real space corresponding to the first screen having a three-dimensional projection surface is projected, and the second screen is also projected three-dimensionally. A natural image in the first facility close to the real space corresponding to the second screen having a surface is projected.

さらに、第1設備の第1収音手段が収音した第1設備内の音声が第2設備の第2拡声手段で拡声され、かつ第2設備の第2収音手段が収音した第2設備内の音声が第1設備の第1収音手段で拡声される。 Furthermore, the sound in the first equipment picked up by the first sound collecting means of the first equipment is amplified by the second loudspeaking means of the second equipment, and the second sound picked up by the second sound collecting means of the second equipment The sound in the equipment is amplified by the first sound collecting means of the first equipment.

したがって、第1設備を使用するユーザ及び第2設備を使用するユーザが、互いにオンライン環境であることを意識することがなく、実空間でコミュニケーションを行っているかのような没入感を共有できることが期待される。 Therefore, it is expected that the user using the first equipment and the user using the second equipment will be able to share an immersive feeling as if they were communicating in a real space without being aware that they are in an online environment. be done.

この通信システムの第1スクリーン及び第2スクリーンは、複数の投影面によって立体的に形成され、複数の投影面は、正面視で略矩形の正面、正面の上縁から下方に折曲する上面、正面の下縁から上方に折曲する下面、正面の両側縁から前方に折曲して上面及び下面と連続する両側面を備えるものである。 The first screen and the second screen of this communication system are three-dimensionally formed by a plurality of projection planes, and the plurality of projection planes include a substantially rectangular front when viewed from the front, an upper face bent downward from the upper edge of the front, It has a lower surface that is bent upward from the lower edge of the front surface, and both side surfaces that are bent forward from both side edges of the front surface and are continuous with the upper and lower surfaces.

通信システムは、第1映像取得手段が第1スクリーンの正面の中央位置に配置され、第2映像取得手段が第2スクリーンの正面の中央位置に配置されるものである。 In the communication system, the first image acquisition means is arranged at the front center position of the first screen, and the second image acquisition means is arranged at the front center position of the second screen.

通信システムは、第1スクリーンの複数の投影面に投影される第2設備内の映像及び第2スクリーンの複数の投影面に投影される第1設備内の映像のそれぞれの画角が調整されるものである。 In the communication system, the angle of view of each of the video in the second facility projected onto the plurality of projection planes of the first screen and the video in the first facility projected onto the plurality of projection planes of the second screen is adjusted. It is.

この通信システムは、第1設備を使用する複数のユーザごとに第1収音手段及び第1拡声手段がそれぞれ配置され、第2設備を使用する複数のユーザごとに第2収音手段及び第2拡声手段がそれぞれ配置されるものである。 In this communication system, a first sound collection means and a first loudspeaker means are arranged for each of a plurality of users using the first equipment, and a second sound collection means and a second loudspeaker means are arranged for each of the plurality of users using the second equipment. A loudspeaker means is arranged respectively.

さらに、通信システムでは、第1収音手段と第1拡声手段との干渉により発生する鳴音及び第2収音手段と第2拡声手段との干渉により発生する鳴音のそれぞれのキャンセル処理が実行されるものである。 Further, in the communication system, cancellation processing is executed for each of the ringing sound generated by the interference between the first sound collecting means and the first loudspeaking means and the sound generated by the interference between the second sound collecting means and the second loudspeaking means. It is what is done.

上記目的を達成するための本発明に係る通信方法は、立体的な投影面を有する
第1スクリーンが配備される第1設備と立体的な投影面を有する第2スクリーンが配備される第2設備との間で通信が可能な通信システムを用いた通信方法であって、第1設備内の映像を取得して取得した第1設備内の映像を第2設備の第2スクリーンに投影するとともに、第2設備内の映像を取得して取得した第2設備内の映像を第1設備の第1スクリーンに投影する映像処理と、第1設備内の音声を収音して収音した第1設備内の音声を第2設備内で拡声するとともに、第2設備内の音声を収音して収音した第2設備内の音声を第1設備内で拡声する音声処理とを実行するものである。
A communication method according to the present invention for achieving the above object is a first facility equipped with a first screen having a stereoscopic projection surface and a second facility equipped with a second screen having a stereoscopic projection surface. A communication method using a communication system capable of communicating with, acquiring an image in the first facility and projecting the acquired image in the first facility on the second screen of the second facility, Image processing that acquires the image in the second equipment and projects the acquired image in the second equipment on the first screen of the first equipment, and the first equipment that collects and collects the sound in the first equipment Amplifies the sound in the second equipment in the second equipment, collects the sound in the second equipment, and amplifies the collected sound in the second equipment in the first equipment. .

この発明によれば、オンライン環境であることを意識することがなく、実空間でコミュニケーションを行っているかのような没入感を共有することができる。 According to this invention, it is possible to share an immersive feeling as if communicating in a real space without being conscious of being in an online environment.

本発明の実施の形態に係る通信システムの構成の概略を説明するブロック図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a block diagram explaining the outline of a structure of the communication system which concerns on embodiment of this invention. 同じく、本実施の形態に係る通信システムの第1設備及び第2設備の構成の概略を説明する図である。Similarly, it is a figure explaining the outline of a structure of the 1st equipment of the communication system which concerns on this Embodiment, and a 2nd equipment. 同じく、本実施の形態に係る通信システムの第1設備に配備される第1スクリーンの構成の概略を説明する図である。Similarly, it is a figure explaining the outline of a structure of the 1st screen deployed in the 1st equipment of the communication system which concerns on this Embodiment. 同じく、本実施の形態に係る通信システムの第1設に配備される第1スクリーンの構成の概略を説明する図である。Similarly, FIG. 4 is a diagram for explaining the outline of the configuration of the first screen arranged at the first facility of the communication system according to the present embodiment. 同じく、本実施の形態に係る通信システムの構成の概略を説明する模式図である。Similarly, it is a schematic diagram for explaining the outline of the configuration of the communication system according to the present embodiment. 同じく、本実施の形態に係る通信システムの第1制御装置の構成の概略を説明するブロック図である。Similarly, it is a block diagram for explaining the outline of the configuration of the first control device of the communication system according to the present embodiment. 同じく、本実施の形態に係る通信システムの通信プログラムの構成の概略を説明するブロック図である。Similarly, it is a block diagram for explaining the outline of the configuration of the communication program of the communication system according to the present embodiment. 同じく、本実施の形態に係る通信システムの処理の概略を説明するブロック図である。Similarly, it is a block diagram explaining the outline of the processing of the communication system according to the present embodiment. 同じく、本実施の形態に係る通信システムの処理の概略を説明するフローチャートである。Similarly, it is a flowchart explaining the outline of the processing of the communication system according to the present embodiment.

次に、図1~図9に基づいて、本発明の実施の形態に係る通信システムについて説明する。 Next, a communication system according to an embodiment of the present invention will be described with reference to FIGS. 1 to 9. FIG.

図1は、本実施の形態に係る通信システムの構成の概略を説明する図であり、図2は、通信システムによって通信が可能となる第1設備及び第2設備の構成の概略を説明する図である。 FIG. 1 is a diagram for explaining the outline of the configuration of a communication system according to the present embodiment, and FIG. 2 is a diagram for explaining the outline of the configuration of a first facility and a second facility that enable communication by the communication system. is.

図1で示すように、通信システム10は、インターネット網等のネットワークNを介して接続される第1設備1と第2設備2との間での通信を実現するものである。 As shown in FIG. 1, a communication system 10 realizes communication between a first facility 1 and a second facility 2 that are connected via a network N such as the Internet.

本実施の形態では、第1設備1を使用する複数のユーザU1a、U1bと第2設備2を使用する複数のユーザU2a、U2bとが通信システム10を用いて通信を行う。 In this embodiment, a plurality of users U1a and U1b using the first facility 1 and a plurality of users U2a and U2b using the second facility 2 communicate using the communication system 10. FIG.

この第1設備1及び第2設備2は、本実施の形態では、例えばオフィスビルや商業施設等の各種施設のフロアの一部が、図2で示すようなパイプ材100aで形成されるラック100によって区画されて構成され、第1設備1と第2設備2とが互いに異なる施設、あるいは同じ施設内であっても例えば異なるフロアである等のように、互いに離間した任意の場所に配置される。 In this embodiment, the first facility 1 and the second facility 2 are racks 100 in which a part of the floor of various facilities such as office buildings and commercial facilities is formed of a pipe material 100a as shown in FIG. The first facility 1 and the second facility 2 are arranged in different facilities, or even in the same facility, are arranged in arbitrary places separated from each other, such as on different floors. .

本実施の形態に係る通信システム10は、第1設備に配備される第1スクリーン21、第1映像取得手段である第1カメラ22、第1投影手段である第1プロジェクタ23、第1収音手段である第1マイク24、第1アンプ25、第1拡声手段である第1スピーカ26及び第1制御装置27を備える。 A communication system 10 according to the present embodiment includes a first screen 21 arranged in a first facility, a first camera 22 as a first video acquisition means, a first projector 23 as a first projection means, a first sound collection A first microphone 24, a first amplifier 25, a first loudspeaker 26 and a first control device 27 are provided.

さらに、通信システム10は、第2設備に配備される第2スクリーン31、第2映像取得手段である第2カメラ32、第2投影手段である第2プロジェクタ33、第2収音手段である第2マイク34、第2アンプ35、第2拡声手段である第2スピーカ36及び第2制御装置37を備える。 Further, the communication system 10 includes a second screen 31 arranged in the second facility, a second camera 32 as a second video acquisition means, a second projector 33 as a second projection means, a second It has two microphones 34 , a second amplifier 35 , a second loudspeaker 36 as a second loudspeaker means, and a second control device 37 .

なお、本実施の形態では、第1設備1の第1スクリーン21と第2設備2の第2スクリーン31、第1設備1の第1カメラ22と第2設備2の第2カメラ32、第1設備1の第1プロジェクタ23と第2設備2の第2プロジェクタ33、第1設備1の第1マイク24と第2設備2の第2マイク34、第1設備1の第1アンプ25と第2設備2の第2アンプ35、第1設備1の第1スピーカ26と第2設備2の第2スピーカ36、及び第1設備1の第1制御装置27と第2設備2の第2制御装置37とは同一の構成であって、第1設備1と第2設備2とは同様の構成を有することから、主に第1設備1の構成を中心として説明する。 In this embodiment, the first screen 21 of the first equipment 1, the second screen 31 of the second equipment 2, the first camera 22 of the first equipment 1, the second camera 32 of the second equipment 2, the first The first projector 23 of the equipment 1 and the second projector 33 of the second equipment 2, the first microphone 24 of the first equipment 1 and the second microphone 34 of the second equipment 2, the first amplifier 25 of the first equipment 1 and the second The second amplifier 35 of the facility 2, the first speaker 26 of the first facility 1 and the second speaker 36 of the second facility 2, the first controller 27 of the first facility 1 and the second controller 37 of the second facility 2 , and the first facility 1 and the second facility 2 have the same configuration. Therefore, the configuration of the first facility 1 will be mainly described.

図3及び図4は、第1スクリーン21の構成の概略を説明する図である。この第1スクリーン21は、本実施の形態では、図3の矢線Aで示す奥行き方向に凹む凹状となるように、複数の投影面によって立体的に形成される。 3 and 4 are diagrams for explaining the outline of the configuration of the first screen 21. FIG. In this embodiment, the first screen 21 is three-dimensionally formed by a plurality of projection planes so as to have a recessed shape that is recessed in the depth direction indicated by the arrow A in FIG.

この第1スクリーン21は、本実施の形態では、奥行き方向Aからみた正面視で略矩形の正面21A、正面21Aの上縁21Aaから前縁21Ba側が下方に折曲する上面21B、正面21Aの下縁21Abから前縁21Ca側が上方に折曲する下面21C、正面21Aの両側縁21Ac、21Acから前縁21Da、21Da側が前方に折曲して上面21B及び下面21Cと連続する両側面21D、21Dの五面からなる投影面を備える。 In the present embodiment, the first screen 21 has a substantially rectangular front surface 21A in a front view viewed from the depth direction A, an upper surface 21B in which the front edge 21Ba side is bent downward from an upper edge 21Aa of the front surface 21A, and a lower surface of the front edge 21A. A lower surface 21C where the front edge 21Ca side is bent upward from the edge 21Ab, both side edges 21Ac of the front surface 21A, and the front edges 21Da and 21Da side are bent forward and are continuous with the upper surface 21B and the lower surface 21C. It has five projection planes.

図1及び図2で示す第1カメラ22は、本実施の形態では、第1設備1内の映像を第1映像として取得する装置であって、例えば、第1設備1の空間の背景や、第1設備1を使用するユーザU1a、U1bの顔の表情や動作を第1映像として取得する。 In this embodiment, the first camera 22 shown in FIGS. 1 and 2 is a device that acquires an image in the first facility 1 as the first image, and for example, the background of the space of the first facility 1, The facial expressions and actions of the users U1a and U1b who use the first equipment 1 are acquired as the first video.

この第1カメラ22は、第1スクリーン21に配置されるものであって、本実施の形態では、図4で示すように、第1スクリーン21の正面21Aの対角線dの交点、すなわち正面21Aの中央位置に配置されるものであるが、第1スクリーン21に配置されるのであれば、正面21Aの中央位置に限られるものではなく、第1スクリーン21の任意の部位に配置されるものであってよい。 This first camera 22 is arranged on the first screen 21. In this embodiment, as shown in FIG. Although it is arranged at the central position, if it is arranged on the first screen 21, it is not limited to the central position of the front face 21A, and may be arranged at any part of the first screen 21. you can

図1及び図2で示す第1プロジェクタ23は、本実施の形態では、第2設備2の第2カメラ32が第2映像として取得した第2設備2内の映像を第1スクリーン21に投影する装置であって、例えば、第2設備2の空間の背景や、第2設備2を使用するユーザU2a、U2bの顔の表情や動作を投影する。 In this embodiment, the first projector 23 shown in FIGS. 1 and 2 projects the image inside the second facility 2 acquired as the second image by the second camera 32 of the second facility 2 onto the first screen 21. A device that projects, for example, the background of the space of the second facility 2 and the facial expressions and actions of the users U2a and U2b who use the second facility 2 .

第1マイク24は、本実施の形態では、第1設備1内の音声を第1音声として収音する装置であって、例えば、第1設備1内の環境音や、第1設備1を使用するユーザU1a、U1bの声を第1音声として取得する。 In this embodiment, the first microphone 24 is a device that picks up the sound in the first facility 1 as the first sound. The voices of the users U1a and U1b are acquired as first voices.

第1アンプ25は、本実施の形態では、第2設備2の第2マイク34が第2音声として収音した音声を増幅する装置であって、第1スピーカ26は、第1アンプ25が増幅した第2音声を第1設備1内で拡声する装置である。 In this embodiment, the first amplifier 25 is a device that amplifies the sound picked up by the second microphone 34 of the second equipment 2 as the second sound. It is a device that amplifies the second sound that has been generated within the first facility 1 .

この第1スピーカ26は、本実施の形態では、例えば、第2設備2内の環境音や、第2設備2を使用するユーザU2a、U2bの声を第2音声として拡声する。 In the present embodiment, the first speaker 26 amplifies, for example, the environmental sounds within the second facility 2 and the voices of the users U2a and U2b who use the second facility 2 as second sounds.

図5は、第1設備1の第1スクリーン21が配備される部分を上方から見た場合における第1カメラ22、第1プロジェクタ23、第1マイク24及び第1スピーカ26の配置を模式的に示す図である。 FIG. 5 schematically shows the arrangement of the first camera 22, the first projector 23, the first microphone 24, and the first speaker 26 when the portion of the first facility 1 where the first screen 21 is arranged is viewed from above. FIG. 4 is a diagram showing;

図示のように、奥行き方向Aの後方で第1スクリーン21の正面21Aの中央位置に配置される第1カメラ22と対向する位置であって、図2で示すラック100の上部には、第1プロジェクタ23が配置される。 As shown in the figure, a first camera 22 is located behind the depth direction A and facing the center of the front face 21A of the first screen 21, and above the rack 100 shown in FIG. A projector 23 is arranged.

一方、第1スクリーン21における奥行き方向Aの後方で第1スクリーン21の下面21Cの上であって、下面21Cの前縁21Ca側には、第1マイク24が配置される。 On the other hand, the first microphone 24 is arranged behind the first screen 21 in the depth direction A above the lower surface 21C of the first screen 21 and on the front edge 21Ca side of the lower surface 21C.

さらに、第1スクリーン21における奥行き方向Aの前方で第1スクリーン21の正面21Aに近接する位置であって、第1スクリーン21の下面21Cの上には、第1スピーカ26が配置される。 Further, a first speaker 26 is arranged on the lower surface 21C of the first screen 21 at a position close to the front surface 21A of the first screen 21 in front of the first screen 21 in the depth direction A.

本実施の形態では、第1マイク24及び第1スピーカ26は、第1設備1を使用するユーザU1a、U1bごとにそれぞれ配置される。 In this embodiment, the first microphone 24 and the first speaker 26 are arranged for each of the users U1a and U1b who use the first facility 1, respectively.

図1で示す第1制御装置27は、本実施の形態では、第1カメラ22、第1プロジェクタ23、第1マイク24、第1アンプ25及び第1スピーカ26を制御する装置であって、例えばコンピュータによって実装される。 In this embodiment, the first control device 27 shown in FIG. 1 is a device that controls the first camera 22, the first projector 23, the first microphone 24, the first amplifier 25, and the first speaker 26. For example, implemented by a computer;

図6は、第1制御装置27の構成の概略を説明するブロック図である。図示のように、第1制御装置27は、プロセッサ27a、メモリ27b、ストレージ27c、送受信部27d及び入出力部27eを主要構成として備え、これらが互いにバス27fを介して電気的に接続される。 FIG. 6 is a block diagram for explaining the outline of the configuration of the first control device 27. As shown in FIG. As shown, the first controller 27 has a processor 27a, a memory 27b, a storage 27c, a transmitter/receiver 27d, and an input/output unit 27e as main components, which are electrically connected to each other via a bus 27f.

プロセッサ27aは、第1制御装置27の動作を制御し、各要素間におけるデータの送受信の制御や、アプリケーションプログラムの実行に必要な処理等を行う演算装置である。 The processor 27a is an arithmetic device that controls the operation of the first control device 27, controls transmission and reception of data between elements, and performs processes necessary for executing application programs.

このプロセッサ27aは、本実施の形態では例えばCPU(Central Processing Unit)であり、後述するストレージ27cに格納されてメモリ27bに展開されたアプリケーションプログラムを実行して各処理を行う。 The processor 27a is, for example, a CPU (Central Processing Unit) in this embodiment, and executes an application program stored in a storage 27c described later and developed in a memory 27b to perform each process.

メモリ27bは、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶装置として実装される。 The memory 27b is implemented as a main memory configured with a volatile memory such as a DRAM (Dynamic Random Access Memory).

このメモリ27bは、プロセッサ27aの作業領域として使用される一方、第1制御装置27の起動時に実行されるBIOS(Basic Input/Output System)、及び各種の設定情報等が格納される。 The memory 27b is used as a work area for the processor 27a, and stores a BIOS (Basic Input/Output System) executed when the first control device 27 is activated, various setting information, and the like.

ストレージ27cは、アプリケーションプログラムや各種の処理に用いられるデータ等が格納されている。本実施の形態では、後述する通信プログラムが格納される。 The storage 27c stores application programs, data used for various processes, and the like. In this embodiment, a communication program, which will be described later, is stored.

送受信部27dは、第1制御装置27をネットワークNに接続する。この送受信部27dは、Bluetooth(登録商標)やBLE(Bluetooth Low Energy)といった近距離通信インターフェースを具備するものであってもよい。 The transmitter/receiver 27d connects the first control device 27 to the network N. FIG. The transmitting/receiving unit 27d may include a short-range communication interface such as Bluetooth (registered trademark) or BLE (Bluetooth Low Energy).

入出力部27eには、必要に応じて、キーボードやマウスといった情報入力機器やディスプレイ等の出力機器が接続される。本実施の形態では、第1カメラ22、第1プロジェクタ23、第1マイク24、第1アンプ25及び第1スピーカ26が接続される。 Information input devices such as a keyboard and a mouse and output devices such as a display are connected to the input/output unit 27e as required. In this embodiment, a first camera 22, a first projector 23, a first microphone 24, a first amplifier 25 and a first speaker 26 are connected.

バス27fは、接続したプロセッサ27a、メモリ27b、ストレージ27c、送受信部27d及び入出力部27eの間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。 The bus 27f transmits, for example, address signals, data signals, and various control signals among the connected processor 27a, memory 27b, storage 27c, transmission/reception unit 27d, and input/output unit 27e.

図7は、第1制御装置27のストレージ27cに格納される通信プログラムの構成の概略を説明するブロック図である。図示のように、通信プログラム40は、本実施の形態では、第1制御装置27を映像制御部41及び音声制御部42として機能させるプログラムである。 FIG. 7 is a block diagram outlining the configuration of the communication program stored in the storage 27c of the first control device 27. As shown in FIG. As illustrated, the communication program 40 is a program that causes the first control device 27 to function as a video control unit 41 and an audio control unit 42 in this embodiment.

映像制御部41は、本実施の形態では、第1カメラ22及び第1プロジェクタ23での映像処理に際して、第1制御S1及び第2制御S2を実行するものである。 In this embodiment, the video control unit 41 executes the first control S1 and the second control S2 when the first camera 22 and the first projector 23 perform video processing.

第1制御S1は、本実施の形態では、第1カメラ22が取得した第1映像を第2制御装置37に送信し、第2カメラ32が取得した第2映像を取得し、かつ取得した第2映像を第1プロジェクタ23が第1スクリーン21に投影するといった制御を実行する。 In the present embodiment, the first control S1 transmits the first image acquired by the first camera 22 to the second control device 37, acquires the second image acquired by the second camera 32, and 2 images are projected onto the first screen 21 by the first projector 23 .

一方、第2制御S2は、本実施の形態では、第2設備2の第2プロジェクタ33が第1画像を第2スクリーン31に投影する際に発生する第1映像の歪みを補正して、画角の調整を実行する。 On the other hand, in the present embodiment, the second control S2 corrects the distortion of the first image that occurs when the second projector 33 of the second equipment 2 projects the first image onto the second screen 31, and Perform angle adjustment.

本実施の形態では、第2スクリーン31の上面31B、下面31C及び両側面31D、31Dに投影される第1映像に歪みが発生することから、これらの投影面に投影される第1映像の画角を調整する。 In the present embodiment, the first image projected on the upper surface 31B, the lower surface 31C, and both side surfaces 31D, 31D of the second screen 31 is distorted. adjust the angle.

画角の調整は、例えば、第1映像の一部を抽出して、抽出した部分を投影面に応じて拡大あるいは縮小する等の処理を施すことによって実行する。 The adjustment of the angle of view is performed, for example, by extracting a part of the first image and performing processing such as enlarging or reducing the extracted part according to the projection plane.

音声制御部42は、本実施の形態では、第1マイク24、第1アンプ25及び第1スピーカ26での音声処理に際して、第1制御S1及び第2制御S2を実行するものである。 In this embodiment, the audio control unit 42 executes the first control S1 and the second control S2 when the first microphone 24, the first amplifier 25 and the first speaker 26 perform audio processing.

第1制御S3は、本実施の形態では、第1マイク24が収音した第1音声を第2制御装置37に送信し、第2マイク34が収音した第2音声を取得し、かつ取得した第2音声を第1スピーカ26で拡声するといった制御を実行する。 In the present embodiment, the first control S3 transmits the first sound picked up by the first microphone 24 to the second control device 37, acquires the second sound picked up by the second microphone 34, and acquires the second sound. A control is executed such that the second sound that has been generated is amplified by the first speaker 26 .

一方、第2制御S4は、本実施の形態では、第1マイク24と第1スピーカ26とが干渉することによって発生する鳴音であるハウリングをキャンセルして、ハウリングの除去あるいはハウリングの発生を抑制する。 On the other hand, in the present embodiment, the second control S4 cancels the howling, which is a ringing sound generated by the interference between the first microphone 24 and the first speaker 26, to eliminate the howling or suppress the occurrence of the howling. do.

ハウリングのキャンセルは、例えば、第1マイク24が収音した第1スピーカ26から拡声された第2音声に含まれるハウリングを除去する、あるいは第1スピーカ26から拡声された第2音声が第1マイク24によって収音されないようにすることによって実行する。 Howling cancellation is, for example, removing howling included in the second sound amplified from the first speaker 26 picked up by the first microphone 24, or removing the second sound amplified from the first speaker 26 by the first microphone. 24 by preventing it from being picked up.

これにより、第1マイク24による第1音声の収音と第1スピーカ26による第2音声の拡声とが錯綜して第1マイク24と第1スピーカ26とが干渉することが抑制されることから、第1設備1を使用するユーザU1a、U1bと第2設備2を使用するユーザU2a、U2bとの間の会話が円滑に行われる。 As a result, interference between the first microphone 24 and the first speaker 26 caused by the pickup of the first sound by the first microphone 24 and the amplification of the second sound by the first speaker 26 is suppressed. , users U1a and U1b who use the first facility 1 and users U2a and U2b who use the second facility 2 can have a smooth conversation.

さらに、本実施の形態では、第1マイク24及び第1スピーカ26が第1設備1を使用するユーザU1a、U1bごとにそれぞれ配置されることから、ユーザU1a、U1bの声がそれぞれ第1音声として収音され、かつ第2設備2を使用するユーザU2a、U2bの声がそれぞれ第2音声としてユーザU1a、U1bのそれぞれに拡声される。 Furthermore, in the present embodiment, since the first microphone 24 and the first speaker 26 are arranged for each of the users U1a and U1b who use the first facility 1, the voices of the users U1a and U1b are used as the first voices. The voices of the users U2a and U2b who are picked up and who use the second equipment 2 are amplified as second voices to the users U1a and U1b, respectively.

したがって、例えば図8で示すように、第1設備1のユーザU1aとこのユーザU1aが投影される第2スクリーン31を介してユーザU1aと対面する第2設備2のユーザU2aとの間の会話と、第1設備1のユーザU1bとこのユーザU1bが投影される第2スクリーン31を介してユーザU1bと対面する第2設備2のユーザU2bとの間の会話とが互いに相紛れることがない。 Therefore, for example, as shown in FIG. 8, a conversation between a user U1a of the first facility 1 and a user U2a of the second facility 2 who faces the user U1a through the second screen 31 on which the user U1a is projected. , the conversation between the user U1b of the first facility 1 and the user U2b of the second facility 2, who faces the user U1b through the second screen 31 on which the user U1b is projected, does not conflict with each other.

その結果、ユーザU1aとユーザU2aとの間の会話が、ユーザU1b及びユーザU2bにとって耳障りとなって、ユーザU1bとユーザU2bとの間の会話が阻害されたり、ユーザU1bとユーザU2bとの間の会話が、ユーザU1a及びユーザU2aにとって耳障りとなって、ユーザU1aとユーザU2aとの間の会話が阻害されたりすることが抑制される。 As a result, the conversation between the user U1a and the user U2a becomes offensive to the user U1b and the user U2b, and the conversation between the user U1b and the user U2b is disturbed. It is possible to prevent the conversation from disturbing the user U1a and the user U2a and hindering the conversation between the user U1a and the user U2a.

一方、第1設備1のユーザU1aとこのユーザU1aが投影される第2スクリーン31を介してユーザU1aとはす向かいとなる第2設備2のユーザU2bとの間の会話と、第1設備1のユーザU1bとこのユーザU1bが投影される第2スクリーン31を介してユーザU1bとはす向かいとなる第2設備2のユーザU2aとの間の会話とが互いに相紛れることがない。 On the other hand, the conversation between the user U1a of the first facility 1 and the user U2b of the second facility 2 facing the user U1a via the second screen 31 on which the user U1a is projected, and the first facility 1 The conversation between the user U1b of the second facility 2 and the user U2a of the second facility 2 opposite to the user U1b through the second screen 31 on which the user U1b is projected does not conflict with each other.

その結果、ユーザU1aとユーザU2bとの間の会話が、ユーザU1b及びユーザU2aにとって耳障りとなって、ユーザU1bとユーザU2aとの間の会話が阻害されたり、ユーザU1bとユーザU2aとの間の会話が、ユーザU1a及びユーザU2bにとって耳障りとなって、ユーザU1aとユーザU2bとの間の会話が阻害されたりすることが抑制される。 As a result, the conversation between the user U1a and the user U2b becomes offensive to the user U1b and the user U2a, and the conversation between the user U1b and the user U2a is disturbed. It is possible to prevent the conversation from disturbing the user U1a and the user U2b and hindering the conversation between the user U1a and the user U2b.

したがって、第1設備1と第2設備2との間の音声通信において、ユーザU1a、U1bとユーザU2a、U2bとが実空間で会話をしているかのようなコミュニケーション環境を生み出すことができる。 Therefore, in voice communication between the first facility 1 and the second facility 2, it is possible to create a communication environment as if the users U1a, U1b and the users U2a, U2b were having a conversation in real space.

これら第1カメラ22、第1プロジェクタ23及び第1制御装置27の通信プログラム40における映像制御部41によって、本実施の形態では映像処理部が構成され、第1マイク24、第1アンプ25、第1スピーカ26及び第1制御装置27の通信プログラム40における音声制御部42によって、本実施の形態では音声処理部が構成される。 The first camera 22, the first projector 23, and the video control unit 41 in the communication program 40 of the first control device 27 constitute a video processing unit in this embodiment. The first speaker 26 and the audio control section 42 in the communication program 40 of the first control device 27 constitute an audio processing section in the present embodiment.

次に、本実施の形態に係る通信システム10の処理の概略について説明する。 Next, an outline of processing of the communication system 10 according to the present embodiment will be described.

図9は、本実施の形態に係る通信システムの処理の概略を説明するフローチャートである。図示のように、まず、ステップS10において、第1カメラ22が第1設備1において第1映像を取得する。 FIG. 9 is a flowchart for explaining an outline of processing of the communication system according to this embodiment. As illustrated, first, in step S10, the first camera 22 acquires a first image in the first facility 1. As shown in FIG.

本実施の形態では、第1カメラ22は、第1スクリーン21の正面21Aの中央位置に配置されることから、第1スクリーン21の正面21Aを向いた目線のユーザU1a及びユーザU1bの映像を第1映像として取得する。 In the present embodiment, since the first camera 22 is arranged at the center position of the front surface 21A of the first screen 21, the images of the user U1a and the user U1b whose eyes are facing the front surface 21A of the first screen 21 are captured in the first direction. Acquire as one video.

続いて、ステップS11において、第1制御装置27が、取得した第1映像の画角を調整し、ステップS12において、第1制御装置27が第1映像を第2制御装置37に送信する。 Subsequently, in step S11, the first control device 27 adjusts the angle of view of the obtained first image, and in step S12, the first control device 27 transmits the first image to the second control device 37.

さらに、ステップS13において、第2プロジェクタ33が、第2設備2の第2スクリーン31に第1映像を投影する。 Furthermore, in step S<b>13 , the second projector 33 projects the first image onto the second screen 31 of the second equipment 2 .

本実施の形態では、第1スクリーン21の正面21Aを向いた目線のユーザU1a及びユーザU1bの映像を第1映像として投影することから、第1映像におけるユーザU1a及びユーザU1bの目線と、第2スクリーン31の正面31Aを見るユーザU2a及びユーザU2bの目線とが合う。 In the present embodiment, since the image of the user U1a and the user U1b whose line of sight is directed toward the front surface 21A of the first screen 21 is projected as the first image, the line of sight of the user U1a and the user U1b in the first image and the second image are projected. The lines of sight of the user U2a and the user U2b looking at the front surface 31A of the screen 31 match.

続いて、ステップS14において、第2カメラ32が第2設備2において第2映像を取得する。 Subsequently, in step S14, the second camera 32 acquires a second image at the second facility 2. FIG.

本実施の形態では、第2カメラ32は、第2スクリーン31の正面31Aの中央位置に配置されることから、第2スクリーン31の正面31Aを向いた目線のユーザU2a及びユーザU2bの映像を第2映像として取得する。 In the present embodiment, since the second camera 32 is arranged at the center position of the front surface 31A of the second screen 31, the images of the user U2a and the user U2b whose eyes are facing the front surface 31A of the second screen 31 are captured in the second direction. 2 Acquired as video.

続いて、ステップS15において、第2制御装置37が、取得した第2映像の画角を調整し、ステップS16において、第2制御装置37が第2映像を第1制御装置27に送信する。 Subsequently, in step S15, the second control device 37 adjusts the angle of view of the acquired second image, and in step S16, the second control device 37 transmits the second image to the first control device 27. FIG.

さらに、ステップS17において、第1プロジェクタ23が、第1設備1の第1スクリーン21に第2映像を投影する。 Furthermore, in step S<b>17 , the first projector 23 projects the second image onto the first screen 21 of the first equipment 1 .

本実施の形態では、第2スクリーン31の正面31Aを向いた目線のユーザU2a及びユーザU2bの映像を第2映像として投影することから、第2映像におけるユーザU2a及びユーザU2bの目線と、第1スクリーン21の正面21Aを見るユーザU1a及びユーザU1bの目線とが合う。 In the present embodiment, since the image of the user U2a and the user U2b whose line of sight is directed toward the front surface 31A of the second screen 31 is projected as the second image, the line of sight of the user U2a and the user U2b in the second image and the first line of sight are projected. The eyes of the user U1a and the user U1b looking at the front 21A of the screen 21 match.

一方、ステップS20において、第1マイク24が第1設備1において第1音声を収音し、ステップS21において、第1制御装置27が第1音声を第2制御装置37に送信する。 On the other hand, the first microphone 24 picks up the first sound in the first equipment 1 in step S20, and the first control device 27 transmits the first sound to the second control device 37 in step S21.

さらに、ステップS22において、第2スピーカ36が、第2設備2において第1音声を拡声するとともに、ステップS23において、第2マイク34と第2スピーカ36とが干渉することによって発生するハウリングをキャンセルする。 Further, in step S22, the second speaker 36 amplifies the first sound in the second equipment 2, and in step S23 cancels the howling caused by the interference between the second microphone 34 and the second speaker 36. .

続いて、ステップS24において、第2マイク34が第2設備2において第2音声を収音し、ステップS25において、第2制御装置37が第2音声を第1制御装置27に送信する。 Subsequently, in step S24, the second microphone 34 picks up the second sound in the second equipment 2, and the second control device 37 transmits the second sound to the first control device 27 in step S25.

さらに、ステップS26において、第1スピーカ26が、第1設備1において第2音声を拡声するとともに、ステップS27において、第1マイク24と第1スピーカ26とが干渉することによって発生するハウリングをキャンセルする。 Further, in step S26, the first speaker 26 amplifies the second sound in the first equipment 1, and in step S27, howling generated by interference between the first microphone 24 and the first speaker 26 is canceled. .

このように、第1スクリーン21には、複数の投影面によって立体的な凹状に形成される第1スクリーン21に応じた奥行きのある自然な第2映像が投影され、第2スクリーン31にも、複数の投影面によって立体的な凹状に形成される第2スクリーン31に応じた奥行きのある自然な第1映像が投影される。 In this way, the first screen 21 is projected with a natural second image with a depth corresponding to the first screen 21 formed in a three-dimensional concave shape by a plurality of projection surfaces. A deep and natural first image corresponding to the second screen 31 formed in a three-dimensional concave shape by a plurality of projection planes is projected.

さらに、第1設備1の第1マイク24が収音した第1音声が第2設備2の第2スピーカ36で拡声され、かつ第2設備2の第2マイク34が収音した第2音声が第1設備1の第1スピーカ26で拡声される。 Furthermore, the first sound picked up by the first microphone 24 of the first equipment 1 is amplified by the second speaker 36 of the second equipment 2, and the second sound picked up by the second microphone 34 of the second equipment 2 is amplified. The sound is amplified by the first speaker 26 of the first equipment 1 .

したがって、第1設備1を使用するユーザU1a、U1b及び第2設備2を使用するユーザU2a、U2bが互いにオンライン環境であることを意識することがなく、実空間でコミュニケーションを行っているかのような没入感を共有できることが期待される。 Therefore, the users U1a and U1b using the first equipment 1 and the users U2a and U2b using the second equipment 2 are unaware that they are in an online environment, as if they were communicating in real space. It is expected that you can share the feeling of immersion.

特に、本実施の形態では、第1スクリーン21及び第2スクリーン31が正面21A(31A)、上面21B(31B)、下面21C(31C)、両側面21D(31D)、21D(31D)の五面からなる投影面を備えることから、第1映像(第2映像)が投影されることによって、より立体的で実空間に近い環境が実現される。 In particular, in this embodiment, the first screen 21 and the second screen 31 have five surfaces: a front surface 21A (31A), an upper surface 21B (31B), a lower surface 21C (31C), both side surfaces 21D (31D), and 21D (31D). Since the projection plane is provided, a more three-dimensional environment that is closer to the real space is realized by projecting the first image (second image).

さらに、本実施の形態では、第1スクリーン21及び第2スクリーン31を介して、第1設備1のユーザU1a、U1bの目線と第2設備2のユーザU2a、U2bの目線とが合うことから、各ユーザ間でのコミュニケーションの質が向上することが想定される。 Furthermore, in the present embodiment, since the line of sight of the users U1a and U1b of the first facility 1 and the line of sight of the users U2a and U2b of the second facility 2 match through the first screen 21 and the second screen 31, It is assumed that the quality of communication between users will improve.

このような通信システム10は、例えば、遠方の友人や家族等との会食、病院や介護施設等に入居する家族との面会、いわゆるテレワークの際の会議、面接や各種面談、あるいはスクーリングや各種のレッスン等といった種々の目的で利用することが可能である。 Such a communication system 10 can be used, for example, for dinners with distant friends and family members, meetings with family members living in hospitals, nursing homes, etc., so-called telework meetings, interviews, various interviews, schooling, etc. It can be used for various purposes such as lessons.

なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。 The present invention is not limited to the above-described embodiments, and various modifications are possible without departing from the scope of the invention.

上記実施の形態では、第1設備1及び第2設備2がパイプ材100aで形成されるラック100によって構成される場合を説明したが、例えばパーテーション等で間仕切りされた小室(ブース)として構成されてもよい。 In the above embodiment, the case where the first equipment 1 and the second equipment 2 are configured by the racks 100 formed of the pipe material 100a has been described. good too.

更には、第1設備1及び第2設備2は、各種施設のフロアの一部がラック100や小室(ブース)として区画されないで、例えば第1スクリーン21や第2スクリーン31等が各種施設のフロアの任意の領域に配備されることによって構成されてもよい。 Further, in the first facility 1 and the second facility 2, a part of the floor of various facilities is not partitioned as a rack 100 or a small room (booth), for example, the first screen 21, the second screen 31, etc. are the floors of various facilities. may be configured by being deployed in any area of

上記実施の形態では、音声制御部42の第2制御S2でハウリングがキャンセルされる場合を説明したが、ハウリングのキャンセルは、例えばデジタルシグナルプロセッサ等のハードウェア構成が用いられて実行されるものであってもよい。 In the above embodiment, the case where the howling is canceled by the second control S2 of the voice control unit 42 has been described, but howling is canceled using a hardware configuration such as a digital signal processor. There may be.

上記実施の形態では、第1映像には第1設備1の背景が含まれ、第2映像には第2設備2の背景が含まれる場合を説明したが、いわゆるバーチャル背景に差し替えられるように構成してもよい。 In the above embodiment, the first video includes the background of the first facility 1, and the second video includes the background of the second facility 2. However, it is configured to be replaced with a so-called virtual background. You may

上記実施の形態では、第1設備1及び第2設備2にそれぞれ第1スクリーン21及び第2スクリーン31が配備される場合を説明したが、第1スクリーン21及び第2スクリーン31とは別途で、第1設備1及び第2設備2にそれぞれサブスクリーンが配備されてもよい。 In the above embodiment, the first screen 21 and the second screen 31 are provided in the first equipment 1 and the second equipment 2, respectively. A sub-screen may be provided in each of the first facility 1 and the second facility 2 .

このサブスクリーンに同じ映像(例えば車窓から見える風景の映像)が投影されることによって、ユーザの没入感が更に向上することが想定される。 By projecting the same image (for example, an image of a landscape seen from a car window) on this sub-screen, it is expected that the user's sense of immersion will be further improved.

ところで、通信システム10の第1カメラ22及び第2カメラ32には、モーションセンサ等の画像認識技術が搭載されて、この画像認識技術によってユーザの動作が認識されて通信システム10が操作されるように構成してもよい。 By the way, the first camera 22 and the second camera 32 of the communication system 10 are equipped with an image recognition technology such as a motion sensor. can be configured to

更に、通信システム10には、同時通訳機能や議事録の自動作成機能等が搭載されてもよい。 Furthermore, the communication system 10 may be equipped with a simultaneous interpretation function, an automatic minutes creation function, and the like.

1 第1設備
2 第2設備
10 通信システム
21 第1スクリーン
22 第1カメラ(第1映像取得手段)
23 第1プロジェクタ(第1投影手段)
24 第1マイク(第1収音手段)
26 第1スピーカ(第1拡声手段)
27 第1制御装置
31 第2スクリーン
32 第2カメラ(第2映像取得手段)
33 第2プロジェクタ(第2投影手段)
34 第2マイク(第2収音手段)
36 第2スピーカ(第2拡声手段)
37 第2制御装置
40 通信プログラム
41 映像制御部
42 音声制御部
1 first equipment 2 second equipment 10 communication system 21 first screen 22 first camera (first video acquisition means)
23 first projector (first projection means)
24 first microphone (first sound collecting means)
26 first speaker (first loudspeaker means)
27 1st control device 31 2nd screen 32 2nd camera (second image acquisition means)
33 second projector (second projection means)
34 Second microphone (second sound collecting means)
36 Second speaker (second loudspeaker means)
37 Second control device 40 Communication program 41 Video control unit 42 Audio control unit

Claims (8)

第1設備と第2設備との間で通信が可能な通信システムであって、
前記第1設備に配備される立体的な投影面を有する第1スクリーンと、
前記第2設備に配備される立体的な投影面を有する第2スクリーンと、
前記第1設備内の映像を取得する第1映像取得手段及び該第1映像取得手段で取得した前記第1設備内の前記映像を前記第2設備の前記第2スクリーンに投影する第2投影手段を有するとともに、前記第2設備内の映像を取得する第2映像取得手段及び該第2映像取得手段で取得した前記第2設備内の前記映像を前記第1設備の前記第1スクリーンに投影する第1投影手段を有する映像処理部と、
前記第1設備内の音声を収音する第1収音手段及び該第1収音手段で収音した前記第1設備内の前記音声を前記第2設備内で拡声する第2拡声手段を有するとともに、前記第2設備内の音声を収音する第2収音手段及び該第2収音手段で収音した前記第2設備内の音声を前記第1設備内で拡声する第1拡声手段を有する音声処理部と、
を備える通信システム。
A communication system capable of communication between a first facility and a second facility,
a first screen having a three-dimensional projection surface provided in the first facility;
a second screen having a three-dimensional projection surface provided in the second facility;
A first image acquiring means for acquiring an image within the first facility and a second projecting means for projecting the image within the first facility acquired by the first image acquiring means onto the second screen of the second facility. and projecting the image in the second equipment acquired by the second image acquisition means for acquiring the image in the second equipment and the image in the second equipment acquired by the second image acquisition means on the first screen of the first equipment a video processing unit having a first projection means;
It has a first sound collection means for collecting sound in the first equipment and a second sound amplification means for amplifying the sound in the first equipment picked up by the first sound collection means in the second equipment. In addition, second sound collecting means for collecting sound in the second equipment and first sound amplification means for amplifying the sound in the second equipment collected by the second sound collecting means in the first equipment an audio processing unit having
communication system.
前記第1スクリーン及び前記第2スクリーンは、複数の投影面によって立体的に形成される、
請求項1に記載の通信システム。
The first screen and the second screen are three-dimensionally formed by a plurality of projection planes,
A communication system according to claim 1.
前記第1スクリーン及び前記第2スクリーンの複数の前記投影面は、
正面視で略矩形の正面、該正面の上縁から下方に折曲する上面、前記正面の下縁から上方に折曲する下面、前記正面の両側縁から前方に折曲して前記上面及び前記下面と連続する両側面を備える、
請求項2に記載の通信システム。
the plurality of projection planes of the first screen and the second screen,
A front surface that is approximately rectangular in front view, an upper surface that is bent downward from the upper edge of the front surface, a lower surface that is bent upward from the lower edge of the front surface, both side edges of the front surface that are bent forward to form the upper surface and the upper surface. With both side surfaces that are continuous with the lower surface,
A communication system according to claim 2.
前記第1映像取得手段が前記第1スクリーンの前記正面の中央位置に配置され、前記第2映像取得手段が前記第2スクリーンの前記正面の中央位置に配置される、
請求項3に記載の通信システム。
The first image acquisition means is arranged at the center position of the front of the first screen, and the second image acquisition means is arranged at the center position of the front of the second screen,
A communication system according to claim 3.
前記第1スクリーンの複数の前記投影面に投影される前記第2設備内の映像及び前記第2スクリーンの複数の前記投影面に投影される前記第1設備内の映像のそれぞれの画角が調整される、
請求項2~4のいずれか1項に記載の通信システム。
The angle of view of each of the images in the second facility projected onto the plurality of projection planes of the first screen and the image in the first facility projected onto the plurality of projection planes of the second screen is adjusted. to be
The communication system according to any one of claims 2-4.
前記第1設備を使用する複数のユーザごとに前記第1収音手段及び前記第1拡声手段がそれぞれ配置され、前記第2設備を使用する複数のユーザごとに前記第2収音手段及び前記第2拡声手段がそれぞれ配置される、
請求項1~5のいずれか1項に記載の通信システム。
The first sound collection means and the first loudspeaker means are arranged for each of the plurality of users using the first equipment, and the second sound collection means and the first sound amplification means are arranged for each of the plurality of users using the second equipment. 2 loudspeaker means are arranged respectively,
A communication system according to any one of claims 1-5.
前記第1収音手段と前記第1拡声手段との干渉により発生する鳴音及び前記第2収音手段と前記第2拡声手段との干渉により発生する鳴音のそれぞれのキャンセル処理が実行される、
請求項1~6のいずれか1項に記載の通信システム。
Cancellation processing is performed for each of a sound produced by interference between the first sound collecting means and the first loudspeaking means and a sound produced by interference between the second sound collecting means and the second loudspeaking means. ,
A communication system according to any one of claims 1-6.
立体的な投影面を有する第1スクリーンが配備される第1設備と立体的な投影面を有する第2スクリーンが配備される第2設備との間で通信が可能な通信システムを用いた通信方法であって、
前記第1設備内の映像を取得して取得した前記第1設備内の前記映像を前記第2設備の前記第2スクリーンに投影するとともに、前記第2設備内の映像を取得して取得した前記第2設備内の前記映像を前記第1設備の前記第1スクリーンに投影する映像処理と、
前記第1設備内の音声を収音して収音した前記第1設備内の前記音声を前記第2設備内で拡声するとともに、前記第2設備内の音声を収音して収音した前記第2設備内の前記音声を前記第1設備内で拡声する音声処理と、
を実行する通信方法。
A communication method using a communication system capable of communicating between a first facility provided with a first screen having a stereoscopic projection surface and a second facility provided with a second screen having a stereoscopic projection surface and
Acquiring the image in the first facility and projecting the acquired image in the first facility on the second screen of the second facility, and acquiring and acquiring the image in the second facility Image processing for projecting the image in the second facility onto the first screen of the first facility;
The sound in the first facility is picked up and the sound in the first facility is amplified in the second facility, and the sound in the second facility is picked up and collected. audio processing for amplifying the audio in the second facility in the first facility;
communication method to perform.
JP2021200627A 2021-12-10 2021-12-10 Communication system and communication method Pending JP2023086246A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021200627A JP2023086246A (en) 2021-12-10 2021-12-10 Communication system and communication method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021200627A JP2023086246A (en) 2021-12-10 2021-12-10 Communication system and communication method

Publications (1)

Publication Number Publication Date
JP2023086246A true JP2023086246A (en) 2023-06-22

Family

ID=86850474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021200627A Pending JP2023086246A (en) 2021-12-10 2021-12-10 Communication system and communication method

Country Status (1)

Country Link
JP (1) JP2023086246A (en)

Similar Documents

Publication Publication Date Title
US11531518B2 (en) System and method for differentially locating and modifying audio sources
WO2017215295A1 (en) Camera parameter adjusting method, robotic camera, and system
US10616681B2 (en) Suppressing ambient sounds
US20040254982A1 (en) Receiving system for video conferencing system
US8411126B2 (en) Methods and systems for close proximity spatial audio rendering
CN114697812B (en) Sound collection method, electronic equipment and system
WO2020063675A1 (en) Smart loudspeaker box and method for using smart loudspeaker box
CN114363512B (en) Video processing method and related electronic equipment
US20230410826A1 (en) Audio modification using interconnected electronic devices
JP2019220848A (en) Data processing apparatus, data processing method and program
JP2020010329A (en) System guiding speaker array and microphone array by using coded beam, method, and, program
JP2023086246A (en) Communication system and communication method
JP7095356B2 (en) Communication terminal and conference system
CN114531425B (en) Processing method and processing device
JP7052792B2 (en) Communication devices, communication methods, programs, and telepresence systems
US11184184B2 (en) Computer system, method for assisting in web conference speech, and program
JP4244416B2 (en) Information processing apparatus and method, and recording medium
WO2021220665A1 (en) Virtual space connection device
JP2009060220A (en) Communication system and communication program
JP2006339869A (en) Apparatus for integrating video signal and voice signal
KR20150087017A (en) Audio control device based on eye-tracking and method for visual communications using the device
CN114124911A (en) Live broadcast echo cancellation method, computer-readable storage medium and electronic device
CN115942108A (en) Video processing method and electronic equipment
JP6930280B2 (en) Media capture / processing system
WO2021028716A1 (en) Selective sound modification for video communication

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220401