JP2022025932A

JP2022025932A - Server device

Info

Publication number: JP2022025932A
Application number: JP2020129134A
Authority: JP
Inventors: 透糸川; Toru Itokawa
Original assignee: Daiichikosho Co Ltd
Current assignee: Daiichikosho Co Ltd
Priority date: 2020-07-30
Filing date: 2020-07-30
Publication date: 2022-02-10
Anticipated expiration: 2040-07-30
Also published as: JP7436319B2

Abstract

To give participants a sense of unity by setting an optimal background video for karaoke on each terminal device without throwing a wet blanketing on excitement of an online drinking party.SOLUTION: A server device 3 includes: a storage unit 21 that stores a dedicated background video that can be used as a background video of karaoke during an online conference; a receiving unit 23 that receives audio data and video data transmitted from each terminal device 2 during the online conference; a determination unit 26 for determining whether or not karaoke-related data related to karaoke performance is acquired based on the audio data or video data of each terminal device 2; an allocation unit 27 that allocates a dedicated background video to each terminal device 2, when it is determined that karaoke-related data is acquired; a processing unit 28 that processes the video data of each terminal device 2 based on the dedicated background video based on this allocation; and a transmission unit 24 that transmits the processed video data of each terminal device 2 together with the audio data of the terminal device 2 to a plurality of terminal devices 2.SELECTED DRAWING: Figure 1

Description

本発明は、サーバ装置に関する。 The present invention relates to a server device.

サーバ装置には、Ｚｏｏｍ（登録商標）等のオンライン会議アプリケーションを搭載した複数の端末装置と通信可能に接続して、複数の端末装置の間のオンライン会議を運用するものがある。換言すれば、上記のオンライン会議用のサーバ装置と複数の端末装置とからオンライン会議システムが構成され、各端末装置の利用者は、このシステムを利用することにより、直接会うことなくオンラインで会議を開催することができる。 Some server devices operate an online conference between a plurality of terminal devices by communicably connecting to a plurality of terminal devices equipped with an online conference application such as Zoom (registered trademark). In other words, an online conference system is configured from the above-mentioned server device for online conference and a plurality of terminal devices, and users of each terminal device can use this system to hold a conference online without having to meet in person. Can be held.

また最近では、感染症等の影響を懸念して、利用者が、飲食店に来店したり家に訪問したりすることなく、上記のオンライン会議システムを利用することでオンラインで飲み会を開催する、いわゆるオンライン飲み会が実施されている。オンライン飲み会では、利用者がパーソナルコンピュータや家庭用ゲーム機等に搭載されたアプリケーションを使用することで、利用者同士でオンラインでカラオケを楽しむことがある。 Recently, due to concerns about the effects of infectious diseases, users hold online drinking parties by using the above online conference system without visiting restaurants or homes. , So-called online drinking party is held. At an online drinking party, users may enjoy karaoke online with each other by using an application installed in a personal computer, a home-use game machine, or the like.

また、特許文献１に記載のテレビ会議システムでは、端末装置が、撮影した画像及び集音した音声に、ユーザが選択した任意の背景データを合成した映像信号を送受信するものであり、任意の画像を背景にして会議を行うことができる。 Further, in the video conference system described in Patent Document 1, the terminal device sends and receives a video signal obtained by synthesizing arbitrary background data selected by the user with the captured image and the collected sound, and is an arbitrary image. You can hold a conference against the background.

特開２０００－３２４４６３号公報Japanese Unexamined Patent Publication No. 2000-324463

上記のようなオンライン飲み会が行われれば、利用者の外出が抑制され、感染症等の拡大を抑制することができる。オンライン会議システムでは、オンライン飲み会の中でカラオケを楽しむ機能を拡充することで、オンライン飲み会を推奨することができる。例えば、特許文献１に開示の技術を用いることにより、オンライン飲み会の参加者がカラオケを楽しむ際に、カラオケルーム内映像を背景映像として選択すれば、参加者の間に一体感を持たせることができる。 If the online drinking party as described above is held, the user's going out can be suppressed and the spread of infectious diseases can be suppressed. In the online conference system, it is possible to recommend an online drinking party by expanding the function of enjoying karaoke in the online drinking party. For example, by using the technology disclosed in Patent Document 1, when a participant of an online drinking party enjoys karaoke, if the image in the karaoke room is selected as the background image, the participants can have a sense of unity. Can be done.

しかし、オンライン飲み会の最中に、複数の参加者がそれぞれの端末装置を操作して背景映像の選択を行うことは、オンライン飲み会の盛り上がりに水を差すおそれがあり、オンライン会議システムの利用の不便さを感じさせることになる。また、実際のカラオケでは、歌唱者と聴衆とで視点が異なるところ、歌唱者も聴衆も同じ背景映像が表示されると興趣を欠くことがある However, if multiple participants operate their respective terminals to select the background image during the online drinking party, it may overwhelm the excitement of the online drinking party, and the use of the online conference system. You will feel the inconvenience of. Also, in actual karaoke, the viewpoints of the singer and the audience are different, and if the same background image is displayed for both the singer and the audience, it may be uninteresting.

本発明の目的は、オンライン飲み会の盛り上がりに水を差すことなく、カラオケに最適な背景映像を各端末装置に設定して参加者に一体感を持たせるオンライン会議用のサーバ装置を提供することである。 An object of the present invention is to provide a server device for an online conference that gives participants a sense of unity by setting a background image optimal for karaoke on each terminal device without pouring water on the excitement of an online drinking party. Is.

上記課題を解決するために、本発明のサーバ装置は、複数の端末装置と通信可能に接続され、前記複数の端末装置の間のオンライン会議を運用するサーバ装置であって、前記オンライン会議中に行われるカラオケの背景映像として使用可能な専用背景映像を記憶する記憶部と、前記オンライン会議中に各端末装置から送信された音声データ及び映像データを受信する受信部と、各端末装置の前記音声データ及び前記映像データの少なくともいずれか一つに基づき、カラオケ演奏に関連するカラオケ関連データが取得されたか否かを判定する判定部と、前記カラオケ関連データが取得されたと判定した場合に、各端末装置に前記専用背景映像の割り当てを行う割り当て部と、前記割り当てに基づき、各端末装置の前記映像データを前記専用背景映像に基づいて加工する加工部と、各端末装置の加工された前記映像データを当該端末装置の音声データと共に前記複数の端末装置へ送信する送信部と、を有する。 In order to solve the above problems, the server device of the present invention is a server device that is communicably connected to a plurality of terminal devices and operates an online conference between the plurality of terminal devices, and is during the online conference. A storage unit that stores a dedicated background image that can be used as a background image of a karaoke performed, a receiving unit that receives audio data and video data transmitted from each terminal device during the online conference, and the audio of each terminal device. A determination unit that determines whether or not karaoke-related data related to karaoke performance has been acquired based on at least one of the data and the video data, and each terminal when it is determined that the karaoke-related data has been acquired. An allocation unit that allocates the dedicated background image to the device, a processing unit that processes the video data of each terminal device based on the dedicated background image based on the allocation, and the processed video data of each terminal device. The data is transmitted to the plurality of terminal devices together with the voice data of the terminal device.

本発明によれば、オンライン会議用のサーバ装置は、オンライン飲み会の盛り上がりに水を差すことなく、カラオケに最適な背景映像を各端末装置に設定して参加者に一体感を持たせることができる。 According to the present invention, the server device for online conferences can set the optimum background image for karaoke on each terminal device to give participants a sense of unity without pouring water on the excitement of the online drinking party. can.

本発明の第１の実施形態のサーバ装置を備えたオンライン会議システムを示すブロック図である。It is a block diagram which shows the online conference system provided with the server apparatus of 1st Embodiment of this invention. 本発明の第１の実施形態のサーバ装置の背景映像設定を含むオンライン会議動作を示すフローチャートである。It is a flowchart which shows the online conference operation which includes the background image setting of the server apparatus of 1st Embodiment of this invention. 本発明の第１の実施形態のサーバ装置において、各端末装置の加工前の映像データの例を示す説明図である。It is explanatory drawing which shows the example of the video data before processing of each terminal apparatus in the server apparatus of 1st Embodiment of this invention. 本発明の第１の実施形態のサーバ装置において、各端末装置の加工後の映像データの例を示す説明図である。It is explanatory drawing which shows the example of the video data after processing of each terminal apparatus in the server apparatus of 1st Embodiment of this invention. 本発明の第２の実施形態のサーバ装置を備えたオンライン会議システムを示すブロック図である。It is a block diagram which shows the online conference system provided with the server apparatus of the 2nd Embodiment of this invention. 本発明の第２の実施形態のサーバ装置において、各会議状況と専用背景映像との対応関係を会議状況テーブルで示す表である。In the server apparatus of the 2nd Embodiment of this invention, it is a table which shows the correspondence relationship between each meeting situation and the exclusive background image in the meeting situation table. 本発明の第２の実施形態のサーバ装置の背景映像設定を含むオンライン会議動作を示すフローチャートである。It is a flowchart which shows the online conference operation which includes the background image setting of the server apparatus of 2nd Embodiment of this invention.

（第１の実施形態）
［オンライン会議システム］
以下、本発明の第１の実施形態のオンライン会議用のサーバ装置３を備えたオンライン会議システム１について説明する。図１は、第１の実施形態のオンライン会議システム１の構成を示すブロック図である。図１に示すように、第１の実施形態のオンライン会議システム１は、複数の端末装置２と、オンライン会議用のサーバ装置３とを備えている。複数の端末装置２とサーバ装置３とは、インターネットや移動体通信網等のネットワーク４を介して通信可能に接続される。オンライン会議システム１で実施されるオンライン会議は、複数の端末装置２の利用者が開催するオンライン飲み会等の会合に利用可能である。 (First Embodiment)
[Online conference system]
Hereinafter, the online conference system 1 provided with the server device 3 for the online conference according to the first embodiment of the present invention will be described. FIG. 1 is a block diagram showing a configuration of the online conference system 1 of the first embodiment. As shown in FIG. 1, the online conferencing system 1 of the first embodiment includes a plurality of terminal devices 2 and a server device 3 for online conferencing. The plurality of terminal devices 2 and the server device 3 are communicably connected via a network 4 such as the Internet or a mobile communication network. The online conference carried out by the online conference system 1 can be used for a meeting such as an online drinking party held by users of a plurality of terminal devices 2.

［端末装置］
各端末装置２は、当該端末装置２の周囲の音声及び映像を入力する入力部１０、ネットワーク４を介して音声及び映像を送受信する通信部１１、受信した音声及び映像を出力する出力部１２を備える。各端末装置２は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等で構成される。各端末装置２は、オンライン会議を利用する利用者が保有する装置であって、Ｚｏｏｍ（登録商標）等のオンライン会議アプリケーションを搭載（インストール）している。 [Terminal device]
Each terminal device 2 has an input unit 10 for inputting audio and video around the terminal device 2, a communication unit 11 for transmitting and receiving audio and video via a network 4, and an output unit 12 for outputting received audio and video. Be prepared. Each terminal device 2 is composed of, for example, a smartphone, a tablet terminal, a personal computer, or the like. Each terminal device 2 is a device owned by a user who uses an online conference, and is equipped with (installed) an online conference application such as Zoom (registered trademark).

各端末装置２の入力部１０は、音声を集音するマイクを内蔵し、あるいは外部機器のマイクを接続することで、音声の入力機能を実現する。また、入力部１０は、映像を撮影するカメラを内蔵し、あるいは外部機器のカメラを接続することで、映像の入力機能を実現する。 The input unit 10 of each terminal device 2 realizes a voice input function by incorporating a microphone for collecting voice or connecting a microphone of an external device. Further, the input unit 10 realizes an image input function by incorporating a camera for capturing an image or connecting a camera of an external device.

各端末装置２の通信部１１は、ネットワーク４を介して通信を行うインタフェースである。各端末装置２がオンライン会議アプリケーションを起動させると、通信部１１は、サーバ装置３と通信可能に接続される。このとき、各端末装置２は、例えばサーバ装置３に展開される所定の仮想的なルームに参加可能となり、当該ルームに参加している複数の端末装置２の間でオンライン会議を実行する。オンライン会議の実行中では、通信部１１は、入力部１０により入力した音声及び映像をそれぞれ音声データ及び映像データとしてサーバ装置３へ送信する。また、オンライン会議の実行中では、通信部１１は、他の端末装置２によりサーバ装置３へ送信された音声データ及び映像データをサーバ装置３から受信する。 The communication unit 11 of each terminal device 2 is an interface for communicating via the network 4. When each terminal device 2 activates the online conference application, the communication unit 11 is communicably connected to the server device 3. At this time, each terminal device 2 can participate in a predetermined virtual room deployed in, for example, the server device 3, and executes an online conference among a plurality of terminal devices 2 participating in the room. During the execution of the online conference, the communication unit 11 transmits the audio and video input by the input unit 10 to the server device 3 as audio data and video data, respectively. Further, during the execution of the online conference, the communication unit 11 receives the audio data and the video data transmitted to the server device 3 by the other terminal device 2 from the server device 3.

各端末装置２の出力部１２は、音声を出力するスピーカを内蔵し、あるいは外部機器のスピーカを接続することで、音声の出力機能を実現し、通信部１１によりサーバ装置３から受信した他の端末装置２の音声データを出力する。また、出力部１２は、映像を出力するディスプレイ等の表示装置を内蔵し、あるいは外部機器の表示装置を接続することで、映像の出力機能を実現し、通信部１１によりサーバ装置３から受信した他の端末装置２の映像データを出力する。 The output unit 12 of each terminal device 2 realizes a voice output function by incorporating a speaker that outputs voice or by connecting a speaker of an external device, and another unit received from the server device 3 by the communication unit 11. The audio data of the terminal device 2 is output. Further, the output unit 12 realizes a video output function by incorporating a display device such as a display that outputs video or by connecting a display device of an external device, and receives from the server device 3 by the communication unit 11. The video data of the other terminal device 2 is output.

なお、各端末装置２は、カラオケ演奏を実行するカラオケ用アプリケーションを搭載（インストール）していてもよい。オンライン会議アプリケーションの実行中でも、カラオケ用アプリケーションは実行可能である。 In addition, each terminal device 2 may be equipped with (installed) a karaoke application for executing karaoke performance. The karaoke application can be executed even while the online conference application is running.

［サーバ装置］
サーバ装置３は、オンライン会議アプリケーションを搭載した複数の端末装置２と通信可能に接続して、各端末装置２のオンライン会議アプリケーションを通じて複数の端末装置２の間のオンライン会議を運用する装置である。サーバ装置３は、オンライン会議システム１を運営する管理者等が保有、管理する装置である。サーバ装置３は、例えば上記したように所定の仮想的なルームを展開し、当該ルームに参加している複数の端末装置２の間でオンライン会議を実行する。 [Server device]
The server device 3 is a device that is communicably connected to a plurality of terminal devices 2 equipped with an online conference application and operates an online conference between the plurality of terminal devices 2 through the online conference application of each terminal device 2. The server device 3 is a device owned and managed by an administrator or the like who operates the online conference system 1. For example, the server device 3 develops a predetermined virtual room as described above, and executes an online conference among a plurality of terminal devices 2 participating in the room.

サーバ装置３は、制御部２０、記憶部２１及び通信部２２を備える。制御部２０は、ＣＰＵ（Central Processing Unit）等を有して構成され、サーバ装置３を統括制御する。記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の記憶媒体を有して構成される。記憶部２１は、サーバ装置３の各部及び各機能を制御するためのプログラムやデータを記憶し、制御部２０が、記憶部２１に記憶されたプログラムやデータに基づいて演算処理を実行することにより、各部及び各機能を制御する。 The server device 3 includes a control unit 20, a storage unit 21, and a communication unit 22. The control unit 20 includes a CPU (Central Processing Unit) and the like, and controls the server device 3 in an integrated manner. The storage unit 21 includes a storage medium such as a ROM (Read Only Memory), a RAM (Random Access Memory), and an HDD (Hard Disc Drive). The storage unit 21 stores programs and data for controlling each unit and each function of the server device 3, and the control unit 20 executes arithmetic processing based on the programs and data stored in the storage unit 21. , Control each part and each function.

また、記憶部２１は、オンライン会議（オンライン飲み会を含む）の実行中に行われるカラオケの背景映像として使用可能なバーチャル背景映像を、カラオケの専用背景映像として記憶する。記憶部２１は、例えば、専用背景映像として、オンライン会議の利用者に共通したカラオケルーム等の専用背景映像を記憶する。更に、記憶部２１は、専用背景映像として、カラオケの歌唱者用の専用背景映像と、カラオケの聴衆用の専用背景映像とを記憶するとよい。なお、専用背景映像は、静止画像でもよく、あるいは動画像でもよい。歌唱者用の専用背景映像には、カラオケルーム内のステージの風景（いわゆるステージ背景）等があり、聴衆用の専用背景映像には、カラオケルーム内の客席側の風景（いわゆるルーム背景）等がある。なお、歌唱者用の専用背景映像には、ステージの風景だけでなく、歌唱者用のマイク等の小物が表示されてよく、聴衆用の専用背景映像には、客席側の風景だけでなく、聴衆用のタンバリンやマラカス等の小物が表示されてよい。 Further, the storage unit 21 stores a virtual background image that can be used as a background image of karaoke performed during an online conference (including an online drinking party) as a dedicated background image of karaoke. The storage unit 21 stores, for example, a dedicated background image such as a karaoke room common to users of online conferences as a dedicated background image. Further, the storage unit 21 may store a dedicated background video for a karaoke singer and a dedicated background video for a karaoke audience as the dedicated background video. The dedicated background image may be a still image or a moving image. The dedicated background image for the singer includes the scenery of the stage in the karaoke room (so-called stage background), and the dedicated background image for the audience includes the scenery on the audience side in the karaoke room (so-called room background). be. The dedicated background image for the singer may display not only the scenery of the stage but also small items such as a microphone for the singer, and the dedicated background image for the audience may display not only the scenery on the audience side but also the scenery on the audience side. Small items such as tambourine and maracas for the audience may be displayed.

通信部２２は、ネットワーク４を介して通信を行うインタフェースであり、オンライン会議アプリケーションを起動させる各端末装置２と通信可能に接続される。通信部２２は、各端末装置２から音声データ及び映像データを受信する受信部２３として機能すると共に、受信した音声データ及び映像データを複数の端末装置２のそれぞれへ送信する送信部２４として機能する。なお、通信部２２は、一の端末装置２から受信した音声データを、当該一の端末装置２へ送信せずに、他の端末装置２のみへ送信してもよい。 The communication unit 22 is an interface that communicates via the network 4, and is communicably connected to each terminal device 2 that activates the online conference application. The communication unit 22 functions as a receiving unit 23 for receiving audio data and video data from each terminal device 2, and also functions as a transmitting unit 24 for transmitting the received audio data and video data to each of the plurality of terminal devices 2. .. The communication unit 22 may transmit the voice data received from one terminal device 2 only to the other terminal device 2 without transmitting the voice data to the one terminal device 2.

また、サーバ装置３の制御部２０は、記憶部２１に記憶されたプログラムを実行することにより、判定部２６、割り当て部２７及び加工部２８として動作する。 Further, the control unit 20 of the server device 3 operates as the determination unit 26, the allocation unit 27, and the processing unit 28 by executing the program stored in the storage unit 21.

判定部２６は、オンライン会議の音声データ及び映像データの中に、カラオケ演奏に関連するカラオケ関連データが含まれるか否かを判定する。音声データのカラオケ関連データには、例えば、カラオケ演奏音、歌唱音声、音声キーワード（「カラオケ」等）等がある。映像データのカラオケ関連データには、例えば、カラオケ用アプリケーションのアイコン及びそのクリック操作や、利用者のマイク動作等の歌唱動作又は歌唱準備動作等がある。 The determination unit 26 determines whether or not the karaoke-related data related to the karaoke performance is included in the audio data and the video data of the online conference. The karaoke-related data of the voice data includes, for example, a karaoke performance sound, a singing voice, a voice keyword (“karaoke”, etc.) and the like. The karaoke-related data of the video data includes, for example, an icon of a karaoke application and a click operation thereof, a singing operation such as a user's microphone operation, or a singing preparation operation.

具体的には、判定部２６は、受信部２３により各端末装置２から受信した音声データ及び映像データを解析して、各音声データ及び各映像データからカラオケ関連データを検出する。例えば、判定部２６は、オンライン会議を実行中の端末装置２のカラオケ用アプリケーションにより出力されるカラオケ演奏音を検出し、あるいは、この端末装置２以外の他の機器（例えば、カラオケ装置、家庭用ゲーム機、家庭用ゲーム機に接続されるテレビ、スマートフォン、タブレット端末、パーソナルコンピュータ等）のカラオケ機能により出力されるカラオケ演奏音を検出してもよい。 Specifically, the determination unit 26 analyzes the audio data and video data received from each terminal device 2 by the reception unit 23, and detects karaoke-related data from each audio data and each video data. For example, the determination unit 26 detects the karaoke performance sound output by the karaoke application of the terminal device 2 that is executing the online conference, or detects a device other than the terminal device 2 (for example, a karaoke device, for home use). The karaoke performance sound output by the karaoke function of a game machine, a television connected to a home-use game machine, a smartphone, a tablet terminal, a personal computer, etc.) may be detected.

なお、判定部２６は、記憶部２１に予め記憶したデータパターンに基づいて、あるいは、外部の人工知能サーバ等によって機械学習された学習モデルに基づいて、各音声データ及び各映像データを解析してカラオケ関連データを検出してよい。 The determination unit 26 analyzes each audio data and each video data based on the data pattern stored in advance in the storage unit 21 or based on the learning model machine-learned by an external artificial intelligence server or the like. Karaoke-related data may be detected.

また、判定部２６は、各端末装置２の音声データ及び映像データの少なくともいずれか一つから、カラオケ関連データが取得されたか否かを判定する。例えば、判定部２６は、音声データから、カラオケ演奏音又は歌唱音声が検出された場合や、音声キーワードが所定時間内に所定回数以上検出された場合に、カラオケ関連データが取得されたと判定してよい。あるいは、判定部２６は、映像データから、カラオケ用アプリケーションのアイコン及びそのクリック操作や、利用者の歌唱動作又は歌唱準備動作が検出された場合に、カラオケ関連データが取得されたと判定してよい。また、判定部２６は、カラオケ楽曲の演奏又は歌唱者の歌唱が終了して音声データからカラオケ演奏音又は歌唱音声が検出されなくなった場合に、カラオケ関連データの取得が終了したと判定してよい。 Further, the determination unit 26 determines whether or not karaoke-related data has been acquired from at least one of the audio data and the video data of each terminal device 2. For example, the determination unit 26 determines that the karaoke-related data has been acquired when the karaoke performance sound or the singing sound is detected from the voice data, or when the voice keyword is detected more than a predetermined number of times within a predetermined time. good. Alternatively, the determination unit 26 may determine that the karaoke-related data has been acquired when the icon of the karaoke application and its click operation, or the user's singing operation or singing preparation operation is detected from the video data. Further, the determination unit 26 may determine that the acquisition of the karaoke-related data is completed when the performance of the karaoke music or the singing of the singer is completed and the karaoke performance sound or the singing voice is no longer detected from the audio data. ..

なお、判定部２６は、カラオケ関連データが取得された音声データ又は映像データを送信した端末装置２を、歌唱者の端末装置２と判定し、その他の端末装置２を聴衆の端末装置２と判定してよい。判定部２６は、一人の歌唱者に対応する端末装置２又は二人以上の歌唱者に対応する端末装置２を判定してよい。また、判定部２６は、歌唱者に対応する一つの端末装置２又は二つ以上の端末装置２を判定してよい。 The determination unit 26 determines that the terminal device 2 that has transmitted the audio data or the video data for which the karaoke-related data has been acquired is the terminal device 2 of the singer, and determines that the other terminal devices 2 are the terminal devices 2 of the audience. You can do it. The determination unit 26 may determine the terminal device 2 corresponding to one singer or the terminal device 2 corresponding to two or more singers. Further, the determination unit 26 may determine one terminal device 2 or two or more terminal devices 2 corresponding to the singer.

割り当て部２７は、判定部２６によりカラオケ関連データが取得されたと判定した場合に、各端末装置２に専用背景映像の割り当てを行う。割り当て部２７は、例えば、オンライン会議の利用者に共通した専用背景映像を、複数の端末装置２のそれぞれに割り当てる。あるいは、割り当て部２７は、歌唱者の端末装置２に対しては歌唱者用の専用背景映像を割り当て、聴衆の端末装置２に対しては聴衆用の専用背景映像を割り当てる。 When the determination unit 26 determines that the karaoke-related data has been acquired, the allocation unit 27 allocates the dedicated background image to each terminal device 2. The allocation unit 27 allocates, for example, a dedicated background image common to users of the online conference to each of the plurality of terminal devices 2. Alternatively, the allocation unit 27 allocates a dedicated background image for the singer to the terminal device 2 of the singer, and allocates a dedicated background image for the audience to the terminal device 2 of the audience.

割り当て部２７は、各端末装置２と専用背景映像との対応関係を示す割り当て情報を設定することで割り当てを行うとよく、割り当て情報を記憶部２１に記憶し、あるいは割り当て情報を加工部２８へ送信する。また、割り当て部２７は、判定部２６によるカラオケ関連データの取得が継続している間、割り当て情報の設定を維持する一方、判定部２６によるカラオケ関連データの取得が終了すると、割り当て情報の設定を解除する。 The allocation unit 27 may perform allocation by setting allocation information indicating the correspondence relationship between each terminal device 2 and the dedicated background image, and stores the allocation information in the storage unit 21 or stores the allocation information in the processing unit 28. Send. Further, the allocation unit 27 maintains the setting of the allocation information while the determination unit 26 continues to acquire the karaoke-related data, and when the determination unit 26 completes the acquisition of the karaoke-related data, the allocation unit 27 sets the allocation information. To release.

なお、割り当て部２７は、専用背景映像を一旦割り当てた後、判定部２６によるカラオケ関連データの取得状況に応じて、歌唱者の端末装置２又は聴衆の端末装置２の判定が変更された場合、その変更に応じて、歌唱者用の専用背景映像又は聴衆用の専用背景映像の割り当てを変更してもよい。例えば、一の歌唱者がカラオケ歌唱を始めた後に、当該歌唱者に対応する端末装置２が送信する音声データ上のカラオケ演奏音に合わせて他の歌唱者がカラオケ歌唱を始めた場合には、当該他の歌唱者の端末装置２に対して専用背景映像の割り当てを変更することができる。 When the allocation unit 27 once allocates the dedicated background image and then the determination of the singer's terminal device 2 or the audience's terminal device 2 is changed according to the acquisition status of the karaoke-related data by the determination unit 26, Depending on the change, the assignment of the dedicated background image for the singer or the dedicated background image for the audience may be changed. For example, when one singer starts karaoke singing and then another singer starts karaoke singing in accordance with the karaoke performance sound on the audio data transmitted by the terminal device 2 corresponding to the singer. The allocation of the dedicated background image to the terminal device 2 of the other singer can be changed.

また、割り当て部２７は、一つの風景を示す専用背景映像を、オンライン会議の利用者の数で分割し、分割した各映像を、各利用者の端末装置２へ割り当てるとよい。例えば、割り当て部２７は、歌唱者の端末装置２の数が２以上である場合に、歌唱者の端末装置２の数に応じて歌唱者の専用背景映像を分割し、歌唱者の各端末装置２に対して分割した歌唱者の専用背景映像をそれぞれ割り当てるとよい。また、割り当て部２７は、聴衆の端末装置２の数が２以上である場合に、聴衆の端末装置２の数に応じて聴衆の専用背景映像を分割し、聴衆の各端末装置２に対して分割した聴衆の専用背景映像をそれぞれ割り当てるとよい。 Further, the allocation unit 27 may divide a dedicated background image showing one landscape according to the number of users of the online conference, and allocate each of the divided images to the terminal device 2 of each user. For example, when the number of terminal devices 2 of the singer is 2 or more, the allocation unit 27 divides the dedicated background image of the singer according to the number of terminal devices 2 of the singer, and each terminal device of the singer. It is advisable to assign each of the dedicated background images of the singer divided into two. Further, when the number of the terminal devices 2 of the audience is 2 or more, the allocation unit 27 divides the dedicated background image of the audience according to the number of the terminal devices 2 of the audience, and for each terminal device 2 of the audience. It is advisable to assign each of the dedicated background images of the divided audience.

なお、サーバ装置３は、分割した歌唱者又は聴衆の専用背景映像が連続して配置されるように、歌唱者又は聴衆の映像データを連続して配置したレイアウトを設定してもよい。 The server device 3 may set a layout in which the video data of the singer or the audience is continuously arranged so that the dedicated background video of the divided singer or the audience is continuously arranged.

加工部２８は、判定部２６によりカラオケ関連データが取得されたと判定し、かつ割り当て部２７により各端末装置２に対して専用背景映像が割り当てられた場合、受信部２３により各端末装置２から受信した映像データを、各端末装置２に対する専用背景映像の割り当てに基づいて加工する。例えば、加工部２８は、割り当て部２７により割り当て情報が設定されると、専用背景映像に基づく映像データの加工を開始し、割り当て情報が維持されている間、専用背景映像に基づく映像データの加工を継続する。一方、加工部２８は、割り当て部２７による割り当て情報の設定が解除されると、専用背景映像に基づく映像データの加工を終了する。 When the processing unit 28 determines that the karaoke-related data has been acquired by the determination unit 26 and the dedicated background image is assigned to each terminal device 2 by the allocation unit 27, the processing unit 28 receives from each terminal device 2 by the reception unit 23. The generated video data is processed based on the allocation of the dedicated background video to each terminal device 2. For example, when the allocation information is set by the allocation unit 27, the processing unit 28 starts processing the video data based on the dedicated background image, and while the allocation information is maintained, the processing unit 28 processes the video data based on the dedicated background image. To continue. On the other hand, when the setting of the allocation information by the allocation unit 27 is canceled, the processing unit 28 ends the processing of the video data based on the dedicated background image.

具合的には、加工部２８は、映像データを解析して映像データから利用者の人物映像を抽出し、抽出した人物映像以外の領域に専用背景映像を埋めることによって、映像データに専用背景映像を合成する。すなわち、加工部２８による加工後の映像データは、人物映像の背景として専用背景映像を合成した映像データである。例えば、加工部２８は、各端末装置２から受信した映像データのそれぞれに、共通の専用背景映像を合成する。あるいは、加工部２８は、歌唱者の端末装置２から受信した映像データには歌唱者の専用背景映像を合成し、聴衆の端末装置２から受信した映像データには聴衆の専用背景映像を合成する。 Specifically, the processing unit 28 analyzes the video data, extracts the user's portrait video from the video data, and fills the dedicated background video in an area other than the extracted human video, thereby adding the dedicated background video to the video data. To synthesize. That is, the video data after processing by the processing unit 28 is video data obtained by synthesizing a dedicated background video as the background of the human video. For example, the processing unit 28 synthesizes a common dedicated background image with each of the image data received from each terminal device 2. Alternatively, the processing unit 28 synthesizes the singer's exclusive background image with the video data received from the singer's terminal device 2, and synthesizes the audience's exclusive background image with the video data received from the audience's terminal device 2. ..

従って、通信部２２の送信部２４は、各端末装置２に専用背景映像が割り当てられていない場合には、各端末装置２から受信した映像データを加工部２８で加工することなく、複数の端末装置２へ送信することになる。一方、送信部２４は、各端末装置２に専用背景映像が割り当てられている場合には、加工部２８により専用背景映像を合成した各端末装置２の映像データを複数の端末装置２へ送信することになる。 Therefore, when the dedicated background image is not assigned to each terminal device 2, the transmission unit 24 of the communication unit 22 does not process the video data received from each terminal device 2 by the processing unit 28, and the transmission unit 24 has a plurality of terminals. It will be transmitted to the device 2. On the other hand, when the dedicated background image is assigned to each terminal device 2, the transmitting unit 24 transmits the video data of each terminal device 2 synthesized by the processing unit 28 to the plurality of terminal devices 2. It will be.

［背景映像設定を含むオンライン会議動作］
次に、サーバ装置３による背景映像設定を含むオンライン会議システム１のオンライン会議動作の例について説明する。図２は、第１の実施形態のオンライン会議動作の例を示すフローチャートである。このオンライン会議動作の例では、利用者Ａ，利用者Ｂ、利用者Ｃ及び利用者Ｄが、それぞれの端末装置２である端末装置２Ａ、端末装置２Ｂ、端末装置２Ｃ及び端末装置２Ｄを使用していて、オンライン会議システム１を利用してオンライン飲み会を開催している。図２のフローチャートでは、サーバ装置３に加えて端末装置２Ａが図示されているところ、端末装置２Ｂ～２Ｄは図示されていないが、端末装置２Ａと同様のフローを経由する。 [Online conference operation including background video settings]
Next, an example of the online conference operation of the online conference system 1 including the background image setting by the server device 3 will be described. FIG. 2 is a flowchart showing an example of the online conference operation of the first embodiment. In this example of the online conference operation, the user A, the user B, the user C, and the user D use the terminal device 2A, the terminal device 2B, the terminal device 2C, and the terminal device 2D, which are the respective terminal devices 2. We are holding an online drinking party using the online conference system 1. In the flowchart of FIG. 2, the terminal device 2A is shown in addition to the server device 3, but the terminal devices 2B to 2D are not shown, but they go through the same flow as the terminal device 2A.

オンライン飲み会において、端末装置２Ａ～２Ｄは、周囲から入力した音声データ及び映像データをサーバ装置３へ送信している（ステップＳ１）。このとき、端末装置２Ａ～２Ｄは、それぞれ利用者Ａ～Ｄの人物映像と自室の室内背景とを入力部１０のカメラで撮影することで得られた映像データを送信する。 At the online drinking party, the terminal devices 2A to 2D transmit audio data and video data input from the surroundings to the server device 3 (step S1). At this time, the terminal devices 2A to 2D transmit the video data obtained by capturing the portrait images of the users A to D and the indoor background of their own room with the camera of the input unit 10, respectively.

サーバ装置３の受信部２３は、端末装置２Ａ～２Ｄのそれぞれから音声データ及び映像データを受信する（ステップＳ２）。 The receiving unit 23 of the server device 3 receives audio data and video data from each of the terminal devices 2A to 2D (step S2).

サーバ装置３の判定部２６は、各端末装置２Ａ～２Ｄのそれぞれの音声データ及び映像データの少なくともいずれか一つに基づき、カラオケ演奏に関連するカラオケ関連データが取得されたか否かを判定する（ステップＳ３）。 The determination unit 26 of the server device 3 determines whether or not the karaoke-related data related to the karaoke performance has been acquired based on at least one of the audio data and the video data of each of the terminal devices 2A to 2D. Step S3).

カラオケ関連データが取得されない場合（ステップＳ３：ＮＯ）、割り当て部２７による割り当てや加工部２８による加工を行うことなく、サーバ装置３の送信部２４は、各端末装置２Ａ～２Ｄの音声データ及び映像データを複数の端末装置２Ａ～２Ｄへ送信する（ステップＳ４）。換言すれば、送信部２４は、図３に示すように、各利用者Ａ～Ｄの人物映像と各利用者Ａ～Ｄの自室の室内背景である自室背景３０Ａ～３０Ｄとが映されている元の映像データを送信用映像データとして複数の端末装置２Ａ～２Ｄへ送信する。 When the karaoke-related data is not acquired (step S3: NO), the transmission unit 24 of the server device 3 does not perform the allocation by the allocation unit 27 or the processing by the processing unit 28, and the transmission unit 24 of the server device 3 has audio data and video of each terminal device 2A to 2D. Data is transmitted to a plurality of terminal devices 2A to 2D (step S4). In other words, as shown in FIG. 3, the transmission unit 24 displays a person image of each user A to D and a room background 30A to 30D which is an indoor background of each user A to D's room. The original video data is transmitted as transmission video data to a plurality of terminal devices 2A to 2D.

複数の端末装置２Ａ～２Ｄは、サーバ装置３から各端末装置２Ａ～２Ｄの音声データ及び映像データを受信して、各利用者Ａ～Ｄに向けて出力する（ステップＳ５）。このとき、各端末装置２Ａ～２Ｄの出力部１２は、図３に示すように、各利用者Ａ～Ｄの人物映像と各自室背景３０Ａ～３０Ｄとが映されている映像データを所定のレイアウトで配置して表示装置に表示する。なお、レイアウトは、サーバ装置３が設定してもよく、各端末装置２Ａ～２Ｄが設定してもよい。 The plurality of terminal devices 2A to 2D receive the audio data and video data of the terminal devices 2A to 2D from the server device 3 and output them to the users A to D (step S5). At this time, as shown in FIG. 3, the output units 12 of the terminal devices 2A to 2D have a predetermined layout of video data showing the person images of the users A to D and the backgrounds 30A to 30D of their own rooms. Arrange with and display on the display device. The layout may be set by the server device 3 or may be set by the terminal devices 2A to 2D.

一方、カラオケ関連データが取得された場合（ステップＳ３：ＹＥＳ）、サーバ装置３の割り当て部２７は、各端末装置２Ａ～２Ｄに専用背景映像の割り当てを行う（ステップＳ６）。このとき、判定部２６は、カラオケ関連データが取得された音声データ又は映像データを送信した利用者Ａの端末装置２Ａを、歌唱者の端末装置２Ａと判定し、その他の利用者Ｂ～Ｄの端末装置２Ｂ～２Ｄを聴衆の端末装置２Ｂ～２Ｄと判定する。また、割り当て部２７は、歌唱者の端末装置２Ａに対して歌唱者用の専用背景映像（例えば、図４に示すステージ背景３１Ａ）を割り当てると共に、聴衆の端末装置２Ｂ～２Ｄに対して聴衆用の専用背景映像（例えば、図４に示すルーム背景３１Ｂ～３１Ｄ）を割り当てる。 On the other hand, when the karaoke-related data is acquired (step S3: YES), the allocation unit 27 of the server device 3 allocates the dedicated background image to the terminal devices 2A to 2D (step S6). At this time, the determination unit 26 determines that the terminal device 2A of the user A who has transmitted the voice data or the video data for which the karaoke-related data has been acquired is the terminal device 2A of the singer, and the other users B to D. The terminal devices 2B to 2D are determined to be the terminal devices 2B to 2D of the audience. Further, the allocation unit 27 allocates a dedicated background image for the singer (for example, the stage background 31A shown in FIG. 4) to the terminal device 2A of the singer, and for the audience to the terminal devices 2B to 2D of the audience. Dedicated background images (for example, room backgrounds 31B to 31D shown in FIG. 4) are assigned.

更に、サーバ装置３の加工部２８は、映像データを解析して映像データから利用者の人物映像を抽出する（ステップＳ７）。また、加工部２８は、映像データの人物映像以外の領域に専用背景映像を埋めることによって、映像データに専用背景映像を合成する（ステップＳ８）。例えば、加工部２８は、歌唱者の端末装置２Ａの映像データを処理して歌唱者の人物映像の背景にステージ背景３１Ａを合成し、聴衆の端末装置２Ｂ～２Ｄの映像データを処理して聴衆の人物映像の背景にルーム背景３１Ｂ～３１Ｄを合成する。 Further, the processing unit 28 of the server device 3 analyzes the video data and extracts the user's person video from the video data (step S7). Further, the processing unit 28 synthesizes the dedicated background image into the video data by embedding the dedicated background image in an area other than the human image of the video data (step S8). For example, the processing unit 28 processes the video data of the singer's terminal device 2A to synthesize the stage background 31A with the background of the singer's person image, and processes the video data of the audience's terminal devices 2B to 2D to process the audience. The room backgrounds 31B to 31D are combined with the background of the portrait image of.

そして、サーバ装置３の送信部２４は、各端末装置２Ａ～２Ｄの音声データ及び加工後の映像データを複数の端末装置２Ａ～２Ｄへ送信する（ステップＳ４）。換言すれば、送信部２４は、各利用者Ａ～Ｄの人物映像と各端末装置２Ａ～２Ｄに割り当てられた専用背景映像とが映されている加工後の映像データを送信用映像データとして複数の端末装置２Ａ～２Ｄへ送信する。 Then, the transmission unit 24 of the server device 3 transmits the audio data of each terminal device 2A to 2D and the processed video data to the plurality of terminal devices 2A to 2D (step S4). In other words, the transmission unit 24 uses a plurality of processed video data as transmission video data, in which the portrait images of the users A to D and the dedicated background images assigned to the terminal devices 2A to 2D are displayed. It is transmitted to the terminal devices 2A to 2D of.

複数の端末装置２Ａ～２Ｄは、サーバ装置３から各端末装置２Ａ～２Ｄの音声データ及び加工後の映像データを受信して、各利用者Ａ～Ｄに向けて出力する（ステップＳ５）。このとき、各端末装置２Ａ～２Ｄの出力部１２は、図４に示すように、各利用者Ａ～Ｄの人物映像と各端末装置２Ａ～２Ｄに割り当てられた専用背景映像（例えば、図４に示すステージ背景３１Ａ及びルーム背景３１Ｂ～３１Ｄ）とが映されている映像データを所定のレイアウトで配置して表示装置に表示する。 The plurality of terminal devices 2A to 2D receive the audio data and the processed video data of the terminal devices 2A to 2D from the server device 3 and output them to the users A to D (step S5). At this time, as shown in FIG. 4, the output units 12 of the terminal devices 2A to 2D are the person images of the users A to D and the dedicated background images assigned to the terminal devices 2A to 2D (for example, FIG. 4). The image data showing the stage background 31A and the room backgrounds 31B to 31D) shown in the above are arranged in a predetermined layout and displayed on the display device.

上記したように、本発明の第１の実施形態のサーバ装置３は、判定部２６が各端末装置２の音声データ及び映像データの少なくともいずれか一つに基づいてカラオケ関連データが取得されたか否かを判定し、カラオケ関連データが取得されたと判定した場合に、割り当て部２７が各端末装置２に専用背景映像の割り当てを行い、この割り当てに基づき、加工部２８が各端末装置２の映像データを専用背景映像に基づいて加工する。 As described above, in the server device 3 of the first embodiment of the present invention, whether or not the determination unit 26 has acquired karaoke-related data based on at least one of the audio data and the video data of each terminal device 2. When it is determined whether or not the karaoke-related data has been acquired, the allocation unit 27 allocates the dedicated background image to each terminal device 2, and the processing unit 28 allocates the video data of each terminal device 2 based on this allocation. Is processed based on the dedicated background image.

これにより、複数の端末装置２のオンライン飲み会において、カラオケに関連する音声又は映像が挿入されている場合、サーバ装置３は、各利用者の操作を要することなく、各利用者の背景を自動的にカラオケに関する専用背景映像に設定することができる。そのため、オンライン飲み会の盛り上がりに水を差すことなく、カラオケに最適な背景映像を各端末装置２に設定して参加者に一体感を持たせることができる。また、カラオケに関連する音声又は映像を挿入するだけで、カラオケの専用背景映像が自動的に表示されるので、カラオケを楽しんでいる参加者に対して、カラオケの盛り上がりを高めることができ、カラオケの利用を推奨することができ、更にオンライン飲み会の盛り上がりを高めることができる。 As a result, when audio or video related to karaoke is inserted in an online drinking party of a plurality of terminal devices 2, the server device 3 automatically sets the background of each user without requiring the operation of each user. It can be set as a dedicated background image for karaoke. Therefore, it is possible to set the optimum background image for karaoke on each terminal device 2 and give the participants a sense of unity without pouring water on the excitement of the online drinking party. In addition, since the background video for karaoke is automatically displayed just by inserting the audio or video related to karaoke, it is possible to enhance the excitement of karaoke for the participants who are enjoying karaoke. It is possible to recommend the use of karaoke, and further enhance the excitement of online drinking parties.

なお、カラオケ演奏音や歌唱音声が流れていなくても、カラオケに関連するキーワードや映像が検出されれば、カラオケの背景が表示されるので、カラオケを行っていない参加者に対しても、カラオケの利用をより推奨することができる。 Even if the karaoke performance sound or singing sound is not played, if a keyword or video related to karaoke is detected, the background of the karaoke will be displayed, so even for participants who are not karaoke, karaoke It is possible to recommend the use of.

また、上記したように、割り当て部２７は、カラオケ関連データが取得された一の端末装置２（すなわち、歌唱者の端末装置２）には歌唱者用の専用背景映像の割り当てを行い、他の端末装置２（すなわち、聴衆の端末装置２）には聴衆の専用背景映像の割り当てを行う。これにより、歌唱者と聴衆とのそれぞれに適切な背景を自動的に設定することで、歌唱者及び聴衆のそれぞれの立場での盛り上がりを高めることができ、オンライン飲み会の興趣をより高めることができる。 Further, as described above, the allocation unit 27 allocates a dedicated background image for the singer to one terminal device 2 (that is, the singer's terminal device 2) from which the karaoke-related data has been acquired, and another. A dedicated background image for the audience is assigned to the terminal device 2 (that is, the terminal device 2 for the audience). As a result, by automatically setting an appropriate background for each of the singer and the audience, it is possible to increase the excitement of the singer and the audience from their respective standpoints, and further enhance the interest of the online drinking party. can.

更に、上記したように、割り当て部２７は、歌唱者の端末装置２の数に応じて歌唱者の専用背景映像を分割し、当該歌唱者の端末装置２には分割した歌唱者の専用背景映像をそれぞれ割り当てる。また、割り当て部２７は、聴衆の端末装置２の数に応じて聴衆の専用背景映像を分割し、当該聴衆の端末装置２には分割した聴衆の専用背景映像をそれぞれ割り当てる。これにより、歌唱者同士又は聴衆同士の背景が連続的になるため、歌唱者同士又は聴衆同士の一体感をより高めることができる。そのため、カラオケの盛り上がりをより高め、カラオケの利用をより推奨し、更にオンライン飲み会の盛り上がりをより高めることができる。 Further, as described above, the allocation unit 27 divides the singer's dedicated background image according to the number of the singer's terminal devices 2, and the singer's terminal device 2 is divided into the singer's dedicated background images. Are assigned respectively. Further, the allocation unit 27 divides the dedicated background image of the audience according to the number of the terminal devices 2 of the audience, and allocates the dedicated background image of the divided audience to the terminal device 2 of the audience. As a result, the backgrounds of the singers or the audience become continuous, so that the sense of unity between the singers or the audience can be further enhanced. Therefore, the excitement of karaoke can be further enhanced, the use of karaoke can be further recommended, and the excitement of online drinking parties can be further enhanced.

（第２の実施形態）
以下、本発明の第２の実施形態のオンライン会議用のサーバ装置３を備えたオンライン会議システム１について説明する。図５は、第２の実施形態のオンライン会議システム１の構成を示すブロック図である。図５に示すように、第２の実施形態のオンライン会議システム１は、第１の実施形態のオンライン会議システム１と同様に、複数の端末装置２と、オンライン会議用のサーバ装置３とを備えている。第２の実施形態の説明において、第１の実施形態と同一の構成要素には第１の実施形態と同一の符号を付し、その説明を省略する。 (Second embodiment)
Hereinafter, the online conference system 1 provided with the server device 3 for the online conference according to the second embodiment of the present invention will be described. FIG. 5 is a block diagram showing a configuration of the online conference system 1 of the second embodiment. As shown in FIG. 5, the online conferencing system 1 of the second embodiment includes a plurality of terminal devices 2 and a server device 3 for online conferencing, similarly to the online conferencing system 1 of the first embodiment. ing. In the description of the second embodiment, the same components as those of the first embodiment are designated by the same reference numerals as those of the first embodiment, and the description thereof will be omitted.

第２の実施形態のサーバ装置３は、制御部２０、記憶部２１及び通信部２２を備える。制御部２０は、記憶部２１に記憶されたプログラムを実行することにより、判定部２６、割り当て部２７及び加工部２８に加えて、選定部２９として動作する。第２の実施形態において、サーバ装置３は、オンライン会議に生じ得る会議状況（すなわち、オンライン飲み会の会合状況）に応じたカラオケの専用背景映像を選定部２９によって選定するように、構成される。 The server device 3 of the second embodiment includes a control unit 20, a storage unit 21, and a communication unit 22. By executing the program stored in the storage unit 21, the control unit 20 operates as a selection unit 29 in addition to the determination unit 26, the allocation unit 27, and the processing unit 28. In the second embodiment, the server device 3 is configured so that the selection unit 29 selects a dedicated background image of karaoke according to the meeting situation (that is, the meeting situation of the online drinking party) that may occur in the online meeting. ..

第２の実施形態の記憶部２１は、複数の様々な会議状況にそれぞれ対応する複数の専用背景映像を記憶する。記憶部２１は、会議状況毎に、複数の端末装置２に共通した専用背景映像を記憶する。また、記憶部２１は、会議状況毎に、歌唱者用の専用背景映像及び聴衆用の専用背景映像を記憶する。例えば、記憶部２１は、図６に示すように、各会議状況と専用背景映像との対応関係を、取得データ、解析対象、選定条件及び専用背景映像の項目からなる会議状況テーブルに記憶する。 The storage unit 21 of the second embodiment stores a plurality of dedicated background images corresponding to a plurality of various conference situations. The storage unit 21 stores a dedicated background image common to the plurality of terminal devices 2 for each conference situation. Further, the storage unit 21 stores a dedicated background image for the singer and a dedicated background image for the audience for each conference situation. For example, as shown in FIG. 6, the storage unit 21 stores the correspondence between each conference status and the dedicated background image in the conference status table including the acquired data, the analysis target, the selection condition, and the items of the dedicated background video.

会議状況には、オンライン飲み会で特定アーティストのカラオケや話題が起こっている会議状況や、オンライン飲み会が特定の人数、年齢層、性別で行われている会議状況等がある。また、会議状況には、オンライン飲み会がクリスマス等の季節行事中に行われている会議状況がある。 The conference status includes the conference status where a specific artist's karaoke or a topic is occurring at the online drinking party, and the conference status where the online drinking party is held by a specific number of people, age group, and gender. In addition, there is a conference situation in which an online drinking party is held during a seasonal event such as Christmas.

例えば、特定アーティストに関する会議状況に対して、当該特定アーティストとコラボしたカラオケルーム（いわゆる、コラボルーム）の室内背景や当該特定アーティストにちなんだ会場が専用背景映像として設定される。また、特定の人数、年齢層、性別の会議状況に対して、当該人数、年齢層、性別の利用者の来店又は来場が見込まれる店舗又は会場の背景（例えば、３名以下、４０代の利用者に対してスナック等）が専用背景映像として設定される。また、特定の季節行事での会議状況に対して、当該季節行事に関連する背景（例えば、１２月のクリスマスや１月の正月、４月の花見等にちなんだ映像）が専用背景映像として設定される。 For example, for the conference situation regarding a specific artist, the indoor background of the karaoke room (so-called collaboration room) collaborated with the specific artist or the venue associated with the specific artist is set as a dedicated background image. In addition, the background of the store or venue where users of the relevant number, age group, and gender are expected to visit or attend the meeting for a specific number of people, age group, and gender (for example, use of 3 people or less, 40s). Snacks, etc.) are set as a dedicated background image for the person. In addition, for the meeting situation at a specific seasonal event, the background related to the seasonal event (for example, images related to Christmas in December, New Year in January, cherry blossom viewing in April, etc.) is set as a dedicated background image. Will be done.

選定部２９は、各端末装置２の音声データ又は映像データ、あるいは日時情報やその他のオンライン飲み会の状況情報に基づいて、オンライン会議に生じ得る会議状況を判断する。このとき、選定部２９は、例えば上記の会議状況テーブルに従って、取得データを解析して、取得データ内の解析対象が選定条件に適合するか否かを判断することで会議状況を判断する。 The selection unit 29 determines the conference status that may occur in the online conference based on the voice data or video data of each terminal device 2, the date and time information, and other status information of the online drinking party. At this time, the selection unit 29 determines the conference status by analyzing the acquired data according to, for example, the above-mentioned conference status table and determining whether or not the analysis target in the acquired data meets the selection conditions.

例えば、選定部２９は、音声データを解析して、音声データ内の会話音声が特定アーティストの名前や曲名を含んでいる場合や、音声データが特定アーティストのカラオケ演奏音又は歌唱音声を含んでいる場合、当該特定アーティストに関する会議状況と判断する。選定部２９は、映像データを解析して、複数の端末装置２の映像データ内に含まれる利用者の総数及び年齢層が、特定の人数及び年齢層である場合、当該特定の人数及び年齢層の会議状況と判断する。選定部２９は、サーバ装置３の日時情報を解析して、オンライン飲み会開催時の日時が特定の季節行事に対応する場合、当該季節行事での会議状況と判断する。 For example, the selection unit 29 analyzes the voice data and includes a case where the conversation voice in the voice data includes the name or song name of the specific artist, or the voice data includes the karaoke performance sound or the singing voice of the specific artist. In that case, it is judged that the meeting status is related to the specific artist. The selection unit 29 analyzes the video data, and when the total number and age groups of the users included in the video data of the plurality of terminal devices 2 are a specific number and age group, the specific number and age group. Judge as the meeting status. The selection unit 29 analyzes the date and time information of the server device 3, and if the date and time when the online drinking party is held corresponds to a specific seasonal event, determines that the meeting status is the seasonal event.

選定部２９は、複数の専用背景映像のうちから、上記の判断結果の会議状況に応じた専用背景映像を、上記の会議状況テーブルに基づいて選定する。例えば、選定部２９は、音声データに基づいて特定アーティストに関する会議状況を判断した場合、当該特定アーティストのコラボルームを専用背景映像として選定する。選定部２９は、映像データに基づいて特定の人数及び年齢層の会議状況を判断した場合、当該特定の人数及び年齢層の利用が見込まれる店舗等を専用背景映像として選定する。選定部２９は、サーバ装置３の日時情報に基づいて特定の季節行事での会議状況を判断した場合、当該特定の季節行事にちなんだ映像を専用背景映像として選定する。 The selection unit 29 selects a dedicated background image according to the conference status of the above-mentioned determination result from the plurality of dedicated background images based on the above-mentioned conference status table. For example, when the selection unit 29 determines the conference status regarding a specific artist based on the audio data, the selection unit 29 selects the collaboration room of the specific artist as a dedicated background image. When the selection unit 29 determines the meeting status of a specific number of people and age group based on the video data, the selection unit 29 selects a store or the like that is expected to be used by the specific number of people and age group as a dedicated background image. When the selection unit 29 determines the meeting status at a specific seasonal event based on the date and time information of the server device 3, the selection unit 29 selects an image associated with the specific seasonal event as a dedicated background image.

なお、選定部２９は、例えば、判断結果のオンライン会議の会議状況（オンライン飲み会の会合状況）に応じて、オンライン飲み会の利用者に共通した専用背景映像を複数の端末装置２に共通して選定する。あるいは、割り当て部２７は、歌唱者の端末装置２に対しては歌唱者用の専用背景映像を選定すると共に、聴衆の端末装置２に対しては聴衆用の専用背景映像を選定する。 In addition, the selection unit 29 commons the dedicated background image common to the users of the online drinking party to the plurality of terminal devices 2, for example, according to the meeting status of the online meeting of the judgment result (meeting status of the online drinking party). To select. Alternatively, the allocation unit 27 selects a dedicated background image for the singer for the terminal device 2 of the singer, and selects a dedicated background image for the audience for the terminal device 2 of the audience.

なお、選定部２９は、上記の会議状況テーブル以外では、外部の人工知能サーバ等によって機械学習された学習モデルに基づいて、各音声データ及び各映像データを解析してオンライン会議の会議状況（オンライン飲み会の会合状況）を判断し、判断結果の会議状況に応じた専用背景映像を選定してもよい。 In addition to the above-mentioned conference status table, the selection unit 29 analyzes each audio data and each video data based on a learning model machine-learned by an external artificial intelligence server or the like, and the conference status of the online conference (online). The meeting situation of the drinking party) may be judged, and a dedicated background image may be selected according to the meeting situation of the judgment result.

第２の実施形態の加工部２８は、各端末装置２の映像データを、選定部２９により選定された専用背景映像に基づいて加工する。加工部２８は、例えば、オンライン飲み会の利用者に共通した専用背景映像が設定されている場合には、各端末装置２の映像データを共通した専用背景映像に基づいて加工する。あるいは、加工部２８は、歌唱者の端末装置２の映像データを歌唱者用の専用背景映像に基づいて加工すると共に、聴衆の端末装置２の映像データを聴衆用の専用背景映像に基づいて加工する。 The processing unit 28 of the second embodiment processes the video data of each terminal device 2 based on the dedicated background image selected by the selection unit 29. For example, when a dedicated background image common to users of an online drinking party is set, the processing unit 28 processes the video data of each terminal device 2 based on the common dedicated background image. Alternatively, the processing unit 28 processes the video data of the singer's terminal device 2 based on the singer's dedicated background video, and processes the video data of the audience's terminal device 2 based on the audience's dedicated background video. do.

第２の実施形態において、サーバ装置３による背景映像設定を含むオンライン会議システム１のオンライン会議動作の例について説明する。図７は、第２の実施形態のオンライン会議動作の例を示すフローチャートである。 In the second embodiment, an example of the online conference operation of the online conference system 1 including the background image setting by the server device 3 will be described. FIG. 7 is a flowchart showing an example of the online conference operation of the second embodiment.

第２の実施形態のオンライン会議動作は、第１の実施形態のオンライン会議動作と同様に進行し、第１の実施形態のオンライン会議動作との相違点は、サーバ装置３において選定部２９による専用背景映像の選定フロー（ステップＳ１０）を含むことである。この選定フロー（ステップＳ１０）は、図７に示すように、サーバ装置３において、判定部２６によりカラオケ関連データが取得されたと判定した（ステップＳ３：ＹＥＳ）後であって、割り当て部２７により各端末装置２Ａ～２Ｄに専用背景映像の割り当てを行う（ステップＳ６）前に行われる。そのため、割り当て部２７は、選定部２９によって選定された専用背景映像を割り当てることになる。 The online conference operation of the second embodiment proceeds in the same manner as the online conference operation of the first embodiment, and the difference from the online conference operation of the first embodiment is that the server device 3 is dedicated by the selection unit 29. This includes a background image selection flow (step S10). As shown in FIG. 7, this selection flow (step S10) is performed after it is determined in the server device 3 that the karaoke-related data has been acquired by the determination unit 26 (step S3: YES), and each is performed by the allocation unit 27. This is performed before the dedicated background image is assigned to the terminal devices 2A to 2D (step S6). Therefore, the allocation unit 27 allocates the dedicated background image selected by the selection unit 29.

上記したように、本発明の第２の実施形態のサーバ装置３は、記憶部２１が複数の会議状況にそれぞれ対応する複数の専用背景映像を記憶し、選定部２９が各端末装置２の音声データ及び映像データの少なくともいずれか一つに基づいてオンライン会議の会議状況を判断し、判断した当該会議状況に応じ専用背景映像を選定し、加工部２８が各端末装置２の映像データを選定部２９により選定された専用背景映像に基づいて加工する。 As described above, in the server device 3 of the second embodiment of the present invention, the storage unit 21 stores a plurality of dedicated background images corresponding to the plurality of conference situations, and the selection unit 29 stores the voice of each terminal device 2. The conference status of the online conference is determined based on at least one of the data and the video data, a dedicated background image is selected according to the determined conference status, and the processing unit 28 selects the video data of each terminal device 2. It is processed based on the dedicated background image selected by 29.

これにより、サーバ装置３は、各利用者の操作を要することなく、特定の会議状況に対応する背景を自動的に設定することができる。従って、オンライン飲み会のカラオケの背景はいつも同じものではなく、会議状況に応じて変化させることができるため、カラオケの盛り上がりを更に高め、カラオケの利用を更に推奨し、更にオンライン飲み会の盛り上がりを更に高めることができる。 As a result, the server device 3 can automatically set the background corresponding to a specific conference situation without requiring the operation of each user. Therefore, the background of karaoke at online drinking parties is not always the same and can be changed according to the conference situation, so the excitement of karaoke is further enhanced, the use of karaoke is further recommended, and the excitement of online drinking parties is further enhanced. It can be further enhanced.

また、本実施形態では、各端末装置２がオンライン会議アプリケーションを使用することで、サーバ装置３で展開されるオンライン会議に参加する例を説明したが、端末装置２は、オンライン会議アプリケーションに限らず、ブラウザやその他のプログラムやソフトウェアによってオンライン会議に参加してもよい。 Further, in the present embodiment, an example in which each terminal device 2 participates in an online conference developed by the server device 3 by using the online conference application has been described, but the terminal device 2 is not limited to the online conference application. You may join an online conference through a browser or other program or software.

また、本発明は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴うサーバ装置もまた本発明の技術思想に含まれる。 Further, the present invention can be appropriately modified within the scope of the claims and within a range not contrary to the gist or idea of the invention that can be read from the entire specification, and the server device with such a modification is also included in the technical idea of the present invention. included.

１オンライン会議システム
２端末装置
３サーバ装置
４ネットワーク
１０入力部
１１通信部
１２出力部
２０制御部
２１記憶部
２２通信部
２３受信部
２４送信部
２６判定部
２７割り当て部
２８加工部
２９選定部 1 Online conference system 2 Terminal device 3 Server device 4 Network 10 Input section 11 Communication section 12 Output section 20 Control section 21 Storage section 22 Communication section 23 Receiver section 24 Transmission section 26 Judgment section 27 Assignment section 28 Processing section 29 Selection section

Claims

A server device that is communicably connected to a plurality of terminal devices and operates an online conference between the plurality of terminal devices.
A storage unit that stores a dedicated background image that can be used as a background image for karaoke performed during the online conference.
A receiving unit that receives audio data and video data transmitted from each terminal device during the online conference, and a receiving unit.
A determination unit for determining whether or not karaoke-related data related to karaoke performance has been acquired based on at least one of the audio data and the video data of each terminal device.
When it is determined that the karaoke-related data has been acquired, the allocation unit that allocates the dedicated background image to each terminal device and the allocation unit.
Based on the allocation, the processing unit that processes the video data of each terminal device based on the dedicated background image, and
A server device including a transmission unit that transmits the processed video data of each terminal device together with the audio data of the terminal device to the plurality of terminal devices.

The storage unit stores a dedicated background image for the singer and a dedicated background image for the audience.
The allocation unit is characterized in that a dedicated background image for a singer is assigned to one terminal device from which the karaoke-related data is acquired, and a dedicated background image for an audience is assigned to the other terminal device. The server device according to claim 1.

The allocation unit divides the dedicated background image of the singer according to the number of the one terminal device, and assigns the divided dedicated background image of the singer to the one terminal device, or the other terminal device. The server device according to claim 2, wherein the dedicated background video of the audience is divided according to the number of the above, and the dedicated background video of the divided audience is assigned to the other terminal devices.

The storage unit stores a plurality of dedicated background images corresponding to a plurality of conference situations, respectively.
The conference status of the online conference is determined based on at least one of the audio data and the video data of each terminal device, and the dedicated background corresponding to the determined conference status is determined from the plurality of dedicated background images. It also has a selection unit that selects images,
The server according to any one of claims 1 to 3, wherein the processing unit processes the video data of each terminal device based on a dedicated background image selected by the selection unit. Device.