JP2021184263A - Terminal device, communication system, control method thereof, and program - Google Patents

Terminal device, communication system, control method thereof, and program Download PDF

Info

Publication number
JP2021184263A
JP2021184263A JP2021113593A JP2021113593A JP2021184263A JP 2021184263 A JP2021184263 A JP 2021184263A JP 2021113593 A JP2021113593 A JP 2021113593A JP 2021113593 A JP2021113593 A JP 2021113593A JP 2021184263 A JP2021184263 A JP 2021184263A
Authority
JP
Japan
Prior art keywords
client terminal
terminal
electronic conference
user
connection request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021113593A
Other languages
Japanese (ja)
Other versions
JP7138217B2 (en
Inventor
慎一朗 粂内
Shinichiro Kumeuchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018218006A external-priority patent/JP6912440B2/en
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2021113593A priority Critical patent/JP7138217B2/en
Publication of JP2021184263A publication Critical patent/JP2021184263A/en
Application granted granted Critical
Publication of JP7138217B2 publication Critical patent/JP7138217B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

To provide a mechanism that allows terminals participating in a conference to be easily used as devices that perform certain functions.MEANS FOR SOLVING THE PROBLEM: In an electronic conference, a connection request from a client terminal is received based on user information an input of which the client terminal has accepted. When another client terminal corresponding to the user information the input of which the client terminal has accepted is connected, it is determined to operate the client terminal which has accepted the connection request as a terminal that performs a predetermined function in an electronic conference which the other client terminal is participating in, and according to the determination, the client terminal is controlled to operate as the terminal that performs the predetermined function in the electronic conference.SELECTED DRAWING: Figure 5

Description

本発明は、情報処理装置、情報処理システム、その制御方法及びプログラムに関する。 The present invention relates to an information processing apparatus, an information processing system, a control method and a program thereof.

一般に、ウェブ会議等の電子会議システム・サービスが提供されている。電子会議システムを利用する端末は、端末に直接接続された専用のカメラ・スピーカ・マイクを用いて、各機器から入力される情報を他機に送信し、受信した情報を出力することで会議を行うことができる。 Generally, electronic conferencing system services such as web conferencing are provided. Terminals that use electronic conference systems use dedicated cameras, speakers, and microphones that are directly connected to the terminal to send information input from each device to other devices and output the received information to hold a conference. It can be carried out.

例えば特許文献1では、カメラ、モニタ、スピーカが一体になった端末と、カメラ装置を、多地点テレビ会議装置を介して接続し、テレビ会議を行う技術が提供されている。 For example, Patent Document 1 provides a technique for connecting a terminal in which a camera, a monitor, and a speaker are integrated and a camera device via a multipoint video conference device to perform a video conference.

特開2013−26843号公報Japanese Unexamined Patent Publication No. 2013-26843 特開2016−122937号公報Japanese Unexamined Patent Publication No. 2016-122937

近年は、マイクやスピーカ、カメラが内蔵されたPCやスマートフォンが社員に配布され、利用されている。よって、各ユーザはPCやスマートフォン等の、既にユーザが持っている端末に備え付けられた機器を用いて電子会議を行うことができる。 In recent years, PCs and smartphones with built-in microphones, speakers, and cameras have been distributed and used by employees. Therefore, each user can hold an electronic conference using a device such as a PC or a smartphone that is already installed in the terminal that the user has.

しかし、何らかの理由で自身のPCを使えないユーザがいる場合がある。つまり、会議室等の1拠点内に複数のユーザがいる状態で必ずしも1ユーザ1端末を保持していないことがある。端末を保持するユーザが自身の目の前に端末を置いた状態では、離れた位置にいる端末を保持していないユーザが会議に参加し難い。例えば、自身の声をマイクに入力するために、大声を出さなければならない。 However, there may be some users who cannot use their own PC for some reason. That is, one user and one terminal may not necessarily be held in a state where there are a plurality of users in one base such as a conference room. When the user who holds the terminal puts the terminal in front of him / her, it is difficult for the user who does not hold the terminal at a distant position to join the conference. For example, you have to make a loud voice in order to input your own voice into the microphone.

また、同じ部屋で複数の端末のマイクやスピーカを使うことによるハウリングや、画像の送受信による帯域の圧迫を防ぐために、敢えて全員の端末を利用しないようにすることもある。 Also, in order to prevent howling caused by using the microphones and speakers of multiple terminals in the same room, and to prevent bandwidth pressure due to image transmission / reception, we may dare not use all terminals.

例えば各ユーザが声を入力しやすいように/スピーカの音を聞き取り易いように、あるユーザの端末を例えばマイク兼スピーカ代わりとして会議室の中央に置いて電子会議を行うことがある。また、カメラとして利用する場合は、会議室の隅に端末を置いて、会議室全体を撮影し、できるだけ多くのユーザを映し出せるようにすることがある。 For example, in order to make it easier for each user to input a voice / to easily hear the sound of a speaker, an electronic conference may be held by placing a user's terminal in the center of the conference room as a substitute for a microphone and a speaker, for example. When used as a camera, a terminal may be placed in the corner of the conference room to take a picture of the entire conference room so that as many users as possible can be projected.

しかしながら、専用のカメラやマイク、スピーカ等と違って、当該端末は会議に参加しているユーザの1人として数えられてしまうため、参加者の1人として電子会議の相手に表示されてしまう(例えば特許文献2)。 However, unlike a dedicated camera, microphone, speaker, etc., the terminal is counted as one of the users participating in the conference, so that it is displayed to the other party of the electronic conference as one of the participants (). For example, Patent Document 2).

また、マイクやスピーカとして利用する場合は音量の調整、カメラとして利用する場合は画角・ズームイン/ズームアウトの調整が必要となるが、リモコン等がない当該端末において機能の調整を行うためには、当該端末を直接触って操作する必要があり手間である。 In addition, when using it as a microphone or speaker, it is necessary to adjust the volume, and when using it as a camera, it is necessary to adjust the angle of view / zoom in / zoom out, but in order to adjust the function on the terminal without a remote control etc. , It is troublesome to operate the terminal by directly touching it.

本発明は、会議に参加する端末を、ある機能を実行する機器として容易に利用可能な仕組みを提供することを目的とする。 An object of the present invention is to provide a mechanism that allows a terminal participating in a conference to be easily used as a device that executes a certain function.

本発明は、電子会議において複数のクライアント端末と通信可能な情報処理装置であって、前記クライアント端末において入力を受け付けたユーザ情報に基づいて、前記クライアント端末の接続要求を受け付ける受付手段と、前記クライアント端末において入力を受け付けたユーザ情報に対応する別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、前記別のクライアント端末が参加している電子会議において所定の機能を実行する端末として動作させることを決定する決定手段と、前記決定手段による決定に応じて、前記受付手段により前記接続要求を受け付けたクライアント端末を、前記電子会議における所定の機能を実行する端末として動作させるべく制御する制御手段と、を備えることを特徴とする。 The present invention is an information processing device capable of communicating with a plurality of client terminals in an electronic conference, and is a receiving means that accepts a connection request of the client terminal based on user information that has received input in the client terminal, and the client. When another client terminal corresponding to the user information that has received the input is connected to the terminal, the client terminal that has received the connection request can be subjected to a predetermined function in an electronic conference in which the other client terminal participates. The decision means for deciding to operate as the terminal to be executed and the client terminal for which the connection request is received by the reception means in response to the decision by the decision means are operated as terminals for executing a predetermined function in the electronic conference. It is characterized by comprising a control means for controlling the control.

本発明によれば、会議に参加する端末を、ある機能を実行する機器として容易に利用可能な仕組みを提供することができる。 According to the present invention, it is possible to provide a mechanism that allows a terminal participating in a conference to be easily used as a device that executes a certain function.

本発明の実施形態における、情報処理システムの構成の一例を示す図である。It is a figure which shows an example of the structure of the information processing system in embodiment of this invention. 本発明の実施形態における、各種装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware composition of various devices in embodiment of this invention. 本発明の実施形態における、各種装置の機能構成の一例を示す図である。It is a figure which shows an example of the functional structure of various devices in embodiment of this invention. 従来のログイン及び入室処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the conventional login and room entry processing. 本発明の実施形態における、入室処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the room entrance processing in embodiment of this invention. 本発明の実施形態における、画像及び音声のサーバへの送受信処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the transmission / reception processing to the server of an image and sound in an embodiment of this invention. 本発明の実施形態における、サーバからの画像及び音声の取得処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the image and sound acquisition processing from a server in embodiment of this invention. 本発明の実施形態における、各種データ構成の一例を示す図である。It is a figure which shows an example of various data structures in an embodiment of this invention. 本発明の実施形態における、確認画面等の構成の一例を示す図である。It is a figure which shows an example of the structure of the confirmation screen and the like in embodiment of this invention. 本発明の実施形態における、機能選択画面の構成の一例を示す図である。It is a figure which shows an example of the structure of the function selection screen in embodiment of this invention. 本発明の実施形態における、会議画面の構成の一例を示す図である。It is a figure which shows an example of the structure of the conference screen in embodiment of this invention. 本発明の実施形態における、機能操作画面の構成の一例を示す図である。It is a figure which shows an example of the structure of the function operation screen in embodiment of this invention. 本発明の実施形態における、確認画面の構成の一例を示す図である。It is a figure which shows an example of the structure of the confirmation screen in embodiment of this invention. 従来の会議画面の構成の一例を示す図である。It is a figure which shows an example of the structure of the conventional conference screen.

以下、図面を参照して、本発明の実施の形態の一例について説明する。 Hereinafter, an example of an embodiment of the present invention will be described with reference to the drawings.

まず図1を参照して、本発明の実施形態における、情報処理システムの構成の一例について説明する。 First, an example of the configuration of the information processing system according to the embodiment of the present invention will be described with reference to FIG.

本発明の情報処理システムは、複数の情報処理装置(複数のクライアント端末100及びサーバ200)が、ネットワーク101を介して通信可能に接続されて構成されている。 The information processing system of the present invention is configured by connecting a plurality of information processing devices (a plurality of client terminals 100 and a server 200) so as to be able to communicate with each other via a network 101.

クライアント端末100(クライアント端末100A〜100Dの総称)は、ユーザ情報の入力を受け付けて、ユーザを電子会議に参加させるための表示端末であり、マイクやスピーカ、カメラを備える。 The client terminal 100 (general term for client terminals 100A to 100D) is a display terminal for accepting input of user information and allowing a user to participate in an electronic conference, and includes a microphone, a speaker, and a camera.

マイクでの音声入力や、カメラによる画像撮影行う端末を入力端末と呼び、スピーカでの音声再生や、カメラで撮影した画像を再生出力する端末を出力端末と呼び、その両方を行う端末を入出力端末と呼ぶ。 A terminal that inputs voice with a microphone and shoots an image with a camera is called an input terminal, a terminal that plays back voice with a speaker and a terminal that plays back and outputs an image taken with a camera is called an output terminal, and a terminal that performs both is input / output. Called a terminal.

サーバ200は、クライアント端末100より受信したユーザ情報や、カメラ画像、音声の情報を記憶し、必要なクライアント端末に配信して電子会議を行う機能を備える。 The server 200 has a function of storing user information received from the client terminal 100, camera images, and audio information, and distributing the information to necessary client terminals to hold an electronic conference.

なお、本発明の説明においては、現実の会議室AにUser001、User002、User00X、User00Yが居り、現実の会議室BにUser003、User004が居るものとする。 In the description of the present invention, it is assumed that User001, User002, User00X, and User00Y are present in the actual conference room A, and User003 and User004 are present in the actual conference room B.

また、クライアント端末100A〜100Dの各端末は、仮想の会議室であるroom001に、サーバ200上で入室することで電子会議を行うことができる。以上が図1の説明である。 Further, each of the client terminals 100A to 100D can hold an electronic conference by entering room001, which is a virtual conference room, on the server 200. The above is the description of FIG.

次に図2を参照して、本発明の実施形態における、各種装置のハードウェア構成の一例について説明する。 Next, with reference to FIG. 2, an example of the hardware configuration of various devices according to the embodiment of the present invention will be described.

図2において、201はCPUで、システムバス204に接続される各デバイスやコントローラを統括的に制御する。また、ROM202あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。 In FIG. 2, 201 is a CPU that comprehensively controls each device and controller connected to the system bus 204. Further, the ROM 202 or the external memory 211 is necessary to realize a function executed by a BIOS (Basic Input / Output System) or an operating system program (hereinafter, OS) which is a control program of the CPU 201, and each server or each PC. Various programs described later are stored.

203はRAMで、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM202あるいは外部メモリ211からRAM203にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。 Reference numeral 203 denotes a RAM, which functions as a main memory, a work area, and the like of the CPU 201. The CPU 201 realizes various operations by loading a program or the like necessary for executing a process from the ROM 202 or the external memory 211 into the RAM 203 and executing the loaded program.

また、205は入力コントローラで、キーボード(KB)や不図示のマウス等のポインティングデバイス、タッチパネル、カメラ等の入力装置209からの入力を制御する。 Further, 205 is an input controller, which controls input from a pointing device such as a keyboard (KB) or a mouse (not shown), an input device 209 such as a touch panel or a camera.

206はビデオコントローラで、ディスプレイ装置210(例:CRTディスプレイ)等の表示器(外部出力装置)への表示を制御する。なお、ディスプレイ装置210に示す表示機器はCRTディスプレイだけでなく、液晶ディスプレイや、マルチタッチスクリーン等の他の表示器であってもよい。また、例えばプロジェクタのような外部出力装置であってもよい。 Reference numeral 206 denotes a video controller, which controls display on a display (external output device) such as a display device 210 (eg, CRT display). The display device shown in the display device 210 may be not only a CRT display but also another display such as a liquid crystal display or a multi-touch screen. Further, it may be an external output device such as a projector.

なおビデオコントローラ206は、表示制御を行うためのビデオメモリ(VRAM)を制御することが可能で、ビデオメモリ領域としてRAM203の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。本実施形態においては、各クライアント端末100は、クライアント端末100を通常する場合の表示に用いられる第1のビデオメモリ領域と、所定の画面が表示される場合に、第1のビデオメモリ領域の表示内容に重ねて別の表示をするために用いられる第2のビデオメモリ領域を有している。ビデオメモリ領域は2つに限ったものではなく、情報処理装置の資源が許す限り複数有することが可能なものとする。 The video controller 206 can control a video memory (VRAM) for display control, can use a part of the RAM 203 as a video memory area, or can provide a dedicated video memory separately. It is possible. In the present embodiment, each client terminal 100 displays a first video memory area used for display when the client terminal 100 is normally used, and a first video memory area when a predetermined screen is displayed. It has a second video memory area used for displaying another display on top of the content. The video memory area is not limited to two, and it is possible to have a plurality of video memory areas as long as the resources of the information processing apparatus allow.

212は、音声入出力コントローラで、マイク/スピーカ213(図1における102及び103)からの入出力を制御する。マイクから入力された音声を音声認識することが可能となっている。スピーカにはイヤホンを接続することも可能である。 Reference numeral 212 denotes an audio input / output controller, which controls input / output from the microphone / speaker 213 (102 and 103 in FIG. 1). It is possible to recognize the voice input from the microphone. Earphones can also be connected to the speakers.

207はメモリコントローラで、ブートプログラム,各種のアプリケーション,フォントデータ,ユーザファイル,編集ファイル,各種データ等を記憶するハードディスク(HD)や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ211へのアクセスを制御する。 The 207 is a memory controller, which is connected to a hard disk (HD) for storing boot programs, various applications, font data, user files, edit files, various data, etc., a flexible disk (FD), or a PCMCIA card slot via an adapter. Controls access to external memory 211 such as CompactFlash® memory.

208は通信I/Fコントローラで、ネットワーク(例えば、図1に示したネットワーク150(例:LAN等))を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信や、ISDNなどの電話回線、および携帯電話の3G回線を用いた通信等が可能である。 Reference numeral 208 denotes a communication I / F controller, which connects and communicates with an external device via a network (for example, network 150 (eg, LAN or the like) shown in FIG. 1), and executes communication control processing on the network. .. For example, communication using TCP / IP, communication using a telephone line such as ISDN, and communication using a 3G line of a mobile phone are possible.

なお、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ装置210上での表示を可能としている。また、CPU201は、ディスプレイ装置210上に表示される不図示のマウスカーソル等でのユーザ指示を可能とする。 The CPU 201 enables display on the display device 210 by, for example, executing an outline font expansion (rasterization) process in the display information area in the RAM 203. Further, the CPU 201 enables a user instruction by a mouse cursor or the like (not shown) displayed on the display device 210.

また、外部メモリ211等の、情報を永続的に記憶するための記憶装置(記憶媒体)は、その形態をハードディスク等の記憶装置に限定するものではない。例えば、SSD(Solid State Drive)などの媒体であってもよい。 Further, the storage device (storage medium) for permanently storing information, such as the external memory 211, is not limited to a storage device such as a hard disk. For example, it may be a medium such as SSD (Solid State Drive).

本発明を実現するための後述する各種プログラムは、外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ211に格納されており、これらについての詳細な説明も後述する。以上が図2の説明である。 Various programs described later for realizing the present invention are recorded in the external memory 211, and are executed by the CPU 201 by being loaded into the RAM 203 as needed. Further, a definition file and various information tables used when executing the above program are also stored in the external memory 211, and detailed explanations thereof will be described later. The above is the explanation of FIG.

次に図3を参照して、本発明の実施形態における、各種装置の機能構成の一例について説明する。 Next, with reference to FIG. 3, an example of the functional configuration of various devices in the embodiment of the present invention will be described.

ユーザ情報入力受付部311は、ユーザ操作によるユーザ情報の入力を受け付ける。ユーザ情報とは、例えばユーザID及びパスワードである。ユーザ情報の一例を図8のユーザ情報800に示す。 The user information input receiving unit 311 accepts the input of user information by user operation. The user information is, for example, a user ID and a password. An example of user information is shown in the user information 800 of FIG.

なお、本実施形態の説明においては、ユーザID及びパスワードをユーザ情報としたが、ユーザを特定できる情報であればよいため、ユーザIDのみをユーザ情報として入力を受け付けてもよい。 In the description of the present embodiment, the user ID and the password are used as the user information, but since the information can identify the user, only the user ID may be used as the user information for input.

ログイン要求部312は、ユーザ情報入力受付部311において入力を受け付けたユーザ情報に基づいて、自機のユーザ(自機において入力を受け付けたユーザ情報の示すユーザ)をサーバ200にログインさせる要求(サーバへの接続要求)を送信する。サーバ200の要求受付部321は、当該ログイン要求を受け付ける。 The login request unit 312 requests to log the user of the own machine (the user indicating the user information who received the input in the own machine) to the server 200 based on the user information that has received the input in the user information input reception unit 311 (server). Connection request to) is sent. The request receiving unit 321 of the server 200 receives the login request.

ログインユーザ判定部322は、ログイン要求されたユーザが、既にログイン済みのユーザか判定する。 The login user determination unit 322 determines whether the user who has been requested to log in is a user who has already logged in.

既にログイン済みのユーザの場合、親機決定部323は、ログイン済みのユーザが既にログインに用いていたクライアント端末を、新たにログイン要求を送信してきたクライアント端末の親機とする(新たにログイン要求を送信してきたクライアント端末を子機)とすることを決定する。 In the case of a user who has already logged in, the master unit determination unit 323 uses the client terminal that the logged-in user has already used for login as the master unit of the client terminal that has newly sent the login request (new login request). It is decided that the client terminal that sent the message is the slave unit).

つまり、どの端末を、新たにログイン要求を送信してきたクライアント端末の親機とするか決定する。 That is, it is determined which terminal is used as the master unit of the client terminal that has newly sent the login request.

子機参加制御部324は、新たにログイン要求を送信してきたクライアント端末を、親機決定部323により決定された端末の子機として、親機のユーザの参加している電子会議に参加させる。 The slave unit participation control unit 324 causes the client terminal that has newly transmitted the login request to participate in the electronic conference in which the user of the master unit participates as the slave unit of the terminal determined by the master unit determination unit 323.

機能特定部325は、子機において実行する(動作させる)機能を特定する。動作制御部326は、機能特定部325において特定された機能を子機において実行させ、サーバ200が当該子機において実行された機能に応じて、入出力情報(伝達情報)の配信制御を行う。 The function specifying unit 325 specifies a function to be executed (operated) in the slave unit. The operation control unit 326 executes the function specified by the function specifying unit 325 on the slave unit, and controls the distribution of input / output information (transmission information) according to the function executed by the server 200 on the slave unit.

ここでいう入出力情報(伝達情報)とは、例えば、画像や音声であり、カメラ、マイク、スピーカ等の機能によって入出力され、ユーザ間で伝達される情報である。 The input / output information (transmission information) referred to here is, for example, an image or voice, and is information that is input / output by a function of a camera, a microphone, a speaker, or the like and is transmitted between users.

機能設定部313は、動作制御部326からの指示に従って、自機が動作・実行させるべき機能を自機に設定し、動作させる。以上が図3の説明である。 The function setting unit 313 sets and operates the function to be operated / executed by the own machine according to the instruction from the operation control unit 326. The above is the explanation of FIG.

次に図4を参照して、従来のログイン及び入室処理の流れについて説明する。図4の説明においては、新たにログイン・会議室に入室する端末がクライアント端末100Aであり、既に当該会議室に入室済みのユーザの端末がクライアント端末100Cである場合を例として説明する。 Next, with reference to FIG. 4, the flow of the conventional login and room entry processing will be described. In the description of FIG. 4, a case where the terminal newly logged in / entering the conference room is the client terminal 100A and the terminal of the user who has already entered the conference room is the client terminal 100C will be described as an example.

クライアント端末100AのCPU201は、サーバ200の提供するウェブ会議サービスを享受するために、ブラウザソフト上におけるユーザ操作に応じて所定のURLにアクセスし、図9の900に示すようなログイン画面を表示する。 The CPU 201 of the client terminal 100A accesses a predetermined URL according to a user operation on the browser software in order to enjoy the web conferencing service provided by the server 200, and displays a login screen as shown in 900 of FIG. ..

そして、当該ログイン画面においてユーザIDとパスワードの入力を受け付けて、「ログイン」ボタンの押下を受け付けることで、サーバ200へのログイン要求を送信する(ステップS401)。 Then, by accepting the input of the user ID and the password on the login screen and accepting the pressing of the "login" button, the login request to the server 200 is transmitted (step S401).

サーバ200のCPU201は、当該ログイン要求を受け付け(ステップS402)、自装置の外部メモリに予め記憶されているユーザ情報(ユーザID及びパスワード/図8の800に例示)と突き合わせて認証処理(ログイン処理)を行う。 The CPU 201 of the server 200 receives the login request (step S402), matches it with the user information (user ID and password / exemplified in 800 in FIG. 8) stored in advance in the external memory of the own device, and performs an authentication process (login process). )I do.

認証が成功した場合(受信したユーザIDを用いたサーバ200へのログインが成功した場合)、図9の910に示すようなメニュー画面の画面情報(例えばhtml情報)を生成して、クライアント端末100Aに送信する(ステップS403)。 When the authentication is successful (when the login to the server 200 using the received user ID is successful), the screen information (for example, html information) of the menu screen as shown in 910 of FIG. 9 is generated to generate the client terminal 100A. (Step S403).

なお、従来の処理においては、ログイン処理時に、当該ユーザIDのユーザが別の端末からログイン中かを、サーバ200に記憶されている不図示のログインユーザ一覧を参照して判定し、ログインユーザ一覧に新たに受信したログイン要求のユーザが含まれていない場合は未ログインのユーザとしてログイン処理を実行する。つまり、ログインユーザ一覧に当該ユーザのユーザIDを加えて記憶する。その後処理をステップS403に移行する。 In the conventional process, at the time of the login process, it is determined whether the user with the user ID is logged in from another terminal by referring to the list of logged-in users (not shown) stored in the server 200, and the list of logged-in users. If the newly received login request user is not included in, the login process is executed as an unlogged-in user. That is, the user ID of the user is added to the login user list and stored. After that, the process proceeds to step S403.

ログインユーザ一覧に新たに受信したログイン要求のユーザが含まれている場合、つまり、既に他の端末で同じユーザがログイン中の場合は、他の端末でログイン中の当該ユーザを強制的にログアウトさせる。そして当該ユーザを再ログインさせ、新たに当該要求を送信してきた送信元の端末に対してステップS403の処理を実行する。 If the login user list includes a newly received login request user, that is, if the same user is already logged in on another terminal, the user who is logged in on another terminal is forcibly logged out. .. Then, the user is re-logged in, and the process of step S403 is executed for the transmission source terminal that has newly transmitted the request.

クライアント端末100AのCPU201は、当該画面情報を受信して、受信した画面情報に基づいてメニュー画面910を表示画面に表示する(ステップS404)。 The CPU 201 of the client terminal 100A receives the screen information and displays the menu screen 910 on the display screen based on the received screen information (step S404).

クライアント端末100AのCPU201は、当該メニュー画面910に含まれる仮想の会議室であるルーム(ルームの端末ID)の選択部において、ログインユーザが入室するルームの選択操作を受け付け(ステップS405)、同画面に含まれる「入室」ボタンの押下を受け付けることで、選択中のルームへの、自機で入力を受け付けたユーザIDのユーザの入室要求をサーバ200に送信する(ステップS406)。 The CPU 201 of the client terminal 100A accepts a room selection operation for the logged-in user to enter in the selection unit of the room (room terminal ID) which is a virtual conference room included in the menu screen 910 (step S405), and the same screen. By accepting the pressing of the "entry" button included in the above, the entry request of the user with the user ID who accepted the input by the own machine to the selected room is transmitted to the server 200 (step S406).

クライアント端末100AのCPU201は、当該入室要求に、入室の操作を受け付けたクライアント端末100Aでログイン中のログインユーザのユーザID、入室対象のルームの端末ID(ルームID)、クライアント端末100Aの端末ID(例えばIPアドレス)、クライアント端末100Aの端末種別報を含めて、当該要求をサーバ200に送信する。 The CPU 201 of the client terminal 100A responds to the entry request by the user ID of the logged-in user who is logged in on the client terminal 100A that has received the entry operation, the terminal ID (room ID) of the room to be entered, and the terminal ID of the client terminal 100A. For example, the IP address) and the terminal type information of the client terminal 100A are included, and the request is transmitted to the server 200.

端末種別とは、例えばクライアント端末100A自身が、PC(デスクトップPC、ノートPC)なのか携帯端末(例えばタブレットPC、携帯電話等)なのかを識別するための情報である。自装置がPCであれば端末種別=pcの値を送信し、自装置が携帯端末であれば端末種別=mobileの値を送信する。 The terminal type is information for identifying whether the client terminal 100A itself is a PC (desktop PC, notebook PC) or a mobile terminal (for example, a tablet PC, a mobile phone, etc.). If the own device is a PC, the value of terminal type = pc is transmitted, and if the own device is a mobile terminal, the value of terminal type = mobile is transmitted.

各クライアント端末100は、自装置の端末種別の情報を、自装置の外部メモリ等の記憶領域に予め保持・記憶しており、その情報を取得して当該要求に埋め込むものとする。 Each client terminal 100 holds and stores information on the terminal type of its own device in advance in a storage area such as an external memory of its own device, and acquires the information and embeds it in the request.

なお、ここではクライアント端末100Aで選択を受け付けたルームを入室要求に含めることで、サーバ200が入室要求及び入室要求がされたルームのルームIDを取得するものとするが、例えば入室するルームの選択操作を受け付けた時点で当該ルームのIDを選択中のルームのIDとしてサーバ200に送信してサーバ200がこれを受け付け、「入室」ボタンの押下を受け付けることで、選択中のルームに、クライアント端末100Aでログイン中のユーザを入室させるよう要求し、サーバ200がこれを受け付けるようにしてもよい。 Here, by including the room whose selection has been accepted by the client terminal 100A in the room entry request, the server 200 acquires the room ID of the room for which the room entry request and the room entry request have been made. When the operation is accepted, the ID of the room is transmitted to the server 200 as the ID of the selected room, the server 200 accepts this, and the pressing of the "enter" button is accepted, so that the client terminal is assigned to the selected room. A user who is logged in at 100A may be requested to enter the room, and the server 200 may accept this.

サーバ200のCPU201は当該入室要求を受け付けると(ステップS407)、要求されたルーム(会議室)にユーザを入室させる入室処理を実行する(ステップS408)。 When the CPU 201 of the server 200 receives the entry request (step S407), it executes an entry process for allowing the user to enter the requested room (meeting room) (step S408).

ここでは、入室処理に際して、どのユーザが、どの会議室のどの会議に、どのような端末種別のどの端末で、どのような通信方法で通信をして入室しているかを登録・記憶する。 Here, in the room entry process, it is registered and stored which user enters the room by communicating with which conference in which conference room, which terminal of what terminal type, and by what communication method.

具体的には、図8の会議情報810の会議室811に入室するルームのルームIDを、参加者ID813に入室させるユーザのユーザIDを追加する。 Specifically, the room ID of the room entering the conference room 811 of the conference information 810 of FIG. 8 and the user ID of the user who enters the participant ID 813 are added.

本実施形態における説明では、会議室への入室=当該会議室に対応する会議への参加であるものとする。 In the description of the present embodiment, it is assumed that entry into the conference room = participation in the conference corresponding to the conference room.

また、当該ルームに入室中のユーザがいなかった場合は(無人のルームに入室した場合は)、会議を識別する会議IDを発行して会議ID812に挿入、記憶する。2人目以降の場合は、同ルームに入室中のユーザID(参加者)の参加している会議の会議ID(入室中のルームに対応する会議ID)を会議ID812に記憶するものとする。 If there is no user in the room (when entering an unmanned room), a conference ID for identifying the conference is issued, inserted into the conference ID 812, and stored. In the case of a second person or later, the conference ID (meeting ID corresponding to the room being entered) of the conference in which the user ID (participant) who is in the same room is participating shall be stored in the conference ID 812.

また、ステップS407で受け付けた入室要求に含まれていたクライアント端末100Aの端末IDを端末ID814に挿入する。また、受信した端末種別の情報を端末種別815に記憶する。 Further, the terminal ID of the client terminal 100A included in the room entry request received in step S407 is inserted into the terminal ID 814. Further, the received terminal type information is stored in the terminal type 815.

入室通知816は、対応する行のユーザが会議室に入室したことを、同じ会議室内のどのユーザの端末に通知するかを示す情報であるが、従来の入室処理においては入室通知816は存在せず、その値を用いることはない。 The entry notification 816 is information indicating which user's terminal in the same conference room is notified that the user in the corresponding line has entered the conference room, but the entry notification 816 does not exist in the conventional entry process. No, the value is not used.

入室処理が完了すると、サーバ200のCPU201は、図14の1400に示すような、各クライアント端末100のカメラにより撮像された会議画像を表示する会議画面の画面情報(例えばhtml情報)を、入室したユーザのユーザIDの送信元のクライアント端末100Aに送信する(ステップS409)。 When the room entry process is completed, the CPU 201 of the server 200 enters the room with screen information (for example, html information) of the conference screen displaying the conference image captured by the camera of each client terminal 100 as shown in 1400 of FIG. It is transmitted to the client terminal 100A that is the source of the user ID of the user (step S409).

会議画像とは、電子会議において送受信される、カメラで撮影されたカメラ画像であり、主にユーザの姿を撮影した画像である。 The conference image is a camera image taken by a camera, which is transmitted and received in an electronic conference, and is an image mainly of a user.

クライアント端末100AのCPU201は当該会議画面の画面情報を受信し(ステップS410)、受信した画面情報に基づいて会議画面1400を表示する(ステップS411)。 The CPU 201 of the client terminal 100A receives the screen information of the conference screen (step S410), and displays the conference screen 1400 based on the received screen information (step S411).

なお、この時点では会議画面1400に示すように、会議画像の表示領域には画像は表示されていないものとする。 At this point, as shown on the conference screen 1400, it is assumed that the image is not displayed in the display area of the conference image.

サーバ200のCPU201は、会議画面の画面情報の送信と合わせて、ユーザが入室したルームの会議に参加中のユーザ一覧をクライアント端末100Aに送信し(ステップS409)、クライアント端末100AのCPU201はこれを受信して(ステップS410)、どのユーザの会議画像をどの表示領域に表示するかを割り当ててメモリ上に記憶する(ステップS412)。 The CPU 201 of the server 200 transmits a list of users participating in the conference in the room in which the user has entered the conference to the client terminal 100A (step S409) together with the transmission of the screen information of the conference screen, and the CPU 201 of the client terminal 100A transmits this to the client terminal 100A. It receives (step S410), allocates which user's conference image is displayed in which display area, and stores it in the memory (step S412).

また、カメラ機能がオンに設定されている場合は、サーバ200のCPU201は、自機で機能しているカメラ(例えば自機に搭載されているカメラ)で撮像された動画の1フレームごとの画像(フレーム画像)をメモリ上の画像キューに記憶する。クライアント端末上の画像キューの一例を図8の820に示す。 When the camera function is set to on, the CPU 201 of the server 200 is an image for each frame of a moving image captured by a camera functioning on the own machine (for example, a camera mounted on the own machine). (Frame image) is stored in the image queue on the memory. An example of the image queue on the client terminal is shown in FIG. 820.

また、当該フレーム画像をサーバ200に順次送信する。サーバ200は当該動画のフレーム画像を受信して、メモリ上の画像キューに記憶する。サーバ上の画像キューの一例を図8の830に示す。 Further, the frame image is sequentially transmitted to the server 200. The server 200 receives the frame image of the moving image and stores it in the image queue on the memory. An example of an image queue on the server is shown in FIG. 830.

また、マイク機能がオンに設定されている場合は、サーバ200のCPU201は、自機で機能しているマイク(例えば自機に搭載されているマイク)に入力された音声情報を所定の間隔ごとのデータとして、メモリ上の音声キューに記憶する。クライアント端末上の音声キューの構成は、例えば図8の820における画像の代わりに音声情報が記憶されるものである。 When the microphone function is set to ON, the CPU 201 of the server 200 inputs audio information input to a microphone functioning in the own machine (for example, a microphone mounted in the own machine) at predetermined intervals. It is stored in the voice queue on the memory as the data of. The configuration of the voice queue on the client terminal is such that voice information is stored instead of the image in 820 of FIG. 8, for example.

また、当該音声情報をサーバ200に順次送信する。サーバ200は当該音声情報を受信して、メモリ上の音声キューに記憶する。サーバ上の音声キューの構成は、例えば図8の830における画像の代わりに音声情報が記憶されるものである。 Further, the voice information is sequentially transmitted to the server 200. The server 200 receives the voice information and stores it in the voice queue on the memory. The configuration of the voice queue on the server is such that voice information is stored instead of the image in 830 of FIG. 8, for example.

また、サーバ200のCPU201は、クライアント端末100Aにより新たに会議室に入室したユーザ(例:User001)を、同じ会議室に入室している他のユーザのクライアント端末であるクライアント端末100Cに通知する(ステップS413)。 Further, the CPU 201 of the server 200 notifies the client terminal 100C, which is a client terminal of another user who has entered the same conference room, of a user (eg, User001) newly entered into the conference room by the client terminal 100A (example: User001). Step S413).

例えば会議情報810の中のUser001の811〜815のデータをクライアント端末100Cに送信する。 For example, the data of User001 81 to 815 in the conference information 810 is transmitted to the client terminal 100C.

なお、図4の説明ではクライアント端末100Cのユーザ(User003)が、クライアント端末100Aのユーザ(User001)と同じ会議に参加している(同じ会議室に入室している)ものとして説明しているが、図8の810に示すように、User003以外にもUser001と同じ会議に参加しているユーザがいる場合、それら同じ会議室に参加中のユーザにもクライアント端末100Aにより新たに会議室に入室したユーザ(例:User001)を、通知する。 In the description of FIG. 4, it is assumed that the user (User003) of the client terminal 100C is participating in the same conference as the user (User001) of the client terminal 100A (entering the same conference room). As shown in 810 of FIG. 8, when there are users who are participating in the same conference as User001 other than User003, the users who are participating in the same conference room are also newly entered into the conference room by the client terminal 100A. Notify the user (eg User001).

クライアント端末100CのCPU201は、当該新たに会議室に入室したユーザの情報を受信して(ステップS414)、自機のメモリに記憶する(ステップS415)。例えば会議情報810と同じ構成で、会議に参加中のユーザの一覧を記憶・管理する。 The CPU 201 of the client terminal 100C receives the information of the user who has newly entered the conference room (step S414) and stores it in the memory of the own machine (step S415). For example, it has the same configuration as the conference information 810, and stores and manages a list of users participating in the conference.

実際には、会議室に新たなユーザが入室したり、退室したりする都度サーバ200から通知を受け、当該会議に参加中のユーザの一覧を更新する。以上が図4の説明である。 Actually, each time a new user enters or leaves the conference room, a notification is received from the server 200, and the list of users participating in the conference is updated. The above is the explanation of FIG.

各クライアント端末100のCPU201は、サーバから通知を受けた、同じ会議に参加している他機のユーザ一覧に基づいて、他機のユーザの会議画像及び音声をサーバ200に要求し、サーバ200が要求に応じて画像や音声を送信することで、図14の1410のように会議画面を表示更新して音声を再生する。 The CPU 201 of each client terminal 100 requests the server 200 for the conference image and voice of the user of the other device based on the list of users of the other devices participating in the same conference, which is notified by the server, and the server 200 requests the server 200. By transmitting an image or a sound in response to a request, the conference screen is displayed and updated as shown in 1410 of FIG. 14, and the sound is reproduced.

次に図5を参照して、本発明の実施形態における入室処理の流れを説明する。 Next, with reference to FIG. 5, the flow of the room entry process in the embodiment of the present invention will be described.

なお、本実施形態の説明においてサーバ200のCPU201は、図4のステップS402において、同じユーザが既にログイン済みであっても当該ユーザを強制ログアウトさせることなく、追加のログイン処理を行って処理をステップS403に移行する。 In the description of the present embodiment, the CPU 201 of the server 200 performs an additional login process and steps the process in step S402 of FIG. 4, even if the same user has already logged in, without forcibly logging out the user. Move to S403.

サーバ200のCPU201は、図4のステップS407において入室要求を受け付けると図5の処理を開始する。 When the CPU 201 of the server 200 receives the entry request in step S407 of FIG. 4, the CPU 201 of the server 200 starts the process of FIG.

サーバ200のCPU201は、ステップS407で受け付けた入室要求に含まれていたユーザIDを特定し(ステップS501)、同一のユーザが入室要求された会議室に入室中か、会議情報810を参照して判定する(ステップS502)。 The CPU 201 of the server 200 identifies the user ID included in the room entry request received in step S407 (step S501), and whether the same user is in the meeting room requested to enter the room or with reference to the meeting information 810. Determination (step S502).

同一ユーザが入室中でない場合、処理を図4のステップS408に移行する。同一ユーザが入室中である場合は処理をステップS503に移行する。 If the same user is not in the room, the process proceeds to step S408 in FIG. If the same user is in the room, the process proceeds to step S503.

サーバ200のCPU201は、図9の920に示すような確認画面の画面情報(html情報)を生成して、入室要求の送信元のクライアント端末100Bに送信する(ステップS503)。 The CPU 201 of the server 200 generates screen information (html information) of the confirmation screen as shown in 920 of FIG. 9 and transmits it to the client terminal 100B of the transmission source of the room entry request (step S503).

当該確認画面920は、既にログイン及び会議室に入室しているユーザの新たな入室要求を受け付けた場合に、新たな入室要求に基づいて、どのように当該ユーザを入室させるかを確認させる画面であり、また、当該新たな入室要求の送信元のクライアント端末を入室後の会議室の電子会議においてどのように機能させるか(どの機能を実行する端末として会議に参加させるか)を確認するための画面である。 The confirmation screen 920 is a screen for confirming how to enter the user based on the new entry request when the user who has already logged in and entered the conference room receives a new entry request. Yes, and to confirm how the client terminal that is the source of the new entry request functions in the electronic conference in the conference room after entering the room (which function is used to participate in the conference). It is a screen.

チェックボックス922は、当該確認画面920を表示しているクライアント端末100Bを子機として会議室に入室させるための選択受付部である。 The check box 922 is a selection reception unit for allowing the client terminal 100B displaying the confirmation screen 920 to enter the conference room as a slave unit.

親機選択受付部923は、子機として入室するにあたり、自機をどの端末子機とするかの選択を受け付ける、つまり親機の選択を受け付ける選択受付部であり、クライアント端末100Bによりログイン要求・入室要求されたユーザIDと同じユーザIDでサーバ200にログインし、入室要求された会議室に同じユーザIDで入室中のクライアント端末を選択可能に表示する一覧表示部である。 The master unit selection reception unit 923 is a selection reception unit that accepts the selection of which terminal slave unit the own unit should be when entering the room as a slave unit, that is, the selection reception unit that accepts the selection of the master unit, and the client terminal 100B requests login. It is a list display unit that logs in to the server 200 with the same user ID as the user ID requested to enter the room, and can selectably display the client terminal entering the room with the same user ID in the conference room requested to enter the room.

本実施形態の説明においては、クライアント端末100AでUser001がサーバ200にログイン済み及びルーム001に入室中であり、クライアント端末100Bから新たにUser001のログイン要求及びルーム001への入室要求を受け付けたものとする。 In the description of the present embodiment, it is assumed that User001 has already logged in to the server 200 and is in room 001 on the client terminal 100A, and has newly received the login request of User001 and the entry request to room 001 from the client terminal 100B. do.

よって、親機選択受付部923には、クライアント端末100Aが選択可能に表示される。 Therefore, the client terminal 100A is displayed on the master unit selection reception unit 923 so as to be selectable.

同じIDで既に入室しているクライアント端末が複数ある場合は、複数の当該クライアント端末が親機選択受付部923に一覧表示されるよう、画面情報を作成する。 If there are a plurality of client terminals already in the room with the same ID, screen information is created so that the plurality of client terminals are listed in the master unit selection reception unit 923.

チェックボックス921は、一般機として会議室に入室するための選択受付部である。一般機とは、親機でも子機でもない端末のことである。一般機として入室を実行した場合は、既に同じユーザIDで入室中のクライアント端末100Aからのユーザの入室及びログインが強制解除され、新たにクライアント端末100Bのユーザを会議室に入室させる。 The check box 921 is a selection reception unit for entering the conference room as a general machine. A general device is a terminal that is neither a master unit nor a slave unit. When entering the room as a general machine, the entry and login of the user who has already entered the room with the same user ID is forcibly canceled, and the user of the client terminal 100B is newly entered into the conference room.

クライアント端末100Bは当該確認画面920の画面情報を受信して表示画面に表示する(ステップS504)。そして、当該確認画面920においてユーザ操作を受け付ける(ステップS505)。 The client terminal 100B receives the screen information of the confirmation screen 920 and displays it on the display screen (step S504). Then, the user operation is accepted on the confirmation screen 920 (step S505).

例えば、「一般機として入室する」の選択を受け付けた状態で「OK」ボタンの押下を受け付けることで、一般機としての入室要求の操作を受け付けたものとする。 For example, it is assumed that the operation of the entry request as a general machine is accepted by accepting the pressing of the "OK" button in the state of accepting the selection of "enter the room as a general machine".

例えば、「子機として入室する」の選択を受け付けた状態で、親機の選択を受け付け、「OK」ボタンの押下を受け付けることで、選択されている親機の子機としての入室要求の操作を受け付けたものとする。 For example, by accepting the selection of the master unit and pressing the "OK" button while accepting the selection of "Enter as a slave unit", the operation of the room entry request as the slave unit of the selected master unit is accepted. Is accepted.

クライアント端末100BのCPU201は、自機の備える機能(カメラ、マイク、スピーカ)の全てをオフに設定し(ステップS506)、ステップS505で受け付けた操作の内容をサーバ200に送信する(ステップS507)。 The CPU 201 of the client terminal 100B sets all the functions (camera, microphone, speaker) of its own device to off (step S506), and transmits the contents of the operation received in step S505 to the server 200 (step S507).

各クライアント端末100は、自機のカメラ、マイク、スピーカ機能のオン/オフを、自機のメモリ上に記憶されている、図8の機能設定850に示す設定テーブルで管理している。機能をオンにする場合、対象の機能名851のON/OFF852をONに設定する。機能をオフにする場合、対象の機能名851のON/OFF852をOFFに設定する。 Each client terminal 100 manages on / off of the camera, microphone, and speaker functions of its own unit by the setting table shown in the function setting 850 of FIG. 8 stored in the memory of its own unit. When the function is turned on, ON / OFF 852 of the target function name 851 is set to ON. When the function is turned off, ON / OFF 852 of the target function name 851 is set to OFF.

サーバ200のCPU201は、ステップS505でクライアント端末100Bが受け付けた操作内容の情報を受信し、子機として会議室(例:room001)に入室する操作を受け付けたか判定する(ステップS508)。 The CPU 201 of the server 200 receives the information on the operation content received by the client terminal 100B in step S505, and determines whether or not the operation of entering the conference room (example: room001) as a slave unit is accepted (step S508).

一般機として入室する操作を受け付けた場合は、入室先の会議室内の、クライアント端末100Bのユーザ(例:User001)と同じユーザ(クライアント端末100AのUser001)をログアウトさせ、処理を図4のステップS408に移行する。 When the operation of entering the room as a general machine is accepted, the same user (User001 of the client terminal 100A) as the user of the client terminal 100B (example: User001) in the conference room of the entry destination is logged out, and the process is performed in step S408 of FIG. Move to.

なお、一般機として入室処理を行った場合、サーバ200のCPU201は、会議情報810における当該入室したユーザのデータの入室通知816に「全機」を挿入して記憶する。 When the room entry process is performed as a general machine, the CPU 201 of the server 200 inserts and stores "all machines" in the room entry notification 816 of the data of the user who entered the room in the conference information 810.

また、「キャンセル」ボタンの押下を受け付けた場合は、ステップS402においてログインしたユーザ(クライアント端末100BのUser001)をサーバ200からログアウトさせる。 When the press of the "Cancel" button is accepted, the user logged in in step S402 (User001 of the client terminal 100B) is logged out from the server 200.

入室通知816は、当該入室通知816のデータのユーザが入室したことを、会議に参加中のどの端末に通知するかを定めるデータである。 The room entry notification 816 is data that determines which terminal participating in the conference is notified that the user of the data of the room entry notification 816 has entered the room.

サーバ200のCPU201は、入室通知816に設定した内容に従って、一般機として入室したクライアント端末100の入室の通知を同じ会議に参加中の全機に送信する。 The CPU 201 of the server 200 transmits a notification of entry of the client terminal 100, which has entered the room as a general machine, to all the machines participating in the same conference according to the contents set in the room entry notification 816.

一方、子機として入室する操作を受け付けたと判定した場合は、処理をステップS509に移行する。 On the other hand, if it is determined that the operation of entering the room as a slave unit has been accepted, the process proceeds to step S509.

サーバ200のCPU201は、子機として入室する操作を受け付けたと判定した場合に、クライアント端末100Bを子機として対象の会議室に入室させることを決定し、クライアント端末100Bの端末IDをメモリ上に保持する(ステップS509)。 When the CPU 201 of the server 200 determines that the operation of entering the room as a slave unit is accepted, the CPU 201 determines that the client terminal 100B is to be entered into the target conference room as the slave unit, and holds the terminal ID of the client terminal 100B in the memory. (Step S509).

また、確認画面920において選択された親機をクライアント端末100Bの親機とすることを決定し、親機の端末IDをメモリ上に保持する。ここでは親機としてクライアント端末100Aが選択されたものとする(ステップS510)。 Further, it is determined that the master unit selected on the confirmation screen 920 is the master unit of the client terminal 100B, and the terminal ID of the master unit is held in the memory. Here, it is assumed that the client terminal 100A is selected as the master unit (step S510).

サーバ200のCPU201は、当該親機と子機の端末IDを対応付けてメモリ上に記憶する(ステップS511)。具体的には、図8の親子情報840の親機ID841にクライアント端末100Aの値を記録し、子機ID842にクライアント端末100Bの値を記録する。親子情報840は、会議ID作成時点において、会議IDごとに、サーバ200がメモリ上に作成するテーブルである。 The CPU 201 of the server 200 associates the terminal IDs of the master unit and the slave unit and stores them in the memory (step S511). Specifically, the value of the client terminal 100A is recorded in the master unit ID 841 of the parent-child information 840 of FIG. 8, and the value of the client terminal 100B is recorded in the slave unit ID 842. The parent-child information 840 is a table created on the memory by the server 200 for each conference ID at the time of creating the conference ID.

子機機能843は、親機ID841と子機ID842の端末の関係において、子機が何の機能を実行する端末として指定されているかを示す。子機機能843には現時点では値は挿入されていない。 The slave unit function 843 indicates what function the slave unit is designated as a terminal in the relationship between the master unit ID 841 and the terminal of the slave unit ID 842. No value has been inserted into the handset function 843 at this time.

サーバ200のCPU201は、クライアント端末100のUser001を入室先の会議室であるroom001に入室させる(ステップS512)。入室後の会議情報の一例を図8の810に示す。 The CPU 201 of the server 200 causes the User001 of the client terminal 100 to enter the room001, which is the conference room of the entry destination (step S512). An example of the meeting information after entering the room is shown in FIG. 810.

子機としての入室処理の場合、サーバ200のCPU201は、会議情報810における当該入室したユーザのデータの入室通知816に「親機のみ」を挿入して記憶する。 In the case of the room entry process as a slave unit, the CPU 201 of the server 200 inserts and stores "only the master unit" in the room entry notification 816 of the data of the user who entered the room in the conference information 810.

サーバ200のCPU201は、入室通知816に設定した内容に従って、クライアント端末100Aの子機として入室したクライアント端末100の入室の通知を、親機であるクライアント端末100Aにのみ送信する(ステップS513/非表示制御手段に該当)。 The CPU 201 of the server 200 transmits a notification of entry of the client terminal 100 that has entered the room as a slave unit of the client terminal 100A only to the client terminal 100A which is the master unit according to the contents set in the entry notification 816 (step S513 / non-display). Corresponds to control means).

つまり、親機以外には、同じユーザが2つの端末から入室していることを通知しない。 That is, it does not notify that the same user has entered the room from two terminals other than the master unit.

入室が通知されていない他の端末は、新たにクライアント端末100BのUser001が入室したことが分からないため、後述する図7の処理でクライアント端末100BのUser001の画像及び音声の要求をすることがなく、また、そもそもクライアント端末100AのUser001の表示領域とクライアント端末100BのUser001の表示領域が個別に生成・会議画面に表示されることもなくなる。 Other terminals that have not been notified of entering the room do not know that User001 of the client terminal 100B has newly entered the room, so that the image and sound of User001 of the client terminal 100B are not requested by the process of FIG. 7 described later. Further, in the first place, the display area of User001 of the client terminal 100A and the display area of User001 of the client terminal 100B are not individually generated and displayed on the conference screen.

なお、当該通知は図10に示す機能選択画面1000の表示指示を含むものとする。例えば、サーバ200のCPU201は、当該機能選択画面1000の画面情報(html)を作成してクライアント端末100Aに送信する。 The notification shall include the display instruction of the function selection screen 1000 shown in FIG. For example, the CPU 201 of the server 200 creates screen information (html) of the function selection screen 1000 and transmits it to the client terminal 100A.

機能選択画面1000は、子機として入室したクライアント端末100Bを、何の機能を実行する端末として動作させるかを、親機においてユーザに選択させる画面である。 The function selection screen 1000 is a screen that allows the user to select on the master unit what function the client terminal 100B, which has entered the room as a slave unit, is to be operated as a terminal.

1001、1002、1003は、それぞれカメラ、マイク、スピーカとして機能させる端末または自機に搭載・接続された専用のデバイス(カメラ、マイク、スピーカ)を選択するための領域である。 1001, 1002, and 1003 are areas for selecting a terminal to function as a camera, a microphone, and a speaker, or a dedicated device (camera, microphone, speaker) mounted on and connected to the own device, respectively.

サーバ200は、1001、1002、1003において、それぞれプルダウンで子機、専用のデバイスを選択可能に表示できるよう画面を生成している。機能を実行するデバイスの選択の様子を1010及び1020に示す。 The server 200 generates a screen on 1001, 1002, and 1003 so that a slave unit and a dedicated device can be selected and displayed by pulling down, respectively. 1010 and 1020 show how to select a device to perform a function.

1004は、1001で選択されたカメラとして機能させる子機またはデバイスで撮影中の映像を表示する表示部である。 Reference numeral 1004 is a display unit that displays an image being photographed by the slave unit or device that functions as the camera selected in 1001.

「OK」ボタン1005は、1001、1002、1003において選択された内容を確定するためのボタンである。つまり、どの端末をカメラ、マイク、スピーカの機能を実行する端末とするかを、親機の操作で決定するためのボタンである。 The "OK" button 1005 is a button for confirming the contents selected in 1001, 1002, and 1003. In other words, it is a button for determining which terminal is the terminal that executes the functions of the camera, microphone, and speaker by operating the master unit.

図5の説明に戻る。クライアント端末100AのCPU201は、自機と同じユーザで入室が実行された子機のIDの通知を受け付け、また、機能選択画面1000の表示指示を受け付ける(ステップS514)。 Returning to the description of FIG. The CPU 201 of the client terminal 100A receives the notification of the ID of the slave unit whose entry has been executed by the same user as the own unit, and also receives the display instruction of the function selection screen 1000 (step S514).

クライアント端末100AのCPU201は、受け付けた指示に含まれる画面情報に従って、機能選択画面1000を表示する(ステップS515)。 The CPU 201 of the client terminal 100A displays the function selection screen 1000 according to the screen information included in the received instruction (step S515).

クライアント端末100AのCPU201は、機能選択画面1000において、どの端末・デバイスを、どの機能を実行する端末とするかの選択操作を受け付ける(ステップS516)。 On the function selection screen 1000, the CPU 201 of the client terminal 100A accepts a selection operation of which terminal / device is the terminal to execute which function (step S516).

例えば、本実施形態の説明においては、カメラとして機能させる端末として、子機のクライアント端末100Bの選択を受け付け、マイク及びスピーカとして機能させる端末としてクライアント端末100A自身(クライアント端末100Aに搭載されているマイク及びスピーカ)の選択を受け付けたものとする。 For example, in the description of the present embodiment, the client terminal 100A itself (the microphone mounted on the client terminal 100A) itself (the microphone mounted on the client terminal 100A) is accepted as the terminal that accepts the selection of the client terminal 100B of the slave unit as the terminal that functions as a camera and functions as a microphone and a speaker. And speaker) selection is accepted.

クライアント端末100AのCPU201は、子機で実行する機能として「カメラ」が指定された旨の情報を、子機においてカメラの機能を有効にするべく、サーバ200に送信する(ステップS517)。また、自機に搭載されているカメラの機能をオフに設定する。 The CPU 201 of the client terminal 100A transmits information to the effect that the "camera" is specified as a function to be executed by the slave unit to the server 200 in order to enable the function of the camera in the slave unit (step S517). Also, set the function of the camera installed in your device to off.

サーバ200のCPU201は、子機で実行する機能として「カメラ」が指定された旨の情報を受け付け、親子情報840の子機機能843に「カメラ」の値を記憶する。(ステップS518)。 The CPU 201 of the server 200 receives the information that the "camera" is designated as the function to be executed by the slave unit, and stores the value of the "camera" in the slave unit function 843 of the parent-child information 840. (Step S518).

サーバ200のCPU201は、子機であるクライアント端末100Bに対して、「カメラ」の機能を有効にするよう通知する(ステップS519)。 The CPU 201 of the server 200 notifies the client terminal 100B, which is a slave unit, to enable the "camera" function (step S519).

クライアント端末100BのCPU201は当該通知を受け付け(ステップS520)、通知された機能を有効にする(ステップS521)。ここでは「カメラ」の機能をオンに設定する。 The CPU 201 of the client terminal 100B accepts the notification (step S520) and enables the notified function (step S521). Here, the "camera" function is set to on.

また、サーバ200のCPU201は、親機であるクライアント端末100Aに対して、画面の表示更新指示を送信する。例えば、図11の1100に示すように、子機となったクライアント端末100Bを識別表示し、クライアント端末100Aがその親機となったことを識別表示する会議画面の画面情報を生成してクライアント端末100Aに送信する(ステップS522)。 Further, the CPU 201 of the server 200 transmits a screen display update instruction to the client terminal 100A which is the master unit. For example, as shown in 1100 of FIG. 11, the client terminal 100B that has become a slave unit is identified and displayed, and the screen information of the conference screen that identifies and displays that the client terminal 100A has become the master unit is generated and the client terminal is generated. It is transmitted to 100A (step S522).

図11の調整ボタン1101は、子機のカメラ、マイク、スピーカの質を調整するための機能調整画面1201(図12に図示)を表示するためのボタンであり、当該画面を表示する端末が、他の端末の親機になっていることを示す識別情報である。 The adjustment button 1101 in FIG. 11 is a button for displaying the function adjustment screen 1201 (shown in FIG. 12) for adjusting the quality of the camera, microphone, and speaker of the slave unit, and the terminal displaying the screen is a button. It is identification information indicating that it is a master unit of another terminal.

クライアント端末100Aは、会議画面1100を受信して表示画面に表示する(ステップS523)。 The client terminal 100A receives the conference screen 1100 and displays it on the display screen (step S523).

また、サーバ200のCPU201は、子機であるクライアント端末100Bに対して、画面の表示更新指示を送信する。例えば、図11の1120に示すように、親機となったクライアント端末100Aを識別表示し、クライアント端末100Bがその子機となったことを識別表示する会議画面の画面情報を生成してクライアント端末100Bに送信する(ステップS524)。 Further, the CPU 201 of the server 200 transmits a screen display update instruction to the client terminal 100B which is a slave unit. For example, as shown in 1120 of FIG. 11, the client terminal 100A that has become the master unit is identified and displayed, and the screen information of the conference screen that identifies and displays that the client terminal 100B has become the slave unit is generated and the client terminal 100B is generated. (Step S524).

クライアント端末100Bは、会議画面1120を受信して表示画面に表示する(ステップS525)。 The client terminal 100B receives the conference screen 1120 and displays it on the display screen (step S525).

なお、親機にも子機にもなっていない他のクライアント端末100(例:100C,100D)には、1110のような、従来どおりの会議画面が表示されている。但し、User001の会議画像を撮影するカメラが、クライアント端末100Aからクライアント端末100Bに変更されている場合、User001の表示領域にはクライアント端末100Bのカメラで撮影された会議画像が表示されることとなる。以上が図5の説明である。 It should be noted that another client terminal 100 (eg, 100C, 100D) that is neither a master unit nor a slave unit displays a conventional conference screen such as 1110. However, when the camera that captures the conference image of User001 is changed from the client terminal 100A to the client terminal 100B, the conference image captured by the camera of the client terminal 100B is displayed in the display area of User001. .. The above is the explanation of FIG.

次に図6を参照して、本発明の実施形態における、画像及び音声のサーバへの送受信処理の流れについて説明する。 Next, with reference to FIG. 6, the flow of transmission / reception processing of images and sounds to the server in the embodiment of the present invention will be described.

図6の処理は、クライアント端末100によるユーザの会議室への入室が完了したタイミングから開始・実行される。 The process of FIG. 6 is started and executed from the timing when the user's entry into the conference room by the client terminal 100 is completed.

図6の説明においては、クライアント端末100Bがクライアント端末100Aの子機であり、カメラ端末として動作する端末として入室していることを想定して説明する。 In the description of FIG. 6, it is assumed that the client terminal 100B is a slave unit of the client terminal 100A and is entered as a terminal operating as a camera terminal.

クライアント端末100AのCPU201は、自機で有効になっている機能を特定する。ここではマイク機能が有効になっていると特定する(ステップS601)。 The CPU 201 of the client terminal 100A identifies a function that is enabled in the own machine. Here, it is specified that the microphone function is enabled (step S601).

クライアント端末100AのCPU201は、会議終了までの間、所定の時間間隔ごとにステップS603の処理を繰り返す(ステップS602)。例えば0.5秒毎に繰り返す。 The CPU 201 of the client terminal 100A repeats the process of step S603 at predetermined time intervals until the end of the conference (step S602). For example, repeat every 0.5 seconds.

クライアント端末100AのCPU201は、自機のマイクから入力されている音声情報を取得し、サーバ200に送信する(ステップS603)。 The CPU 201 of the client terminal 100A acquires the voice information input from the microphone of the client terminal 100A and transmits it to the server 200 (step S603).

サーバ200のCPU201は音声情報を受信し(ステップS621)、音声の送受信に際して張られたセッションの情報から送信元の端末IDを特定する(ステップS622)。 The CPU 201 of the server 200 receives the voice information (step S621), and specifies the terminal ID of the transmission source from the information of the session stretched when transmitting and receiving the voice (step S622).

サーバ200のCPU201は、親子情報840を参照して、特定された音声の送信元の端末が子機か判定する(ステップS623)。子機でない場合は処理をステップS626に移行し、受信した音声情報を、音声送信元の端末のユーザの音声キュー(不図示)に記憶する(ステップS626)。 The CPU 201 of the server 200 refers to the parent-child information 840 and determines whether the terminal of the specified voice transmission source is the slave unit (step S623). If it is not a slave unit, the process proceeds to step S626, and the received voice information is stored in the voice queue (not shown) of the user of the terminal of the voice transmission source (step S626).

音声キューは所定の時間間隔ごとの音声の情報を、シーケンス番号と、ユーザIDと、当該音声を配信した送信先のユーザを管理する情報である。つまり、図8の830に示す画像キューの画像833の代わりに音声情報を記憶・管理する情報である。音声キューは、会議に入室している端末ごとにサーバ200がメモリ上に作成・管理する。 The voice queue is information that manages voice information at predetermined time intervals, a sequence number, a user ID, and a destination user who has delivered the voice. That is, it is information for storing and managing voice information instead of the image 833 of the image queue shown in FIG. 830. The voice queue is created and managed in the memory by the server 200 for each terminal entering the conference.

音声の送信元の端末が子機である場合、サーバ200のCPU201は、当該送信元の端末が、マイク機能を実行する端末として指定されているか、子機機能843を参照して判定する(ステップS624)。 When the terminal of the voice transmission source is a slave unit, the CPU 201 of the server 200 determines whether the terminal of the transmission source is designated as a terminal for executing the microphone function by referring to the slave unit function 843 (step). S624).

マイク機能を実行する端末として指定されている場合には、処理をステップS625に移行し、受信した音声情報を、クライアント端末100A(親機)のユーザの音声キューに記憶する(ステップS625)。マイク機能を実行する端末として指定されていない場合には、音声の記憶をすることなく処理を終了する。 When designated as a terminal for executing the microphone function, the process proceeds to step S625, and the received voice information is stored in the voice queue of the user of the client terminal 100A (master unit) (step S625). If it is not specified as a terminal that executes the microphone function, the process ends without storing the voice.

クライアント端末100BのCPU201は、自機で有効になっている機能を特定する。ここではカメラ機能が有効になっていると特定する(ステップS611)。 The CPU 201 of the client terminal 100B identifies a function that is enabled in the own machine. Here, it is specified that the camera function is enabled (step S611).

クライアント端末100BのCPU201は、会議終了までの間、自機のカメラで撮像するカメラ画像1フレームごとにステップS613〜S615の処理を繰り返す(ステップS612)。 The CPU 201 of the client terminal 100B repeats the processes of steps S613 to S615 for each frame of the camera image captured by its own camera until the end of the conference (step S612).

クライアント端末100AのCPU201は、カメラからの入力画像(映像)を、ステップS613で会議画面に表示する一方で、映像コーデックによる画像(映像)の圧縮処理を行い、圧縮後の画像を、1フレームごとに、順々に自装置のメモリ上の画像キューに保存・記憶する(ステップS614)。 The CPU 201 of the client terminal 100A displays the input image (video) from the camera on the conference screen in step S613, while compressing the image (video) by the video codec, and compresses the compressed image frame by frame. Then, the images are sequentially saved and stored in the image queue on the memory of the own device (step S614).

画像キューの一例を図8の画像キュー820に示す。画像キュー820は、各画像の識別番号(端末ID)であり、画像の順序を示すシーケンス番号821と、画像の実体(画像データ/映像の中の1フレームの画像)である画像822の項目から構成される。 An example of the image queue is shown in the image queue 820 of FIG. The image queue 820 is an identification number (terminal ID) of each image, and is derived from the sequence number 821 indicating the order of the images and the item of the image 822 which is the actual image (image data / one frame image in the video). It is composed.

クライアント端末100AのCPU201は、自機のカメラから取得した映像の各フレームの画像について、当該画像を取得した順にシーケンス番号を割り振って、画像キュー820に記憶する。 The CPU 201 of the client terminal 100A assigns sequence numbers to the images of each frame of the video acquired from the camera of the client terminal in the order in which the images are acquired, and stores them in the image queue 820.

クライアント端末100AのCPU201は、画像キュー820に保存した画像を、サーバ200に、シーケンス番号と共に順次送信する(ステップS615)。つまり、画像キュー820に示す情報をサーバ200に送信する。 The CPU 201 of the client terminal 100A sequentially transmits the images stored in the image queue 820 to the server 200 together with the sequence number (step S615). That is, the information shown in the image queue 820 is transmitted to the server 200.

サーバ200のCPU201は、当該画像(圧縮データ)を受信し(ステップS627)、画像の送受信に際して張られたセッションの情報から送信元の端末IDを特定する(ステップS628)。 The CPU 201 of the server 200 receives the image (compressed data) (step S627), and identifies the source terminal ID from the session information stretched when transmitting and receiving the image (step S628).

サーバ200のCPU201は、親子情報840を参照して、特定された画像の送信元の端末が子機か判定する(ステップS628)。 The CPU 201 of the server 200 refers to the parent-child information 840 and determines whether the terminal that is the source of the specified image is the slave unit (step S628).

サーバ200のCPU201は、子機でない場合は処理をステップS632に移行する。ステップS632では、サーバ200のCPU201は、自装置のメモリ上に保持している、当該画像の送信元のクライアント端末100A(端末ID)での入室ユーザの画像キュー830に追加して記憶する(ステップS632)。 If the CPU 201 of the server 200 is not a slave unit, the process proceeds to step S632. In step S632, the CPU 201 of the server 200 is added to and stored in the image queue 830 of the user entering the room at the client terminal 100A (terminal ID) that is the source of the image, which is held in the memory of the own device (step S632). S632).

サーバ200のCPU201は、ユーザの会議室への入室処理が行われた場合に、当該ユーザの端末ごとに会議画像キューを生成してメモリ上に保持する。 When the user enters the conference room, the CPU 201 of the server 200 generates a conference image queue for each terminal of the user and holds it in the memory.

当該サーバ200のメモリ上の画像キュー830には、クライアント端末100より受信した、画像キュー820のシーケンス番号821、画像822と同じ情報を対応付けて記憶する。 The image queue 830 on the memory of the server 200 stores the same information as the sequence numbers 821 and the image 822 of the image queue 820 received from the client terminal 100 in association with each other.

画像の送信元の端末が子機である場合、サーバ200のCPU201は、当該送信元の端末が、カメラ機能を実行する端末として指定されているか、子機機能843を参照して判定する(ステップS630)。 When the terminal of the image transmission source is a slave unit, the CPU 201 of the server 200 determines whether the terminal of the transmission source is designated as a terminal for executing the camera function by referring to the slave unit function 843 (step). S630).

カメラ機能を実行する端末として指定されている場合には、処理をステップS631に移行し、受信した画像を、親機のユーザの画像キュー830に記憶する(ステップS631)。 When designated as a terminal for executing the camera function, the process proceeds to step S631 and the received image is stored in the image queue 830 of the user of the master unit (step S631).

カメラ機能を実行する端末として指定されていない場合には、画像の記憶をすることなく処理を終了する。以上が図6の説明である。 If it is not specified as a terminal that executes the camera function, the process ends without storing the image. The above is the explanation of FIG.

次に図7を参照して、本発明の実施形態における、サーバからの画像及び音声の取得処理の流れについて説明する。 Next, with reference to FIG. 7, the flow of the image and sound acquisition processing from the server in the embodiment of the present invention will be described.

図7のステップS701以下及びステップS711以下の処理は、サーバ200がユーザの入室処理を完了し、クライアント端末100がサーバ200から入室完了の通知を受け付けた時点から繰り返し実行する。入室完了の通知を受け付けた時点とは、例えば会議画像の受信時点である。 The processes of step S701 or less and step S711 or less in FIG. 7 are repeatedly executed from the time when the server 200 completes the user's entry process and the client terminal 100 receives the notification of the entry completion from the server 200. The time when the notification of the completion of entering the room is received is, for example, the time when the conference image is received.

なお、ステップS711以下の処理は、クライアント端末100がサーバ200から受信した、当該クライアント端末100のユーザと同じ会議室に入室しているユーザ一覧に基づいて、当該一覧内のユーザを対象として実行される。 The process of step S711 or less is executed for the users in the list based on the user list received from the server 200 by the client terminal 100 and entering the same conference room as the user of the client terminal 100. NS.

以下、音声の送受信及び再生処理について説明する。 Hereinafter, audio transmission / reception and reproduction processing will be described.

クライアント端末100のCPU201は、自機のスピーカ機能が有効な場合には、ステップS701〜S706の処理を繰り返し実行する。 The CPU 201 of the client terminal 100 repeatedly executes the processes of steps S701 to S706 when the speaker function of the client terminal 100 is valid.

クライアント端末100のCPU201は、他の会議参加者の音声(同じ会議室に入室している他の入室者のユーザIDの音声キューの音声)の取得要求をサーバ200に送信する(ステップS701)。当該要求には、クライアント端末100でサーバ200にログイン中のユーザIDを含めるものとする。 The CPU 201 of the client terminal 100 transmits a request for acquiring the voice of another conference participant (voice of the voice queue of the user ID of another occupant who is in the same conference room) to the server 200 (step S701). The request shall include the user ID logged in to the server 200 on the client terminal 100.

サーバ200のCPU201は当該取得要求を受け付け(ステップS702)、要求元のクライアント端末100でのログインユーザ以外の、当該ログインユーザと同じ会議室に入室中のユーザのユーザIDを、会議情報810を参照して特定する。 The CPU 201 of the server 200 accepts the acquisition request (step S702), and refers to the user ID of a user who is in the same conference room as the logged-in user other than the login user at the requesting client terminal 100, and refers to the conference information 810. To identify.

そして、特定した他の入室者の音声キューの音声のうち、画像の要求元のクライアント端末100に未送信の、最新のシーケンス番号(最も後ろの番号)の音声を取得して合成し(ステップS703)、合成した音声を要求元のクライアント端末100に送信する(ステップS704)。なお、同じユーザで子機と親機の音声キューが存在する場合、親機の音声キューに記憶されている音声を合成に用いる。 Then, among the voices of the voice queues of other identified occupants, the voice of the latest sequence number (latest number) that has not been transmitted to the client terminal 100 that requested the image is acquired and synthesized (step S703). ), The synthesized voice is transmitted to the requesting client terminal 100 (step S704). If the same user has a voice queue for the slave unit and the master unit, the voice stored in the voice queue for the master unit is used for synthesis.

また、合成に用いた各音声に対応付けて、音声を送信した送信先のクライアント端末100で入室中のユーザIDを、送信済みユーザの情報として記憶する。 Further, the user ID in the room at the transmission destination client terminal 100 to which the voice is transmitted is stored as the information of the transmitted user in association with each voice used for the synthesis.

クライアント端末100のCPU201は、ステップS708で送信された音声情報を受信し(ステップS705)、スピーカで再生する(ステップS706)。 The CPU 201 of the client terminal 100 receives the voice information transmitted in step S708 (step S705) and reproduces it on the speaker (step S706).

クライアント端末100のCPU201は、受信した音声情報を順次再生するものとする。 The CPU 201 of the client terminal 100 shall sequentially reproduce the received voice information.

以下、画像の送受信及び表示処理について説明する。 Hereinafter, image transmission / reception and display processing will be described.

クライアント端末100のCPU201は、他の会議参加者のうち所定のユーザを特定し、当該ユーザの会議画像の取得要求をサーバ200に送信する(ステップS711)。例えば、現在会議画面に表示されている表示領域を特定し、その表示領域に対応するユーザの会議画像をサーバに要求する。 The CPU 201 of the client terminal 100 identifies a predetermined user among other conference participants, and transmits a request for acquiring the conference image of the user to the server 200 (step S711). For example, the display area currently displayed on the conference screen is specified, and the conference image of the user corresponding to the display area is requested from the server.

当該画像の取得要求には、クライアント端末100でサーバ200にログイン中のユーザIDを含めるものとする。 The image acquisition request includes the user ID logged in to the server 200 on the client terminal 100.

サーバ200のCPU201は当該取得要求を受け付け(ステップS712)、要求元のクライアント端末100でのログインユーザ以外の、当該ログインユーザと同じ会議室に入室中のユーザのユーザIDであって、要求を受けたユーザのユーザIDを、会議情報810を参照して特定する。そして、取得要求を受け付けたユーザの会議画像を特定する。 The CPU 201 of the server 200 receives the acquisition request (step S712), and receives the request with the user ID of a user who is in the same conference room as the logged-in user other than the logged-in user at the requesting client terminal 100. The user ID of the user is specified by referring to the conference information 810. Then, the conference image of the user who received the acquisition request is specified.

特定した他の入室者の画像キューの画像のうち、画像の要求元のクライアント端末100に未送信の、最新のシーケンス番号(最も後ろの番号)の画像を取得し(ステップS713)、取得した会議画像を、当該画像に対応するユーザIDと共に要求元のクライアント端末100に送信する(ステップS714)。 Among the images in the image queue of other occupants identified, the image of the latest sequence number (latest number) that has not been transmitted to the client terminal 100 that requested the image is acquired (step S713), and the acquired conference is obtained. The image is transmitted to the requesting client terminal 100 together with the user ID corresponding to the image (step S714).

なお、同じユーザで子機と親機の画像キューが存在する場合、親機の画像キューに記憶されている画像を取得し、送信するものとする。 If the same user has an image queue for the slave unit and the master unit, the image stored in the image queue for the master unit shall be acquired and transmitted.

また、画像を送信した送信先のクライアント端末100で入室中のユーザIDを、送信済みユーザ834に記憶する(ステップS715)。 Further, the user ID in the room of the transmission destination client terminal 100 to which the image is transmitted is stored in the transmitted user 834 (step S715).

クライアント端末100のCPU201は、ステップS715で送信された画像(圧縮データ)を受信し(ステップS716)、映像コーデックによる伸長処理を行って映像(画像)を復元して、表示中の会議画面に表示する(ステップS717)。 The CPU 201 of the client terminal 100 receives the image (compressed data) transmitted in step S715 (step S716), performs decompression processing by the video codec to restore the video (image), and displays it on the displayed conference screen. (Step S717).

例えば、各ユーザの会議画像を対応する表示領域の番号に割り当ててメモリ上に記憶し、図14の会議画面1410のように表示する。どの表示領域にどのユーザの画像を表示するかの対応付け情報(表示領域のIDとユーザIDを対応付けた情報)は、クライアント端末100のメモリに記憶されているものとする。 For example, the conference image of each user is assigned to the number of the corresponding display area, stored in the memory, and displayed as shown in the conference screen 1410 of FIG. It is assumed that the correspondence information (information in which the ID of the display area and the user ID are associated) for displaying the image of which user in which display area is stored in the memory of the client terminal 100.

クライアント端末100のCPU201は、受信した各ユーザの画像(会議画像)を、それぞれの画像のユーザに対応する表示領域に順次表示・更新し、動画像(映像)として再生・表示する。 The CPU 201 of the client terminal 100 sequentially displays / updates the received image (meeting image) of each user in the display area corresponding to the user of each image, and reproduces / displays it as a moving image (video).

ウェブ会議を行う場合、実際には、複数のクライアント端末100が存在する場合があるため、サーバ200のCPU201は、ステップS712〜S715を会議室に入室中の、カメラ機能が有効なクライアント端末100の数だけ実行することとなる。以上が図7の説明である。 When conducting a web conference, there may actually be a plurality of client terminals 100. Therefore, the CPU 201 of the server 200 is the client terminal 100 having a camera function enabled while the steps S712 to S715 are in the conference room. It will be executed as many times as there are. The above is the explanation of FIG.

なお、親機であるクライアント端末100Aにおいては、図11の1101の選択操作を受け付けることで、図12の1200に示す、機能調整画面1201を表示し、スライドバーに対する操作に応じて、各デバイスの機能を実行している端末にサーバ200を介して音量や画質の変更指示を送信する。当該指示を受け付けた端末(例えばクライアント端末100B)が、指示に応じて音量・画質を変更することができる。 The client terminal 100A, which is the master unit, accepts the selection operation of 1101 of FIG. 11 to display the function adjustment screen 1201 shown in 1200 of FIG. 12, and responds to the operation of the slide bar of each device. An instruction to change the volume or image quality is transmitted to the terminal executing the function via the server 200. The terminal that receives the instruction (for example, the client terminal 100B) can change the volume and image quality according to the instruction.

「詳細設定」ボタン1202の押下を受け付けた場合は、機能選択画面1000を表示するものとする。 When the "detailed setting" button 1202 is accepted, the function selection screen 1000 is displayed.

つまり、子機の機能に関して操作可能な画面を生成して親機に送信して表示させる(操作制御手段に該当)。 In other words, an operable screen for the functions of the slave unit is generated and sent to the master unit for display (corresponding to the operation control means).

また、上述した実施形態においては、どの端末を親機とするかを選択させるものとしたが、例えばサーバ200が自動で親機を選択するようにしてもよい。具体的には、入室要求を受け付けたユーザが入室先の会議室に入室している場合、入室中の当該同じユーザIDのユーザの端末のうち、最初に会議室に入室している(データの保存日時が最も古い)ユーザのクライアント端末100を親機としてステップS509で決定する。 Further, in the above-described embodiment, which terminal is used as the master unit is selected, but for example, the server 200 may automatically select the master unit. Specifically, when the user who has received the entry request is in the conference room of the entrance destination, the terminal of the user with the same user ID who is entering the room is the first to enter the conference room (data). The user's client terminal 100 (which has the oldest save date and time) is used as the master unit, and the determination is made in step S509.

また、既に複数の同一IDのユーザが1つの会議室に入室している場合、親子情報840を参照し、親機となっているクライアント端末100を、新たに入室要求を受け付けたユーザのクライアント端末の親機として決定するようにしてもよい。例えば、クライアント端末100Aが親機、クライアント端末100Bが子機であり、User001として入室している会議室に対し、クライアント端末100CからUser001の入室要求を受け付けた場合、クライアント端末100Cをクライアント端末100Aの子機として決定する。 Further, when a plurality of users having the same ID have already entered one conference room, the client terminal 100 which is the master unit is referred to the parent-child information 840, and the client terminal of the user who newly receives the entry request is used. It may be decided as the master unit of. For example, when the client terminal 100A is a master unit and the client terminal 100B is a slave unit, and a request to enter User001 is received from the client terminal 100C to the conference room which is entered as User001, the client terminal 100C is used as the client terminal 100A. Determined as a slave unit.

また、上述した説明においては、子機としてログイン・入室したクライアント端末100Bをどの機能を実行する端末とするかを選択させるものとしたが、例えば、図13の確認画面1300を確認画面920の代わりとし、クライアント端末100Bにおいて、自機をどの機能を実行する子機として会議に参加させるかを選択させるようにしてもよい。 Further, in the above description, the client terminal 100B logged in / entered as a slave unit is used to select which function is to be executed. For example, the confirmation screen 1300 in FIG. 13 is used instead of the confirmation screen 920. Then, the client terminal 100B may be allowed to select which function the own device is to participate in the conference as a slave device to execute.

具体的には、図5のステップS503でサーバ200のCPU201が確認画面1300の画面情報を生成してクライアント端末100Bに送信する。 Specifically, in step S503 of FIG. 5, the CPU 201 of the server 200 generates the screen information of the confirmation screen 1300 and transmits it to the client terminal 100B.

クライアント端末100Bは当該確認画面1300を表示画面に表示し、ステップS505で、前述した子機として入室する操作に加えて、1301に示す機能選択受付部に対する、自機をどの機能の端末として会議室に入室させるかの選択操作を受け付ける。そして操作内容をサーバ200に送信する。 The client terminal 100B displays the confirmation screen 1300 on the display screen, and in step S505, in addition to the operation of entering the room as the slave unit described above, the conference room has its own unit as the terminal of which function for the function selection reception unit shown in 1301. Accepts the selection operation of whether to enter the room. Then, the operation content is transmitted to the server 200.

サーバ200のCPU201は、ステップS508〜S512の処理を実行し、ステップS513及びS518の処理をスキップして、ステップS519で、子機として入室したクライアント端末100Bに対して、機能選択受付部1301で選択を受け付けていた機能を有効にするよう通知(指示)する。 The CPU 201 of the server 200 executes the processes of steps S508 to S512, skips the processes of steps S513 and S518, and selects the client terminal 100B that has entered the room as a slave unit in the function selection reception unit 1301 in step S519. Notify (instruct) to enable the function that was accepted.

クライアント端末100Bは当該通知を受け付けて、当該通知に応じて、機能選択受付部1301で選択を受け付けていた機能を有効にする。 The client terminal 100B receives the notification, and in response to the notification, enables the function for which the function selection reception unit 1301 has accepted the selection.

これにより、会議に新たに参加する端末からの操作により、当該端末を所定の機能を実行する機器として容易に利用可能な仕組みを提供することができる。 As a result, it is possible to provide a mechanism that allows the terminal to be easily used as a device that performs a predetermined function by operating from a terminal that newly participates in the conference.

また、機能選択画面1000において、確認画面1300の機能選択受付部1301で選択を受け付けていた機能の端末の子機としてのみ、クライアント端末100Bを選択可能に表示するようにしてもよい。 Further, on the function selection screen 1000, the client terminal 100B may be displayed so as to be selectable only as a slave unit of the terminal of the function whose selection has been accepted by the function selection reception unit 1301 of the confirmation screen 1300.

例えば、1301の選択状態に従えば、ステップS513において、機能選択画面1000の1001のプルダウンにクライアント端末100Bを選択可能なように設定し、1002及び1003には設定せずに機能選択画面1000の画面情報を生成し、クライアント端末100A(親機)に送信する。 For example, according to the selection state of 1301, in step S513, the client terminal 100B is set to be selectable in the pull-down of 1001 of the function selection screen 1000, and the screen of the function selection screen 1000 is set without being set in 1002 and 1003. Information is generated and transmitted to the client terminal 100A (master unit).

当該機能選択画面1000を受信して表示するクライアント端末100Aでは、1001のプルダウンにはクライアント端末100Bが選択可能に表示されるが、1002と1003のプルダウンには表示されない。つまり、子機で指定・選択された機能以外選択できない。 In the client terminal 100A that receives and displays the function selection screen 1000, the client terminal 100B is selectively displayed in the pull-down of 1001, but is not displayed in the pull-down of 1002 and 1003. In other words, only the functions specified / selected by the handset can be selected.

また、子機となるクライアント端末100Bがカメラ機能を備えていない場合、自機がカメラ機能を備えず、マイクとスピーカ機能を備えることをサーバ200に通知することで、サーバ200が、機能選択画面1000の1001においてはクライアント端末100Bを選択不可とし、1002及び1003においてはクライアント端末100Bを選択可能にプルダウンに設定するようにしてもよい。 Further, when the client terminal 100B serving as a slave unit does not have a camera function, the server 200 notifies the server 200 that the own unit does not have a camera function and has a microphone and a speaker function, so that the server 200 can display the function selection screen. In 1001 of 1000, the client terminal 100B may not be selectable, and in 1002 and 1003, the client terminal 100B may be selectably set in the pull-down menu.

これにより、端末の実行可能な機能を絞り込むことで、ユーザによる機能の選択を容易にし、当該端末を所定の機能を実行する機器として容易に利用可能な仕組みを提供することができる。 As a result, by narrowing down the functions that can be executed by the terminal, it is possible to facilitate the selection of the function by the user and provide a mechanism that can easily use the terminal as a device that executes a predetermined function.

また、上述した実施形態においては、音声キュー及び画像キューを、当該音声及び画像の送信元のクライアント端末100ごとに、サーバが生成して管理しているものとしたが、例えば、ユーザごとに音声キュー及び画像キューをメモリ上に生成・記憶して管理してもよい。 Further, in the above-described embodiment, the voice queue and the image queue are generated and managed by the server for each client terminal 100 of the transmission source of the voice and the image, but for example, the voice is generated for each user. Queues and image cues may be generated and stored in memory for management.

この場合、図6のステップS625及びS626の代わりに、音声の受信元の端末のユーザに対応する音声キューに音声を記憶する処理を実行する。また、図6のステップS631及びS632の代わりに、会議画像の受信元の端末のユーザに対応する画像キューに画像を記憶する処理を実行する。 In this case, instead of steps S625 and S626 of FIG. 6, a process of storing the voice in the voice queue corresponding to the user of the terminal of the voice receiving source is executed. Further, instead of steps S631 and S632 in FIG. 6, a process of storing the image in the image queue corresponding to the user of the terminal receiving the conference image is executed.

また、上述した実施形態においては、1度同一ユーザによるサーバ200への2重ログインを許容し、会議室への入室要求を受け付けたタイミングで図5の処理を実行しているが、別のタイミングで実行してもよい。 Further, in the above-described embodiment, the same user is allowed to log in to the server 200 once, and the process of FIG. 5 is executed at the timing when the request for entering the conference room is received, but at another timing. You may execute it with.

例えば既にサーバ200にログインしているログインユーザと同じユーザIDによるログイン要求を受け付けた場合に、当該ログインユーザの参加している会議(入室している会議室)を特定し、当該会議の会議室への入室要求を受け付けたものと判断して、ステップS501の処理を実行するようにしてもよい。例えば確認画面920において「キャンセル」ボタンの押下を受け付けた場合、当該ログイン要求によるログインは行われず、要求は破棄される。これにより、1度ログインを行うことによる処理リソースの消費を防止できる。 For example, when a login request with the same user ID as the logged-in user who has already logged in to the server 200 is received, the conference in which the logged-in user is participating (the conference room in which the user is in) is specified, and the conference room of the conference is specified. It may be determined that the request to enter the room has been accepted, and the process of step S501 may be executed. For example, when the press of the "Cancel" button is accepted on the confirmation screen 920, the login by the login request is not performed and the request is discarded. This makes it possible to prevent the consumption of processing resources due to logging in once.

また、例えばクライアント端末を会議室の中央において専用のマイク・スピーカの代わりとしたり、会議室の端に設置して専用のカメラの代わりとしたりする場合、大型のPCに比べて、持ち運び・設置のし易い携帯端末を用いることが多い。 Also, for example, when a client terminal is used as a substitute for a dedicated microphone / speaker in the center of a conference room, or as a substitute for a dedicated camera by installing it at the edge of a conference room, it is easier to carry and install than a large PC. In many cases, a mobile terminal that is easy to use is used.

よって、例えば、ログイン要求を受け付けた時点で、ログイン要求の要求元のクライアント端末100が携帯端末かを当該クライアント端末100に問合せ、携帯端末であった場合に図4のログイン処理及び図5の子機としての入室処理を実行するようにしてもよい。 Therefore, for example, at the time of receiving the login request, the client terminal 100 inquiring whether the client terminal 100 requesting the login request is a mobile terminal is inquired, and if it is a mobile terminal, the login process of FIG. 4 and the child of FIG. The entry process as a machine may be executed.

以上説明したように、本発明によれば、会議に参加する端末を、ある機能を実行する機器として容易に利用可能な仕組みを提供することができる。 As described above, according to the present invention, it is possible to provide a mechanism that allows a terminal participating in a conference to be easily used as a device that executes a certain function.

尚、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。 It should be noted that the present invention can be, for example, an embodiment as a system, an apparatus, a method, a program, a storage medium, or the like, and specifically, may be applied to a system composed of a plurality of devices. It may be applied to a device consisting of one device.

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 The present invention includes a software program that realizes the functions of the above-described embodiment, which is directly or remotely supplied to a system or an apparatus. The present invention also includes cases where the computer of the system or apparatus can also read and execute the supplied program code.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Therefore, in order to realize the functional processing of the present invention on a computer, the program code itself installed in the computer also realizes the present invention. That is, the present invention also includes the computer program itself for realizing the functional processing of the present invention.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RWなどがある。また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などもある。 Examples of the recording medium for supplying the program include a flexible disk, a hard disk, an optical disk, a magneto-optical disk, MO, a CD-ROM, a CD-R, a CD-RW, and the like. There are also magnetic tapes, non-volatile memory cards, ROMs, DVDs (DVD-ROM, DVD-R) and the like.

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 In addition, as a method of supplying the program, the browser of the client computer is used to connect to the homepage of the Internet. Then, it can also be supplied by downloading the computer program of the present invention itself or a compressed file including an automatic installation function to a recording medium such as a hard disk from the homepage.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from different homepages. That is, the present invention also includes a WWW server that causes a plurality of users to download a program file for realizing the functional processing of the present invention on a computer.

また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, and distributed to users, and the key information for decrypting the encryption is downloaded from the homepage to the user who clears the predetermined conditions. Let me. Then, by using the downloaded key information, it is also possible to execute an encrypted program and install it on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the function of the above-described embodiment is realized by the computer executing the read program. In addition, based on the instruction of the program, the OS or the like running on the computer performs a part or all of the actual processing, and the function of the above-described embodiment can be realized by the processing.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written to the memory provided in the function expansion board inserted in the computer or the function expansion unit connected to the computer. After that, based on the instruction of the program, the function expansion board, the CPU provided in the function expansion unit, or the like performs a part or all of the actual processing, and the function of the above-described embodiment is also realized by the processing.

尚、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。
即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
It should be noted that the above-described embodiments are merely examples of embodiment of the present invention, and the technical scope of the present invention should not be construed in a limited manner by these.
That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.

100A クライアント端末
100B クライアント端末
100C クライアント端末
100D クライアント端末
101 ネットワーク
200 サーバ
100A client terminal 100B client terminal 100C client terminal 100D client terminal 101 network 200 server

本発明は、端末装置、通信システム、その制御方法及びプログラムに関する。
The present invention relates to a terminal device, a communication system, a control method and a program thereof.

本発明は、通信システムに参加する端末装置の機能を、同じユーザーと関連付けられた他の端末から制御することが可能な仕組みを提供することを目的とする。
An object of the present invention is to provide a mechanism capable of controlling the function of a terminal device participating in a communication system from another terminal associated with the same user.

本発明は、第1のユーザーと関連付けられた端末装置であって、複数の情報処理端通信可能に接続される通信システムと通信する通信手段と、前記通信手段によって前記通信システムと接続しており、前記通信システムに前記第1のユーザーと関連付けられた他の末が接続ている場合に、前記他の端末に対して行なわれた操作に基づいて前記端末装置の特定の機能を制御する制御手段と、を備えることを特徴とする。
The present invention is a terminal device associated with the first user, and connect a communication means for communicating with a communication system in which a plurality of information processing terminals end is communicably connected, with the communication system by the communication means in which, when the end other end associated with said first user to said communication system is connected, the particular function of the terminal device based on an operation made to the second terminal It is characterized by comprising a control means for controlling the above.

本発明によれば、通信システムに参加する端末装置の機能を、同じユーザーと関連付けられた他の端末から制御することが可能な仕組みを提供することができる。
According to the present invention, it is possible to provide a mechanism capable of controlling the function of a terminal device participating in a communication system from another terminal associated with the same user.

Claims (16)

電子会議において複数のクライアント端末と通信可能な情報処理装置であって、
前記クライアント端末において入力を受け付けたユーザ情報に基づいて、前記クライアント端末の接続要求を受け付ける受付手段と、
前記クライアント端末において入力を受け付けたユーザ情報に対応する別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、前記別のクライアント端末が参加している電子会議において所定の機能を実行する端末として動作させることを決定する決定手段と、
前記決定手段による決定に応じて、前記受付手段により前記接続要求を受け付けたクライアント端末を、前記電子会議における所定の機能を実行する端末として動作させるべく制御する制御手段と、
を備えることを特徴とする情報処理装置。
An information processing device that can communicate with multiple client terminals in an electronic conference.
A receiving means for receiving a connection request of the client terminal based on the user information of receiving the input in the client terminal, and a receiving means.
When another client terminal corresponding to the user information for which input is accepted in the client terminal is connected, the client terminal that has received the connection request is designated in an electronic conference in which the other client terminal participates. The decision-making means that decides to operate as a terminal that performs a function,
A control means for controlling a client terminal that has received the connection request by the reception means to operate as a terminal that executes a predetermined function in the electronic conference in response to a decision by the determination means.
An information processing device characterized by being equipped with.
前記決定手段は、前記クライアント端末において入力を受け付けたユーザ情報に対応する別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、前記別のクライアント端末が参加している電子会議における伝達情報の入力端末または/及び出力端末としてとして動作させることを決定し、
前記制御手段は、前記決定手段による決定に応じて、前記受付手段により前記接続要求を受け付けたクライアント端末を、前記電子会議における伝達情報の入力端末または/及び出力端末として動作させるべく制御することを特徴とする請求項1に記載の情報処理装置。
In the determination means, when another client terminal corresponding to the user information input is connected in the client terminal, the other client terminal participates in the client terminal that has received the connection request. Decided to operate as an input terminal and / and an output terminal for transmitted information in an electronic conference,
The control means controls the client terminal that has received the connection request by the reception means to operate as an input terminal and / or an output terminal for transmission information in the electronic conference in response to a determination by the determination means. The information processing apparatus according to claim 1.
前記伝達情報とは、音声または画像であることを特徴とする請求項2に記載の情報処理装置。 The information processing device according to claim 2, wherein the transmitted information is voice or an image. 前記決定手段は、前記クライアント端末において表示される、複数ある前記所定の機能のうちどの機能を実行する端末として前記クライアント端末を動作させるか選択させる機能選択画面において選択された機能を実行する端末として、前記クライアント端末を動作させることを決定し、
前記制御手段は、前記決定手段による決定に応じて、前記クライアント端末を前記機能選択画面において選択された機能を実行する端末として動作させるべく制御することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
The determination means is a terminal that executes the function selected in the function selection screen that is displayed on the client terminal and causes the client terminal to be selected as the terminal that executes the predetermined function among the plurality of predetermined functions. , Decided to operate the client terminal,
One of claims 1 to 3, wherein the control means controls the client terminal to operate as a terminal that executes a function selected on the function selection screen in response to a determination by the determination means. The information processing apparatus according to item 1.
前記制御手段は、前記決定手段により前記電子会議において所定の機能を実行する端末として動作させることが決定された前記クライアント端末を、前記別のクライアント端末が参加している電子会議に参加させ、前記所定の機能をオンにすることで、前記クライアント端末を、前記電子会議における所定の機能を実行する端末として動作させることを特徴とする請求項1乃至4に記載の情報処理装置。 The control means causes the client terminal, which is determined by the determination means to operate as a terminal that performs a predetermined function in the electronic conference, to participate in the electronic conference in which the other client terminal participates. The information processing apparatus according to claim 1 to 4, wherein the client terminal is operated as a terminal that executes a predetermined function in the electronic conference by turning on a predetermined function. 前記電子会議に参加しているクライアント端末を前記電子会議における参加者として表示すべく制御する表示制御手段と、
前記所定の機能を実行する端末として前記電子会議に参加している前記クライアント端末を、前記表示制御手段により前記電子会議における参加者として表示しないよう制御する非表示制御手段と、
を備えることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
A display control means for controlling a client terminal participating in the electronic conference to be displayed as a participant in the electronic conference, and a display control means.
A non-display control means that controls the client terminal participating in the electronic conference as a terminal that executes the predetermined function so as not to be displayed as a participant in the electronic conference by the display control means.
The information processing apparatus according to any one of claims 1 to 5, wherein the information processing apparatus is provided.
前記表示制御手段は、前記電子会議に参加しているクライアント端末のユーザを前記電子会議における参加者として表示すべく制御し、
前記非表示制御手段は、前記所定の機能を実行する端末として前記電子会議に参加している前記クライアント端末のユーザを、親機のクライアント端末のユーザと別に表示しないように制御することを特徴とする請求項6に記載の情報処理装置。
The display control means controls to display the user of the client terminal participating in the electronic conference as a participant in the electronic conference.
The non-display control means is characterized in that the user of the client terminal participating in the electronic conference as a terminal performing the predetermined function is controlled so as not to be displayed separately from the user of the client terminal of the master unit. The information processing apparatus according to claim 6.
前記別のクライアント端末を親機とする子機として、前記受付手段により前記接続要求を受け付けたクライアント端末を、親機の参加する前記電子会議に参加させるべく制御する参加制御手段と、
前記子機のクライアント端末を、親機である前記別のクライアント端末によって操作可能に制御する操作制御手段と、
を備えることを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
Participation control means for controlling a client terminal that has received the connection request by the reception means to participate in the electronic conference in which the master unit participates, with the other client terminal as a master unit.
An operation control means for controlling the client terminal of the slave unit so as to be operable by the other client terminal which is the master unit.
The information processing apparatus according to any one of claims 1 to 7, wherein the information processing apparatus is provided.
前記クライアント端末において入力を受け付けたユーザ情報に対応する複数の別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、複数の前記別のクライアント端末のうちどの端末の子機として前記電子会議に参加させるかを選択する選択手段と、
を備え、
前記参加制御手段は、前記選択手段により選択された前記別のクライアント端末を親機とし、前記接続要求を受け付けたクライアント端末をその子機として前記電子会議に参加させるべく制御することを特徴とする請求項8に記載の情報処理装置。
When a plurality of other client terminals corresponding to the user information for which input is accepted in the client terminal are connected, the client terminal for which the connection request is accepted is a child of any of the plurality of other client terminals. A means of selecting whether to participate in the electronic conference as an opportunity, and
Equipped with
The claim is characterized in that the participation control means controls the other client terminal selected by the selection means as a master unit and the client terminal that has received the connection request as a slave unit to participate in the electronic conference. Item 8. The information processing apparatus according to Item 8.
前記選択手段は、前記クライアント端末に表示された、複数の前記別のクライアント端末のうちいずれの端末を親機とするかの選択画面において、親機とする前記別のクライアント端末の選択を受け付けることで、前記クライアント端末をどの端末の子機として前記電子会議に参加させるかを選択することを特徴とする請求項9に記載の情報処理装置。 The selection means accepts the selection of the other client terminal as the master unit on the selection screen of which of the plurality of the other client terminals is displayed on the client terminal as the master unit. The information processing apparatus according to claim 9, wherein the client terminal is selected as a slave unit of which terminal to participate in the electronic conference. 電子会議において複数のクライアント端末と通信可能な情報処理装置の制御方法であって、
前記クライアント端末において入力を受け付けたユーザ情報に基づいて、前記クライアント端末の接続要求を受け付ける受付工程と、
前記クライアント端末において入力を受け付けたユーザ情報に対応する別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、前記別のクライアント端末が参加している電子会議において所定の機能を実行する端末として動作させることを決定する決定工程と、
前記決定工程による決定に応じて、前記受付工程により前記接続要求を受け付けたクライアント端末を、前記電子会議における所定の機能を実行する端末として動作させるべく制御する制御工程と、
を含むことを特徴とする情報処理装置の制御方法。
A control method for an information processing device that can communicate with multiple client terminals in an electronic conference.
A reception process for receiving a connection request from the client terminal based on user information for which input has been received at the client terminal, and a reception process for receiving the connection request of the client terminal.
When another client terminal corresponding to the user information for which input is accepted in the client terminal is connected, the client terminal that has received the connection request is designated in an electronic conference in which the other client terminal participates. The decision process that decides to operate as a terminal that executes a function,
A control step that controls the client terminal that has received the connection request by the reception process to operate as a terminal that executes a predetermined function in the electronic conference in response to the determination by the determination process.
A control method for an information processing apparatus, which comprises.
電子会議において複数のクライアント端末と通信可能な情報処理装置を制御するプログラムであって、
前記情報処理装置を、
前記クライアント端末において入力を受け付けたユーザ情報に基づいて、前記クライアント端末の接続要求を受け付ける受付手段と、
前記クライアント端末において入力を受け付けたユーザ情報に対応する別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、前記別のクライアント端末が参加している電子会議において所定の機能を実行する端末として動作させることを決定する決定手段と、
前記決定手段による決定に応じて、前記受付手段により前記接続要求を受け付けたクライアント端末を、前記電子会議における所定の機能を実行する端末として動作させるべく制御する制御手段として機能させることを特徴とするプログラム。
A program that controls an information processing device that can communicate with multiple client terminals in an electronic conference.
The information processing device
A receiving means for receiving a connection request of the client terminal based on the user information of receiving the input in the client terminal, and a receiving means.
When another client terminal corresponding to the user information for which input is accepted in the client terminal is connected, the client terminal that has received the connection request is designated in an electronic conference in which the other client terminal participates. The decision-making means that decides to operate as a terminal that performs a function,
It is characterized in that the client terminal that has received the connection request by the receiving means functions as a control means for controlling the client terminal to operate as a terminal that executes a predetermined function in the electronic conference in response to the determination by the determining means. program.
電子会議に参加する複数のクライアント端末と、情報処理装置とを含む情報処理システムであって、
前記クライアント端末において入力を受け付けたユーザ情報に基づいて、前記クライアント端末の接続要求を受け付ける受付手段と、
前記クライアント端末において入力を受け付けたユーザ情報に対応する別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、前記別のクライアント端末が参加している電子会議において所定の機能を実行する端末として動作させることを決定する決定手段と、
前記決定手段による決定に応じて、前記受付手段により前記接続要求を受け付けたクライアント端末を、前記電子会議における所定の機能を実行する端末として動作させるべく制御する制御手段と、
を備えることを特徴とする情報処理システム。
An information processing system that includes multiple client terminals participating in an electronic conference and an information processing device.
A receiving means for receiving a connection request of the client terminal based on the user information of receiving the input in the client terminal, and a receiving means.
When another client terminal corresponding to the user information for which input is accepted in the client terminal is connected, the client terminal that has received the connection request is designated in an electronic conference in which the other client terminal participates. The decision-making means that decides to operate as a terminal that performs a function,
A control means for controlling a client terminal that has received the connection request by the reception means to operate as a terminal that executes a predetermined function in the electronic conference in response to a decision by the determination means.
An information processing system characterized by being equipped with.
電子会議に参加する複数のクライアント端末と、情報処理装置とを含む情報処理システムの制御方法であって、
前記クライアント端末において入力を受け付けたユーザ情報に基づいて、前記クライアント端末の接続要求を受け付ける受付工程と、
前記クライアント端末において入力を受け付けたユーザ情報に対応する別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、前記別のクライアント端末が参加している電子会議において所定の機能を実行する端末として動作させることを決定する決定工程と、
前記決定工程による決定に応じて、前記受付工程により前記接続要求を受け付けたクライアント端末を、前記電子会議における所定の機能を実行する端末として動作させるべく制御する制御工程と、
を含むことを特徴とする情報処理システムの制御方法。
It is a control method of an information processing system including a plurality of client terminals participating in an electronic conference and an information processing device.
A reception process for receiving a connection request from the client terminal based on user information for which input has been received at the client terminal, and a reception process for receiving the connection request of the client terminal.
When another client terminal corresponding to the user information for which input is accepted in the client terminal is connected, the client terminal that has received the connection request is designated in an electronic conference in which the other client terminal participates. The decision process that decides to operate as a terminal that executes a function,
A control step that controls the client terminal that has received the connection request by the reception process to operate as a terminal that executes a predetermined function in the electronic conference in response to the determination by the determination process.
A control method for an information processing system, which comprises.
電子会議に参加する複数のクライアント端末と、情報処理装置とを含む情報処理システムを制御するためのプログラムであって、
前記情報処理システムを、
前記クライアント端末において入力を受け付けたユーザ情報に基づいて、前記クライアント端末の接続要求を受け付ける受付手段と、
前記クライアント端末において入力を受け付けたユーザ情報に対応する別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、前記別のクライアント端末が参加している電子会議において所定の機能を実行する端末として動作させることを決定する決定手段と、
前記決定手段による決定に応じて、前記受付手段により前記接続要求を受け付けたクライアント端末を、前記電子会議における所定の機能を実行する端末として動作させるべく制御する制御手段として機能させることを特徴とするプログラム。
A program for controlling an information processing system including a plurality of client terminals participating in an electronic conference and an information processing device.
The information processing system
A receiving means for receiving a connection request of the client terminal based on the user information of receiving the input in the client terminal, and a receiving means.
When another client terminal corresponding to the user information for which input is accepted in the client terminal is connected, the client terminal that has received the connection request is designated in an electronic conference in which the other client terminal participates. The decision-making means that decides to operate as a terminal that performs a function,
It is characterized in that the client terminal that has received the connection request by the receiving means functions as a control means for controlling the client terminal to operate as a terminal that executes a predetermined function in the electronic conference in response to the determination by the determining means. program.
電子会議において複数のクライアント端末と通信可能な情報処理装置であって、
前記クライアント端末において入力を受け付けたユーザ情報に基づいて、前記クライアント端末の接続要求を受け付ける受付手段と、
前記クライアント端末において入力を受け付けたユーザ情報に対応する別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、前記別のクライアント端末が参加している電子会議における、前記別のクライアント端末の子機として、前記電子会議に参加させるべく制御する参加制御手段と、
を備えることを特徴とする情報処理装置。

An information processing device that can communicate with multiple client terminals in an electronic conference.
A receiving means for receiving a connection request of the client terminal based on the user information of receiving the input in the client terminal, and a receiving means.
When another client terminal corresponding to the user information for which input is received in the client terminal is connected, the client terminal that has received the connection request is referred to the client terminal in which the other client terminal participates in the electronic conference. Participation control means for controlling participation in the electronic conference as a slave unit of another client terminal,
An information processing device characterized by being equipped with.

JP2021113593A 2018-11-21 2021-07-08 TERMINAL DEVICE, COMMUNICATION SYSTEM, CONTROL METHOD AND PROGRAM THEREOF Active JP7138217B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021113593A JP7138217B2 (en) 2018-11-21 2021-07-08 TERMINAL DEVICE, COMMUNICATION SYSTEM, CONTROL METHOD AND PROGRAM THEREOF

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018218006A JP6912440B2 (en) 2016-11-29 2018-11-21 Communication system, its control method and program
JP2021113593A JP7138217B2 (en) 2018-11-21 2021-07-08 TERMINAL DEVICE, COMMUNICATION SYSTEM, CONTROL METHOD AND PROGRAM THEREOF

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018218006A Division JP6912440B2 (en) 2016-11-29 2018-11-21 Communication system, its control method and program

Publications (2)

Publication Number Publication Date
JP2021184263A true JP2021184263A (en) 2021-12-02
JP7138217B2 JP7138217B2 (en) 2022-09-15

Family

ID=78767470

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021113593A Active JP7138217B2 (en) 2018-11-21 2021-07-08 TERMINAL DEVICE, COMMUNICATION SYSTEM, CONTROL METHOD AND PROGRAM THEREOF

Country Status (1)

Country Link
JP (1) JP7138217B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015530049A (en) * 2012-09-13 2015-10-08 ゼットティーイー コーポレイション Method and apparatus for processing communication service with common account

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015530049A (en) * 2012-09-13 2015-10-08 ゼットティーイー コーポレイション Method and apparatus for processing communication service with common account

Also Published As

Publication number Publication date
JP7138217B2 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
US20220174157A1 (en) Teleconference system and terminal apparatus
US20170048284A1 (en) Non-transitory computer readable medium, information processing apparatus, and information processing system
US20160134670A1 (en) Information processing system, information processing apparatus, information processing method, and non-transitory computer readable medium
JP7453576B2 (en) Information processing system, its control method and program.
JP6508009B2 (en) Terminal device, screen recording method, program, and information processing system
JP2022085410A (en) Video conference system server, control method thereof, and program
JP6337562B2 (en) Management system, terminal, communication system, destination management method, and program
JP6802477B2 (en) Information processing system, information processing device, its control method and program
JP6398258B2 (en) Communication management system, communication terminal, communication system, and program
JP6442749B2 (en) Information processing apparatus, information processing system, control method thereof, and program
EP4221194A1 (en) Recording information creation system, method for creating recording information, and carrier means
JP6912440B2 (en) Communication system, its control method and program
JP7138217B2 (en) TERMINAL DEVICE, COMMUNICATION SYSTEM, CONTROL METHOD AND PROGRAM THEREOF
JP6398257B2 (en) Communication management system, communication terminal, communication system, and program
JP6703259B2 (en) Information processing system, conference server, control method thereof, and program
US11729489B2 (en) Video chat with plural users using same camera
JP6575428B2 (en) Information processing system, information processing apparatus, client terminal, control method thereof, and program
JP2018036688A (en) Information processing device, server device, information processing system, control method thereof, and program
WO2021073313A1 (en) Method and device for conference control and conference participation, server, terminal, and storage medium
JP2017151889A (en) Information processing device and server device used in web conference system, control method for those, and program
JP2020194343A (en) Information processing system, information processing device, control method of information processing system, and program
JP2020166898A (en) Terminal device, program, content sharing method, and information processing system
JP2009246649A (en) Video conference apparatus, video conference method, video conference program, and recording medium
JP2014195229A (en) Server device program, server device and communication apparatus program
JP2018026713A (en) Information processing apparatus, information processing system, and control method and program therefor

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220905

R150 Certificate of patent or registration of utility model

Ref document number: 7138217

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150