JP2018088152A - Information processing apparatus, information processing system, method for controlling the same, and program - Google Patents

Information processing apparatus, information processing system, method for controlling the same, and program Download PDF

Info

Publication number
JP2018088152A
JP2018088152A JP2016231506A JP2016231506A JP2018088152A JP 2018088152 A JP2018088152 A JP 2018088152A JP 2016231506 A JP2016231506 A JP 2016231506A JP 2016231506 A JP2016231506 A JP 2016231506A JP 2018088152 A JP2018088152 A JP 2018088152A
Authority
JP
Japan
Prior art keywords
client terminal
terminal
electronic conference
information processing
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016231506A
Other languages
Japanese (ja)
Other versions
JP6442749B2 (en
Inventor
慎一朗 粂内
Shinichiro Kumeuchi
慎一朗 粂内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2016231506A priority Critical patent/JP6442749B2/en
Publication of JP2018088152A publication Critical patent/JP2018088152A/en
Priority to JP2018218006A priority patent/JP6912440B2/en
Application granted granted Critical
Publication of JP6442749B2 publication Critical patent/JP6442749B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a mechanism capable of easily using a terminal participating in a conference as a device that executes certain functions.MEANS FOR SOLVING THE PROBLEM: An information processing apparatus receives, in an electronic conference, a connection request from a client server based on user information input at the client terminal; when another client terminal corresponding to the user information input at the client server is connected, determines to cause a client terminal that received the connection request to operate as a terminal that executes predetermined functions in the electronic conference in which the another client terminal participates; in accordance with the determination, controls the client terminal to operate as the terminal that executes the predetermined functions in the electronic conference.SELECTED DRAWING: Figure 5

Description

本発明は、情報処理装置、情報処理システム、その制御方法及びプログラムに関する。   The present invention relates to an information processing apparatus, an information processing system, a control method thereof, and a program.

一般に、ウェブ会議等の電子会議システム・サービスが提供されている。電子会議システムを利用する端末は、端末に直接接続された専用のカメラ・スピーカ・マイクを用いて、各機器から入力される情報を他機に送信し、受信した情報を出力することで会議を行うことができる。   In general, an electronic conference system service such as a web conference is provided. A terminal using an electronic conference system uses a dedicated camera, speaker, and microphone directly connected to the terminal to transmit information input from each device to another machine, and outputs the received information to hold the conference. It can be carried out.

例えば特許文献1では、カメラ、モニタ、スピーカが一体になった端末と、カメラ装置を、多地点テレビ会議装置を介して接続し、テレビ会議を行う技術が提供されている。   For example, Patent Document 1 provides a technology for performing a video conference by connecting a camera, a monitor, and a speaker integrated with a camera device via a multipoint video conference device.

特開2013−26843号公報JP 2013-26843 A 特開2016−122937号公報JP 2006-122937 A

近年は、マイクやスピーカ、カメラが内蔵されたPCやスマートフォンが社員に配布され、利用されている。よって、各ユーザはPCやスマートフォン等の、既にユーザが持っている端末に備え付けられた機器を用いて電子会議を行うことができる。   In recent years, PCs and smartphones with built-in microphones, speakers, and cameras are distributed and used by employees. Therefore, each user can hold an electronic conference using a device such as a PC or a smartphone that is already installed in a terminal that the user already has.

しかし、何らかの理由で自身のPCを使えないユーザがいる場合がある。つまり、会議室等の1拠点内に複数のユーザがいる状態で必ずしも1ユーザ1端末を保持していないことがある。端末を保持するユーザが自身の目の前に端末を置いた状態では、離れた位置にいる端末を保持していないユーザが会議に参加し難い。例えば、自身の声をマイクに入力するために、大声を出さなければならない。   However, there may be a user who cannot use his / her PC for some reason. That is, one user and one terminal may not always be held in a state where there are a plurality of users in one base such as a conference room. In a state where a user holding a terminal places the terminal in front of himself / herself, it is difficult for a user who does not hold a terminal located at a remote position to participate in the conference. For example, in order to input his / her voice into a microphone, he / she has to speak out.

また、同じ部屋で複数の端末のマイクやスピーカを使うことによるハウリングや、画像の送受信による帯域の圧迫を防ぐために、敢えて全員の端末を利用しないようにすることもある。   In addition, in order to prevent howling by using microphones and speakers of a plurality of terminals in the same room and band compression due to image transmission / reception, all terminals may not be used.

例えば各ユーザが声を入力しやすいように/スピーカの音を聞き取り易いように、あるユーザの端末を例えばマイク兼スピーカ代わりとして会議室の中央に置いて電子会議を行うことがある。また、カメラとして利用する場合は、会議室の隅に端末を置いて、会議室全体を撮影し、できるだけ多くのユーザを映し出せるようにすることがある。   For example, in order to make it easy for each user to input a voice / sound from a speaker, a user's terminal may be placed in the center of a conference room instead of a microphone / speaker, for example, and an electronic conference may be performed. When used as a camera, a terminal may be placed in the corner of the conference room to capture the entire conference room so that as many users as possible can be displayed.

しかしながら、専用のカメラやマイク、スピーカ等と違って、当該端末は会議に参加しているユーザの1人として数えられてしまうため、参加者の1人として電子会議の相手に表示されてしまう(例えば特許文献2)。   However, unlike a dedicated camera, microphone, speaker, or the like, the terminal is counted as one of the users participating in the conference, and therefore displayed as one of the participants to the electronic conference partner ( For example, Patent Document 2).

また、マイクやスピーカとして利用する場合は音量の調整、カメラとして利用する場合は画角・ズームイン/ズームアウトの調整が必要となるが、リモコン等がない当該端末において機能の調整を行うためには、当該端末を直接触って操作する必要があり手間である。   Also, when using as a microphone or speaker, it is necessary to adjust the volume, and when using as a camera, it is necessary to adjust the angle of view and zoom in / zoom out. It is necessary and troublesome to operate the terminal by direct contact.

本発明は、会議に参加する端末を、ある機能を実行する機器として容易に利用可能な仕組みを提供することを目的とする。   An object of the present invention is to provide a mechanism that allows a terminal participating in a conference to be easily used as a device that performs a certain function.

本発明は、電子会議において複数のクライアント端末と通信可能な情報処理装置であって、前記クライアント端末において入力を受け付けたユーザ情報に基づいて、前記クライアント端末の接続要求を受け付ける受付手段と、前記クライアント端末において入力を受け付けたユーザ情報に対応する別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、前記別のクライアント端末が参加している電子会議において所定の機能を実行する端末として動作させることを決定する決定手段と、前記決定手段による決定に応じて、前記受付手段により前記接続要求を受け付けたクライアント端末を、前記電子会議における所定の機能を実行する端末として動作させるべく制御する制御手段と、を備えることを特徴とする。   The present invention relates to an information processing apparatus capable of communicating with a plurality of client terminals in an electronic conference, wherein the client terminal accepts a connection request based on user information accepted at the client terminal, and the client When another client terminal corresponding to the user information received at the terminal is connected, the client terminal that has received the connection request has a predetermined function in an electronic conference in which the other client terminal is participating. A determination unit that determines to operate as a terminal to be executed, and a client terminal that has received the connection request by the reception unit as a terminal that executes a predetermined function in the electronic conference according to the determination by the determination unit Providing control means for controlling And butterflies.

本発明によれば、会議に参加する端末を、ある機能を実行する機器として容易に利用可能な仕組みを提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the structure which can utilize easily the terminal which participates in a meeting as an apparatus which performs a certain function can be provided.

本発明の実施形態における、情報処理システムの構成の一例を示す図である。It is a figure which shows an example of a structure of the information processing system in embodiment of this invention. 本発明の実施形態における、各種装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of various apparatuses in embodiment of this invention. 本発明の実施形態における、各種装置の機能構成の一例を示す図である。It is a figure which shows an example of a function structure of the various apparatuses in embodiment of this invention. 従来のログイン及び入室処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the conventional login and room entry processing. 本発明の実施形態における、入室処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the room entry process in embodiment of this invention. 本発明の実施形態における、画像及び音声のサーバへの送受信処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the transmission / reception process to the server of an image and an audio | voice in embodiment of this invention. 本発明の実施形態における、サーバからの画像及び音声の取得処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the acquisition process of the image and audio | voice from a server in embodiment of this invention. 本発明の実施形態における、各種データ構成の一例を示す図である。It is a figure which shows an example of the various data structure in embodiment of this invention. 本発明の実施形態における、確認画面等の構成の一例を示す図である。It is a figure which shows an example of structures, such as a confirmation screen, in embodiment of this invention. 本発明の実施形態における、機能選択画面の構成の一例を示す図である。It is a figure which shows an example of a structure of the function selection screen in embodiment of this invention. 本発明の実施形態における、会議画面の構成の一例を示す図である。It is a figure which shows an example of a structure of the meeting screen in embodiment of this invention. 本発明の実施形態における、機能操作画面の構成の一例を示す図である。It is a figure which shows an example of a structure of the function operation screen in embodiment of this invention. 本発明の実施形態における、確認画面の構成の一例を示す図である。It is a figure which shows an example of a structure of the confirmation screen in embodiment of this invention. 従来の会議画面の構成の一例を示す図である。It is a figure which shows an example of a structure of the conventional meeting screen.

以下、図面を参照して、本発明の実施の形態の一例について説明する。   Hereinafter, an example of an embodiment of the present invention will be described with reference to the drawings.

まず図1を参照して、本発明の実施形態における、情報処理システムの構成の一例について説明する。   First, an example of the configuration of an information processing system in the embodiment of the present invention will be described with reference to FIG.

本発明の情報処理システムは、複数の情報処理装置(複数のクライアント端末100及びサーバ200)が、ネットワーク101を介して通信可能に接続されて構成されている。   The information processing system of the present invention is configured such that a plurality of information processing apparatuses (a plurality of client terminals 100 and a server 200) are communicably connected via a network 101.

クライアント端末100(クライアント端末100A〜100Dの総称)は、ユーザ情報の入力を受け付けて、ユーザを電子会議に参加させるための表示端末であり、マイクやスピーカ、カメラを備える。   The client terminal 100 (generic name for the client terminals 100A to 100D) is a display terminal that accepts input of user information and allows a user to participate in an electronic conference, and includes a microphone, a speaker, and a camera.

マイクでの音声入力や、カメラによる画像撮影行う端末を入力端末と呼び、スピーカでの音声再生や、カメラで撮影した画像を再生出力する端末を出力端末と呼び、その両方を行う端末を入出力端末と呼ぶ。   A terminal that inputs sound through a microphone or captures images with a camera is called an input terminal, a terminal that plays back sound from a speaker or plays back and outputs images captured with a camera is called an output terminal. Called a terminal.

サーバ200は、クライアント端末100より受信したユーザ情報や、カメラ画像、音声の情報を記憶し、必要なクライアント端末に配信して電子会議を行う機能を備える。   The server 200 stores the user information, camera image, and audio information received from the client terminal 100, and has a function of distributing the information to a necessary client terminal and performing an electronic conference.

なお、本発明の説明においては、現実の会議室AにUser001、User002、User00X、User00Yが居り、現実の会議室BにUser003、User004が居るものとする。   In the description of the present invention, it is assumed that the actual conference room A has User001, User002, User00X, and User00Y, and the actual conference room B has User003 and User004.

また、クライアント端末100A〜100Dの各端末は、仮想の会議室であるroom001に、サーバ200上で入室することで電子会議を行うことができる。以上が図1の説明である。   In addition, each of the client terminals 100A to 100D can perform an electronic conference by entering the room 001, which is a virtual conference room, on the server 200. The above is the description of FIG.

次に図2を参照して、本発明の実施形態における、各種装置のハードウェア構成の一例について説明する。   Next, an example of the hardware configuration of various devices in the embodiment of the present invention will be described with reference to FIG.

図2において、201はCPUで、システムバス204に接続される各デバイスやコントローラを統括的に制御する。また、ROM202あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。   In FIG. 2, reference numeral 201 denotes a CPU that comprehensively controls each device and controller connected to the system bus 204. Further, the ROM 202 or the external memory 211 is necessary to realize a BIOS (Basic Input / Output System) or an operating system program (hereinafter referred to as an OS), which is a control program of the CPU 201, or a function executed by each server or each PC. Various programs to be described later are stored.

203はRAMで、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM202あるいは外部メモリ211からRAM203にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。   A RAM 203 functions as a main memory, work area, and the like for the CPU 201. The CPU 201 implements various operations by loading a program or the like necessary for execution of processing from the ROM 202 or the external memory 211 into the RAM 203 and executing the loaded program.

また、205は入力コントローラで、キーボード(KB)や不図示のマウス等のポインティングデバイス、タッチパネル、カメラ等の入力装置209からの入力を制御する。   An input controller 205 controls input from an input device 209 such as a keyboard (KB), a pointing device such as a mouse (not shown), a touch panel, or a camera.

206はビデオコントローラで、ディスプレイ装置210(例:CRTディスプレイ)等の表示器(外部出力装置)への表示を制御する。なお、ディスプレイ装置210に示す表示機器はCRTディスプレイだけでなく、液晶ディスプレイや、マルチタッチスクリーン等の他の表示器であってもよい。また、例えばプロジェクタのような外部出力装置であってもよい。   A video controller 206 controls display on a display device (external output device) such as the display device 210 (for example, a CRT display). Note that the display device shown in the display device 210 is not limited to a CRT display, but may be another display device such as a liquid crystal display or a multi-touch screen. Also, an external output device such as a projector may be used.

なおビデオコントローラ206は、表示制御を行うためのビデオメモリ(VRAM)を制御することが可能で、ビデオメモリ領域としてRAM203の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。本実施形態においては、各クライアント端末100は、クライアント端末100を通常する場合の表示に用いられる第1のビデオメモリ領域と、所定の画面が表示される場合に、第1のビデオメモリ領域の表示内容に重ねて別の表示をするために用いられる第2のビデオメモリ領域を有している。ビデオメモリ領域は2つに限ったものではなく、情報処理装置の資源が許す限り複数有することが可能なものとする。   Note that the video controller 206 can control a video memory (VRAM) for display control, and a part of the RAM 203 can be used as a video memory area, or a dedicated video memory can be provided separately. Is possible. In the present embodiment, each client terminal 100 displays the first video memory area used for display when the client terminal 100 is normal and the display of the first video memory area when a predetermined screen is displayed. It has a second video memory area that is used for another display superimposed on the content. The number of video memory areas is not limited to two, and a plurality of video memory areas can be provided as long as the resources of the information processing apparatus permit.

212は、音声入出力コントローラで、マイク/スピーカ213(図1における102及び103)からの入出力を制御する。マイクから入力された音声を音声認識することが可能となっている。スピーカにはイヤホンを接続することも可能である。   An audio input / output controller 212 controls input / output from the microphone / speaker 213 (102 and 103 in FIG. 1). The voice input from the microphone can be recognized. An earphone can be connected to the speaker.

207はメモリコントローラで、ブートプログラム,各種のアプリケーション,フォントデータ,ユーザファイル,編集ファイル,各種データ等を記憶するハードディスク(HD)や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ211へのアクセスを制御する。   A memory controller 207 is connected to the hard disk (HD), flexible disk (FD), or PCMCIA card slot for storing a boot program, various applications, font data, user files, editing files, various data, etc. via an adapter. The access to the external memory 211 such as a compact flash (registered trademark) memory is controlled.

208は通信I/Fコントローラで、ネットワーク(例えば、図1に示したネットワーク150(例:LAN等))を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信や、ISDNなどの電話回線、および携帯電話の3G回線を用いた通信等が可能である。   A communication I / F controller 208 is connected to and communicates with an external device via a network (for example, the network 150 (for example, LAN) shown in FIG. 1), and executes communication control processing in the network. . For example, communication using TCP / IP, communication using a telephone line such as ISDN, and a 3G line of a mobile phone are possible.

なお、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ装置210上での表示を可能としている。また、CPU201は、ディスプレイ装置210上に表示される不図示のマウスカーソル等でのユーザ指示を可能とする。   Note that the CPU 201 enables display on the display device 210 by executing outline font rasterization processing on a display information area in the RAM 203, for example. Further, the CPU 201 enables a user instruction with a mouse cursor (not shown) displayed on the display device 210.

また、外部メモリ211等の、情報を永続的に記憶するための記憶装置(記憶媒体)は、その形態をハードディスク等の記憶装置に限定するものではない。例えば、SSD(Solid State Drive)などの媒体であってもよい。   Further, the storage device (storage medium) for permanently storing information such as the external memory 211 is not limited to a storage device such as a hard disk. For example, a medium such as SSD (Solid State Drive) may be used.

本発明を実現するための後述する各種プログラムは、外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ211に格納されており、これらについての詳細な説明も後述する。以上が図2の説明である。   Various programs to be described later for realizing the present invention are recorded in the external memory 211 and executed by the CPU 201 by being loaded into the RAM 203 as necessary. Furthermore, definition files and various information tables used when executing the program are also stored in the external memory 211, and a detailed description thereof will be described later. The above is the description of FIG.

次に図3を参照して、本発明の実施形態における、各種装置の機能構成の一例について説明する。   Next, with reference to FIG. 3, an example of a functional configuration of various apparatuses in the embodiment of the present invention will be described.

ユーザ情報入力受付部311は、ユーザ操作によるユーザ情報の入力を受け付ける。ユーザ情報とは、例えばユーザID及びパスワードである。ユーザ情報の一例を図8のユーザ情報800に示す。   The user information input receiving unit 311 receives input of user information by a user operation. The user information is, for example, a user ID and a password. An example of user information is shown as user information 800 in FIG.

なお、本実施形態の説明においては、ユーザID及びパスワードをユーザ情報としたが、ユーザを特定できる情報であればよいため、ユーザIDのみをユーザ情報として入力を受け付けてもよい。   In the description of the present embodiment, the user ID and password are used as user information. However, any information that can identify a user may be used, and therefore only the user ID may be received as user information.

ログイン要求部312は、ユーザ情報入力受付部311において入力を受け付けたユーザ情報に基づいて、自機のユーザ(自機において入力を受け付けたユーザ情報の示すユーザ)をサーバ200にログインさせる要求(サーバへの接続要求)を送信する。サーバ200の要求受付部321は、当該ログイン要求を受け付ける。   The login request unit 312 requests the server 200 to log in to the server 200 (user indicated by the user information that has received input in the own device) based on the user information received in the user information input receiving unit 311 (server Connection request). The request reception unit 321 of the server 200 receives the login request.

ログインユーザ判定部322は、ログイン要求されたユーザが、既にログイン済みのユーザか判定する。   The login user determination unit 322 determines whether the user who is requested to log in is already logged in.

既にログイン済みのユーザの場合、親機決定部323は、ログイン済みのユーザが既にログインに用いていたクライアント端末を、新たにログイン要求を送信してきたクライアント端末の親機とする(新たにログイン要求を送信してきたクライアント端末を子機)とすることを決定する。   In the case of a user who has already logged in, the base unit determination unit 323 sets the client terminal already used for login by the logged-in user as the base unit of the client terminal that has newly transmitted the login request (new login request). It is determined that the client terminal that has transmitted the message is the slave unit.

つまり、どの端末を、新たにログイン要求を送信してきたクライアント端末の親機とするか決定する。   That is, it is determined which terminal is to be the parent device of the client terminal that has newly transmitted the login request.

子機参加制御部324は、新たにログイン要求を送信してきたクライアント端末を、親機決定部323により決定された端末の子機として、親機のユーザの参加している電子会議に参加させる。   The handset participation control unit 324 causes the client terminal that has newly transmitted the login request to participate in the electronic conference in which the user of the base unit participates as a handset of the terminal determined by the base unit determination unit 323.

機能特定部325は、子機において実行する(動作させる)機能を特定する。動作制御部326は、機能特定部325において特定された機能を子機において実行させ、サーバ200が当該子機において実行された機能に応じて、入出力情報(伝達情報)の配信制御を行う。   The function specifying unit 325 specifies a function to be executed (operated) in the slave unit. The operation control unit 326 causes the slave unit to execute the function specified by the function specifying unit 325, and the server 200 performs distribution control of input / output information (transmission information) according to the function executed by the slave unit.

ここでいう入出力情報(伝達情報)とは、例えば、画像や音声であり、カメラ、マイク、スピーカ等の機能によって入出力され、ユーザ間で伝達される情報である。   The input / output information (transmission information) here is, for example, an image or sound, and is input / output by functions of a camera, a microphone, a speaker, and the like, and is transmitted between users.

機能設定部313は、動作制御部326からの指示に従って、自機が動作・実行させるべき機能を自機に設定し、動作させる。以上が図3の説明である。   In accordance with an instruction from the operation control unit 326, the function setting unit 313 sets the function to be operated / executed by the own device in the own device and operates the function. The above is the description of FIG.

次に図4を参照して、従来のログイン及び入室処理の流れについて説明する。図4の説明においては、新たにログイン・会議室に入室する端末がクライアント端末100Aであり、既に当該会議室に入室済みのユーザの端末がクライアント端末100Cである場合を例として説明する。   Next, referring to FIG. 4, the flow of conventional login and room entry processing will be described. In the description of FIG. 4, a case where the terminal that newly enters the login / conference room is the client terminal 100 </ b> A and the terminal of the user who has already entered the conference room is the client terminal 100 </ b> C will be described as an example.

クライアント端末100AのCPU201は、サーバ200の提供するウェブ会議サービスを享受するために、ブラウザソフト上におけるユーザ操作に応じて所定のURLにアクセスし、図9の900に示すようなログイン画面を表示する。   In order to enjoy the web conference service provided by the server 200, the CPU 201 of the client terminal 100A accesses a predetermined URL according to a user operation on the browser software, and displays a login screen as shown by 900 in FIG. .

そして、当該ログイン画面においてユーザIDとパスワードの入力を受け付けて、「ログイン」ボタンの押下を受け付けることで、サーバ200へのログイン要求を送信する(ステップS401)。   Then, a user ID and a password are received on the login screen, and a login request to the server 200 is transmitted by accepting pressing of a “login” button (step S401).

サーバ200のCPU201は、当該ログイン要求を受け付け(ステップS402)、自装置の外部メモリに予め記憶されているユーザ情報(ユーザID及びパスワード/図8の800に例示)と突き合わせて認証処理(ログイン処理)を行う。   The CPU 201 of the server 200 accepts the login request (step S402), and matches the user information (user ID and password / exemplified by 800 in FIG. 8) stored in advance in the external memory of the own device to perform authentication processing (login processing). )I do.

認証が成功した場合(受信したユーザIDを用いたサーバ200へのログインが成功した場合)、図9の910に示すようなメニュー画面の画面情報(例えばhtml情報)を生成して、クライアント端末100Aに送信する(ステップS403)。   When the authentication is successful (when the login to the server 200 using the received user ID is successful), screen information (for example, html information) of a menu screen as shown at 910 in FIG. 9 is generated, and the client terminal 100A (Step S403).

なお、従来の処理においては、ログイン処理時に、当該ユーザIDのユーザが別の端末からログイン中かを、サーバ200に記憶されている不図示のログインユーザ一覧を参照して判定し、ログインユーザ一覧に新たに受信したログイン要求のユーザが含まれていない場合は未ログインのユーザとしてログイン処理を実行する。つまり、ログインユーザ一覧に当該ユーザのユーザIDを加えて記憶する。その後処理をステップS403に移行する。   In the conventional process, it is determined whether or not the user with the user ID is logging in from another terminal by referring to a login user list (not shown) stored in the server 200 during the login process. If the newly received login request user is not included, the login process is executed as an unlogged user. That is, the user ID of the user is added to the login user list and stored. Thereafter, the process proceeds to step S403.

ログインユーザ一覧に新たに受信したログイン要求のユーザが含まれている場合、つまり、既に他の端末で同じユーザがログイン中の場合は、他の端末でログイン中の当該ユーザを強制的にログアウトさせる。そして当該ユーザを再ログインさせ、新たに当該要求を送信してきた送信元の端末に対してステップS403の処理を実行する。   If the login user list includes a user who has newly received a login request, that is, if the same user is already logged in at another terminal, the user who is logged in at another terminal is forcibly logged out. . Then, the user is logged in again, and the process of step S403 is executed on the transmission source terminal that has newly transmitted the request.

クライアント端末100AのCPU201は、当該画面情報を受信して、受信した画面情報に基づいてメニュー画面910を表示画面に表示する(ステップS404)。   The CPU 201 of the client terminal 100A receives the screen information and displays the menu screen 910 on the display screen based on the received screen information (step S404).

クライアント端末100AのCPU201は、当該メニュー画面910に含まれる仮想の会議室であるルーム(ルームの端末ID)の選択部において、ログインユーザが入室するルームの選択操作を受け付け(ステップS405)、同画面に含まれる「入室」ボタンの押下を受け付けることで、選択中のルームへの、自機で入力を受け付けたユーザIDのユーザの入室要求をサーバ200に送信する(ステップS406)。   The CPU 201 of the client terminal 100A accepts a selection operation of a room where the logged-in user enters in a selection unit of a room (room terminal ID) that is a virtual conference room included in the menu screen 910 (step S405). By accepting the pressing of the “enter” button included in the screen, a request to enter the room of the user with the user ID that has accepted the input to the selected room is transmitted to the server 200 (step S406).

クライアント端末100AのCPU201は、当該入室要求に、入室の操作を受け付けたクライアント端末100Aでログイン中のログインユーザのユーザID、入室対象のルームの端末ID(ルームID)、クライアント端末100Aの端末ID(例えばIPアドレス)、クライアント端末100Aの端末種別報を含めて、当該要求をサーバ200に送信する。   In response to the entry request, the CPU 201 of the client terminal 100A receives the user ID of the logged-in user who is logged in at the client terminal 100A that has accepted the entry operation, the terminal ID (room ID) of the room to be entered, and the terminal ID of the client terminal 100A ( The request is transmitted to the server 200 including the IP address) and the terminal type information of the client terminal 100A.

端末種別とは、例えばクライアント端末100A自身が、PC(デスクトップPC、ノートPC)なのか携帯端末(例えばタブレットPC、携帯電話等)なのかを識別するための情報である。自装置がPCであれば端末種別=pcの値を送信し、自装置が携帯端末であれば端末種別=mobileの値を送信する。   The terminal type is information for identifying, for example, whether the client terminal 100A itself is a PC (desktop PC, notebook PC) or a mobile terminal (eg, tablet PC, mobile phone). If the device itself is a PC, the value of terminal type = pc is transmitted, and if the device itself is a mobile terminal, the value of terminal type = mobile is transmitted.

各クライアント端末100は、自装置の端末種別の情報を、自装置の外部メモリ等の記憶領域に予め保持・記憶しており、その情報を取得して当該要求に埋め込むものとする。   Each client terminal 100 holds and stores in advance a terminal type information of its own device in a storage area such as an external memory of its own device, acquires that information, and embeds it in the request.

なお、ここではクライアント端末100Aで選択を受け付けたルームを入室要求に含めることで、サーバ200が入室要求及び入室要求がされたルームのルームIDを取得するものとするが、例えば入室するルームの選択操作を受け付けた時点で当該ルームのIDを選択中のルームのIDとしてサーバ200に送信してサーバ200がこれを受け付け、「入室」ボタンの押下を受け付けることで、選択中のルームに、クライアント端末100Aでログイン中のユーザを入室させるよう要求し、サーバ200がこれを受け付けるようにしてもよい。   Here, it is assumed that the server 200 acquires the room ID of the room for which the entry request and the room entry request have been made by including the room for which the selection has been received by the client terminal 100A in the room entry request. When the operation is accepted, the ID of the room is transmitted to the server 200 as the ID of the selected room, and the server 200 accepts the room ID. When the “enter” button is pressed, the client terminal The user who logs in at 100A may be requested to enter the room, and the server 200 may accept this request.

サーバ200のCPU201は当該入室要求を受け付けると(ステップS407)、要求されたルーム(会議室)にユーザを入室させる入室処理を実行する(ステップS408)。   When the CPU 201 of the server 200 receives the room entry request (step S407), the CPU 201 executes a room entry process for allowing the user to enter the requested room (conference room) (step S408).

ここでは、入室処理に際して、どのユーザが、どの会議室のどの会議に、どのような端末種別のどの端末で、どのような通信方法で通信をして入室しているかを登録・記憶する。   Here, in the room entry process, which user is registered and stored in which conference in which conference room, which terminal of which terminal type, and which communication method is used to enter the room.

具体的には、図8の会議情報810の会議室811に入室するルームのルームIDを、参加者ID813に入室させるユーザのユーザIDを追加する。   Specifically, the user ID of the user who enters the room ID of the room entering the meeting room 811 of the meeting information 810 in FIG. 8 into the participant ID 813 is added.

本実施形態における説明では、会議室への入室=当該会議室に対応する会議への参加であるものとする。   In the description of this embodiment, it is assumed that entering a conference room = participation in a conference corresponding to the conference room.

また、当該ルームに入室中のユーザがいなかった場合は(無人のルームに入室した場合は)、会議を識別する会議IDを発行して会議ID812に挿入、記憶する。2人目以降の場合は、同ルームに入室中のユーザID(参加者)の参加している会議の会議ID(入室中のルームに対応する会議ID)を会議ID812に記憶するものとする。   When there is no user entering the room (when entering an unattended room), a meeting ID for identifying the meeting is issued and inserted into the meeting ID 812 and stored. In the case of the second and subsequent persons, the conference ID (conference ID corresponding to the room being entered) of the conference in which the user ID (participant) entering the room is participating is stored in the conference ID 812.

また、ステップS407で受け付けた入室要求に含まれていたクライアント端末100Aの端末IDを端末ID814に挿入する。また、受信した端末種別の情報を端末種別815に記憶する。   In addition, the terminal ID of the client terminal 100A included in the room entry request received in step S407 is inserted into the terminal ID 814. The received terminal type information is stored in the terminal type 815.

入室通知816は、対応する行のユーザが会議室に入室したことを、同じ会議室内のどのユーザの端末に通知するかを示す情報であるが、従来の入室処理においては入室通知816は存在せず、その値を用いることはない。   The room entry notification 816 is information indicating to which user's terminal in the same conference room that the user of the corresponding row has entered the conference room. However, in the conventional room entry process, the room entry notification 816 does not exist. The value is not used.

入室処理が完了すると、サーバ200のCPU201は、図14の1400に示すような、各クライアント端末100のカメラにより撮像された会議画像を表示する会議画面の画面情報(例えばhtml情報)を、入室したユーザのユーザIDの送信元のクライアント端末100Aに送信する(ステップS409)。   When the room entry process is completed, the CPU 201 of the server 200 has entered the screen information (for example, html information) of the conference screen that displays the conference image captured by the camera of each client terminal 100, as indicated by 1400 in FIG. The user ID of the user is transmitted to the client terminal 100A (step S409).

会議画像とは、電子会議において送受信される、カメラで撮影されたカメラ画像であり、主にユーザの姿を撮影した画像である。   A conference image is a camera image taken by a camera and transmitted / received in an electronic conference, and is an image obtained by taking a picture of a user mainly.

クライアント端末100AのCPU201は当該会議画面の画面情報を受信し(ステップS410)、受信した画面情報に基づいて会議画面1400を表示する(ステップS411)。   The CPU 201 of the client terminal 100A receives the screen information of the conference screen (step S410), and displays the conference screen 1400 based on the received screen information (step S411).

なお、この時点では会議画面1400に示すように、会議画像の表示領域には画像は表示されていないものとする。   At this time, as shown in the conference screen 1400, it is assumed that no image is displayed in the conference image display area.

サーバ200のCPU201は、会議画面の画面情報の送信と合わせて、ユーザが入室したルームの会議に参加中のユーザ一覧をクライアント端末100Aに送信し(ステップS409)、クライアント端末100AのCPU201はこれを受信して(ステップS410)、どのユーザの会議画像をどの表示領域に表示するかを割り当ててメモリ上に記憶する(ステップS412)。   The CPU 201 of the server 200 transmits a list of users who are participating in the conference of the room where the user has entered together with the transmission of the screen information of the conference screen to the client terminal 100A (step S409), and the CPU 201 of the client terminal 100A transmits this list. Upon receipt (step S410), which user's meeting image is to be displayed in which display area is assigned and stored in the memory (step S412).

また、カメラ機能がオンに設定されている場合は、サーバ200のCPU201は、自機で機能しているカメラ(例えば自機に搭載されているカメラ)で撮像された動画の1フレームごとの画像(フレーム画像)をメモリ上の画像キューに記憶する。クライアント端末上の画像キューの一例を図8の820に示す。   When the camera function is set to ON, the CPU 201 of the server 200 displays an image for each frame of a moving image captured by a camera functioning on the own device (for example, a camera mounted on the own device). (Frame image) is stored in the image queue on the memory. An example of the image queue on the client terminal is shown at 820 in FIG.

また、当該フレーム画像をサーバ200に順次送信する。サーバ200は当該動画のフレーム画像を受信して、メモリ上の画像キューに記憶する。サーバ上の画像キューの一例を図8の830に示す。   The frame images are sequentially transmitted to the server 200. The server 200 receives the frame image of the moving image and stores it in the image queue on the memory. An example of the image queue on the server is shown at 830 in FIG.

また、マイク機能がオンに設定されている場合は、サーバ200のCPU201は、自機で機能しているマイク(例えば自機に搭載されているマイク)に入力された音声情報を所定の間隔ごとのデータとして、メモリ上の音声キューに記憶する。クライアント端末上の音声キューの構成は、例えば図8の820における画像の代わりに音声情報が記憶されるものである。   Further, when the microphone function is set to ON, the CPU 201 of the server 200 converts the audio information input to the microphone functioning on the own device (for example, the microphone mounted on the own device) at predetermined intervals. Is stored in the voice cue on the memory. The configuration of the audio queue on the client terminal is such that audio information is stored instead of the image at 820 in FIG.

また、当該音声情報をサーバ200に順次送信する。サーバ200は当該音声情報を受信して、メモリ上の音声キューに記憶する。サーバ上の音声キューの構成は、例えば図8の830における画像の代わりに音声情報が記憶されるものである。   In addition, the audio information is sequentially transmitted to the server 200. The server 200 receives the audio information and stores it in the audio queue on the memory. The configuration of the voice queue on the server is such that voice information is stored instead of the image in 830 of FIG.

また、サーバ200のCPU201は、クライアント端末100Aにより新たに会議室に入室したユーザ(例:User001)を、同じ会議室に入室している他のユーザのクライアント端末であるクライアント端末100Cに通知する(ステップS413)。   Further, the CPU 201 of the server 200 notifies a user (for example, User001) who newly enters the conference room by the client terminal 100A to the client terminal 100C that is a client terminal of another user who has entered the same conference room ( Step S413).

例えば会議情報810の中のUser001の811〜815のデータをクライアント端末100Cに送信する。   For example, data 811 to 815 of User001 in the conference information 810 is transmitted to the client terminal 100C.

なお、図4の説明ではクライアント端末100Cのユーザ(User003)が、クライアント端末100Aのユーザ(User001)と同じ会議に参加している(同じ会議室に入室している)ものとして説明しているが、図8の810に示すように、User003以外にもUser001と同じ会議に参加しているユーザがいる場合、それら同じ会議室に参加中のユーザにもクライアント端末100Aにより新たに会議室に入室したユーザ(例:User001)を、通知する。   In the description of FIG. 4, it is assumed that the user (User003) of the client terminal 100C participates in the same conference as the user (User001) of the client terminal 100A (enters the same conference room). As shown at 810 in FIG. 8, when there are users who are participating in the same conference as User001 other than User003, those users who are participating in the same conference room newly enter the conference room by the client terminal 100A. The user (example: User001) is notified.

クライアント端末100CのCPU201は、当該新たに会議室に入室したユーザの情報を受信して(ステップS414)、自機のメモリに記憶する(ステップS415)。例えば会議情報810と同じ構成で、会議に参加中のユーザの一覧を記憶・管理する。   The CPU 201 of the client terminal 100C receives information on the user who has newly entered the conference room (step S414) and stores it in the memory of the own device (step S415). For example, a list of users participating in the conference is stored and managed with the same configuration as the conference information 810.

実際には、会議室に新たなユーザが入室したり、退室したりする都度サーバ200から通知を受け、当該会議に参加中のユーザの一覧を更新する。以上が図4の説明である。   Actually, whenever a new user enters or leaves the conference room, the server 200 receives a notification and updates the list of users participating in the conference. The above is the description of FIG.

各クライアント端末100のCPU201は、サーバから通知を受けた、同じ会議に参加している他機のユーザ一覧に基づいて、他機のユーザの会議画像及び音声をサーバ200に要求し、サーバ200が要求に応じて画像や音声を送信することで、図14の1410のように会議画面を表示更新して音声を再生する。   The CPU 201 of each client terminal 100 requests the server 200 for the conference image and sound of the user of the other device based on the user list of the other device participating in the same conference, which is notified from the server. By transmitting an image or sound in response to the request, the conference screen is displayed and updated as shown in 1410 in FIG.

次に図5を参照して、本発明の実施形態における入室処理の流れを説明する。   Next, with reference to FIG. 5, the flow of the room entry process in the embodiment of the present invention will be described.

なお、本実施形態の説明においてサーバ200のCPU201は、図4のステップS402において、同じユーザが既にログイン済みであっても当該ユーザを強制ログアウトさせることなく、追加のログイン処理を行って処理をステップS403に移行する。   In the description of the present embodiment, the CPU 201 of the server 200 performs the additional login process without forcibly logging out the user even if the same user has already logged in in step S402 of FIG. The process proceeds to S403.

サーバ200のCPU201は、図4のステップS407において入室要求を受け付けると図5の処理を開始する。   The CPU 201 of the server 200 starts the process of FIG. 5 when accepting the room entry request in step S407 of FIG.

サーバ200のCPU201は、ステップS407で受け付けた入室要求に含まれていたユーザIDを特定し(ステップS501)、同一のユーザが入室要求された会議室に入室中か、会議情報810を参照して判定する(ステップS502)。   The CPU 201 of the server 200 identifies the user ID included in the room entry request received in step S407 (step S501), and refers to the conference information 810 whether the same user is entering the conference room requested to enter. Determination is made (step S502).

同一ユーザが入室中でない場合、処理を図4のステップS408に移行する。同一ユーザが入室中である場合は処理をステップS503に移行する。   If the same user is not entering the room, the process proceeds to step S408 in FIG. If the same user is entering the room, the process proceeds to step S503.

サーバ200のCPU201は、図9の920に示すような確認画面の画面情報(html情報)を生成して、入室要求の送信元のクライアント端末100Bに送信する(ステップS503)。   The CPU 201 of the server 200 generates screen information (html information) of the confirmation screen as shown at 920 in FIG. 9 and transmits it to the client terminal 100B that is the transmission source of the room entry request (step S503).

当該確認画面920は、既にログイン及び会議室に入室しているユーザの新たな入室要求を受け付けた場合に、新たな入室要求に基づいて、どのように当該ユーザを入室させるかを確認させる画面であり、また、当該新たな入室要求の送信元のクライアント端末を入室後の会議室の電子会議においてどのように機能させるか(どの機能を実行する端末として会議に参加させるか)を確認するための画面である。   The confirmation screen 920 is a screen for confirming how to enter the user based on the new entry request when a new entry request of a user who has already entered the conference room is logged in. Yes, to confirm how the client terminal that sent the new entry request will function in the electronic conference in the conference room after entering the room (which function will be used as a terminal to participate in the conference) It is a screen.

チェックボックス922は、当該確認画面920を表示しているクライアント端末100Bを子機として会議室に入室させるための選択受付部である。   The check box 922 is a selection receiving unit for allowing the client terminal 100B displaying the confirmation screen 920 to enter the conference room as a slave.

親機選択受付部923は、子機として入室するにあたり、自機をどの端末子機とするかの選択を受け付ける、つまり親機の選択を受け付ける選択受付部であり、クライアント端末100Bによりログイン要求・入室要求されたユーザIDと同じユーザIDでサーバ200にログインし、入室要求された会議室に同じユーザIDで入室中のクライアント端末を選択可能に表示する一覧表示部である。   The master unit selection receiving unit 923 is a selection receiving unit that receives a selection of which terminal slave unit to use as the slave unit when entering the room as a slave unit, that is, a selection reception unit that receives selection of the master unit. It is a list display unit that logs in to the server 200 with the same user ID as the user ID requested to enter the room and displays the client terminals that are entering the room with the same user ID in the meeting room requested to enter.

本実施形態の説明においては、クライアント端末100AでUser001がサーバ200にログイン済み及びルーム001に入室中であり、クライアント端末100Bから新たにUser001のログイン要求及びルーム001への入室要求を受け付けたものとする。   In the description of the present embodiment, it is assumed that User001 has logged in to server 200 and is entering room 001 at client terminal 100A, and has newly received a login request for User001 and a request to enter room 001 from client terminal 100B. To do.

よって、親機選択受付部923には、クライアント端末100Aが選択可能に表示される。   Therefore, the client terminal 100A is displayed on the parent device selection receiving unit 923 so as to be selectable.

同じIDで既に入室しているクライアント端末が複数ある場合は、複数の当該クライアント端末が親機選択受付部923に一覧表示されるよう、画面情報を作成する。   When there are a plurality of client terminals that have already entered the room with the same ID, screen information is created so that a plurality of the client terminals are displayed in a list on the parent device selection receiving unit 923.

チェックボックス921は、一般機として会議室に入室するための選択受付部である。一般機とは、親機でも子機でもない端末のことである。一般機として入室を実行した場合は、既に同じユーザIDで入室中のクライアント端末100Aからのユーザの入室及びログインが強制解除され、新たにクライアント端末100Bのユーザを会議室に入室させる。   The check box 921 is a selection reception unit for entering the conference room as a general machine. A general machine is a terminal that is neither a parent machine nor a child machine. When entering a room as a general machine, the user's room entry and login from the client terminal 100A that has already entered the room with the same user ID is forcibly canceled, and a user of the client terminal 100B is newly entered into the conference room.

クライアント端末100Bは当該確認画面920の画面情報を受信して表示画面に表示する(ステップS504)。そして、当該確認画面920においてユーザ操作を受け付ける(ステップS505)。   The client terminal 100B receives the screen information of the confirmation screen 920 and displays it on the display screen (step S504). Then, a user operation is accepted on the confirmation screen 920 (step S505).

例えば、「一般機として入室する」の選択を受け付けた状態で「OK」ボタンの押下を受け付けることで、一般機としての入室要求の操作を受け付けたものとする。   For example, it is assumed that an operation for entering a room as a general machine is accepted by accepting a press of an “OK” button in a state where the selection of “enter as a general machine” is accepted.

例えば、「子機として入室する」の選択を受け付けた状態で、親機の選択を受け付け、「OK」ボタンの押下を受け付けることで、選択されている親機の子機としての入室要求の操作を受け付けたものとする。   For example, in the state of accepting the selection of “Enter as a child device”, accepting the selection of the parent device and accepting pressing of the “OK” button, the operation of the entry request as the child device of the selected parent device Is accepted.

クライアント端末100BのCPU201は、自機の備える機能(カメラ、マイク、スピーカ)の全てをオフに設定し(ステップS506)、ステップS505で受け付けた操作の内容をサーバ200に送信する(ステップS507)。   The CPU 201 of the client terminal 100B sets all the functions (camera, microphone, speaker) of the own device to OFF (step S506), and transmits the contents of the operation received in step S505 to the server 200 (step S507).

各クライアント端末100は、自機のカメラ、マイク、スピーカ機能のオン/オフを、自機のメモリ上に記憶されている、図8の機能設定850に示す設定テーブルで管理している。機能をオンにする場合、対象の機能名851のON/OFF852をONに設定する。機能をオフにする場合、対象の機能名851のON/OFF852をOFFに設定する。   Each client terminal 100 manages on / off of its own camera, microphone, and speaker functions using a setting table shown in the function setting 850 of FIG. 8 stored in its own memory. When the function is turned on, ON / OFF 852 of the target function name 851 is set to ON. When turning off the function, ON / OFF 852 of the target function name 851 is set to OFF.

サーバ200のCPU201は、ステップS505でクライアント端末100Bが受け付けた操作内容の情報を受信し、子機として会議室(例:room001)に入室する操作を受け付けたか判定する(ステップS508)。   The CPU 201 of the server 200 receives the information on the operation content received by the client terminal 100B in step S505, and determines whether an operation for entering a conference room (eg, room 001) as a slave is received (step S508).

一般機として入室する操作を受け付けた場合は、入室先の会議室内の、クライアント端末100Bのユーザ(例:User001)と同じユーザ(クライアント端末100AのUser001)をログアウトさせ、処理を図4のステップS408に移行する。   When an operation to enter the room as a general machine is accepted, the same user (User001 of the client terminal 100A) as the user of the client terminal 100B (for example, User001) in the conference room that is the entry destination is logged out, and the process is performed in step S408 in FIG. Migrate to

なお、一般機として入室処理を行った場合、サーバ200のCPU201は、会議情報810における当該入室したユーザのデータの入室通知816に「全機」を挿入して記憶する。   When the room entry process is performed as a general machine, the CPU 201 of the server 200 inserts and stores “all machines” in the room entry notification 816 of the data of the user who has entered the room in the conference information 810.

また、「キャンセル」ボタンの押下を受け付けた場合は、ステップS402においてログインしたユーザ(クライアント端末100BのUser001)をサーバ200からログアウトさせる。   If the user presses the “cancel” button, the logged-in user (User 001 of the client terminal 100B) is logged out from the server 200 in step S402.

入室通知816は、当該入室通知816のデータのユーザが入室したことを、会議に参加中のどの端末に通知するかを定めるデータである。   The entry notification 816 is data that determines which terminal participating in the conference is notified that the user of the data of the entry notification 816 has entered the room.

サーバ200のCPU201は、入室通知816に設定した内容に従って、一般機として入室したクライアント端末100の入室の通知を同じ会議に参加中の全機に送信する。   The CPU 201 of the server 200 transmits the entry notification of the client terminal 100 that has entered the room as a general machine to all the machines participating in the same conference according to the contents set in the room entry notice 816.

一方、子機として入室する操作を受け付けたと判定した場合は、処理をステップS509に移行する。   On the other hand, if it is determined that an operation for entering the room as a slave unit has been received, the process proceeds to step S509.

サーバ200のCPU201は、子機として入室する操作を受け付けたと判定した場合に、クライアント端末100Bを子機として対象の会議室に入室させることを決定し、クライアント端末100Bの端末IDをメモリ上に保持する(ステップS509)。   When the CPU 201 of the server 200 determines that an operation for entering a room as a slave unit has been received, the CPU 201 determines that the client terminal 100B enters the target conference room as a slave unit, and stores the terminal ID of the client terminal 100B in the memory (Step S509).

また、確認画面920において選択された親機をクライアント端末100Bの親機とすることを決定し、親機の端末IDをメモリ上に保持する。ここでは親機としてクライアント端末100Aが選択されたものとする(ステップS510)。   Further, it is determined that the parent device selected on the confirmation screen 920 is the parent device of the client terminal 100B, and the terminal ID of the parent device is held in the memory. Here, it is assumed that the client terminal 100A is selected as the parent device (step S510).

サーバ200のCPU201は、当該親機と子機の端末IDを対応付けてメモリ上に記憶する(ステップS511)。具体的には、図8の親子情報840の親機ID841にクライアント端末100Aの値を記録し、子機ID842にクライアント端末100Bの値を記録する。親子情報840は、会議ID作成時点において、会議IDごとに、サーバ200がメモリ上に作成するテーブルである。   The CPU 201 of the server 200 stores the terminal IDs of the parent device and the child device in association with each other on the memory (step S511). Specifically, the value of the client terminal 100A is recorded in the parent device ID 841 of the parent-child information 840 in FIG. 8, and the value of the client terminal 100B is recorded in the child device ID 842. The parent-child information 840 is a table created on the memory by the server 200 for each conference ID when the conference ID is created.

子機機能843は、親機ID841と子機ID842の端末の関係において、子機が何の機能を実行する端末として指定されているかを示す。子機機能843には現時点では値は挿入されていない。   The slave unit function 843 indicates what function the slave unit is designated as a terminal that executes in the relationship between the terminals of the master unit ID 841 and the slave unit ID 842. No value is inserted into the slave unit function 843 at this time.

サーバ200のCPU201は、クライアント端末100のUser001を入室先の会議室であるroom001に入室させる(ステップS512)。入室後の会議情報の一例を図8の810に示す。   The CPU 201 of the server 200 causes the User 001 of the client terminal 100 to enter the room 001, which is the conference room to which the user enters (Step S512). An example of conference information after entering the room is shown at 810 in FIG.

子機としての入室処理の場合、サーバ200のCPU201は、会議情報810における当該入室したユーザのデータの入室通知816に「親機のみ」を挿入して記憶する。   In the case of entry processing as a slave unit, the CPU 201 of the server 200 inserts “only the master unit” into the entry notification 816 of the data of the user who entered the conference information 810 and stores it.

サーバ200のCPU201は、入室通知816に設定した内容に従って、クライアント端末100Aの子機として入室したクライアント端末100の入室の通知を、親機であるクライアント端末100Aにのみ送信する(ステップS513/非表示制御手段に該当)。   The CPU 201 of the server 200 transmits the entry notification of the client terminal 100 that has entered the client terminal 100A as the slave unit of the client terminal 100A only to the client terminal 100A that is the master unit according to the contents set in the entry notification 816 (step S513 / non-display) Applicable to control means).

つまり、親機以外には、同じユーザが2つの端末から入室していることを通知しない。   That is, it is not notified that the same user has entered the room from two terminals other than the parent device.

入室が通知されていない他の端末は、新たにクライアント端末100BのUser001が入室したことが分からないため、後述する図7の処理でクライアント端末100BのUser001の画像及び音声の要求をすることがなく、また、そもそもクライアント端末100AのUser001の表示領域とクライアント端末100BのUser001の表示領域が個別に生成・会議画面に表示されることもなくなる。   Other terminals that have not been notified of entering the room do not know that User001 of the client terminal 100B has newly entered, and therefore do not request the image and sound of User001 of the client terminal 100B in the processing of FIG. In the first place, the display area of User001 of the client terminal 100A and the display area of User001 of the client terminal 100B are not separately displayed on the generation / conference screen.

なお、当該通知は図10に示す機能選択画面1000の表示指示を含むものとする。例えば、サーバ200のCPU201は、当該機能選択画面1000の画面情報(html)を作成してクライアント端末100Aに送信する。   The notification includes a display instruction for the function selection screen 1000 shown in FIG. For example, the CPU 201 of the server 200 creates screen information (html) of the function selection screen 1000 and transmits it to the client terminal 100A.

機能選択画面1000は、子機として入室したクライアント端末100Bを、何の機能を実行する端末として動作させるかを、親機においてユーザに選択させる画面である。   The function selection screen 1000 is a screen that allows the user to select what function the client terminal 100B that has entered as a child machine operates as a terminal that executes the function.

1001、1002、1003は、それぞれカメラ、マイク、スピーカとして機能させる端末または自機に搭載・接続された専用のデバイス(カメラ、マイク、スピーカ)を選択するための領域である。   Reference numerals 1001, 1002, and 1003 denote areas for selecting terminals that function as cameras, microphones, and speakers, or dedicated devices (cameras, microphones, and speakers) mounted and connected to the own device.

サーバ200は、1001、1002、1003において、それぞれプルダウンで子機、専用のデバイスを選択可能に表示できるよう画面を生成している。機能を実行するデバイスの選択の様子を1010及び1020に示す。   The server 200 generates screens in 1001, 1002, and 1003 so that a slave unit and a dedicated device can be selected in a pull-down manner. 1010 and 1020 show how a device that executes a function is selected.

1004は、1001で選択されたカメラとして機能させる子機またはデバイスで撮影中の映像を表示する表示部である。   Reference numeral 1004 denotes a display unit that displays an image being shot by a slave unit or device that functions as the camera selected in 1001.

「OK」ボタン1005は、1001、1002、1003において選択された内容を確定するためのボタンである。つまり、どの端末をカメラ、マイク、スピーカの機能を実行する端末とするかを、親機の操作で決定するためのボタンである。   An “OK” button 1005 is a button for confirming the contents selected in 1001, 1002, and 1003. That is, it is a button for determining which terminal is a terminal that performs the functions of the camera, microphone, and speaker by the operation of the parent device.

図5の説明に戻る。クライアント端末100AのCPU201は、自機と同じユーザで入室が実行された子機のIDの通知を受け付け、また、機能選択画面1000の表示指示を受け付ける(ステップS514)。   Returning to the description of FIG. The CPU 201 of the client terminal 100A accepts notification of the ID of the child device that has been entered by the same user as the own device, and accepts a display instruction for the function selection screen 1000 (step S514).

クライアント端末100AのCPU201は、受け付けた指示に含まれる画面情報に従って、機能選択画面1000を表示する(ステップS515)。   The CPU 201 of the client terminal 100A displays the function selection screen 1000 according to the screen information included in the received instruction (step S515).

クライアント端末100AのCPU201は、機能選択画面1000において、どの端末・デバイスを、どの機能を実行する端末とするかの選択操作を受け付ける(ステップS516)。   In the function selection screen 1000, the CPU 201 of the client terminal 100A accepts a selection operation to select which terminal / device is the terminal that executes which function (step S516).

例えば、本実施形態の説明においては、カメラとして機能させる端末として、子機のクライアント端末100Bの選択を受け付け、マイク及びスピーカとして機能させる端末としてクライアント端末100A自身(クライアント端末100Aに搭載されているマイク及びスピーカ)の選択を受け付けたものとする。   For example, in the description of the present embodiment, the client terminal 100A itself (a microphone mounted on the client terminal 100A) is accepted as a terminal that functions as a microphone and a speaker, accepting selection of the client terminal 100B as a slave device as a terminal that functions as a camera. And a speaker) are accepted.

クライアント端末100AのCPU201は、子機で実行する機能として「カメラ」が指定された旨の情報を、子機においてカメラの機能を有効にするべく、サーバ200に送信する(ステップS517)。また、自機に搭載されているカメラの機能をオフに設定する。   The CPU 201 of the client terminal 100A transmits information indicating that “camera” is designated as a function to be executed by the slave unit to the server 200 in order to validate the camera function in the slave unit (step S517). In addition, the function of the camera mounted on the own device is set to off.

サーバ200のCPU201は、子機で実行する機能として「カメラ」が指定された旨の情報を受け付け、親子情報840の子機機能843に「カメラ」の値を記憶する。(ステップS518)。   The CPU 201 of the server 200 receives information indicating that “camera” is designated as a function to be executed by the slave unit, and stores the value of “camera” in the slave unit function 843 of the parent-child information 840. (Step S518).

サーバ200のCPU201は、子機であるクライアント端末100Bに対して、「カメラ」の機能を有効にするよう通知する(ステップS519)。   The CPU 201 of the server 200 notifies the client terminal 100B, which is a slave device, to enable the “camera” function (step S519).

クライアント端末100BのCPU201は当該通知を受け付け(ステップS520)、通知された機能を有効にする(ステップS521)。ここでは「カメラ」の機能をオンに設定する。   The CPU 201 of the client terminal 100B accepts the notification (step S520) and validates the notified function (step S521). Here, the “camera” function is set to ON.

また、サーバ200のCPU201は、親機であるクライアント端末100Aに対して、画面の表示更新指示を送信する。例えば、図11の1100に示すように、子機となったクライアント端末100Bを識別表示し、クライアント端末100Aがその親機となったことを識別表示する会議画面の画面情報を生成してクライアント端末100Aに送信する(ステップS522)。   In addition, the CPU 201 of the server 200 transmits a screen display update instruction to the client terminal 100 </ b> A that is a parent device. For example, as shown by 1100 in FIG. 11, the client terminal 100B that has become a child device is identified and displayed, and screen information of a conference screen that identifies and displays that the client terminal 100A has become the parent device is generated to generate the client terminal. It transmits to 100A (step S522).

図11の調整ボタン1101は、子機のカメラ、マイク、スピーカの質を調整するための機能調整画面1201(図12に図示)を表示するためのボタンであり、当該画面を表示する端末が、他の端末の親機になっていることを示す識別情報である。   An adjustment button 1101 in FIG. 11 is a button for displaying a function adjustment screen 1201 (shown in FIG. 12) for adjusting the quality of the camera, microphone, and speaker of the slave unit. This is identification information indicating that it is a base unit of another terminal.

クライアント端末100Aは、会議画面1100を受信して表示画面に表示する(ステップS523)。   The client terminal 100A receives the conference screen 1100 and displays it on the display screen (step S523).

また、サーバ200のCPU201は、子機であるクライアント端末100Bに対して、画面の表示更新指示を送信する。例えば、図11の1120に示すように、親機となったクライアント端末100Aを識別表示し、クライアント端末100Bがその子機となったことを識別表示する会議画面の画面情報を生成してクライアント端末100Bに送信する(ステップS524)。   In addition, the CPU 201 of the server 200 transmits a screen display update instruction to the client terminal 100 </ b> B that is a child device. For example, as shown at 1120 in FIG. 11, the client terminal 100A is identified and displayed, and the screen information of the conference screen that identifies and displays that the client terminal 100B is the slave is generated to generate the client terminal 100B. (Step S524).

クライアント端末100Bは、会議画面1120を受信して表示画面に表示する(ステップS525)。   The client terminal 100B receives the conference screen 1120 and displays it on the display screen (step S525).

なお、親機にも子機にもなっていない他のクライアント端末100(例:100C,100D)には、1110のような、従来どおりの会議画面が表示されている。但し、User001の会議画像を撮影するカメラが、クライアント端末100Aからクライアント端末100Bに変更されている場合、User001の表示領域にはクライアント端末100Bのカメラで撮影された会議画像が表示されることとなる。以上が図5の説明である。   A conventional conference screen such as 1110 is displayed on another client terminal 100 (eg, 100C, 100D) that is neither a master nor a slave. However, when the camera that captures the conference image of User001 is changed from the client terminal 100A to the client terminal 100B, the conference image captured by the camera of the client terminal 100B is displayed in the display area of User001. . The above is the description of FIG.

次に図6を参照して、本発明の実施形態における、画像及び音声のサーバへの送受信処理の流れについて説明する。   Next, with reference to FIG. 6, the flow of the transmission / reception process of the image and the sound to the server in the embodiment of the present invention will be described.

図6の処理は、クライアント端末100によるユーザの会議室への入室が完了したタイミングから開始・実行される。   The process of FIG. 6 is started and executed from the timing when the client terminal 100 completes the user's entry into the conference room.

図6の説明においては、クライアント端末100Bがクライアント端末100Aの子機であり、カメラ端末として動作する端末として入室していることを想定して説明する。   In the description of FIG. 6, it is assumed that the client terminal 100B is a slave unit of the client terminal 100A and enters the room as a terminal that operates as a camera terminal.

クライアント端末100AのCPU201は、自機で有効になっている機能を特定する。ここではマイク機能が有効になっていると特定する(ステップS601)。   The CPU 201 of the client terminal 100A specifies a function that is enabled by the own device. Here, it is specified that the microphone function is enabled (step S601).

クライアント端末100AのCPU201は、会議終了までの間、所定の時間間隔ごとにステップS603の処理を繰り返す(ステップS602)。例えば0.5秒毎に繰り返す。   The CPU 201 of the client terminal 100A repeats the process of step S603 at predetermined time intervals until the conference ends (step S602). For example, repeat every 0.5 seconds.

クライアント端末100AのCPU201は、自機のマイクから入力されている音声情報を取得し、サーバ200に送信する(ステップS603)。   The CPU 201 of the client terminal 100A acquires audio information input from its own microphone and transmits it to the server 200 (step S603).

サーバ200のCPU201は音声情報を受信し(ステップS621)、音声の送受信に際して張られたセッションの情報から送信元の端末IDを特定する(ステップS622)。   The CPU 201 of the server 200 receives the audio information (step S621), and identifies the terminal ID of the transmission source from the session information established at the time of audio transmission / reception (step S622).

サーバ200のCPU201は、親子情報840を参照して、特定された音声の送信元の端末が子機か判定する(ステップS623)。子機でない場合は処理をステップS626に移行し、受信した音声情報を、音声送信元の端末のユーザの音声キュー(不図示)に記憶する(ステップS626)。   The CPU 201 of the server 200 refers to the parent / child information 840 and determines whether the terminal of the specified voice transmission source is a child device (step S623). If it is not a slave unit, the process proceeds to step S626, and the received voice information is stored in the voice queue (not shown) of the user of the voice transmission source terminal (step S626).

音声キューは所定の時間間隔ごとの音声の情報を、シーケンス番号と、ユーザIDと、当該音声を配信した送信先のユーザを管理する情報である。つまり、図8の830に示す画像キューの画像833の代わりに音声情報を記憶・管理する情報である。音声キューは、会議に入室している端末ごとにサーバ200がメモリ上に作成・管理する。   The voice queue is information for managing voice information at predetermined time intervals, a sequence number, a user ID, and a transmission destination user to whom the voice is distributed. That is, it is information for storing and managing audio information instead of the image 833 in the image queue 830 shown in FIG. The voice queue is created and managed on the memory by the server 200 for each terminal entering the conference.

音声の送信元の端末が子機である場合、サーバ200のCPU201は、当該送信元の端末が、マイク機能を実行する端末として指定されているか、子機機能843を参照して判定する(ステップS624)。   When the audio transmission source terminal is a slave unit, the CPU 201 of the server 200 determines whether the transmission source terminal is designated as a terminal that performs the microphone function with reference to the slave unit function 843 (step S100). S624).

マイク機能を実行する端末として指定されている場合には、処理をステップS625に移行し、受信した音声情報を、クライアント端末100A(親機)のユーザの音声キューに記憶する(ステップS625)。マイク機能を実行する端末として指定されていない場合には、音声の記憶をすることなく処理を終了する。   If the terminal is designated as a terminal that performs the microphone function, the process proceeds to step S625, and the received voice information is stored in the voice queue of the user of the client terminal 100A (master unit) (step S625). If the terminal is not designated as a terminal that executes the microphone function, the process ends without storing the voice.

クライアント端末100BのCPU201は、自機で有効になっている機能を特定する。ここではカメラ機能が有効になっていると特定する(ステップS611)。   The CPU 201 of the client terminal 100B specifies a function that is enabled by the own device. Here, it is specified that the camera function is enabled (step S611).

クライアント端末100BのCPU201は、会議終了までの間、自機のカメラで撮像するカメラ画像1フレームごとにステップS613〜S615の処理を繰り返す(ステップS612)。   The CPU 201 of the client terminal 100B repeats the processes of steps S613 to S615 for each frame of the camera image captured by its own camera until the end of the conference (step S612).

クライアント端末100AのCPU201は、カメラからの入力画像(映像)を、ステップS613で会議画面に表示する一方で、映像コーデックによる画像(映像)の圧縮処理を行い、圧縮後の画像を、1フレームごとに、順々に自装置のメモリ上の画像キューに保存・記憶する(ステップS614)。   The CPU 201 of the client terminal 100A displays the input image (video) from the camera on the conference screen in step S613, while compressing the image (video) using the video codec and processing the compressed image for each frame. Then, the images are sequentially stored and stored in the image queue on the memory of the own device (step S614).

画像キューの一例を図8の画像キュー820に示す。画像キュー820は、各画像の識別番号(端末ID)であり、画像の順序を示すシーケンス番号821と、画像の実体(画像データ/映像の中の1フレームの画像)である画像822の項目から構成される。   An example of the image queue is shown as an image queue 820 in FIG. The image queue 820 is an identification number (terminal ID) of each image, and includes items of a sequence number 821 indicating the order of the images and an image 822 that is a substance of the image (image data / one frame image in the video). Composed.

クライアント端末100AのCPU201は、自機のカメラから取得した映像の各フレームの画像について、当該画像を取得した順にシーケンス番号を割り振って、画像キュー820に記憶する。   The CPU 201 of the client terminal 100A allocates a sequence number to the image of each frame of the video acquired from its own camera in the order in which the images are acquired, and stores them in the image queue 820.

クライアント端末100AのCPU201は、画像キュー820に保存した画像を、サーバ200に、シーケンス番号と共に順次送信する(ステップS615)。つまり、画像キュー820に示す情報をサーバ200に送信する。   The CPU 201 of the client terminal 100A sequentially transmits the images stored in the image queue 820 together with the sequence number to the server 200 (step S615). That is, the information shown in the image queue 820 is transmitted to the server 200.

サーバ200のCPU201は、当該画像(圧縮データ)を受信し(ステップS627)、画像の送受信に際して張られたセッションの情報から送信元の端末IDを特定する(ステップS628)。   The CPU 201 of the server 200 receives the image (compressed data) (step S627), and specifies the terminal ID of the transmission source from the information on the session established when transmitting / receiving the image (step S628).

サーバ200のCPU201は、親子情報840を参照して、特定された画像の送信元の端末が子機か判定する(ステップS628)。   The CPU 201 of the server 200 refers to the parent / child information 840 and determines whether the terminal that is the transmission source of the identified image is a child device (step S628).

サーバ200のCPU201は、子機でない場合は処理をステップS632に移行する。ステップS632では、サーバ200のCPU201は、自装置のメモリ上に保持している、当該画像の送信元のクライアント端末100A(端末ID)での入室ユーザの画像キュー830に追加して記憶する(ステップS632)。   If the CPU 201 of the server 200 is not a slave unit, the process proceeds to step S632. In step S632, the CPU 201 of the server 200 additionally stores in the image queue 830 of the user entering the room at the client terminal 100A (terminal ID) that is the transmission source of the image, which is stored in the memory of the server 200 (step S632). S632).

サーバ200のCPU201は、ユーザの会議室への入室処理が行われた場合に、当該ユーザの端末ごとに会議画像キューを生成してメモリ上に保持する。   The CPU 201 of the server 200 generates a conference image queue for each user terminal when the user enters the conference room and stores the conference image queue in the memory.

当該サーバ200のメモリ上の画像キュー830には、クライアント端末100より受信した、画像キュー820のシーケンス番号821、画像822と同じ情報を対応付けて記憶する。   The image queue 830 on the memory of the server 200 stores the same information received from the client terminal 100 as the sequence number 821 and the image 822 of the image queue 820 in association with each other.

画像の送信元の端末が子機である場合、サーバ200のCPU201は、当該送信元の端末が、カメラ機能を実行する端末として指定されているか、子機機能843を参照して判定する(ステップS630)。   When the image transmission source terminal is a slave unit, the CPU 201 of the server 200 determines whether or not the transmission source terminal is designated as a terminal that executes the camera function with reference to the slave unit function 843 (step S100). S630).

カメラ機能を実行する端末として指定されている場合には、処理をステップS631に移行し、受信した画像を、親機のユーザの画像キュー830に記憶する(ステップS631)。   If the terminal is designated as a terminal that executes the camera function, the process proceeds to step S631, and the received image is stored in the image queue 830 of the master user (step S631).

カメラ機能を実行する端末として指定されていない場合には、画像の記憶をすることなく処理を終了する。以上が図6の説明である。   If the terminal is not designated as a terminal that executes the camera function, the process ends without storing the image. The above is the description of FIG.

次に図7を参照して、本発明の実施形態における、サーバからの画像及び音声の取得処理の流れについて説明する。   Next, with reference to FIG. 7, the flow of processing for acquiring images and sounds from the server in the embodiment of the present invention will be described.

図7のステップS701以下及びステップS711以下の処理は、サーバ200がユーザの入室処理を完了し、クライアント端末100がサーバ200から入室完了の通知を受け付けた時点から繰り返し実行する。入室完了の通知を受け付けた時点とは、例えば会議画像の受信時点である。   The processing from step S701 onward in FIG. 7 and the processing from step S711 onward is repeatedly executed from the point in time when the server 200 completes the user entry processing and the client terminal 100 receives notification of entry completion from the server 200. The point in time when the notification of entry completion is received is, for example, the point in time when the conference image is received.

なお、ステップS711以下の処理は、クライアント端末100がサーバ200から受信した、当該クライアント端末100のユーザと同じ会議室に入室しているユーザ一覧に基づいて、当該一覧内のユーザを対象として実行される。   Note that the processes in and after step S711 are executed for users in the list based on the user list received from the server 200 by the client terminal 100 and entering the same conference room as the user of the client terminal 100. The

以下、音声の送受信及び再生処理について説明する。   Hereinafter, audio transmission / reception and playback processing will be described.

クライアント端末100のCPU201は、自機のスピーカ機能が有効な場合には、ステップS701〜S706の処理を繰り返し実行する。   If the speaker function of the client terminal 100 is valid, the CPU 201 of the client terminal 100 repeatedly executes the processes of steps S701 to S706.

クライアント端末100のCPU201は、他の会議参加者の音声(同じ会議室に入室している他の入室者のユーザIDの音声キューの音声)の取得要求をサーバ200に送信する(ステップS701)。当該要求には、クライアント端末100でサーバ200にログイン中のユーザIDを含めるものとする。   The CPU 201 of the client terminal 100 transmits to the server 200 an acquisition request for the voice of another conference participant (the voice queue voice of the user ID of another room participant who has entered the same conference room) (step S701). The request includes the user ID that is logged in to the server 200 at the client terminal 100.

サーバ200のCPU201は当該取得要求を受け付け(ステップS702)、要求元のクライアント端末100でのログインユーザ以外の、当該ログインユーザと同じ会議室に入室中のユーザのユーザIDを、会議情報810を参照して特定する。   The CPU 201 of the server 200 accepts the acquisition request (step S702) and refers to the conference information 810 for the user ID of the user who is entering the same conference room as the login user other than the login user at the requesting client terminal 100. To identify.

そして、特定した他の入室者の音声キューの音声のうち、画像の要求元のクライアント端末100に未送信の、最新のシーケンス番号(最も後ろの番号)の音声を取得して合成し(ステップS703)、合成した音声を要求元のクライアント端末100に送信する(ステップS704)。なお、同じユーザで子機と親機の音声キューが存在する場合、親機の音声キューに記憶されている音声を合成に用いる。   Then, the voice of the latest sequence number (the last number) that has not been transmitted to the client terminal 100 requesting the image is acquired and synthesized from the voices in the voice queues of the other identified room occupants (step S703). ), And transmits the synthesized voice to the requesting client terminal 100 (step S704). If the same user has voice cues of the child device and the parent device, the voice stored in the voice queue of the parent device is used for synthesis.

また、合成に用いた各音声に対応付けて、音声を送信した送信先のクライアント端末100で入室中のユーザIDを、送信済みユーザの情報として記憶する。   Further, in association with each voice used for synthesis, the user ID that is entering the room at the client terminal 100 of the transmission destination that has transmitted the voice is stored as information on the user who has already been sent.

クライアント端末100のCPU201は、ステップS708で送信された音声情報を受信し(ステップS705)、スピーカで再生する(ステップS706)。   The CPU 201 of the client terminal 100 receives the audio information transmitted in step S708 (step S705) and reproduces it with a speaker (step S706).

クライアント端末100のCPU201は、受信した音声情報を順次再生するものとする。   It is assumed that the CPU 201 of the client terminal 100 sequentially reproduces received audio information.

以下、画像の送受信及び表示処理について説明する。   Hereinafter, image transmission / reception and display processing will be described.

クライアント端末100のCPU201は、他の会議参加者のうち所定のユーザを特定し、当該ユーザの会議画像の取得要求をサーバ200に送信する(ステップS711)。例えば、現在会議画面に表示されている表示領域を特定し、その表示領域に対応するユーザの会議画像をサーバに要求する。   The CPU 201 of the client terminal 100 identifies a predetermined user among other conference participants and transmits a request for acquiring the conference image of the user to the server 200 (step S711). For example, the display area currently displayed on the conference screen is specified, and the user's conference image corresponding to the display area is requested from the server.

当該画像の取得要求には、クライアント端末100でサーバ200にログイン中のユーザIDを含めるものとする。   The image acquisition request includes the user ID that is logged in to the server 200 at the client terminal 100.

サーバ200のCPU201は当該取得要求を受け付け(ステップS712)、要求元のクライアント端末100でのログインユーザ以外の、当該ログインユーザと同じ会議室に入室中のユーザのユーザIDであって、要求を受けたユーザのユーザIDを、会議情報810を参照して特定する。そして、取得要求を受け付けたユーザの会議画像を特定する。   The CPU 201 of the server 200 accepts the acquisition request (step S712), and is the user ID of a user who is entering the same conference room as the login user other than the login user at the requesting client terminal 100, and receives the request. The user ID of the selected user is specified with reference to the conference information 810. And the meeting image of the user who received the acquisition request is specified.

特定した他の入室者の画像キューの画像のうち、画像の要求元のクライアント端末100に未送信の、最新のシーケンス番号(最も後ろの番号)の画像を取得し(ステップS713)、取得した会議画像を、当該画像に対応するユーザIDと共に要求元のクライアント端末100に送信する(ステップS714)。   The image of the latest sequence number (the last number) that has not been transmitted to the client terminal 100 requesting the image is acquired from the images in the image queues of other identified room occupants (step S713), and the acquired meeting The image is transmitted to the requesting client terminal 100 together with the user ID corresponding to the image (step S714).

なお、同じユーザで子機と親機の画像キューが存在する場合、親機の画像キューに記憶されている画像を取得し、送信するものとする。   When there is an image queue for the child device and the parent device by the same user, an image stored in the image queue of the parent device is acquired and transmitted.

また、画像を送信した送信先のクライアント端末100で入室中のユーザIDを、送信済みユーザ834に記憶する(ステップS715)。   In addition, the user ID that has entered the room at the client terminal 100 that has transmitted the image is stored in the transmitted user 834 (step S715).

クライアント端末100のCPU201は、ステップS715で送信された画像(圧縮データ)を受信し(ステップS716)、映像コーデックによる伸長処理を行って映像(画像)を復元して、表示中の会議画面に表示する(ステップS717)。   The CPU 201 of the client terminal 100 receives the image (compressed data) transmitted in step S715 (step S716), performs decompression processing by the video codec, restores the video (image), and displays it on the displayed conference screen. (Step S717).

例えば、各ユーザの会議画像を対応する表示領域の番号に割り当ててメモリ上に記憶し、図14の会議画面1410のように表示する。どの表示領域にどのユーザの画像を表示するかの対応付け情報(表示領域のIDとユーザIDを対応付けた情報)は、クライアント端末100のメモリに記憶されているものとする。   For example, the conference image of each user is assigned to the corresponding display area number and stored in the memory, and displayed as a conference screen 1410 in FIG. Assume that association information (information in which display area IDs are associated with user IDs) indicating which user's image is displayed in which display area is stored in the memory of the client terminal 100.

クライアント端末100のCPU201は、受信した各ユーザの画像(会議画像)を、それぞれの画像のユーザに対応する表示領域に順次表示・更新し、動画像(映像)として再生・表示する。   The CPU 201 of the client terminal 100 sequentially displays / updates the received image (conference image) of each user in the display area corresponding to the user of each image, and reproduces / displays it as a moving image (video).

ウェブ会議を行う場合、実際には、複数のクライアント端末100が存在する場合があるため、サーバ200のCPU201は、ステップS712〜S715を会議室に入室中の、カメラ機能が有効なクライアント端末100の数だけ実行することとなる。以上が図7の説明である。   When a web conference is performed, there may actually be a plurality of client terminals 100. Therefore, the CPU 201 of the server 200 determines whether the client terminal 100 that has entered the conference room in steps S712 to S715 and has an effective camera function. It will be executed by the number. The above is the description of FIG.

なお、親機であるクライアント端末100Aにおいては、図11の1101の選択操作を受け付けることで、図12の1200に示す、機能調整画面1201を表示し、スライドバーに対する操作に応じて、各デバイスの機能を実行している端末にサーバ200を介して音量や画質の変更指示を送信する。当該指示を受け付けた端末(例えばクライアント端末100B)が、指示に応じて音量・画質を変更することができる。   Note that the client terminal 100A, which is the parent device, accepts the selection operation 1101 in FIG. 11 to display the function adjustment screen 1201 shown in 1200 in FIG. 12, and displays the function adjustment screen 1201 according to the operation on the slide bar. A volume or image quality change instruction is transmitted via the server 200 to the terminal executing the function. The terminal (for example, the client terminal 100B) that has received the instruction can change the volume and image quality in accordance with the instruction.

「詳細設定」ボタン1202の押下を受け付けた場合は、機能選択画面1000を表示するものとする。   When pressing of the “detail setting” button 1202 is accepted, the function selection screen 1000 is displayed.

つまり、子機の機能に関して操作可能な画面を生成して親機に送信して表示させる(操作制御手段に該当)。   In other words, a screen operable with respect to the function of the slave unit is generated, transmitted to the master unit, and displayed (corresponding to the operation control means).

また、上述した実施形態においては、どの端末を親機とするかを選択させるものとしたが、例えばサーバ200が自動で親機を選択するようにしてもよい。具体的には、入室要求を受け付けたユーザが入室先の会議室に入室している場合、入室中の当該同じユーザIDのユーザの端末のうち、最初に会議室に入室している(データの保存日時が最も古い)ユーザのクライアント端末100を親機としてステップS509で決定する。   In the above-described embodiment, the terminal to be selected as the parent device is selected. However, for example, the server 200 may automatically select the parent device. Specifically, when a user who has accepted a room entry request enters a conference room that is a room entry destination, the user first enters the conference room among the terminals of the user with the same user ID that is entering the room (the data In step S509, the client terminal 100 of the user having the oldest storage date is determined as the parent device.

また、既に複数の同一IDのユーザが1つの会議室に入室している場合、親子情報840を参照し、親機となっているクライアント端末100を、新たに入室要求を受け付けたユーザのクライアント端末の親機として決定するようにしてもよい。例えば、クライアント端末100Aが親機、クライアント端末100Bが子機であり、User001として入室している会議室に対し、クライアント端末100CからUser001の入室要求を受け付けた場合、クライアント端末100Cをクライアント端末100Aの子機として決定する。   Further, when a plurality of users having the same ID have already entered a conference room, the client terminal 100 of the user who has newly accepted a room entry request is referred to the parent / child information 840 and the client terminal 100 serving as the parent machine is newly received. You may make it determine as a main | base station. For example, when the client terminal 100A receives a request for entering User001 from the client terminal 100C to a conference room that is entered as User001, the client terminal 100A is the master unit and the client terminal 100B is a slave unit. Decide as a handset.

また、上述した説明においては、子機としてログイン・入室したクライアント端末100Bをどの機能を実行する端末とするかを選択させるものとしたが、例えば、図13の確認画面1300を確認画面920の代わりとし、クライアント端末100Bにおいて、自機をどの機能を実行する子機として会議に参加させるかを選択させるようにしてもよい。   Further, in the above description, the client terminal 100B that has logged in and entered as a slave unit is selected as a terminal that executes a function. For example, instead of the confirmation screen 920, the confirmation screen 1300 in FIG. In the client terminal 100B, it is possible to select which function is to be entered into the conference as a slave device that performs the own device.

具体的には、図5のステップS503でサーバ200のCPU201が確認画面1300の画面情報を生成してクライアント端末100Bに送信する。   Specifically, in step S503 of FIG. 5, the CPU 201 of the server 200 generates screen information of the confirmation screen 1300 and transmits it to the client terminal 100B.

クライアント端末100Bは当該確認画面1300を表示画面に表示し、ステップS505で、前述した子機として入室する操作に加えて、1301に示す機能選択受付部に対する、自機をどの機能の端末として会議室に入室させるかの選択操作を受け付ける。そして操作内容をサーバ200に送信する。   The client terminal 100B displays the confirmation screen 1300 on the display screen, and in step S505, in addition to the operation for entering the room as the slave unit described above, the conference room as a function terminal for the function selection accepting unit 1301 The selection operation of whether to enter the room is accepted. Then, the operation content is transmitted to the server 200.

サーバ200のCPU201は、ステップS508〜S512の処理を実行し、ステップS513及びS518の処理をスキップして、ステップS519で、子機として入室したクライアント端末100Bに対して、機能選択受付部1301で選択を受け付けていた機能を有効にするよう通知(指示)する。   The CPU 201 of the server 200 executes the processes of steps S508 to S512, skips the processes of steps S513 and S518, and selects the client terminal 100B that has entered the room as a slave in the function selection receiving unit 1301 in step S519. Notify (instruct) to enable the function that has been accepted.

クライアント端末100Bは当該通知を受け付けて、当該通知に応じて、機能選択受付部1301で選択を受け付けていた機能を有効にする。   The client terminal 100B receives the notification and validates the function whose selection is received by the function selection receiving unit 1301 according to the notification.

これにより、会議に新たに参加する端末からの操作により、当該端末を所定の機能を実行する機器として容易に利用可能な仕組みを提供することができる。   Accordingly, it is possible to provide a mechanism that can be easily used as a device that executes a predetermined function by an operation from a terminal that newly participates in the conference.

また、機能選択画面1000において、確認画面1300の機能選択受付部1301で選択を受け付けていた機能の端末の子機としてのみ、クライアント端末100Bを選択可能に表示するようにしてもよい。   In addition, in the function selection screen 1000, the client terminal 100B may be displayed so as to be selectable only as a slave unit of the terminal of the function whose selection has been received by the function selection receiving unit 1301 of the confirmation screen 1300.

例えば、1301の選択状態に従えば、ステップS513において、機能選択画面1000の1001のプルダウンにクライアント端末100Bを選択可能なように設定し、1002及び1003には設定せずに機能選択画面1000の画面情報を生成し、クライアント端末100A(親機)に送信する。   For example, if the selection state of 1301 is followed, in step S513, the client terminal 100B is set to be selectable in the pull-down 1001 of the function selection screen 1000, and the function selection screen 1000 is not set in 1002 and 1003. Information is generated and transmitted to the client terminal 100A (parent device).

当該機能選択画面1000を受信して表示するクライアント端末100Aでは、1001のプルダウンにはクライアント端末100Bが選択可能に表示されるが、1002と1003のプルダウンには表示されない。つまり、子機で指定・選択された機能以外選択できない。   In the client terminal 100A that receives and displays the function selection screen 1000, the client terminal 100B is selectably displayed in the pull-down 1001, but is not displayed in the pull-down 1002 and 1003. In other words, it is not possible to select other than the functions specified / selected by the slave unit.

また、子機となるクライアント端末100Bがカメラ機能を備えていない場合、自機がカメラ機能を備えず、マイクとスピーカ機能を備えることをサーバ200に通知することで、サーバ200が、機能選択画面1000の1001においてはクライアント端末100Bを選択不可とし、1002及び1003においてはクライアント端末100Bを選択可能にプルダウンに設定するようにしてもよい。   In addition, when the client terminal 100B serving as the child device does not have a camera function, the server 200 notifies the server 200 that the own device does not have a camera function but has a microphone and a speaker function. The client terminal 100B may not be selected at 1001 of 1000, and the client terminal 100B may be set to be selectable at 1002 and 1003.

これにより、端末の実行可能な機能を絞り込むことで、ユーザによる機能の選択を容易にし、当該端末を所定の機能を実行する機器として容易に利用可能な仕組みを提供することができる。   Thereby, by narrowing down the functions that can be executed by the terminal, it is possible to facilitate selection of the function by the user and provide a mechanism that can easily use the terminal as a device that executes the predetermined function.

また、上述した実施形態においては、音声キュー及び画像キューを、当該音声及び画像の送信元のクライアント端末100ごとに、サーバが生成して管理しているものとしたが、例えば、ユーザごとに音声キュー及び画像キューをメモリ上に生成・記憶して管理してもよい。   In the above-described embodiment, the audio queue and the image queue are generated and managed by the server for each client terminal 100 that is the transmission source of the audio and image. The queue and the image queue may be generated and stored in a memory and managed.

この場合、図6のステップS625及びS626の代わりに、音声の受信元の端末のユーザに対応する音声キューに音声を記憶する処理を実行する。また、図6のステップS631及びS632の代わりに、会議画像の受信元の端末のユーザに対応する画像キューに画像を記憶する処理を実行する。   In this case, instead of steps S625 and S626 in FIG. 6, a process of storing the voice in the voice queue corresponding to the user of the voice receiving terminal is executed. Further, instead of steps S631 and S632 in FIG. 6, a process of storing an image in an image queue corresponding to the user of the terminal that is the conference image reception source is executed.

また、上述した実施形態においては、1度同一ユーザによるサーバ200への2重ログインを許容し、会議室への入室要求を受け付けたタイミングで図5の処理を実行しているが、別のタイミングで実行してもよい。   Further, in the above-described embodiment, the process of FIG. 5 is executed at the timing when the double login to the server 200 by the same user is once permitted and the request for entering the conference room is received. It may be executed with.

例えば既にサーバ200にログインしているログインユーザと同じユーザIDによるログイン要求を受け付けた場合に、当該ログインユーザの参加している会議(入室している会議室)を特定し、当該会議の会議室への入室要求を受け付けたものと判断して、ステップS501の処理を実行するようにしてもよい。例えば確認画面920において「キャンセル」ボタンの押下を受け付けた場合、当該ログイン要求によるログインは行われず、要求は破棄される。これにより、1度ログインを行うことによる処理リソースの消費を防止できる。   For example, when a log-in request with the same user ID as that of a log-in user who has already logged in to the server 200 is accepted, the conference in which the log-in user is participating (the conference room in which the user has entered) is specified and the conference room of the conference It may be determined that a room entry request has been received, and the process of step S501 may be executed. For example, when the user presses the “cancel” button on the confirmation screen 920, the login by the login request is not performed and the request is discarded. As a result, it is possible to prevent consumption of processing resources by performing login once.

また、例えばクライアント端末を会議室の中央において専用のマイク・スピーカの代わりとしたり、会議室の端に設置して専用のカメラの代わりとしたりする場合、大型のPCに比べて、持ち運び・設置のし易い携帯端末を用いることが多い。   For example, when a client terminal is used as a substitute for a dedicated microphone / speaker in the center of a conference room or installed at the end of a conference room as a substitute for a dedicated camera, it is more portable and installed than a large PC. In many cases, a portable terminal that is easy to perform is used.

よって、例えば、ログイン要求を受け付けた時点で、ログイン要求の要求元のクライアント端末100が携帯端末かを当該クライアント端末100に問合せ、携帯端末であった場合に図4のログイン処理及び図5の子機としての入室処理を実行するようにしてもよい。   Thus, for example, when a login request is received, the client terminal 100 is inquired whether the client terminal 100 that requested the login request is a portable terminal. If the client terminal 100 is a portable terminal, the login process of FIG. 4 and the child terminal of FIG. You may make it perform the room-entry process as a machine.

以上説明したように、本発明によれば、会議に参加する端末を、ある機能を実行する機器として容易に利用可能な仕組みを提供することができる。   As described above, according to the present invention, it is possible to provide a mechanism that allows a terminal participating in a conference to be easily used as a device that performs a certain function.

尚、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。   It should be noted that the present invention can be implemented as, for example, a system, apparatus, method, program, or storage medium, and can be applied to a system composed of a plurality of devices. You may apply to the apparatus which consists of one apparatus.

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。   Note that the present invention includes a software program that implements the functions of the above-described embodiments directly or remotely from a system or apparatus. The present invention also includes a case where the system or the computer of the apparatus is achieved by reading and executing the supplied program code.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。   Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. That is, the present invention also includes a computer program for realizing the functional processing of the present invention.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RWなどがある。また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などもある。   Examples of the recording medium for supplying the program include a flexible disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, and CD-RW. In addition, there are magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R), and the like.

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。   As another program supply method, a browser on a client computer is used to connect to an Internet home page. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。   It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.

また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。   In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. Let It is also possible to execute the encrypted program by using the downloaded key information and install the program on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。   Further, the functions of the above-described embodiments are realized by the computer executing the read program. In addition, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。   Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.

尚、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。
即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto.
That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.

100A クライアント端末
100B クライアント端末
100C クライアント端末
100D クライアント端末
101 ネットワーク
200 サーバ

100A client terminal 100B client terminal 100C client terminal 100D client terminal 101 network 200 server

本発明は、マイク機能又はスピーカ機能のうち少なくとも1つの機能を制御するクライアント端末と通信可能な、前記マイク機能により取得された音声を配信して電子会議を行う情報処理装置であって、前記クライアント端末から電子会議への参加要求を受け付ける受付手段と、参加要求元のクライアント端末を、電子会議において配信する音声を取得するマイク機能及び配信された音声を再生するスピーカ機能のうち少なくとも1つの機能を制御する端末として動作させるか、当該電子会議の会議参加端末により制御されるマイク機能及びスピーカ機能のうち少なくとも1つして機能する機能実行端末として参加させるかを決定する決定手段と、を備えることを特徴とする。 The present invention is an information processing apparatus that performs an electronic conference by distributing audio acquired by the microphone function and capable of communicating with a client terminal that controls at least one of a microphone function and a speaker function. at least one function of the speaker function for reproducing and receiving means for receiving a participation request from the terminal to the electronic conference, a participant requesting client terminal, a voice that has been microphone function and delivery acquires speech to be distributed in the electronic conference or to operate as a terminal for controlling, and a determining means for determining whether to participate as function execution terminal which functions at least one to of the microphone function and the speaker function controlled by the conference participant terminals of the electronic conference It is characterized by that.

Claims (16)

電子会議において複数のクライアント端末と通信可能な情報処理装置であって、
前記クライアント端末において入力を受け付けたユーザ情報に基づいて、前記クライアント端末の接続要求を受け付ける受付手段と、
前記クライアント端末において入力を受け付けたユーザ情報に対応する別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、前記別のクライアント端末が参加している電子会議において所定の機能を実行する端末として動作させることを決定する決定手段と、
前記決定手段による決定に応じて、前記受付手段により前記接続要求を受け付けたクライアント端末を、前記電子会議における所定の機能を実行する端末として動作させるべく制御する制御手段と、
を備えることを特徴とする情報処理装置。
An information processing apparatus capable of communicating with a plurality of client terminals in an electronic conference,
Accepting means for accepting a connection request of the client terminal based on user information accepted by the client terminal;
In a case where another client terminal corresponding to the user information accepted for input at the client terminal is connected, the client terminal that accepted the connection request is designated as a predetermined one in an electronic conference in which the other client terminal participates. Determining means for determining to operate as a terminal for executing the function;
Control means for controlling the client terminal that has received the connection request by the accepting means to operate as a terminal for executing a predetermined function in the electronic conference in response to the determination by the determining means;
An information processing apparatus comprising:
前記決定手段は、前記クライアント端末において入力を受け付けたユーザ情報に対応する別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、前記別のクライアント端末が参加している電子会議における伝達情報の入力端末または/及び出力端末としてとして動作させることを決定し、
前記制御手段は、前記決定手段による決定に応じて、前記受付手段により前記接続要求を受け付けたクライアント端末を、前記電子会議における伝達情報の入力端末または/及び出力端末として動作させるべく制御することを特徴とする請求項1に記載の情報処理装置。
The determination means is configured such that when another client terminal corresponding to the user information received at the client terminal is connected, the other client terminal participates in the client terminal that has received the connection request. Deciding to operate as an input terminal and / or output terminal of transmission information in electronic conference,
In response to the determination by the determination unit, the control unit controls the client terminal that has received the connection request by the reception unit to operate as an input terminal or / and an output terminal for transmission information in the electronic conference. The information processing apparatus according to claim 1.
前記伝達情報とは、音声または画像であることを特徴とする請求項2に記載の情報処理装置。   The information processing apparatus according to claim 2, wherein the transmission information is a sound or an image. 前記決定手段は、前記クライアント端末において表示される、複数ある前記所定の機能のうちどの機能を実行する端末として前記クライアント端末を動作させるか選択させる機能選択画面において選択された機能を実行する端末として、前記クライアント端末を動作させることを決定し、
前記制御手段は、前記決定手段による決定に応じて、前記クライアント端末を前記機能選択画面において選択された機能を実行する端末として動作させるべく制御することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
The determination means is a terminal that executes a function selected on a function selection screen that allows the client terminal to be selected as a terminal that executes a function among a plurality of the predetermined functions displayed on the client terminal. , Determine to operate the client terminal,
4. The control unit according to claim 1, wherein the control unit controls the client terminal to operate as a terminal that executes a function selected on the function selection screen according to the determination by the determination unit. The information processing apparatus according to item 1.
前記制御手段は、前記決定手段により前記電子会議において所定の機能を実行する端末として動作させることが決定された前記クライアント端末を、前記別のクライアント端末が参加している電子会議に参加させ、前記所定の機能をオンにすることで、前記クライアント端末を、前記電子会議における所定の機能を実行する端末として動作させることを特徴とする請求項1乃至4に記載の情報処理装置。   The control means causes the client terminal determined to operate as a terminal for executing a predetermined function in the electronic conference by the determining means to participate in an electronic conference in which the other client terminal participates, and 5. The information processing apparatus according to claim 1, wherein the client terminal is operated as a terminal that executes a predetermined function in the electronic conference by turning on a predetermined function. 前記電子会議に参加しているクライアント端末を前記電子会議における参加者として表示すべく制御する表示制御手段と、
前記所定の機能を実行する端末として前記電子会議に参加している前記クライアント端末を、前記表示制御手段により前記電子会議における参加者として表示しないよう制御する非表示制御手段と、
を備えることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
Display control means for controlling the client terminals participating in the electronic conference to be displayed as participants in the electronic conference;
Non-display control means for controlling the client terminal participating in the electronic conference as a terminal for executing the predetermined function not to be displayed as a participant in the electronic conference by the display control means;
The information processing apparatus according to claim 1, further comprising:
前記表示制御手段は、前記電子会議に参加しているクライアント端末のユーザを前記電子会議における参加者として表示すべく制御し、
前記非表示制御手段は、前記所定の機能を実行する端末として前記電子会議に参加している前記クライアント端末のユーザを、親機のクライアント端末のユーザと別に表示しないように制御することを特徴とする請求項6に記載の情報処理装置。
The display control means controls to display the user of the client terminal participating in the electronic conference as a participant in the electronic conference,
The non-display control means controls the client terminal user participating in the electronic conference as a terminal for executing the predetermined function so as not to be displayed separately from the client terminal user of the parent device. The information processing apparatus according to claim 6.
前記別のクライアント端末を親機とする子機として、前記受付手段により前記接続要求を受け付けたクライアント端末を、親機の参加する前記電子会議に参加させるべく制御する参加制御手段と、
前記子機のクライアント端末を、親機である前記別のクライアント端末によって操作可能に制御する操作制御手段と、
を備えることを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
Participation control means for controlling the client terminal that has accepted the connection request by the accepting means as a slave unit with the other client terminal as a master unit to participate in the electronic conference to which the master unit participates,
Operation control means for controlling the client terminal of the slave unit so that the client terminal can be operated by the other client terminal as a master unit;
The information processing apparatus according to any one of claims 1 to 7, further comprising:
前記クライアント端末において入力を受け付けたユーザ情報に対応する複数の別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、複数の前記別のクライアント端末のうちどの端末の子機として前記電子会議に参加させるかを選択する選択手段と、
を備え、
前記参加制御手段は、前記選択手段により選択された前記別のクライアント端末を親機とし、前記接続要求を受け付けたクライアント端末をその子機として前記電子会議に参加させるべく制御することを特徴とする請求項8に記載の情報処理装置。
When a plurality of other client terminals corresponding to the user information accepted for input at the client terminal are connected, the client terminal that accepted the connection request is designated as a child of any of the plurality of other client terminals. Selecting means for selecting whether to participate in the electronic conference as a machine;
With
The participation control unit controls the other client terminal selected by the selection unit as a parent device, and controls the client terminal that has received the connection request as a child device to participate in the electronic conference. Item 9. The information processing apparatus according to Item 8.
前記選択手段は、前記クライアント端末に表示された、複数の前記別のクライアント端末のうちいずれの端末を親機とするかの選択画面において、親機とする前記別のクライアント端末の選択を受け付けることで、前記クライアント端末をどの端末の子機として前記電子会議に参加させるかを選択することを特徴とする請求項9に記載の情報処理装置。   The selection means accepts selection of the other client terminal as the parent device on a selection screen for selecting which of the other client terminals as the parent device displayed on the client terminal. The information processing apparatus according to claim 9, wherein the client terminal is selected as a child machine of the terminal to participate in the electronic conference. 電子会議において複数のクライアント端末と通信可能な情報処理装置の制御方法であって、
前記クライアント端末において入力を受け付けたユーザ情報に基づいて、前記クライアント端末の接続要求を受け付ける受付工程と、
前記クライアント端末において入力を受け付けたユーザ情報に対応する別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、前記別のクライアント端末が参加している電子会議において所定の機能を実行する端末として動作させることを決定する決定工程と、
前記決定工程による決定に応じて、前記受付工程により前記接続要求を受け付けたクライアント端末を、前記電子会議における所定の機能を実行する端末として動作させるべく制御する制御工程と、
を含むことを特徴とする情報処理装置の制御方法。
An information processing apparatus control method capable of communicating with a plurality of client terminals in an electronic conference,
An accepting step of accepting a connection request of the client terminal based on user information accepted by the client terminal;
In a case where another client terminal corresponding to the user information accepted for input at the client terminal is connected, the client terminal that accepted the connection request is designated as a predetermined one in an electronic conference in which the other client terminal participates. A decision step for deciding to operate as a terminal that performs a function;
A control step of controlling the client terminal that has received the connection request by the reception step to operate as a terminal that executes a predetermined function in the electronic conference, according to the determination by the determination step;
A method for controlling an information processing apparatus, comprising:
電子会議において複数のクライアント端末と通信可能な情報処理装置を制御するプログラムであって、
前記情報処理装置を、
前記クライアント端末において入力を受け付けたユーザ情報に基づいて、前記クライアント端末の接続要求を受け付ける受付手段と、
前記クライアント端末において入力を受け付けたユーザ情報に対応する別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、前記別のクライアント端末が参加している電子会議において所定の機能を実行する端末として動作させることを決定する決定手段と、
前記決定手段による決定に応じて、前記受付手段により前記接続要求を受け付けたクライアント端末を、前記電子会議における所定の機能を実行する端末として動作させるべく制御する制御手段として機能させることを特徴とするプログラム。
A program for controlling an information processing apparatus capable of communicating with a plurality of client terminals in an electronic conference,
The information processing apparatus;
Accepting means for accepting a connection request of the client terminal based on user information accepted by the client terminal;
In a case where another client terminal corresponding to the user information accepted for input at the client terminal is connected, the client terminal that accepted the connection request is designated as a predetermined one in an electronic conference in which the other client terminal participates. Determining means for determining to operate as a terminal for executing the function;
According to the determination by the determination unit, the client terminal that has received the connection request by the reception unit functions as a control unit that controls to operate as a terminal that executes a predetermined function in the electronic conference. program.
電子会議に参加する複数のクライアント端末と、情報処理装置とを含む情報処理システムであって、
前記クライアント端末において入力を受け付けたユーザ情報に基づいて、前記クライアント端末の接続要求を受け付ける受付手段と、
前記クライアント端末において入力を受け付けたユーザ情報に対応する別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、前記別のクライアント端末が参加している電子会議において所定の機能を実行する端末として動作させることを決定する決定手段と、
前記決定手段による決定に応じて、前記受付手段により前記接続要求を受け付けたクライアント端末を、前記電子会議における所定の機能を実行する端末として動作させるべく制御する制御手段と、
を備えることを特徴とする情報処理システム。
An information processing system including a plurality of client terminals participating in an electronic conference and an information processing device,
Accepting means for accepting a connection request of the client terminal based on user information accepted by the client terminal;
In a case where another client terminal corresponding to the user information accepted for input at the client terminal is connected, the client terminal that accepted the connection request is designated as a predetermined one in an electronic conference in which the other client terminal participates. Determining means for determining to operate as a terminal for executing the function;
Control means for controlling the client terminal that has received the connection request by the accepting means to operate as a terminal for executing a predetermined function in the electronic conference in response to the determination by the determining means;
An information processing system comprising:
電子会議に参加する複数のクライアント端末と、情報処理装置とを含む情報処理システムの制御方法であって、
前記クライアント端末において入力を受け付けたユーザ情報に基づいて、前記クライアント端末の接続要求を受け付ける受付工程と、
前記クライアント端末において入力を受け付けたユーザ情報に対応する別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、前記別のクライアント端末が参加している電子会議において所定の機能を実行する端末として動作させることを決定する決定工程と、
前記決定工程による決定に応じて、前記受付工程により前記接続要求を受け付けたクライアント端末を、前記電子会議における所定の機能を実行する端末として動作させるべく制御する制御工程と、
を含むことを特徴とする情報処理システムの制御方法。
A method of controlling an information processing system including a plurality of client terminals participating in an electronic conference and an information processing device,
An accepting step of accepting a connection request of the client terminal based on user information accepted by the client terminal;
In a case where another client terminal corresponding to the user information accepted for input at the client terminal is connected, the client terminal that accepted the connection request is designated as a predetermined one in an electronic conference in which the other client terminal participates. A decision step for deciding to operate as a terminal that performs a function;
A control step of controlling the client terminal that has received the connection request by the reception step to operate as a terminal that executes a predetermined function in the electronic conference, according to the determination by the determination step;
A method for controlling an information processing system comprising:
電子会議に参加する複数のクライアント端末と、情報処理装置とを含む情報処理システムを制御するためのプログラムであって、
前記情報処理システムを、
前記クライアント端末において入力を受け付けたユーザ情報に基づいて、前記クライアント端末の接続要求を受け付ける受付手段と、
前記クライアント端末において入力を受け付けたユーザ情報に対応する別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、前記別のクライアント端末が参加している電子会議において所定の機能を実行する端末として動作させることを決定する決定手段と、
前記決定手段による決定に応じて、前記受付手段により前記接続要求を受け付けたクライアント端末を、前記電子会議における所定の機能を実行する端末として動作させるべく制御する制御手段として機能させることを特徴とするプログラム。
A program for controlling an information processing system including a plurality of client terminals participating in an electronic conference and an information processing device,
The information processing system;
Accepting means for accepting a connection request of the client terminal based on user information accepted by the client terminal;
In a case where another client terminal corresponding to the user information accepted for input at the client terminal is connected, the client terminal that accepted the connection request is designated as a predetermined one in an electronic conference in which the other client terminal participates. Determining means for determining to operate as a terminal for executing the function;
According to the determination by the determination unit, the client terminal that has received the connection request by the reception unit functions as a control unit that controls to operate as a terminal that executes a predetermined function in the electronic conference. program.
電子会議において複数のクライアント端末と通信可能な情報処理装置であって、
前記クライアント端末において入力を受け付けたユーザ情報に基づいて、前記クライアント端末の接続要求を受け付ける受付手段と、
前記クライアント端末において入力を受け付けたユーザ情報に対応する別のクライアント端末が接続されている場合に、前記接続要求を受け付けたクライアント端末を、前記別のクライアント端末が参加している電子会議における、前記別のクライアント端末の子機として、前記電子会議に参加させるべく制御する参加制御手段と、
を備えることを特徴とする情報処理装置。
An information processing apparatus capable of communicating with a plurality of client terminals in an electronic conference,
Accepting means for accepting a connection request of the client terminal based on user information accepted by the client terminal;
When another client terminal corresponding to the user information accepted for input is connected in the client terminal, the client terminal that accepted the connection request is used in the electronic conference in which the other client terminal is participating, Participation control means for controlling to participate in the electronic conference as a slave unit of another client terminal;
An information processing apparatus comprising:
JP2016231506A 2016-11-29 2016-11-29 Information processing apparatus, information processing system, control method thereof, and program Active JP6442749B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016231506A JP6442749B2 (en) 2016-11-29 2016-11-29 Information processing apparatus, information processing system, control method thereof, and program
JP2018218006A JP6912440B2 (en) 2016-11-29 2018-11-21 Communication system, its control method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016231506A JP6442749B2 (en) 2016-11-29 2016-11-29 Information processing apparatus, information processing system, control method thereof, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018218006A Division JP6912440B2 (en) 2016-11-29 2018-11-21 Communication system, its control method and program

Publications (2)

Publication Number Publication Date
JP2018088152A true JP2018088152A (en) 2018-06-07
JP6442749B2 JP6442749B2 (en) 2018-12-26

Family

ID=62494551

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016231506A Active JP6442749B2 (en) 2016-11-29 2016-11-29 Information processing apparatus, information processing system, control method thereof, and program

Country Status (1)

Country Link
JP (1) JP6442749B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022201431A1 (en) * 2021-03-25 2022-09-29 日本電気株式会社 Information processing device, participant terminal, assistance system, information processing method, assistance method, and assistance program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318273A (en) * 2006-05-24 2007-12-06 Yamaha Corp Audio conference device and audio conference system
JP2009116887A (en) * 2008-12-08 2009-05-28 Fujitsu Ltd Integrated function control program, device and method
JP2013012059A (en) * 2011-06-29 2013-01-17 Mizuho Information & Research Institute Inc Material display system, material display method and material display program
JP2016012863A (en) * 2014-06-30 2016-01-21 ブラザー工業株式会社 Terminal device, program and remote conference method
WO2016031548A1 (en) * 2014-08-26 2016-03-03 株式会社リコー Operation system, communication terminal, communication system, operation method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318273A (en) * 2006-05-24 2007-12-06 Yamaha Corp Audio conference device and audio conference system
JP2009116887A (en) * 2008-12-08 2009-05-28 Fujitsu Ltd Integrated function control program, device and method
JP2013012059A (en) * 2011-06-29 2013-01-17 Mizuho Information & Research Institute Inc Material display system, material display method and material display program
JP2016012863A (en) * 2014-06-30 2016-01-21 ブラザー工業株式会社 Terminal device, program and remote conference method
WO2016031548A1 (en) * 2014-08-26 2016-03-03 株式会社リコー Operation system, communication terminal, communication system, operation method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022201431A1 (en) * 2021-03-25 2022-09-29 日本電気株式会社 Information processing device, participant terminal, assistance system, information processing method, assistance method, and assistance program

Also Published As

Publication number Publication date
JP6442749B2 (en) 2018-12-26

Similar Documents

Publication Publication Date Title
JP7453576B2 (en) Information processing system, its control method and program.
US20160134670A1 (en) Information processing system, information processing apparatus, information processing method, and non-transitory computer readable medium
JP2016195304A (en) Management program, conference management method, and conference management server device
JP2022085410A (en) Video conference system server, control method thereof, and program
JP6508009B2 (en) Terminal device, screen recording method, program, and information processing system
JPWO2016039156A1 (en) Moving image transmitting apparatus, terminal, moving image transmitting system, control method, program, and information storage medium
JP6127430B2 (en) Web conference system, information processing apparatus, control method, and program
JP6802477B2 (en) Information processing system, information processing device, its control method and program
JP6442749B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP6398258B2 (en) Communication management system, communication terminal, communication system, and program
JP2019117998A (en) Web conference system, control method of web conference system, and program
JP5999126B2 (en) Information processing apparatus, information processing method, and program
JP7138217B2 (en) TERMINAL DEVICE, COMMUNICATION SYSTEM, CONTROL METHOD AND PROGRAM THEREOF
JP6912440B2 (en) Communication system, its control method and program
JP6703259B2 (en) Information processing system, conference server, control method thereof, and program
JP6575428B2 (en) Information processing system, information processing apparatus, client terminal, control method thereof, and program
JP2018036688A (en) Information processing device, server device, information processing system, control method thereof, and program
JP2017151889A (en) Information processing device and server device used in web conference system, control method for those, and program
JP2015002526A (en) Conference system and communication terminal device
JP2020194343A (en) Information processing system, information processing device, control method of information processing system, and program
JPWO2020153251A1 (en) Voice chat device, voice chat method and program
JP2017038304A (en) Information processing unit, information processing system, program, and recording medium
JP2021060949A (en) Communication system, information processing apparatus, communication method, and program
JP2014195229A (en) Server device program, server device and communication apparatus program
JP2013257729A (en) Presentation device, presentation method, and presentation program

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181023

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181105

R151 Written notification of patent or utility model registration

Ref document number: 6442749

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250