JP2018042268A - Communication device, method, and program - Google Patents

Communication device, method, and program Download PDF

Info

Publication number
JP2018042268A
JP2018042268A JP2017206026A JP2017206026A JP2018042268A JP 2018042268 A JP2018042268 A JP 2018042268A JP 2017206026 A JP2017206026 A JP 2017206026A JP 2017206026 A JP2017206026 A JP 2017206026A JP 2018042268 A JP2018042268 A JP 2018042268A
Authority
JP
Japan
Prior art keywords
display
image
display device
communication
arrangement information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017206026A
Other languages
Japanese (ja)
Other versions
JP6493483B2 (en
Inventor
加藤 喜永
Yoshinaga Kato
喜永 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2018042268A publication Critical patent/JP2018042268A/en
Application granted granted Critical
Publication of JP6493483B2 publication Critical patent/JP6493483B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide a communication system, a communication device, and a program that improve visibility of an image displayed on a display device.SOLUTION: A communication device includes: arrangement information setting means that sets arrangement information specifying a display method of an image; and display control means that causes a plurality of display devices to display the image with reference to the arrangement information. The display control means causes a first display device to display captured images of its own site and another site, and causes a second display device to display an image provided by an image providing device in its own site or the other site.SELECTED DRAWING: Figure 3

Description

本発明は、映像および音声の通信を行う通信システムに関し、より詳細には、複数の拠点間で映像および音声の相互通信を行う通信システム、通信装置およびプログラムに関する。   The present invention relates to a communication system that performs video and audio communication, and more particularly to a communication system, communication apparatus, and program that perform video and audio mutual communication between a plurality of sites.

近年、インターネット等の高速データ通信が可能なネットワークの普及に伴い、遠隔地の複数の拠点間で映像や音声を相互に配信して会議等を行うビデオ会議が利用されるようになっている。   In recent years, with the spread of networks capable of high-speed data communication such as the Internet, video conferencing is being used in which video and audio are mutually distributed between a plurality of remote locations to hold a conference.

このようなビデオ会議を実現する通信システムの一実施形態として、特許文献1は、他拠点の撮影画像を自拠点の表示装置に表示すると共に、会議等で使用される資料画像を当該表示装置に表示するコンテンツ配信装置を開示する。   As an embodiment of a communication system that realizes such a video conference, Patent Document 1 displays a captured image of another site on a display device of its own site, and a document image used in a conference or the like on the display device. Disclosed is a content distribution apparatus for display.

しかしながら、特許文献1が開示するコンテンツ配信装置は、他拠点の撮影画像と資料画像とを同一の表示装置の画面上に表示するため、一方の画像の表示領域を拡大すると、他方の画像の表示領域が縮小されてしまい、これらの画像の視認性が低くなるという問題があった。   However, since the content distribution apparatus disclosed in Patent Document 1 displays the captured image and the document image of another base on the same display device screen, when the display area of one image is enlarged, the display of the other image is displayed. There is a problem in that the area is reduced, and the visibility of these images is lowered.

本発明は上述した課題を解決するものであり、表示装置に表示される画像の視認性を向上させる通信システム、通信装置およびプログラムを提供することを目的とする。   SUMMARY An advantage of some aspects of the invention is that it provides a communication system, a communication device, and a program that improve the visibility of an image displayed on a display device.

本発明の通信装置は、画像の表示方式を規定する配置情報を設定する配置情報設定手段と、配置情報を参照して複数の表示装置に画像を表示させる表示制御手段とを含み、表示制御手段は、自拠点および他拠点の撮影画像を第1の表示装置に表示させると共に、自拠点または他拠点の画像提供装置が提供する画像を第2の表示装置に表示させる。   The communication apparatus of the present invention includes arrangement information setting means for setting arrangement information that defines an image display method, and display control means for displaying an image on a plurality of display devices with reference to the arrangement information. Displays the captured images of the local site and other sites on the first display device, and causes the second display device to display images provided by the image providing device of the local site or the other site.

本発明の通信装置は、上記構成を採用することにより、表示装置に表示される画像の視認性を向上させることができる。   The communication device of the present invention can improve the visibility of the image displayed on the display device by adopting the above configuration.

本発明の通信システムの一実施形態を示す図。The figure which shows one Embodiment of the communication system of this invention. 通信装置10aのハードウェア構成図の一実施形態を示す図。The figure which shows one Embodiment of the hardware block diagram of the communication apparatus 10a. 通信装置10aの機能構成の一実施形態を示す図。The figure which shows one Embodiment of the function structure of the communication apparatus 10a. 本発明の通信装置が起動時に実行する表示装置の検出処理を示すフローチャート。The flowchart which shows the detection process of the display apparatus which the communication apparatus of this invention performs at the time of starting. 通電状態の1の表示装置が通信装置10aに接続されているときの表示方式および配置情報テーブルの一実施形態を示す図。The figure which shows one Embodiment of a display system and arrangement | positioning information table when 1 display apparatus of an electricity supply state is connected to the communication apparatus 10a. 通電状態の2の表示装置が通信装置10aに接続されているときの表示方式および配置情報テーブルの一実施形態を示す図。The figure which shows one Embodiment of a display system and arrangement | positioning information table when 2 display apparatuses of an energized state are connected to the communication apparatus 10a. 図6に示す画面割りおよび配置情報に基づく表示装置の画面の一実施形態を示す図。The figure which shows one Embodiment of the screen of the display apparatus based on the screen allocation and arrangement | positioning information shown in FIG. 通電状態の2の表示装置が通信装置10aに接続されているときの表示方式および配置情報テーブルの別の実施形態を示す図。The figure which shows another embodiment of a display system and arrangement | positioning information table when the display apparatus of 2 of an electricity supply state is connected to the communication apparatus 10a. 図8に示す画面割りおよび配置情報に基づく表示装置の画面の一実施形態を示す図。The figure which shows one Embodiment of the screen of the display apparatus based on the screen allocation and arrangement | positioning information shown in FIG. 本発明の通信装置が起動後に実行する表示装置の検出処理を示すフローチャート。The flowchart which shows the detection process of the display apparatus performed after the communication apparatus of this invention starts.

以下、本発明について実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。   Hereinafter, although this invention is demonstrated with embodiment, this invention is not limited to embodiment mentioned later.

図1は、本発明の通信システムの一実施形態を示す図である。通信システム100は、通信装置10a〜10hと、表示装置20a〜20h,22a〜22hと、画像提供装置30a〜30hと、通信管理装置40とを含んで構成される。   FIG. 1 is a diagram showing an embodiment of a communication system of the present invention. The communication system 100 includes communication devices 10a to 10h, display devices 20a to 20h, 22a to 22h, image providing devices 30a to 30h, and a communication management device 40.

通信装置10a〜10hは、他拠点の通信装置10a〜10hとの間で画像および音声を相互に通信し、当該通信装置10a〜10hに接続された表示装置20a〜20h,22a〜22hに画像を表示すると共に音声を出力する装置である。通信装置10a〜10hは、ルータ50およびネットワーク60を介して通信管理装置40に自拠点の画像および音声を送信する。また、通信装置10a〜10hは、通信管理装置40から他拠点の画像を受信し、表示装置20a〜20h,22a〜22hに自拠点の画像および他拠点の画像を表示すると共に他拠点の音声を出力する。   The communication devices 10a to 10h communicate images and sound with each other's communication devices 10a to 10h, and display images on the display devices 20a to 20h and 22a to 22h connected to the communication devices 10a to 10h. It is a device that displays and outputs sound. The communication devices 10a to 10h transmit the image and sound of the local site to the communication management device 40 via the router 50 and the network 60. In addition, the communication devices 10a to 10h receive images of other bases from the communication management device 40, display images of their own bases and images of other bases on the display devices 20a to 20h and 22a to 22h, and receive voices of other bases. Output.

本実施形態では、通信装置10a〜10hは、有線通信によって表示装置20a〜20h,22a〜22hに画像を出力するが、他の実施形態では、無線通信によって当該表示装置に画像を出力してもよい。また、本実施形態では、1の通信装置に対して2の表示装置が接続されているが、他の実施形態では、1の通信装置に3以上の表示装置を接続してもよい。さらに他の実施形態では、通信装置に1以上の表示装置が内蔵されていて、デュアル・ディスプレイ対応とされていてもよい。   In the present embodiment, the communication devices 10a to 10h output images to the display devices 20a to 20h and 22a to 22h by wired communication. However, in other embodiments, the communication devices 10a to 10h may output images to the display device by wireless communication. Good. In this embodiment, two display devices are connected to one communication device. However, in another embodiment, three or more display devices may be connected to one communication device. In still another embodiment, one or more display devices may be built in the communication device and may be compatible with dual display.

画像提供装置30a〜30hは、接続された通信装置10a〜10hに対して画像を提供する装置である。画像提供装置30a〜30hは、画像提供装置30a〜30hの表示装置に表示される画像を通信装置10a〜10hに提供する。画像提供装置30a〜30hが提供する画像には、例えば、文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーション用ソフトウェア等を用いて作成される資料画像や画像提供装置30a〜30hのデスクトップ画面、アプリケーションプログラムのUI(User Interface)等の種々の画像が含まれる。なお、図1では、デスクトップ型のパーソナルコンピュータが画像提供装置30a〜30hとして通信装置10a〜10hと相互接続しているものとして説明するが、画像提供装置30a〜30hとして、デスクトップ型PCの他、ノートブック型PC、iPad(登録商標)などのタブレット型PC、iPhone(登録商標)やアンドロイド(登録商標)などを搭載したスマートホンなども好ましく使用することができる。   The image providing devices 30a to 30h are devices that provide images to the connected communication devices 10a to 10h. The image providing devices 30a to 30h provide the communication devices 10a to 10h with images displayed on the display devices of the image providing devices 30a to 30h. The images provided by the image providing devices 30a to 30h include, for example, document images created using document creation software, spreadsheet software, presentation software, the desktop screens of the image providing devices 30a to 30h, and UIs of application programs. Various images such as (User Interface) are included. In FIG. 1, a desktop personal computer is described as being interconnected with communication devices 10a to 10h as image providing devices 30a to 30h. However, as the image providing devices 30a to 30h, in addition to a desktop PC, Notebook-type PCs, tablet PCs such as iPad (registered trademark), smart phones equipped with iPhone (registered trademark), Android (registered trademark), and the like can also be preferably used.

通信管理装置40は、通信システム100のデータ通信を管理する装置である。通信管理装置40は、複数の拠点間の通信装置10a〜10hのセッションを確立し、各通信装置10a〜10hの画像および音声を中継する。   The communication management device 40 is a device that manages data communication of the communication system 100. The communication management device 40 establishes a session of the communication devices 10a to 10h between a plurality of bases and relays images and sounds of the communication devices 10a to 10h.

図2は、通信装置10aのハードウェア構成図の一実施形態を示す。以下、図2を参照して、通信装置10aのハードウェア構成について説明する。なお、他の通信装置10b〜10hのハードウェア構成は、通信装置10aと同様であるため、説明を省略する。   FIG. 2 shows an embodiment of a hardware configuration diagram of the communication device 10a. Hereinafter, the hardware configuration of the communication device 10a will be described with reference to FIG. Note that the hardware configuration of the other communication devices 10b to 10h is the same as that of the communication device 10a, and thus the description thereof is omitted.

通信装置10aは、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、SSD(Solid State Drive)204と、メディアドライブ206とを含んで構成される。これらの装置はデータバス209を介して接続されている。   The communication device 10a includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, an SSD (Solid State Drive) 204, and a media drive 206. The These devices are connected via a data bus 209.

CPU201は、通信装置10a全体の動作を制御するプロセッサである。ROM202は、本発明のプログラムが記憶される記憶装置である。RAM203は、本発明のプログラムの実行空間を提供する記憶装置である。通信装置10aは、WINDOWS(登録商標)シリーズ、Mac(登録商標)OS(Operating System)、UNIX(登録商標)、LINUX(登録商標)などのOSの管理下でアセンブラ、C、C++、Java(登録商標)、JavaScript(登録商標)、PERL、RUBY、PYTHONなどのプログラム言語で記述された本発明のプログラムを、RAM203に展開して実行することにより、後述する各機能手段を通信装置10a上に実現する。   The CPU 201 is a processor that controls the overall operation of the communication device 10a. The ROM 202 is a storage device that stores the program of the present invention. The RAM 203 is a storage device that provides an execution space for the program of the present invention. The communication device 10a includes an assembler, a C, a C ++, and a Java (registered) under the management of an OS such as a WINDOWS (registered trademark) series, a Mac (registered trademark) OS (Operating System), a UNIX (registered trademark), and a LINUX (registered trademark). Trademarks), JavaScript (registered trademark), PERL, RUBY, PYTHON, etc., the program of the present invention described in a program language is expanded in the RAM 203 and executed, thereby realizing each functional means described later on the communication device 10a. To do.

SSD204は、画像や音声等の各種データを記憶するフラッシュメモリやEEPROM(Electrically Erasable and Programmable ROM)等の不揮発メモリ(図示せず)を備えており、フラッシュメモリに対する各種データの読み出しまたは書き込みを制御する。メディアドライブ206は、フラッシュメモリ等の記録メディア205を挿入可能な装置であり、記録メディア205に対するデータの読み出しまたは書き込みを制御する。   The SSD 204 includes a flash memory that stores various data such as images and sounds, and a nonvolatile memory (not shown) such as an EEPROM (Electrically Erasable and Programmable ROM), and controls reading or writing of various data to the flash memory. . The media drive 206 is a device into which a recording medium 205 such as a flash memory can be inserted, and controls reading or writing of data with respect to the recording medium 205.

また、通信装置10aは、操作ボタン207と、電源スイッチ208と、ネットワークインタフェース(I/F)210と、撮像素子I/F212と、音声入出力I/F215と、表示装置I/F216と、表示装置I/F217と、外部装置I/F218とを含んで構成される。これらの装置はデータバス209を介して接続される。   Further, the communication device 10a includes an operation button 207, a power switch 208, a network interface (I / F) 210, an image sensor I / F 212, an audio input / output I / F 215, a display device I / F 216, and a display. A device I / F 217 and an external device I / F 218 are included. These devices are connected via a data bus 209.

操作ボタン207は、セッションを確立する他拠点の通信装置の選択や種々の設定を行う入力装置である。電源スイッチ208は、通信装置10aの電源のON/OFFを切り換えるスイッチである。ネットワークI/F210は、ルータ50との接続を提供するインタフェースであり、ネットワーク60を介したデータ通信を行う。   The operation button 207 is an input device for selecting a communication device at another site for establishing a session and performing various settings. The power switch 208 is a switch for switching ON / OFF of the power supply of the communication device 10a. The network I / F 210 is an interface that provides connection with the router 50 and performs data communication via the network 60.

撮像素子I/F212は、被写体を撮像して画像を生成するCCD(Charge Coupled Device)211を接続するインタフェースであり、CCD211を制御して画像を生成する。本実施形態では、撮像素子としてCCDを採用するが、CMOS(Complementary Metal Oxide Semiconductor)等の他の撮像素子を採用してもよい。   The image sensor I / F 212 is an interface for connecting a CCD (Charge Coupled Device) 211 that captures an image of a subject and generates an image, and controls the CCD 211 to generate an image. In the present embodiment, a CCD is employed as the image sensor, but other image sensors such as CMOS (Complementary Metal Oxide Semiconductor) may be employed.

音声入出力I/F215は、マイク213およびスピーカ214を接続するインタフェースであり、マイク213およびスピーカ214との間で音声信号の入出力を行う。表示装置I/F216は、表示装置20aを接続するインタフェースであり、表示装置20aに画像を出力する。表示装置I/F217は、表示装置22aを接続するインタフェースであり、表示装置22aに画像を出力する。   The audio input / output I / F 215 is an interface for connecting the microphone 213 and the speaker 214, and inputs / outputs an audio signal between the microphone 213 and the speaker 214. The display device I / F 216 is an interface for connecting the display device 20a, and outputs an image to the display device 20a. The display device I / F 217 is an interface for connecting the display device 22a, and outputs an image to the display device 22a.

表示装置20a,22aは、通信装置10aが出力する種々の画像を表示する表示装置である。外部装置I/F218は、画像提供装置30aを接続するインタフェースであり、画像提供装置30aから画像を受信する。   The display devices 20a and 22a are display devices that display various images output from the communication device 10a. The external device I / F 218 is an interface for connecting the image providing device 30a, and receives an image from the image providing device 30a.

図3は、通信装置10aの機能構成の一実施形態を示す図である。以下、図3を参照して、通信装置10aの機能構成について説明する。なお、他の通信装置10b〜10hの機能構成は、通信装置10aと同様であるため、説明を省略する。   FIG. 3 is a diagram illustrating an embodiment of a functional configuration of the communication device 10a. Hereinafter, the functional configuration of the communication device 10a will be described with reference to FIG. The functional configurations of the other communication devices 10b to 10h are the same as those of the communication device 10a, and thus the description thereof is omitted.

通信装置10aは、制御部300と、送受信部302と、操作受付部304と、撮像部306とを含んで構成される。   The communication device 10a includes a control unit 300, a transmission / reception unit 302, an operation reception unit 304, and an imaging unit 306.

制御部300は、通信装置10aが実行する処理の全体制御を行う機能手段である。制御部300は、後述する機能手段を用いて種々の処理を実行する。   The control unit 300 is a functional unit that performs overall control of processing executed by the communication device 10a. The control unit 300 executes various processes using functional means described later.

送受信部302は、通信管理装置40または画像提供装置30aとの通信を行う機能手段であり、ネットワークI/F210および外部装置I/F218によって実現される。   The transmission / reception unit 302 is a functional unit that communicates with the communication management device 40 or the image providing device 30a, and is realized by the network I / F 210 and the external device I / F 218.

操作受付部304は、ユーザによる各種の操作指示を受け付ける機能手段である。例えば、ユーザが電源スイッチ208をONにすると電源投入指示が発行される。操作受付部304は、当該指示を受け付けると、通信装置10aの電源をONにする。また、ユーザが操作ボタン207によって表示装置20a〜20h,22a〜22hの表示方式を変更すると、表示方式の変更指示が発行される。操作受付部304は、当該指示を受けると、配置情報設定部314に対し、ユーザが指定した表示方式(「VIEW_MULTI」および「SHARED_MULTI」等)を、表示装置の表示方式を指定する設定情報(以下、「表示方式設定情報」とする。)として記憶部310に保存させる。なお、本実施形態の表示方式については、図5を参照して詳述する。   The operation reception unit 304 is a functional unit that receives various operation instructions from the user. For example, when the user turns on the power switch 208, a power-on instruction is issued. When receiving the instruction, the operation reception unit 304 turns on the power of the communication device 10a. Further, when the user changes the display method of the display devices 20a to 20h and 22a to 22h by the operation button 207, an instruction to change the display method is issued. When the operation accepting unit 304 receives the instruction, the operation accepting unit 304 instructs the arrangement information setting unit 314 to display the display method specified by the user (such as “VIEW_MULTI” and “SHARED_MULTI”) and the setting information (hereinafter referred to as the display method of the display device). , “Display method setting information”). Note that the display method of this embodiment will be described in detail with reference to FIG.

撮像部306は、被写体を撮像して画像を生成する機能手段であり、CCD211および撮像素子I/F212によって実現される。撮像部306は、通信装置10aが起動すると撮影画像を生成する。   The imaging unit 306 is a functional unit that images a subject and generates an image, and is realized by the CCD 211 and the imaging element I / F 212. The imaging unit 306 generates a captured image when the communication device 10a is activated.

また、通信装置10aは、メモリ制御部308と、記憶部310と、配置情報設定部314と、表示制御部316と、表示装置検出部318と、音声入力部320と、音声出力部322とを含んで構成される。   Further, the communication device 10a includes a memory control unit 308, a storage unit 310, an arrangement information setting unit 314, a display control unit 316, a display device detection unit 318, a voice input unit 320, and a voice output unit 322. Consists of including.

メモリ制御部308は、記憶部310を制御する手段である。メモリ制御部308は、記憶部310に各種データを保存し、また、記憶部310に保存された各種データを読み出す。   The memory control unit 308 is means for controlling the storage unit 310. The memory control unit 308 stores various data in the storage unit 310 and reads out various data stored in the storage unit 310.

配置情報設定部314は、表示装置20a〜20h,22a〜22hに表示する画像の表示方式を規定する配置情報および表示方式設定情報を設定する機能手段である。配置情報設定部314は、記憶部310の配置情報テーブル312に配置情報を設定する。また、配置情報設定部314は、表示方式設定情報を記憶部310に保存する。   The arrangement information setting unit 314 is a functional unit that sets arrangement information and display method setting information that define the display method of images displayed on the display devices 20a to 20h and 22a to 22h. The arrangement information setting unit 314 sets arrangement information in the arrangement information table 312 of the storage unit 310. Further, the arrangement information setting unit 314 stores the display method setting information in the storage unit 310.

表示制御部316は、表示装置20a〜20h,22a〜22hを制御する機能手段である。表示制御部316は、記憶部310に保存された表示方式設定情報と、配置情報テーブル312に登録された配置情報とを使用して、当該表示装置に表示すべき画像を特定し、所定の画面割りに従って、当該画像を表示装置20a,22aに表示する。   The display control unit 316 is a functional unit that controls the display devices 20a to 20h and 22a to 22h. The display control unit 316 uses the display method setting information stored in the storage unit 310 and the arrangement information registered in the arrangement information table 312 to specify an image to be displayed on the display device and to display a predetermined screen. According to the split, the image is displayed on the display devices 20a and 22a.

表示装置20a,22aに表示される画像には、自拠点または他拠点の通信装置10a〜10hの撮像部306が撮像した画像(以下、「撮影画像」とする。)と、自拠点または他拠点の画像提供装置30a〜30hが提供する画像とが含まれる。   The images displayed on the display devices 20a and 22a include an image captured by the imaging unit 306 of the communication device 10a to 10h at the local site or the remote site (hereinafter referred to as “captured image”), and the local site or the remote site. Images provided by the image providing devices 30a to 30h.

音声入力部320は、ユーザの発話等の音声を検出して音声信号を生成する機能手段である。また、音声入力部320は、ユーザの音声を音声信号に変換し、当該音声信号の強度を測定し、当該強度が所定の閾値以上である場合に、ユーザの発話を検出する。音声出力部322は、音声信号を音声に変換して出力する機能手段である。   The voice input unit 320 is a functional unit that detects a voice such as a user's speech and generates a voice signal. The voice input unit 320 converts the user's voice into a voice signal, measures the strength of the voice signal, and detects the user's speech when the strength is equal to or greater than a predetermined threshold. The audio output unit 322 is a functional unit that converts an audio signal into sound and outputs the sound.

表示装置検出部318は、通信装置10aに接続されている通電状態の表示装置を検出する手段である。表示装置検出部318は、表示装置のデバイスドライバであるグラフィックドライバによって、表示装置I/F216,217に接続されている表示装置の通電状態を検出し、通電状態の表示装置の個数を計数する。本実施形態では、WINDOWS(登録商標)OSが提供するAPI関数およびグラフィックドライバを用いて、通電状態の表示装置の個数を計数する。   The display device detection unit 318 is means for detecting a display device in an energized state connected to the communication device 10a. The display device detection unit 318 detects the energization state of the display device connected to the display device I / F 216, 217 by a graphic driver that is a device driver of the display device, and counts the number of display devices in the energization state. In the present embodiment, the number of energized display devices is counted using an API function and graphic driver provided by the WINDOWS (registered trademark) OS.

制御部300は、通信装置10aの電源が投入されると、後述する表示装置の検出処理を実行し、撮像部306に撮影画像を生成させる。制御部300は、通信装置10a〜10hに画像提供装置30a〜30hが接続されている場合、当該画像提供装置30a〜30hにメニュー画面を表示させ、画像提供を可能とさせている。   When the communication device 10a is powered on, the control unit 300 executes a display device detection process, which will be described later, and causes the imaging unit 306 to generate a captured image. When the image providing devices 30a to 30h are connected to the communication devices 10a to 10h, the control unit 300 displays a menu screen on the image providing devices 30a to 30h, thereby enabling image provision.

制御部300は、ユーザの指示に従い、他拠点の通信装置とのセッションの確立を通信管理装置40に要求する。セッションが確立すると、制御部300は、撮像部306が生成した自拠点の撮影画像と、画像提供装置30aが提供する画像とを、通信管理装置40を介して他拠点の通信装置に送信する。また、制御部300は、他拠点の通信装置から画像を受信すると、当該画像を表示装置20a,22aに表示する。また、通信装置10a〜10hに画像提供装置30a〜30hが接続されている場合、ユーザが当該画像提供装置に表示されたメニュー画面上の共有開始ボタンが選択されると、当該画像提供装置30a〜30hから画像を取得する。   The control unit 300 requests the communication management device 40 to establish a session with a communication device at another site in accordance with a user instruction. When the session is established, the control unit 300 transmits the captured image of the local site generated by the imaging unit 306 and the image provided by the image providing device 30a to the communication device of another site via the communication management device 40. In addition, when receiving an image from a communication device at another site, the control unit 300 displays the image on the display devices 20a and 22a. In addition, when the image providing devices 30a to 30h are connected to the communication devices 10a to 10h, when the user selects a sharing start button on the menu screen displayed on the image providing device, the image providing devices 30a to 30h. An image is acquired from 30h.

制御部300は、ユーザの発話を検出すると、ユーザが発話していることを示す情報(以下、「発話情報」とする。)を撮影画像に付加して通信管理装置40に送信する。制御部300は、他拠点から発話情報が付加された撮影画像を受信すると、当該撮影画像が表示装置20a,22aの所定の表示領域に表示されるよう、配置情報テーブル312の配置情報を変更する。   When the control unit 300 detects the user's utterance, the control unit 300 adds information indicating that the user is speaking (hereinafter referred to as “utterance information”) to the captured image and transmits the information to the communication management device 40. When the control unit 300 receives a captured image to which utterance information is added from another base, the control unit 300 changes the arrangement information in the arrangement information table 312 so that the captured image is displayed in a predetermined display area of the display devices 20a and 22a. .

図4は、本発明の通信装置が起動時に実行する表示装置の検出処理を示すフローチャートである。以下、図4を参照して、通信装置10aの電源が投入された際に実行される表示装置の検出処理について説明する。   FIG. 4 is a flowchart showing display device detection processing executed by the communication device of the present invention at startup. Hereinafter, with reference to FIG. 4, a display device detection process executed when the communication device 10a is powered on will be described.

図4の処理は、ステップS400で通信装置10aの電源が投入されることにより開始する。ステップS401では、表示装置検出部318が、RAM203に確保される変数(ACTIVE)を0で初期化する。ステップS402では、表示装置検出部318は、通信装置10aに接続されている表示装置のうち通電状態の表示装置の個数を計数し、その個数を変数(ACTIVE)に設定する。ステップS403では、配置情報設定部314が、変数(ACTIVE)の値が0であるか否か判断する。変数(ACTIVE)の値が0のときには(yes)、処理をステップS402に戻す。一方、変数(ACTIVE)の値が0でないときには(no)、処理がステップS404に分岐する。   The process of FIG. 4 starts when the communication device 10a is turned on in step S400. In step S401, the display device detection unit 318 initializes a variable (ACTIVE) secured in the RAM 203 with zero. In step S402, the display device detection unit 318 counts the number of energized display devices among the display devices connected to the communication device 10a, and sets the number as a variable (ACTIVE). In step S403, the arrangement information setting unit 314 determines whether the value of the variable (ACTIVE) is zero. When the value of the variable (ACTIVE) is 0 (yes), the process returns to step S402. On the other hand, when the value of the variable (ACTIVE) is not 0 (no), the process branches to step S404.

ステップS404では、配置情報設定部314は、変数(ACTIVE)を判断し、変数(ACTIVE)の値が1のとき、すなわち、通電状態の1の表示装置が接続されているときは、処理をステップS405に分岐する。ステップS405では、配置情報設定部314は、図5に示すような1の表示装置が接続されているときの配置情報を配置情報テーブルに設定し、ステップS407で処理が終了する。   In step S404, the arrangement information setting unit 314 determines the variable (ACTIVE), and when the value of the variable (ACTIVE) is 1, that is, when the energized 1 display device is connected, the process is stepped. The process branches to S405. In step S405, the arrangement information setting unit 314 sets the arrangement information when one display device as shown in FIG. 5 is connected in the arrangement information table, and the process ends in step S407.

一方、変数(ACTIVE)の値が2のとき、すなわち、通電状態の2の表示装置が接続されているときは、処理をステップS406に分岐する。ステップS406では、配置情報設定部314は、図6および図8に示すような2の表示装置が接続されているときの配置情報を配置情報テーブルに設定し、ステップS407で処理が終了する。   On the other hand, when the value of the variable (ACTIVE) is 2, that is, when the energized 2 display device is connected, the process branches to step S406. In step S406, the arrangement information setting unit 314 sets the arrangement information when the two display devices as shown in FIGS. 6 and 8 are connected to the arrangement information table, and the process ends in step S407.

図5は、通電状態の1の表示装置が通信装置10aに接続されているときの表示方式および配置情報テーブルの一実施形態を示す図である。以下、図5を参照して、通電状態の1の表示装置が通信装置10aに接続されているときの表示装置の画面割り500および配置情報テーブル502について説明する。   FIG. 5 is a diagram illustrating an embodiment of a display method and an arrangement information table when one energized display device is connected to the communication device 10a. Hereinafter, the screen allocation 500 and the arrangement information table 502 of the display device when the energized one display device is connected to the communication device 10a will be described with reference to FIG.

画面割り500は、通信装置10aに接続された表示装置の画面割りを示す。図5に示す実施形態では、表示装置の表示領域が4分割されており、表示領域1の面積は、他の表示領域2〜4の面積よりも大きい。   A screen layout 500 indicates a screen layout of a display device connected to the communication device 10a. In the embodiment shown in FIG. 5, the display area of the display device is divided into four, and the area of the display area 1 is larger than the areas of the other display areas 2 to 4.

配置情報テーブル502には、通電状態の1の表示装置が通信装置10aに接続されているときの配置情報として、表示装置に表示される画像の表示方式と、当該表示装置の表示領域に表示される画像の識別情報とが関連付けて登録される。   In the arrangement information table 502, as arrangement information when one energized display device is connected to the communication device 10a, the display method of the image displayed on the display device and the display area of the display device are displayed. The image identification information is registered in association with each other.

本実施形態の表示方式には「VIEW_MULTI」および「SHARED_MULTI」がある。「VIEW_MULTI」は、通信装置10a〜10hが自拠点および他拠点の撮影画像を表示する方式を示す。「SHARED_MULTI」は、自拠点および他拠点の撮影画像に加えて、画像提供装置30a〜30hが提供する画像を表示する方式を示す。本実施形態では、これらの表示方式はユーザによって指定され、表示方式設定情報として記憶部310に保存される。   There are “VIEW_MULTI” and “SHARED_MULTI” as display methods of this embodiment. “VIEW_MULTI” indicates a method in which the communication devices 10a to 10h display captured images of the local site and other sites. “SHARED_MULTI” indicates a method for displaying images provided by the image providing devices 30a to 30h in addition to the captured images of the local site and the remote site. In the present embodiment, these display methods are designated by the user and stored in the storage unit 310 as display method setting information.

図5に示す実施形態では、表示方式が「VIEW_MULTI」である場合には、表示領域1に他拠点の撮影画像が表示され、表示領域2に自拠点の撮影画像が表示される。また、表示方式が「SHARED_MULTI」である場合には、表示領域1に資料画像が表示され、表示領域2に他拠点の撮影画像が表示され、表示領域3に自拠点の撮影画像が表示される。   In the embodiment shown in FIG. 5, when the display method is “VIEW_MULTI”, the captured image of the other base is displayed in the display area 1, and the captured image of the own base is displayed in the display area 2. When the display method is “SHARED_MULTI”, the document image is displayed in the display area 1, the captured image of the other base is displayed in the display area 2, and the captured image of the own base is displayed in the display area 3. .

他の実施形態では、本実施形態のようにユーザ指令によって表示方式「VIEW_MULTI」および「SHARED_MULTI」を切り替えるのではなく、通信装置10a〜10hが、画像提供装置30a〜30hによる画像提供が開始されたことを検知し、表示方式を切り替えてもよい。   In another embodiment, instead of switching the display methods “VIEW_MULTI” and “SHARED_MULTI” by a user command as in this embodiment, the communication devices 10a to 10h have started providing images by the image providing devices 30a to 30h. This may be detected and the display method may be switched.

具体的には、通信装置10a〜10hが、例えば、特定のアプリケーションポートにおける通信開始や画像提供の開始を示す画像提供装置30a〜30hからの明示的な通知を検知し、表示方式を「VIEW_MULTI」から「SHARED_MULTI」に自動的に切り替える。画像提供装置30a〜30hからの画像提供が終了または中断すると、通信装置10a〜10hは、表示方式を「SHARED_MULTI」から「VIEW_MULTI」に切り替える。これにより、ユーザによる操作を省略することができると共に、提供画像のストリーム処理を効率化させることができる。   Specifically, the communication devices 10a to 10h detect, for example, an explicit notification from the image providing devices 30a to 30h indicating the start of communication or the start of image provision at a specific application port, and the display method is “VIEW_MULTI”. To “SHARED_MULTI” automatically. When the image provision from the image providing devices 30a to 30h is completed or interrupted, the communication devices 10a to 10h switch the display method from “SHARED_MULTI” to “VIEW_MULTI”. Thereby, the operation by the user can be omitted and stream processing of the provided image can be made efficient.

より詳細には、通信装置10a〜10hの送受信部302が画像提供装置30a〜30hから画像を受信すると、制御部300が、当該画像提供装置による画像提供が開始したこと通知する画像提供開始イベントを発行する。配置情報設定部314は、画像提供開始イベントを検知すると、表示方式設定情報を「SHARED_MULTI」に設定する。そして、表示制御部316は、配置情報テーブルを参照し、表示方式設定情報「SHARED_MULTI」に関連付けられている配置情報に従って資料画像および撮影画像を表示装置20a,20bに表示する。   More specifically, when the transmission / reception unit 302 of the communication devices 10a to 10h receives an image from the image providing devices 30a to 30h, the control unit 300 generates an image provision start event to notify that the image provision by the image providing device has started. Issue. Upon detecting the image provision start event, the arrangement information setting unit 314 sets the display method setting information to “SHARED_MULTI”. Then, the display control unit 316 refers to the arrangement information table and displays the document image and the captured image on the display devices 20a and 20b according to the arrangement information associated with the display method setting information “SHARED_MULTI”.

画像提供装置30a〜30hによる画像提供が停止すると、制御部300は、当該画像提供装置による画像提供が停止したこと通知する画像提供停止イベントを発行する。配置情報設定部314は、画像提供停止イベントを検知すると、表示方式設定情報を「SHARED_MULTI」から「VIEW_MULTI」に変更する。そして、表示制御部316は、配置情報テーブルを参照し、表示方式設定情報「VIEW_MULTI」に関連付けられている配置情報に従って撮影画像を表示装置20a,20bに表示する。   When the image providing by the image providing devices 30a to 30h is stopped, the control unit 300 issues an image providing stop event for notifying that the image providing by the image providing device has been stopped. Upon detecting the image provision stop event, the arrangement information setting unit 314 changes the display method setting information from “SHARED_MULTI” to “VIEW_MULTI”. Then, the display control unit 316 refers to the arrangement information table and displays the captured image on the display devices 20a and 20b according to the arrangement information associated with the display method setting information “VIEW_MULTI”.

本実施形態では、表示装置の画面を4つの表示領域に分割するが、他の実施形態では、3または5以上の表示領域に分割してもよい。また、本実施形態の配置情報は、2拠点で画像を共有する場合の配置情報であるが、本発明は、3以上の拠点で画像を共有することもできる。   In this embodiment, the screen of the display device is divided into four display areas. However, in other embodiments, the screen may be divided into three or five or more display areas. Further, the arrangement information of the present embodiment is arrangement information when an image is shared at two locations, but the present invention can also share an image at three or more locations.

3以上の拠点で画像を共有する場合、表示方式「VIEW_MULTI」が指定されるときは、ユーザが注目すべき他拠点の撮影画像、すなわち、発話を検出した拠点の撮影画像が表示領域1に表示されるように配置情報を変更し、ユーザが発話をしている拠点の撮影画像を表示領域1に表示することができる。   When the image is shared among three or more bases, when the display method “VIEW_MULTI” is designated, a photographed image of another base that the user should pay attention to, that is, a photographed image of the base where the speech is detected is displayed in the display area 1. Thus, the arrangement information can be changed, and the captured image of the base where the user is speaking can be displayed in the display area 1.

図6は、通電状態の2の表示装置が通信装置10aに接続されているときの表示方式および配置情報テーブルの一実施形態を示す図である。以下、図6を参照して、通電状態の2の表示装置が通信装置10aに接続されているときの表示装置の画面割り600,602および配置情報テーブル604について説明する。   FIG. 6 is a diagram illustrating an embodiment of a display method and an arrangement information table when the energized display device 2 is connected to the communication device 10a. Hereinafter, the screen allocation 600 and 602 and the arrangement information table 604 of the display device when the energized display device 2 is connected to the communication device 10a will be described with reference to FIG.

画面割り600は、通信装置10aに接続された第1の表示装置の画面割りである。図6に示す実施形態では、表示装置の表示領域が4分割されており、表示領域1の面積は、他の表示領域2〜4の面積よりも大きい。画面割り602は、通信装置10aに接続された第2の表示装置の画面割りであり、1の表示領域で構成される。   The screen layout 600 is a screen layout of the first display device connected to the communication device 10a. In the embodiment shown in FIG. 6, the display area of the display device is divided into four, and the area of the display area 1 is larger than the areas of the other display areas 2 to 4. The screen layout 602 is a screen layout of the second display device connected to the communication device 10a, and is composed of one display area.

配置情報テーブル604には、通電状態の2の表示装置が通信装置10aに接続されているときの配置情報として、第1の表示装置および第2の表示装置に表示される画像の表示方式と、当該表示装置の表示領域に表示される画像の識別情報とが関連付けて登録される。   The arrangement information table 604 includes a display method of images displayed on the first display device and the second display device as arrangement information when the two display devices in the energized state are connected to the communication device 10a. The identification information of the image displayed in the display area of the display device is registered in association with it.

図6に示す実施形態では、表示方式が「VIEW_MULTI」である場合には、第1の表示装置の表示領域1に他拠点の撮影画像が表示され、第1の表示装置の表示領域2に自拠点の撮影画像が表示される。一方、第2の表示装置の表示領域1には画像が表示されない。   In the embodiment shown in FIG. 6, when the display method is “VIEW_MULTI”, a captured image of another base is displayed in the display area 1 of the first display device, and the display area 2 of the first display device is automatically displayed. A captured image of the base is displayed. On the other hand, no image is displayed in the display area 1 of the second display device.

表示方式が「SHARED_MULTI」である場合には、第1の表示装置の表示領域1に他拠点の撮影画像が表示され、第1の表示装置の表示領域2に自拠点の撮影画像が表示される。一方、第2の表示装置の表示領域1に資料画像が表示される。   When the display method is “SHARED_MULTI”, the captured image of the other base is displayed in the display area 1 of the first display device, and the captured image of the local base is displayed in the display area 2 of the first display device. . On the other hand, the material image is displayed in the display area 1 of the second display device.

本実施形態では、表示装置の画面を4つの表示領域に分割するが、他の実施形態では、3または5以上の表示領域に分割してもよい。また、本実施形態の配置情報は、2拠点で画像を共有する場合の配置情報であるが、本発明は、3以上の拠点で画像を共有することもできる。3以上の拠点で画像を共有する場合には、ユーザが注目すべき他拠点の撮影画像、すなわち、発話を検出した拠点の撮影画像が第1の表示装置の表示領域1に表示されるように配置情報を変更し、ユーザが発話をしている拠点の撮影画像を当該表示領域に表示することができる。   In this embodiment, the screen of the display device is divided into four display areas. However, in other embodiments, the screen may be divided into three or five or more display areas. Further, the arrangement information of the present embodiment is arrangement information when an image is shared at two locations, but the present invention can also share an image at three or more locations. When sharing an image among three or more bases, a captured image of another base that the user should pay attention to, that is, a captured image of the base where the speech is detected is displayed in the display area 1 of the first display device. The arrangement information can be changed, and the captured image of the base where the user is speaking can be displayed in the display area.

本実施形態では、自拠点および他拠点の撮影画像を第1の表示装置に表示し、画像提供装置30a〜30hが提供する資料画像等の画像を第2の表示装置に表示するため、これらの画像の視認性を向上させることができる。   In the present embodiment, the captured images of the local site and other sites are displayed on the first display device, and the images such as the material images provided by the image providing devices 30a to 30h are displayed on the second display device. The visibility of the image can be improved.

図7は、図6に示す画面割りおよび配置情報に基づく表示装置の画面の一実施形態を示す図である。画面700および画面706は、表示方式「VIEW_MULTI」が選択されたときの第1の表示装置の画面および第2の表示装置の画面である。画面700の表示領域702には他拠点の撮影画像が表示され、表示領域704には自拠点の撮影画像が表示される。画面706には画像が表示されない。   FIG. 7 is a diagram showing an embodiment of the screen of the display device based on the screen layout and arrangement information shown in FIG. A screen 700 and a screen 706 are a screen of the first display device and a screen of the second display device when the display method “VIEW_MULTI” is selected. A display area 702 of the screen 700 displays a captured image of another base, and a display area 704 displays a captured image of the local base. No image is displayed on the screen 706.

画面710および画面716は、表示方式「SHARED_MULTI」が選択されたときの第1の表示装置の画面および第2の表示装置の画面である。画面710の表示領域712には他拠点の撮影画像が表示され、表示領域714には自拠点の撮影画像が表示される。画面716には資料画像が表示される。   A screen 710 and a screen 716 are a screen of the first display device and a screen of the second display device when the display method “SHARED_MULTI” is selected. A display area 712 of the screen 710 displays a captured image of another base, and a display area 714 displays a captured image of the local base. A material image is displayed on the screen 716.

図8は、通電状態の2の表示装置が通信装置10aに接続されているときの表示方式および配置情報テーブルの別の実施形態を示す図である。以下、図8を参照して、通電状態の2の表示装置が通信装置10aに接続されているときの表示装置の画面割り800,802および配置情報テーブル804について説明する。   FIG. 8 is a diagram showing another embodiment of the display method and the arrangement information table when the energized 2 display device is connected to the communication device 10a. Hereinafter, the screen allocation 800 and 802 and the arrangement information table 804 of the display device when the energized two display devices are connected to the communication device 10a will be described with reference to FIG.

画面割り800は、通信装置10aに接続された第1の表示装置の画面割りである。図8に示す実施形態では、表示装置の表示領域が4つに等分されている。画面割り802は、通信装置10aに接続された第2の表示装置の画面割りであり、1の表示領域で構成される。本実施形態では、表示装置の画面を4つの表示領域に分割するが、他の実施形態では、3または5以上の表示領域に分割してもよい。   The screen layout 800 is a screen layout of the first display device connected to the communication device 10a. In the embodiment shown in FIG. 8, the display area of the display device is equally divided into four. The screen layout 802 is a screen layout of the second display device connected to the communication device 10a, and is composed of one display area. In this embodiment, the screen of the display device is divided into four display areas. However, in other embodiments, the screen may be divided into three or five or more display areas.

配置情報テーブル804には、通電状態の2の表示装置が通信装置10aに接続されているときの配置情報として、第1の表示装置および第2の表示装置に表示される画像の表示方式と、当該表示装置の表示領域に表示される画像の識別情報とが関連付けて登録される。   The arrangement information table 804 includes a display method of images displayed on the first display apparatus and the second display apparatus as arrangement information when the two energized display apparatuses are connected to the communication apparatus 10a. The identification information of the image displayed in the display area of the display device is registered in association with it.

図8に示す実施形態では、表示方式が「VIEW_MULTI」である場合には、第1の表示装置の表示領域1に自拠点の撮影画像が表示され、第2の表示装置の表示領域1に他拠点の撮影画像が表示される。   In the embodiment shown in FIG. 8, when the display method is “VIEW_MULTI”, the captured image of the local site is displayed in the display area 1 of the first display device, and the other is displayed in the display area 1 of the second display device. A captured image of the base is displayed.

表示方式が「SHARED_MULTI」である場合には、第1の表示装置の表示領域1に他拠点の撮影画像が表示され、第1の表示装置の表示領域2に自拠点の撮影画像が表示される。一方、第2の表示装置の表示領域2に資料画像が表示される。   When the display method is “SHARED_MULTI”, the captured image of the other base is displayed in the display area 1 of the first display device, and the captured image of the local base is displayed in the display area 2 of the first display device. . On the other hand, the material image is displayed in the display area 2 of the second display device.

本実施形態の配置情報は、2拠点で画像を共有する場合の配置情報であるが、本発明は、3以上の拠点で画像を共有することもできる。この場合、表示方式「VIEW_MULTI」が指定されているときには、ユーザが注目すべき他拠点の撮影画像、すなわち、発話を検出した拠点の撮影画像が第2の表示装置に表示されるように配置情報を変更し、ユーザが発話をしている拠点の撮影画像を第2の表示装置に表示し、それ以外の拠点の撮影画像を第1の表示装置に表示することができる。   The arrangement information of the present embodiment is arrangement information when an image is shared at two sites, but the present invention can also share an image at three or more sites. In this case, when the display method “VIEW_MULTI” is designated, the layout information is displayed so that the captured image of the other site that the user should pay attention to, that is, the captured image of the site where the utterance is detected is displayed on the second display device. , The captured image of the location where the user is speaking can be displayed on the second display device, and the captured images of other locations can be displayed on the first display device.

本実施形態では、撮影画像を第1の表示装置に表示し、画像提供装置が提供する資料画像等の画像を第2の表示装置に表示するため、画像の視認性を向上させることができる。また、注目すべき他拠点の撮影画像を、1の表示領域で構成される表示装置に表示するため、画像の視認性を向上させることができる。   In the present embodiment, the captured image is displayed on the first display device, and the image such as the document image provided by the image providing device is displayed on the second display device. Therefore, the visibility of the image can be improved. In addition, since the captured image of the other base to be noted is displayed on the display device configured by one display area, the visibility of the image can be improved.

図9は、図8に示す画面割りおよび配置情報に基づく表示装置の画面の一実施形態を示す図である。画面900および画面906は、表示方式「VIEW_MULTI」が選択されたときの第1の表示装置の画面および第2の表示装置の画面である。画面900の表示領域902には自拠点の撮影画像が表示され、画面906には他拠点の撮影画像が表示される。   FIG. 9 is a diagram showing an embodiment of the screen of the display device based on the screen layout and arrangement information shown in FIG. A screen 900 and a screen 906 are a screen of the first display device and a screen of the second display device when the display method “VIEW_MULTI” is selected. A captured image of the local site is displayed in the display area 902 of the screen 900, and a captured image of another site is displayed on the screen 906.

画面910および画面916は、表示方式「SHARED_MULTI」が選択されたときの第1の表示装置の画面および第2の表示装置の画面である。画面910の表示領域912には他拠点の撮影画像が表示され、表示領域914には自拠点の撮影画像が表示される。画面916には資料画像が表示される。   Screens 910 and 916 are the screens of the first display device and the second display device when the display method “SHARED_MULTI” is selected. A display area 912 of the screen 910 displays a captured image of another base, and a display area 914 displays a captured image of the local base. A material image is displayed on the screen 916.

図10は、本発明の通信装置が起動後に実行する表示装置の検出処理を示すフローチャートである。以下、図10を参照して、通信装置10aの起動後に実行される表示装置の検出処理について説明する。   FIG. 10 is a flowchart showing display device detection processing executed after activation by the communication device of the present invention. Hereinafter, with reference to FIG. 10, a display device detection process executed after the communication device 10 a is activated will be described.

図10の処理は、ステップS1000から開始し、ステップS1001で表示装置検出部318が、通信装置10aのOSが表示装置20a〜20h,22a〜22hの通電状態を検知して発行する通電変化イベントを受信したか否か判断する。通電変化イベントを受信していない場合には(no)、ステップS1001の処理を反復する。一方、通電変化イベントを受信した場合には(yes)、処理がステップS1002に分岐する。   The processing in FIG. 10 starts from step S1000, and in step S1001, the display device detection unit 318 detects an energization change event issued by the OS of the communication device 10a detecting the energization states of the display devices 20a to 20h and 22a to 22h. It is determined whether or not it has been received. When the energization change event has not been received (no), the process of step S1001 is repeated. On the other hand, if an energization change event is received (yes), the process branches to step S1002.

ステップS1002では、表示装置検出部318は、RAM203に確保される変数(ACTIVE)を0で初期化する。ステップS1003では、表示装置検出部318が、通信装置10aに接続されている表示装置のうち通電状態の表示装置の個数を計数し、その個数を変数(ACTIVE)に設定する。ステップS1004では、配置情報設定部314が、変数(ACTIVE)の値が0であるか否か判断する。変数(ACTIVE)の値が0のときには(yes)、処理をステップS1003に戻す。一方、変数(ACTIVE)の値が0でないときには(no)、処理がステップS1005に分岐する。   In step S <b> 1002, the display device detection unit 318 initializes a variable (ACTIVE) secured in the RAM 203 with 0. In step S1003, the display device detection unit 318 counts the number of energized display devices among the display devices connected to the communication device 10a, and sets the number as a variable (ACTIVE). In step S1004, the arrangement information setting unit 314 determines whether the value of the variable (ACTIVE) is zero. If the value of the variable (ACTIVE) is 0 (yes), the process returns to step S1003. On the other hand, when the value of the variable (ACTIVE) is not 0 (no), the process branches to step S1005.

ステップS1005では、配置情報設定部314は、変数(ACTIVE)の値を判断し、変数(ACTIVE)の値が1のとき、すなわち、通電状態の1の表示装置が接続されているときは、処理をステップS1006に分岐する。ステップS1006では、配置情報設定部314は、図5に示すような1の表示装置が接続されているときの配置情報を配置情報テーブルに設定し、ステップS1008で処理が終了する。   In step S1005, the arrangement information setting unit 314 determines the value of the variable (ACTIVE). When the value of the variable (ACTIVE) is 1, that is, when the energized 1 display device is connected, the processing is performed. Branches to step S1006. In step S1006, the arrangement information setting unit 314 sets arrangement information when one display device as shown in FIG. 5 is connected in the arrangement information table, and the process ends in step S1008.

一方、変数(ACTIVE)の値が2のとき、すなわち、通電状態の2の表示装置が接続されているときは、処理をステップS1007に分岐する。ステップS1007では、配置情報設定部314は、図6および図8に示すような2の表示装置が接続されているときの配置情報を配置情報テーブルに設定し、ステップS1008で処理が終了する。   On the other hand, when the value of the variable (ACTIVE) is 2, that is, when the energized 2 display device is connected, the process branches to step S1007. In step S1007, the arrangement information setting unit 314 sets arrangement information when two display devices as shown in FIGS. 6 and 8 are connected to the arrangement information table, and the process ends in step S1008.

上述した処理により、通信装置10aが、起動後に表示装置を通信装置10aに接続し、または表示装置の電源を投入して通電状態となった表示装置を検知することができ、これらの表示装置に画像を表示させることができる。   Through the processing described above, the communication device 10a can detect a display device that has been energized by connecting the display device to the communication device 10a after startup or by turning on the power of the display device. An image can be displayed.

これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、本実施形態の構成要素を変更若しくは削除し、または本実施形態の構成要素を他の構成要素を追加するなど、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。   Although the present embodiment has been described so far, the present invention is not limited to the above-described embodiment, and the constituent elements of the present embodiment are changed or deleted, or the constituent elements of the present embodiment are changed to other configurations. It can be changed within a range that can be conceived by those skilled in the art, such as adding an element, and any aspect is included in the scope of the present invention as long as the effects of the present invention are exhibited.

上述した機能手段を実現する本発明のプログラムは、ハードディスク装置、CD−ROM、MO、フレキシブルディスク、EEPROM、EPROMなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。   The program of the present invention that realizes the above-described functional means can be stored and distributed on a device-readable recording medium such as a hard disk device, CD-ROM, MO, flexible disk, EEPROM, EPROM, or other devices are possible. Can be transmitted over a network in various formats.

10a〜10h…通信装置、20a〜20h…表示装置、22a〜22h…表示装置、30a〜30h…画像提供装置、40…通信管理装置、50…ルータ、60…ネットワーク、100…通信システム DESCRIPTION OF SYMBOLS 10a-10h ... Communication apparatus, 20a-20h ... Display apparatus, 22a-22h ... Display apparatus, 30a-30h ... Image provision apparatus, 40 ... Communication management apparatus, 50 ... Router, 60 ... Network, 100 ... Communication system

米国特許第6760749号明細書US Pat. No. 6,760,749

Claims (9)

画像および音声の通信を行う通信装置であって、
画像の表示方式を規定する配置情報が格納される記憶手段と、
前記記憶手段に配置情報を設定する配置情報設定手段と、
前記配置情報を参照して複数の表示装置に画像を表示させる表示制御手段とを含み、
前記表示制御手段は、自拠点および他拠点の撮影画像を第1の表示装置に表示させると共に、自拠点または他拠点の画像提供装置が提供する画像を第2の表示装置に表示させる、通信装置。
A communication device that performs image and audio communication,
Storage means for storing arrangement information defining an image display method;
Arrangement information setting means for setting arrangement information in the storage means;
Display control means for displaying images on a plurality of display devices with reference to the arrangement information,
The display control means causes the first display device to display captured images of the local site and the remote site, and causes the second display device to display an image provided by the local site or the remote site image providing device. .
前記通信装置は、
通電状態の表示装置を検出する表示装置検出手段をさらに含む、請求項1に記載の通信装置。
The communication device
The communication device according to claim 1, further comprising display device detection means for detecting an energized display device.
前記表示装置検出手段は、前記通信装置の起動時または起動後に表示装置の通電状態を検出する、請求項2に記載の通信装置。   The communication device according to claim 2, wherein the display device detection unit detects an energized state of the display device when the communication device is activated or after the communication device is activated. 画像および音声の通信を行う通信装置と、前記通信装置に画像を提供する画像提供装置とを含む通信システムであって、
前記通信装置は、
画像の表示方式を規定する配置情報が格納される記憶手段と、
前記記憶手段に配置情報を設定する配置情報設定手段と、
前記配置情報を参照して複数の表示装置に前記画像を表示させる表示制御手段とを含み、
前記表示制御手段は、自拠点および他拠点の撮影画像を第1の表示装置に表示させると共に、自拠点または他拠点の画像提供装置が提供する画像を第2の表示装置に表示させる、通信システム。
A communication system including a communication device that performs image and sound communication, and an image providing device that provides an image to the communication device,
The communication device
Storage means for storing arrangement information defining an image display method;
Arrangement information setting means for setting arrangement information in the storage means;
Display control means for displaying the image on a plurality of display devices with reference to the arrangement information,
The display control means causes the first display device to display captured images of its own base and other bases, and causes the second display device to display images provided by the image providing device of the local base or other bases. .
前記通信装置は、
通電状態の表示装置を検出する表示装置検出手段をさらに含む、請求項4に記載の通信システム。
The communication device
The communication system according to claim 4, further comprising display device detection means for detecting a display device in an energized state.
前記表示装置検出手段は、前記通信装置の起動時または起動後に表示装置の通電状態を検出する、請求項5に記載の通信システム。   The communication system according to claim 5, wherein the display device detection unit detects an energized state of the display device when the communication device is activated or after activation. 画像および音声の通信を行う通信装置が実行する方法を、前記通信装置に実行させるプログラムであって、前記プログラムは、
画像の表示方式を規定する配置情報を記憶手段に配置情報を設定するステップと、
前記配置情報を参照して、第1の表示装置に自拠点および他拠点の撮影画像を表示させると共に、自拠点または他拠点の画像提供装置が提供する画像を第2の表示装置に表示させるステップと
を前記通信装置に実行させる装置実行可能なプログラム。
A program for causing the communication device to execute a method executed by a communication device that performs image and sound communication,
Setting the arrangement information in the storage means, the arrangement information defining the display method of the image;
A step of displaying the captured image of the local site and the other site on the first display device with reference to the arrangement information and displaying the image provided by the image providing device of the local site or the other site on the second display device. A device-executable program for causing the communication device to execute.
通電状態の表示装置を検出するステップを、前記通信装置にさらに実行させる、請求項7に記載のプログラム。   The program according to claim 7, further causing the communication device to execute a step of detecting an energized display device. 前記通電状態の表示装置を検出するステップは、前記通信装置の起動時または起動後に実行される、請求項8に記載のプログラム。   The program according to claim 8, wherein the step of detecting the energized display device is executed when the communication device is activated or after activation.
JP2017206026A 2012-03-22 2017-10-25 Communication apparatus, method and program Active JP6493483B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012065917 2012-03-22
JP2012065917 2012-03-22

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012251013A Division JP6236771B2 (en) 2012-03-22 2012-11-15 Communication apparatus, method and program

Publications (2)

Publication Number Publication Date
JP2018042268A true JP2018042268A (en) 2018-03-15
JP6493483B2 JP6493483B2 (en) 2019-04-03

Family

ID=60687209

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2017147784A Active JP6394761B2 (en) 2012-03-22 2017-07-31 Communication apparatus, method and program
JP2017206026A Active JP6493483B2 (en) 2012-03-22 2017-10-25 Communication apparatus, method and program
JP2018127436A Active JP6521154B2 (en) 2012-03-22 2018-07-04 Communication device, method and program
JP2019084993A Active JP6729756B2 (en) 2012-03-22 2019-04-26 Communication system, communication device and program
JP2020114699A Active JP7414360B2 (en) 2012-03-22 2020-07-02 Communication devices, methods and programs
JP2022185837A Pending JP2023016858A (en) 2012-03-22 2022-11-21 Communication system, communication device, and program

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017147784A Active JP6394761B2 (en) 2012-03-22 2017-07-31 Communication apparatus, method and program

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2018127436A Active JP6521154B2 (en) 2012-03-22 2018-07-04 Communication device, method and program
JP2019084993A Active JP6729756B2 (en) 2012-03-22 2019-04-26 Communication system, communication device and program
JP2020114699A Active JP7414360B2 (en) 2012-03-22 2020-07-02 Communication devices, methods and programs
JP2022185837A Pending JP2023016858A (en) 2012-03-22 2022-11-21 Communication system, communication device, and program

Country Status (1)

Country Link
JP (6) JP6394761B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111031375A (en) * 2019-11-19 2020-04-17 青岛海信电器股份有限公司 Method for skipping detailed page of boot animation and display equipment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6025871A (en) * 1998-12-31 2000-02-15 Intel Corporation User interface for a video conferencing system
JP2004048551A (en) * 2002-07-15 2004-02-12 Cs Plan:Kk Tv conference system using two-screen monitor
US20110239142A1 (en) * 2010-03-25 2011-09-29 Nokia Corporation Method and apparatus for providing content over multiple displays
JP2011254453A (en) * 2010-05-06 2011-12-15 Ricoh Co Ltd Transmission terminal, transmission method, and program for transmission
JP2012004756A (en) * 2010-06-15 2012-01-05 Brother Ind Ltd Terminal device, conference system, and processing program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625410A (en) * 1993-04-21 1997-04-29 Kinywa Washino Video monitoring and conferencing system
JP4062029B2 (en) * 2002-09-19 2008-03-19 富士ゼロックス株式会社 Display control system and information terminal
EP1803058B1 (en) * 2004-10-19 2008-07-16 Sony Ericsson Mobile Communications AB Videoconferencing method, handheld wireless communicator, and videoconferencing computer program product
JP5334687B2 (en) * 2009-05-29 2013-11-06 株式会社イトーキ Remote conference system
KR20110062099A (en) * 2009-12-02 2011-06-10 엘지전자 주식회사 Video conference system and method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6025871A (en) * 1998-12-31 2000-02-15 Intel Corporation User interface for a video conferencing system
JP2004048551A (en) * 2002-07-15 2004-02-12 Cs Plan:Kk Tv conference system using two-screen monitor
US20110239142A1 (en) * 2010-03-25 2011-09-29 Nokia Corporation Method and apparatus for providing content over multiple displays
JP2011254453A (en) * 2010-05-06 2011-12-15 Ricoh Co Ltd Transmission terminal, transmission method, and program for transmission
JP2012004756A (en) * 2010-06-15 2012-01-05 Brother Ind Ltd Terminal device, conference system, and processing program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111031375A (en) * 2019-11-19 2020-04-17 青岛海信电器股份有限公司 Method for skipping detailed page of boot animation and display equipment

Also Published As

Publication number Publication date
JP6394761B2 (en) 2018-09-26
JP2018186539A (en) 2018-11-22
JP2020174375A (en) 2020-10-22
JP2023016858A (en) 2023-02-02
JP7414360B2 (en) 2024-01-16
JP2019161659A (en) 2019-09-19
JP6493483B2 (en) 2019-04-03
JP2017225149A (en) 2017-12-21
JP6729756B2 (en) 2020-07-22
JP6521154B2 (en) 2019-05-29

Similar Documents

Publication Publication Date Title
US10917511B2 (en) System and method of providing voice-message call service
RU2656691C2 (en) Method and client terminal for remote support
CN108431764B (en) Electronic device and method for controlling operation of electronic device
KR20180083587A (en) Electronic device and operating method thereof
JP2018505463A (en) External visual interaction of speech-based devices
TWI532359B (en) Handling incoming calls systems and methods and accessing data method
US20200278775A1 (en) Managing a Plurality of Free Windows in Drop-Down Menu of Notification Bar
US20160057553A1 (en) Method for processing data and electronic device therefor
EP3246886A1 (en) Alarm method and device, control device and sensing device
CN109062535B (en) Sound production control method and device, electronic device and computer readable medium
US20170126423A1 (en) Method, apparatus and system for setting operating mode of device
JP2022505283A (en) Audio playback and collection methods, equipment, equipment and computer programs
EP2698787A2 (en) Method for providing voice call using text data and electronic device thereof
KR102378440B1 (en) Electronic device and audio ouputting method thereof
JP2016527577A (en) User command execution method, execution device, program, and storage medium
CN105704110B (en) Media transmission method, media control method and device
US10148242B2 (en) Method for reproducing contents and electronic device thereof
US11256464B2 (en) Communication system, communication device, and computer program
JP2023016858A (en) Communication system, communication device, and program
JP6428104B2 (en) Information processing system, terminal device, and program
JP2013171518A (en) Information processing system
US20230187065A1 (en) Information processing apparatus and control method
US20240048819A1 (en) Method for editing materials and terminal

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180731

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180731

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181122

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190121

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190218

R151 Written notification of patent or utility model registration

Ref document number: 6493483

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151