JP2018041990A

JP2018041990A - Communication terminal, communication system, display control method, and program

Info

Publication number: JP2018041990A
Application number: JP2015010234A
Authority: JP
Inventors: 太郎奥山; Taro Okuyama; 野村　香苗; Kanae Nomura; 香苗野村
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2015-01-22
Filing date: 2015-01-22
Publication date: 2018-03-15
Also published as: WO2016117249A1

Abstract

PROBLEM TO BE SOLVED: To solve such a problem that although we can communicate diverse information by transmitting multiple types of image content between communication terminals, visibility deteriorates when the image contents to be displayed increases as communication progresses, because the space capable of displaying the image content is limited in each communication terminal.SOLUTION: Transmission and reception unit 11 of a communication terminal 10 receives captured image data and input image data transmitted by other communication terminal 10. Display control unit 14 of the communication terminal 10 controls whether a captured image based on the captured image data received by the transmission and reception unit 11, and an input image based on the input image data received by the transmission and reception unit 11 are displayed, or one of the captured image or input image is displayed.SELECTED DRAWING: Figure 9

Description

本発明は、通信端末、通信システム、表示制御方法、及びプログラムに関する。 The present invention relates to a communication terminal, a communication system, a display control method, and a program.

近年、当事者の移動の経費や時間を削減する要請等に伴い、インターネットや専用線等の通信ネットワークを介して通話や会議等を行う通信システムが普及している。このような通信システムでは、通信端末間で通信を開始すると、画像データ及び音データ等のコンテンツデータの送受信が行われ、拠点間のコミュニケーションを実現する。最近では、会議機能に特化した専用端末間だけでなく、会議用のアプリケーションがインストールされたタブレットやスマートフォン等の汎用端末間で各種コンテンツデータを送信できるようになっている。 2. Description of the Related Art In recent years, communication systems that perform calls, conferences, and the like via communication networks such as the Internet and dedicated lines have become widespread along with requests for reducing expenses and time required for movement of parties. In such a communication system, when communication is started between communication terminals, content data such as image data and sound data is transmitted and received, thereby realizing communication between bases. Recently, various content data can be transmitted not only between dedicated terminals specialized for the conference function but also between general-purpose terminals such as tablets and smartphones installed with a conference application.

また、拠点間のコミュニケーションを円滑に行うために、複数種の画像コンテンツを拠点間で送信する方法が提案されている。例えば、特許文献１には、端末装置から全ての端末装置へ議事進行用の会議の議事項目を送信する一方で、各端末装置において手書き入力された手書き情報である手書きデータを他の端末装置へ送信する方法が開示されている。各端末装置は、受信した議事項目及び手書きデータを同一ウインドウ上に表示する。 Also, a method for transmitting a plurality of types of image content between bases has been proposed in order to facilitate communication between the bases. For example, in Patent Document 1, while transmitting the agenda items of a conference for proceedings from a terminal device to all terminal devices, handwritten data, which is handwritten information input by handwriting in each terminal device, is transmitted to other terminal devices. A method for transmitting is disclosed. Each terminal device displays the received agenda item and handwritten data on the same window.

通信端末間で複数種の画像コンテンツを送信することで、多様な情報を伝達可能になる。しかしながら、コミュニケーションの進捗に伴って、表示される画像コンテンツが増加すると、通信端末毎に画像コンテンツを表示可能なスペースは限られているため、視認性が低下するという課題が生じる。 A variety of information can be transmitted by transmitting a plurality of types of image content between communication terminals. However, when the image content to be displayed increases as the communication progresses, the space in which the image content can be displayed for each communication terminal is limited.

請求項１に係る発明の通信端末は、他の通信端末によって送信される第１のコンテンツデータ及び第２のコンテンツデータを受信する受信手段と、前記受信手段によって受信された前記第１のコンテンツデータに基づく第１の画像、及び前記受信手段によって受信された前記第２のコンテンツデータに基づく第２の画像を表示するか、若しくは前記第１の画像、又は前記第２の画像の一方を表示するかを制御する表示制御手段と、を有することを特徴とする。 The communication terminal of the invention according to claim 1 is a receiving means for receiving first content data and second content data transmitted by another communication terminal, and the first content data received by the receiving means. Display a first image based on the second content data based on the second content data received by the receiving means, or display either the first image or the second image Display control means for controlling the above.

以上説明したように本発明によれば、通信端末間で複数種の画像コンテンツを送信する場合に、通信端末において表示される画像コンテンツの視認性を向上させることが可能になるという効果を奏する。 As described above, according to the present invention, when multiple types of image content are transmitted between communication terminals, it is possible to improve the visibility of the image content displayed on the communication terminal.

一実施形態に係る通信システムの概略図である。1 is a schematic diagram of a communication system according to an embodiment. 一実施形態に係る通話端末のハードウェア構成図である。It is a hardware block diagram of the telephone terminal which concerns on one Embodiment. 一実施形態に係る管理システムのハードウェア構成図である。It is a hardware block diagram of the management system which concerns on one Embodiment. 一実施形態に係る通話端末、及び管理システムの各機能ブロック図である。It is each function block diagram of the telephone terminal which concerns on one Embodiment, and a management system. 通話端末と管理システムとの間のセッションを確立する処理を示したシーケンス図である。It is the sequence diagram which showed the process which establishes the session between a telephone call terminal and a management system. 通話端末間のセッションを確立する処理を示したシーケンス図である。It is the sequence diagram which showed the process which establishes the session between call terminals. 画像の表示を制御する処理を示したフロー図である。It is the flowchart which showed the process which controls the display of an image. 表示画像の一例を示す図である。It is a figure which shows an example of a display image. 表示画像の一例を示す図である。It is a figure which shows an example of a display image. 表示画像の一例を示す図である。It is a figure which shows an example of a display image. 表示画像の一例を示す図である。It is a figure which shows an example of a display image. 画像の表示を制御する処理を示したフロー図である。It is the flowchart which showed the process which controls the display of an image.

以下、本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described.

＜＜実施形態の全体構成＞＞
図１は、本発明の一実施形態に係る通信システムの概略図である。図１に示されているように、通信システム１は、スマートフォンが一例である通話端末（１０ａ，１０ｂ）、通話端末（１０ａ，１０ｂ）間でコンテンツデータを中継するための中継装置３０及び情報共有システム４０、並びに、通話端末１０を管理する管理システム５０によって構築されている。以下、通話端末（１０ａ，１０ｂ）のうち任意の通話端末を表す場合は、通話端末１０と記載する。管理システム５０は、サーバ機能を備えたコンピュータである。中継装置３０は、各通話端末１０において撮像された画像（映像）に係る撮像画像データ、各通話端末１０において集音された音に係る音データを中継する。情報共有システム４０は、各通話端末１０のタッチパネルの操作により入力された画像に係る入力画像データを中継する。 << Overall Configuration of Embodiment >>
FIG. 1 is a schematic diagram of a communication system according to an embodiment of the present invention. As shown in FIG. 1, the communication system 1 includes a relay device 30 for relaying content data between a call terminal (10a, 10b) and a call terminal (10a, 10b), which are smartphones as an example, and information sharing. It is constructed by a system 40 and a management system 50 that manages the call terminal 10. Hereinafter, when an arbitrary call terminal among the call terminals (10a, 10b) is represented, it is referred to as a call terminal 10. The management system 50 is a computer having a server function. The relay device 30 relays captured image data related to an image (video) captured by each call terminal 10 and sound data related to sound collected by each call terminal 10. The information sharing system 40 relays input image data relating to an image input by operating the touch panel of each call terminal 10.

この通信システム１によって、通話端末（１０ａ，１０ｂ）のユーザ間で、通話を行うことができる。この通話は、通話端末（１０ａ，１０ｂ）間で、音、撮像画像（映像）、又は、音及び撮像画像（映像）を相互に送信することによって実現することができる。また、通話端末（１０ａ，１０ｂ）間で、文字、図形、記号等が描かれた入力画像を共有することができる。 With this communication system 1, it is possible to make a call between users of the call terminals (10a, 10b). This call can be realized by mutually transmitting sound, a captured image (video), or sound and a captured image (video) between the call terminals (10a, 10b). In addition, an input image on which characters, figures, symbols, and the like are drawn can be shared between the call terminals (10a, 10b).

また、通話端末１０、中継装置３０、情報共有システム４０、及び管理システム５０は、インターネット、携帯電話網、あるいは、ＬＡＮ(Local Area Network)等の通信ネットワーク２によって通信可能である。通信ネットワーク２には、通話端末１０と通信を行うための携帯電話網の末端にある基地局（８ａ，８ｂ）も含まれている。以下、基地局（８ａ，８ｂ）のうち任意の基地局を表す場合は、基地局８と記載する。なお、図１では、説明を簡単にするために、通信システム１に２台の通話端末１０が表されているが、３台以上の通話端末１０が設けられていても良い。また、通話端末１０として、テレビ会議の機能に特化した専用端末、あるいはＰＣ（Personal Computer）やタブレット等の汎用端末が含まれていても良い。 The call terminal 10, the relay device 30, the information sharing system 40, and the management system 50 can communicate with each other via a communication network 2 such as the Internet, a mobile phone network, or a LAN (Local Area Network). The communication network 2 also includes base stations (8a, 8b) at the end of the mobile phone network for communicating with the call terminal 10. Hereinafter, when an arbitrary base station among the base stations (8a, 8b) is represented, it is referred to as a base station 8. In FIG. 1, for simplicity of explanation, two call terminals 10 are shown in the communication system 1, but three or more call terminals 10 may be provided. Further, the call terminal 10 may include a dedicated terminal specialized for a video conference function or a general-purpose terminal such as a PC (Personal Computer) or a tablet.

＜＜実施形態のハードウェア構成＞＞
図２は、一実施形態に係る通話端末１０のハードウェア構成図である。図２に示されているように、通話端末１０は、通話端末１０全体の動作を制御するＣＰＵ１０１、プログラムを記憶したＲＯＭ(Read Only Memory)１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３、ＣＰＵ１０１の制御にしたがってデータの読み出し又は書き込みを行うＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１０４、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ１０７を備えている。そして、メディアドライブ１０７の制御に従って、既に記録されていたデータが読み出され、又は新たにデータが書き込まれて記憶する記録メディア１０６が着脱自在な構成となっている。なお、ＥＥＰＲＯＭ１０４には、ＣＰＵ１０１が実行するオペレーティングシステム（ＯＳ）、その他のプログラム、及び、種々データが記憶されている。 << Hardware Configuration of Embodiment >>
FIG. 2 is a hardware configuration diagram of the call terminal 10 according to an embodiment. As shown in FIG. 2, the call terminal 10 includes a CPU 101 that controls the operation of the call terminal 10 as a whole, a ROM (Read Only Memory) 102 that stores a program, a RAM 103 that is used as a work area of the CPU 101, An EEPROM (Electrically Erasable and Programmable ROM) 104 that reads or writes data according to control, and a media drive 107 that controls reading or writing (storage) of data to a recording medium 106 such as a flash memory are provided. Then, under the control of the media drive 107, the recording medium 106 on which the already recorded data is read or the data is newly written and stored is detachable. Note that the EEPROM 104 stores an operating system (OS) executed by the CPU 101, other programs, and various data.

更に、通話端末１０は、アンテナ１１１ａ、このアンテナ１１１ａを利用して無線通信信号により、最寄りの基地局８と通信を行う通信回路１１１を備えている。更に通話端末１０は、ＣＰＵ１０１の制御に従って被写体を撮像し撮像画像データを得るＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ１１２、音を音信号に変換する音入力部１１４、音信号を音に変換する音出力部１１５を備えている。なお、ＣＭＯＳセンサ１１２は、光を電荷に変換して被写体の画像を電子化する電荷結合素子である。被写体を撮像することができれば、ＣＭＯＳセンサに限らず、ＣＣＤ(Charge Coupled Device)センサを用いてもよい。また、音入力部１１４は、音を入力するマイクが含まれ、音出力部１１５には、音を出力するスピーカが含まれている。更に通話端末１０は、被写体や各種アイコン等の画像を表示する液晶や有機ＥＬなどのディスプレイ１２０、このディスプレイ１２０上に載せられ、感圧式又は静電式のパネルによって構成され、指やタッチペン等によるタッチによってディスプレイ１２０上におけるタッチ位置を検出するタッチパネル１２１を備えている。更に、通話端末１０は、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。 Furthermore, the call terminal 10 includes an antenna 111a and a communication circuit 111 that communicates with the nearest base station 8 using a radio communication signal using the antenna 111a. Further, the call terminal 10 captures a subject under the control of the CPU 101 and obtains captured image data. A CMOS (Complementary Metal Oxide Semiconductor) sensor 112, a sound input unit 114 that converts sound into a sound signal, and a sound output that converts sound signal into sound Part 115 is provided. The CMOS sensor 112 is a charge-coupled element that converts light into electric charge and digitizes an image of a subject. As long as a subject can be imaged, not only a CMOS sensor but also a CCD (Charge Coupled Device) sensor may be used. The sound input unit 114 includes a microphone that inputs sound, and the sound output unit 115 includes a speaker that outputs sound. Furthermore, the call terminal 10 is a liquid crystal or organic EL display 120 that displays an image of a subject, various icons, and the like, and is placed on the display 120 and is configured by a pressure-sensitive or electrostatic panel, and is configured by a finger or a touch pen. A touch panel 121 that detects a touch position on the display 120 by touch is provided. Further, the call terminal 10 includes a bus line 110 such as an address bus or a data bus for electrically connecting the above-described units.

図３は、一実施形態に係る管理システム５０のハードウェア構成図である。管理システム５０は、管理システム５０全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３、管理システム５０用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８、通信ネットワーク２を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)５１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ５１４、及び、上記各構成要素を図３に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。なお、中継装置３０、情報共有システム４０は、管理システム５０と同様のハードウェア構成を有するため説明を省略する。 FIG. 3 is a hardware configuration diagram of the management system 50 according to the embodiment. The management system 50 includes a CPU 501 that controls the overall operation of the management system 50, a ROM 502 that stores a program used to drive the CPU 501 such as an IPL, a RAM 503 that is used as a work area for the CPU 501, a program for the management system 50, and the like. HD 504 for storing data, HDD (Hard Disk Drive) 505 for controlling reading or writing of various data to the HD 504 according to the control of the CPU 501, media for controlling reading or writing (storage) of data to a recording medium 506 such as a flash memory Drive 507, display 508 for displaying various information such as a cursor, menu, window, character, or image, network I / F 509 for data communication using communication network 2, character A keyboard 511 having a plurality of keys for inputting numerical values and various instructions, a mouse 512 for selecting and executing various instructions, selecting a processing target, moving a cursor, etc., and a CD as an example of a removable recording medium A CD-ROM drive 514 for controlling reading or writing of various data to / from a ROM (Compact Disc Read Only Memory) 513, and an address for electrically connecting the above components as shown in FIG. A bus line 510 such as a bus or a data bus is provided. Note that the relay device 30 and the information sharing system 40 have the same hardware configuration as that of the management system 50, and thus description thereof is omitted.

＜＜実施形態の機能構成＞＞
次に、本実施形態の機能構成について説明する。図４は、一実施形態に係る通信システム１の一部を構成する通話端末１０、及び管理システム５０の機能ブロック図である。図４では、通話端末１０、及び管理システム５０が、通信ネットワーク２を介してデータ通信することができるように接続されている。 << Functional Configuration of Embodiment >>
Next, the functional configuration of this embodiment will be described. FIG. 4 is a functional block diagram of the call terminal 10 and the management system 50 that constitute a part of the communication system 1 according to the embodiment. In FIG. 4, the call terminal 10 and the management system 50 are connected so that data communication can be performed via the communication network 2.

＜通話端末の機能構成＞
通話端末１０は、送受信部１１、操作入力受付部１２、解析部１３、表示制御部１４、及び記憶・読出部１９を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ１０４からＲＡＭ１０３上に展開されたプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能である。また、通話端末１０は、ＲＯＭ１０２、ＲＡＭ１０３、ＥＥＰＲＯＭ１０４、及び記録メディア１０６によって構築される記憶部１０００を有している。 <Functional configuration of call terminal>
The call terminal 10 includes a transmission / reception unit 11, an operation input reception unit 12, an analysis unit 13, a display control unit 14, and a storage / readout unit 19. Each of these units is a function realized by any one of the components shown in FIG. 2 operating according to a command from the CPU 101 according to a program expanded from the EEPROM 104 onto the RAM 103. In addition, the call terminal 10 includes a storage unit 1000 constructed by a ROM 102, a RAM 103, an EEPROM 104, and a recording medium 106.

記憶部１０００の不揮発性の記憶領域には、会議用アプリケーションが格納されている。会議用アプリケーションは、通話端末１０上で、撮像された撮像画像を通話端末１０間で送信するための機能、及び、タッチパネル１２１の操作により入力された入力画像を通話端末１０間で共有するための機能を実現する。従来の通話端末において、撮像画像を通話端末間で送信するための機能と、入力画像を通話端末間で共有する機能は独立していた。このため、通話端末間で会議が開始されても、ユーザが入力画像を共有する機能に気づかずに、この機能が利用されないことがあった。これに対して、本実施形態によると、会議用アプリケーションを起動することで、両方の機能が利用可能な状態となる。 A conference application is stored in the nonvolatile storage area of the storage unit 1000. The conference application is a function for transmitting captured images between the call terminals 10 on the call terminal 10 and for sharing an input image input by operating the touch panel 121 between the call terminals 10. Realize the function. In a conventional call terminal, a function for transmitting a captured image between call terminals and a function for sharing an input image between call terminals have been independent. For this reason, even if a conference is started between call terminals, this function may not be used without the user noticing the function of sharing the input image. On the other hand, according to the present embodiment, both functions can be used by starting the conference application.

（通話端末の各機能構成）
次に、通話端末１０の各機能構成について詳細に説明する。なお、以下では、通話端末１０の各機能構成を説明するにあたって、図４に示されている各構成要素のうち、通話端末１０の各機能構成を実現させるための主な構成要素との関係も説明する。 (Functional configuration of call terminal)
Next, each functional configuration of the call terminal 10 will be described in detail. In the following, in describing each functional configuration of the call terminal 10, among the components illustrated in FIG. 4, the relationship with the main components for realizing each functional configuration of the call terminal 10 is also described. explain.

通話端末１０の送受信部１１は、ＣＰＵ１０１からの命令、及び通信回路１１１によって実現され、通信ネットワーク２を介して、相手側の通話端末、各装置又はシステム等と各種データ（または情報）の送受信を行う。 The transmission / reception unit 11 of the call terminal 10 is realized by a command from the CPU 101 and the communication circuit 111, and transmits / receives various data (or information) to / from the other party's call terminal, each device or system via the communication network 2. Do.

操作入力受付部１２は、ＣＰＵ１０１からの命令、及びタッチパネル１２１によって実現され、ユーザによる各種操作入力を受け付けたり、ユーザによる各種選択を受け付ける。上記の操作には、タッチパネル１２１へのタップやストローク、スワイプ操作が含まれる。 The operation input receiving unit 12 is realized by a command from the CPU 101 and the touch panel 121, and receives various operation inputs by the user and various selections by the user. The above operations include taps, strokes, and swipe operations on the touch panel 121.

解析部１３は、ＣＰＵ１０１からの命令によって実現され、操作入力受付部１２によって受け付けられた操作情報を解析する。例えば、解析部１３は、タッチパネル１２１へのタップやストローク、スワイプ操作を示す操作情報を座標情報に変換して他の機能部に受け渡す。 The analysis unit 13 is realized by an instruction from the CPU 101 and analyzes operation information received by the operation input reception unit 12. For example, the analysis unit 13 converts operation information indicating a tap, a stroke, and a swipe operation on the touch panel 121 into coordinate information and passes it to another functional unit.

表示制御部１４は、ＣＰＵ１０１からの命令によって実現され、相手側の通話端末から送られてきた撮像画像データまたは入力画像データ、並びに、自端末において生成した撮像画像データまたは入力画像データをディスプレイ１２０に送信するための制御を行う。 The display control unit 14 is realized by a command from the CPU 101, and the captured image data or input image data sent from the other party's call terminal and the captured image data or input image data generated in the own terminal are displayed on the display 120. Control to send.

記憶・読出部１９は、ＣＰＵ１０１からの命令によって実現され、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを抽出する処理を行う。 The storage / reading unit 19 is realized by an instruction from the CPU 101, and performs processing for storing various data in the storage unit 1000 and extracting various data stored in the storage unit 1000.

＜管理システムの機能構成＞
管理システム５０は、送受信部５１、認証部５２、管理部５３、セッション制御部５８、及び記憶・読出部５９を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された管理システム５０用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。また、管理システム５０は、ＨＤ５０４により構築される記憶部５０００を有している。 <Functional configuration of management system>
The management system 50 includes a transmission / reception unit 51, an authentication unit 52, a management unit 53, a session control unit 58, and a storage / readout unit 59. Each of these units is a function realized by any one of the constituent elements shown in FIG. 3 being operated by an instruction from the CPU 501 according to the program for the management system 50 expanded from the HD 504 to the RAM 503, or Means. In addition, the management system 50 includes a storage unit 5000 constructed by the HD 504.

（端末管理テーブル）
表１は、端末管理テーブルを示す概念図である。記憶部５０００には端末管理テーブルによって構築される端末管理ＤＢ５００２が記憶されている。この端末管理テーブルでは、各通話端末１０の通信ＩＤ毎に、端末名、各通話端末１０の稼動状態、及び各通話端末１０のＩＰアドレスが関連付けられて管理される。なお、通信ＩＤは、通信システム１において通信先の端末１０を識別するための情報である。通信ＩＤとしては、通信先の端末１０を特定可能な情報であれば特に限定されないが、例えば、端末１０を識別する情報、端末１０のユーザを識別する情報等が含まれる。また、稼働状態には、通話端末１０が管理システム５０と接続している状態を示す「オンライン」、通話端末１０が管理システム５０と接続していない状態を示す「オフライン」が含まれる。更に、オンラインには、この通信ＩＤで示された通話端末１０と「通信可能」、及びこの通信ＩＤで示された通話端末１０が「通信中」の各状態がある。 (Terminal management table)
Table 1 is a conceptual diagram showing a terminal management table. The storage unit 5000 stores a terminal management DB 5002 constructed by a terminal management table. In this terminal management table, for each communication ID of each call terminal 10, a terminal name, an operating state of each call terminal 10, and an IP address of each call terminal 10 are managed in association with each other. The communication ID is information for identifying the communication destination terminal 10 in the communication system 1. The communication ID is not particularly limited as long as it is information that can identify the communication destination terminal 10, and includes, for example, information for identifying the terminal 10, information for identifying the user of the terminal 10, and the like. The operating state includes “online” indicating that the call terminal 10 is connected to the management system 50 and “offline” indicating that the call terminal 10 is not connected to the management system 50. Further, online, there are states in which “communication is possible” with the call terminal 10 indicated by this communication ID, and “in communication” is set for the call terminal 10 indicated by this communication ID.

（管理システムの各機能構成）
次に、管理システム５０の各機能構成について詳細に説明する。なお、以下では、管理システム５０の各機能構成を説明するにあたって、図３に示されている各構成要素のうち、管理システム５０の各機能構成を実現させるための主な構成要素との関係も説明する。 (Functional configuration of the management system)
Next, each functional configuration of the management system 50 will be described in detail. In the following, in describing each functional configuration of the management system 50, among the components shown in FIG. 3, the relationship with the main components for realizing each functional configuration of the management system 50 is also described. explain.

送受信部５１は、ＣＰＵ５０１からの命令、及びネットワークＩ／Ｆ５０９によって実現され、通信ネットワーク２を介して各通話端末、装置又はシステムと各種データ（または情報）の送受信を行う。 The transmission / reception unit 51 is realized by an instruction from the CPU 501 and a network I / F 509, and transmits / receives various data (or information) to / from each call terminal, device, or system via the communication network 2.

認証部５２は、ＣＰＵ５０１からの命令によって実現され、送受信部５１で受信された通信ＩＤ及びパスワードを検索キーとして、記憶部５０００に同一の通信ＩＤ及びパスワードが管理されているかを判断することによって通話端末１０の認証を行う。 The authentication unit 52 is realized by a command from the CPU 501, and uses the communication ID and password received by the transmission / reception unit 51 as a search key to determine whether the same communication ID and password are managed in the storage unit 5000. The terminal 10 is authenticated.

管理部５３は、ＣＰＵ５０１からの命令によって実現され、端末管理テーブル（表１参照）で、通話端末１０の通信ＩＤ及び端末名毎に、通話端末１０の稼動状態、及びＩＰアドレスを関連付けて記憶して管理する。 The management unit 53 is realized by an instruction from the CPU 501 and stores the operation state and IP address of the call terminal 10 in association with each communication ID and terminal name of the call terminal 10 in the terminal management table (see Table 1). Manage.

セッション制御部５８は、ＣＰＵ５０１からの命令によって実現され、通話端末１０間でコンテンツデータを送信するためのセッションを制御する。上記の制御としては、セッションを確立するための制御、確立されたセッションに通話端末１０参加させる制御、セッションを切断する制御等が含まれる。 The session control unit 58 is realized by a command from the CPU 501 and controls a session for transmitting content data between the call terminals 10. The above control includes control for establishing a session, control for allowing the call terminal 10 to participate in the established session, control for disconnecting the session, and the like.

記憶・読出部５９は、ＣＰＵ５０１からの命令及びＨＤＤ５０５によって実現され、又はＣＰＵ５０１からの命令によって実現され、記憶部５０００に各種データを記憶したり、記憶部５０００に記憶された各種データを抽出する処理を行う。 The storage / reading unit 59 is realized by an instruction from the CPU 501 and the HDD 505, or realized by an instruction from the CPU 501, and stores various data in the storage unit 5000 or extracts various data stored in the storage unit 5000. I do.

＜＜実施形態の処理または動作＞＞
続いて、本実施形態の通信システム１を構成する通話端末１０、及び管理システム５０の処理または動作について説明する。また、図５は、通話端末１０と管理システム５０との間のセッションを確立する処理を示したシーケンス図である。 << Processing or Operation of Embodiment >>
Next, the processing or operation of the call terminal 10 and the management system 50 configuring the communication system 1 of the present embodiment will be described. FIG. 5 is a sequence diagram showing processing for establishing a session between the call terminal 10 and the management system 50.

通話端末１０は、送受信部１１によって、管理システム５０に対し、ログイン要求を行う（ステップＳ１）。このログイン要求には、ログイン要求元の通話端末１０を識別するための通信ＩＤ及びパスワードが含まれる。これにより、管理システム５０の送受信部５１は、ログイン要求並びに通信ＩＤ及びパスワードを受信する。 The call terminal 10 makes a login request to the management system 50 through the transmission / reception unit 11 (step S1). This login request includes a communication ID and password for identifying the call terminal 10 that is the login request source. Thereby, the transmission / reception unit 51 of the management system 50 receives the login request, the communication ID, and the password.

次に、認証部５２は、送受信部５１によって受信された通信ＩＤ及びパスワードの組と同じ組が、記憶部５０００で管理されているかを判断することで、ログイン要求元の通話端末１０の認証を行う（ステップＳ２）。なお、記憶部５０００には、認証用の通信ＩＤ及びパスワードの組が予め記憶されている。そして、この認証により、正当な通話端末であると判断された場合には、管理部５３は、端末管理テーブル（表１参照）において、ログイン要求元の端末１０の通信ＩＤに対して、稼動状態「ＯＮライン（通信可能）」、及びＩＰアドレスを管理する（ステップＳ３）。なお、ＩＰアドレスは、送受信部５１が、ログイン要求を受け付けるときに、通話端末１０から送られてくる情報から取得したものである。 Next, the authentication unit 52 determines whether the same set as the combination of the communication ID and password received by the transmission / reception unit 51 is managed by the storage unit 5000, thereby authenticating the call request terminal 10 that is the login request source. Perform (step S2). The storage unit 5000 stores in advance a set of authentication communication ID and password. If it is determined by this authentication that the terminal is a legitimate call terminal, the management unit 53 operates in response to the communication ID of the login request source terminal 10 in the terminal management table (see Table 1). “ON line (communicable)” and IP address are managed (step S3). The IP address is obtained from information sent from the call terminal 10 when the transmission / reception unit 51 accepts a login request.

次に、送受信部５１は、ログイン要求元の通話端末１０に対して、認証結果を送信する（ステップＳ４）。これにより、送受信部１１は、認証結果を受信する。上記ステップＳ２により、正当な通話端末であると判断された場合には、ログイン要求元の通話端末１０と管理システム５０との間でセッションｓｅｉが確立される（ステップＳ５）。 Next, the transmission / reception unit 51 transmits an authentication result to the call request source call terminal 10 (step S4). Thereby, the transmission / reception part 11 receives an authentication result. If it is determined in step S2 that the call terminal is a legitimate call terminal, a session sei is established between the call request source call terminal 10 and the management system 50 (step S5).

続いて、図６を用いて、管理システム５０へログインした各通話端末１０間でコンテンツデータを送信するためのセッションを確立する処理を説明する。なお、図６は、通話端末１０間のセッションを確立する処理を示したシーケンス図である。上記のセッションには、通話端末１０間で音データ及び撮像画像データを送信するセッションｓｅｄ１と、通話端末１０間で入力画像データを送信するセッションｓｅｄ２と、が含まれる。 Next, a process for establishing a session for transmitting content data between the call terminals 10 logged into the management system 50 will be described with reference to FIG. FIG. 6 is a sequence diagram showing processing for establishing a session between the call terminals 10. The session includes a session sed1 for transmitting sound data and captured image data between the call terminals 10 and a session sed2 for transmitting input image data between the call terminals 10.

以下、通信の開始要求元は通話端末１０ａであり、開始要求先（宛先）は通話端末１０ｂである場合について説明する。ユーザによる操作に応じて、通話端末１０ａの送受信部１１は、管理システム５０に対し、通信の開始要求を送信する（ステップＳ２１）。この通信の開始要求には、通信の開始要求元の通話端末１０ａの通信ＩＤ、及び宛先の通話端末１０ｂの通信ＩＤが含まれている。 Hereinafter, a case where the communication start request source is the call terminal 10a and the start request destination (destination) is the call terminal 10b will be described. In response to a user operation, the transmission / reception unit 11 of the call terminal 10a transmits a communication start request to the management system 50 (step S21). This communication start request includes the communication ID of the call terminal 10a that is the communication start request source and the communication ID of the destination call terminal 10b.

管理システム５０の送受信部５１は、通信の開始要求を受信する。続いて、管理システム５０の管理部５３は、端末管理テーブル（表１参照）における、通信の開始要求元の通話端末１０ａの通信ＩＤに対して、稼動状態「ＯＮライン（通信中）」を管理する（ステップＳ２２）。 The transmission / reception unit 51 of the management system 50 receives a communication start request. Subsequently, the management unit 53 of the management system 50 manages the operation state “ON line (during communication)” for the communication ID of the call terminal 10a that is the communication start request source in the terminal management table (see Table 1). (Step S22).

次に、管理システム５０の送受信部５１は、宛先の通話端末１０ｂに対して、通信の開始要求を送信する（ステップＳ２３）。この通信の開始要求には、通信の開始要求元の通話端末１０ａの通信ＩＤ及び宛先の通話端末１０ｂの通信ＩＤが含まれている。これにより、宛先の通話端末１０ｂは、通信の開始要求を受信する。 Next, the transmission / reception unit 51 of the management system 50 transmits a communication start request to the destination call terminal 10b (step S23). This communication start request includes the communication ID of the call terminal 10a as the communication start request source and the communication ID of the destination call terminal 10b. As a result, the destination call terminal 10b receives the communication start request.

ユーザによる操作に応じて、通話端末１０ｂの送受信部１１は、管理システム５０に対し、応答可否を示す情報を送信する（ステップＳ２４）。以下、通話端末１０ｂが、応答可能である旨を示す情報を管理システム５０へ送信した場合について説明を続ける。 In response to an operation by the user, the transmitter / receiver 11 of the call terminal 10b transmits information indicating whether or not a response is possible to the management system 50 (step S24). Hereinafter, the case where the call terminal 10b transmits information indicating that it can respond to the management system 50 will be described.

管理システム５０の送受信部５１は、応答可能である旨を示す情報を受信する。続いて、管理システム５０の管理部５３は、端末管理テーブル（表１参照）における、宛先の通話端末１０ｂの通信ＩＤに対して、稼動状態「ＯＮライン（通信中）」を管理する（ステップＳ２５）。 The transmission / reception unit 51 of the management system 50 receives information indicating that a response is possible. Subsequently, the management unit 53 of the management system 50 manages the operation state “ON line (during communication)” for the communication ID of the destination call terminal 10b in the terminal management table (see Table 1) (step S25). ).

次に、管理システム５０の送受信部５１は、開始要求元の通話端末１０ａに対し、応答可能である旨を示す情報を送信する（ステップＳ２６）。これにより、通話端末１０ａは、送受信部１１によって、応答可能である旨を示す情報を受信する。 Next, the transmission / reception unit 51 of the management system 50 transmits information indicating that the response is possible to the call terminal 10a that is the start request source (step S26). As a result, the call terminal 10 a receives information indicating that a response is possible by the transmission / reception unit 11.

続いて、管理システム５０の、セッション制御部５８は、通話端末（１０ａ，１０ｂ）間で通信ネットワーク２を介して撮像画像データ及び音データを送信するセッションｓｅｄ１の確立を制御する（ステップＳ２７）。セッションｓｅｄ１を確立させる方法は、特に限定されないが、例えば、セッション制御部５８が、送受信部５１を介して、中継装置３０に接続するための接続情報を、通話端末（１０ａ，１０ｂ）へ送信する方法が挙げられる。通話端末（１０ａ，１０ｂ）は、接続情報に基づいて中継装置３０と接続することでセッションｓｅｄ１は確立する。 Subsequently, the session control unit 58 of the management system 50 controls establishment of a session sed1 for transmitting captured image data and sound data via the communication network 2 between the call terminals (10a, 10b) (step S27). The method for establishing the session sed1 is not particularly limited. For example, the session control unit 58 transmits connection information for connecting to the relay device 30 to the call terminals (10a, 10b) via the transmission / reception unit 51. A method is mentioned. The call terminals (10a, 10b) establish a session sed1 by connecting to the relay device 30 based on the connection information.

上記の制御に基づいて、セッションｓｅｄ１が確立されると、各通話端末（１０ａ，１０ｂ）の送受信部１１は、自端末において撮像された画像に基づく撮像画像データ、及び自端末において集音された音に基づく音データを、中継装置３０を介して相手側の通話端末（１０ｂ，１０ａ）へ送信する（ステップＳ２８）。また、各通話端末（１０ａ，１０ｂ）の送受信部１１は、相手側の通話端末（１０ｂ，１０ａ）から中継装置３０を介して送られてきた撮像画像データ及び音データを受信する。 When the session sed1 is established based on the above control, the transmission / reception unit 11 of each call terminal (10a, 10b) collects captured image data based on the image captured by the own terminal and the sound collected by the own terminal. The sound data based on the sound is transmitted to the call terminal (10b, 10a) on the other side via the relay device 30 (step S28). In addition, the transmission / reception unit 11 of each call terminal (10a, 10b) receives captured image data and sound data sent from the other call terminal (10b, 10a) via the relay device 30.

続いて、管理システム５０の、セッション制御部５８は、通話端末（１０ａ，１０ｂ）間で通信ネットワーク２を介して入力画像データを送信するためのセッションｓｅｄ２の確立を制御する（ステップＳ３１）。セッションｓｅｄ２を確立させる方法は特に限定されないが、例えば、セッション制御部５８が、送受信部５１を介して、情報共有システム４０に接続するための接続情報を、通話端末（１０ａ，１０ｂ）へ送信する方法が挙げられる。この場合、通話端末（１０ａ，１０ｂ）は、接続情報に基づいて情報共有システム４０と接続することでセッションｓｅｄ２は確立する。 Subsequently, the session control unit 58 of the management system 50 controls the establishment of the session sed2 for transmitting the input image data between the call terminals (10a, 10b) via the communication network 2 (step S31). The method for establishing the session sed2 is not particularly limited. For example, the session control unit 58 transmits connection information for connecting to the information sharing system 40 to the call terminals (10a, 10b) via the transmission / reception unit 51. A method is mentioned. In this case, the call terminal (10a, 10b) establishes the session sed2 by connecting to the information sharing system 40 based on the connection information.

上記の制御に基づいて、セッションｓｅｄ２が確立されてから、各通話端末（１０ａ，１０ｂ）の操作入力受付部１２は、タッチパネル１２１への操作入力を受け付ける（Ｓ３２−１，Ｓ３２−２）。解析部１３は、タッチパネル１２１への操作を示すタップやストローク、スワイプ等の操作情報を解析して、入力された画像の入力画像データを生成する（ステップＳ３３−１，Ｓ３３−２）。この入力画像データは、色、太さ、座標等の情報を含んでいても良い。入力画像データが生成される度、記憶・読出部１９は、生成された入力画像データを追加的に記憶手段１０００に記憶する。 Based on the above control, after the session sed2 is established, the operation input receiving unit 12 of each call terminal (10a, 10b) receives an operation input to the touch panel 121 (S32-1, S32-2). The analysis unit 13 analyzes operation information such as taps, strokes, and swipes indicating operations on the touch panel 121, and generates input image data of the input image (steps S33-1 and S33-2). This input image data may include information such as color, thickness, and coordinates. Each time input image data is generated, the storage / reading unit 19 additionally stores the generated input image data in the storage unit 1000.

各通話端末（１０ａ，１０ｂ）の送受信部１１は、自端末において生成された入力画像データを、情報共有システム４０を介して相手側の通話端末（１０ｂ，１０ａ）へ送信する（ステップＳ３４−１，Ｓ３４−２）。また、各通話端末（１０ａ，１０ｂ）の送受信部１１は、相手側の通話端末（１０ｂ，１０ａ）から情報共有システム４０を介して送られてきた入力画像データを受信する。入力画像データが受信される度、記憶・読出部１９は、受信された入力画像データを追加的に記憶手段１０００に記憶する。 The transmitter / receiver 11 of each call terminal (10a, 10b) transmits the input image data generated in the own terminal to the call terminal (10b, 10a) on the other side via the information sharing system 40 (step S34-1). , S34-2). Further, the transmission / reception unit 11 of each call terminal (10a, 10b) receives the input image data transmitted from the other call terminal (10b, 10a) via the information sharing system 40. Each time input image data is received, the storage / reading unit 19 additionally stores the received input image data in the storage unit 1000.

続いて、図７を用いて、各通話端末１０において、画像の表示を制御する処理について説明する。図７は、各通話端末１０において、画像の表示を制御する処理を示したフロー図である。 Next, processing for controlling image display in each call terminal 10 will be described with reference to FIG. FIG. 7 is a flowchart showing processing for controlling display of images in each call terminal 10.

記憶部１０００には、入力画像の透過度のデフォルト値として５０％が記憶されている。なお、透過度とは、複数の画像を重畳して表示するときに画像をどの程度透過させるかを示す値であり、例えば、デジタル画像におけるアルファ値として表すことができる。 The storage unit 1000 stores 50% as a default value of the transparency of the input image. The transparency is a value indicating how much an image is transmitted when a plurality of images are superimposed and displayed, and can be expressed as an alpha value in a digital image, for example.

通話端末１０間のセッション（ｓｅｄ１，ｓｅｄ２）が確立して、通話端末１０においてコンテンツを表示可能な状態となると、通話端末１０の表示制御部１４は、記憶部１０００において記憶されている透過度（５０％）を参照する（ステップＳ４１）。 When the session (sed1, sed2) between the call terminals 10 is established and the call terminal 10 is ready to display content, the display control unit 14 of the call terminal 10 transmits the transparency ( 50%) is referred to (step S41).

続いて、表示制御部１４は、白地のバックグラウンドに、記憶部１０００に記憶されている入力画像データに基づく画像、及び操作用のアイコンの画像を合成し、合成画像の透過度を参照された値（５０％）に設定（補正）する（ステップＳ４２）。なお、記憶部１０００にには、セッションｓｅｄ２が確立されてから自通話端末において生成されたすべての入力画像データ、又は他通話端末から送られてきたすべての入力画像データが記憶されている。 Subsequently, the display control unit 14 synthesizes an image based on the input image data stored in the storage unit 1000 and an image of an operation icon on a white background, and the transparency of the synthesized image is referred to. A value (50%) is set (corrected) (step S42). The storage unit 1000 stores all input image data generated at the own call terminal after the session sed2 is established or all input image data sent from another call terminal.

続いて表示制御部１４は、ステップＳ２８において受信される撮像画像データに基づく撮像画像（層Ｌ１）に、透過度５０％に設定された合成画像（層Ｌ２）を重畳し、更にスライダＳの画像（層Ｌ３）を重畳してディスプレイ１２０に出力する制御を行う（ステップＳ４３）。図８（Ａ）は、セッション（ｓｅｄ１，ｓｅｄ２）開始後のディスプレイの表示画像の一例を示す図である。図８（Ｂ）は、画像が重畳される様子を概念的に示した図である。 Subsequently, the display control unit 14 superimposes the composite image (layer L2) set to 50% transparency on the captured image (layer L1) based on the captured image data received in step S28, and further the image of the slider S. Control is performed to superimpose (layer L3) and output to the display 120 (step S43). FIG. 8A is a diagram illustrating an example of a display image on the display after the session (sed1, sed2) is started. FIG. 8B is a diagram conceptually showing how images are superimposed.

アイコンＩ１は、鉛筆機能、即ち、フリーハンドでタッチパネル１２１に画像を入力する機能を示すアイコンである。アイコンＩ２は、消しゴム機能、即ち、入力画像を消す機能を示すアイコンである。スライダＳは、入力画像の透過度を設定するために用いられる。操作入力受付部１２がスライダＳの移動を受け付けると、記憶・読出部１９は、移動後の位置に応じて、記憶部１０００に記憶されている透過度を更新する。なお、図８の各図では、会議が開始された直後で入力画像が生成又は受信される前の状態を示している。 The icon I1 is an icon indicating a pencil function, that is, a function for inputting an image to the touch panel 121 by freehand. The icon I2 is an icon indicating an eraser function, that is, a function for erasing the input image. The slider S is used for setting the transparency of the input image. When the operation input receiving unit 12 receives the movement of the slider S, the storage / reading unit 19 updates the transparency stored in the storage unit 1000 according to the position after the movement. Each figure in FIG. 8 shows a state immediately after the conference is started and before an input image is generated or received.

通話端末（１０ａ，１０ｂ）間のコミュニケーションの進捗に伴い、自通話端末又は通信相手の通話端末において画像が入力されると、記憶部１０００には入力画像データが追加的に記憶される。ステップＳ４１乃至Ｓ４３の処理は、通話端末１０がセッション（ｓｅｄ１，ｓｅｄ２）から退出するまで繰り返し実行されるため、記憶部１０００に入力画像データが記憶されると、ステップＳ４１乃至Ｓ４３の処理によりディスプレイ１２０には設定された透過度の入力画像が表示される。図９（Ａ）は、入力画像の生成後又は受信後のディスプレイの表示画像の一例を示す図である。図９（Ｂ）は、画像が重畳される様子を概念的に示した図である。 When an image is input at the own call terminal or the call terminal of the communication partner with the progress of communication between the call terminals (10a, 10b), the input image data is additionally stored in the storage unit 1000. Since the processing of steps S41 to S43 is repeatedly executed until the call terminal 10 leaves the session (sed1, sed2), when the input image data is stored in the storage unit 1000, the display 120 is processed by the processing of steps S41 to S43. Displays an input image of the set transparency. FIG. 9A is a diagram illustrating an example of a display image on the display after the input image is generated or received. FIG. 9B is a diagram conceptually showing how images are superimposed.

続いて、操作入力受付部１２が、スライダＳの最上部への移動を受け付けると、記憶・読出部１９は、移動後の位置に応じて、記憶部１０００に記憶された透過度を１００％に更新する。このとき、ステップＳ４１で参照される透過度は１００％となるので、ステップＳ４２の処理によりバックグラウンド、入力画像、及びアイコン（Ｉ１，Ｉ２）は透明になり、層Ｌ２上に画像は形成されなくなる。図１０（Ａ）は、透過度１００％に設定されたときのディスプレイの表示画像の一例を示す図である。図１０（Ｂ）は、画像が重畳される様子を概念的に示した図である。これにより、撮像画像及びスライダＳのみが表示されるようになる。 Subsequently, when the operation input receiving unit 12 receives the movement of the slider S to the top, the storage / reading unit 19 sets the transmittance stored in the storage unit 1000 to 100% according to the position after the movement. Update. At this time, since the transparency referred to in step S41 is 100%, the background, the input image, and the icons (I1, I2) become transparent by the processing in step S42, and no image is formed on the layer L2. . FIG. 10A is a diagram showing an example of a display image on the display when the transparency is set to 100%. FIG. 10B is a diagram conceptually showing how images are superimposed. As a result, only the captured image and the slider S are displayed.

続いて、操作入力受付部１２が、スライダの最下部への移動を受け付けると、記憶・読出部１９は、移動後の位置に応じて、記憶部１０００に記憶された透過度を０％に更新する。このとき、ステップＳ４１で参照される透過度は０％であり、ステップＳ４２の処理により層Ｌ２は不透過になる。図１１（Ａ）は、透過度０％に設定されたときのディスプレイの表示画像の一例を示す図である。図１１（Ｂ）は、画像が重畳される様子を概念的に示した図である。これにより、入力画像、アイコン（Ｉ１，Ｉ２）、スライダＳのみが表示されるようになる。 Subsequently, when the operation input receiving unit 12 receives the movement of the slider to the bottom, the storage / reading unit 19 updates the transparency stored in the storage unit 1000 to 0% according to the position after the movement. To do. At this time, the transparency referred to in step S41 is 0%, and the layer L2 becomes opaque by the process in step S42. FIG. 11A is a diagram illustrating an example of a display image on the display when the transparency is set to 0%. FIG. 11B is a diagram conceptually showing a state in which images are superimposed. As a result, only the input image, icons (I1, I2), and slider S are displayed.

＜＜実施形態の変形例＞＞
続いて、本発明の他の一実施形態として、画像の表示を制御する処理の変形例について説明する。 << Modification of Embodiment >>
Subsequently, as another embodiment of the present invention, a modified example of processing for controlling display of an image will be described.

変形例において、記憶部１０００には、入力画像の透過度として第１の透過度と、第２の透過度が記憶されている。第２の透過度は、第１の透過度よりも小さいことが好ましく、例えば、０％以上で第１の透過度より小さい所定の値、あるいは、第１の透過度から所定の値を減じた値である。以下、第１の透過度は１００％、第２の透過度は５０％であるものとして説明を続ける。 In the modification, the storage unit 1000 stores a first transparency and a second transparency as the transparency of the input image. The second transmittance is preferably smaller than the first transmittance. For example, a predetermined value that is 0% or more and smaller than the first transmittance, or a predetermined value is subtracted from the first transmittance. Value. Hereinafter, the description will be continued assuming that the first transmittance is 100% and the second transmittance is 50%.

通話端末１０間のセッション（ｓｅｄ１，ｓｅｄ２）が確立して、通話端末１０においてコンテンツを表示可能な状態となると、表示制御部１４は、記憶部１０００において記憶されている第１の透過度（１００％）を参照する（ステップＳ６１）。続いて、表示制御部１４は、参照された第１の透過度（１００％）に基づいて、ステップＳ４２の処理と同様にして入力画像の透過度を設定（補正）し（ステップＳ６２）、ステップＳ４３の処理と同様にして画像の表示を制御する（ステップＳ６３）。このとき、入力画像の透過度は１００％に設定されるため、ディスプレイ１２０には、図１０において示されているような画像が表示される。 When the session (sed1, sed2) between the call terminals 10 is established and content can be displayed on the call terminal 10, the display control unit 14 uses the first transparency (100) stored in the storage unit 1000. %) Is referred to (step S61). Subsequently, the display control unit 14 sets (corrects) the transparency of the input image based on the referenced first transparency (100%) in the same manner as the process of step S42 (step S62). The display of the image is controlled in the same manner as the process of S43 (step S63). At this time, since the transparency of the input image is set to 100%, an image as shown in FIG. 10 is displayed on the display 120.

操作入力受付部１２において新たな画像の入力が受け付けられた場合、又は、送受信部１１において新たな入力画像データが受信された場合（ステップＳ６４のＹＥＳ）、表示制御部１４は、記憶部１０００において記憶されている第２の透過度（５０％）を参照する（ステップＳ６５）。続いて、表示制御部１４は、参照された第２の透過度（５０％）に基づいて、ステップＳ４２の処理と同様にして入力画像の透過度を設定（補正）し（ステップＳ６６）、ステップＳ４３の処理と同様にして画像の表示を制御する（ステップＳ６７）。このとき、入力画像の透過度は５０％に設定されるため、ディスプレイ１２０には、図９において示されているような画像が表示される。 When the input of a new image is received by the operation input receiving unit 12 or when new input image data is received by the transmission / reception unit 11 (YES in step S64), the display control unit 14 is stored in the storage unit 1000. The stored second transmittance (50%) is referred to (step S65). Subsequently, the display control unit 14 sets (corrects) the transparency of the input image based on the referenced second transparency (50%) in the same manner as the process of step S42 (step S66). The display of the image is controlled in the same manner as the process of S43 (step S67). At this time, since the transparency of the input image is set to 50%, an image as shown in FIG. 9 is displayed on the display 120.

表示制御部１４は、操作入力受付部１２において新たな画像の入力が受け付けられてから、又は、送受信部１１において新たな入力画像データが受信されてから、所定の経過時間経過したか否かを判断する（ステップＳ６８）。所定の時間経過するまで、表示制御部１４は、ステップＳ６５乃至Ｓ６７の処理を繰り返し実行する。所定の時間が経過すると、ステップＳ６１の処理に移行する。このとき、入力画像の透過度は再び１００％に設定されるため、ディスプレイ１２０には、図１０において示されているような画像が再び表示される。 The display control unit 14 determines whether or not a predetermined elapsed time has elapsed since the input of a new image was received by the operation input receiving unit 12 or the new input image data was received by the transmission / reception unit 11. Judgment is made (step S68). The display control unit 14 repeatedly executes the processes of steps S65 to S67 until a predetermined time has elapsed. When the predetermined time has elapsed, the process proceeds to step S61. At this time, since the transparency of the input image is set to 100% again, an image as shown in FIG. 10 is displayed on the display 120 again.

＜＜実施形態の主な効果＞＞
続いて、上記実施形態の主な効果について説明する。 << Main effects of embodiment >>
Next, main effects of the above embodiment will be described.

通話端末１０（通信端末の一例）の送受信部１１（受信手段の一例）は、他の通話端末１０によって送信される撮像画像データ（第１のコンテンツデータの一例）及び入力画像データ（第２のコンテンツデータの一例）を受信する。通話端末１０の表示制御部１４（表示制御手段の一例）は、送受信部１１によって受信された撮像画像データに基づく撮像画像（第１の画像の一例）、及び送受信部１１によって受信された入力画像データに基づく入力画像（第２の画像の一例）を表示するか、若しくは撮像画像、又は入力画像の一方を表示するかを制御する。これにより、コミュニケーションの進捗に伴い、表示される入力画像が増加して視認性が低下してきたときに、通話端末１０は入力画像又は撮像画像の一方を表示できるようになるので、視認性が向上する。 The transmitting / receiving unit 11 (an example of a receiving unit) of the call terminal 10 (an example of a communication terminal) receives captured image data (an example of first content data) and input image data (a second content data) transmitted by another call terminal 10. An example of content data is received. The display control unit 14 (an example of a display control unit) of the call terminal 10 includes a captured image (an example of a first image) based on the captured image data received by the transmission / reception unit 11 and an input image received by the transmission / reception unit 11. It controls whether to display an input image (an example of a second image) based on data, or to display either a captured image or an input image. As a result, the call terminal 10 can display either the input image or the captured image when the displayed input image increases and the visibility decreases with the progress of communication. To do.

表示制御部１４は、入力画像の透過度を設定する。通話端末１０では、撮像画像、及び表示制御部１４によって設定された透過度の入力画像を重畳して表示する。表示制御部１４は、透過度を０％に設定することで入力画像を表示し、透過度を１００％に設定することで撮像画像を表示し、透過度をそれ以外の値に設定することで、撮像画像、及び入力画像を表示することができる。 The display control unit 14 sets the transparency of the input image. In the call terminal 10, the captured image and the input image with the transparency set by the display control unit 14 are superimposed and displayed. The display control unit 14 displays the input image by setting the transparency to 0%, displays the captured image by setting the transparency to 100%, and sets the transparency to other values. The captured image and the input image can be displayed.

送受信部１１によって新たな入力画像データが受信される前後で、表示制御部１４は、入力画像を異なる透過度に設定する。このとき、表示される入力画像の透過度の変化により、ユーザは、入力画像の更新に気づきやすくなる。 Before and after new input image data is received by the transmission / reception unit 11, the display control unit 14 sets the input image to a different transparency. At this time, the change in the transparency of the displayed input image makes it easier for the user to notice the update of the input image.

送受信部１１によって新たな入力画像データが受信されてから所定の時間経過すると、表示制御部１４は、入力画像を、新たな入力画像データが受信される前の透過度に設定する。これにより、次の入力画像データが受信されるときに、表示制御部１４が、上記と同様に透過度を変化させることが可能になる。 When a predetermined time elapses after new input image data is received by the transmission / reception unit 11, the display control unit 14 sets the input image to the transparency before the new input image data is received. Accordingly, when the next input image data is received, the display control unit 14 can change the transparency in the same manner as described above.

通話端末１０の操作入力受付部１２は、ディスプレイ１２０上に表示されるスライダＳの操作に基づいて操作入力を受け付ける。表示制御部１４は、操作入力受付部１２によって受け付けられた操作入力に基づいて、入力画像の透過度を設定する。これにより、ユーザによる操作に基づいて、入力画像の透過度を設定することが可能になる。 The operation input receiving unit 12 of the call terminal 10 receives an operation input based on the operation of the slider S displayed on the display 120. The display control unit 14 sets the transparency of the input image based on the operation input received by the operation input receiving unit 12. Thereby, it is possible to set the transparency of the input image based on the operation by the user.

表示制御部１４は、他の通話端末１０との間のセッション（ｓｅｄ１，ｓｅｄ２）（通信セッションの一例）が確立されるときに、画像の入力を受け付けるための鉛筆機能のアイコンＩ１（インタフェースの一例）がディスプレイ１２０に表示されるよう制御する。これにより、ユーザは、テレビ会議を行うときに、鉛筆機能に気づきやすくなる。 When the session (sed1, sed2) (an example of a communication session) with another call terminal 10 is established, the display control unit 14 receives a pencil function icon I1 (an example of an interface). ) Is displayed on the display 120. This makes it easier for the user to notice the pencil function when performing a video conference.

管理システム５０（制御装置の一例）は、通話端末間のセッション（ｓｅｄ１，ｓｅｄ２）を確立する制御を行う。これにより、複数のセッション（ｓｅｄ１，ｓｅｄ２）を連携して確立させることが可能になる。 The management system 50 (an example of a control device) performs control to establish a session (sed1, sed2) between call terminals. Thereby, a plurality of sessions (sed1, sed2) can be established in cooperation.

＜＜実施形態の補足＞＞
通話端末１０、及び管理システム５０用の各プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録媒体（記録メディア１０６等）に記録されて流通されるようにしてもよい。また、上記記録媒体の他の例として、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。また、上記記録媒体、あるいは、これらプログラムが記憶されたＨＤ(Hard Disk)は、プログラム製品(Program Product)として、国内又は国外へ提供可能である。 << Supplement of Embodiment >>
Each program for the call terminal 10 and the management system 50 is recorded and distributed on a computer-readable recording medium (such as the recording medium 106) in an installable or executable format file. Also good. Other examples of the recording medium include CD-R (Compact Disc Recordable), DVD (Digital Versatile Disk), and Blu-ray Disc. Further, the recording medium or an HD (Hard Disk) in which these programs are stored can be provided domestically or abroad as a program product.

また、上記実施形態における通話端末１０、及び管理システム５０は、それぞれ単一の装置によって構築されてもよいし、各部（機能又は手段）を分割して任意に割り当てられた複数の装置によって構築されていてもよい。 In addition, each of the call terminal 10 and the management system 50 in the above embodiment may be constructed by a single device, or may be constructed by a plurality of devices arbitrarily assigned by dividing each unit (function or means). It may be.

更に、上記では、通話端末１０（下位概念）等の画像共有装置（中位概念）によって、テレビ会議を行うことに関して説明したが、これに限るものではない。本発明は、テレビ会議を含めたより広い概念としての通信分野において上記実施形態を応用したものを含む。例えば、プロジェクターシステム、デジタルサイネージ、テキスト共有システム、カーナビゲーションシステム、ゲーム機用の通信システム等で、複数のコンテンツデータを、複数の通信端末（上位概念）間で送信する場合に、上記実施形態を応用することができる。 Further, in the above description, the video conference is performed using the image sharing device (intermediate concept) such as the call terminal 10 (subordinate concept). However, the present invention is not limited to this. The present invention includes an application of the above embodiment in the communication field as a broader concept including video conference. For example, when transmitting a plurality of content data between a plurality of communication terminals (superordinate concepts) in a projector system, a digital signage, a text sharing system, a car navigation system, a communication system for a game machine, etc. Can be applied.

１通信システム
２通信ネットワーク
１０通話端末
１１送受信部
１２操作入力受付部
１３解析部
１４表示制御部
１９記憶・読出部
３０中継装置
４０情報共有システム
５０管理システム
５１送受信部
５２認証部
５３管理部
５８セッション制御部
５９記憶・読出処理部
１０００記憶部
５０００記憶部 DESCRIPTION OF SYMBOLS 1 Communication system 2 Communication network 10 Call terminal 11 Transmission / reception part 12 Operation input reception part 13 Analysis part 14 Display control part 19 Memory | storage / reading part 30 Relay apparatus 40 Information sharing system 50 Management system 51 Transmission / reception part 52 Authentication part 53 Management part 58 Session Control unit 59 Storage / read processing unit 1000 Storage unit 5000 Storage unit

特許第３２３７３３９号公報Japanese Patent No. 3237339

Claims

Receiving means for receiving first content data and second content data transmitted by another communication terminal;
Displaying a first image based on the first content data received by the receiving means and a second image based on the second content data received by the receiving means, or the first image Display control means for controlling whether to display one of the image or the second image;
A communication terminal comprising:

The display control means sets the transparency of the second image;
2. The communication terminal according to claim 1, wherein the communication terminal displays the first image and the second image having the transparency set by the display control unit in a superimposed manner.

3. The communication terminal according to claim 2, wherein the display control unit sets the second image to a different transparency before and after the reception of the new second content data by the receiving unit. .

When a predetermined time elapses after the reception unit receives new second content data, the display control unit displays the second image before the new second content data is received. The communication terminal according to claim 3, wherein the communication terminal is set to transparency.

It has operation input reception means for receiving operation input,
The said display control means sets the transparency of a said 2nd image based on the said operation input received by the said operation input reception means, The Claim 2 thru | or 4 characterized by the above-mentioned. Communication terminal.

The first content data is image data generated based on a captured image,
The second content data is image data generated based on an input image,
The communication terminal according to claim 5, wherein when a communication session with the other communication terminal is established, an interface for accepting the input of the image is displayed on the communication terminal.

A communication system comprising a plurality of communication terminals according to any one of claims 1 to 6.

And a control device for controlling to establish a communication session for transmitting the first content data between the communication terminals and a communication session for transmitting the second content data between the communication terminals. The communication system according to claim 7.

The communication terminal
A receiving process for receiving the first content data and the second content data transmitted by another communication terminal;
Displaying a first image based on the first content data received by the reception process and a second image based on the second content data received by the reception process; or A display control process for controlling whether to display one of the image or the second image;
The display control method characterized by performing.

A program causing the communication terminal to execute each process according to claim 9.